CN104268007A - 一种事件请求分布式调度方法和系统 - Google Patents

一种事件请求分布式调度方法和系统 Download PDF

Info

Publication number
CN104268007A
CN104268007A CN201410006102.4A CN201410006102A CN104268007A CN 104268007 A CN104268007 A CN 104268007A CN 201410006102 A CN201410006102 A CN 201410006102A CN 104268007 A CN104268007 A CN 104268007A
Authority
CN
China
Prior art keywords
scheduler
event
working node
handling result
event request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410006102.4A
Other languages
English (en)
Inventor
卢长烛
贾西贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huaao Data Technology Co Ltd
Original Assignee
Shenzhen Huaao Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huaao Data Technology Co Ltd filed Critical Shenzhen Huaao Data Technology Co Ltd
Priority to CN201410006102.4A priority Critical patent/CN104268007A/zh
Priority to PCT/CN2014/084624 priority patent/WO2015103879A1/zh
Publication of CN104268007A publication Critical patent/CN104268007A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供了一种事件请求分布式调度方法，包括：调度器获取客户群发送的事件请求；所述调度器根据预置的时间调度和心跳包检测，分配所述事件请求到服务群中相应工作节点；所述工作节点处理事件请求返回事件处理结果到调度器，并保存执行记录到数据库；所述调度器返回事件处理结果到客户群。本申请还提供了对应的系统。本发明实施例中调度器在分配事件请求时根据自身事件调度策略以及工作节点资源状况进行分配，提高了工作节点的工作效率。

Description

一种事件请求分布式调度方法和系统
技术领域
 本申请涉及互联网通信技术领域，特别是涉及一种事件请求分布式调度方法和系统。
背景技术
在互联网技术不断发展的今天，越来越多的数据处理依赖较高的计算能力，为了解决单一处理节点无法处理多种多样的工作，以及无法满足越来越搞的计算能力的要求；技术人员提供一种分布式处理方案。
以Gearman为例，Gearman是一个用来把工作委派给其他机器、分布式的调用更适合做某项工作的机器、并发的做某项工作在多个调用间做负载均衡、或用来在调用其它语言的函数的系统。在Gearman中，通过调度器将事件请求队列中的事件按照一定规则分配给各个工作节点，由各个工作节点进行处理后反馈。
但在实际使用中，本发明的发明人返现Gearman没有时间调度器不能对工作集群实现调度策略，效率较低。
发明内容
本申请所要解决的技术问题是提供一种能够以更高效率调度事件请求的事件请求分布式调度方法和系统。
为了解决上述问题，本申请公开了一种事件请求分布式调度方法，包括：
调度器获取客户群发送的事件请求；
所述调度器根据预置的时间调度和心跳包检测，分配所述事件请求到服务群中相应工作节点；
所述工作节点处理事件请求返回事件处理结果到调度器，并保存执行记录到数据库；
所述调度器返回事件处理结果到客户群。
进一步，所述调度器根据预置的时间调度和心跳包检测，分配所述事件请求到服务群中相应工作节点包括：
调度器根据心跳包检测判断服务群中正常工作的工作节点；
根据时间调度策略分配所述时间请求到正常工作的工作节点。
进一步，所述工作节点处理事件请求返回事件处理结果到调度器，并保存执行记录到数据库包括：
所述工作节点接收事件请求后，根据自身处理策略进行事件处理形成事件处理结果；
所述工作节点返回事件处理结果到调度器，并保存执行记录到数据库。
进一步，所述调度器返回事件处理结果到客户群包括：
所述调度器返回事件处理结果到客户群中对应的客户端。
进一步，所述调度器返回事件处理结果到客户群后还包括：
所述调度器保存执行记录到数据库。
本申请还提供了一种事件请求分布式调度系统，包括：
调度器，用于获取客户群发送的事件请求；根据预置的时间调度和心跳包检测，分配所述事件请求到服务群中相应工作节点；返回事件处理结果到客户群；
所述工作节点，用于处理事件请求返回事件处理结果到调度器，并保存执行记录到数据库。
进一步，所述调度器还用于：
根据心跳包检测判断服务群中正常工作的工作节点；
根据时间调度策略分配所述时间请求到正常工作的工作节点。
进一步，所述工作节点还用于：
接收事件请求后，根据自身处理策略进行事件处理形成事件处理结果；
所述工作节点返回事件处理结果到调度器，并保存执行记录到数据库。
进一步，所述调度器还用于：
返回事件处理结果到客户群中对应的客户端。
进一步，所述调度器还用于：
保存执行记录到数据库。
与现有技术相比，本申请包括以下优点：调度器在分配事件请求时根据自身事件调度策略以及工作节点资源状况进行分配，提高了工作节点的工作效率。
附图说明                        
图1是本发明一种事件请求分布式调度方法一实施例的流程图；
图2是本发明一种事件请求分布式调度系统一实施例的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
参照图1，示出了本申请一种事件请求分布式调度方法一实施例的流程图；
本发明实施例提供的事件请求分布式调度方法包括如下步骤：
步骤S101、调度器获取客户群发送的事件请求；
客户群包含多个客户端，其中任一客户端均可通过与调度器的链路发送事件请求到调度器。其中客户端与调度器的链路可以通过HTTP或TCP进行。
调度器获取到事件请求后放入事件队列，等待按照预置规则按序处理。
所述客户群在发送事件请求到调度器之前可以检测调度器的工作状态，本发明实施例可以配置两个或两个以上的调度器，当客户群检测到主调度器未处于工作状态时，向从调度器发送事件请求。
步骤S102、调度器根据预置的时间调度和心跳包检测，分配所述事件请求到服务群中相应工作节点；
进一步，所述调度器根据预置的时间调度和心跳包检测，分配所述事件请求到服务群中相应工作节点包括：
调度器根据心跳包检测判断服务群中正常工作的工作节点；
根据时间调度策略分配所述时间请求到正常工作的工作节点。
调度器通过心跳检测查看服务群中所有工作节点的连接状态，获取在线任务节点的资源状况。调度器在预置状态表中更新服务群中所有工作节点的连接状态和资源状态。
调度器分配事件请求时的策略可以是多种，根据实际使用需要制定，在本发明实施例中提供两个简单的分配策略，第一按照工作节点的资源占用百分比分配；第二是按照工作节点正在处理的事件请求数进行分配。
第一种策略具体的，调度器获取到所有工作节点的连接状态和资源状态后，对处于连接状态的工作节点的资源占用百分比按照从低往高排列，将优先级最高的事件请求发送到资源占用百分比最低的工作节点；然后调度器再次获取在线工作节点的资源状况，再次重复上述事件请求分发的步骤，直至事件请求分配完成。
第二种策略具体的，调度器获取到所有工作节点的连接状态和资源状态后，对处于连接状态的工作节点按照正在处理的事件请求数从低到高排序，将优先级最高的事件请求发送到当前处理事件请求数最低的工作节点；然后调度器再次获取在线工作节点的资源状况，再次重复上述事件请求分发的步骤，直至事件请求分配完成。
步骤S103、工作节点处理事件请求返回事件处理结果到调度器，并保存执行记录到数据库；
进一步，所述工作节点处理事件请求返回事件处理结果到调度器，并保存执行记录到数据库包括：
所述工作节点接收事件请求后，根据自身处理策略进行事件处理形成事件处理结果；
所述工作节点返回事件处理结果到调度器，并保存执行记录到数据库。
步骤S104、调度器返回事件处理结果到客户群。
进一步，所述调度器返回事件处理结果到客户群包括：
所述调度器返回事件处理结果到客户群中对应的客户端。
进一步，所述调度器返回事件处理结果到客户群后还包括：
所述调度器保存执行记录到数据库。
本发明实施例中调度器在分配事件请求时根据自身事件调度策略以及工作节点资源状况进行分配，提高了工作节点的工作效率。
参照图2是本发明一种事件请求分布式调度系统一实施例的结构示意图；
本申请提供的一种事件请求分布式调度系统，包括客户群21、调度器22和服务群23：
调度器22，用于获取客户群21发送的事件请求；根据预置的时间调度和心跳包检测，分配所述事件请求到服务群23中相应工作节点；返回事件处理结果到客户群21；
所述工作节点，用于处理事件请求返回事件处理结果到调度器22，并保存执行记录到数据库。
进一步，所述调度器22还用于：
根据心跳包检测判断服务群23中正常工作的工作节点；
根据时间调度策略分配所述时间请求到正常工作的工作节点。
进一步，所述工作节点还用于：
接收事件请求后，根据自身处理策略进行事件处理形成事件处理结果；
所述工作节点返回事件处理结果到调度器22，并保存执行记录到数据库。
进一步，所述调度器22还用于：
返回事件处理结果到客户群21中对应的客户端。
进一步，所述调度器22还用于：
保存执行记录到数据库。
所述客户群21在发送事件请求到调度器22之前可以检测调度器22的工作状态，本发明实施例可以配置两个或两个以上的调度器22，当客户群21检测到主调度器22未处于工作状态时，向从调度器22发送事件请求。
调度器22通过心跳检测查看服务群23中所有工作节点的连接状态，获取在线任务节点的资源状况。调度器22在预置状态表中更新服务群23中所有工作节点的连接状态和资源状态。
调度器22分配事件请求时的策略可以是多种，根据实际使用需要制定，在本发明实施例中提供两个简单的分配策略，第一按照工作节点的资源占用百分比分配；第二是按照工作节点正在处理的事件请求数进行分配。
第一种策略具体的，调度器22获取到所有工作节点的连接状态和资源状态后，对处于连接状态的工作节点的资源占用百分比按照从低往高排列，将优先级最高的事件请求发送到资源占用百分比最低的工作节点；然后调度器22再次获取在线工作节点的资源状况，再次重复上述事件请求分发的步骤，直至事件请求分配完成。
第二种策略具体的，调度器22获取到所有工作节点的连接状态和资源状态后，对处于连接状态的工作节点按照正在处理的事件请求数从低到高排序，将优先级最高的事件请求发送到当前处理事件请求数最低的工作节点；然后调度器22再次获取在线工作节点的资源状况，再次重复上述事件请求分发的步骤，直至事件请求分配完成。
对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
以上对本申请所提供的一种事件请求分布式调度方法和系统，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种事件请求分布式调度方法，其特征在于，包括：
调度器获取客户群发送的事件请求；
所述调度器根据预置的时间调度和心跳包检测，分配所述事件请求到服务群中相应工作节点；
所述工作节点处理事件请求返回事件处理结果到调度器，并保存执行记录到数据库；
所述调度器返回事件处理结果到客户群。
2.根据权利要求1所述的方法，其特征在于，所述调度器根据预置的时间调度和心跳包检测，分配所述事件请求到服务群中相应工作节点包括：
调度器根据心跳包检测判断服务群中正常工作的工作节点；
根据时间调度策略分配所述时间请求到正常工作的工作节点。
3.根据权利要求2所述的方法，其特征在于，所述工作节点处理事件请求返回事件处理结果到调度器，并保存执行记录到数据库包括：
所述工作节点接收事件请求后，根据自身处理策略进行事件处理形成事件处理结果；
所述工作节点返回事件处理结果到调度器，并保存执行记录到数据库。
4.根据权利要求3所述的方法，其特征在于，所述调度器返回事件处理结果到客户群包括：
所述调度器返回事件处理结果到客户群中对应的客户端。
5.根据权利要求3所述的方法，其特征在于，所述调度器返回事件处理结果到客户群后还包括：
所述调度器保存执行记录到数据库。
6.一种事件请求分布式调度系统，其特征在于，包括：
调度器，用于获取客户群发送的事件请求；根据预置的时间调度和心跳包检测，分配所述事件请求到服务群中相应工作节点；返回事件处理结果到客户群；
所述工作节点，用于处理事件请求返回事件处理结果到调度器，并保存执行记录到数据库。
7.根据权利要求6所述的系统，其特征在于，所述调度器还用于：
根据心跳包检测判断服务群中正常工作的工作节点；
根据时间调度策略分配所述时间请求到正常工作的工作节点。
8.根据权利要求7所述的系统，其特征在于，所述工作节点还用于：
接收事件请求后，根据自身处理策略进行事件处理形成事件处理结果；
所述工作节点返回事件处理结果到调度器，并保存执行记录到数据库。
9.根据权利要求8所述的系统，其特征在于，所述调度器还用于：
返回事件处理结果到客户群中对应的客户端。
10.根据权利要求8所述的系统，其特征在于，所述调度器还用于：
保存执行记录到数据库。
CN201410006102.4A 2014-01-07 2014-01-07 一种事件请求分布式调度方法和系统 Pending CN104268007A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410006102.4A CN104268007A (zh) 2014-01-07 2014-01-07 一种事件请求分布式调度方法和系统
PCT/CN2014/084624 WO2015103879A1 (zh) 2014-01-07 2014-08-18 一种基于规则优化的数据防火墙修复方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410006102.4A CN104268007A (zh) 2014-01-07 2014-01-07 一种事件请求分布式调度方法和系统

Publications (1)

Publication Number Publication Date
CN104268007A true CN104268007A (zh) 2015-01-07

Family

ID=52159531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410006102.4A Pending CN104268007A (zh) 2014-01-07 2014-01-07 一种事件请求分布式调度方法和系统

Country Status (2)

Country Link
CN (1) CN104268007A (zh)
WO (1) WO2015103879A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106779376A (zh) * 2016-12-02 2017-05-31 温瑭玮 一种快速触发服务器数据检索及数据分析的方法
CN108206789A (zh) * 2016-12-20 2018-06-26 英业达科技有限公司 分段式处理请求的负载均衡系统及其方法
CN108733469A (zh) * 2017-04-24 2018-11-02 北京京东尚科信息技术有限公司 一种分布式系统任务执行的方法和装置
CN110569252A (zh) * 2018-05-16 2019-12-13 杭州海康威视数字技术股份有限公司 一种数据处理系统及方法
CN112231114A (zh) * 2020-09-22 2021-01-15 深圳云天励飞技术股份有限公司 一种事件处理方法及相关设备
CN112597173A (zh) * 2021-03-08 2021-04-02 成都虚谷伟业科技有限公司 一种分布式数据库集群系统对等处理系统及处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070143765A1 (en) * 2005-12-21 2007-06-21 International Business Machines Corporation Method and system for scheduling of jobs
CN102073546A (zh) * 2010-12-13 2011-05-25 北京航空航天大学 一种云计算环境中分布式计算模式下的任务动态调度方法
CN102541640A (zh) * 2011-12-28 2012-07-04 厦门市美亚柏科信息股份有限公司 一种集群gpu资源调度系统和方法
CN103064745A (zh) * 2013-01-09 2013-04-24 苏州亿倍信息技术有限公司 一种任务分配处理的方法及系统
US20130283286A1 (en) * 2012-04-23 2013-10-24 Electronics And Telecommunications Research Institute Apparatus and method for resource allocation in clustered computing environment

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101706909A (zh) * 2009-11-18 2010-05-12 山东浪潮齐鲁软件产业股份有限公司 一种面向企业数据集成的全面数据质量管理方法
CN103309907B (zh) * 2012-03-16 2017-02-01 上海安捷力信息系统有限公司 对不同来源的业务数据进行规范化处理的方法及系统
CN103713967A (zh) * 2013-12-04 2014-04-09 深圳市华傲数据技术有限公司 一种基于规则优化的数据防火墙修复方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070143765A1 (en) * 2005-12-21 2007-06-21 International Business Machines Corporation Method and system for scheduling of jobs
CN102073546A (zh) * 2010-12-13 2011-05-25 北京航空航天大学 一种云计算环境中分布式计算模式下的任务动态调度方法
CN102541640A (zh) * 2011-12-28 2012-07-04 厦门市美亚柏科信息股份有限公司 一种集群gpu资源调度系统和方法
US20130283286A1 (en) * 2012-04-23 2013-10-24 Electronics And Telecommunications Research Institute Apparatus and method for resource allocation in clustered computing environment
CN103064745A (zh) * 2013-01-09 2013-04-24 苏州亿倍信息技术有限公司 一种任务分配处理的方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106779376A (zh) * 2016-12-02 2017-05-31 温瑭玮 一种快速触发服务器数据检索及数据分析的方法
CN108206789A (zh) * 2016-12-20 2018-06-26 英业达科技有限公司 分段式处理请求的负载均衡系统及其方法
CN108733469A (zh) * 2017-04-24 2018-11-02 北京京东尚科信息技术有限公司 一种分布式系统任务执行的方法和装置
CN110569252A (zh) * 2018-05-16 2019-12-13 杭州海康威视数字技术股份有限公司 一种数据处理系统及方法
CN110569252B (zh) * 2018-05-16 2023-04-07 杭州海康威视数字技术股份有限公司 一种数据处理系统及方法
CN112231114A (zh) * 2020-09-22 2021-01-15 深圳云天励飞技术股份有限公司 一种事件处理方法及相关设备
CN112597173A (zh) * 2021-03-08 2021-04-02 成都虚谷伟业科技有限公司 一种分布式数据库集群系统对等处理系统及处理方法

Also Published As

Publication number Publication date
WO2015103879A1 (zh) 2015-07-16

Similar Documents

Publication Publication Date Title
CN104253850A (zh) 一种任务分布式调度方法和系统
CN104268007A (zh) 一种事件请求分布式调度方法和系统
CN108762896B (zh) 一种基于Hadoop集群任务调度方法及计算机设备
US10334034B2 (en) Virtual machine live migration method, virtual machine deployment method, server, and cluster system
CN102902587B (zh) 分布式任务调度方法、系统和装置
CN101359295A (zh) 一种批量任务调度分配方法及系统
CN105975334A (zh) 任务分布式调度方法及系统
CN106445675B (zh) 一种b2b平台分布式应用调度与资源分配方法
EP2608029A1 (en) Method and system for managing resources among different clients for an exclusive use
CN104731663A (zh) 任务处理方法及系统
CN102611735A (zh) 一种应用服务的负载均衡方法及系统
CN106294472A (zh) 一种Hadoop数据库HBase的查询方法及装置
CN103401947A (zh) 多个服务器的任务分配方法和装置
CN109672711B (zh) 一种基于反向代理服务器Nginx的http请求处理方法及系统
CN110187960A (zh) 一种分布式资源调度方法及装置
CN103150213A (zh) 负载平衡方法和装置
CN104301241B (zh) 一种soa动态负载分发方法与系统
CN108111337B (zh) 分布式系统仲裁主节点的方法及设备
US20220070099A1 (en) Method, electronic device and computer program product of load balancing
CN104850491A (zh) 一种软件测试方法、设备及系统
CN105791371A (zh) 一种云存储服务系统及方法
CN101984414A (zh) Cpu资源的调度方法及装置
CN110764887A (zh) 任务重调度方法、系统及相关设备、装置
CN105786447A (zh) 服务器处理数据的方法、装置及服务器
CN105320565B (zh) 一种针对多种应用软件的计算机资源调度方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150107

RJ01 Rejection of invention patent application after publication