CN110392109A - 基于cmsp流程编排的任务调度方法及系统 - Google Patents
基于cmsp流程编排的任务调度方法及系统 Download PDFInfo
- Publication number
- CN110392109A CN110392109A CN201910666178.2A CN201910666178A CN110392109A CN 110392109 A CN110392109 A CN 110392109A CN 201910666178 A CN201910666178 A CN 201910666178A CN 110392109 A CN110392109 A CN 110392109A
- Authority
- CN
- China
- Prior art keywords
- task
- cmsp
- chained list
- web server
- scheduling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000008569 process Effects 0.000 title claims abstract description 26
- 238000013507 mapping Methods 0.000 claims abstract description 29
- 230000004044 response Effects 0.000 claims description 14
- 238000012217 deletion Methods 0.000 claims description 8
- 230000037430 deletion Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/63—Routing a service request depending on the request content or context
Abstract
本发明公开了一种基于CMSP流程编排的任务调度方法及系统，属于任务调度领域，要解决的技术问题为如何实现具有先进先出、并发数控制以及动态编辑功能的任务调度方法，以解决当今成千上万任务调度需求。其方法包括：通过Web页面前端将任务请求发送至Web服务器；任务请求要求执行任务时，在Web服务器内，通过链表依序缓存上述任务ID，通过哈希表存储任务ID和任务ID位置之间的映射关系，并按照任务并发数调用CMSP数据采集服务器执行任务，任务ID位置为任务ID在链表中的位置。其系统包括Web页面前端、CMSP数据采集服务器和Web服务器。
Description
技术领域
本发明涉及任务调度领域，具体地说是一种基于CMSP流程编排的任务调度方法及系统。
背景技术
随着云计算、大数据和物联网发展，各种行业和设备产生海量的各种数据，高效汇聚这些多源异构海量数据，汇聚任务的调度方法越来越重要。任务调度往往有先进先出、并发数控制和动态增删改等特点，目前普遍的调度方法采用页面手动控制或通过定时器来控制，前端WEB页面发起启动/停止任务请求，后端WEB Server端收到请求后，立即执行任务请求。任务请求携带任务ID,一次任务请求可以是一个任务ID，也可以是多个任务ID；后端WEBServer调度顺序是根据请求的任务ID顺序，依次执行，所有任务执行完后，把任务调度执行结果返回前端WEB页面。目前串行化任务调度方案如附图一所示，存在如下问题：
(1)大量任务的调度执行，会出现服务器资源耗尽，导致服务器和任务不可使用；
(2)前端WEB页面批量任务请求和后台任务调度执行串行化后，会导致前端页面响应慢，影响用户的体验。
如何实现具有先进先出、并发数控制以及动态编辑功能的任务调度方法，以解决当今成千上万任务调度需求，是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足，提供一种基于CMSP流程编排的任务调度方法及系统，来解决如何实现具有先进先出、并发数控制以及动态编辑功能的任务调度方法，以解决当今成千上万任务调度需求的问题。
第一方面，本发明提供一种基于CMSP流程编排的任务调度方法，应用于包括Web页面前端、Web服务器和多个CMSP数据采集服务器的任务调度系统，所述任务调度方法包括：
通过Web页面前端将任务请求发送至Web服务器，任务请求携带有至少一个任务ID，所述至少一个任务ID串行；
任务请求要求执行任务时，在Web服务器内，通过链表依序缓存上述任务ID，通过哈希表存储任务ID和任务ID位置之间的映射关系，并按照任务并发数调用CMSP数据采集服务器执行任务，任务ID位置为任务ID在链表中的位置；
任务请求要求新增任务时，在Web服务器内，通过链表依序缓存上述任务ID，通过哈希表存储任务ID和任务ID位置之间的映射关系；
任务请求要求删除任务时，在Web服务器内，根据哈希表查找任务ID位置，并任务ID位置将任务ID从链表中删除。
在上述实施方式中，通过链表存储任务ID，通过任务并发数从链表中读取任务ID，并调用CMSP数据采集服务器执行任务，保证了任务执行的顺序性；通过哈希表存储任务ID和任务ID位置之间的映射关系，通过哈希表快速查找任务ID位置，保证任务执行后快速删除任务ID。
作为优选，Web服务器内配置有任务调度模块和存储模块，所述链表和哈希表均位于存储模块。
作为优选，在Web服务器内，通过任务调度模块接收任务请求，依序将任务ID存储于链表的尾端，并依序构建任务ID和和任务ID位置的映射关系，将任务ID和任务ID位置的映射关系存储于哈希表。
作为优选，按照任务并发数调用CMSP数据采集服务器执行任务后，CMSP数据采集服务器通过Web服务器向Web页面前端反馈执行应答。
作为优选，在Web服务器内，通过任务调度模块接收执行应答并反馈至Web页面前端，并通过哈希表查询任务ID位置，根据任务ID位置将任务ID从链表中删除。
第二方面，本发明提供一种基于CMSP流程编排的任务调度系统，包括：
Web页面前端，所述Web页面前端发送任务请求，所述任务请求携带有至少一个任务ID，所述至少一个任务ID串行；
CMSP数据采集服务器，所述CMSP数据采集服务器至少一个，用于执行任务；
Web服务器，所述Web服务器用于接收任务请求；
任务请求要求执行任务时，Web服务器用于通过链表依序缓存上述任务ID，通过哈希表存储任务ID和任务ID位置之间的映射关系，并按照任务并发数调用CMSP数据采集服务器执行任务，任务ID位置为任务ID在链表中的位置；
任务请求要求新增任务时，Web服务器用于通过链表依序缓存上述任务ID，通过哈希表存储任务ID和任务ID位置之间的映射关系；
任务请求要求删除任务时，Web服务器用于根据哈希表查找任务ID位置，并任务ID位置将任务ID从链表中删除。
作为优选，Web服务器内配置有任务调度模块和存储模块，所述链表和哈希表均位于存储模块。
作为优选，任务调度模块用于依序将任务ID存储于链表的尾端，并依序构建任务ID和和任务ID位置的映射关系，将任务ID和任务ID位置的映射关系存储于哈希表。
作为优选，CMSP数据采集服务器用于执行任务后通过Web服务器向Web页面前端反馈执行应答。
作为优选，任务调度模块用于接收执行应答并反馈至Web页面前端，并用于通过哈希表查询任务ID位置，根据任务ID位置将任务ID从链表中删除。
本发明的基于CMSP流程编排的任务调度方法及系统具有以下优点：解决了Web页面前端批量任务请求和后台Web服务器任务调度执行的串行化问题，避免前端Web页面前端响应慢以及大量任务同时执行的问题，有效地提高CMSP流程编排的任务调度效率，并保证了任务执行的顺序性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图对本发明进一步说明。
附图1为现有串行化任务调度方法的流程框图；
附图2为实施例1基于CMSP流程编排的任务调度方法的流程框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
需要理解的是，在本发明实施例中的“多个”，是指两个或两个以上。
本发明实施例提供一种基于CMSP流程编排的任务调度方法及系统，用于解决如何实现具有先进先出、并发数控制以及动态编辑功能的任务调度方法，以解决当今成千上万任务调度需求的技术问题。
实施例1：
如附图2所示，本发明的一种基于CMSP流程编排的任务调度方法，应用于包括Web页面前端、Web服务器和多个CMSP数据采集服务器的任务调度系统，该任务调度方法包括如下步骤：
S100、通过Web页面前端将任务请求发送至Web服务器，任务请求携带有至少一个任务ID，上述至少一个任务ID串行；
S200、根据任务请求执行任务、或者新增任务或者删除任务，具体包括如下情况：
情况一、任务请求要求执行任务时，在Web服务器内，通过链表依序缓存上述任务ID，通过哈希表存储任务ID和任务ID位置之间的映射关系，并按照任务并发数调用CMSP数据采集服务器执行任务，任务ID位置为任务ID在链表中的位置；
情况二、任务请求要求新增任务时，在Web服务器内，通过链表依序缓存上述任务ID，通过哈希表存储任务ID和任务ID位置之间的映射关系；
情况三、任务请求要求删除任务时，在Web服务器内，根据哈希表查找任务ID位置，并任务ID位置将任务ID从链表中删除。
其中，本实施例中，Web服务器内配置有任务调度模块和存储模块，链表和哈希表均位于存储模块。
在步骤S200中，情况一的具体步骤为：
通过任务调度模块接收任务请求；
通过任务调度模块依序将任务ID存储于链表的尾端，并依序构建任务ID和和任务ID位置的映射关系，将任务ID和任务ID位置的映射关系存储于哈希表；
通过任务控制执行程序，按照任务并发数从链表中读取任务ID，并调用CMSP数据采集服务器执行任务；
CMSP数据采集服务器执行任务后，向Web服务器反馈执行应答；
通过任务调度模块将执行应答反馈至Web页面前端，并从哈希表ID中查找任务ID位置，根据任务ID位置从链表中删除任务ID。
在步骤S200中，情况二的具体步骤为：
通过任务调度模块接收任务请求；
通过任务调度模块依序将任务ID存储于链表的尾端，并依序构建任务ID和和任务ID位置的映射关系，将任务ID和任务ID位置的映射关系存储于哈希表。
在步骤S200中，情况三的具体步骤为：
通过任务调度模块接收任务请求；
通过任务调度模块读取哈希表，从哈希表中依序查找任务ID位置；
根据任务ID位置，通过任务调度模块依序从链表中删除任务ID。
本发明的基于CMSP流程编排的任务调度方法，采用链表和哈希技术，对任务ID用链表进行存储，保证任务执行的顺序性；任务ID和任务ID位置之间的映射关系通过哈希表存储，可快速查询任务ID所在的链表位置，保证任务快速的删除；任务调度模块通过链表和哈希计算进行程序解耦，实现任务请求的快速缓存和应答，同时把任务ID放置链表的末尾，再通过任务控制执行程序，按任务并发数调度任务的执行；如果WEB页面不想执行某个任务，可以通过哈希表快速找到任务ID所在链表位置，进行任务的删除。
实施例2：
本发明的基于CMSP流程编排的任务调度系统，包括Web页面前端、CMSP数据采集服务器和Web服务器。
Web页面前端用于发送任务请求，任务请求携带有至少一个任务ID，上述至少一个任务ID串行。
CMSP数据采集服务器至少一个，用于执行任务，并用于通过Web服务器向Web页面前端反馈执行应答。
Web服务器用于接收任务请求；任务请求要求执行任务时，Web服务器用于通过链表依序缓存上述任务ID，通过哈希表存储任务ID和任务ID位置之间的映射关系，并按照任务并发数调用CMSP数据采集服务器执行任务，任务ID位置为任务ID在链表中的位置；任务请求要求新增任务时，Web服务器用于通过链表依序缓存上述任务ID，通过哈希表存储任务ID和任务ID位置之间的映射关系；任务请求要求删除任务时，Web服务器用于根据哈希表查找任务ID位置，并任务ID位置将任务ID从链表中删除。
其中，Web服务器内配置有任务调度模块和存储模块，链表和哈希表均位于存储模块。
任务调度模块用于依序将任务ID存储于链表的尾端，并依序构建任务ID和和任务ID位置的映射关系，将任务ID和任务ID位置的映射关系存储于哈希表。并用于接收执行应答、将执行应答反馈至Web页面前端，并从哈希表ID中查找任务ID位置，根据任务ID位置从链表中删除任务ID。
在Web服务器内配置有任务控制执行程序，用于按任务并发数从链表读取任务ID，并调用CMSP数据采集服务器执行任务。
本发明的基于CMSP流程编排的任务调度系统可执行实施例1公开的基于CMSP流程编排的任务调度方法。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。
Claims (10)
1.基于CMSP流程编排的任务调度方法，其特征在于应用于包括Web页面前端、Web服务器和多个CMSP数据采集服务器的任务调度系统，所述任务调度方法包括：
通过Web页面前端将任务请求发送至Web服务器，任务请求携带有至少一个任务ID，所述至少一个任务ID串行；
任务请求要求执行任务时，在Web服务器内，通过链表依序缓存上述任务ID，通过哈希表存储任务ID和任务ID位置之间的映射关系，并按照任务并发数调用CMSP数据采集服务器执行任务，任务ID位置为任务ID在链表中的位置；
任务请求要求新增任务时，在Web服务器内，通过链表依序缓存上述任务ID，通过哈希表存储任务ID和任务ID位置之间的映射关系；
任务请求要求删除任务时，在Web服务器内，根据哈希表查找任务ID位置，并任务ID位置将任务ID从链表中删除。
2.根据权利要求1所述的基于CMSP流程编排的任务调度方法，其特征在于Web服务器内配置有任务调度模块和存储模块，所述链表和哈希表均位于存储模块。
3.根据权利要求1或2所述的基于CMSP流程编排的任务调度方法，其特征在于在Web服务器内，通过任务调度模块接收任务请求，依序将任务ID存储于链表的尾端，并依序构建任务ID和和任务ID位置的映射关系，将任务ID和任务ID位置的映射关系存储于哈希表。
4.根据权利要求1或2所述的基于CMSP流程编排的任务调度方法，其特征在于按照任务并发数调用CMSP数据采集服务器执行任务后，CMSP数据采集服务器通过Web服务器向Web页面前端反馈执行应答。
5.根据权利要求4所述的基于CMSP流程编排的任务调度方法，其特征在于在Web服务器内，通过任务调度模块接收执行应答并反馈至Web页面前端，并通过哈希表查询任务ID位置，根据任务ID位置将任务ID从链表中删除。
6.基于CMSP流程编排的任务调度系统，其特征在于包括：
Web页面前端，所述Web页面前端发送任务请求，所述任务请求携带有至少一个任务ID，所述至少一个任务ID串行；
CMSP数据采集服务器，所述CMSP数据采集服务器至少一个，用于执行任务；
Web服务器，所述Web服务器用于接收任务请求；
任务请求要求执行任务时，Web服务器用于通过链表依序缓存上述任务ID，通过哈希表存储任务ID和任务ID位置之间的映射关系，并按照任务并发数调用CMSP数据采集服务器执行任务，任务ID位置为任务ID在链表中的位置；
任务请求要求新增任务时，Web服务器用于通过链表依序缓存上述任务ID，通过哈希表存储任务ID和任务ID位置之间的映射关系；
任务请求要求删除任务时，Web服务器用于根据哈希表查找任务ID位置，并任务ID位置将任务ID从链表中删除。
7.根据权利要求6所述的基于CMSP流程编排的任务调度系统，其特征在于Web服务器内配置有任务调度模块和存储模块，所述链表和哈希表均位于存储模块。
8.根据权利要求6或7所述的基于CMSP流程编排的任务调度系统，其特征在于任务调度模块用于依序将任务ID存储于链表的尾端，并依序构建任务ID和和任务ID位置的映射关系，将任务ID和任务ID位置的映射关系存储于哈希表。
9.根据权利要求6或7所述的基于CMSP流程编排的任务调度系统，其特征在于CMSP数据采集服务器用于执行任务后通过Web服务器向Web页面前端反馈执行应答。
10.根据权利要求9所述的基于CMSP流程编排的任务调度系统，其特征在于任务调度模块用于接收执行应答并反馈至Web页面前端，并用于通过哈希表查询任务ID位置，根据任务ID位置将任务ID从链表中删除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910666178.2A CN110392109B (zh) | 2019-07-23 | 2019-07-23 | 基于cmsp流程编排的任务调度方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910666178.2A CN110392109B (zh) | 2019-07-23 | 2019-07-23 | 基于cmsp流程编排的任务调度方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110392109A true CN110392109A (zh) | 2019-10-29 |
| CN110392109B CN110392109B (zh) | 2021-09-07 |
Family
ID=68287125
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910666178.2A Active CN110392109B (zh) | 2019-07-23 | 2019-07-23 | 基于cmsp流程编排的任务调度方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110392109B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1399476A (zh) * | 2001-07-20 | 2003-02-26 | 深圳市中兴通讯股份有限公司上海第二研究所 | 一种通信设备软件子系统的消息调度方法 |
| CN104133724A (zh) * | 2014-04-03 | 2014-11-05 | 腾讯科技（深圳）有限公司 | 并发任务调度方法及装置 |
| CN105701219A (zh) * | 2016-01-14 | 2016-06-22 | 北京邮电大学 | 一种分布式缓存的实现方法 |
| WO2016199955A1 (ko) * | 2015-06-10 | 2016-12-15 | 울산과학기술원 | 코드 분산 해쉬테이블 기반의 맵리듀스 시스템 및 방법 |
| CN106250226A (zh) * | 2016-08-02 | 2016-12-21 | 福建华渔未来教育科技有限公司 | 基于一致性哈希算法的任务调度机制及系统 |
| CN108132830A (zh) * | 2016-12-01 | 2018-06-08 | 北京金山云网络技术有限公司 | 一种任务调度方法、装置及系统 |
| CN108958922A (zh) * | 2017-05-17 | 2018-12-07 | 北京京东尚科信息技术有限公司 | 用于执行任务的方法和装置 |
-
2019
- 2019-07-23 CN CN201910666178.2A patent/CN110392109B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1399476A (zh) * | 2001-07-20 | 2003-02-26 | 深圳市中兴通讯股份有限公司上海第二研究所 | 一种通信设备软件子系统的消息调度方法 |
| CN104133724A (zh) * | 2014-04-03 | 2014-11-05 | 腾讯科技（深圳）有限公司 | 并发任务调度方法及装置 |
| WO2016199955A1 (ko) * | 2015-06-10 | 2016-12-15 | 울산과학기술원 | 코드 분산 해쉬테이블 기반의 맵리듀스 시스템 및 방법 |
| CN105701219A (zh) * | 2016-01-14 | 2016-06-22 | 北京邮电大学 | 一种分布式缓存的实现方法 |
| CN106250226A (zh) * | 2016-08-02 | 2016-12-21 | 福建华渔未来教育科技有限公司 | 基于一致性哈希算法的任务调度机制及系统 |
| CN108132830A (zh) * | 2016-12-01 | 2018-06-08 | 北京金山云网络技术有限公司 | 一种任务调度方法、装置及系统 |
| CN108958922A (zh) * | 2017-05-17 | 2018-12-07 | 北京京东尚科信息技术有限公司 | 用于执行任务的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110392109B (zh) | 2021-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109582660B (zh) | 数据血缘分析方法、装置、设备、系统及可读存储介质 | |
| CN107105009B (zh) | 基于Kubernetes系统对接工作流引擎的作业调度方法和装置 | |
| CN107729139B (zh) | 一种并发获取资源的方法和装置 | |
| CN103197968B (zh) | 一种融合同步异步特点的线程池处理方法及系统 | |
| US7441240B2 (en) | Process scheduling apparatus, process scheduling method, program for process scheduling, and storage medium recording a program for process scheduling | |
| CN104750690A (zh) | 一种查询处理方法、装置及系统 | |
| CN110383764A (zh) | 无服务器系统中使用历史数据处理事件的系统和方法 | |
| Jiang et al. | Symbiosis: Network-aware task scheduling in data-parallel frameworks | |
| CN110569252A (zh) | 一种数据处理系统及方法 | |
| CN110489176A (zh) | 一种基于装箱问题的多接入边缘计算任务卸载方法 | |
| CN108519987A (zh) | 一种数据持久化方法和装置 | |
| CN110955506A (zh) | 一种分布式作业调度处理方法 | |
| CN102760073B (zh) | 一种任务调度方法、系统及装置 | |
| CN110392109A (zh) | 基于cmsp流程编排的任务调度方法及系统 | |
| CN104717286A (zh) | 数据处理方法、终端、服务器和系统 | |
| CN111416872A (zh) | 基于mp和rdma的高速缓存文件系统通信方法及系统 | |
| CN112035523A (zh) | 一种并行度的确定方法、装置、设备及存储介质 | |
| CN113141387B (zh) | 业务订阅方法、装置及系统 | |
| CN114416406B (zh) | 一种基于云测平台任务多并发的实现方法 | |
| CN110858918B (zh) | Mds数据获取方法、数字电视及存储介质 | |
| CN117076508B (zh) | 一种流数据处理系统支持批数据处理的方法 | |
| CN113867991B (zh) | 一种基于信号槽的线程间的事件处理方法、装置及存储介质 | |
| CN113722282A (zh) | 一种流式数据批处理方法及装置 | |
| CN116541374A (zh) | 一种数据处理方法、装置、设备和计算机可读存储介质 | |
| CN117331686A (zh) | 请求的处理方法及装置、存储介质及电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210816 Address after: 271000 Langchao science and Technology Park, 527 Dongyue street, Tai'an City, Shandong Province Applicant after: INSPUR SOFTWARE Co.,Ltd. Address before: 250100 Ji'nan hi tech Zone No. 2877, Shandong Province Applicant before: INSPUR GROUP Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |