CN111553545A - 一种优化批量任务调度依赖的方法 - Google Patents

一种优化批量任务调度依赖的方法 Download PDF

Info

Publication number
CN111553545A
CN111553545A CN202010666616.8A CN202010666616A CN111553545A CN 111553545 A CN111553545 A CN 111553545A CN 202010666616 A CN202010666616 A CN 202010666616A CN 111553545 A CN111553545 A CN 111553545A
Authority
CN
China
Prior art keywords
task
message
workflow
information
subscription
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010666616.8A
Other languages
English (en)
Other versions
CN111553545B (zh
Inventor
陈卫
谭巍
李烨
张川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan XW Bank Co Ltd
Original Assignee
Sichuan XW Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan XW Bank Co Ltd filed Critical Sichuan XW Bank Co Ltd
Priority to CN202010666616.8A priority Critical patent/CN111553545B/zh
Publication of CN111553545A publication Critical patent/CN111553545A/zh
Application granted granted Critical
Publication of CN111553545B publication Critical patent/CN111553545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明一种优化批量任务调度依赖的方法，包括：A.在调度系统实现中，在系统内置一个标准的持久化任务信息消息系统；B.支持依赖任务对消息系统内的消息进行订阅配置；C.被依赖任务运行结束后，调度器向数据库层写入该任务的消息信息；D.调度器检查被依赖任务是否已发布消息信息；E.依赖任务订阅被依赖任务信息，信息发布后接收订阅信息执行本任务。本发明内置标准化消息存储，解决跨工作流、跨项目依赖，可以穿透工作流直接对核心任务配置进行依赖处理，工作流/任务运行无需等待前置依赖任务完全运行结束，在依赖核心任务结束后即可执行当前任务。从而简化了跨工作流依赖配置，工作流配置更加简单明了，提高了工作流运行效率。

Description

一种优化批量任务调度依赖的方法
技术领域
本发明涉及计算机技术领域，尤其涉及一种优化批量任务调度依赖的方法。
背景技术
工作流是对工作流程及工作流程中各业务之间如何前后组织在一起的逻辑规则的抽象、概括、描述。工作流概念起源于生产组织和办公自动化领域，是针对日常工作中具有固定程序活动而提出的一个概念，目的是通过将工作分解成定义良好的流程或角色，按照一定的规则和过程来执行这些流程并对其进行监控，达到提高工作效率、更好的控制过程、增强对客户的服务、有效管理业务流程等目的。
任务调度平台是一个集群系统，包括管理节点、计算节点、登录节点等多类节点。任务调度平台通过管理软件提供集群资源管理、集群资源监控、任务调度、任务运行和任务监控等功能。任务调度平台主要应用于高性能计算、网格计算和并行计算等领域，为计算任务提供自动化调度管理，通过各种资源管理策略使大量任务共享集群资源来提高整体资源利用率。任务调度平台为计算任务提供自动化调度管理，在自动化办公领域，许多工作流系统的业务需要调用任务调度平台来实现大规模的计算任务。
当前任务调度系统中，任务间的依赖关系主要通过工作流DAG(有向无环图)描述任务间的依赖关系。依赖关系也仅限于工作流内部，跨工作流依赖、跨项目依赖处理起来只能通过文件检测、数据库检测等方式进行，内部实现复杂且有诸多不便。
发明内容
本发明提供了一种优化批量任务调度依赖的方法，将工作流外部依赖标准化，简化跨工作流依赖配置，能够使处理工作流配置变得更加简单明了。
本发明一种优化批量任务调度依赖的方法，包括：
A.对工作流a进行配置，将任务C设置为消息发布任务，支持消息发布任务C对本任务的消息：任务主题、任务业务时间和消息状态的发布配置，其中任务主题即消息发布任务C，任务业务时间和消息状态根据工作流a运行时的状态而产生；
B.对工作流b进行配置，将任务F设置为消息订阅任务，支持消息订阅任务F对消息发布任务C发布在消息系统内的任务主题、任务业务时间和消息状态的订阅配置，其中所订阅的任务业务时间与工作流b运行时自身的业务时间相等，即所订阅的消息是工作流b业务时间段所对应的工作流a相同业务时间段内的消息；
C.在工作流a中，当消息发布任务C运行结束后，向数据库层写入其消息信息；
D.在工作流b中，当消息订阅任务F前的普通任务正常结束后，由调度器检查消息订阅任务F所依赖的工作流a中消息发布任务C是否写入其消息信息，若消息发布任务C已经结束并写入其消息信息，则消息订阅任务F订阅该消息，由此继续执行消息订阅任务F;若消息发布任务C没有向数据库层写入其消息信息，则消息订阅任务F在调度器中申请订阅消息发布任务C的消息信息，并且工作流b进入休眠状态；
E.消息订阅任务F申请订阅消息发布任务C的消息信息后，若工作流a中的消息发布任务C运行结束后并向数据库层写入了其消息信息，则调度器唤醒同样业务时间内并且订阅了消息发布任务C的消息的工作流b,工作流b继续执行工作任务。
本发明通过将任务执行状态及其配置参数存储标准化，将工作流核心任务信息暴露至标准信息存储中并提供可编程API将工作流外部依赖标准化，从而简化了跨工作流依赖配置处理，使工作流配置更加简单明了。
进一步的，步骤B包括：消息订阅任务F依赖于步骤A所述工作流a中的消息发布任务C，即消息发布任务C运行结束后才能运行消息订阅任务F。本发明处理的是不同工作流之间的任务依赖问题，一工作流中的一任务必须依赖于另一工作流中的一任务执行完成后才能开始执行。
本发明将任务执行状态及其配置参数存储标准化，将工作流核心任务信息暴露至标准信息存储中并提供可编程API，将工作流外部依赖标准化从而了简化跨工作流依赖配置处理，使工作流配置更加简单明了。由于可以穿透工作流直接对核心任务配置进行依赖处理，工作流/任务运行无需等待前置依赖任务完全运行结束，在依赖核心任务结束后即可执行当前任务，从而提高任务系统运行效率。
以下结合实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。
附图说明
图1为本发明一种优化批量任务调度依赖的方法的流程图。
具体实施方式
如图1所示本发明一种优化批量任务调度依赖的方法，包括：
A .在调度系统实现中，在系统内置一个标准的持久化任务信息消息系统，消息系统需要记录以下信息：任务主题、任务业务时间和消息状态；
A1.对工作流a中的被依赖任务C定义为消息发布任务，在消息发布任务C运行结束后，支持该任务对本任务的消息进行发布，本任务的消息包括：任务主题、任务业务时间和消息状态，任务主题即本消息发布任务C,任务业务时间和消息状态的数据则由工作流运行时状态产生。
B.在配置过程中，支持依赖任务对消息系统内的消息进行订阅配置；
B1.对工作流b中的依赖任务F定义为消息订阅任务，支持消息订阅任务对消息系统内消息发布任务C消息的订阅；
B2.消息订阅任务订阅的消息包括：消息发布任务的任务主题、任务业务时间和消息状态，其中所订阅的任务业务时间与工作流b运行时自身的业务时间相等，即所订阅的消息是工作流b业务时间段所对应的工作流a相同业务时间段内的消息。
C.当工作流a中的消息发布任务C运行结束后，调度器向数据库层写入该任务的消息信息，并唤醒已订阅该主题及其对应业务时间/系统时间的工作流。
D.调度器检查消息发布任务C是否已发布消息；
D1.在工作流b中，当消息订阅任务F前的普通任务正常结束后，由调度器检查消息订阅任务F所依赖的工作流a中消息发布任务C是否写入其消息信息，若消息发布任务C已经结束并写入其消息信息，则消息订阅任务F订阅该消息，由此继续执行消息订阅任务F。若消息发布任务C没有向数据库层写入其消息信息，则消息订阅任务F在调度器中申请订阅消息发布任务C的消息信息，并且工作流b进入休眠状态；若工作流a中的消息发布任务C运行结束后并向数据库层写入了其消息信息，则调度器唤醒同样业务时间内并且订阅了消息发布任务C的消息的工作流b,工作流b继续执行工作任务。
E.消息订阅任务F接收到订阅消息，开始执行本任务。
本发明将任务执行状态及其配置参数存储标准化，内置标准化消息存储，解决跨工作流、跨项目依赖，可以穿透工作流直接对核心任务配置进行依赖处理，工作流/任务运行无需等待前置依赖任务完全运行结束，在依赖核心任务结束后即可执行当前任务。从而简化了跨工作流依赖配置，工作流配置更加简单明了，提高了工作流运行效率。

Claims (3)

1.一种优化批量任务调度依赖的方法，其特征包括：
A.对工作流a进行配置，将任务C设置为消息发布任务，支持消息发布任务C对本任务的消息：任务主题、任务业务时间和消息状态的发布配置；
B.对工作流b进行配置，将任务F设置为消息订阅任务，支持消息订阅任务F对消息发布任务C发布在消息系统内的任务主题、任务业务时间和消息状态的订阅配置，其中所订阅的任务业务时间与工作流b运行时自身的业务时间相等，即所订阅的消息是工作流b业务时间段所对应的工作流a相同业务时间段内的消息；
C.在工作流a中，当消息发布任务C运行结束后，向数据库层写入其消息信息；
D.在工作流b中，当消息订阅任务F前的普通任务正常结束后，由调度器检查消息订阅任务F所依赖的工作流a中消息发布任务C是否写入其消息信息，若消息发布任务C已经结束并写入其消息信息，则消息订阅任务F订阅该消息信息，由此继续执行消息订阅任务F;若消息发布任务C没有向数据库层写入其消息信息，则消息订阅任务F在调度器中申请订阅消息发布任务C的消息信息，并且工作流b进入休眠状态；
E.若工作流a中的消息发布任务C运行结束后并向数据库层写入了其消息信息，则调度器唤醒同样业务时间内并且订阅了消息发布任务C的消息信息的工作流b,工作流b继续执行工作任务。
2.如权利要求1所述的一种优化批量任务调度依赖的方法，其特征为：如步骤A所述：其消息发布任务C就是任务主题，任务业务时间和消息状态根据工作流a运行时的状态而产生。
3.如权利要求1所述的一种优化批量任务调度依赖的方法，其特征为：步骤B包括：消息订阅任务F依赖于步骤A所述工作流a中的消息发布任务C，即消息发布任务C运行结束后才能运行消息订阅任务F。
CN202010666616.8A 2020-07-13 2020-07-13 一种优化批量任务调度依赖的方法 Active CN111553545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010666616.8A CN111553545B (zh) 2020-07-13 2020-07-13 一种优化批量任务调度依赖的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010666616.8A CN111553545B (zh) 2020-07-13 2020-07-13 一种优化批量任务调度依赖的方法

Publications (2)

Publication Number Publication Date
CN111553545A true CN111553545A (zh) 2020-08-18
CN111553545B CN111553545B (zh) 2020-10-27

Family

ID=72005408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010666616.8A Active CN111553545B (zh) 2020-07-13 2020-07-13 一种优化批量任务调度依赖的方法

Country Status (1)

Country Link
CN (1) CN111553545B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111984390A (zh) * 2020-08-31 2020-11-24 平安医疗健康管理股份有限公司 任务调度方法、装置、设备及存储介质
CN112596873A (zh) * 2020-12-16 2021-04-02 平安普惠企业管理有限公司 工作流依赖管理方法、装置、计算机设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101266669A (zh) * 2008-05-06 2008-09-17 广州市中联创通电脑有限公司 基于计划模板的项目过程工作流系统及其实现方法
CN101567068A (zh) * 2009-05-18 2009-10-28 北京方正春元科技发展有限公司 一种用于财政信息管理的数据处理系统
CN101639904A (zh) * 2009-08-12 2010-02-03 东软集团股份有限公司 工作流系统及其在流程运行期实现任务的方法
CN104408552A (zh) * 2014-11-13 2015-03-11 华为技术有限公司 任务协作处理方法、装置和系统
CN104954469A (zh) * 2015-06-19 2015-09-30 长沙廖氏软件科技有限公司 一种异构系统信息交换方法
CN106371918A (zh) * 2016-08-23 2017-02-01 北京云纵信息技术有限公司 任务集群调度管理方法及装置
CN106970834A (zh) * 2017-01-20 2017-07-21 阿里巴巴集团控股有限公司 任务处理的方法及装置
CN107103448A (zh) * 2016-02-23 2017-08-29 上海御行信息技术有限公司 基于工作流的数据集成系统
CN107230036A (zh) * 2016-03-24 2017-10-03 北京京东尚科信息技术有限公司 一种动态产生和执行工作流流程的方法和装置
CN109032534A (zh) * 2018-08-30 2018-12-18 百度在线网络技术（北京）有限公司 一种消息传输方法、装置、设备和介质
CN109685465A (zh) * 2018-12-24 2019-04-26 成都四方伟业软件股份有限公司 任务发布方法及装置
US20190180218A1 (en) * 2017-12-12 2019-06-13 Einthusan Vigneswaran Methods and systems for automated multi-user task scheduling
CN109978380A (zh) * 2019-03-28 2019-07-05 金瓜子科技发展（北京）有限公司 一种工作流处理方法和装置
CN110377413A (zh) * 2019-07-24 2019-10-25 上海金融期货信息技术有限公司 基于bpmn标准的分布式任务异步调度和监控的系统
CN110888721A (zh) * 2019-10-15 2020-03-17 平安科技（深圳）有限公司 一种任务调度的方法及相关装置
CN111176802A (zh) * 2019-07-26 2020-05-19 腾讯科技（深圳）有限公司 任务处理方法、装置、电子设备及存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101266669A (zh) * 2008-05-06 2008-09-17 广州市中联创通电脑有限公司 基于计划模板的项目过程工作流系统及其实现方法
CN101567068A (zh) * 2009-05-18 2009-10-28 北京方正春元科技发展有限公司 一种用于财政信息管理的数据处理系统
CN101639904A (zh) * 2009-08-12 2010-02-03 东软集团股份有限公司 工作流系统及其在流程运行期实现任务的方法
CN104408552A (zh) * 2014-11-13 2015-03-11 华为技术有限公司 任务协作处理方法、装置和系统
CN104954469A (zh) * 2015-06-19 2015-09-30 长沙廖氏软件科技有限公司 一种异构系统信息交换方法
CN107103448A (zh) * 2016-02-23 2017-08-29 上海御行信息技术有限公司 基于工作流的数据集成系统
CN107230036A (zh) * 2016-03-24 2017-10-03 北京京东尚科信息技术有限公司 一种动态产生和执行工作流流程的方法和装置
CN106371918A (zh) * 2016-08-23 2017-02-01 北京云纵信息技术有限公司 任务集群调度管理方法及装置
CN106970834A (zh) * 2017-01-20 2017-07-21 阿里巴巴集团控股有限公司 任务处理的方法及装置
US20190180218A1 (en) * 2017-12-12 2019-06-13 Einthusan Vigneswaran Methods and systems for automated multi-user task scheduling
CN109032534A (zh) * 2018-08-30 2018-12-18 百度在线网络技术（北京）有限公司 一种消息传输方法、装置、设备和介质
CN109685465A (zh) * 2018-12-24 2019-04-26 成都四方伟业软件股份有限公司 任务发布方法及装置
CN109978380A (zh) * 2019-03-28 2019-07-05 金瓜子科技发展（北京）有限公司 一种工作流处理方法和装置
CN110377413A (zh) * 2019-07-24 2019-10-25 上海金融期货信息技术有限公司 基于bpmn标准的分布式任务异步调度和监控的系统
CN111176802A (zh) * 2019-07-26 2020-05-19 腾讯科技（深圳）有限公司 任务处理方法、装置、电子设备及存储介质
CN110888721A (zh) * 2019-10-15 2020-03-17 平安科技（深圳）有限公司 一种任务调度的方法及相关装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李建锋等: ""一种基于任务依赖信息的工作流事物模型"", 《网络新媒体技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111984390A (zh) * 2020-08-31 2020-11-24 平安医疗健康管理股份有限公司 任务调度方法、装置、设备及存储介质
CN112596873A (zh) * 2020-12-16 2021-04-02 平安普惠企业管理有限公司 工作流依赖管理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111553545B (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
US11110601B2 (en) Scheduling robots for robotic process automation
US8424003B2 (en) Unified job processing of interdependent heterogeneous tasks using finite state machine job control flow based on identified job type
US9588822B1 (en) Scheduler for data pipeline
US9189270B2 (en) Realizing jumps in an executing process instance
CN111553545B (zh) 一种优化批量任务调度依赖的方法
US20050289013A1 (en) Order management system
US11977470B2 (en) Monitoring long running workflows for robotic process automation
US20100241479A1 (en) Session manager
US20190171479A1 (en) Method and system for scheduling transactions in a data system
CN110611707A (zh) 一种任务调度的方法及装置
CN111930525A (zh) Gpu资源使用方法、电子设备及计算机可读介质
WO2022087581A1 (en) Quantifying usage of robotic processs automation related resources
CN113821322A (zh) 一种松耦合的分布式工作流协调系统和方法
US11392411B2 (en) Background job scheduling restrictions
CN113743879A (zh) 一种自动化规则处理方法、系统以及相关设备
US20180107986A1 (en) Automatic update of calendar event
CN115712572A (zh) 任务的测试方法、装置、存储介质及电子装置
CN115617480A (zh) 一种任务调度方法、装置、系统及存储介质
US20180107985A1 (en) Automatic update of calendar event
CN110795489A (zh) 一种作业单元流程管控系统及方法
CN112148462A (zh) 基于Jenkins的CICD流程的处理方法
CN111667239B (zh) 一种基于广度遍历+僵枝切除的工作流实现方法
CN117076508B (zh) 一种流数据处理系统支持批数据处理的方法
CN113656468B (zh) 基于nifi的任务流程触发方法及装置
US20220191167A1 (en) Organizational modelling for routing rpa related services of an rpa cloud suite

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant