CN113553066A - 一种基于流程化配置的智能任务调度方法 - Google Patents
一种基于流程化配置的智能任务调度方法 Download PDFInfo
- Publication number
- CN113553066A CN113553066A CN202110833910.8A CN202110833910A CN113553066A CN 113553066 A CN113553066 A CN 113553066A CN 202110833910 A CN202110833910 A CN 202110833910A CN 113553066 A CN113553066 A CN 113553066A
- Authority
- CN
- China
- Prior art keywords
- scheduling
- task
- management
- configuration
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 105
- 238000012544 monitoring process Methods 0.000 claims abstract description 28
- 238000007726 management method Methods 0.000 claims description 43
- 238000005516 engineering process Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于流程化配置的智能任务调度方法，根据任务调度需求的实际情况，分为进程管理、调度流程管理及调度监控管理；进程管理包括进程的调度地址及方式配置、进程的参数配置等，调度流程管理包括调度流程编排、任务依赖关系设置及调度任务的启停用等，调度监控管理包括调度任务运行情况监控、每个进程执行情况监控及错误日志查看等。本发明可以方便快速的配置复杂任务的调度执行及任务监测工作，解决了复杂任务执行效率及人工操作出错率高的问题。
Description
技术领域
本发明属于软件技术领域，涉及一种基于数据中台的微服务架构下的流程化调度方法，具体说是一种基于流程化配置的智能任务调度方法。
背景技术
随着数据中台的建设，数据接入的难点在于范围将更大，数据接入任务频率多样，数据接入任务业务复杂，往往一次数据接入处理需要有很多个环节组成，每个环节之间根据运行过程中的不同条件又同时存在环节并行和串行的约束，而一次数据接入处理涉及到多种业务数据，又需要不同业务人员配合，接入成本高、难度大，为了提升执行数据接入任务工作的效率，减少人工投入成本，进一步提高数据接入任务的自动化、智能化，构建一套面向普通开发人员的智能化任务调度工具是非常必要的，让开发人员能够方便快速的配置复杂任务的调度执行及任务监测工作，以满足提升复杂任务执行效率及降低人工干预度。
要实现流程化调度管理的闭环处理网络，不仅需要考虑单个具体任务的调度管理，还要考虑业务逻辑关系情况，还包括流程化的多个任务顺序智能调度执行，父子任务关联调度研判等情况。那么需要对基于数据中台的调度工具很好的规划并设计一种成熟可靠的流程化配置方法。
发明内容
本发明的目的是提供一种基于流程化配置的智能任务调度方法，该方法基于可视化的流程配置工具，将最小任务进程单元作为调度流程节点，使得各个待执行任务具备先后顺序，支持流程环节跳转的逻辑配置，通过逻辑判断确定任务在流程中是否执行以及执行的线路该如何走向等；并通过监控程序对每次调度任务具体执行的情况进行记录。
本发明的目的通过以下技术方案实现：
一种基于流程化配置的智能任务调度方法，其特征在于：该方法基于企业中台管理系统，从进程管理、调度流程管理到调度监控管理，形成闭环流程化调度网络，其中：任务调度应用层开发使用包括HTML、javascript脚本、css样式表、java、数据库技术，并通过微服务部署，结合用户自定义流程实现业务逻辑；具体如下：
1)进程管理：进程管理指的是针对最小可执行任务的配置管理，定义一个接口的调用内容，用于触发某个任务的执行；
2)调度流程管理：通过调度任务管理功能，以调度进程为最基础单元进行各种串联、并联配置，并在进程运行过程中辅助设置可执行的依赖关系：
3)调度监控管理：将调度任务的运行时间、运行结果及运行过程日志进行记录，查看调度任务被执行的次数及任务流程中每个环节的运行结果及运行日志。
使用HTML、javascript脚本及css样式技术，实现拖拉拽的自定义流程图，流程图的节点以进程为单位；实现可视化的流程定义，配合任务执行依赖的灵活配置，快速完成复杂的连锁化任务执行逻辑定义；
流程定义的元素包含，进程节点配置、流程运行顺序、节点运行所需的依赖条件以及调度任务的执行时间和频率。
进程管理包括进程的调度地址及方式配置、进程的参数配置；调度流程管理包括调度流程编排、任务依赖关系设置及调度任务的启停用；调度监控管理包括调度任务运行情况监控、每个进程执行情况监控及错误日志查看。
调度监控管理深入监控整个流程化调度的各个节点的执行情况，并将异常信息进行反馈。
调度流程管理中，上一个进程执行成功后方可运行下一进程；调度流程的配置激发了整个生产任务的智能化执行，让大量的顺序性工作在无人值守的情况下有序运行。
本发明是一个流程、规则、调度、监控的集成框架，框架内容包括：进程管理、调度流程管理、调度监控三个部分。
本发明的有益效果是：
将最小任务进程单元作为调度流程节点，使得各个待执行任务具备先后顺序，支持流程环节跳转的逻辑配置，通过逻辑判断确定任务在流程中是否执行以及执行的线路该如何走向等；并通过监控程序对每次调度任务具体执行的情况进行记录。可以方便快速的配置复杂任务的调度执行及任务监测工作，解决了复杂任务执行效率及人工操作出错率高的问题。
附图说明
图1是本发明的流程图。
具体实施方式
一种基于数据中台的微服务架构下的流程化配置的智能任务调度方法，基于企业中台管理系统，从进程管理、调度流程管理到调度监控管理，形成闭环流程化调度网络。任务调度应用层开发使用包括HTML、javascript脚本、css样式表、java、数据库技术，并通过微服务部署，结合用户自定义流程实现业务逻辑；使用HTML、javascript脚本及css样式技术，实现拖拉拽的自定义流程图，流程图的节点以进程为单位；实现可视化的流程定义，配合任务执行依赖的灵活配置，快速完成复杂的连锁化任务执行逻辑定义。
流程定义的元素包含，进程节点配置、流程运行顺序、节点运行所需的依赖条件以及调度任务的执行时间和频率。
1.进程管理
进程管理包括进程的调度地址及方式配置、进程的参数配置。进程管理指的是针对最小可执行任务的配置管理，定义一个接口的调用内容，用于触发某个任务的执行。配置内容主要包含任务调用地址、调用方式及调用参数等。
2.调度流程管理
调度流程管理包括调度流程编排、任务依赖关系设置及调度任务的启停用。通过调度任务管理功能，以调度进程为最基础单元进行各种串联、并联配置，并在进程运行过程中辅助设置可执行的依赖关系：比如上一个进程执行成功后方可运行下一进程等。调度流程的配置激发了整个生产任务的智能化执行，让大量的顺序性工作可以在无人值守的情况下有序运行。
3.调度监控管理
调度监控管理包括调度任务运行情况监控、每个进程执行情况监控及错误日志查看。将调度任务的运行时间、运行结果及运行过程日志进行记录，可以查看调度任务被执行的次数及任务流程中每个环节的运行结果及运行日志等信息。
本发明可以方便快速的配置复杂任务的调度执行及任务监测工作，解决了复杂任务执行效率及人工操作出错率高的问题。
Claims (5)
1.一种基于流程化配置的智能任务调度方法，其特征在于：该方法基于企业中台管理系统，从进程管理、调度流程管理到调度监控管理，形成闭环流程化调度网络，其中：任务调度应用层开发使用包括HTML、javascript脚本、css样式表、java、数据库技术，并通过微服务部署，结合用户自定义流程实现业务逻辑；具体如下：
1)进程管理：进程管理指的是针对最小可执行任务的配置管理，定义一个接口的调用内容，用于触发某个任务的执行；
2)调度流程管理：通过调度任务管理功能，以调度进程为最基础单元进行各种串联、并联配置，并在进程运行过程中辅助设置可执行的依赖关系：
3)调度监控管理：将调度任务的运行时间、运行结果及运行过程日志进行记录，查看调度任务被执行的次数及任务流程中每个环节的运行结果及运行日志。
2.根据权利要求1所述的基于流程化配置的智能任务调度方法，其特征在于：使用HTML、javascript脚本及css样式技术，实现拖拉拽的自定义流程图，流程图的节点以进程为单位；实现可视化的流程定义，配合任务执行依赖的灵活配置，快速完成复杂的连锁化任务执行逻辑定义；
流程定义的元素包含，进程节点配置、流程运行顺序、节点运行所需的依赖条件以及调度任务的执行时间和频率。
3.根据权利要求1所述的基于流程化配置的智能任务调度方法，其特征在于：进程管理包括进程的调度地址及方式配置、进程的参数配置；调度流程管理包括调度流程编排、任务依赖关系设置及调度任务的启停用；调度监控管理包括调度任务运行情况监控、每个进程执行情况监控及错误日志查看。
4.根据权利要求1所述的基于流程化配置的智能任务调度方法，其特征在于：调度监控管理深入监控整个流程化调度的各个节点的执行情况，并将异常信息进行反馈。
5.根据权利要求1所述的基于流程化配置的智能任务调度方法，其特征在于：调度流程管理中，上一个进程执行成功后方可运行下一进程；调度流程的配置激发了整个生产任务的智能化执行，让大量的顺序性工作在无人值守的情况下有序运行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110833910.8A CN113553066A (zh) | 2021-07-23 | 2021-07-23 | 一种基于流程化配置的智能任务调度方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110833910.8A CN113553066A (zh) | 2021-07-23 | 2021-07-23 | 一种基于流程化配置的智能任务调度方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113553066A true CN113553066A (zh) | 2021-10-26 |
Family
ID=78104235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110833910.8A Pending CN113553066A (zh) | 2021-07-23 | 2021-07-23 | 一种基于流程化配置的智能任务调度方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113553066A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110219378A1 (en) * | 2010-03-05 | 2011-09-08 | Microsoft Corporation | Iterative data parallel opportunistic work stealing scheduler |
| CN111522630A (zh) * | 2020-04-30 | 2020-08-11 | 北京江融信科技有限公司 | 基于批次调度中心的计划任务执行方法以及系统 |
| CN112379989A (zh) * | 2020-11-24 | 2021-02-19 | 云汉芯城（上海）互联网科技股份有限公司 | 一种定时任务进程与队列服务进程管理系统及方法 |
| CN112379995A (zh) * | 2021-01-11 | 2021-02-19 | 北京江融信科技有限公司 | 一种基于dag的单元化分布式调度系统及方法 |
| CN112667375A (zh) * | 2020-12-22 | 2021-04-16 | 杭州东信北邮信息技术有限公司 | 一种基于大数据业务的任务调度方法及系统 |
-
2021
- 2021-07-23 CN CN202110833910.8A patent/CN113553066A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110219378A1 (en) * | 2010-03-05 | 2011-09-08 | Microsoft Corporation | Iterative data parallel opportunistic work stealing scheduler |
| CN111522630A (zh) * | 2020-04-30 | 2020-08-11 | 北京江融信科技有限公司 | 基于批次调度中心的计划任务执行方法以及系统 |
| CN112379989A (zh) * | 2020-11-24 | 2021-02-19 | 云汉芯城（上海）互联网科技股份有限公司 | 一种定时任务进程与队列服务进程管理系统及方法 |
| CN112667375A (zh) * | 2020-12-22 | 2021-04-16 | 杭州东信北邮信息技术有限公司 | 一种基于大数据业务的任务调度方法及系统 |
| CN112379995A (zh) * | 2021-01-11 | 2021-02-19 | 北京江融信科技有限公司 | 一种基于dag的单元化分布式调度系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107291565B (zh) | 运维可视化自动化作业平台及实现方法 | |
| CN103441900B (zh) | 集中式跨平台自动化测试系统及其控制方法 | |
| CN103197960B (zh) | 用于批量作业系统的调度方法及系统 | |
| CN104778124A (zh) | 一种软件应用自动化测试方法 | |
| CN110019203B (zh) | 一种基于知识库的服务器自动巡检系统与方法 | |
| CN101986278A (zh) | 一种电子类设备的自动测试方法及系统 | |
| CN111240935B (zh) | 一种自动化智能运维系统及运维方法 | |
| CN102222270B (zh) | 生产制造执行管理系统及生产任务管理器 | |
| CN113741883B (zh) | 一种rpa轻量级数据中台系统 | |
| CN113361898A (zh) | 一种基于多系统集成的产品设计风险分析方法及系统 | |
| US7185322B2 (en) | Method and apparatus for parallel action processing | |
| CN112292644A (zh) | 使用基于块的工作流程的约束编程 | |
| CN112633850A (zh) | 通过管理调用及监控rpa机器人实现业务流程自动化的方法 | |
| CN113687927A (zh) | Flume任务调度配置方法、装置、设备及存储介质 | |
| CN113553066A (zh) | 一种基于流程化配置的智能任务调度方法 | |
| CN103824162B (zh) | 一种基于指令链的可靠性与性能一体化柔性工作流实现方法 | |
| CN116627609A (zh) | 基于Hive批处理的调度方法及装置 | |
| CN110969414A (zh) | 一种基于Java的跨平台工作流实现方法及系统 | |
| EP4209912A1 (en) | Method for enhancing the debugging capability for a software program | |
| CN115056234A (zh) | 基于事件驱动和无限状态机的rpa控制器调度方法及系统 | |
| CN112817808B (zh) | 一种计算机集群维护任务管理方法及系统 | |
| CN104252552A (zh) | 一种总装工艺流程仿真方法 | |
| CN114625447A (zh) | 一种基于rpa编辑器流程控制的机器人运行系统 | |
| US20200019910A1 (en) | Block-based prediction for manufacturing environments | |
| CN110928525A (zh) | 一种用于业务流开发工具的日志自动生成方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211026 |