CN112559486A - 一种数据中台统一任务调度管理系统 - Google Patents
一种数据中台统一任务调度管理系统 Download PDFInfo
- Publication number
- CN112559486A CN112559486A CN202011252238.5A CN202011252238A CN112559486A CN 112559486 A CN112559486 A CN 112559486A CN 202011252238 A CN202011252238 A CN 202011252238A CN 112559486 A CN112559486 A CN 112559486A
- Authority
- CN
- China
- Prior art keywords
- scheduling
- task
- unified
- module
- submodule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 claims abstract description 23
- 230000010354 integration Effects 0.000 claims abstract description 14
- 230000006978 adaptation Effects 0.000 claims abstract description 6
- 238000007726 management method Methods 0.000 claims description 32
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000013468 resource allocation Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Abstract
本发明提出了一种数据中台统一任务调度管理系统，包括：用于管理整个系统的调度任务的统一任务调度引擎模块、用于对数据中台的任务进行调度依赖关系的配置的统一调度依赖关系配置模块、用于对数据中台任务调度资源进行管理的统一调度资源管理分配模块、用于对整个业务调度任务进行全方位的监控的统一调度情况监控预警模块以及用于用于完成数据中台与集成组件的适配和动态联动的数据中台异构工具集成模块，各模块各自工作又互相配合，解决现有数据中台作业任务与外部uep、etl、ogg等任务缺乏统一调度的问题，提高全局任务作业调度的有序性和调度效率。
Description
技术领域
本发明涉及数据管理领域，具体涉及一种数据中台统一任务调度管理系统。
背景技术
随着云平台、数据中台建设的逐步推进，各种新业务形态大量涌现，云与中台新技术深度应用，不断推进现有信息基础设施升级改造，同时也带来了实施运维工作复杂度的提高，对企业数据中台自动化实施运维管理提出了更高的要求。
目前，数据中台在数据接入、数据整合以及数据发布的任务构建过程中存在数据中台任务与外部uep、etl、ogg等任务缺乏统一调度，致使产生各环节数据联调协作工作繁杂，工作效率低下等问题，因此需要一种数据中台作业任务调度管理系统解决现有问题。
发明内容
发明目的：本发明提供一种数据中台统一任务调度管理系统，目的是为了解决数据中台作业任务与外部uep、etl、ogg等任务缺乏统一调度的问题，避免全局任务作业调度的无序性。
技术方案：为了实现上述发明目的，本发明所述的一种数据中台统一任务调度管理系统，包含统一任务调度引擎模块、统一调度依赖关系配置模块、统一调度资源管理分配模块、统一调度情况监控预警模块以及数据中台异构工具集成模块；
所述统一任务调度引擎模块负责管理整个系统的调度任务，接收调度请求并执行任务逻辑；
所述统一调度依赖关系配置模块通过结合具体业务关系以及任务的优先级对数据中台的任务进行调度依赖关系的配置；
所述统一调度资源管理分配模块用于对数据中台任务调度资源进行管理；
所述统一调度情况监控预警模块用于对整个业务调度任务进行全方位的监控，全面掌控数据中台调度流转与运行情况，对于有问题的调度任务进行预判和告警；
所述数据中台异构工具集成模块用于完成数据中台与集成组件的适配和动态联动，使得数据中台与外部系统的数据传输保持同步和一致。
有益效果：本发明提出的一种数据中台统一任务调度管理系统，以全局高度掌握调度优先性，完善数据中台各类数据抽取、加工操作，根据中台资源情况、数据依赖关系、应用需求层级，优化中台贴源层、共享层、应用层数据相关程序调度。根据业务应用重要程度变更，实现自动调整相关链路先后顺序，自动改变内部依赖关系，保障上下游数据完整，避免资源浪费以及调度无序性；从而提高调度效率，提升资源利用率，降低运维成本，进一步提升企业数据中台的服务能力，提高企业自动化管理水平。
附图说明
图1是本发明实施例提供的数据中台统一任务调度管理系统功能架构图；
图2是本发明实施例提供的数据中台统一任务调度管理系统的工作流程图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
本发明提出一种数据中台统一任务调度管理系统，参照图1，调度系统是基于底层的中间件的，中间件都是成熟的产品，调度工具是通过调用中间件的开放功能接口来完成调度中间件执行任务，调度工具最终是业务用户使用的，并非任何人都可以使用，因此需要有用户身份认证，调度工具是数据中台的技术手段，调度任务如何编排都是基于业务来进行的。该调度管理系统主要包括：统一任务调度引擎模块、统一调度依赖关系配置模块、统一调度资源管理分配模块、统一调度情况监控预警模块以及数据中台异构工具集成模块，其中统一任务调度引擎模块负责管理整个系统的调度任务，统一调度依赖关系配置模块通过结合具体业务关系以及任务的优先级对数据中台的任务进行调度依赖关系的配置，统一调度资源管理分配模块用于对数据中台任务调度资源进行管理，统一调度情况监控预警模块用于对整个业务调度任务进行全方位的监控，数据中台异构工具集成模块用于完成数据中台与集成组件的适配和动态联动，使得数据中台与外部系统的数据传输保持同步和一致。该系统以全局高度掌握调度优先性，完善数据中台各类数据抽取、加工操作，根据中台资源情况、数据依赖关系、应用需求层级，优化中台贴源层、共享层、应用层数据相关程序调度。
下面给出具体各模块的功能以及实现方式。
(1)统一任务调度引擎模块是数据中台统一调度管理系统的核心，支撑整个系统的任务调度。其实现统一管理调度任务，接收调度请求并执行任务逻辑。统一任务调度引擎模块包括任务调度线程池子模块、自定义任务参数子模块、任务定时循环子模块、调度任务动态操作子模块、任务超时控制子模块以及任务失败重试子模块。其中，调度线程池子模块：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞；自定义任务参数子模块：支持在线配置调度任务参数，即时生效；定时循环执行子模块：支持任务按照自定义时间循环执行；动态操作子模块：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；任务超时控制子模块：支持自定义任务超时时间，任务运行超时将会主动中断任务；任务失败重试子模块：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试。
(2)统一调度依赖关系配置模块从全局角度结合具体业务关系以及依赖对数据中台与外部uep、etl等调度任务进行调度依赖关系的配置。统一调度依赖关系配置涉及统一调度任务配置、任务依赖关系配置与调度任务优先级配置三个方面，因此，相应地设计三个子模块，其中，调度任务配置子模块：获取数据中台与外部uep、etl等调度任务，配置数据调度，包括运行时间、调度周期等。支持自定义运行时间；支持多时间粒度的调度周期；；支持手动执行业务流程。依赖关系配置子模块：统一配置数据中台与外部uep、etl等调度任务的先后运行顺序。支持任务依赖关系，即在前置任务执行完，然后再执行后续任务；支持跨工作空间依赖关系配置；支持可视化展示任务的依赖关系。任务优先级配置子模块：从全局统筹数据中台与外部uep、etl等调度任务的优先级级别，业务紧急度重要的设置高优先级，在资源紧张的情况下优先运行高优先级任务。统一调度依赖关系配置模块根据业务应用重要程度变更实现自动调整相关链路先后顺序，自动改变内部依赖关系，保障上下游数据完整，避免资源浪费以及调度无序性。
(3)统一调度资源管理分配模块对数据中台任务调度资源进行管理，最大化的合理充分利用调度资源，避免数据中台调度资源的无效浪费。统一调度资源管理分配模块包括统一调度资源总览子模块与统一调度资源分配子模块。调度资源总览子模块：获取数据调度任务时间分布情况，查看调度任务运行高峰时段，便于合理分配调度资源。支持的调度任务按照调度名称查询；支持调度任务按照任务运行时间排序；支持统计全局调度任务运行时间。调度资源分配子模块：动态分配不同调度任务的资源使用情况。支持动态分配修改调度资源(增加、减少)。
(4)统一调度情况监控预警模块全面掌控数据中台与外部uep、etl等调度任务调度流转与运行情况，使问题可能得到及时解决。统一调度情况监控预警模块包含调度情况监控子模块、调度异常处理子模块以及调度监控预警子模块。调度情况监控子模块：获取数据调度任务的实时运行情况，查看已完成、运行中、运行失败的调度任务，提供日志查看功能。支持可视化查看调度任务的运行状态；支持统计任务各个运行状态的数目；支持查看任务运行详细日志。调度异常处理子模块：可对运行异常的数据任务处理，包括重启、中止、查看影响范围等。支持手动重启、中止调度任务；支持提供血缘链路，血缘链路可体现当前任务涉及的数据表在任务流程中涉及到哪些任务之间的关系；支持评估异常任务影响范围；支持单任务重跑、多任务重跑。调度监控预警子模块：对于重要的任务可设置预警，出现异常后即任务运行失败及时通知运维人员处理，支持短信通知或邮件通知等手段。支持任务预警设置，出现调度任务异常后以短信或邮件等手段通知运维人员。
(5)数据中台多环节异构工具集成模块提供统一适配器、动态联动组件，保证数据中台与外部系统的数据传输同步的一致性，避免由于调度的无序性导致数据质量的下降与数据的不准确。统一适配器：支持多环节异构工具的统一适配，对多环节异购工具进行统一管理，获取多环节异构工具的状态信息并对其进行有效监控，当多环节异构工具出现问题时及时报警进行人工干预处理。常见的异构工具有SG-UEP，是类数据传输工具，负责将数据中台的数据投送到其他应用中；还有ETL工具，是数据交换工具，负责数据中台数据与其他系统的数据清洗与交互。动态联动组件：依托统一调度引擎，从全局高度，将中台内部的调度任务与中台外部的系统的任务进行动态串联，根据业务需求，数据中台的调度任务自动触发多环节异构工具运行，打破原有数据中台与外部系统的数据时效性壁垒，使一条数据业务线对于用户来说是一个黑盒任务，用户不需要关心调度任务的内部依赖关联关系，只需要关注业务线的输入数据与输出结果。
参照图2，数据中台统一任务调度管理系统的工作流程主要为：系统启动后，初始化调度管理系统的运行环境，检查运行环境是否正常，如果环境异常，重新进入环境初始化；如果运行环境正常，加载调度管理工具调度引擎，加载任务调度配置参数，加载调度任务所需资源，调度任务开始运行，完成调度任务的执行。
本发明按照现场项目实施例进行了说明，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此凡采用等同替换或等效变换的形式所获得的技术方案，均落在本发明的保护范围之内。
Claims (6)
1.一种数据中台统一任务调度管理系统，其特征在于，所述系统包括：统一任务调度引擎模块、统一调度依赖关系配置模块、统一调度资源管理分配模块、统一调度情况监控预警模块以及数据中台异构工具集成模块；
所述统一任务调度引擎模块负责管理整个系统的调度任务，接收调度请求并执行任务逻辑；
所述统一调度依赖关系配置模块通过结合具体业务关系以及任务的优先级对数据中台的任务进行调度依赖关系的配置；
所述统一调度资源管理分配模块用于对数据中台任务调度资源进行管理；
所述统一调度情况监控预警模块用于对整个业务调度任务进行全方位的监控，全面掌控数据中台调度流转与运行情况，对于有问题的调度任务进行预判和告警；
所述数据中台异构工具集成模块用于完成数据中台与集成组件的适配和动态联动，使得数据中台与外部系统的数据传输保持同步和一致。
2.根据权利要求1所述的数据中台统一任务调度管理系统，其特征在于，所述统一任务调度引擎模块包括任务调度线程池子模块、自定义任务参数子模块、任务定时循环子模块、调度任务动态操作子模块、任务超时控制子模块以及任务失败重试子模块，其中，调度线程池子模块用于对调度系统多线程触发调度运行；自定义任务参数子模块用于在线配置调度任务参数；定时循环执行子模块用于设置任务按照自定义时间循环执行；动态操作子模块用于动态修改任务状态、启动/停止任务以及终止运行中任务；任务超时控制子模块用于自定义任务超时时间，当任务运行超时主动中断任务；任务失败重试子模块用于自定义任务失败重试次数，当任务失败时按照预设的失败重试次数主动进行重试。
3.根据权利要求1所述的数据中台统一任务调度管理系统，其特征在于，所述统一调度依赖关系配置模块包括调度任务配置子模块、依赖关系配置子模块以及任务优先级配置子模块，其中，调度任务配置子模块用于获取数据中台与外部调度任务，配置数据调度；依赖关系配置子模块用于统一配置数据中台与外部调度任务的先后运行顺序，支持多种任务的依赖关系；任务优先级配置子模块用于从全局统筹数据中台与外部调度任务的优先级级别，根据业务紧急度设置优先级，优先运行高优先级任务。
4.根据权利要求1所述的数据中台统一任务调度管理系统，其特征在于，所述统一调度资源管理分配模块包括统一调度资源总览子模块与统一调度资源分配子模块，其中调度资源总览子模块用于获取数据调度任务时间分布情况，查看调度任务运行高峰时段，便于合理分配调度资源；调度资源分配子模块用于动态分配不同调度任务的资源使用情况。
5.根据权利要求1所述的数据中台统一任务调度管理系统，其特征在于，所述统一调度情况监控预警模块包括调度情况监控子模块、调度异常处理子模块以及调度监控预警子模块，其中调度情况监控子模块用于获取数据调度任务的实时运行情况，查看已完成、运行中、运行失败的调度任务；调度异常处理子模块用于对运行异常的数据任务进行处理，包括重启、中止、查看影响范围；调度监控预警子模块用于设置任务的预警条件，当出现调度任务异常后发通知给运维人员。
6.根据权利要求1所述的数据中台统一任务调度管理系统，其特征在于，所述数据中台异构工具集成模块包括统一适配器子模块和动态联动组件子模块，其中统一适配器子模块用于对多环节异构工具进行统一适配和统一管理，通过获取多环节异构工具的状态信息并对其进行监控，当多环节异构工具出现问题时报警进行人工干预处理；动态联动组件用于将数据中台内部的调度任务与外部的任务进行动态串联，根据业务需求，数据中台的调度任务自动触发多环节异构工具运行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011252238.5A CN112559486A (zh) | 2020-11-11 | 2020-11-11 | 一种数据中台统一任务调度管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011252238.5A CN112559486A (zh) | 2020-11-11 | 2020-11-11 | 一种数据中台统一任务调度管理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112559486A true CN112559486A (zh) | 2021-03-26 |
Family
ID=75042053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011252238.5A Pending CN112559486A (zh) | 2020-11-11 | 2020-11-11 | 一种数据中台统一任务调度管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112559486A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113448705A (zh) * | 2021-06-25 | 2021-09-28 | 皖西学院 | 一种不平衡作业调度算法 |
| CN113935100A (zh) * | 2021-12-15 | 2022-01-14 | 四川省交通勘察设计研究院有限公司 | 一种云建模方法、云建模装置以及云建模系统 |
| CN114036031A (zh) * | 2022-01-05 | 2022-02-11 | 阿里云计算有限公司 | 一种企业数字中台中资源服务应用的调度系统和方法 |
| WO2023020177A1 (zh) * | 2021-08-16 | 2023-02-23 | 腾讯科技（深圳）有限公司 | 一种任务调度方法、游戏引擎、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699432A (zh) * | 2013-12-17 | 2014-04-02 | 华中科技大学 | 一种异构环境下的多任务运行时协同调度系统 |
| CN109688549A (zh) * | 2018-12-19 | 2019-04-26 | 杭州小犇科技有限公司 | 一种程序控制调度系统 |
| CN111061788A (zh) * | 2019-11-26 | 2020-04-24 | 江苏瑞中数据股份有限公司 | 一种基于云架构的多源异构数据转换整合系统及其实现方法 |
| CN111209101A (zh) * | 2020-01-06 | 2020-05-29 | 深圳市同洲电子股份有限公司 | 一种大数据计算任务多依赖调度系统 |
-
2020
- 2020-11-11 CN CN202011252238.5A patent/CN112559486A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699432A (zh) * | 2013-12-17 | 2014-04-02 | 华中科技大学 | 一种异构环境下的多任务运行时协同调度系统 |
| CN109688549A (zh) * | 2018-12-19 | 2019-04-26 | 杭州小犇科技有限公司 | 一种程序控制调度系统 |
| CN111061788A (zh) * | 2019-11-26 | 2020-04-24 | 江苏瑞中数据股份有限公司 | 一种基于云架构的多源异构数据转换整合系统及其实现方法 |
| CN111209101A (zh) * | 2020-01-06 | 2020-05-29 | 深圳市同洲电子股份有限公司 | 一种大数据计算任务多依赖调度系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113448705A (zh) * | 2021-06-25 | 2021-09-28 | 皖西学院 | 一种不平衡作业调度算法 |
| WO2023020177A1 (zh) * | 2021-08-16 | 2023-02-23 | 腾讯科技（深圳）有限公司 | 一种任务调度方法、游戏引擎、设备及存储介质 |
| CN113935100A (zh) * | 2021-12-15 | 2022-01-14 | 四川省交通勘察设计研究院有限公司 | 一种云建模方法、云建模装置以及云建模系统 |
| CN114036031A (zh) * | 2022-01-05 | 2022-02-11 | 阿里云计算有限公司 | 一种企业数字中台中资源服务应用的调度系统和方法 |
| WO2023131058A1 (zh) * | 2022-01-05 | 2023-07-13 | 阿里云计算有限公司 | 一种企业数字中台中资源服务应用的调度系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112559486A (zh) | 一种数据中台统一任务调度管理系统 | |
| CN109857558A (zh) | 一种数据流处理方法及系统 | |
| US20090265707A1 (en) | Optimizing application performance on virtual machines automatically with end-user preferences | |
| CN107943555A (zh) | 一种云计算环境下的大数据存储和处理平台及处理方法 | |
| CN111190798A (zh) | 一种业务数据监控警告装置及方法 | |
| WO2006053908A1 (en) | Scheduling system and work order scheduling protocol for such a system | |
| CN106909411A (zh) | 一种文件更新方法及装置 | |
| US8843930B2 (en) | Thread scheduling and control framework | |
| CN113254010A (zh) | 一种可视化dag工作流任务调度系统及其运行方法 | |
| CN106293911A (zh) | 分布式调度系统、方法 | |
| CN113658351A (zh) | 一种产品生产的方法、装置、电子设备及存储介质 | |
| CN113010277A (zh) | 一种基于自动化运维的多条件触发自动作业系统和方法 | |
| CN114942859A (zh) | 节点故障的处理方法、装置、设备、介质和程序产品 | |
| CN115056234A (zh) | 基于事件驱动和无限状态机的rpa控制器调度方法及系统 | |
| CN112148462A (zh) | 基于Jenkins的CICD流程的处理方法 | |
| CN112671665A (zh) | 智能流量调度方法、装置、设备以及存储介质 | |
| KR20210057419A (ko) | 모바일 어플리케이션을 이용한 스마트팩토리의 운영방법 및 운영시스템 | |
| CN111522630A (zh) | 基于批次调度中心的计划任务执行方法以及系统 | |
| CN113032110A (zh) | 一种基于分布式对等架构设计的高可用任务调度方法 | |
| CN116431277A (zh) | 多地运维容器化方法、装置、计算机设备及存储介质 | |
| CN113010307B (zh) | 一种多链区块链浏览器系统及其使用方法 | |
| CN114327927A (zh) | 一种高自由度高度可配置的工作流的实现方法 | |
| US20240103493A1 (en) | Systems and methods for condition-based deployment of chainable compute operations for constrained computing devices | |
| US20240103455A1 (en) | Application driven enhancement to industrial automation device via container implementation | |
| CN115086158A (zh) | 一种基于智能制造的接口管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |