CN112910703A - 离线任务管理平台 - Google Patents
离线任务管理平台 Download PDFInfo
- Publication number
- CN112910703A CN112910703A CN202110137450.5A CN202110137450A CN112910703A CN 112910703 A CN112910703 A CN 112910703A CN 202110137450 A CN202110137450 A CN 202110137450A CN 112910703 A CN112910703 A CN 112910703A
- Authority
- CN
- China
- Prior art keywords
- task
- interface
- management platform
- task management
- offline
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 claims abstract description 92
- 238000012544 monitoring process Methods 0.000 claims abstract description 36
- 238000004891 communication Methods 0.000 claims abstract description 17
- 238000007689 inspection Methods 0.000 claims abstract description 6
- 238000002955 isolation Methods 0.000 claims abstract description 6
- 238000013468 resource allocation Methods 0.000 claims abstract description 4
- 238000012423 maintenance Methods 0.000 claims description 18
- 238000012806 monitoring device Methods 0.000 claims description 8
- 238000004806 packaging method and process Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000036541 health Effects 0.000 claims description 3
- 238000005538 encapsulation Methods 0.000 claims description 2
- 238000011161 development Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 6
- 238000012827 research and development Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013024 troubleshooting Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开一种离线任务管理平台，其包括：任务管理模块，任务管理模块用于以界面形式管理离线任务管理平台上的所有任务；用户管理模块，用户管理模块与任务管理模块通信连接，用于实现离线任务管理平台对于每个用户之间的调度和监控；权限管理模块，权限管理模块与用户管理模块通信连接，用于实现不同用户之间的数据权限隔离；任务调度模块，任务调度模块与任务管理模块通信连接，用于待进行任务巡检后，为离线管理平台进行不同任务的资源分配和时间分配；以及监控报警模块，监控报警模块与任务管理模块通信连接，用于在重试已执行失败的任务仍不成功时，报警给指定用户。
Description
技术领域
本发明涉及管理控制领域，尤其涉及一种任务管理平台。
背景技术
当前对于应用或产品的开发，随着业务拓展和技术发展，非实时任务应用增加，各种定时任务分布在各个业务子模块中，如批量数据处理、对账、批量发送通知等。由于不同业务子模块的开发人员的技术偏好有所区别，因此，对于定时任务的技术选型也会有所区别，当前主流的定时任务调度组件包括(以java为例)：quartz、Spring Task、Timer、elastic-job等嵌入型定时任务组件。
然而，当前的定时任务组件存在如下缺陷：1)任务分散，因为各业务子模块维护人员不同，导致研发内部没有人了解当前定时任务的数量、执行情况；2)对任务执行情况不了解，因为缺少监控和报警机制，研发人员对任务是否执行以及执行结果不了解，往往在出问题后，是由运营方或客户先发现，从而影响了用户的体验；3)技术栈不统一，因为对于不同的业务模块，其对应的开发团队也不同，这种情况导致不同的业务模块对定时任务的框架选型也有所区别，在统一整合时，无法统一维护；4)定时任务和业务模块紧耦合，因为定时任务调度和业务紧耦合，导致定时任务绑定到各个业务模块，且部分任务框架需要DB做持久化，使业务DB额外多出其他表；且定时任务更新需要连通服务一起升级，可能会导致业务中断或其他问题；5)问题排查困难，因为没有专门的监控模块，定时任务日志查看困难，导致排查问题耗时较高；6)不方便扩展，因为部分定时任务受限于架构而不能实现分布式执行，且不同开发语言定时任务组件千差万别。
因此，提供一种方便维护、监控及管理所有任务，同时亦可解耦管理任务和执行任务的离线任务管理平台成为业内急需解决的问题。
发明内容
本发明的目的是提供一种离线任务管理平台，其面向研发人员，通过应用程序接口(api)方式解耦管理模块和执行模块。平台负责安全认证、权限管理、用户管理、任务管理、任务调度、接口调用以及监控报警，研发人员自己实现核心计算逻辑，只需将核心业务逻辑暴露一个api给任务管理平台，通过简单可视化配置即可实现定时调度和监控。同时，不同群组之间实现数据权限隔离，无需担心自己的任务暴露，且平台支持api安全认证，开发人员可以对自己的api进行认证封装后注册到平台，无需担心接口因为暴露而被非法调用。
为了实现上述目的，本发明提供了一种离线任务管理平台，包括：任务管理模块，任务管理模块用于以界面形式管理离线任务管理平台上的所有任务；用户管理模块，用户管理模块与任务管理模块通信连接，用于实现离线任务管理平台对于每个用户之间的调度和监控；权限管理模块，权限管理模块与用户管理模块通信连接，用于实现不同用户之间的数据权限隔离；任务调度模块，任务调度模块与任务管理模块通信连接，用于待进行任务巡检后，为离线管理平台进行不同任务的资源分配和时间分配；以及监控报警模块，监控报警模块与任务调度模块通信连接，用于在重试已执行失败的任务仍不成功时，报警给指定用户。
优选地，在技术栈的选择方面，本发明的离线任务管理平台的后端基于javaSpring Cloud实现，前端基于angularJS6实现，采用前后端分析方式开发。
可选择地，任务管理模块包括界面维护子模块及界面监控子模块，其中，界面维护子模块用于支持以界面方式添加任务，并对任务添加名称及描述；界面监控子模块与界面维护子模块通信连接，用于对界面上的所有任务进行可视化监控。本发明的界面可以为用户界面UI。
可选择地，界面监控子模块包括：任务总数监控装置、任务健康状况监控装置、任务执行情况监控装置、以及任务重试情况监控装置。
可选择地，用户管理模块包括通信连接的访问控制子模块及接口调用子模块，其中，访问控制子模块用于通过注册及登陆方式控制每个用户对于离线任务管理平台的访问权限；接口调用子模块用于供用户通过API接口与离线任务管理平台相连接，以添加、删除、及查询任务执行情况。
可选择地，接口调用子模块包括接口认证装置及认证封装装置，其中，接口认证装置用于为用户提供接口安全认证；认证封装装置用于供完成接口安全认证的用户对自身的API进行认证封并注册至离线任务管理平台。
可选择地，监控报警模块通过邮件、短信、或微信进行报警。
可选择地，用户保留自身传送至离线任务管理平台的任务代码、任务数据库、及任务运维数据。
优选地，本发明的离线任务管理平台通过接口方式解耦任务调度和任务执行，同样可以使用rpc、远程脚本执行等方式实现。
可选择地，还包括日志查看模块，日志查看模块用于查看界面上的任一任务的日志历史。
本发明的有益效果是：(1)、离线任务管理平台可统一界面维护和监控，方便管理及监控所有任务；(2)、设置的报警机制可在任务执行失败重试，仍不成功时，通过邮件、短信、微信等便捷的方式报警给指定人员；(3)、支持日志历史查看，可以快速查看某个任务的日志历史，排查问题效率提升约50％；(4)、与业务模块解耦，实现代码(开发语言)、DB、运维解耦，解耦后开发效率显著提升，平均每天减少宕机时间约2s；(5)、支持多租户、不同的用户群体维护自己的任务，且群体之间互相不能访问数据，相同研发团队共同维护定时任务，通过统一界面查看任务执行情况；(6)、具有极高的安全保障，通过登录、注册控制用户的访问权限，通过用户组隔离保证数据安全，通过接口认证保证接口调用安全；(7)、辅助增强现有信息系统稳定性并提升研发效率，离线任务管理平台通过监控报警模块实现自动重试和出错报警，协助研发人员第一时间发现并修复问题；(8)、离线任务管理平台将复杂的任务调度和监控模块进行封装，有效减少研发开发工作量，将精力集中于核心业务开发。
附图说明
图1示出了本发明离线任务管理平台的构造示意图。
图2示出了本发明的用户管理模块的构造示意图。
图3示出了本发明的离线任务管理平台的任务执行图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请参照图1，作为一种非限制性实施方式，本发明的离线任务管理平台包括：任务管理模块10、用户管理模块20、权限管理模块30、任务调度模块40、以及监控报警模块50。
其中，任务管理模块10用于以界面形式管理离线任务管理平台上的所有任务。
用户管理模块20用于实现离线任务管理平台对于每个用户之间的调度和监控。
权限管理模块30用于实现不同用户之间的数据权限隔离。
任务调度模块40用于待进行任务巡检后，为离线管理平台进行不同任务的资源分配和时间分配。
监控报警模块50用于在重试已执行失败的任务仍不成功时，通过邮件、短信、或微信报警给指定用户。
在该非限制性实施方式中，任务管理模块10包括界面维护子模块101及界面监控子模块102，其中，界面维护子模块101用于支持以界面方式添加任务，并对任务添加名称及描述。界面监控子模块102与界面维护子模块101通信连接，用于对界面上的所有任务进行可视化监控。界面监控子模块102还包括：任务总数监控装置1021、任务健康状况监控装置1022、任务执行情况监控装置1023、以及任务重试情况监控装置1024。
作为另一种非限制性实施方式，如图2所示，用户管理模块20包括通信连接的访问控制子模块201及接口调用子模块202。其中，访问控制子模块201用于通过注册及登陆方式控制每个用户对于离线任务管理平台的访问权限。接口调用子模块202用于供用户通过API接口与离线任务管理平台相连接，以添加、删除、及查询任务执行情况。具体来讲，接口调用子模块202包括接口认证装置2021及认证封装装置2022，其中，接口认证装置2021用于为用户提供接口安全认证，认证封装装；2022用于供完成接口安全认证的用户对自身的API进行认证封并注册至离线任务管理平台。
在该非限制性实施方式中，用户保留自身传送至离线任务管理平台的任务代码、任务数据库、及任务运维数据。即本发明的离线任务管理平台将任务模块与业务模块解耦，实现代码(开发语言)、DB、运维解耦。
作为又一种非限制性实施方式，如图1所示，还包括日志查看模块60。利用日志查看模块60，可以快速查看界面上的任一任务的日志历史，提高排查问题的效率。
由此，本发明的离线任务管理平台的业务流程为：
(1)注册流程
进入平台首页→点击注册→填写注册信息→邮件激活→注册成功；
(2)添加任务组流程
登录平台→点击任务组菜单进入任务组列表→点击新建任务组→填写组信息→完成；
(3)邀请成员加入任务组流程
登录平台→点击任务组菜单进入任务组列表→点击某个组操作栏中‘查看成员’按钮→点击邀请用户→输入组成员账号并点击确认→完成；
(4)定时任务创建流程
登录平台→点击任务管理菜单进入任务列表→点击‘新建任务’按钮→填写任务必要信息→完成。
由此，如图3所示，本发明的离线任务管理平台的任务执行流程为：首先平台进行任务巡检，在巡检过程中，进行任务调度模块进行任务调度，然后触发该任务，找到该任务对应用户，或者是任务研发人员的API接口，完成接口调用的过程，在完成任务的相应工作后，返回结果，平台再继续执行该任务，若失败的话则进行重试，若重试后又失败，则启动监控报警机制，触发报警给指定人员，然后采集该任务的日志，了解查看该任务日志历史，方便排查问题。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种离线任务管理平台，其特征在于，包括：
任务管理模块，所述任务管理模块用于以界面形式管理所述离线任务管理平台上的所有任务；
用户管理模块，所述用户管理模块与所述任务管理模块通信连接，用于实现所述离线任务管理平台对于每个用户之间的调度和监控；
权限管理模块，所述权限管理模块与所述用户管理模块通信连接，用于实现不同用户之间的数据权限隔离；
任务调度模块，所述任务调度模块与所述任务管理模块通信连接，用于待进行任务巡检后，为所述离线管理平台进行不同任务的资源分配和时间分配；以及
监控报警模块，所述监控报警模块与所述任务调度模块通信连接，用于在重试已执行失败的任务仍不成功时，报警给指定用户。
2.如权利要求1所述的离线任务管理平台，其特征在于，所述任务管理模块包括界面维护子模块及界面监控子模块，
其中，所述界面维护子模块用于支持以界面方式添加任务，并对所述任务添加名称及描述；
所述界面监控子模块与所述界面维护子模块通信连接，用于对所述界面上的所有任务进行可视化监控。
3.如权利要求2所述的离线任务管理平台，其特征在于，所述界面监控子模块包括：任务总数监控装置、任务健康状况监控装置、任务执行情况监控装置、以及任务重试情况监控装置。
4.如权利要求3所述的离线任务管理平台，其特征在于，所述用户管理模块包括通信连接的访问控制子模块及接口调用子模块，
其中，所述访问控制子模块用于通过注册及登陆方式控制每个用户对于所述离线任务管理平台的访问权限；
所述接口调用子模块用于供用户通过API接口与所述离线任务管理平台相连接，以添加、删除、及查询任务执行情况。
5.如权利要求4所述的离线任务管理平台，其特征在于，所述接口调用子模块包括接口认证装置及认证封装装置，
其中，所述接口认证装置用于为用户提供接口安全认证；
所述认证封装装置用于供完成接口安全认证的用户对自身的API进行认证封并注册至所述离线任务管理平台。
6.如权利要求1所述的离线任务管理平台，其特征在于，所述监控报警模块通过邮件、短信、或微信进行报警。
7.如权利要求1所述的离线任务管理平台，其特征在于，所述用户保留自身传送至所述离线任务管理平台的任务代码、任务数据库、及任务运维数据。
8.如权利要求1～7所述的离线任务管理平台，其特征在于，还包括日志查看模块，所述日志查看模块用于查看所述界面上的任一任务的日志历史。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110137450.5A CN112910703A (zh) | 2021-02-01 | 2021-02-01 | 离线任务管理平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110137450.5A CN112910703A (zh) | 2021-02-01 | 2021-02-01 | 离线任务管理平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112910703A true CN112910703A (zh) | 2021-06-04 |
Family
ID=76121028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110137450.5A Pending CN112910703A (zh) | 2021-02-01 | 2021-02-01 | 离线任务管理平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112910703A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101072129A (zh) * | 2007-06-25 | 2007-11-14 | 北京邮电大学 | 基于jmx的网络业务管理方法及其应用系统 |
| US8639552B1 (en) * | 2013-01-24 | 2014-01-28 | Broadvision, Inc. | Systems and methods for creating and sharing tasks |
| CN106326006A (zh) * | 2016-08-23 | 2017-01-11 | 成都卡莱博尔信息技术股份有限公司 | 针对数据平台任务流的任务管理系统 |
| CN106357426A (zh) * | 2016-08-26 | 2017-01-25 | 东北大学 | 一种基于工业云的大规模分布式智能数据采集系统及方法 |
| US20170180567A1 (en) * | 2014-11-01 | 2017-06-22 | Somos, Inc. | Toll-free telecommunications and data management platform |
| CN110278279A (zh) * | 2019-06-27 | 2019-09-24 | 苏宁消费金融有限公司 | 一种动态资源调度机制的大数据离线调度开发平台及方法 |
| CN110750419A (zh) * | 2019-09-30 | 2020-02-04 | 北京百度网讯科技有限公司 | 离线任务的处理方法、装置、电子设备及存储介质 |
| CN110780981A (zh) * | 2018-07-31 | 2020-02-11 | 北京科杰信息技术有限公司 | 一种hadoop大数据平台的任务调度管理系统及方法 |
| CN110888721A (zh) * | 2019-10-15 | 2020-03-17 | 平安科技（深圳）有限公司 | 一种任务调度的方法及相关装置 |
| CN111984709A (zh) * | 2019-05-23 | 2020-11-24 | 云南青年学园科技有限公司 | 可视化大数据中台-资源调用和算法 |
-
2021
- 2021-02-01 CN CN202110137450.5A patent/CN112910703A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101072129A (zh) * | 2007-06-25 | 2007-11-14 | 北京邮电大学 | 基于jmx的网络业务管理方法及其应用系统 |
| US8639552B1 (en) * | 2013-01-24 | 2014-01-28 | Broadvision, Inc. | Systems and methods for creating and sharing tasks |
| US20170180567A1 (en) * | 2014-11-01 | 2017-06-22 | Somos, Inc. | Toll-free telecommunications and data management platform |
| CN106326006A (zh) * | 2016-08-23 | 2017-01-11 | 成都卡莱博尔信息技术股份有限公司 | 针对数据平台任务流的任务管理系统 |
| CN106357426A (zh) * | 2016-08-26 | 2017-01-25 | 东北大学 | 一种基于工业云的大规模分布式智能数据采集系统及方法 |
| CN110780981A (zh) * | 2018-07-31 | 2020-02-11 | 北京科杰信息技术有限公司 | 一种hadoop大数据平台的任务调度管理系统及方法 |
| CN111984709A (zh) * | 2019-05-23 | 2020-11-24 | 云南青年学园科技有限公司 | 可视化大数据中台-资源调用和算法 |
| CN110278279A (zh) * | 2019-06-27 | 2019-09-24 | 苏宁消费金融有限公司 | 一种动态资源调度机制的大数据离线调度开发平台及方法 |
| CN110750419A (zh) * | 2019-09-30 | 2020-02-04 | 北京百度网讯科技有限公司 | 离线任务的处理方法、装置、电子设备及存储介质 |
| CN110888721A (zh) * | 2019-10-15 | 2020-03-17 | 平安科技（深圳）有限公司 | 一种任务调度的方法及相关装置 |
Non-Patent Citations (1)
| Title |
|---|
| 杭州天视智能系统有限公司: "金融系统综合安防联网集成解决方案(二)", 华南金融电脑, no. 04, 10 April 2008 (2008-04-10) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7426654B2 (en) | Method and system for providing customer controlled notifications in a managed network services system | |
| US7404189B2 (en) | Scheduler supporting web service invocation | |
| CN110928774A (zh) | 一种基于节点式的自动化测试系统 | |
| US7525422B2 (en) | Method and system for providing alarm reporting in a managed network services environment | |
| CN102769659B (zh) | 配合过程控制系统使用的万维网服务通信 | |
| CN1934538B (zh) | 用于多代理系统的异常管理方案 | |
| US20060233310A1 (en) | Method and system for providing automated data retrieval in support of fault isolation in a managed services network | |
| CN101237335B (zh) | 实时通知事件状态变化的方法和系统 | |
| CN101022362A (zh) | 定位故障的方法以及业务维护平台 | |
| US20090043882A1 (en) | Systems and methods for consolidated service level agreements | |
| CN103259681A (zh) | 一种通讯网络主机自动化巡检方法 | |
| CN111193602B (zh) | 自动化运维管理系统及方法 | |
| US11700255B2 (en) | Feedback framework | |
| US7617462B2 (en) | Graphical user interface (GUI) for displaying software component availability as determined by a messaging infrastructure | |
| CN107844339A (zh) | 任务调度方法及插件和服务器 | |
| CN104468708A (zh) | 数据协同方法和数据协同装置 | |
| CN109873720A (zh) | 一种基于企业公众号的云中心智能运维方法及系统 | |
| CN112910703A (zh) | 离线任务管理平台 | |
| US7734763B2 (en) | Application for testing the availability of software components | |
| CN111858232A (zh) | 基于DevOps平台的信息交互系统及方法 | |
| CN115543491A (zh) | 微服务处理方法和装置 | |
| US20110167006A1 (en) | Method and system for a real-time case exchange in a service management environment | |
| CN110968491B (zh) | 一种运维作业方法及系统 | |
| CN110245032B (zh) | 基于mqtt的智能家庭网关终端装置及本地鉴权远程服务的方法 | |
| CN116719557B (zh) | 基于Rancher的应用自动化发布方法、系统及工具 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |