CN110705724A - 一种可重用自动化运维管理系统 - Google Patents

一种可重用自动化运维管理系统 Download PDF

Info

Publication number
CN110705724A
CN110705724A CN201910916655.6A CN201910916655A CN110705724A CN 110705724 A CN110705724 A CN 110705724A CN 201910916655 A CN201910916655 A CN 201910916655A CN 110705724 A CN110705724 A CN 110705724A
Authority
CN
China
Prior art keywords
task
maintenance
template
data
management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910916655.6A
Other languages
English (en)
Inventor
章津楠
吴维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang 99Cloud Information Service Co Ltd
Original Assignee
Zhejiang 99Cloud Information Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang 99Cloud Information Service Co Ltd filed Critical Zhejiang 99Cloud Information Service Co Ltd
Priority to CN201910916655.6A priority Critical patent/CN110705724A/zh
Publication of CN110705724A publication Critical patent/CN110705724A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/20Administration of product repair or maintenance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316Sequencing of tasks or work
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0633Workflow analysis

Abstract

本发明属于维管理系统领域,尤其涉及一种可重用自动化运维管理系统。该一种可重用自动化运维管理系统,包括运维任务模板,可重用自动化运维任务管理系统,其特征是:该系统主要由任务模板管理模块、任务管理模块、任务数据选择模块、任务数据渲染模块、任务执行模块和任务流程管理模板构成。其益效果是:本发明提出了相应的解决方案解决了自动化任务数据交互、管理和维护难的现实问题,达到运维任务可重用的目的,实现了自动化领域内任务脚本和数据的分离,真正做到了运维操作和环境隔离。

Description

一种可重用自动化运维管理系统
技术领域
本发明属于维管理系统领域,尤其涉及一种可重用自动化运维管理系统。
背景技术
现有技术中,随着信息时代突飞猛进的持续发展,类似云计算、大数据等技术不断成熟走向生产导致生产环境的架构变得更加复杂。现在企业中的运维人员往往各有所长,比如有的运维善于处理业务系统的问题,有的善于处理网络或者存储等基础设施的问题,从复用性考虑,在实际生产运维中遇到的问题大多是曾经出现过的问题,在传统运维角度这依然需要找曾经处理过这个问题的人去解决,或者去索引运维过程中积淀的文档,这无疑是降低了运维的效率,因为人工介入也提高了引入误操作的风险。IT运维是确保IT服务可靠的岗位,随着生产技术的不断革新,对IT运维人员的能力要求也指数上升;不仅要求熟悉各种中间件的操作和运维还要求对各种新技术也需要了解,这无疑加大了运维人员的学习曲线,对于企业来说也加大了运维成本,从复用性考虑,在实际生产运维中遇到的问题大多是曾经出现过的问题,在传统运维角度这依然需要找曾经处理过这个问题的人去解决,或者去索引运维过程中积淀的文档,这无疑是降低了运维的效率,因为人工介入也提高了引入误操作的风险,为了提供复用性,使用者需要手动编写合适的服务描述文件和任务运行所需要的变量;当脚本越来越多时,变量管理和服务管理就成了降低工作效率和加大工作复杂程度的瓶颈点了,Ansible本身提供动态Inventory的接口结合CMDB可以一定程度解决自动化任务脚本获取数据的问题,但是随之带来的是动态Inventory脚本管理维护难的问题,给人们的日常工作带来极大的不便。
发明内容
本发明的目的在于提供一种可重用自动化运维管理系统,本发明采用的技术方案是:该系统主要由任务模板管理模块、任务管理模块、任务数据选择模块、任务数据渲染模块、任务执行模块和任务流程管理模板构成;平台任务自动化运维任务执行过程包含工作流服务、调度服务、渲染服务、执行器服务和执行器Proxy服务,通过上述服务之间的调用完成自动化运维任务模板的下发和执行,从而完成整个自动化运维任务的管理工作,其中:
任务模板管理模块,用于对自动化运维脚本进行统一管理;
任务管理模块,用于管理从任务模板创建的任务;
任务数据选择模块,用于对任务模板中的变量赋值;
任务数据渲染模块用于管理任务模板的变量赋值,确保任务在执行前变量能正确赋值;
任务执行模块,执行具体的任务并返回执行结果;
任务流程管理模板,对自动化运维任务的编排统一调度时间点。
具体的,一个自动化可重用运维任务设计过程中,首先需要创建运维任务模板,通过模板的方式完成任务和环境的解耦;其次,通过模板创建运维任务,导入模板需要的环境参数;再次,把相应的任务用工作流进行运维任务的编排,以便于运维任务按照一定的顺序和规则执行,并且指定运维任务之间的相互传参;最后,创建该运维任务工作流执行的调度时间,在需要被执行的时候自动执行对应的自动化任务。
具体的,在执行自动化运维任务之前,通过任务渲染完成环境解耦,渲染目的就是把占位符替换为具体的数据,根据占位符提供的信息来决定是否需要进行格式化,如果是简单的单值变量则直接获取数据并替换,否则先查询format信息,然后根据format中提供的信息,合理格式化获取到的数据并替换;Format的管理只需要向数据库插入记录即可;对于任务参数,可通过定义任务时指定,提供初始参数、中间参数、弹窗参数三种参数类型;初始参数以使用者在页面输入的数据作为数据源;中间参数以前序任务的返回参数作为数据源;弹窗参数以当前任务运行时进行弹窗,以用户输入作为数据源。
本发明具有的有益效果是:本发明提出了相应的解决方案解决了自动化任务数据交互、管理和维护难的现实问题,达到运维任务可重用的目的,实现了自动化领域内任务脚本和数据的分离,真正做到了运维操作和环境隔离,提供了一种机制能让用户尽可能地复用具有原子性的任务模板来创建任务,多个任务组成工作流去完成复杂的运维场景的自动化,在这个过程中由于流程是对任务的复用、任务是对任务模板的复用,从而很好地控制了自动化运维落地的成本,并能应对运维场景的复杂多变,弥补了现有技术中的不足,给人们的日常工作带来了极大的便利。
附图说明
图1为本发明的实例流程图;
图2为本发明的数据赋值操作流程示意图;
图3为本发明的实施例的组成示意图;
图4为本发明的数据源选择界面图;
图5为本发明的组件部署图;
图6为本发明的集成开发交互流程图。
具体实施方式
下面将结合附图和实施例对本发明作进一步的说明。
本发明的一种可重用自动化运维管理系统,该系统主要由任务模板管理模块、任务管理模块、任务数据选择模块、任务数据渲染模块、任务执行模块和任务流程管理模板构成;平台任务自动化运维任务执行过程包含工作流服务、调度服务、渲染服务、执行器服务和执行器Proxy服务,通过上述服务之间的调用完成自动化运维任务模板的下发和执行,从而完成整个自动化运维任务的管理工作,其中:
任务模板管理模块,用于对自动化运维脚本进行统一管理;
任务管理模块,用于管理从任务模板创建的任务;
任务数据选择模块,用于对任务模板中的变量赋值;
任务数据渲染模块用于管理任务模板的变量赋值,确保任务在执行前变量能正确赋值;
任务执行模块,执行具体的任务并返回执行结果;
任务流程管理模板,对自动化运维任务的编排统一调度时间点。
具体的,一个自动化可重用运维任务设计过程中,首先需要创建运维任务模板,通过模板的方式完成任务和环境的解耦;其次,通过模板创建运维任务,导入模板需要的环境参数;再次,把相应的任务用工作流进行运维任务的编排,以便于运维任务按照一定的顺序和规则执行,并且指定运维任务之间的相互传参;最后,创建该运维任务工作流执行的调度时间,在需要被执行的时候自动执行对应的自动化任务。
具体的,在执行自动化运维任务之前,通过任务渲染完成环境解耦,渲染目的就是把占位符替换为具体的数据,根据占位符提供的信息来决定是否需要进行格式化,如果是简单的单值变量则直接获取数据并替换,否则先查询format信息,然后根据format中提供的信息,合理格式化获取到的数据并替换;Format的管理只需要向数据库插入记录即可;对于任务参数,可通过定义任务时指定,提供初始参数、中间参数、弹窗参数三种参数类型;初始参数以使用者在页面输入的数据作为数据源;中间参数以前序任务的返回参数作为数据源;弹窗参数以当前任务运行时进行弹窗,以用户输入作为数据源。
本发明一种可重用自动化运维管理系统的工作过程具体为:
如图1所示,一个自动化可重用运维任务设计过程中,首先需要创建运维任务模板,通过模板的方式完成任务和环境的解耦;其次,通过模板创建运维任务,导入模板需要的环境参数;再次,把相应的任务用工作流进行运维任务的编排,以便于运维任务按照一定的顺序和规则执行,并且指定运维任务之间的相互传参;最后,创建该运维任务工作流执行的调度时间,在需要被执行的时候自动执行对应的自动化任务。
如图2所示,鉴于自动化运维任务的可重用性,在执行自动化运维任务之前,通过任务渲染完成环境解耦,渲染目的就是把占位符替换为具体的数据,根据占位符提供的信息来决定是否需要进行格式化,如果是简单的单值变量则直接获取数据并替换,否则先查询format信息,然后根据format中提供的信息,合理格式化获取到的数据并替换。Format的管理也相对简单,只需要向数据库插入记录即可。对于任务参数,可通过定义任务时指定,提供初始参数、中间参数、弹窗参数三种参数类型。初始参数,可以以使用者在页面输入的数据作为数据源;中间参数,以前序任务的返回参数作为数据源;弹窗参数,当任务运行时进行弹窗,然后以用户输入作为数据源。
如图3所示,可重用自动化运维任务管理系统包含:任务模板管理模块,用于对自动化运维脚本进行统一管理;任务管理模块,用于管理从任务模板创建的任务;任务数据选择模块,用于对任务模板中的变量赋值;任务数据渲染模块用于管理任务模板的变量赋值,确保任务在执行前变量能正确赋值;任务执行模块,执行具体的任务并返回执行结果;任务流程管理模板,对自动化运维任务的编排统一调度时间点。本发明的有益之处在于提供了一种机制能让用户尽可能地复用具有原子性的任务模板来创建任务,多个任务组成工作流去完成复杂的运维场景的自动化。在这个过程中由于流程是对任务的复用、任务是对任务模板的复用,从而很好地控制了自动化运维落地的成本,并能应对运维场景的复杂多变。
如图5所示,平台任务自动化运维任务执行过程包含工作流服务、调度服务、渲染服务、执行器服务、执行器Proxy服务,从而完成整个自动化运维任务的管理。通过几个服务之间的调用完成自动化运维任务的下发和执行。
最后,如图6所示,在可重用的自动化运维任务开发过程中会通过任务模板来开发相应的自动化运维任务,通过运维模型抽象、不同环境信息的剥离、任务执行过程的渲染等方式,完成可重用自动化运维任务的管理。
自动化运维脚本本身具有高度分散的特点,导致无法提出一个变量集合让自动化运维开发人员来遵守,所以在具体运维任务未开发出来之前,无法确定需要配置的变量是什么;为了克服这一问题,本发明采用了添加一个中间层的方式来隔离自动化任务和任务运行需要的数据;当任务真正执行时,才根据这个中间层去数据源获取数据,并转化为任务需要的格式。
运维人员开发的自动化脚本,在添加中间层之后即可隔离任务和环境,在具体运行时指定合适的环境,无需修改任何脚本内容就可以顺利运行;当有新的自动化任务被开发出来,只需要为新开发的任务添加中间层即可,对变量数量没有任何限制要求,没有内置变量,所以对于自动化开发人员没有额外的学习负担。另外,当数据源发生变化时,比如原来是使用一个CMDB产品,现在使用另外一个不同的产品来管理服务器和变量时,只需要修改中间层的取数方式即可,其他部分均不需要发生任何改变;对应的另一种情况就是脚本发生升级,对数据格式的要求发生了改变,这时只需要改变中间层的数据输出方式即可,其他部分同样不需要发生任何修改;值得说明的是,每一个中间层发生改变都不会影响其他的中间层工作。
本发明的特点如下:
1.任务模板管理模块,提供对任务模板进行增删改查操作,用于管理同一个脚本的不同版本,并提出了可复用脚本编写规范;
2.任务管理模块,提供对任务的增删改查操作;
3.任务数据源选择模块,提供为任务输入变量值或者选择cmdb数据的接口;
4.任务数据渲染模块,提供讲源数据转化组织格式并输出的能力;
5.任务执行模块,执行自动化运维任务,并将执行日志返回。可根据配置抓取相应的结果文件并解析储存;
6.流程管理模板,提供对任务的编排,并进行统一的流程控制;
7.任务和任务运行需要的数据隔离;
8.任务数据获取延迟到自动化任务的准备启动阶段;
9.任务获取拆分为从数据源获取数据、格式组织、数据输出,每一步都可以单独修改以应对复杂的基础环境变化;
10.提供接口对任务运行的结果进行管理,可以让后续任务使用前面已经运行任务的结果。
本发明具有的有益效果是:本发明提出了相应的解决方案解决了自动化任务数据交互、管理和维护难的现实问题,达到运维任务可重用的目的,实现了自动化领域内任务脚本和数据的分离,真正做到了运维操作和环境隔离,提供了一种机制能让用户尽可能地复用具有原子性的任务模板来创建任务,多个任务组成工作流去完成复杂的运维场景的自动化,在这个过程中由于流程是对任务的复用、任务是对任务模板的复用,从而很好地控制了自动化运维落地的成本,并能应对运维场景的复杂多变,弥补了现有技术中的不足,给人们的日常工作带来了极大的便利。
本发明不局限于上述实施方式,任何人应得知在本发明的启示下做出的与本发明具有相同或相近的技术方案,均落入本发明的保护范围之内。
本发明未详细描述的技术、形状、构造部分均为公知技术。

Claims (3)

1.一种可重用自动化运维管理系统,包括运维任务模板,可重用自动化运维任务管理系统,其特征是:该系统主要由任务模板管理模块、任务管理模块、任务数据选择模块、任务数据渲染模块、任务执行模块和任务流程管理模板构成;平台任务自动化运维任务执行过程包含工作流服务、调度服务、渲染服务、执行器服务和执行器Proxy服务,通过上述服务之间的调用完成自动化运维任务模板的下发和执行,从而完成整个自动化运维任务的管理工作,其中:
任务模板管理模块,用于对自动化运维脚本进行统一管理;
任务管理模块,用于管理从任务模板创建的任务;
任务数据选择模块,用于对任务模板中的变量赋值;
任务数据渲染模块用于管理任务模板的变量赋值,确保任务在执行前变量能正确赋值;
任务执行模块,执行具体的任务并返回执行结果;
任务流程管理模板,对自动化运维任务的编排统一调度时间点。
2.根据权利要求1所述的一种可重用自动化运维管理系统,其特征是:一个自动化可重用运维任务设计过程中,首先需要创建运维任务模板,通过模板的方式完成任务和环境的解耦;其次,通过模板创建运维任务,导入模板需要的环境参数;再次,把相应的任务用工作流进行运维任务的编排,以便于运维任务按照一定的顺序和规则执行,并且指定运维任务之间的相互传参;最后,创建该运维任务工作流执行的调度时间,在需要被执行的时候自动执行对应的自动化任务。
3.根据权利要求1所述的一种可重用自动化运维管理系统,其特征是:在执行自动化运维任务之前,通过任务渲染完成环境解耦,渲染目的就是把占位符替换为具体的数据,根据占位符提供的信息来决定是否需要进行格式化,如果是简单的单值变量则直接获取数据并替换,否则先查询format信息,然后根据format中提供的信息,合理格式化获取到的数据并替换;Format的管理只需要向数据库插入记录即可;对于任务参数,可通过定义任务时指定,提供初始参数、中间参数、弹窗参数三种参数类型;初始参数以使用者在页面输入的数据作为数据源;中间参数以前序任务的返回参数作为数据源;弹窗参数以当前任务运行时进行弹窗,以用户输入作为数据源。
CN201910916655.6A 2019-09-26 2019-09-26 一种可重用自动化运维管理系统 Pending CN110705724A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910916655.6A CN110705724A (zh) 2019-09-26 2019-09-26 一种可重用自动化运维管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910916655.6A CN110705724A (zh) 2019-09-26 2019-09-26 一种可重用自动化运维管理系统

Publications (1)

Publication Number Publication Date
CN110705724A true CN110705724A (zh) 2020-01-17

Family

ID=69198103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910916655.6A Pending CN110705724A (zh) 2019-09-26 2019-09-26 一种可重用自动化运维管理系统

Country Status (1)

Country Link
CN (1) CN110705724A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063090A (zh) * 2018-07-26 2018-12-21 挖财网络技术有限公司 自动化运维管理系统
CN112330180A (zh) * 2020-11-17 2021-02-05 深圳市智象科技有限公司 一种灵活配置的自动作业系统
CN112965869A (zh) * 2020-12-31 2021-06-15 中国人寿保险股份有限公司上海数据中心 一种用于非标准化应用系统的自动化运维方法及系统
CN113010210A (zh) * 2020-11-20 2021-06-22 云智慧(北京)科技有限公司 一种自动化运维作业管理方法和系统
CN113162784A (zh) * 2020-01-22 2021-07-23 阿里巴巴集团控股有限公司 一种运维模板的生成方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777004A (zh) * 2010-01-26 2010-07-14 北京邮电大学 面向服务环境中基于模板实现bpel子流程复用的方法及系统
CN108492006A (zh) * 2018-02-28 2018-09-04 广东电网有限责任公司信息中心 一种层次控制模式的运维作业调度引擎
CN109740934A (zh) * 2018-12-29 2019-05-10 深圳前海微众银行股份有限公司 运维作业控制方法、装置、设备及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777004A (zh) * 2010-01-26 2010-07-14 北京邮电大学 面向服务环境中基于模板实现bpel子流程复用的方法及系统
CN108492006A (zh) * 2018-02-28 2018-09-04 广东电网有限责任公司信息中心 一种层次控制模式的运维作业调度引擎
CN109740934A (zh) * 2018-12-29 2019-05-10 深圳前海微众银行股份有限公司 运维作业控制方法、装置、设备及计算机可读存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063090A (zh) * 2018-07-26 2018-12-21 挖财网络技术有限公司 自动化运维管理系统
CN113162784A (zh) * 2020-01-22 2021-07-23 阿里巴巴集团控股有限公司 一种运维模板的生成方法和装置
CN113162784B (zh) * 2020-01-22 2023-08-22 阿里巴巴集团控股有限公司 一种运维模板的生成方法和装置
CN112330180A (zh) * 2020-11-17 2021-02-05 深圳市智象科技有限公司 一种灵活配置的自动作业系统
CN113010210A (zh) * 2020-11-20 2021-06-22 云智慧(北京)科技有限公司 一种自动化运维作业管理方法和系统
CN112965869A (zh) * 2020-12-31 2021-06-15 中国人寿保险股份有限公司上海数据中心 一种用于非标准化应用系统的自动化运维方法及系统
CN112965869B (zh) * 2020-12-31 2022-09-16 中国人寿保险股份有限公司上海数据中心 一种用于非标准化应用系统的自动化运维方法及系统

Similar Documents

Publication Publication Date Title
CN110705724A (zh) 一种可重用自动化运维管理系统
CN110825362B (zh) 低代码应用软件开发系统及方法
CN108052681B (zh) 一种关系型数据库间结构化数据的同步方法及系统
CN103441900B (zh) 集中式跨平台自动化测试系统及其控制方法
CN111399853B (zh) 机器学习模型与自定义算子的模板化部署方法
US8209710B2 (en) Implementation system for business applications
US11651272B2 (en) Machine-learning-facilitated conversion of database systems
CN104778124A (zh) 一种软件应用自动化测试方法
CN111176645A (zh) 面向电网大数据应用的数据集成管理系统及其实现方法
CN112579625A (zh) 多源异构数据治理方法及装置
CN112148788A (zh) 异构数据源的数据同步方法及系统
CN108540351B (zh) 分布式大数据服务的自动化测试方法
CN110221815B (zh) 一种基于本体的控制软件模型的自动生成方法
CN105278991B (zh) 一种云应用部署配置模型的构造方法
CN111813814A (zh) 一种支持多种机器学习框架的通用模型管理方法和装置
CN108763323B (zh) 基于资源集和大数据技术的气象格点文件应用方法
CN109885493A (zh) 一种基于Android平台和Java反射的自动化混合框架
CN113655996A (zh) 一种基于需求模型的企业级系统生成方法
CN101339506A (zh) 一种实现软件产品资源与版本管理的装置
CN112100984A (zh) 一种由ebom到sbom的数据转换方法及系统
CN101458628A (zh) 一种程序版本管理方法
US10157360B1 (en) Smart bricks information system
CN110457010B (zh) 基于协作平台批量更改任务单的方法及装置
CN112783791A (zh) 接口测试案例的生成方法及装置
KR101061326B1 (ko) 응용서버 개발시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200117

RJ01 Rejection of invention patent application after publication