CN114513439A - 自动化批处理运维方法 - Google Patents

自动化批处理运维方法 Download PDF

Info

Publication number
CN114513439A
CN114513439A CN202210138421.5A CN202210138421A CN114513439A CN 114513439 A CN114513439 A CN 114513439A CN 202210138421 A CN202210138421 A CN 202210138421A CN 114513439 A CN114513439 A CN 114513439A
Authority
CN
China
Prior art keywords
client
command
master
minion
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210138421.5A
Other languages
English (en)
Other versions
CN114513439B (zh
Inventor
李倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainan Grid Mountain Network Technology Co ltd
Original Assignee
Hainan Grid Mountain Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainan Grid Mountain Network Technology Co ltd filed Critical Hainan Grid Mountain Network Technology Co ltd
Priority to CN202210138421.5A priority Critical patent/CN114513439B/zh
Publication of CN114513439A publication Critical patent/CN114513439A/zh
Application granted granted Critical
Publication of CN114513439B publication Critical patent/CN114513439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Cardiology (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及自动化运维技术领域，涉及一种自动化批处理运维方法，包括以下步骤：1)Master与Minion进行消息传递；2)根据jobid获取命令执行结果；3)将要执行的命令发送给客户端minion；4)minion接收到命令，交给minion._handle_aes处理；5)minion._handle_aes执行ls命令；将执行结果通过消息总线返回给master；6)将结果写在文件中；7)将结果输出到终端；8)实现系统的性能监控、监控文件状态和处理情况、单机故障的监控自动处理；9)客户端通过facter收集客户端信息并发送至服务端。本发明能较佳地进行自动化批处理运维。

Description

自动化批处理运维方法
技术领域
本发明涉及自动化运维技术领域，具体地说，涉及一种自动化批处理运维方法。
背景技术
IT运维是指单位IT部门采用相关的方法、手段、技术、制度、流程和文档等，对IT软硬运行环境、IT业务系统和IT运维人员进行的综合管理。在电信运维领域存在许多日常维护作业，包括定期进行检查的指标、执行的任务或者类似的维护行为，维护人员日常工作中包含了大量重复性的劳动。
现在运维作业是由工作人员手工完成，部署环境的时候需要人工一台一台去部署，监控告警后需要人工处理问题，十分不便。
发明内容
本发明的内容是提供一种自动化批处理运维方法，其能够克服现有技术的某种或某些缺陷。
根据本发明的一种自动化批处理运维方法，其包括以下步骤：
(1)Saltstack的Master与Minion之间通过ZeroMq进行消息传递；
(2)将cmd.run ls命令从salt.client.LocalClient.cmd_cli发布到master，获取Jodid，根据jobid获取命令执行结果；
(3)master接收到命令后，将要执行的命令发送给客户端minion；
(4)minion从消息总线上接收到要处理的命令，交给minion._handle_aes处理；
(5)minion._handle_aes发起一个本地线程调用cmdmod执行ls命令；线程执行完ls后，调用minion._return_pub方法，将执行结果通过消息总线返回给master；
(6)master接收到客户端返回的结果，调用master._handle_aes方法，将结果写在文件中；
(7)salt.client.LocalClient.cmd_cli通过轮询获取Job执行结果，将结果输出到终端；
(8)利用Returner实现系统的性能监控、利用Watch监控文件状态和处理情况、单机故障的监控自动处理；
(9)客户端通过facter收集客户端信息并发送至服务端；客户端连接服务端并请求catalog日志，请求节点node的信息，从服务器端接收节点node的实例，编译代码包括语法检查的工作，查询是否有exported虚拟资源。
作为优选，步骤(1)中，Master与Minion之间的消息传递使用ZeroMq的发布-订阅模式。
作为优选，步骤(1)中，Master与Minion之间的连接方式包括tcp和ipc。
作为优选，步骤(9)中，若有exported虚拟资源，则从数据库接收虚拟资源，接收完整的catalog日志，存储catalog日志到数据库，客户端接收完整的catalog日志。
本发明实现运维问题平台化管理，能自动故障发现并自主切换功能降低线上问题故障率，节省运维成本保证系统持续稳定运行；能实现全平台批量部署、自动容灾，以及资源可伸缩调度，形成以监控、决策、执行、记录为体系的自动化运维系统。
附图说明
图1为实施例1中一种自动化批处理运维方法的流程图。
具体实施方式
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。
实施例1
如图1所示，本实施例提供了一种自动化批处理运维方法，其包括以下步骤：
(1)Saltstack(集中化管理平台)的Master(管理端)与Minion(客户端)之间通过ZeroMq(消息队列软件)进行消息传递；
(2)将cmd.run ls(启动命令)从salt.client.LocalClient.cmd_cli(执行命令)发布到master，获取Jodid(进程身份ID)，根据jobid获取命令执行结果；
(3)master接收到命令后，将要执行的命令发送给客户端minion；
(4)minion从消息总线上接收到要处理的命令，交给minion._handle_aes(客户端消息接受模块)处理；
(5)minion._handle_aes发起一个本地线程调用cmdmod(集中化管理平台模块)执行ls命令；线程执行完ls后，调用minion._return_pub(客户端消息返回模块)方法，将执行结果通过消息总线返回给master；
(6)master接收到客户端返回的结果，调用master._handle_aes方法，将结果写在文件中；
(7)salt.client.LocalClient.cmd_cli通过轮询获取Job执行结果，将结果输出到终端；
(8)利用Returner(返回模块)实现系统的性能监控、利用Watch(表盘)监控文件状态和处理情况、单机故障的监控自动处理；
(9)客户端通过facter(收集工具)收集客户端信息并发送至服务端；客户端连接服务端并请求catalog日志，请求节点node的信息，从服务器端接收节点node的实例，编译代码包括语法检查的工作，查询是否有exported(输出)虚拟资源。
步骤(1)中，Master与Minion之间的消息传递使用ZeroMq的发布-订阅模式。
步骤(1)中，Master与Minion之间的连接方式包括tcp和ipc。
步骤(9)中，若有exported虚拟资源，则从数据库接收虚拟资源，接收完整的catalog日志，存储catalog日志到数据库，客户端接收完整的catalog日志。
本实施例实现运维问题平台化管理，能自动故障发现并自主切换功能降低线上问题故障率，节省运维成本保证系统持续稳定运行；能实现全平台批量部署、自动容灾，以及资源可伸缩调度，形成以监控、决策、执行、记录为体系的自动化运维系统。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (4)

1.自动化批处理运维方法，其特征在于：包括以下步骤：
(1)集中化管理平台Saltstack的管理端master与客户端minion之间通过消息队列软件ZeroMq进行消息传递；
(2)将cmd.run ls启动命令从salt.client.LocalClient.cmd_cli执行命令发布到管理端master，获取进程身份Jodid，根据进程身份jobid获取命令执行结果；
(3)管理端master接收到命令后，将要执行的命令发送给客户端minion；
(4)客户端minion从消息总线上接收到要处理的命令，交给客户端消息接受模块minion._handle_aes处理；
(5)客户端消息接受模块minion._handle_aes发起一个本地线程调用集中化管理平台模块cmdmod执行ls命令；线程执行完ls后，调用客户端消息返回模块minion._return_pub方法，将执行结果通过消息总线返回给管理端master；
(6)管理端master接收到客户端返回的结果，调用客户端消息接受模块master._handle_aes方法，将结果写在文件中；
(7)执行命令salt.client.LocalClient.cmd_cli通过轮询获取Job执行结果，将结果输出到终端；
(8)利用返回模块Returner实现系统的性能监控、利用表盘Watch监控文件状态和处理情况、单机故障的监控自动处理；
(9)客户端通过收集工具facter收集客户端信息并发送至服务端；客户端连接服务端并请求catalog日志，请求节点node的信息，从服务器端接收节点node的实例，编译代码包括语法检查的工作，查询是否有exported虚拟资源。
2.根据权利要求1所述的自动化批处理运维方法，其特征在于：步骤(1)中，Master与Minion之间的消息传递使用ZeroMq的发布-订阅模式。
3.根据权利要求2所述的自动化批处理运维方法，其特征在于：步骤(1)中，Master与Minion之间的连接方式包括tcp和ipc。
4.根据权利要求1所述的自动化批处理运维方法，其特征在于：步骤(9)中，若有exported虚拟资源，则从数据库接收虚拟资源，接收完整的catalog日志，存储catalog日志到数据库，客户端接收完整的catalog日志。
CN202210138421.5A 2022-02-15 2022-02-15 自动化批处理运维方法 Active CN114513439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210138421.5A CN114513439B (zh) 2022-02-15 2022-02-15 自动化批处理运维方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210138421.5A CN114513439B (zh) 2022-02-15 2022-02-15 自动化批处理运维方法

Publications (2)

Publication Number Publication Date
CN114513439A true CN114513439A (zh) 2022-05-17
CN114513439B CN114513439B (zh) 2024-04-02

Family

ID=81552327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210138421.5A Active CN114513439B (zh) 2022-02-15 2022-02-15 自动化批处理运维方法

Country Status (1)

Country Link
CN (1) CN114513439B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100416691B1 (ko) * 2003-05-20 2004-01-31 이보헌 대용량 데이터통신 관리 서버 시스템 및 그를 이용한 방법
US20050015437A1 (en) * 2003-06-11 2005-01-20 International Business Machines Corporation Peer to peer job monitoring and control in grid computing systems
CN103888287A (zh) * 2013-12-18 2014-06-25 北京首都国际机场股份有限公司 信息系统一体化运维监控服务预警平台及其实现方法
CN105681113A (zh) * 2016-03-29 2016-06-15 浪潮软件集团有限公司 一种基于SaltStack的自动化运维方法
CN109460322A (zh) * 2018-11-14 2019-03-12 西安瑞蓝创软件科技有限公司 基于流程调度引擎技术的灾备切换演练系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100416691B1 (ko) * 2003-05-20 2004-01-31 이보헌 대용량 데이터통신 관리 서버 시스템 및 그를 이용한 방법
US20050015437A1 (en) * 2003-06-11 2005-01-20 International Business Machines Corporation Peer to peer job monitoring and control in grid computing systems
CN103888287A (zh) * 2013-12-18 2014-06-25 北京首都国际机场股份有限公司 信息系统一体化运维监控服务预警平台及其实现方法
CN105681113A (zh) * 2016-03-29 2016-06-15 浪潮软件集团有限公司 一种基于SaltStack的自动化运维方法
CN109460322A (zh) * 2018-11-14 2019-03-12 西安瑞蓝创软件科技有限公司 基于流程调度引擎技术的灾备切换演练系统及方法

Also Published As

Publication number Publication date
CN114513439B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
EP3148116B1 (en) Information system fault scenario information collection method and system
CN107016480B (zh) 任务调度方法、装置及系统
CN110581773A (zh) 一种自动化服务监控与报警管理系统
CN110659307A (zh) 一种事件流的关联分析方法与系统
CN112200505B (zh) 跨业务系统的流程监控装置、方法及相应设备和存储介质
CN110851324B (zh) 基于日志的巡检处理方法、装置以及电子设备、存储介质
CN112000350A (zh) 一种动态规则更新方法、装置及存储介质
US20120110581A1 (en) Task cancellation grace periods
CN115687486B (zh) 一种基于kettle的轻量级数据采集方法及设备
CN112486701A (zh) 一种消息异步处理方法及其设备
CN115640107A (zh) 运行维护方法、装置、设备及介质
JP2007199956A (ja) ロギング情報管理方法およびロギング情報管理システム
CN113194096B (zh) 一种基于分布式架构的任务调度实时追踪方法及系统
CN114513439A (zh) 自动化批处理运维方法
CN113157569A (zh) 自动化测试方法、装置、计算机设备和存储介质
CN111679899B (zh) 任务调度方法、装置、平台设备及存储介质
CN110188008B (zh) 作业调度主备切换方法、装置、计算机设备及存储介质
KR20180065839A (ko) 작업 및 작업로그 데이터 분석을 통한 업무 성과 알림 방법 및 장치
CN113220480A (zh) 分布式的数据任务跨云调度系统及方法
CN112581080A (zh) 一种轻量级的分布式工作流引擎构建系统
CN112099933A (zh) 一种任务作业、查询方法、装置、电子设备及存储介质
CN112579276A (zh) 一种用于大数据平台的任务作业可视化系统
CN111290868A (zh) 任务处理方法、装置和系统以及流程引擎
CN111756778A (zh) 一种服务器磁盘清理脚本推送的方法、装置和存储介质
CN117667362B (zh) 一种流程引擎调度方法、系统、设备及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant