CN114372105A - 基于etl工具实现系统自动化巡检方法 - Google Patents

基于etl工具实现系统自动化巡检方法 Download PDF

Info

Publication number
CN114372105A
CN114372105A CN202210038065.XA CN202210038065A CN114372105A CN 114372105 A CN114372105 A CN 114372105A CN 202210038065 A CN202210038065 A CN 202210038065A CN 114372105 A CN114372105 A CN 114372105A
Authority
CN
China
Prior art keywords
etl tool
server
task
alarm information
script
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210038065.XA
Other languages
English (en)
Inventor
王林财
李�杰
谢馨
罗丹
吴添鹏
何耀光
江振国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Fufu Information Technology Co Ltd
Original Assignee
China Telecom Fufu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Fufu Information Technology Co Ltd filed Critical China Telecom Fufu Information Technology Co Ltd
Priority to CN202210038065.XA priority Critical patent/CN114372105A/zh
Publication of CN114372105A publication Critical patent/CN114372105A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24558—Binary matching operations
    • G06F16/2456—Join operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开基于ETL工具实现系统自动化巡检方法，基于开发及运维需求选取对应的ETL工具；收集系统监控场景、指标要求以及预警对象，并依据选定的ETL工具的特点编制和调试脚本；在本机环境上使用选定的ETL工具进行编码及调测；在服务器上通过设置操作系统自带的定时任务，以便周期性调度选定ETL工具的任务执行器；服务器上部署自动化巡检脚本，并在定时任务的触发下抽取各类监控点信息，同时在发现故障信息时发出告警信息；运维人员核对收到的告警信息，并处理造成告警信息的对应的故障。本发明可汇聚分支机构数据并进行数据加工分析处理,对数据库表空间使用率进行监控，需定时拔测应用服务可用性情况等。

Description

基于ETL工具实现系统自动化巡检方法
技术领域
本发明涉及监控运维技术领域，尤其涉及基于ETL工具实现系统自动化巡检方法。
背景技术
电信全国集中MSS项目为分节点/分省部署系统，数据库套数及应用服务器个数众多（数据库超60套，应用服务超1000个），但现有的第三方监控系统存在告警不及时、不完整、不准确以及告警信息展示不灵活等问题，不利于及时发现并处理生产系统的问题故障。同时新增各类监控指标，需依赖于第三方监控系统的开发排期，沟通成本高且无法第一时间满足监控需求。部分特定监控指标，比如涉及敏感数据或考核信息时，不便于在第三方监控系统体现。
发明内容
本发明的目的在于提供基于ETL工具实现系统自动化巡检方法。
本发明采用的技术方案是：
基于ETL工具实现系统自动化巡检方法，其包括以下步骤：
步骤1，基于开发及运维需求选取对应的ETL工具；
步骤2，收集系统监控场景、指标要求以及预警对象，并依据选定的ETL工具的特点编制和调试脚本；
步骤3，在本机环境上使用选定的ETL工具进行编码及调测；
步骤4，在服务器上通过设置操作系统自带的定时任务，以便周期性调度选定ETL工具的任务执行器；
步骤5、服务器上部署自动化巡检脚本，并在定时任务的触发下抽取各类监控点信息，同时在发现故障信息时发出告警信息；
步骤6、运维人员核对收到的告警信息，并处理造成告警信息的对应的故障。
进一步地，作为一种实施方式，步骤1中选取Pentaho Data Intergration(也简称Kettle)工具。
进一步地，步骤2中编制和调试脚本的具体步骤如下：
步骤2-1，定义转换任务项：设定DB连接、Steps环节列表及Hops节点连接列表，其中，Step直接是通过数据流进行交换，Step包括一个rowMeta和一组data， rowMeta就是元数据，rowMeta指定了每列数据的名称和类型。
步骤2-2，编排作业组成及连接关系：即编排DB连接及Job entries(Job中引用的环节列表)，并附加SQL执行、分支判断、邮件发送。
进一步地，步骤4中服务器为搭载Linux或Windows操作系统的服务器。
进一步地，步骤4中服务器通过操作系统自带的定时任务，调度Kettle的kitchen任务执行器。
进一步地，步骤5中服务器上部署自动化巡检脚本的具体步骤如下：
步骤5-1，编制shell脚本，触发Kettle kitchen组件运行；
步骤5-2，配置crontab定时作业任务，定时执行shell脚本。
本发明采用以上技术方案，基于开源的ETL工具，定时从源端服务抽取各类监控点信息，根据预设规则进行清洗转换，再加载到目标端存储，最后通过邮件发送各类可视化告警指标监控信息。本发明能对现有第三方监控系统进行有效补充和完善。本发明适用于数据类、服务类等监控场景，工具使用门槛低，有SQL及Java编程经验的人，即可独立完成监控脚本编制及部署。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明基于ETL工具实现系统自动化巡检方法的流程示意图；
图2为Kettle的原理架构示意图；
图3为Kettle的概念模型示意图；
图4为Kettle的执行流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述。
本发明基于ETL工具，通过在ETL工具里面定义各个转换任务项目，并对任务项进行编排、衔接组成作业，编写shell脚本封装执行ETL工具里面的kitchen作业执行器，创建主机系统定时作业进行任务调度适用于各类数据汇聚、数据统计、系统监控的场景。例如，集团化的系统，可通过该工具汇聚分支机构数据并进行数据加工分析处理。各类IT类，需对数据库表空间使用率进行监控，需定时拔测应用服务可用性情况等。
如图1至4之一所示，本发明公开了基于ETL工具实现系统自动化巡检方法，其包括以下步骤：
步骤1，基于开发及运维需求选取对应的ETL工具；
步骤2，收集系统监控场景、指标要求以及预警对象，并依据选定的ETL工具的特点编制和调试脚本；
步骤3，在本机环境上使用选定的ETL工具进行编码及调测；
步骤4，在服务器上通过设置操作系统自带的定时任务，以便周期性调度选定ETL工具的任务执行器；
步骤5、服务器上部署自动化巡检脚本，并在定时任务的触发下抽取各类监控点信息，同时在发现故障信息时发出告警信息；
步骤6、运维人员核对收到的告警信息，并处理造成告警信息的对应故障。
进一步地，作为一种实施方式，步骤1中选取Pentaho Data Intergration(也简称Kettle)工具。如图2所示，Kettle工具具有四大组件，具体如下：
Spoon : 集成开发环境。提供用户图形界面化创建和编辑任务和转换定义。同时也能提供执行和调试任务和转换，并且还包括性能监控功能
Kitchen：一个命令行的任务执行器（注意不是转换），可被用来与操作系统层的脚本集成。通常结合使用例如cron，at 或windows任务管理器定义周期性任务
Pan：同Kitchen一样是命令行方式执行器，不过这个仅仅能执行转换定义，而不是任务
Carte：一个运行在后头的轻量级服务（基于Jetty的HTTP服务），通过监听请求来运行任务。使用Carte在Kettle集群分发和协作任务的执行
如图3或4所示，Kettle的执行分为两个层次：Job和Transformation。这两个层次的最主要的在于数据的传递和运行方式
Transformation：定义对数据操作的容器，数据操作就是数据从输入到输出的一个过程，可以理解为比Job粒度更小一级的容器，我们将任务分解成Job，然后需要将Job分解成一个或多个Transformation，每个Transformation只完成一部分工作。
Step是Transformation内部的最小单元，每一个Step完成一个特定的功能。
Job Entry：Job Entry是Job内部的执行单元，每一个Job Entry用于实现特定的功能，如：验证表是否存在，发送邮件等。可以通过Job来执行另一个Job或者Transformation，也就是说Transformation和Job都可以作为Job Entry。
Hop用于在Transformation中连接Step，或者在Job中连接Job Entry，是一个数据流的图形化表示。
进一步地，步骤2中编制和调试脚本的具体步骤如下：
步骤2-1，定义转换任务项：设定DB连接、Steps环节列表及Hops节点连接列表，其中，Step直接是通过数据流进行交换，Step包括一个rowMeta和一组data， rowMeta就是元数据，rowMeta指定了每列数据的名称和类型。
步骤2-2，编排作业组成及连接关系：即编排DB连接及Job entries(Job中引用的环节列表)，并附加SQL执行、分支判断、邮件发送。
进一步地，步骤4中服务器为搭载Linux或Windows操作系统的服务器。
进一步地，步骤4中服务器通过操作系统自带的定时任务，调度Kettle的kitchen任务执行器。
进一步地，步骤5中服务器上部署自动化巡检脚本的具体步骤如下：
步骤5-1，编制shell脚本，触发Kettle kitchen组件运行；
步骤5-2，配置crontab定时作业任务，定时执行shell脚本。
本发明采用以上技术方案，基于开源的ETL工具，定时从源端服务抽取各类监控点信息，根据预设规则进行清洗转换，再加载到目标端存储，最后通过邮件发送各类可视化告警指标监控信息。本发明能对现有第三方监控系统进行有效补充和完善。本发明适用于数据类、服务类等监控场景，工具使用门槛低，有SQL及Java编程经验的人，即可独立完成监控脚本编制及部署。
显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

Claims (6)

1.基于ETL工具实现系统自动化巡检方法，其特征在于：其包括以下步骤：
步骤1，基于开发及运维需求选取对应的ETL工具；
步骤2，收集系统监控场景、指标要求以及预警对象，并依据选定的ETL工具的特点编制和调试脚本；
步骤3，在本机环境上使用选定的ETL工具进行编码及调测；
步骤4，在服务器上通过设置操作系统自带的定时任务，以便周期性调度选定ETL工具的任务执行器；
步骤5、服务器上部署自动化巡检脚本，并在定时任务的触发下抽取各类监控点信息，同时在发现故障信息时发出告警信息；
步骤6、运维人员核对收到的告警信息，并处理造成告警信息的对应的故障。
2.根据权利要求1所述的基于ETL工具实现系统自动化巡检方法，其特征在于：步骤1中选取Kettle工具。
3.根据权利要求1所述的基于ETL工具实现系统自动化巡检方法，其特征在于：步骤2中编制和调试脚本的具体步骤如下：
步骤2-1，定义转换任务项：设定DB连接、Steps环节列表及Hops节点连接列表，其中，Step直接是通过数据流进行交换，Step包括一个rowMeta和一组data， rowMeta就是元数据，rowMeta指定了每列数据的名称和类型;
步骤2-2，编排作业组成及连接关系：即编排DB连接及Job entries(Job中引用的环节列表)，并附加SQL执行、分支判断、邮件发送。
4.根据权利要求1所述的基于ETL工具实现系统自动化巡检方法，其特征在于：步骤4中服务器为搭载Linux或Windows操作系统的服务器。
5.根据权利要求1所述的基于ETL工具实现系统自动化巡检方法，其特征在于：步骤4中服务器通过操作系统自带的定时任务，调度Kettle的kitchen任务执行器。
6.根据权利要求1所述的基于ETL工具实现系统自动化巡检方法，其特征在于：步骤5中服务器上部署自动化巡检脚本的具体步骤如下：
步骤5-1，编制shell脚本，触发Kettle kitchen组件运行；
步骤5-2，配置crontab定时作业任务，定时执行shell脚本。
CN202210038065.XA 2022-01-13 2022-01-13 基于etl工具实现系统自动化巡检方法 Pending CN114372105A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210038065.XA CN114372105A (zh) 2022-01-13 2022-01-13 基于etl工具实现系统自动化巡检方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210038065.XA CN114372105A (zh) 2022-01-13 2022-01-13 基于etl工具实现系统自动化巡检方法

Publications (1)

Publication Number Publication Date
CN114372105A true CN114372105A (zh) 2022-04-19

Family

ID=81144974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210038065.XA Pending CN114372105A (zh) 2022-01-13 2022-01-13 基于etl工具实现系统自动化巡检方法

Country Status (1)

Country Link
CN (1) CN114372105A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048205A (zh) * 2022-08-15 2022-09-13 广州粤芯半导体技术有限公司 Etl调度平台及其部署方法、计算机可读存储介质
CN117112668A (zh) * 2023-08-23 2023-11-24 广州嘉磊元新信息科技有限公司 一种基于etl的rpa流程管理方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048205A (zh) * 2022-08-15 2022-09-13 广州粤芯半导体技术有限公司 Etl调度平台及其部署方法、计算机可读存储介质
CN115048205B (zh) * 2022-08-15 2023-02-07 广州粤芯半导体技术有限公司 Etl调度平台及其部署方法、计算机可读存储介质
CN117112668A (zh) * 2023-08-23 2023-11-24 广州嘉磊元新信息科技有限公司 一种基于etl的rpa流程管理方法及系统
CN117112668B (zh) * 2023-08-23 2024-02-20 广州嘉磊元新信息科技有限公司 一种基于etl的rpa流程管理方法及系统

Similar Documents

Publication Publication Date Title
CN109684053B (zh) 大数据的任务调度方法和系统
CN107291565B (zh) 运维可视化自动化作业平台及实现方法
CN111178782B (zh) 一种流程工业数据化运营平台的微服务架构
CN110794800B (zh) 一种智慧工厂信息管理的监控系统
CN105843182B (zh) 一种基于oms的电力调度事故预案系统及方法
CN108711030A (zh) 带有人工智能整合的端到端项目管理平台
CN114372105A (zh) 基于etl工具实现系统自动化巡检方法
CN106815071A (zh) 基于有向无环图的大数据作业调度系统
CN107508722B (zh) 一种业务监控方法和装置
CN110581773A (zh) 一种自动化服务监控与报警管理系统
CN107103064B (zh) 数据统计方法及装置
CN111405032A (zh) 一种工业物联网通用云平台
CN104539053A (zh) 基于爬虫技术的电力调度自动化巡检机器人及巡检方法
CN113254279A (zh) 一种智能灾备管理平台系统
CN103649859A (zh) 监视过程控制系统
CN110968479B (zh) 一种针对应用程序的业务级全链路监控方法及服务器
CN116048467A (zh) 微服务开发平台及业务系统开发方法
CN115796758A (zh) 一种工厂规则管理平台
CN107463490B (zh) 一种应用于平台开发中的集群日志集中收集方法
TW202013304A (zh) 整合ｉｃｔ服務供裝與虛實資源監控之系統
CN109901830A (zh) 一种用于scada系统开发的信号配置方法与系统
CN111104181A (zh) 一种可视化编辑任务流程的网页数据填报系统
WO2003034338A2 (en) Management platform and environment
CN117389545A (zh) 一种基于低代码构建建筑行业智慧工地应用的方法
CN103414717A (zh) 一种关于c/s结构业务系统的仿真监控方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination