CN110119343A - 一种主机运维分析方法 - Google Patents
一种主机运维分析方法 Download PDFInfo
- Publication number
- CN110119343A CN110119343A CN201810123762.9A CN201810123762A CN110119343A CN 110119343 A CN110119343 A CN 110119343A CN 201810123762 A CN201810123762 A CN 201810123762A CN 110119343 A CN110119343 A CN 110119343A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- host
- analysis
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000012423 maintenance Methods 0.000 claims abstract description 7
- 238000007726 management method Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000012550 audit Methods 0.000 claims description 4
- 238000013070 change management Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000036541 health Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 abstract description 4
- 230000032258 transport Effects 0.000 description 2
- 101001074449 Crotalus durissus terrificus Phospholipase A2 inhibitor CNF Proteins 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Hardware Design (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及一种主机运维分析方法，服务器包括数据采集模块、实时流处理模块、数据存储检索分析模块、WEB服务模块，数据采集模块包括Flume数据采集传输模块、Kafka数据采集分发模块，包括过程：Flume数据采集传输模块采集主机的SMF数据、日志类数据经聚合后传输给HDFS分布式文件系统，Kafka数据采集分发模块将收到的数据经实时流处理后传送给HBase数据库，数据存储检索分析模块将收到的主机运维数据进行分析、整理后创建数据搜索引擎供WEB服务模块调取使用。本发明采用Flume结合Kafka的数据采集和分发模式，具有数据整合以及运维效率高的特点。
Description
技术领域
本发明涉及一种主机运维分析方法，特别涉及一种整合数据采集、处理，实现数据全面的运维分析的主机运维分析方法，属于主机运维分析领域。
背景技术
目前主机系统的运维还是基于传统的监控工具，包括传统的界面以及未经整合的、孤立的工具，平台端的运维管理工具各自为政，比如RMF，DB2都有平台端监控，但是只能监控各自产品。第三方传统的监控工具，比如TMON，BMC，CA等监控工具系统消耗大，并且每种工具都有自己的报告和数据，由不同专业人员负责数据的处理和分析。目前的运维方式，普遍存在以下缺陷：⑴界面不友好，操作需要使用大量命令，操作门槛较高；⑵平台工具各自为政，无法整合，不利于大数据跨界发掘和分析；⑶目前的平台端工具过于死板，远远不能满足客户灵活且不断发展的运维需求；⑷大多数为非实时数据，多数用于事后分析，无法实时监控并提供预警；⑸占用昂贵的主机资源，如CPU和存储资源。
发明内容
本发明主机运维分析方法公开了新的方案，采用Flume结合Kafka的数据采集和分发模式，将多种类型的主机性能和运维数据整合到开放平台大数据中，然后进行后续的分析、处理，解决了现有方案过度占用系统资源以及运维效率低的问题。
本发明主机运维分析方法，主机运维分析方法基于服务器运行，服务器包括数据采集模块、实时流处理模块、数据存储检索分析模块、WEB服务模块，数据采集模块包括Flume数据采集传输模块、Kafka数据采集分发模块，数据存储检索分析模块包括HBase数据库、MySQL关系数据库、HDFS分布式文件系统，包括过程：Flume数据采集传输模块采集主机的SMF数据、日志类数据经聚合后传输给HDFS分布式文件系统，Kafka数据采集分发模块将收到的数据经实时流处理后传送给HBase数据库，数据存储检索分析模块将收到的主机运维数据进行分析、整理后创建数据搜索引擎供WEB服务模块调取使用。
进一步，本方案的方法的数据采集模块还包括数据搜索模块，数据搜索模块从主机搜索SMF数据、日志类数据发送给Flume数据采集传输模块。
进一步，本方案的方法的数据采集模块还包括脚本解析模块，主机的自定义格式数据经脚本解析模块处理后发送给Flume数据采集传输模块。
进一步，本方案的方法的实时流处理模块包括Redis数据库，Redis数据库存储流处理数据。
进一步，本方案的方法的WEB服务模块包括实时事件告警模块、问题原因自动分析模块、实时系统监控模块、实时交易性能分析模块、实时系统日志分析模块、在线交易性能分析模块、DB2运维分析建议模块、趋势分析模块、配置分析模块、容量分析模块、变更管理模块、健康检查模块、安全审计模块、问题管理模块、报表模块、知识库，WEB服务模块调取数据存储检索分析模块的数据后根据设定的算法实现数据加工结果输出。
本发明主机运维分析方法采用Flume结合Kafka的数据采集和分发模式，将多种类型的主机性能和运维数据整合到开放平台大数据中，然后进行后续的分析、处理，具有数据整合以及运维效率高的特点。
附图说明
图1是基于Flume结合Kafka的数据采集的流程简图。
图2是Kafka整合各类数据的流程简图。
具体实施方式
本发明主机运维分析方法，主机运维分析方法基于服务器运行，服务器包括数据采集模块、实时流处理模块、数据存储检索分析模块、WEB服务模块，数据采集模块包括Flume数据采集传输模块、Kafka数据采集分发模块，数据存储检索分析模块包括HBase数据库、MySQL关系数据库、HDFS分布式文件系统，包括过程：Flume数据采集传输模块采集主机的SMF数据、日志类数据经聚合后传输给HDFS分布式文件系统，Kafka数据采集分发模块将收到的数据经实时流处理后传送给HBase数据库，数据存储检索分析模块将收到的主机运维数据进行分析、整理后创建数据搜索引擎供WEB服务模块调取使用。上述方案采用Flume结合Kafka的数据采集和分发模式，将多种类型的主机性能和运维数据整合到开放平台大数据中，然后进行后续的分析、处理，满足了全面运维的需求。
如图1所示，为了进一步整合各类数据，提高数据采集效率，本方案的方法的数据采集模块还包括数据搜索模块，数据搜索模块从主机搜索SMF数据、日志类数据发送给Flume数据采集传输模块。本方案的方法的数据采集模块还包括脚本解析模块，主机的自定义格式数据经脚本解析模块处理后发送给Flume数据采集传输模块。本方案的方法的实时流处理模块包括Redis数据库，Redis数据库存储流处理数据。为了实现WEB服务以及展现，本方案的方法的WEB服务模块包括实时事件告警模块、问题原因自动分析模块、实时系统监控模块、实时交易性能分析模块、实时系统日志分析模块、在线交易性能分析模块、DB2运维分析建议模块、趋势分析模块、配置分析模块、容量分析模块、变更管理模块、健康检查模块、安全审计模块、问题管理模块、报表模块、知识库，WEB服务模块调取数据存储检索分析模块的数据后根据设定的算法实现数据加工结果输出。
本方案公开了一种主要用于主机运维分析平台的全面数据采集和处理，最终用于主机全面的运维分析与展现以及管理的自动化处理方法。主机运维分析面对的是大量的不同类型数据，最常见的如下：⑴系统运行日志(operlog)；⑵SMF性能数据；⑶中间件CICS的性能分析数据(PA)；⑷数据库DB2系统表中的数据；⑸各种配置文件；⑹作业运行的输出。等等。以上数据对于全面的运维分析都是必不可少的，通常必须花费大量的人力，分门别类的把各种数据打印成格式化好的报表，然后凭借多年的运维经验找到其中的关联，对发生的问题进行分析判断，或者对系统的运行进行检查。本方案全面采集了主机运维的各类数据，可以满足用户各类需求，本方案的核心就是各种数据的集成整合，所有的数据处理都集中于平台端(服务器)，减轻了主机端昂贵资源的负担。如图1所示，系统使用主机自带软件IOAZ(数据搜索模块)可以直接收集Operlog，SMF数据，并直接与Flume模块对接。部分自定义格式的数据需要经过脚本解析处理后导入Flume模块。基于Flume模块的数据处理特性，可以将数据直接输出到HDFS(分布式文件系统)。Kafka模块经过流处理输出到HBase数据库。基于全面而完整的主机运维大数据，后续的数据分析、发掘、展现就有了坚实的基础。
本方案的主机运维分析平台基于Flume结合Kafka完成数据集成，以及相应的流数据集成，将主机上各种实时信息以及非准实时信息传输至开放平台端的主机运维管理平台，具体说就是Flume模块主要完成数据采集，Kafka模块完成数据分发，如图2所示，最终实现以下主要功能：实时系统监控；实时交易分析；历史数据分析，趋势分析；KPI关联分析；报表的自动生成；事件告警/通知/预警，事件管理；问题分析，问题管理；批量运行分析；安全审计；配置管理；容量管理；变更管理。等等。因此，本方案采用Flume模块结合Kafka模块的数据采集和分发模式，将多种类型的主机性能和运维数据整合到开放平台大数据中，然后进行后续的分析、处理，以满足全面的运维需求，各类运维数据在开放平台的大数据整合，可以实现实时的性能展示和分析，同时各类数据可以方便的协同工作，比如配置管理中的长期CPU权重变化结合相同时期SMF数据中的交易性能的变化，分析其中的内在联系和影响。
本方案主机运维分析方法并不限于具体实施方式中公开的内容，实施例中出现的技术方案可以基于本领域技术人员的理解而延伸，本领域技术人员根据本方案结合公知常识作出的简单替换方案也属于本方案的范围。
Claims (5)
1.一种主机运维分析方法，所述主机运维分析方法基于服务器运行，所述服务器包括数据采集模块、实时流处理模块、数据存储检索分析模块、WEB服务模块，所述数据采集模块包括Flume数据采集传输模块、Kafka数据采集分发模块，所述数据存储检索分析模块包括HBase数据库、MySQL关系数据库、HDFS分布式文件系统，其特征是包括过程：
Flume数据采集传输模块采集主机的SMF数据、日志类数据经聚合后传输给HDFS分布式文件系统，Kafka数据采集分发模块将收到的数据经实时流处理后传送给HBase数据库，数据存储检索分析模块将收到的主机运维数据进行分析、整理后创建数据搜索引擎供WEB服务模块调取使用。
2.根据权利要求1所述的主机运维分析方法，其特征在于，所述数据采集模块还包括数据搜索模块，数据搜索模块从主机搜索SMF数据、日志类数据发送给Flume数据采集传输模块。
3.根据权利要求1所述的主机运维分析方法，其特征在于，所述数据采集模块还包括脚本解析模块，主机的自定义格式数据经脚本解析模块处理后发送给Flume数据采集传输模块。
4.根据权利要求1所述的主机运维分析方法，其特征在于，所述实时流处理模块包括Redis数据库，Redis数据库存储流处理数据。
5.根据权利要求1所述的主机运维分析方法，其特征在于，所述WEB服务模块包括实时事件告警模块、问题原因自动分析模块、实时系统监控模块、实时交易性能分析模块、实时系统日志分析模块、在线交易性能分析模块、DB2运维分析建议模块、趋势分析模块、配置分析模块、容量分析模块、变更管理模块、健康检查模块、安全审计模块、问题管理模块、报表模块、知识库，WEB服务模块调取数据存储检索分析模块的数据后根据设定的算法实现数据加工结果输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810123762.9A CN110119343A (zh) | 2018-02-07 | 2018-02-07 | 一种主机运维分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810123762.9A CN110119343A (zh) | 2018-02-07 | 2018-02-07 | 一种主机运维分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110119343A true CN110119343A (zh) | 2019-08-13 |
Family
ID=67519561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810123762.9A Pending CN110119343A (zh) | 2018-02-07 | 2018-02-07 | 一种主机运维分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110119343A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103491354A (zh) * | 2013-10-10 | 2014-01-01 | 国家电网公司 | 一种系统运行监控可视化平台 |
| CN106340161A (zh) * | 2016-08-25 | 2017-01-18 | 山东联科云计算科技有限公司 | 一种基于大数据的公共安全预警系统 |
| CN106371986A (zh) * | 2016-09-08 | 2017-02-01 | 上海新炬网络技术有限公司 | 一种日志处理运维监控系统 |
| CN106878092A (zh) * | 2017-03-28 | 2017-06-20 | 上海以弈信息技术有限公司 | 一种多源异构数据融合的网络运维实时监控与分析呈现平台 |
| CN107181612A (zh) * | 2017-05-08 | 2017-09-19 | 深圳市众泰兄弟科技发展有限公司 | 一种基于大数据的可视化网络安全监控方法 |
-
2018
- 2018-02-07 CN CN201810123762.9A patent/CN110119343A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103491354A (zh) * | 2013-10-10 | 2014-01-01 | 国家电网公司 | 一种系统运行监控可视化平台 |
| CN106340161A (zh) * | 2016-08-25 | 2017-01-18 | 山东联科云计算科技有限公司 | 一种基于大数据的公共安全预警系统 |
| CN106371986A (zh) * | 2016-09-08 | 2017-02-01 | 上海新炬网络技术有限公司 | 一种日志处理运维监控系统 |
| CN106878092A (zh) * | 2017-03-28 | 2017-06-20 | 上海以弈信息技术有限公司 | 一种多源异构数据融合的网络运维实时监控与分析呈现平台 |
| CN107181612A (zh) * | 2017-05-08 | 2017-09-19 | 深圳市众泰兄弟科技发展有限公司 | 一种基于大数据的可视化网络安全监控方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105427193B (zh) | 一种基于分布式时序数据服务的大数据分析装置及方法 | |
| CN107517131A (zh) | 一种基于日志采集的分析预警方法 | |
| CN111858251B (zh) | 一种基于大数据计算技术的数据安全审计方法及系统 | |
| CN104917803A (zh) | 一种基于用户行为管控的自主巡检系统 | |
| CN111241129A (zh) | 一种工业生产企业指标数据采集与计算的系统 | |
| CN116992346A (zh) | 一种基于人工智能大数据分析的企业生产数据处理系统 | |
| CN111125152A (zh) | 一种基于数据处理过程模型的全链路数据管控方法 | |
| CN113505048A (zh) | 基于应用系统画像的统一监控平台及实现方法 | |
| CN113642299A (zh) | 一种基于电网统计报表一键生成的方法 | |
| CN115567370A (zh) | 基于实时事件数据的自动化告警方法、存储介质及系统 | |
| CN111125450A (zh) | 一种多层拓扑网络资源对象的管理方法 | |
| CN109858807B (zh) | 一种企业运营监控的方法及系统 | |
| US7844601B2 (en) | Quality of service feedback for technology-neutral data reporting | |
| CN117251353A (zh) | 一种民航弱电系统的监控方法、系统及平台 | |
| CN113506098A (zh) | 基于多源数据的电厂元数据管理系统及方法 | |
| CN112667469A (zh) | 一种多元化大数据统计报告自动生成方法、系统及可读介质 | |
| JP2004199377A (ja) | 遠隔監視診断システム | |
| CN116957233A (zh) | 基于新能源电力生产运营期数据报表管理系统 | |
| CN110119343A (zh) | 一种主机运维分析方法 | |
| CN114757448B (zh) | 一种基于数据空间模型的制造环节间最优价值链构建方法 | |
| CN111190790A (zh) | 一种基于峰值预测的云计算集群监控方法及系统 | |
| CN116308295A (zh) | 一种工业生产数据管理方法及系统 | |
| CN109933798A (zh) | 一种审计日志分析方法及装置 | |
| CN114139747A (zh) | 基于人工智能技术的AIOps智能运维系统 | |
| CN112085412B (zh) | 一种资源优化分配系统及分配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190813 |
|
| RJ01 | Rejection of invention patent application after publication |