CN105589791A - 一种云计算环境下应用系统日志监控管理的方法 - Google Patents

一种云计算环境下应用系统日志监控管理的方法 Download PDF

Info

Publication number
CN105589791A
CN105589791A CN201511004870.7A CN201511004870A CN105589791A CN 105589791 A CN105589791 A CN 105589791A CN 201511004870 A CN201511004870 A CN 201511004870A CN 105589791 A CN105589791 A CN 105589791A
Authority
CN
China
Prior art keywords
log
daily record
cloud computing
computing environment
redis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201511004870.7A
Other languages
English (en)
Inventor
张明明
官国飞
李叶飞
王松云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Jiangsu Fangtian Power Technology Co Ltd
Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Jiangsu Fangtian Power Technology Co Ltd
Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Jiangsu Fangtian Power Technology Co Ltd, Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201511004870.7A priority Critical patent/CN105589791A/zh
Publication of CN105589791A publication Critical patent/CN105589791A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0769—Readable error formats, e.g. cross-platform generic formats, human understandable formats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种云计算环境下应用系统日志监控管理的方法，其特征在于，包括如下步骤：步骤1、在各服务器上对每个需要监控的日志进行日志采集AGENT配置，日志采集AGENT实时对每个日志进行扫描直到发现增量；步骤2、日志采集AGENT将获得的日志数据发送至Redis，若干个Redis部署成集群且采取keepalived方式进行协同工作；步骤3、Redis将数据发送至日志处理工具SHIPPER进行处理；步骤4、采取分布式存储方式对处理后的日志数据进行存储；步骤5、采取图表及EXCEL下载相结合的方式进行日志输出。在电力系统发生问题时，能将日志在第一时间进行记录，并且方便各系统运维人员在统一的平台上进行查询日志，为系统运维人员提供重要信息，保证电网信息系统的安全运行。

Description

一种云计算环境下应用系统日志监控管理的方法
技术领域
本发明涉及一种云计算环境下应用系统日志监控管理的方法。
背景技术
随着实际生产环境部署的应用系统逐渐增多，面对越来越多的业务系统，服务器数量从初期的几台服务器发展到庞大的数据中心，当系统出现问题时，需要各方面排查日志发现问题，因此将所有服务器、网络设备日志集中收集存储，便于更加快捷地分析和排错，也为以后的风险预警搭建基础信息环境。
操作系统、应用服务和业务逻辑，都在不停的产生日志数据，最初日志数据基本都存在单机磁盘上，只用来做临时的事后分析和审计；有了Hadoop以后，大家渐渐习惯收集日志到HDFS中，然后每天运行MapReduce任务做统计报表。但是面对诸如“新上线的版本过去几分钟在各地反馈如何”，“昨天23:40左右这个投诉用户有没有异常”这种即时的开放性问题，传统的日志处理方案显得非常的笨拙和低效，因为解答没有唯一套路，答案需要尝试下钻挖掘才能得出。复杂多变的实时数据分析需求，需要的是灵活快捷的响应处理。如何将灵活性和大数据结合，正是本发明研究的重点。
发明内容
针对上述问题，本发明提供一种云计算环境下应用系统日志监控管理的方法，在电力系统发生问题时，能将日志在第一时间进行记录，并且方便各系统运维人员在统一的平台上进行查询日志，为系统运维人员提供重要信息，定位故障问题，便于他们迅速采取措施，保证电网信息系统的安全运行。
名词解释：
1、agent：代表一个应用程序处理查询并返回结果的软件。
2、Keepalived：Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器。
3、Redis：Redis是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。
4、SHIPPER：日志处理工具。
为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
一种云计算环境下应用系统日志监控管理的方法，其特征在于，包括如下步骤：
步骤1、在各服务器上对每个需要监控的日志进行日志采集AGENT配置，日志采集AGENT实时对每个日志进行扫描直到发现增量；
步骤2、日志采集AGENT将获得的日志数据发送至Redis，若干个Redis部署成集群且采取keepalived方式进行协同工作；
步骤3、Redis将数据发送至日志处理工具SHIPPER进行处理；
步骤4、采取分布式存储方式对处理后的日志数据进行存储；
步骤5、采取图表及EXCEL下载相结合的方式进行日志输出。
优选，步骤1中，对日志进行级别划分，日志采集AGENT根据配置把某一级别以上的日志筛选出来并进行发送。
优选，日志按照级别由低到高分别为：INFO,WARNING,DEBUG,ERROR。
优选，配置多个日志处理工具SHIPPER。
本发明的有益效果是：
使用本发明方法可建立信息系统运行状态联动监测和提前预判模型，通过对已有日志数据的分析和建模，动态传输和分析日志数据，及时或预见性地发现信息系统运行中的小概率事件，进而实现对信息系统运行缺陷和信息安全事件的及时预警。当电力系统服务器及应用发生故障时，能够及时记录日志，方便运维人员后续排查，避免应用系统故障造成系统崩溃给电网造成重大损失。
附图说明
图1是本发明一种云计算环境下应用系统日志监控管理的方法的示意图。
具体实施方式
下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
日志记录了信息系统中发生的各种主要事件，也蕴含了系统的性能状态、安全状况等信息，进行日志分析是信息系统运检工作的基础内容。但是，由于日志记录具有滞后性的特点，传统的日志分析方法主要应用于事后的审计跟踪。
随着深入推进主动运维、主动防护的战略构想，有必要建立信息系统运行状态联动监测和提前预判模型，通过对已有日志数据的分析和建模，动态传输和分析日志数据，及时或预见性地发现信息系统运行中的小概率事件，进而实现对信息系统运行缺陷和信息安全事件的及时预警。具体方案如下：
一种云计算环境下应用系统日志监控管理的方法，如图1所示，包括如下步骤：
步骤1、在各服务器上对每个需要监控的日志进行日志采集AGENT配置，日志采集AGENT实时对每个日志进行扫描直到发现增量；日志可以是应用系统日志，也可以是操作系统的日志。这样来源于各种系统的日志，其格式很难维护，为此本方案的采集端可以配置简单规则，便于管理的方便性和灵活性。
比如，可以对日志进行级别划分，日志按照级别由低到高分别为：INFO,WARNING,DEBUG,ERROR。日志采集AGENT根据配置把某一级别以上的日志筛选出来并进行发送。即如果规则中对于某一级别以上的日志需要发送给消息队列，则AGENT会把相应的日志筛选出来并发送。
步骤2、日志采集AGENT将获得的日志数据发送至Redis，若干个Redis部署成集群且采取keepalived方式进行协同工作；日志的传输重点在于日志内容在日志系统中的中转过程。在数据量大的情况下，为保证数据不丢失，本方案将日志暂存消息队列，本发明采用了Redis。消息队列的目的主要是让数据本地化，不会因为存储端的故障导致数据丢失。但是随着接入的AGENT越来越多，Redis的压力也会随之增大。Redis作为消息队列，一般独立部署，但是随着AGENT部署越来越多，一个Redis服务的压力会非常大，一旦宕机，会造成数据丢失，产生的影响无疑是巨大的。此处为了不让消息队列成为整个平台的瓶颈，考虑将Redis部署成集群。本方案采取的方式是keepalived+Redis。
步骤3、Redis将数据发送至日志处理工具SHIPPER进行处理；SHIPPER工具是一个搬运工的角色，将日志从消息队列搬运到最终存储。而这个SHIPPER也可以配置多个，相当于集群的功能，避免单点故障。数据采集端AGENT与数据处理工具SHIPPER中间加了一道消息队列，保证数据完整性。
步骤4、采取分布式存储方式对处理后的日志数据进行存储；最终的存储采用分布式一方面也是考虑到数据量的问题，还有一方面也同样是为了避免单点故障，一旦出现问题，可以无缝在主从间切换，对于平台管理员和用户的维护和使用完全不会影响。
步骤5、采取图表及EXCEL下载相结合的方式进行日志输出。展示界面除了传统的详细表格显示外，还可以增加柱状图，让运维人员可以看到整个时间段内的系统故障高发期，从而方便排查原因。而在表格方面，此平台也有所不同，对于各个级别的日志进行了分类，并且可以以EXCEL形式输出。
使用本发明方法可建立信息系统运行状态联动监测和提前预判模型，通过对已有日志数据的分析和建模，动态传输和分析日志数据，及时或预见性地发现信息系统运行中的小概率事件，进而实现对信息系统运行缺陷和信息安全事件的及时预警。当电力系统服务器及应用发生故障时，能够及时记录日志，方便运维人员后续排查，避免应用系统故障造成系统崩溃给电网造成重大损失。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或者等效流程变换，或者直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种云计算环境下应用系统日志监控管理的方法，其特征在于，包括如下步骤：
步骤1、在各服务器上对每个需要监控的日志进行日志采集AGENT配置，日志采集AGENT实时对每个日志进行扫描直到发现增量；
步骤2、日志采集AGENT将获得的日志数据发送至Redis，若干个Redis部署成集群且采取keepalived方式进行协同工作；
步骤3、Redis将数据发送至日志处理工具SHIPPER进行处理；
步骤4、采取分布式存储方式对处理后的日志数据进行存储；
步骤5、采取图表及EXCEL下载相结合的方式进行日志输出。
2.根据权利要求1所述的一种云计算环境下应用系统日志监控管理的方法，其特征在于，步骤1中，对日志进行级别划分，日志采集AGENT根据配置把某一级别以上的日志筛选出来并进行发送。
3.根据权利要求2所述的一种云计算环境下应用系统日志监控管理的方法，其特征在于，日志按照级别由低到高分别为：INFO,WARNING,DEBUG,ERROR。
4.根据权利要求1所述的一种云计算环境下应用系统日志监控管理的方法，其特征在于，配置多个日志处理工具SHIPPER。
CN201511004870.7A 2015-12-28 2015-12-28 一种云计算环境下应用系统日志监控管理的方法 Pending CN105589791A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511004870.7A CN105589791A (zh) 2015-12-28 2015-12-28 一种云计算环境下应用系统日志监控管理的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511004870.7A CN105589791A (zh) 2015-12-28 2015-12-28 一种云计算环境下应用系统日志监控管理的方法

Publications (1)

Publication Number Publication Date
CN105589791A true CN105589791A (zh) 2016-05-18

Family

ID=55929390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511004870.7A Pending CN105589791A (zh) 2015-12-28 2015-12-28 一种云计算环境下应用系统日志监控管理的方法

Country Status (1)

Country Link
CN (1) CN105589791A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106227877A (zh) * 2016-08-02 2016-12-14 北京集奥聚合科技有限公司 一种基于hadoop 的分布式日志采集系统及方法
CN106407095A (zh) * 2016-09-07 2017-02-15 北京小米移动软件有限公司 故障处理方法及装置
CN106789251A (zh) * 2016-12-23 2017-05-31 中国银行股份有限公司 网银运行状态监控系统及方法
CN107635003A (zh) * 2017-09-22 2018-01-26 郑州云海信息技术有限公司 系统日志的管理方法、装置及系统
CN107656971A (zh) * 2017-09-02 2018-02-02 国网辽宁省电力有限公司 一种基于Redis的智能电网采集监测数据存储方法
CN109308329A (zh) * 2018-09-27 2019-02-05 深圳供电局有限公司 一种基于云平台的日志收集方法和装置
CN110245062A (zh) * 2019-06-19 2019-09-17 山东大学 一种基于日志文件的异常监控行为分析方法
CN110321261A (zh) * 2018-03-28 2019-10-11 阿里巴巴集团控股有限公司 一种监控系统及监控方法
US10445196B2 (en) 2017-01-06 2019-10-15 Microsoft Technology Licensing, Llc Integrated application issue detection and correction control
CN111355572A (zh) * 2018-12-24 2020-06-30 国网信息通信产业集团有限公司 电力架空环境中qkd快偏设备运行日志的获取方法及装置
CN112882935A (zh) * 2021-02-24 2021-06-01 中国科学院计算机网络信息中心 一种分布式环境运行状态的诊断方法及装置
CN113722194A (zh) * 2021-08-02 2021-11-30 中移（杭州）信息技术有限公司 日志统计方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399887A (zh) * 2013-07-19 2013-11-20 蓝盾信息安全技术股份有限公司 一种海量日志的查询与统计分析系统
CN103501237A (zh) * 2013-09-03 2014-01-08 小米科技有限责任公司 设备管理方法、管理平台、设备及系统
US20150074052A1 (en) * 2012-10-30 2015-03-12 Vekatachary Srinivasan Method and system of stateless data replication in a distributed database system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150074052A1 (en) * 2012-10-30 2015-03-12 Vekatachary Srinivasan Method and system of stateless data replication in a distributed database system
CN103399887A (zh) * 2013-07-19 2013-11-20 蓝盾信息安全技术股份有限公司 一种海量日志的查询与统计分析系统
CN103501237A (zh) * 2013-09-03 2014-01-08 小米科技有限责任公司 设备管理方法、管理平台、设备及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张志檩: "《分布式信息处理平台及其设计》", 31 August 2002 *
桑柏嵩: ""Agent的网络安全日志收集系统设计与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
郭克华: "《JavaEE程序设计与应用开发》", 31 January 2011 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106227877A (zh) * 2016-08-02 2016-12-14 北京集奥聚合科技有限公司 一种基于hadoop 的分布式日志采集系统及方法
CN106407095A (zh) * 2016-09-07 2017-02-15 北京小米移动软件有限公司 故障处理方法及装置
CN106407095B (zh) * 2016-09-07 2019-02-22 北京小米移动软件有限公司 故障处理方法及装置
CN106789251A (zh) * 2016-12-23 2017-05-31 中国银行股份有限公司 网银运行状态监控系统及方法
US10445196B2 (en) 2017-01-06 2019-10-15 Microsoft Technology Licensing, Llc Integrated application issue detection and correction control
CN107656971A (zh) * 2017-09-02 2018-02-02 国网辽宁省电力有限公司 一种基于Redis的智能电网采集监测数据存储方法
CN107635003A (zh) * 2017-09-22 2018-01-26 郑州云海信息技术有限公司 系统日志的管理方法、装置及系统
CN110321261A (zh) * 2018-03-28 2019-10-11 阿里巴巴集团控股有限公司 一种监控系统及监控方法
CN110321261B (zh) * 2018-03-28 2023-12-22 阿里巴巴集团控股有限公司 一种监控系统及监控方法
CN109308329A (zh) * 2018-09-27 2019-02-05 深圳供电局有限公司 一种基于云平台的日志收集方法和装置
CN111355572A (zh) * 2018-12-24 2020-06-30 国网信息通信产业集团有限公司 电力架空环境中qkd快偏设备运行日志的获取方法及装置
CN110245062A (zh) * 2019-06-19 2019-09-17 山东大学 一种基于日志文件的异常监控行为分析方法
CN110245062B (zh) * 2019-06-19 2021-09-10 山东大学 一种基于日志文件的异常监控行为分析方法
CN112882935A (zh) * 2021-02-24 2021-06-01 中国科学院计算机网络信息中心 一种分布式环境运行状态的诊断方法及装置
CN113722194A (zh) * 2021-08-02 2021-11-30 中移（杭州）信息技术有限公司 日志统计方法、装置、设备及存储介质
CN113722194B (zh) * 2021-08-02 2024-05-24 中移（杭州）信息技术有限公司 日志统计方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN105589791A (zh) 一种云计算环境下应用系统日志监控管理的方法
CN105868075A (zh) 一种实时监控分析大量日志的系统及方法
CN104616205A (zh) 一种基于分布式日志分析的电力系统运行状态监视方法
CN111259073A (zh) 基于日志、流量和业务访问的业务系统运行状态智能研判系统
CN111752799A (zh) 一种业务链路跟踪方法、装置、设备及储存介质
CN103412893A (zh) 一种日志收集系统及其收集方法
CN107508722A (zh) 一种业务监控方法和装置
CN109005162B (zh) 工控系统安全审计方法及装置
CN108959445A (zh) 分布式日志处理方法及装置
CN103699063A (zh) 一种制造执行系统mes中离线数据的采集装置和方法
Sanjappa et al. Analysis of logs by using logstash
CN105527910A (zh) 一种基于opc ua的远程监控系统及故障排除方法
CN111897877B (zh) 基于分布式思想的高性能高可靠数据共享系统及方法
CN108390907B (zh) 一种基于Hadoop集群的管理监控系统及方法
CN111046000A (zh) 一种面向政府数据交换共享的安全监管元数据组织方法
CN116257021A (zh) 一种工控系统智能网络安全态势监测预警平台
CN105632248A (zh) 一种安全监控系统及其数据处理方法
Wu et al. An Auxiliary Decision‐Making System for Electric Power Intelligent Customer Service Based on Hadoop
CN107181626A (zh) 分布式存储集群系统网络带宽监测方法及系统
CN107770153B (zh) 一种基于协同安全防护模型的电力信息通用采集系统
CN113765717A (zh) 一种基于涉密专用计算平台的运维管理系统
CN105139296A (zh) 一种电网业务数据全生命周期质量管理系统
CN104883275A (zh) 一种通信设备的日志缓存方法及系统
CN110597894B (zh) 一种组织机构数据实时查询系统
CN116431324A (zh) 一种基于Kafka高并发数据采集与分发的边缘系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160518