CN111125044A - 一种elk日志监控的改进方法 - Google Patents

一种elk日志监控的改进方法 Download PDF

Info

Publication number
CN111125044A
CN111125044A CN201911299782.2A CN201911299782A CN111125044A CN 111125044 A CN111125044 A CN 111125044A CN 201911299782 A CN201911299782 A CN 201911299782A CN 111125044 A CN111125044 A CN 111125044A
Authority
CN
China
Prior art keywords
log
data
rabbitmq
improved method
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911299782.2A
Other languages
English (en)
Inventor
刘英吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unicloud Nanjing Digital Technology Co Ltd
Original Assignee
Unicloud Nanjing Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unicloud Nanjing Digital Technology Co Ltd filed Critical Unicloud Nanjing Digital Technology Co Ltd
Priority to CN201911299782.2A priority Critical patent/CN111125044A/zh
Publication of CN111125044A publication Critical patent/CN111125044A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/134—Distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/156—Query results presentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明的一种ELK日志监控的改进方法，涉及日志监控方法应用技术领域，包括步骤S1,APP服务器产生日志文件，S2,Filebeat将日志文件收集起来，并打入Rabbitmq消息队列中，S3,Logstash对接Rabbitmq，并从中获取日志信息进行过滤与格式化处理，S4,将处理后的日志数据存储至Elastic Search中，S5,Kibana从Elastic Search集群中查询数据，返回给浏览器，本发明引入了Rabbitmq作为ES与服务之间的解耦工具，并采用系统性能开销更小的Filebeat作为日志收集工具，可以极大的改善日志丢失问题，提高系统服务性能，减少损耗，健全消息传输过程。

Description

一种ELK日志监控的改进方法
技术领域
本发明涉及日志监控方法应用技术领域，具体涉及一种ELK日志监控的改进方法。
背景技术
原生ELK由ElasticSearch、Logstash和Kiabana三个部分组成，Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等，Logstash是一个完全开源的工具，可以对日志进行收集、过滤，并将其存储供以后使用(如搜索)。
由于Logstash对大量日志进行过滤操作，会消耗应用系统的部分性能，带来不合理的资源分配问题；另一方面，过滤日志的配置，分布在每台应用服务器，不便于集中式配置管理，且Logstash直接读取日志文件，可能会产生日志丢失。因此我们有必要针对现有技术的不足而提供一种ELK日志监控的改进方法。
发明内容
为了克服现有技术中的不足，本发明的一种ELK日志监控的改进方法，其提高服务器的性能，减少服务日志直接输出导致的日志丢失及性能损耗问题。
为了实现上述目的，如图1所示，本发明的一种ELK日志监控的改进方法，包括如下步骤：
S1,APP服务器产生日志文件；
S2,Filebeat将日志文件收集起来，并打入Rabbitmq消息队列中；
S3,Logstash对接Rabbitmq，并从中获取日志信息进行过滤与格式化处理；
S4,将处理后的日志数据存储至Elastic Search中；
S5,Kibana从Elastic Search集群中查询数据，返回给浏览器。
优选的，在步骤S2中，首先到rabbitmq服务器，确认rabbitmq的日志位置，为ElasticSearch初始化建立索引和模板，并更改filebeat配置文件。
优选的，在步骤S3中，Logstash动态地采集、转换和传输Rabbitmq数据，不受格式或复杂度的影响，利用Grok从非结构化数据中派生出结构，从IP地址解码出地理坐标，匿名化或排除敏感字段，并简化整体处理过程。
优选的，步骤S4中，用户将数据提交到Elastic Search数据库中，再通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据，当用户搜索数据时候，再根据权重将结果排名，打分，再将返回结果呈现给用户。
优选的，步骤S5中，Kibana为Logstash和ElasticSearch提供的日志分析友好的Web界面，帮助汇总、分析和搜索重要数据日志。
本发明具有以下有益效果：
本发明引入了Rabbitmq作为ES与服务之间的解耦工具，并采用系统性能开销更小的Filebeat作为日志收集工具，可以极大的改善日志丢失问题，提高系统服务性能，减少损耗，健全消息传输过程。
附图说明
下面结合附图对本发明作进一步描写和阐述。
图1是一种ELK日志监控的改进方法流程图。
具体实施方式
下面将结合附图、通过对本发明的优选实施方式的描述，更加清楚、完整地阐述本发明的技术方案。
实施例
如图1所示，一种ELK日志监控的改进方法，包括S1,APP服务器产生日志文件；
S2,Filebeat将日志文件收集起来，并打入Rabbitmq消息队列中；
S3,Logstash对接Rabbitmq，并从中获取日志信息进行过滤与格式化处理；
S4,将处理后的日志数据存储至Elastic Search中；
S5,Kibana从Elastic Search集群中查询数据，返回给浏览器。
作为本发明的一种技术方案，在步骤S2中，首先到rabbitmq服务器，确认rabbitmq的日志位置，为ElasticSearch初始化建立索引和模板，并更改filebeat配置文件。
因为Filebeat好像不会在写日志的时候自动创建ElasticSearch索引，因此首先初始化建立一下，如果不会做任何配置的话可能会出现例如有时新的日志行会马上发送到目标输出地，有时候却要延迟近10s才会被发送的问题
Filebeat是一个轻量级的托运人，用于转发和集中日志数据，Filebeat作为代理安装在服务器上，监视您指定的日志文件或位置，收集日志事件，并将它们转发到Rabbitmq进行索引，Filebeat的工作原理：启动Filebeat时，它会启动一个或多个输入，这些输入将查找您为日志数据指定的位置，对于Filebeat找到的每个日志，Filebeat启动一个收集器，每个收集器为新内容读取单个日志，并将新日志数据发送到libbeat，libbeat聚合事件并将聚合数据发送到为Filebeat配置的输出。
作为本发明的一种技术方案，在步骤S3中，Logstash动态地采集、转换和传输Rabbitmq数据，不受格式或复杂度的影响，利用Grok从非结构化数据中派生出结构，从IP地址解码出地理坐标，匿名化或排除敏感字段，并简化整体处理过程。
通过采用上述技术方案，Logstash是一个具有实时流水线功能的开源数据收集引擎，Logstash可以动态统来自不同来源的数据，并将数据标准化选择的目的地，为各种高级下游分析和可视化用例清理和民主化所有数据，并且Logstash可水平扩展的数据处理管道，具有强大的Elasticsearch和Kibana协同作用。
作为本发明的一种技术优化方案，步骤S4中，用户将数据提交到Elastic Search数据库中，再通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据，当用户搜索数据时候，再根据权重将结果排名，打分，再将返回结果呈现给用户。
通过采用上述技术方案，ElasticSearch是一个分布式、高扩展、高实时的搜索与数据分析引擎，它能很方便的使大量数据具有搜索、分析和探索的能力，充分利用ElasticSearch的水平伸缩性，能使数据在生产环境变得更有价值。
作为本发明的一种技术优化方案，步骤S5中，Kibana为Logstash和ElasticSearch提供的日志分析友好的Web界面，帮助汇总、分析和搜索重要数据日志。
本发明的工作原理为：APP在使用的时候会产生日志，Filebeat启动一个或多个输入，这些输入将查找您为日志数据指定的位置，对于Filebeat找到的每个日志，Filebeat启动一个收集器，每个收集器为新内容读取单个日志，并将新日志数据发送到libbeat，libbeat聚合事件并将聚合数据发送到Filebeat，Fi lebeat通过消息列表Rabbitmq发送到Logstash，Logstash从中获取日志信息进行过滤与格式化处理，并将处理后的日志数据存储至Elastic Search中，Kibana从Elastic Search集群中查询数据，最后返回给浏览器。
上述具体实施方式仅仅对本发明的优选实施方式进行描述，而并非对本发明的保护范围进行限定。在不脱离本发明设计构思和精神范畴的前提下，本领域的普通技术人员根据本发明所提供的文字描述、附图对本发明的技术方案所作出的各种变形、替代和改进，均应属于本发明的保护范畴。本发明的保护范围由权利要求确定。

Claims (5)

1.一种ELK日志监控的改进方法，其特征在于，包括如下步骤：
S1,APP服务器产生日志文件；
S2,Filebeat将日志文件收集起来，并打入Rabbitmq消息队列中；
S3,Logstash对接Rabbitmq，并从中获取日志信息进行过滤与格式化处理；
S4,将处理后的日志数据存储至Elastic Search中；
S5,Kibana从Elastic Search集群中查询数据，返回给浏览器。
2.根据权利要求1所述的一种ELK日志监控的改进方法，其特征在于：在所述S2中，首先到rabbitmq服务器，确认rabbitmq的日志位置，为ElasticSearch初始化建立索引和模板，并更改filebeat配置文件。
3.根据权利要求1所述的一种ELK日志监控的改进方法，其特征在于：在所述S3中，Logstash动态地采集、转换和传输Rabbitmq数据，不受格式或复杂度的影响，利用Grok从非结构化数据中派生出结构，从IP地址解码出地理坐标，匿名化或排除敏感字段，并简化整体处理过程。
4.根据权利要求1所述的一种ELK日志监控的改进方法，其特征在于：所述S4中，用户将数据提交到Elastic Search数据库中，再通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据，当用户搜索数据时候，再根据权重将结果排名，打分，再将返回结果呈现给用户。
5.根据权利要求1所述的一种ELK日志监控的改进方法，其特征在于：所述S5中，Kibana为Logstash和ElasticSearch提供的日志分析友好的Web界面，帮助汇总、分析和搜索重要数据日志。
CN201911299782.2A 2019-12-17 2019-12-17 一种elk日志监控的改进方法 Pending CN111125044A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911299782.2A CN111125044A (zh) 2019-12-17 2019-12-17 一种elk日志监控的改进方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911299782.2A CN111125044A (zh) 2019-12-17 2019-12-17 一种elk日志监控的改进方法

Publications (1)

Publication Number Publication Date
CN111125044A true CN111125044A (zh) 2020-05-08

Family

ID=70499179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911299782.2A Pending CN111125044A (zh) 2019-12-17 2019-12-17 一种elk日志监控的改进方法

Country Status (1)

Country Link
CN (1) CN111125044A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111901150A (zh) * 2020-06-30 2020-11-06 上海欣方智能系统有限公司 基于elk存储的历史信令分析与查询方法
CN112073233A (zh) * 2020-09-01 2020-12-11 北京明朝万达科技股份有限公司 一种基于filebeats获取系统日志的运维方法及装置
CN112256530A (zh) * 2020-10-27 2021-01-22 广州助蜂网络科技有限公司 一种可链路追踪的日志服务方法及其系统
CN112395315A (zh) * 2020-10-23 2021-02-23 中国科学院计算机网络信息中心 一种日志文件的统计与异常探测方法及电子装置
CN113157659A (zh) * 2021-05-14 2021-07-23 中国建设银行股份有限公司 一种日志处理方法和装置
CN114244557A (zh) * 2021-11-09 2022-03-25 浪潮通用软件有限公司 基于用户特征的开发操作日志隔离方法和系统
CN117749645B (zh) * 2023-11-29 2024-06-04 北京金诺珩科技发展有限公司 一种机房动态ip地址数据采集方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844171A (zh) * 2016-12-27 2017-06-13 浪潮软件集团有限公司 一种海量运维的实现方法
CN109684279A (zh) * 2017-10-18 2019-04-26 中移(苏州)软件技术有限公司 一种数据处理方法及系统
CN110309030A (zh) * 2019-07-05 2019-10-08 亿玛创新网络(天津)有限公司 基于ELK和Zabbix的日志分析监控系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844171A (zh) * 2016-12-27 2017-06-13 浪潮软件集团有限公司 一种海量运维的实现方法
CN109684279A (zh) * 2017-10-18 2019-04-26 中移(苏州)软件技术有限公司 一种数据处理方法及系统
CN110309030A (zh) * 2019-07-05 2019-10-08 亿玛创新网络(天津)有限公司 基于ELK和Zabbix的日志分析监控系统和方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111901150A (zh) * 2020-06-30 2020-11-06 上海欣方智能系统有限公司 基于elk存储的历史信令分析与查询方法
CN112073233A (zh) * 2020-09-01 2020-12-11 北京明朝万达科技股份有限公司 一种基于filebeats获取系统日志的运维方法及装置
CN112395315A (zh) * 2020-10-23 2021-02-23 中国科学院计算机网络信息中心 一种日志文件的统计与异常探测方法及电子装置
CN112256530A (zh) * 2020-10-27 2021-01-22 广州助蜂网络科技有限公司 一种可链路追踪的日志服务方法及其系统
CN113157659A (zh) * 2021-05-14 2021-07-23 中国建设银行股份有限公司 一种日志处理方法和装置
CN114244557A (zh) * 2021-11-09 2022-03-25 浪潮通用软件有限公司 基于用户特征的开发操作日志隔离方法和系统
CN114244557B (zh) * 2021-11-09 2023-06-16 浪潮通用软件有限公司 基于用户特征的开发操作日志隔离方法和系统
CN117749645B (zh) * 2023-11-29 2024-06-04 北京金诺珩科技发展有限公司 一种机房动态ip地址数据采集方法

Similar Documents

Publication Publication Date Title
CN111125044A (zh) 一种elk日志监控的改进方法
US11645210B2 (en) Cache aware searching based on one or more files in remote storage
CN105045905B (zh) 一种基于全文检索的日志维护方法及系统
CN111897625B (zh) 一种基于Kubernetes集群的资源事件回溯方法、系统及电子设备
CN1272189A (zh) 预取信息的方法和系统
WO2014145092A2 (en) Hierarchical, parallel models for extracting in real time high-value information from data streams and system and method for creation of same
KR20010031249A (ko) 정보 관리 시스템
JP2006338432A (ja) ストリームデータ処理システムのクエリ処理方法
US11556592B1 (en) Storage estimate generation
CN109213826B (zh) 数据处理方法和设备
CN108509437A (zh) 一种ElasticSearch查询加速方法
JP4839585B2 (ja) 資源情報収集配信方法およびシステム
JP2003281173A (ja) 情報収集システム、情報収集方法及びコンピュータに情報収集を実行させるプログラム
US20020143667A1 (en) Method and system for inventory management
CN115017159A (zh) 数据处理方法及装置、存储介质及电子设备
US20070022082A1 (en) Search engine coverage
US20070033178A1 (en) Quality of service feedback for technology-neutral data reporting
KR20100132752A (ko) 데이터베이스 분산을 통한 서비스 성능 향상을 위한 질의 데이터 분산 처리시스템
CN112579552A (zh) 日志存储及调用方法、装置及系统
CN113014661A (zh) 一种用于分布式系统的日志采集分析方法
JP2940488B2 (ja) 文書グループ化装置および文書グループ化方法
CN111026747A (zh) 一种分布式的图数据管理系统、方法及存储介质
KR20040077535A (ko) 선택된 객체에 관한 정보에 대한 요구를 생성하는 시스템및 방법
JP2002342371A (ja) Ｗｗｗ検索システムおよび方法
KR20210045172A (ko) 축산 질병 발생 분석을 위한 빅 데이터 관리 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200508

WD01 Invention patent application deemed withdrawn after publication