CN106855888B - 基于Logstash分布式系统的日志监控系统 - Google Patents

基于Logstash分布式系统的日志监控系统 Download PDF

Info

Publication number
CN106855888B
CN106855888B CN201611244198.3A CN201611244198A CN106855888B CN 106855888 B CN106855888 B CN 106855888B CN 201611244198 A CN201611244198 A CN 201611244198A CN 106855888 B CN106855888 B CN 106855888B
Authority
CN
China
Prior art keywords
log
analyzing
checking
file
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611244198.3A
Other languages
English (en)
Other versions
CN106855888A (zh
Inventor
王仄夷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Chezhiying Technology Co ltd
Original Assignee
Beijing Chezhiying Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Chezhiying Technology Co ltd filed Critical Beijing Chezhiying Technology Co ltd
Priority to CN201611244198.3A priority Critical patent/CN106855888B/zh
Publication of CN106855888A publication Critical patent/CN106855888A/zh
Application granted granted Critical
Publication of CN106855888B publication Critical patent/CN106855888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于Logstash分布式系统的日志监控系统，涉及计算机软件处理领域。所述系统包括：三个独立的工作端：日志收集端，负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来，输出到日志转发器暂存；日志存储端，接收并存储从日志转发器发送的日志信息；日志查看分析端，从日志存储端调取目标日志查看并分析。本发明将日志收集、日志存储、日志分析说均使用不同机器、不同应用分开处理；提高收集、存储和分析的效率，简化操作。

Description

基于Logstash分布式系统的日志监控系统
技术领域
本发明涉及计算机软件处理领域，尤其涉及一种基于Logstash分布式的系统日志监控系统。
背景技术
随着计算机网络端业务增加及新业务上线，特别是新业务在上线初期,需监控日志，一方面帮助日志微调，一方面及早发现程序的问题。现有监控日志的查询是采用tail+grep或者把日志下载后再搜索，这种查询方法仅适用于主机少及应用少的部署场景。而，在同一种应用被部署到几台服务器上而每台服务器上又部署着不同的多个应用，即多机多应用部署时，需要登陆多台服务器，执行多个tail-F和grep命令，导致查询很被动、效率非常低、操作繁琐。
发明内容
本发明的目的在于提供一种基于Logstash分布式系统的日志监控系统，从而解决现有技术中存在的前述问题。
为了实现上述目的，本发明所述基于Logstash分布式系统的日志监控系统，所述系统包括：三个独立的工作端：
日志收集端，负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来，输出到日志转发器暂存；
日志存储端，接收并存储从日志转发器发送的日志信息；
日志查看分析端，从日志存储端调取目标日志查看并分析。
优选地，一个日志转发器与多个日志收集端通信连接；一个日志存储端与多个日志查看分析端通信连接。
优选地，所述日志收集端需配置的参数包括：需要监控的文件、监控日志输出的控制台、监控日志输出的日志转发器的端口号、监控日志输出的日志转发器的主机地址、监控日志输出的日志转发器的数据库编号、监控日志使用的发布/订阅模式和监控日志发布的通道名称。
更优选地，所述日志收集端还包括监控日志输出的日志转发器的备用主机地址。
优选地，所述日志收集端收集到日志文件数据后，经过文件处理后，暂存到日志转换器中。
优选地，所述日志存储端从日志转发器读取日志文本，将读取的文本修改为format文件后存储，同时，所述日志存储端设置了需存储的日志写入文件路径。
优选地，所述日志存储端实时或设置每个一段时间间隔从日志转换器中读取日志文件。
优选地，本系统运行的环境为JAVA。
本发明所述基于Logstash分布式系统的日志监控系统的日志监控方法：
S1，日志收集端实时判断监的日志文件是否更新，如果是，则调取更新的日志文件并暂存到日志转发器中；如果否，则返回S1，继续判断；
S2，当日志存储端收到日志转发器暂存更新日志文件的消息后，接收并存储从日志转发器发送的日志信息；所述日志信息包括：日志文件的输出地址、日志文件内容和收集日志文件的日志收集端；
S3，日志查看分析端在接收到日志存储端存储了更新日志文件的消息后，从日志存储端调取目标日志查看并分析；所述日志查看分析端为处于空闲状态的日志查看分析端或查看分析任务最少的日志查看分析端。
优选地，制定任意一个或多个日志查看分析端仅查看并分析由预先指定一个或多个日志收集端收集到的日志文件，具体为在步骤S3之前包括以下步骤：
判断日志存储端收集到的任意一条日志信息中存储的日志收集端的唯一序列号，将所述唯一序列号与预先存储的制定查看并分析列表进行比对，如果唯一序列号在查看并分析列表中某个或某些日志查看分析端的编码号对应，则将该日志信息发送到与编码号对应的日志查看分析端中；如果在查看并分析列表并不存在所述唯一序列号，则将该日志信息发送到随机选定的日志查看分析端中。
本发明的有益效果是：
本发明将日志收集、日志存储、日志分析说均使用不同机器、不同应用分开处理；提高收集、存储和分析的效率，简化操作。
附图说明
图1是基于Logstash分布式系统日志监控系统结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
本实施例所述基于Logstash分布式系统日志监控系统，所述系统包括：三个独立的工作端：
日志收集端，负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来，输出到日志转发器暂存；
日志存储端，接收并存储从日志转发器发送的日志信息；
日志查看分析端，从日志存储端调取目标日志查看并分析。
(一)一个日志转发器与多个日志收集端通信连接；一个日志存储端与多个日志查看分析端通信连接。
(二)所述日志收集端需配置的参数包括：需要监控的文件、监控日志输出的控制台、监控日志输出的日志转发器的端口号、监控日志输出的日志转发器的主机地址、监控日志输出的日志转发器的数据库编号、监控日志使用的发布/订阅模式和监控日志发布的通道名称。
所述日志收集端还包括监控日志输出的日志转发器的备用主机地址。
所述日志收集端收集到日志文件数据后，经过文件处理后，暂存到日志转换器中。
(三)所述日志存储端从日志转发器读取日志文本，将读取的文本修改为format文件后存储，同时，所述日志存储端设置了需存储的日志写入文件路径。
所述日志存储端实时或设置每个一段时间间隔从日志转换器中读取日志文件。
本实施例所述基于Logstash分布式系统的日志监控系统的日志监控方法：
S1，日志收集端实时判断监的日志文件是否更新，如果是，则调取更新的日志文件并暂存到日志转发器中；如果否，则返回S1，继续判断；
S2，当日志存储端收到日志转发器暂存更新日志文件的消息后，接收并存储从日志转发器发送的日志信息；所述日志信息包括：日志文件的输出地址、日志文件内容和收集日志文件的日志收集端；
S3，日志查看分析端在接收到日志存储端存储了更新日志文件的消息后，从日志存储端调取目标日志查看并分析；所述日志查看分析端为处于空闲状态的日志查看分析端或查看分析任务最少的日志查看分析端。
其中，制定任意一个或多个日志查看分析端仅查看并分析由预先指定一个或多个日志收集端收集到的日志文件，具体为在步骤S3之前包括以下步骤：判断日志存储端收集到的任意一条日志信息中存储的日志收集端的唯一序列号，将所述唯一序列号与预先存储的制定查看并分析列表进行比对，如果唯一序列号在查看并分析列表中某个或某些日志查看分析端的编码号对应，则将该日志信息发送到与编码号对应的日志查看分析端中；如果在查看并分析列表并不存在所述唯一序列号，则将该日志信息发送到随机选定的日志查看分析端中。
本发明所述系统涉及到代码的主要流程为：
1.安装JAVA运行环境
2.安装Logstash
3.编写Shipper角色的配置文件：shipper.conf
input{file{path＝>[#这里填写需要监控的文件
"/data/log/php/php_fetal.log","/data/log/service1/access.log"]}}
output{#输出到控制台#stdout{}#输出到redis redis{host＝>
"10.140.45.190"#redis主机地址port＝>6379#redis端口号db＝>8#redis
数据库编号data_type＝>"channel"#使用发布/订阅模式key＝>
"logstash_list_0"#发布通道名称}}
filter{mutate{#替换元数据host的值replace＝>["host","10.140.46.134
B[1]"]}}
4.编写Indexer角色的配置文件：indexer.conf
Figure BDA0001196788320000051
Figure BDA0001196788320000061
5.启动Logstash
#先在Indexer主机上启动
nohup/usr/local/logstash-1.4.3/bin/logstash agent-f indexer.conf&>/dev/null&
#然后在Shipper主机上启动
nohup/usr/local/logstash-1.4.3/bin/logstash agent-f shipper.conf&>/dev/null&
#最后在Indexer上观察日志
tail-f/data/log/logstash/all.log
6.日志着色脚本
tail-f/data/log/logstash/all.log|awk'{
if(match($0,/.*(PHP Deprecated|PHP Notice|PHP Fatal error|PHP
Warning|ERROR|WARN).*/)){print"\033[41；37；1m"$0"\033[0m"}
else if(match($0,/.*关键信息1.*/)){print"\033[32；1m"$0"\033[0m"}
else if(match($0,/.*关键信息2.*/)){print"\033[36；1m"$0"\033[0m"}
else{print$0}}'
通过采用本发明公开的上述技术方案，得到了如下有益的效果：本发明将日志收集、日志存储、日志分析说均使用不同机器、不同应用分开处理；提高收集、存储和分析的效率，简化操作。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (7)

1.一种基于Logstash分布式系统的日志监控系统，其特征在于，所述系统包括：三个独立的工作端：
日志收集端，每一个所述日志收集端均设置有唯一序列号；负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来，输出到日志转发器暂存；
日志存储端，预先存储有查看并分析列表，所述查看并分析列表中存储有所述日志查看分析端的编码号；实时或设置每个一段时间间隔从所述日志转发器中读取日志文件，接收并存储从所述日志转发器发送的日志信息；
日志查看分析端，从日志存储端调取目标日志查看并分析；
其中一个所述日志转发器与多个所述日志收集端通信连接；一个所述日志存储端与多个所述日志查看分析端通信连接；任意一个或多个日志查看分析端仅查看并分析由预先指定一个或多个日志收集端收集到的日志文件；
所述日志监控系统中工作端的选择规则如下：所述日志存储端将收集到的日志信息中的序列号，与查看并分析列表中存储的所述日志查看分析端的编码号进行对比；当所述查看并分析列表中存在与所述序列号相对应的所述编码号时，所述日志信息发送至所述编码号对应的所述日志查看分析端；当所述查看并分析列表并不存在与所述序列号相对应的所述编码号时，所述日志信息发送到随机选定的所述日志查看分析端中。
2.根据权利要求1所述基于Logstash分布式系统的日志监控系统，其特征在于，所述日志收集端需配置的参数包括：需要监控的文件、监控日志输出的控制台、监控日志输出的日志转发器的端口号、监控日志输出的日志转发器的主机地址、监控日志输出的日志转发器的数据库编号、监控日志使用的发布/订阅模式和监控日志发布的通道名称。
3.根据权利要求2所述基于Logstash分布式系统的日志监控系统，其特征在于，所述日志收集端还包括监控日志输出的日志转发器的备用主机地址。
4.根据权利要求1所述基于Logstash分布式系统的日志监控系统，其特征在于，所述日志收集端收集到日志文件数据后，经过文件处理后，暂存到日志转换器中。
5.根据权利要求1所述基于Logstash分布式系统的日志监控系统，其特征在于，所述日志存储端从日志转发器读取日志文本，将读取的文本修改为format文件后存储，同时，所述日志存储端设置了需存储的日志写入文件路径。
6.根据权利要求1所述基于Logstash分布式系统的日志监控系统，其特征在于，本系统运行的环境为JAVA。
7.一种基于如权利要求1至6任意一项所述基于Logstash分布式系统的日志监控系统的日志监控方法，其特征在于，所述方法：
S1，日志收集端实时判断监的日志文件是否更新，如果是，则调取更新的日志文件并暂存到日志转发器中；如果否，则返回S1，继续判断；
S2，当日志存储端收到日志转发器暂存更新日志文件的消息后，接收并存储从日志转发器发送的日志信息；所述日志信息包括：日志文件的输出地址、日志文件内容和收集日志文件的日志收集端；
S3，日志查看分析端在接收到日志存储端存储了更新日志文件的消息后，从日志存储端调取目标日志查看并分析；所述日志查看分析端为处于空闲状态的日志查看分析端或查看分析任务最少的日志查看分析端；
所述日志监控系统的工作步骤为：判断所述日志存储端收集到的任意一条日志信息中存储的所述日志收集端的唯一序列号，将所述唯一序列号与预先存储的制定查看并分析列表进行比对，如果所述唯一序列号在所述查看并分析列表中某个或某些所述日志查看分析端的编码号对应，则将该日志信息发送到与编码号对应的所述日志查看分析端中；如果在所述查看并分析列表并不存在所述唯一序列号，则将该日志信息发送到随机选定的所述日志查看分析端中。
CN201611244198.3A 2016-12-29 2016-12-29 基于Logstash分布式系统的日志监控系统 Active CN106855888B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611244198.3A CN106855888B (zh) 2016-12-29 2016-12-29 基于Logstash分布式系统的日志监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611244198.3A CN106855888B (zh) 2016-12-29 2016-12-29 基于Logstash分布式系统的日志监控系统

Publications (2)

Publication Number Publication Date
CN106855888A CN106855888A (zh) 2017-06-16
CN106855888B true CN106855888B (zh) 2020-12-22

Family

ID=59126687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611244198.3A Active CN106855888B (zh) 2016-12-29 2016-12-29 基于Logstash分布式系统的日志监控系统

Country Status (1)

Country Link
CN (1) CN106855888B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600029B (zh) * 2018-05-09 2022-11-08 深圳壹账通智能科技有限公司 一种配置文件更新方法、装置、终端设备及存储介质
CN109558385B (zh) * 2018-11-16 2021-10-29 郑州云海信息技术有限公司 一种基于Linux系统的日志文件管理装置
CN117435420A (zh) * 2023-09-12 2024-01-23 中科驭数（北京）科技有限公司 基于dpu的数据面日志的获取方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104965932A (zh) * 2015-07-31 2015-10-07 山东蚁巡网络科技有限公司 一种在日志集中管理平台中对日志进行实时推送的方法
CN105141448A (zh) * 2015-07-28 2015-12-09 杭州华为数字技术有限公司 一种日志的采集方法及装置
CN106130782A (zh) * 2016-07-19 2016-11-16 努比亚技术有限公司 一种获取服务器日志的方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150341300A1 (en) * 2014-05-20 2015-11-26 Sublime-Mail, Inc. Method and system for automated email categorization and end-user presentation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141448A (zh) * 2015-07-28 2015-12-09 杭州华为数字技术有限公司 一种日志的采集方法及装置
CN104965932A (zh) * 2015-07-31 2015-10-07 山东蚁巡网络科技有限公司 一种在日志集中管理平台中对日志进行实时推送的方法
CN106130782A (zh) * 2016-07-19 2016-11-16 努比亚技术有限公司 一种获取服务器日志的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
用Kibana和logstash快速搭建实时日志查询、收集与分析系统;a_a_a_a_a_t;《百度文库》;20150821;正文第3-11页 *

Also Published As

Publication number Publication date
CN106855888A (zh) 2017-06-16

Similar Documents

Publication Publication Date Title
CN108829560B (zh) 数据监控方法、装置、计算机设备及存储介质
CN101237326B (zh) 设备日志实时解析的方法、装置和系统
CN111866016B (zh) 日志的分析方法及系统
CN111144839B (zh) 一种项目构建方法、持续集成系统及终端设备
US8799923B2 (en) Determining relationship data associated with application programs
CN111723313A (zh) 页面跳转的处理方法、装置、设备及存储介质
CN106855888B (zh) 基于Logstash分布式系统的日志监控系统
CN110222535B (zh) 区块链配置文件的处理装置、方法及存储介质
CN110764980A (zh) 日志处理方法和装置
CN112799688A (zh) 容器应用内软件包安装方法、装置、计算机设备及介质
CN116107846B (zh) 一种基于EBPF的Linux系统事件监控方法及装置
CN109151075B (zh) 日志处理方法、装置及电子设备
CN110941632A (zh) 一种数据库审计方法、装置及设备
CN113792008A (zh) 网络拓扑结构的获取方法、装置、电子设备及存储介质
CN111309696A (zh) 日志处理方法及装置、电子设备、可读介质
CN111159142B (zh) 一种数据处理方法及装置
CN112235262A (zh) 报文的解析方法、装置、电子设备及计算机可读存储介质
CN105426544A (zh) 监控数据库状态的方法及装置
CN110231921B (zh) 日志打印方法、装置、设备及计算机可读存储介质
KR102195823B1 (ko) It 디바이스 보안 취약점 점검 및 조치 시스템
CN112256532A (zh) 测试界面生成方法、装置、计算机设备及可读存储介质
CN114416560A (zh) 程序崩溃分析聚合方法和系统
CN111885159A (zh) 数据采集方法、装置、电子设备及存储介质
CN115038089B (zh) 一种基于信息抽取的多端数据监听采集方法
CN117034210B (zh) 一种事件画像的生成方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant