CN109344033A - 一种基于分布式架构的云日志采集方法 - Google Patents

一种基于分布式架构的云日志采集方法 Download PDF

Info

Publication number
CN109344033A
CN109344033A CN201811130064.8A CN201811130064A CN109344033A CN 109344033 A CN109344033 A CN 109344033A CN 201811130064 A CN201811130064 A CN 201811130064A CN 109344033 A CN109344033 A CN 109344033A
Authority
CN
China
Prior art keywords
log
elasticsearch
further comprise
kafka
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811130064.8A
Other languages
English (en)
Inventor
王玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Software Co Ltd
Original Assignee
Inspur Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Software Co Ltd filed Critical Inspur Software Co Ltd
Priority to CN201811130064.8A priority Critical patent/CN109344033A/zh
Publication of CN109344033A publication Critical patent/CN109344033A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/321—Display for diagnostics, e.g. diagnostic result display, self-test user interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种基于分布式架构的云日志采集方法，属于信息技术领域，本发明根据组件的特性，需要部署Kafka集群，Elasticsearch集群，Logstash，每台服务器安装Filebeat组件，最终搭建日志系统框架。实现系统各种日志的自动收集和实时查询分析以及第三方日志的快速导入。

Description

一种基于分布式架构的云日志采集方法
技术领域
本发明涉及信息技术领域，尤其涉及一种基于分布式架构的云日志采集方法，解决系统中日志的收集和查询问题。
背景技术
在一个信息系统里，日志有着至关重要的作用，日志可以记录系统的所有行为，可以通过这些行为分析系统的使用情况，进而可以分析可优化的方向。特别是系统使用中出现的异常信息等，通过这些信息可以及时提醒相关维护人员做出响应。
为了实现系统各种日志的自动收集和实时查询分析以及第三方日志的快速导入，需要一个日志服务系统完成这一过程。分析了以下几个开源组件，作为系统的组成部分。
Elasticsearch
作为终极日志的存储组件，可实现分布式的存储、实时搜索和海量数据分析，并可将日志持久化到磁盘。而且提供开源的RESTful API接口实现日志的直接导入。
Logstash
可以收集各种格式和来源的数据，可按需要的存储格式编写解析脚本，实现数据格式的统一化输出。
Filebeat
轻量化的日志采集组件，可在服务器上安装，实现日志的持续收集和发送。
Kafka
一种高吞吐量的分布式发布订阅消息系统，能够持久性和容错性的存储日志流，可以解决日志收集的速度和处理的速度不一致问题。
发明内容
为了方便、快速、自动的收集日志，以及实时的查询分析日志，本发明提出了一种基于分布式架构的云日志采集方法，用于收集和存储系统中的各种日志进行分析展示，解决系统中日志的收集和查询问题。
本发明的技术方案是：
一种基于分布式架构的云日志采集方法，
主要经过环境部署和系统内日志收集过程，自动收集日志并持久化到磁盘，实现实时搜索和分析，并通过系统日志的展示掌握平台的使用情况；
其中，
环境部署，
根据组件的特性，需要部署Kafka 集群，Elasticsearch 集群，Logstash，每台服务器安装Filebeat 组件，最终搭建日志系统框架，
搭建日志系统框架步骤为：
1）每台服务器配置Filebeat 要收集的日志路径，设置日志发送到的传输管道Kafka的地址；
2）在Logstash中配置所有日志来源的解析文件，并设置日志的来源（Kafka地址）以及发送到Elasticsearch集群的地址；
3）启动所有组件，开始收集日志。
进一步，日志主要包括以下日志内容：
1）系统服务器自身日志；
2）系统服务器上部署应用的日志；
3）第三方应用的日志；
4）系统服务日志。
进一步的，
系统内日志收集过程包括：
自动收集和实时查询分析日志以及第三方日志的快速导入。
具体技术实现过程
系统内日志收集过程：Filebeat 定时扫描要收集的日志文件，将日志发送到日志传输管道Kafka,经Kafka 输送到Logstash，按解析文件解析日志，输出特定的日志格式到Elasticsearch集群，最后将日志持久化到磁盘。
可以通过Elasticsearch api 接口查询分析日志，利用Echarts进行界面展示。
第三方应用日志可以通过封装的Elasticsearch api接口，将日志直接存储到Elasticsearch。
本发明的有益效果是
可以快速自动收集业务系统的服务日志、应用日志、虚机日志，并持久化到磁盘，同时可实现实时搜索和分析。
另外第三方的日志也可直接导入日志系统，持久化到磁盘。
本发明在行业云平台项目中得到了应用，实现了服务、虚机、应用的日志收集和分析。
通过系统日志的展示可以掌握平台的使用情况，特别是可以有效的记录上云应用的访问日志，有效的帮助分析应用。
附图说明
图1是搭建日志系统框架示意图。
具体实施方式
下面对本发明的内容进行更加详细的阐述：
本发明的一种基于分布式架构的云日志采集方法，解决业务系统日志的自动收集，快速查询、分析问题。主要包括以下日志内容：
1）系统服务器自身日志；
2）系统服务器上部署应用的日志；
3）第三方应用的日志；
4）系统服务日志；
本发明通过以下方案进行实施：
环境部署
根据组件的特性，需要部署Kafka 集群，Elasticsearch 集群，Logstash，每台服务器安装Filebeat 组件，最终搭建日志系统框架，如图1所示
1）每台服务器配置Filebeat 要收集的日志路径，设置日志发送到的传输管道Kafka的地址；
2）在Logstash中配置所有日志来源的解析文件，并设置日志的来源（Kafka地址）以及发送到Elasticsearch集群的地址；
3）启动所有组件，开始收集日志。
具体技术实现过程
系统内日志收集过程：Filebeat 定时扫描要收集的日志文件，将日志发送到日志传输管道Kafka,经Kafka 输送到Logstash，按解析文件解析日志，输出特定的日志格式到Elasticsearch集群，最后将日志持久化到磁盘。
通过Elasticsearch api 接口查询分析日志，利用Echarts进行界面展示。
第三方应用日志可以通过封装的Elasticsearch api接口，将日志直接存储到Elasticsearch。
本发明在行业云平台项目中得到了应用，实现了平台所有日志的收集展示，也将第三方应用日志接入到平台日志系统中实现了第三方日志的存储、分析和展示。

Claims (8)

1.一种基于分布式架构的云日志采集方法，其特征在于，
主要经过环境部署和系统内日志收集过程，自动收集日志并持久化到磁盘，实现实时搜索和分析，并通过系统日志的展示掌握平台的使用情况。
2.根据权利要求1所述的方法，其特征在于，
进一步包括，
环境部署包括：
根据组件的特性，部署Kafka 集群、Elasticsearch 集群、Logstash，每台服务器安装Filebeat 组件，搭建日志系统框架。
3.根据权利要求2所述的方法，其特征在于，
进一步包括，
系统内日志收集过程包括：
自动收集和实时查询分析日志以及第三方日志的快速导入。
4.根据权利要求1所述的方法，其特征在于，
进一步包括，
日志主要包括以下内容：
1）系统服务器自身日志；
2）系统服务器上部署应用的日志；
3）第三方应用的日志；
4）系统服务日志。
5.根据权利要求3所述的方法，其特征在于，
进一步包括，
搭建日志系统框架，主要步骤包括：
1）每台服务器配置Filebeat 要收集的日志路径，设置日志发送到的传输管道Kafka的地址；
2）在Logstash中配置所有日志来源的解析文件，并设置日志的来源以及发送到Elasticsearch集群的地址；
3）启动所有组件，开始收集日志。
6.根据权利要求5所述的方法，其特征在于，
进一步包括，
系统内日志收集过程：
Filebeat 定时扫描要收集的日志文件，将日志发送到日志传输管道Kafka,经Kafka输送到Logstash，按解析文件解析日志，输出日志格式到Elasticsearch集群，最后将日志持久化到磁盘。
7.根据权利要求6所述的方法，其特征在于，
进一步包括，
通过Elasticsearch api 接口查询分析日志，利用Echarts进行界面展示。
8.根据权利要求7所述的方法，其特征在于，
第三方应用日志通过封装的Elasticsearch api接口，将日志直接存储到Elasticsearch。
CN201811130064.8A 2018-09-27 2018-09-27 一种基于分布式架构的云日志采集方法 Pending CN109344033A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811130064.8A CN109344033A (zh) 2018-09-27 2018-09-27 一种基于分布式架构的云日志采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811130064.8A CN109344033A (zh) 2018-09-27 2018-09-27 一种基于分布式架构的云日志采集方法

Publications (1)

Publication Number Publication Date
CN109344033A true CN109344033A (zh) 2019-02-15

Family

ID=65306760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811130064.8A Pending CN109344033A (zh) 2018-09-27 2018-09-27 一种基于分布式架构的云日志采集方法

Country Status (1)

Country Link
CN (1) CN109344033A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633186A (zh) * 2019-08-16 2019-12-31 南方电网科学研究院有限责任公司 用于电力计量微服务架构的日志监控系统及实现方法
CN110750426A (zh) * 2019-10-30 2020-02-04 北京明朝万达科技股份有限公司 服务状态监测方法、装置、电子设备及可读存储介质
CN110851396A (zh) * 2019-11-07 2020-02-28 北京集奥聚合科技有限公司 一种基于建模平台微服务架构统一日志设计方法
CN111008112A (zh) * 2019-12-17 2020-04-14 紫光云(南京)数字技术有限公司 基于docker搭建的Elk集中式日志系统
CN111221831A (zh) * 2019-12-26 2020-06-02 杭州顺网科技股份有限公司 一种对广告效果数据实时处理的计算系统
CN111639098A (zh) * 2020-05-11 2020-09-08 紫光云技术有限公司 一种云日志管理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104113605A (zh) * 2014-07-30 2014-10-22 浪潮软件股份有限公司 一种企业云应用开发的监控处理方法
CN105631026A (zh) * 2015-12-30 2016-06-01 北京奇艺世纪科技有限公司 一种安全数据分析系统
CN105868075A (zh) * 2016-03-31 2016-08-17 浪潮通信信息系统有限公司 一种实时监控分析大量日志的系统及方法
CN106709069A (zh) * 2017-01-25 2017-05-24 焦点科技股份有限公司 高可靠性的大数据日志采集与传输方法
CN106709003A (zh) * 2016-12-23 2017-05-24 长沙理工大学 基于Hadoop的海量日志数据处理方法
CN106844171A (zh) * 2016-12-27 2017-06-13 浪潮软件集团有限公司 一种海量运维的实现方法
CN106961428A (zh) * 2017-03-15 2017-07-18 苏州大学 一种基于私有云平台的集中式入侵检测系统
CN107786641A (zh) * 2017-09-30 2018-03-09 南威软件股份有限公司 一种分布式多系统用户行为日志的采集方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104113605A (zh) * 2014-07-30 2014-10-22 浪潮软件股份有限公司 一种企业云应用开发的监控处理方法
CN105631026A (zh) * 2015-12-30 2016-06-01 北京奇艺世纪科技有限公司 一种安全数据分析系统
CN105868075A (zh) * 2016-03-31 2016-08-17 浪潮通信信息系统有限公司 一种实时监控分析大量日志的系统及方法
CN106709003A (zh) * 2016-12-23 2017-05-24 长沙理工大学 基于Hadoop的海量日志数据处理方法
CN106844171A (zh) * 2016-12-27 2017-06-13 浪潮软件集团有限公司 一种海量运维的实现方法
CN106709069A (zh) * 2017-01-25 2017-05-24 焦点科技股份有限公司 高可靠性的大数据日志采集与传输方法
CN106961428A (zh) * 2017-03-15 2017-07-18 苏州大学 一种基于私有云平台的集中式入侵检测系统
CN107786641A (zh) * 2017-09-30 2018-03-09 南威软件股份有限公司 一种分布式多系统用户行为日志的采集方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIAOXLM: "filebeat+kafka+logstash+elasticsearch", 《HTTPS://MY.OSCHINA.NET/U/3707537/BLOG/1840798》 *
夜月行者: "filebeat-->kafka-->logstash-->es的快速搭建", 《HTTPS://WWW.JIANSHU.COM/P/72A1A5D04F12》 *
技术即艺术: "Filebeat+Kafka+Logstash+ElasticSearch+Kibana搭建完整版", 《HTTPS://WWW.CNBLOGS.COM/JIASHENGMEI/P/8857053.HTML》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633186A (zh) * 2019-08-16 2019-12-31 南方电网科学研究院有限责任公司 用于电力计量微服务架构的日志监控系统及实现方法
CN110750426A (zh) * 2019-10-30 2020-02-04 北京明朝万达科技股份有限公司 服务状态监测方法、装置、电子设备及可读存储介质
CN110851396A (zh) * 2019-11-07 2020-02-28 北京集奥聚合科技有限公司 一种基于建模平台微服务架构统一日志设计方法
CN111008112A (zh) * 2019-12-17 2020-04-14 紫光云(南京)数字技术有限公司 基于docker搭建的Elk集中式日志系统
CN111221831A (zh) * 2019-12-26 2020-06-02 杭州顺网科技股份有限公司 一种对广告效果数据实时处理的计算系统
CN111221831B (zh) * 2019-12-26 2024-03-29 杭州顺网科技股份有限公司 一种对广告效果数据实时处理的计算系统
CN111639098A (zh) * 2020-05-11 2020-09-08 紫光云技术有限公司 一种云日志管理方法

Similar Documents

Publication Publication Date Title
CN109344033A (zh) 一种基于分布式架构的云日志采集方法
US10534659B2 (en) Policy based dynamic data collection for problem analysis
CN106055618B (zh) 一种基于网络爬虫与结构化存储的数据处理方法
CN105631026A (zh) 一种安全数据分析系统
CN112084224B (zh) 一种数据管理方法、系统、设备及介质
CN109871392B (zh) 一种分布式应用系统下的慢sql实时数据采集方法
CN111274095A (zh) 日志数据处理方法、装置、设备及计算机可读存储介质
CN109710439B (zh) 故障处理方法和装置
CN104104734A (zh) 日志分析方法和装置
US20140149487A1 (en) Replication and decoding of an instant message data through a proxy server
CN109167672B (zh) 一种回源错误定位方法、装置、存储介质以及系统
US8195986B2 (en) Method, system and computer program product for processing error information in a system
CN1794668A (zh) 信息技术系统的监控器和监控进程的实现的方法及系统
CN111935226A (zh) 支持工业数据实现流式计算方法及系统
CN114390112A (zh) 一种轨道交通应急处置方法、装置、电子设备及存储介质
CN114221997A (zh) 基于微服务业务网关的接口监控系统
CN111143304B (zh) 一种基于请求链路的微服务系统异常日志分析方法
CN108712306A (zh) 一种信息系统自动化巡检平台和巡检方法
CN116150120A (zh) 一种日志信息的采集方法及系统
CN103139043B (zh) 一种电子邮件真实性判断方法
Racka Apache Nifi As A Tool For Stream Processing Of Measurement Data
CN115391429A (zh) 基于大数据云计算的时序数据处理方法及装置
CN112131611B (zh) 数据正确性验证方法、装置、设备、系统及存储介质
CN114297020A (zh) 企业工控安全大脑平台系统及运行方法
CN114201659A (zh) 一种消息轨迹传输查询方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190215

RJ01 Rejection of invention patent application after publication