CN115460072A - 集日志收集、解析、存储与服务为一体的日志处理系统 - Google Patents

集日志收集、解析、存储与服务为一体的日志处理系统 Download PDF

Info

Publication number
CN115460072A
CN115460072A CN202211022274.1A CN202211022274A CN115460072A CN 115460072 A CN115460072 A CN 115460072A CN 202211022274 A CN202211022274 A CN 202211022274A CN 115460072 A CN115460072 A CN 115460072A
Authority
CN
China
Prior art keywords
log
analysis
collection
data
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211022274.1A
Other languages
English (en)
Inventor
孙海阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202211022274.1A priority Critical patent/CN115460072A/zh
Publication of CN115460072A publication Critical patent/CN115460072A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/069Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及大数据技术领域,具体为集日志收集、解析、存储与服务为一体的日志处理系统,包括日志收集模块、日志解析模块、日志服务模块以及日志存储模块;有益效果为:本发明提出的集日志收集、解析、存储与服务为一体的日志处理系统实现日志采集自动化部署,并支持可视化控制采集的启停;实现日志格式标准化,具有统一的日志模型;实现日志解析热加载,支持可视化更新解析配置;达到TB级日志数据存储,且至少支持秒级页面加载;支持大数据量场景下的高速检索和聚合及异常日志告警;可自定义日志保留策略,以及过期日志的转储策略。

Description

集日志收集、解析、存储与服务为一体的日志处理系统
技术领域
本发明涉及大数据技术领域,具体为集日志收集、解析、存储与服务为一体的日志处理系统。
背景技术
随着互联网的飞速发展,云操作系统已经越来越流行,但由于其庞大的规模和高度的复杂性,云操作系统运行时,更容易出现各种各样的问题。
现有技术中,在现代大规模分布式系统的管理中,系统日志一直是检测系统状态的主要来源。系统运行产生的大量日志记录通常是系统管理员排除故障的主要信息来源。
但是,由于现代系统的规模与日俱增,系统复杂度也不断提升,各种组件生成大量的日志信息,有可能出现比如系统有潜在异常,但被淹没在海量日志中;又比如新版本上线,系统行为有变化,却无法感知等情况,这对于系统管理员排障是一个巨大的挑战。
发明内容
本发明的目的在于提供集日志收集、解析、存储与服务为一体的日志处理系统,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:集日志收集、解析、存储与服务为一体的日志处理系统,所述集日志收集、解析、存储与服务为一体的日志处理系统包括:
日志收集模块、日志解析模块、日志服务模块以及日志存储模块;
日志收集模块,用于采集日志文件中的日志数据,再通过kafka传递给后续模块功能;
日志解析模块,利用logstash的插件对日志原始数据进行解析,生成符合标准格式的数据;
日志服务模块,用于为日志引擎系统其他服务提供日志查询、聚合、审计、配置接口;
日志存储模块,用于将日志分析模块处理后的结构化数据和日志服务模块传递的日志数据进行存储,同时实现过期日志的转储。
优选的,所述日志收集模块中,在增加新的采集配置时,在对应的采集节点上部署日志采集器,生成配置文件并控制日志采集器进行日志采集,进而实现自动化部署采集日志数据;
实时监控采集配置的启用状态,启用状态发生改变时,控制对应采集的启动和停止。
优选的,所述日志解析模块分为日志分析和日志解析两部分,日志解析即接收采集到的日志数据,将日志收集数据解析为具有标准格式的日志数据;
日志分析即根据配置规则分析日志解析模块解析后的结构化数据,并依据规则决定过程中出现异常日志是否需要发告警。
优选的,日志解析过程中要自动更新解析配置,及时监听日志服务模块日志解析配置变更信息并更新解析器的配置文件,从而反馈符合标准的日志数据。
优选的,所述日志服务模块中为日志采集、日志解析以及其他需要配置的功能模块提供配置界面,将所有配置可视化,方便操作,同时会根据配置状态对采集、解析流程进行控制。
一种集日志收集、解析、存储与服务为一体的日志处理方法,该方法包括以下步骤:
采集日志文件中的日志数据,再通过kafka传递给后续模块功能;
利用logstash的插件对日志原始数据进行解析,生成符合标准格式的数据;
为日志引擎系统其他服务提供日志查询、聚合、审计、配置接口;
将日志分析模块处理后的结构化数据和日志服务模块传递的日志数据进行存储,同时实现过期日志的转储。
优选的,在增加新的采集配置时,在对应的采集节点上部署日志采集器,生成配置文件并控制日志采集器进行日志采集,进而实现自动化部署采集日志数据。
优选的,所述利用logstash的插件对日志原始数据进行解析分为日志分析和日志解析两部分,日志解析即接收采集到的日志数据,将日志收集数据解析为具有标准格式的日志数据;
日志分析即根据配置规则分析日志解析模块解析后的结构化数据,并依据规则决定过程中出现异常日志是否需要发告警。
优选的,日志解析过程中要自动更新解析配置,及时监听日志服务模块日志解析配置变更信息并更新解析器的配置文件,从而反馈符合标准的日志数据。
优选的,为日志采集、日志解析以及其他需要配置的功能模块提供配置界面,将所有配置可视化,方便操作,同时会根据配置状态对采集、解析流程进行控制。
与现有技术相比,本发明的有益效果是:
本发明提出的集日志收集、解析、存储与服务为一体的日志处理系统实现日志采集自动化部署,并支持可视化控制采集的启停;实现日志格式标准化,具有统一的日志模型;实现日志解析热加载,支持可视化更新解析配置;达到TB级日志数据存储,且至少支持秒级页面加载;支持大数据量场景下的高速检索和聚合及异常日志告警;可自定义日志保留策略,以及过期日志的转储策略。
附图说明
图1为日志处理系统整体架构图;
图2为解析配置可视化原型图;
图3为日志解析流程图;
图4为日志服务同步解析配置流程图;
图5为日志服务监听并更新解析器配置流程图。
具体实施方式
为了使本发明的目的、技术方案进行清楚、完整地描述,及优点更加清楚明白,以下结合附图对本发明实施例进行进一步详细说明。应当理解,此处所描述的具体实施例是本发明一部分实施例,而不是全部的实施例,仅仅用以解释本发明实施例,并不用于限定本发明实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“中心”、“中”、“上”、“下”、“左”、“右”、“内”、“外”、“顶”、“底”、“侧”、“竖直”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“一”、“第一”、“第二”、“第三”、“第四”、“第五”、“第六”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
出于简明和说明的目的,实施例的原理主要通过参考例子来描述。在以下描述中,很多具体细节被提出用以提供对实施例的彻底理解。然而明显的是,对于本领域普通技术人员,这些实施例在实践中可以不限于这些具体细节。在一些实例中,没有详细地描述公知方法和结构,以避免无必要地使这些实施例变得难以理解。另外,所有实施例可以互相结合使用。
实施例一
请参阅图1至图5,本发明提供一种技术方案:集日志收集、解析、存储与服务为一体的日志处理系统,所述集日志收集、解析、存储与服务为一体的日志处理系统包括:
日志收集模块、日志解析模块、日志服务模块以及日志存储模块;在增加新的采集配置时,在对应的采集节点上部署日志采集器,生成配置文件并控制日志采集器进行日志采集,进而实现自动化部署采集日志数据;实时监控采集配置的启用状态,启用状态发生改变时,控制对应采集的启动和停止;
日志收集模块,用于采集日志文件中的日志数据,再通过kafka传递给后续模块功能;
日志解析模块,利用logstash的插件对日志原始数据进行解析,生成符合标准格式的数据;日志解析模块分为日志分析和日志解析两部分,日志解析即接收采集到的日志数据,将日志收集数据解析为具有标准格式的日志数据;日志分析即根据配置规则分析日志解析模块解析后的结构化数据,并依据规则决定过程中出现异常日志是否需要发告警;日志解析过程中要自动更新解析配置,及时监听日志服务模块日志解析配置变更信息并更新解析器的配置文件,从而反馈符合标准的日志数据;
日志服务模块,用于为日志引擎系统其他服务提供日志查询、聚合、审计、配置接口;日志服务模块中为日志采集、日志解析以及其他需要配置的功能模块提供配置界面,将所有配置可视化,方便操作,同时会根据配置状态对采集、解析流程进行控制;
日志存储模块,用于将日志分析模块处理后的结构化数据和日志服务模块传递的日志数据进行存储,同时实现过期日志的转储。
实施例二
一种集日志收集、解析、存储与服务为一体的日志处理方法,该方法包括以下步骤:
采集日志文件中的日志数据,再通过kafka传递给后续模块功能;在对应的采集节点上部署日志采集器,生成配置文件并控制日志采集器进行日志采集,进而实现自动化部署采集日志数据;
利用logstash的插件对日志原始数据进行解析,生成符合标准格式的数据;利用logstash的插件对日志原始数据进行解析分为日志分析和日志解析两部分,日志解析即接收采集到的日志数据,将日志收集数据解析为具有标准格式的日志数据;日志分析即根据配置规则分析日志解析模块解析后的结构化数据,并依据规则决定过程中出现异常日志是否需要发告警;日志解析过程中要自动更新解析配置,及时监听日志服务模块日志解析配置变更信息并更新解析器的配置文件,从而反馈符合标准的日志数据;
为日志引擎系统其他服务提供日志查询、聚合、审计、配置接口;为日志采集、日志解析以及其他需要配置的功能模块提供配置界面,将所有配置可视化,方便操作,同时会根据配置状态对采集、解析流程进行控制;
将日志分析模块处理后的结构化数据和日志服务模块传递的日志数据进行存储,同时实现过期日志的转储。
实施例三
该系统的日志收集模块主要由采集客户端、采集服务端、日志采集器三部分组成。采集客户端定时向服务端发送心跳和问询请求,更新服务端当前客户端的存活状态以及问询服务端是否有命令下发,接收到服务端的命令后,控制日志采集器采集日志数据,最后将日志数据上送到服务端。服务端则在拿到客户端上送的数据后将数据推到kafka中,供下游模块消费。
该系统的日志解析模块主要由logstash及其相关组件组成,分为日志解析与日志分析两部分,日志解析是将收集到的数据解析为标准格式化的日志数据;日志分析即根据配置的规则分析解析后的结构化数据并将分析结果持久化存储,过程中若产生异常日志,则需要根据告警配置规则判断是否需要告警。
该系统的日志存储模块即利用ES集群及其他压缩格式存储(如文件)服务器组成实现基本的日志数据存储以及过期日志的压缩转储。
该系统的日志服务模块即为其他服务或页面提供日志查询、聚合、审计、配置的接口;定期检查日志过期情况,并压缩并转储过期日志数据
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.集日志收集、解析、存储与服务为一体的日志处理系统,其特征在于:所述集日志收集、解析、存储与服务为一体的日志处理系统包括:
日志收集模块、日志解析模块、日志服务模块以及日志存储模块;
日志收集模块,用于采集日志文件中的日志数据,再通过kafka传递给后续模块功能;
日志解析模块,利用logstash的插件对日志原始数据进行解析,生成符合标准格式的数据;
日志服务模块,用于为日志引擎系统其他服务提供日志查询、聚合、审计、配置接口;
日志存储模块,用于将日志分析模块处理后的结构化数据和日志服务模块传递的日志数据进行存储,同时实现过期日志的转储。
2.根据权利要求1所述的集日志收集、解析、存储与服务为一体的日志处理系统,其特征在于:所述日志收集模块中,在增加新的采集配置时,在对应的采集节点上部署日志采集器,生成配置文件并控制日志采集器进行日志采集,进而实现自动化部署采集日志数据;
实时监控采集配置的启用状态,启用状态发生改变时,控制对应采集的启动和停止。
3.根据权利要求2所述的集日志收集、解析、存储与服务为一体的日志处理系统,其特征在于:所述日志解析模块分为日志分析和日志解析两部分,日志解析即接收采集到的日志数据,将日志收集数据解析为具有标准格式的日志数据;
日志分析即根据配置规则分析日志解析模块解析后的结构化数据,并依据规则决定过程中出现异常日志是否需要发告警。
4.根据权利要求3所述的集日志收集、解析、存储与服务为一体的日志处理系统,其特征在于:日志解析过程中要自动更新解析配置,及时监听日志服务模块日志解析配置变更信息并更新解析器的配置文件,从而反馈符合标准的日志数据。
5.根据权利要求4所述的集日志收集、解析、存储与服务为一体的日志处理系统,其特征在于:所述日志服务模块中为日志采集、日志解析以及其他需要配置的功能模块提供配置界面,将所有配置可视化,方便操作,同时会根据配置状态对采集、解析流程进行控制。
6.一种如上述权利要求1-5任意一项所述的集日志收集、解析、存储与服务为一体的日志处理方法,其特征在于:该方法包括以下步骤:
采集日志文件中的日志数据,再通过kafka传递给后续模块功能;
利用logstash的插件对日志原始数据进行解析,生成符合标准格式的数据;
为日志引擎系统其他服务提供日志查询、聚合、审计、配置接口;
将日志分析模块处理后的结构化数据和日志服务模块传递的日志数据进行存储,同时实现过期日志的转储。
7.根据权利要求6所述的集日志收集、解析、存储与服务为一体的日志处理方法,其特征在于:在增加新的采集配置时,在对应的采集节点上部署日志采集器,生成配置文件并控制日志采集器进行日志采集,进而实现自动化部署采集日志数据。
8.根据权利要求7所述的集日志收集、解析、存储与服务为一体的日志处理方法,其特征在于:利用logstash的插件对日志原始数据进行解析分为日志分析和日志解析两部分,日志解析即接收采集到的日志数据,将日志收集数据解析为具有标准格式的日志数据;
日志分析即根据配置规则分析日志解析模块解析后的结构化数据,并依据规则决定过程中出现异常日志是否需要发告警。
9.根据权利要求8所述的集日志收集、解析、存储与服务为一体的日志处理方法,其特征在于:日志解析过程中要自动更新解析配置,及时监听日志服务模块日志解析配置变更信息并更新解析器的配置文件,从而反馈符合标准的日志数据。
10.根据权利要求9所述的集日志收集、解析、存储与服务为一体的日志处理方法,其特征在于:为日志采集、日志解析以及其他需要配置的功能模块提供配置界面,将所有配置可视化,方便操作,同时会根据配置状态对采集、解析流程进行控制。
CN202211022274.1A 2022-08-25 2022-08-25 集日志收集、解析、存储与服务为一体的日志处理系统 Pending CN115460072A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211022274.1A CN115460072A (zh) 2022-08-25 2022-08-25 集日志收集、解析、存储与服务为一体的日志处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211022274.1A CN115460072A (zh) 2022-08-25 2022-08-25 集日志收集、解析、存储与服务为一体的日志处理系统

Publications (1)

Publication Number Publication Date
CN115460072A true CN115460072A (zh) 2022-12-09

Family

ID=84298881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211022274.1A Pending CN115460072A (zh) 2022-08-25 2022-08-25 集日志收集、解析、存储与服务为一体的日志处理系统

Country Status (1)

Country Link
CN (1) CN115460072A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117194175A (zh) * 2023-11-02 2023-12-08 广州嘉为科技有限公司 一种日志告警监控方法、装置及计算机存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294673A (zh) * 2016-08-08 2017-01-04 杭州玳数科技有限公司 一种用户自定义规则实时解析日志数据的方法与系统
CN111708679A (zh) * 2020-05-08 2020-09-25 中国建设银行股份有限公司 日志监控方法、系统、装置和存储介质
CN111753070A (zh) * 2020-06-21 2020-10-09 苏州浪潮智能科技有限公司 一种服务器监控日志处理的系统和方法
CN111858251A (zh) * 2020-07-22 2020-10-30 上海市大数据中心 一种基于大数据计算技术的数据安全审计方法及系统
CN112579289A (zh) * 2020-12-21 2021-03-30 中电福富信息科技有限公司 一种可智能调度的分布式解析引擎方法及装置
CN112905548A (zh) * 2021-03-25 2021-06-04 昆仑数智科技有限责任公司 一种安全审计系统及方法
CN114253806A (zh) * 2021-12-17 2022-03-29 易视腾科技股份有限公司 一种接入层日志收集分析预警系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294673A (zh) * 2016-08-08 2017-01-04 杭州玳数科技有限公司 一种用户自定义规则实时解析日志数据的方法与系统
CN111708679A (zh) * 2020-05-08 2020-09-25 中国建设银行股份有限公司 日志监控方法、系统、装置和存储介质
CN111753070A (zh) * 2020-06-21 2020-10-09 苏州浪潮智能科技有限公司 一种服务器监控日志处理的系统和方法
CN111858251A (zh) * 2020-07-22 2020-10-30 上海市大数据中心 一种基于大数据计算技术的数据安全审计方法及系统
CN112579289A (zh) * 2020-12-21 2021-03-30 中电福富信息科技有限公司 一种可智能调度的分布式解析引擎方法及装置
CN112905548A (zh) * 2021-03-25 2021-06-04 昆仑数智科技有限责任公司 一种安全审计系统及方法
CN114253806A (zh) * 2021-12-17 2022-03-29 易视腾科技股份有限公司 一种接入层日志收集分析预警系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周超: "多数据中心日志实时收集与分析系统设计与实现", 中国知网硕士电子期刊, no. 2019, 15 May 2019 (2019-05-15) *
许文杰: "企业后台日志分析系统的设计与实现", 中国知网硕士电子期刊, no. 2022, 15 April 2022 (2022-04-15) *
黄媛媛;王彬;龙卉;刘学生;: "基于微服务架构的日志系统", 电子技术与软件工程, no. 02, 15 January 2017 (2017-01-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117194175A (zh) * 2023-11-02 2023-12-08 广州嘉为科技有限公司 一种日志告警监控方法、装置及计算机存储介质

Similar Documents

Publication Publication Date Title
CN108039957B (zh) 复杂网络流量包智能分析系统
US20110191394A1 (en) Method of processing log files in an information system, and log file processing system
CN103731182B (zh) 一种电力载波通信实时监控方法及系统
CN110659109B (zh) 一种openstack集群虚拟机监控系统及方法
CN112132538A (zh) 一种基于NB-IoT的光伏发电管理系统
CN108509326A (zh) 一种基于nginx日志的服务状态统计方法及系统
CN110224865A (zh) 一种基于流式处理的日志告警系统
US20120109663A1 (en) Advanced Metering Infrastructure Event Filtering
CN110209518A (zh) 一种多数据源日志数据集中收集存储方法及装置
CN115460072A (zh) 集日志收集、解析、存储与服务为一体的日志处理系统
CN111813848A (zh) 基于kafka日志中间件的数据实时采集分析方法
CN111008245A (zh) 基于调控云的省级以上调度机构wams数据共享方法
CN107463490B (zh) 一种应用于平台开发中的集群日志集中收集方法
CN114143169A (zh) 一种微服务应用可观测性系统
CN114090529A (zh) 一种日志管理方法、装置、系统和存储介质
CN112417050A (zh) 数据同步方法和装置、系统、存储介质及电子装置
CN210804735U (zh) 一种智能电表
CN111274083A (zh) 一种分布式监控及采集服务器硬件指标的方法及系统
CN114500178B (zh) 一种自运维的智慧物联网关
CN116089212A (zh) 数据库运行监控方法、系统、装置及存储介质
CN113407415A (zh) 智能终端的日志管理方法和装置
CN112685486B (zh) 数据库集群的数据管理方法、装置、电子设备及存储介质
CN114390033A (zh) 基于可扩展通信协议的回路状态巡检仪采集系统及方法
CN110515955A (zh) 数据的存储、查询方法、系统、电子设备和存储介质
CN113824801A (zh) 一种智能融合终端统一接入管理组件系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination