CN105553716A - 大规模集群下各节点日志的抓取和展示系统 - Google Patents

大规模集群下各节点日志的抓取和展示系统 Download PDF

Info

Publication number
CN105553716A
CN105553716A CN201510928876.7A CN201510928876A CN105553716A CN 105553716 A CN105553716 A CN 105553716A CN 201510928876 A CN201510928876 A CN 201510928876A CN 105553716 A CN105553716 A CN 105553716A
Authority
CN
China
Prior art keywords
node
log
module
information
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510928876.7A
Other languages
English (en)
Inventor
武新
崔维力
李南峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd
Original Assignee
TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd filed Critical TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd
Priority to CN201510928876.7A priority Critical patent/CN105553716A/zh
Publication of CN105553716A publication Critical patent/CN105553716A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种大规模集群下各节点日志的抓取和展示系统，包括各节点服务端和节点客户端，节点客户端包括节点读取模块，节点信息解析模块，参数输入模块，节点组装模块，节点信息接收模块和节点统计模块；各节点服务端包括监听节点客户端的监听模块，用于接收节点客户端连接请求的请求信号接收模块，接收日志查询请求的日志信号接收模块，解析出查询请求中包含参数的参数解析模块，根据参数信息对日志进行查找过滤的查找过滤模块和将查询到符合要求日志返回节点客户端的查询日志信息回传模块。本发明解决了大规模集群系统下，各节点日志难以查看的问题，使用更加方便快捷且实用性更强。

Description

大规模集群下各节点日志的抓取和展示系统
技术领域
本发明属于分布式系统技术领域，具体涉及一种大规模集群下各节点日志的抓取和展示系统。
背景技术
一个大规模集群中通常都包括了成百甚至上千个节点，每个节点中都运行着给集群提供服务的软件，通常都会生成自己的日志文件，用于记录出错信息，运行状态，执行过程等。
对于日志文件的查看，一般都是直接通过文本编辑工具打开日志文件，人为地搜索查看其中的信息，并且只能单个节点，单个日志地查看。
在大规模集群下，当面对如此多的节点，以及不同的日志文件，人为登陆节点进行日志查看的方法会显得效率低下，在节点众多的情况下变得不可行。
发明内容
为了解决上述技术问题，本发明的目的是提供一种可以在大规模集群下方便快捷的查看各个节点不同日志的大规模集群下各节点日志的抓取和展示系统。
实现本发明目的的技术方案是：一种大规模集群下各节点日志的抓取和展示系统，包括集群中节点中布置了日志抓取和展示工具的各节点服务端和需要查询日志抓取和展示工具的节点客户端，所述节点客户端包括读取包含集群节点和日志配置文件的节点读取模块，解析出日志名称对应节点地址、日志时间和存放路径的节点信息解析模块，用于输入开始时间参数、结束时间参数和过滤时间参数的参数输入模块，用于将输入参数组装为查询请求发送到配置文件中对应节点地址上的节点组装模块，用于接收来自各节点服务端应答的节点信息接收模块和对各节点返回信息进行会总并按展示所有日志及日志在各节点中出现次数的节点统计模块；所述各节点服务端包括监听节点客户端的监听模块，用于接收节点客户端连接请求的请求信号接收模块，接收日志查询请求的日志信号接收模块，解析出查询请求中包含参数的参数解析模块，根据参数信息对日志进行查找过滤的查找过滤模块和将查询到符合要求日志返回节点客户端的查询日志信息回传模块。
日志配置文件由集群地址描述、日志文件时间格式描述和日志名称描述，
所述集群地址描述包括各节点地址，包括多个不同集群地址描述；
所述日志文件时间格式描述包括多个不同日志文件时间格式描述；
所述日志名称描述包括日志存储地址、中描述的日专所在集群和中描述的日志文件时间格式。
所述各节点服务端还包括去重模块。
所述去重模块的去重步骤具体如下：
A)、去掉日志记录中的动态信息；
B)、计算去掉动态信息后的日志记录的校验值，如果校验值相同则判断为同一条日志，如果校验值不同则判断为不是同一条日志；
C)、根据校验值查看是否已出现过，如果已出现则将当前处理的日志记录所在节点的出现次数加一，如果未出现过则在出现记录中加入此校验值，并将所在节点出现次数设为1，其余节点设置为0；
D)、重复步骤A，并最终统计所有日志及在各节点上的出现次数并展示。
在步骤A中，动态信息为用于记录日志的变量信息，包括十进制纯数字信息、OX开头的十六进制信息、中括号中的信息、大括号中的信息、以“.com“结尾的网址信息、IP信息和文件路径名信息。
本发明具有积极的效果：本发明解决了大规模集群系统下，各节点日志难以查看的问题，通过此发明，可以便捷地对多节点下的日志信息进行查看；同时与其它现有技术各节点日志查看系统不同的是，现有技术各节点日志查看系统都是直接将各节点的日志集中放入数据库，或者是放入专门的集群文件系统，如HDFS进行集中存储，会加重系统负担和建立额外的存储系统，增加系统复杂度；而本发明中的日志是存放在各个节点上的，就是使用得最多，最原始的文件记录，通过对这些文件的处理，在不增加系统复杂度，不额外使用存储设备的情况下，来完成多节点日志的查询，使用更加方便快捷且实用性更强。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中：
图1为本发明的大规模集群下各节点日志的抓取和展示系统的结构示意图；
图2为本发明的日志抓取和展示工具的处理流程图；
图3为本发明的日志处理和过滤处理流程图；
图4为本发明中去重模块的流程图。
具体实施方式
(实施例1)
图1至图3显示了本发明的一种具体实施方式，其中图1为本发明的大规模集群下各节点日志的抓取和展示系统的结构示意图；图2为本发明的日志抓取和展示工具的处理流程图；图3为本发明的日志处理和过滤处理流程图；图4为本发明中去重模块的流程图。
见图1至图4，一种大规模集群下各节点日志的抓取和展示系统，包括集群中节点中布置了日志抓取和展示工具的各节点服务端1和需要查询日志抓取和展示工具的节点客户端2，所述节点客户端2包括读取包含集群节点和日志配置文件的节点读取模块21，解析出日志名称对应节点地址、日志时间和存放路径的节点信息解析模块22，用于输入开始时间参数、结束时间参数和过滤时间参数的参数输入模块23，用于将输入参数组装为查询请求发送到配置文件中对应节点地址上的节点组装模块24，用于接收来自各节点服务端应答的节点信息接收模块25和对各节点返回信息进行会总并按展示所有日志及日志在各节点中出现次数的节点统计模块26；所述各节点服务端1包括监听节点客户端的监听模块11，用于接收节点客户端连接请求的请求信号接收模块12，接收日志查询请求的日志信号接收模块13，解析出查询请求中包含参数的参数解析模块14，根据参数信息对日志进行查找过滤的查找过滤模块15和将查询到符合要求日志返回节点客户端的查询日志信息回传模块16。
日志配置文件由集群地址描述、日志文件时间格式描述和日志名称描述，
所述集群地址描述包括各节点地址，包括多个不同集群地址描述；
所述日志文件时间格式描述包括多个不同日志文件时间格式描述；
所述日志名称描述包括日志存储地址、中描述的日专所在集群和中描述的日志文件时间格式。
所述各节点服务端还包括去重模块。
所述去重模块的去重步骤具体如下：
A)、去掉日志记录中的动态信息；
B)、计算去掉动态信息后的日志记录的校验值，如果校验值相同则判断为同一条日志，如果校验值不同则判断为不是同一条日志；
C)、根据校验值查看是否已出现过，如果已出现则将当前处理的日志记录所在节点的出现次数加一，如果未出现过则在出现记录中加入此校验值，并将所在节点出现次数设为1，其余节点设置为0；
D)、重复步骤A，并最终统计所有日志及在各节点上的出现次数并展示。
在步骤A中，动态信息为用于记录日志的变量信息，包括十进制纯数字信息、OX开头的十六进制信息、中括号中的信息、大括号中的信息、以“.com“结尾的网址信息、IP信息和文件路径名信息。
本发明解决了大规模集群系统下，各节点日志难以查看的问题，通过此发明，可以便捷地对多节点下的日志信息进行查看；同时与其它现有技术各节点日志查看系统不同的是，现有技术各节点日志查看系统都是直接将各节点的日志集中放入数据库，或者是放入专门的集群文件系统，如HDFS进行集中存储，会加重系统负担和建立额外的存储系统，增加系统复杂度；而本发明中的日志是存放在各个节点上的，就是使用得最多，最原始的文件记录，通过对这些文件的处理，在不增加系统复杂度，不额外使用存储设备的情况下，来完成多节点日志的查询，使用更加方便快捷且实用性更强。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而这些属于本发明的实质精神所引伸出的显而易见的变化或变动仍属于本发明的保护范围。

Claims (5)

1.一种大规模集群下各节点日志的抓取和展示系统，包括集群中节点中布置了日志抓取和展示工具的各节点服务端和需要查询日志抓取和展示工具的节点客户端，其特征在于：所述节点客户端包括读取包含集群节点和日志配置文件的节点读取模块，解析出日志名称对应节点地址、日志时间和存放路径的节点信息解析模块，用于输入开始时间参数、结束时间参数和过滤时间参数的参数输入模块，用于将输入参数组装为查询请求发送到配置文件中对应节点地址上的节点组装模块，用于接收来自各节点服务端应答的节点信息接收模块和对各节点返回信息进行会总并按展示所有日志及日志在各节点中出现次数的节点统计模块；所述各节点服务端包括监听节点客户端的监听模块，用于接收节点客户端连接请求的请求信号接收模块，接收日志查询请求的日志信号接收模块，解析出查询请求中包含参数的参数解析模块，根据参数信息对日志进行查找过滤的查找过滤模块和将查询到符合要求日志返回节点客户端的查询日志信息回传模块。
2.根据权利要求1所述的大规模集群下各节点日志的抓取和展示系统，其特征在于：日志配置文件由集群地址描述、日志文件时间格式描述和日志名称描述，
所述集群地址描述包括各节点地址，包括多个不同集群地址描述；
所述日志文件时间格式描述包括多个不同日志文件时间格式描述；
所述日志名称描述包括日志存储地址、中描述的日专所在集群和中描述的日志文件时间格式。
3.根据权利要求2所述的大规模集群下各节点日志的抓取和展示系统，其特征在于：所述各节点服务端还包括去重模块。
4.根据权利要求3所述的大规模集群下各节点日志的抓取和展示系统，其特征在于：所述去重模块的去重步骤具体如下：
A)、去掉日志记录中的动态信息；
B)、计算去掉动态信息后的日志记录的校验值，如果校验值相同则判断为同一条日志，如果校验值不同则判断为不是同一条日志；
C)、根据校验值查看是否已出现过，如果已出现则将当前处理的日志记录所在节点的出现次数加一，如果未出现过则在出现记录中加入此校验值，并将所在节点出现次数设为1，其余节点设置为0；
D)、重复步骤A，并最终统计所有日志及在各节点上的出现次数并展示。
5.根据权利要求4所述的大规模集群下各节点日志的抓取和展示系统，其特征在于：在步骤A中，动态信息为用于记录日志的变量信息，包括十进制纯数字信息、OX开头的十六进制信息、中括号中的信息、大括号中的信息、以“.com“结尾的网址信息、IP信息和文件路径名信息。
CN201510928876.7A 2015-12-12 2015-12-12 大规模集群下各节点日志的抓取和展示系统 Pending CN105553716A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510928876.7A CN105553716A (zh) 2015-12-12 2015-12-12 大规模集群下各节点日志的抓取和展示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510928876.7A CN105553716A (zh) 2015-12-12 2015-12-12 大规模集群下各节点日志的抓取和展示系统

Publications (1)

Publication Number Publication Date
CN105553716A true CN105553716A (zh) 2016-05-04

Family

ID=55832656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510928876.7A Pending CN105553716A (zh) 2015-12-12 2015-12-12 大规模集群下各节点日志的抓取和展示系统

Country Status (1)

Country Link
CN (1) CN105553716A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909493A (zh) * 2017-02-28 2017-06-30 郑州云海信息技术有限公司 一种在基于windows平台的刀片服务器中实时显示bmc日志的方法
CN109783754A (zh) * 2018-12-17 2019-05-21 杭州玳数科技有限公司 一种基于web技术实现的日志展示方法及系统
CN111124836A (zh) * 2019-12-26 2020-05-08 珠海金山网络游戏科技有限公司 一种程序日志记录方法及装置
CN117971605A (zh) * 2024-03-29 2024-05-03 天津南大通用数据技术股份有限公司 基于数据库异常的自动化日志信息收集方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729295A (zh) * 2009-12-02 2010-06-09 北京东土科技股份有限公司 一种日志功能的实现方法
US20110099187A1 (en) * 2009-10-22 2011-04-28 Vmware, Inc. Method and System for Locating Update Operations in a Virtual Machine Disk Image
CN102411533A (zh) * 2011-08-08 2012-04-11 浪潮电子信息产业股份有限公司 一种集群存储系统的日志管理优化方法
CN102750326A (zh) * 2012-05-30 2012-10-24 浪潮电子信息产业股份有限公司 一种基于精简策略的集群系统的日志管理优化方法
CN103577443A (zh) * 2012-07-30 2014-02-12 中国银联股份有限公司 一种日志处理系统
CN104333512A (zh) * 2014-10-30 2015-02-04 北京思特奇信息技术股份有限公司 一种分布式内存数据库访问系统及方法
CN104579777A (zh) * 2015-01-06 2015-04-29 浪潮软件股份有限公司 日志管理系统和实现方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110099187A1 (en) * 2009-10-22 2011-04-28 Vmware, Inc. Method and System for Locating Update Operations in a Virtual Machine Disk Image
CN101729295A (zh) * 2009-12-02 2010-06-09 北京东土科技股份有限公司 一种日志功能的实现方法
CN102411533A (zh) * 2011-08-08 2012-04-11 浪潮电子信息产业股份有限公司 一种集群存储系统的日志管理优化方法
CN102750326A (zh) * 2012-05-30 2012-10-24 浪潮电子信息产业股份有限公司 一种基于精简策略的集群系统的日志管理优化方法
CN103577443A (zh) * 2012-07-30 2014-02-12 中国银联股份有限公司 一种日志处理系统
CN104333512A (zh) * 2014-10-30 2015-02-04 北京思特奇信息技术股份有限公司 一种分布式内存数据库访问系统及方法
CN104579777A (zh) * 2015-01-06 2015-04-29 浪潮软件股份有限公司 日志管理系统和实现方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909493A (zh) * 2017-02-28 2017-06-30 郑州云海信息技术有限公司 一种在基于windows平台的刀片服务器中实时显示bmc日志的方法
CN109783754A (zh) * 2018-12-17 2019-05-21 杭州玳数科技有限公司 一种基于web技术实现的日志展示方法及系统
CN111124836A (zh) * 2019-12-26 2020-05-08 珠海金山网络游戏科技有限公司 一种程序日志记录方法及装置
CN117971605A (zh) * 2024-03-29 2024-05-03 天津南大通用数据技术股份有限公司 基于数据库异常的自动化日志信息收集方法及系统

Similar Documents

Publication Publication Date Title
JP5160556B2 (ja) 分散型コンピュータネットワークに基づくログファイル分析方法およびシステム
CN106982150B (zh) 一种基于Hadoop的移动互联网用户行为分析方法
CN104090889B (zh) 数据处理方法及系统
CN106980699B (zh) 一种数据处理平台和系统
CN111241078A (zh) 数据分析系统、数据分析的方法及装置
CN105183860B (zh) 数据同步方法和系统
CN106790718A (zh) 服务调用链路分析方法及系统
CN110855473A (zh) 一种监控方法、装置、服务器及存储介质
CN107528872A (zh) 一种数据恢复方法、装置及云存储系统
CN105677842A (zh) 基于Hadoop大数据处理技术的日志分析系统
CN107273267A (zh) 基于elastic组件的日志分析方法
CN103942210A (zh) 海量日志信息的处理方法、装置与系统
CN107818024A (zh) 一种基于spring拦截器的request ID传递方法及系统
CN103034735A (zh) 一种大数据分布式文件导出方法
CN105912636B (zh) 一种基于Map/Reduce的ETL数据处理方法和装置
CN103927331A (zh) 数据查询方法、装置及系统
CN112181931A (zh) 一种大数据系统链路追踪方法及电子设备
CN113360554A (zh) 一种数据抽取、转换和加载etl的方法和设备
CN105553716A (zh) 大规模集群下各节点日志的抓取和展示系统
CN113468019A (zh) 基于Hbase的指标监控方法、装置、设备及存储介质
CN108390782A (zh) 一种集中式应用系统性能问题综合分析方法
WO2017000592A1 (zh) 数据处理方法、装置及系统
CN112579007A (zh) 一种存储全链路的获取方法、装置及电子设备
Schales et al. FCCE: highly scalable distributed feature collection and correlation engine for low latency big data analytics
CN113778947A (zh) 一种kafka流处理平台的数据导入方法、装置及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160504