CN105095502A - 一种集群存储系统的日志收集方法 - Google Patents

一种集群存储系统的日志收集方法 Download PDF

Info

Publication number
CN105095502A
CN105095502A CN201510529328.7A CN201510529328A CN105095502A CN 105095502 A CN105095502 A CN 105095502A CN 201510529328 A CN201510529328 A CN 201510529328A CN 105095502 A CN105095502 A CN 105095502A
Authority
CN
China
Prior art keywords
log
module
cluster
storage system
log collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510529328.7A
Other languages
English (en)
Inventor
方兰春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201510529328.7A priority Critical patent/CN105095502A/zh
Publication of CN105095502A publication Critical patent/CN105095502A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种集群存储系统的日志收集方法，属于计算机存储领域，该方法所包含的模块有日志管理模块、日志收集模块、日志代理模块；所述的日志管理模块运行在集群中主监控器节点上，负责管理协调日志收集模块和日志代理模块，该模块以嵌入式的方式，整合到集群存储系统的业务流程中；所述的日志收集模块运行在集群中主监控器节点上，负责收集管理多个日志代理模块推送来的数据，并将数据分类存储到指定的目录下，根据集群的规模动态配置日志收集模块的大小；所述的日志代理模块运行在集群中的各个节点上，负责收集所在节点上的集群存储系统的Log日志，并将日志推送给日志收集模块。该方法便于系统维护和数据储存。

Description

一种集群存储系统的日志收集方法
技术领域
本发明涉及一种计算机存储，具体地说是一种集群存储系统的日志收集方法。
背景技术
随着的互联网的发展,每一刻都在产生各种各样的海量数据；集群存储为海量数据的存储提供了解决方案。集群存储系统的运维工作就越来越被重视；考虑考虑到集群存储系统的可维护性，其中非常重要的一点是日志。由于集群存储系统的log日志一般是记录在本地的特定目录下,所以集群存储系统的Log日志分布在集群的各个节点上；运维人员要想了解这个集群的运行情况，查询集群的Log日志时就会非常的不方便。
发明内容
　　本发明的技术任务是提供一种一种集群存储系统的日志收集方法，来解决以上技术问题。
本发明解决其技术问题所采用的技术方案是：该方法所包含的模块有日志管理模块、日志收集模块、日志代理模块；
所述的日志管理模块运行在集群中主监控器节点上，负责管理协调日志收集模块和日志代理模块，该模块以嵌入式的方式，整合到集群存储系统的业务流程中；
所述的日志收集模块运行在集群中主监控器节点上，负责收集管理多个日志代理模块推送来的数据，并将数据分类存储到指定的目录下，根据根据集群的规模动态配置日志收集模块的大小；
所述的日志代理模块运行在集群中的各个节点上，负责收集所在节点上的集群存储系统的Log日志，并将日志推送给日志收集模块。
所述的每一个日志代理模块可监听1024个文件。
所述的日志代理模块配置文件中有发送日志安全级别属性为E2E和SendOnly。
本发明的一种集群存储系统的日志收集方法和现有技术相比，具有以下有益效果：
1、该方法实现了将日志收集模块和日志代理模块由日志管理模块统一管理，使得系统便于维护；
2、该方法可以根据存储集群的规模动态的配置日志代理模块的多少,来满足集群日志收集的需要具有较高的可扩展性；
3、该方法提供了两种级别的可靠性保障,E2E（数据代理模块发现有新的日志时首先将日志数据写到本地磁盘上，当日志数据传送成功后，再删除本地记录；如果日志数据发送失败，可以定时重新发送）；SendOnly（数据代理模块发现有新的日志时,将日志数据发送到接收方后，不会进行确认），根据集群存储系统的log日志的重要性进行设置日志收集级别，这样确保重要的日志收集成功的可靠性。
具体实施方式
具体实施例对本发明作进一步说明。
本发明的一种集群存储系统的日志收集方法，该方法所包含的模块有日志管理模块、日志收集模块、日志代理模块；所述的日志管理模块运行在集群中主监控器节点上，负责管理协调日志收集模块和日志代理模块，该模块以嵌入式的方式，整合到集群存储系统的业务流程中，每一个日志代理模块可监听1024个文件，日志代理模块配置文件中有发送日志安全级别属性为E2E和SendOnly；所述的日志收集模块运行在集群中主监控器节点上，负责收集管理多个日志代理模块推送来的数据，并将数据分类存储到指定的目录下，根据根据集群的规模动态配置日志收集模块的大小；所述的日志代理模块运行在集群中的各个节点上，负责收集所在节点上的集群存储系统的Log日志，并将日志推送给日志收集模块。
具体工作原理为：
每一个日志代理模块可监听1024个文件；日志代理模块将记录每一个log日志文件的收集位置。当日志文件有新的记录产生，日志代理模块根据收集位置进行读取增量记录；根据日志代理模块的配置文件将日志数据发送到指定的日志收集模块。一个日志代理模块在配置文件中一般指定至少两个日志收集模块，当主日志收集在一定的时间内容无法连接时，日志代理模块将连接备用的日志收集模块。日志代理模块配置文件中有发送日志安全级别属性E2E和SendOnly。
当日志代理模块的配置文件中发送日志安全级别属性是E2E的情况,那么日志代理模块首先将推送的日志内容写入到本地特定的文件中，然后日志的内容推送给日志收集模块；日志收集模块收到该日志代理模块推送的日志数据，并成功的保存下来后；将反馈给日志代理模块日志内容保存成功的确认信息。当日志代理模块收到确认信息后，会将删除之前写入的本地特定文件。如果没有收到日志收集模块的确认信息，那么就保留本地特定文件；并继续推送日志数据。
当日志代理模块的配置文件中发送日志安全级别属性是SendOnly的情况，那么数据代理模块发现有新的日志时,将日志数据发送给日志收集模块就退出该次日志推送过程。
如果日志代理模块出现问题，需要重新启动，日志代理模块会根据重新启动的时间点减去最大的心跳间隔作为起始点来进行日志重新获取的时间点。这样虽然数据有重复的可能，但能保证日志数据的完成性。日志代理模块重新连接日志收集模块后，日志收集模块收到的日志内容时，日志收集模块进行简单的数据重复性检查！即日志收集模块在写入日志内容前，会读出日志文件中的最后一条记录，进行时间比对；将大于日志文件中的最后一条日志时间的日志写入日志文件，否则认为是重复的数据。
应当理解，本发明并不限于上述的具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。

Claims (3)

1.一种集群存储系统的日志收集方法，其特征在于该方法所包含的模块有日志管理模块、日志收集模块、日志代理模块；
所述的日志管理模块运行在集群中主监控器节点上，负责管理协调日志收集模块和日志代理模块，该模块以嵌入式的方式，整合到集群存储系统的业务流程中；
所述的日志收集模块运行在集群中主监控器节点上，负责收集管理多个日志代理模块推送来的数据，并将数据分类存储到指定的目录下，根据根据集群的规模动态配置日志收集模块的大小；
所述的日志代理模块运行在集群中的各个节点上，负责收集所在节点上的集群存储系统的Log日志，并将日志推送给日志收集模块。
2.根据权利要求1所述的一种集群存储系统的日志收集方法，其特征在于所述的每一个日志代理模块可监听1024个文件。
3.根据权利要求1所述的一种集群存储系统的日志收集方法，其特征在于所述的日志代理模块配置文件中有发送日志安全级别属性为E2E和SendOnly。
CN201510529328.7A 2015-08-26 2015-08-26 一种集群存储系统的日志收集方法 Pending CN105095502A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510529328.7A CN105095502A (zh) 2015-08-26 2015-08-26 一种集群存储系统的日志收集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510529328.7A CN105095502A (zh) 2015-08-26 2015-08-26 一种集群存储系统的日志收集方法

Publications (1)

Publication Number Publication Date
CN105095502A true CN105095502A (zh) 2015-11-25

Family

ID=54575937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510529328.7A Pending CN105095502A (zh) 2015-08-26 2015-08-26 一种集群存储系统的日志收集方法

Country Status (1)

Country Link
CN (1) CN105095502A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145534A (zh) * 2017-04-18 2017-09-08 北京思特奇信息技术股份有限公司 一种基于云运维操作管理平台的页面展示方法
CN107463490A (zh) * 2017-08-15 2017-12-12 四川长虹电器股份有限公司 一种应用于平台开发中的集群日志集中收集方法
CN107483238A (zh) * 2017-08-04 2017-12-15 郑州云海信息技术有限公司 一种日志管理方法、集群管理节点及系统
CN107665260A (zh) * 2017-10-24 2018-02-06 郑州云海信息技术有限公司 一种基于linux系统的日志收集工具

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050171957A1 (en) * 2001-06-08 2005-08-04 Nec Corporation Information retrieval/information retrieval result providing system, information retrieval/information retrieval result providing method and storage medium recording method program
CN1900932A (zh) * 2005-07-20 2007-01-24 国际商业机器公司 生成用于自动化系统管理的领域知识的系统和方法
CN103442022A (zh) * 2011-10-18 2013-12-11 华北电网有限公司 电力通信网多数据采集节点集中管理方法
CN104144081A (zh) * 2014-08-26 2014-11-12 福建天晴数码有限公司 一种通用应用日志管理方法、装置和系统
CN104579777A (zh) * 2015-01-06 2015-04-29 浪潮软件股份有限公司 日志管理系统和实现方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050171957A1 (en) * 2001-06-08 2005-08-04 Nec Corporation Information retrieval/information retrieval result providing system, information retrieval/information retrieval result providing method and storage medium recording method program
CN1900932A (zh) * 2005-07-20 2007-01-24 国际商业机器公司 生成用于自动化系统管理的领域知识的系统和方法
CN103442022A (zh) * 2011-10-18 2013-12-11 华北电网有限公司 电力通信网多数据采集节点集中管理方法
CN104144081A (zh) * 2014-08-26 2014-11-12 福建天晴数码有限公司 一种通用应用日志管理方法、装置和系统
CN104579777A (zh) * 2015-01-06 2015-04-29 浪潮软件股份有限公司 日志管理系统和实现方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145534A (zh) * 2017-04-18 2017-09-08 北京思特奇信息技术股份有限公司 一种基于云运维操作管理平台的页面展示方法
CN107483238A (zh) * 2017-08-04 2017-12-15 郑州云海信息技术有限公司 一种日志管理方法、集群管理节点及系统
CN107463490A (zh) * 2017-08-15 2017-12-12 四川长虹电器股份有限公司 一种应用于平台开发中的集群日志集中收集方法
CN107463490B (zh) * 2017-08-15 2020-06-30 四川长虹电器股份有限公司 一种应用于平台开发中的集群日志集中收集方法
CN107665260A (zh) * 2017-10-24 2018-02-06 郑州云海信息技术有限公司 一种基于linux系统的日志收集工具

Similar Documents

Publication Publication Date Title
CN105335513B (zh) 一种分布式文件系统及文件存储方法
CN104317800A (zh) 一种海量智能用电数据混合存储系统及方法
CN102708158B (zh) 一种PostgreSQL云存储归档调度系统
CN103051681B (zh) 一种面向分布式文件系统的协作式日志系统
CN105095502A (zh) 一种集群存储系统的日志收集方法
CN102012789A (zh) 集中管理式备份容灾系统
CN104933114A (zh) 一种海量日志管理云平台
CN102567185B (zh) 一种应用服务器的监控方法
CN110750372B (zh) 基于共享内存的日志系统及日志管理方法
CN103051671A (zh) 一种集群文件系统重复数据删除方法
US8423517B2 (en) System and method for determining the age of objects in the presence of unreliable clocks
CN108108476A (zh) 高可靠分布式日志系统的工作方法
CN103914359A (zh) 一种数据恢复方法及装置
CN102508913A (zh) 一种带有数据立方存储索引结构的云计算系统
CN102480489A (zh) 一种用于分布式环境下的日志记录方法和设备
CN103294413A (zh) 支持海量采集终端的分布式内存实时存储装置及方法
CN103763368A (zh) 一种跨数据中心的数据同步方法
CN104216908A (zh) 互联网数据管理系统及其读写方法
CN102820998B (zh) 实现面向办公应用的双机容错服务系统及其数据存储方法
CN103164528A (zh) 一种音视频数据的索引建立方法
CN104281673A (zh) 一种数据库的缓存构建系统及对应的构建方法
CN104156395A (zh) 数据存储系统
CN102937956A (zh) 一种智能变电站中实时报文的存储方法及其装置
CN103207916A (zh) 元数据处理的方法和装置
CN103281383B (zh) 一种面向分布式数据源的时序信息记录方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20151125

RJ01 Rejection of invention patent application after publication