CN104915460A - 一种日志存储方法及系统 - Google Patents

一种日志存储方法及系统 Download PDF

Info

Publication number
CN104915460A
CN104915460A CN201510402364.7A CN201510402364A CN104915460A CN 104915460 A CN104915460 A CN 104915460A CN 201510402364 A CN201510402364 A CN 201510402364A CN 104915460 A CN104915460 A CN 104915460A
Authority
CN
China
Prior art keywords
journal file
file
locality
stored
ftp server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510402364.7A
Other languages
English (en)
Inventor
周维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Feixun Data Communication Technology Co Ltd
Original Assignee
Shanghai Feixun Data Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Feixun Data Communication Technology Co Ltd filed Critical Shanghai Feixun Data Communication Technology Co Ltd
Priority to CN201510402364.7A priority Critical patent/CN104915460A/zh
Publication of CN104915460A publication Critical patent/CN104915460A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种日志存储方法与系统，通过FTP协议对系统生成的日志记录于日志文件中，并以预设时间周期监听是否有新生成的日志文件或是否有更新的日志文件，且通过FTP协议传输大量的日志文件，若监听到有新的日志文件生成，则通过FTP协议将新生成的日志文件传输且存储于本地；且若监听到有日志文件的更新，则提取所述被更新的日志文件的更新部分以重新生成一新的日志文件，通过FTP协议传输并存储于本地，而不用占用太多资源，以高时效且并发性的将新生成的日志文件以及有更新的日志文件存储于本地分布式文件系统中，本发明可有效的对海量的日志进行存储，通用性以及实用性强。

Description

一种日志存储方法及系统
技术领域
本发明涉及数据处理领域，特别是涉及一种日志存储方法及系统。
背景技术
一般而言，现有系统往往都不太注重日志的收集。有的干脆是没有日志模块，或者没有充分利用日志模块，有些系统的日志模块严重依赖原有系统，耦合性太高，难以单独使用。再者，有些系统为了日志文件的获取，花费大量的时间、精力，技术实现上也往往多种多样比较复杂繁琐，难以统一。一般而言，日志文件往往是普通文本文件，是随时间规则不断累积追加，而且，一般对实时性要求不高，没必要对每一条日志都实时上报，这样会验证占用系统资源。第三，日志往往是鸡肋，不甘心舍弃，又无法承担大量日志文件的存储。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种日志存储方法与系统，用于解决现有技术中不能简单方便且实时并发的存储海量日志的问题。
为实现上述目的及其他相关目的，本发明提供一种日志存储方法，包括以下步骤：生成一日志文件于FTP服务器中，记录系统运行日志于所述日志文件中，且当所述日志文件中存储的系统运行日志大于一预设容量时，重新生成一日志文件于FTP服务器中以继续记录系统运行日志；以预设时间周期监听所述FTP服务器中是否有新的日志文件生成或是否有日志文件的更新；若监听到有新的日志文件生成，则通过FTP协议将新生成的日志文件传输且存储于本地；且若监听到有日志文件的更新，则提取所述被更新的日志文件的更新部分以重新生成一新的日志文件，并通过FTP协议传输并存储于本地。
可选的，每个日志文件设置唯一的文件名，且记录每个日志文件的最后更新时间。
可选的，所述监听到有新的日志文件生成的步骤包括：判断到所述FTP服务器中存在与本地中所存储的日志文件的文件名不相同的日志文件。
可选的，所述监听到有日志文件的更新的步骤包括：判断到所述FTP服务器中存在与本地中所存储的日志文件的文件名相同，且最后更新时间不同的日志文件。
可选的，所述本地采用分布式文件系统对所述日志文件进行存储。
为实现上述目的及其他相关目的，本发明还提供一种日志存储系统，包括：日志生成模块，用于生成一日志文件于FTP服务器中，记录系统运行日志于所述日志文件中，且当所述日志文件中存储的系统运行日志大于一预设容量时，重新生成一日志文件于FTP服务器中以继续记录系统运行日志；监听模块，用于以预设时间周期监听所述FTP服务器中是否有新的日志文件生成或是否有日志文件的更新；存储模块，与所述日志生成模块和所述监听模块电连接，用于若所述监听模块监听到有新的日志文件生成，则通过FTP协议将新生成的日志文件传输且存储于本地；且若所述监听模块监听到有日志文件的更新，则提取所述被更新的日志文件的更新部分以重新生成一新的日志文件，并通过FTP协议传输并存储于本地。
可选的，每个日志文件设置唯一的文件名，且记录每个日志文件的最后更新时间。
可选的，所述监听模块判断到所述FTP服务器中存在与本地中所存储的日志文件的文件名不相同的日志文件时，判断有新的日志文件生成。
可选的，所述监听模块判断到所述FTP服务器中存在与本地中所存储的日志文件的文件名相同，且最后更新时间不同的日志文件时，判断有日志文件的更新。
可选的，所述本地采用分布式文件系统对所述日志文件进行存储。
如上所述，本发明的日志存储方法与系统，通过FTP协议对系统生成的日志记录于日志文件中，并以预设时间周期监听是否有新生成的日志文件或是否有更新的日志文件，且通过FTP协议传输大量的日志文件，若监听到有新的日志文件生成，则通过FTP协议将新生成的日志文件传输且存储于本地；且若监听到有日志文件的更新，则提取所述被更新的日志文件的更新部分以重新生成一新的日志文件，通过FTP协议传输并存储于本地，而不用占用太多资源，以高时效且并发性的将新生成的日志文件以及有更新的日志文件存储于本地分布式文件系统中，本发明可有效的对海量的日志进行存储，通用性以及实用性强。
附图说明
图1显示为本发明的一种日志存储方法在一具体实施例中的流程示意图。
图2显示为本发明的一种日志存储系统在一具体实施例中的模块示意图。
元件标号说明
1         日志存储系统
11        日志生成模块
12        监听模块
13        存储模块
S11～S14  步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，显示为本发明的一种日志存储方法在一具体实施例中的流程示意图。所述日志存储方法包括以下步骤
S11：生成一日志文件于FTP服务器中，记录系统运行日志于所述日志文件中，且当所述日志文件中存储的系统运行日志大于一预设容量时，重新生成一日志文件于FTP服务器中以继续记录系统运行日志；对每个日志文件设置唯一的文件名，且记录每个日志文件的最后更新时间。使用FTP服务器，可以开放FTP服务器上相应权限以让注册通过或预先设置的客户端可以随时访问到。所述FTP服务器还可将日志文件所在目录共享出来，以方便从目录进入，遍历各目录下的日志文件。
S12：以预设时间周期监听所述FTP服务器中是否有新的日志文件生成或是否有日志文件的更新；若监听到有新的日志文件生成，则转向步骤S13；且若监听到有日志文件的更新，则转向步骤S14。
S13：若监听到有新的日志文件生成，则通过FTP协议将新生成的日志文件传输且存储于本地；可选的，若判断到所述FTP服务器中存在与本地中所存储的日志文件的文件名不相同的日志文件，则说明所述FTP服务器中存在新的日志文件。
S14：且若监听到有日志文件的更新，则提取所述被更新的日志文件的更新部分以重新生成一新的日志文件，并通过FTP协议传输并存储于本地。可选的，若判断到所述FTP服务器中存在与本地中所存储的日志文件的文件名相同，且最后更新时间不同的日志文件，则说明存在有日志文件的更新。例如，还对日志文件的日志记录的行号进行保存，且当判断有日志文件更新后，提取上次提取的行号之后的记录为更新部分，以重新生成一新的日志文件，并通过FTP协议传输并存储于本地。
优选的，于本实施例中，所述本地采用分布式文件系统对所述日志文件进行存储，分布式文件系统即HDFS，所述分布式文件系统被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
请参阅图2，显示为本发明的一种日志存储系统在一具体实施例中的模块示意图。所述日志存储系统1包括日志生成模块11、监听模块12、以及存储模块13。
所述日志生成模块11用于生成一日志文件于FTP服务器中，记录系统运行日志于所述日志文件中，且当所述日志文件中存储的系统运行日志大于一预设容量时，重新生成一日志文件于FTP服务器中以继续记录系统运行日志；对每个日志文件设置唯一的文件名，且记录每个日志文件的最后更新时间。使用FTP服务器，可以开放FTP服务器上相应权限以让注册通过或预先设置的客户端可以随时访问到。所述FTP服务器还可将日志文件所在目录共享出来，以方便从目录进入，遍历各目录下的日志文件。
所述监听模块12用于以预设时间周期监听所述FTP服务器中是否有新的日志文件生成或是否有日志文件的更新；可选的，若判断到所述FTP服务器中存在与本地中所存储的日志文件的文件名不相同的日志文件，则说明所述FTP服务器中存在新的日志文件。且可选的，若判断到所述FTP服务器中存在与本地中所存储的日志文件的文件名相同，且最后更新时间不同的日志文件，则说明存在有日志文件的更新。
所述存储模块13与所述日志生成模块11和所述监听模块12电连接，用于若所述监听模块监听到有新的日志文件生成，则通过FTP协议将新生成的日志文件传输且存储于本地；且若所述监听模块监听到有日志文件的更新，则提取所述被更新的日志文件的更新部分以重新生成一新的日志文件，并通过FTP协议传输并存储于本地。例如，还对日志文件的日志记录的行号进行保存，且当判断有日志文件更新后，提取上次提取的行号之后的记录为更新部分，以重新生成一新的日志文件，并通过FTP协议传输并存储于本地。
优选的，于本实施例中，所述本地采用分布式文件系统对所述日志文件进行存储，分布式文件系统即HDFS，所述分布式文件系统被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
综上所述，本发明的一种日志存储方法与系统，通过FTP协议对系统生成的日志记录于日志文件中，并以预设时间周期监听是否有新生成的日志文件或是否有更新的日志文件，且通过FTP协议传输大量的日志文件，若监听到有新的日志文件生成，则通过FTP协议将新生成的日志文件传输且存储于本地；且若监听到有日志文件的更新，则提取所述被更新的日志文件的更新部分以重新生成一新的日志文件，通过FTP协议传输并存储于本地，而不用占用太多资源，以高时效且并发性的将新生成的日志文件以及有更新的日志文件存储于本地分布式文件系统中，本发明可有效的对海量的日志进行存储，通用性以及实用性强。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种日志存储方法，其特征在于，包括以下步骤：
生成一日志文件于FTP服务器中，记录系统运行日志于所述日志文件中，且当所述日志文件中存储的系统运行日志大于一预设容量时，重新生成一日志文件于FTP服务器中以继续记录系统运行日志；
以预设时间周期监听所述FTP服务器中是否有新的日志文件生成或是否有日志文件的更新；
若监听到有新的日志文件生成，则通过FTP协议将新生成的日志文件传输且存储于本地；且若监听到有日志文件的更新，则提取所述被更新的日志文件的更新部分以重新生成一新的日志文件，并通过FTP协议传输并存储于本地。
2.根据权利要求1所述的日志存储方法，其特征在于，每个日志文件设置唯一的文件名，且记录每个日志文件的最后更新时间。
3.根据权利要求2所述的日志存储方法，其特征在于，所述监听到有新的日志文件生成的步骤包括：判断到所述FTP服务器中存在与本地中所存储的日志文件的文件名不相同的日志文件。
4.根据权利要求2所述的日志存储方法，其特征在于：所述监听到有日志文件的更新的步骤包括：判断到所述FTP服务器中存在与本地中所存储的日志文件的文件名相同，且最后更新时间不同的日志文件。
5.根据权利要求1所述的日志存储方法，其特征在于：所述本地采用分布式文件系统对所述日志文件进行存储。
6.一种日志存储系统，其特征在于，包括：
日志生成模块，用于生成一日志文件于FTP服务器中，记录系统运行日志于所述日志文件中，且当所述日志文件中存储的系统运行日志大于一预设容量时，重新生成一日志文件于FTP服务器中以继续记录系统运行日志；
监听模块，用于以预设时间周期监听所述FTP服务器中是否有新的日志文件生成或是否有日志文件的更新；
存储模块，与所述日志生成模块和所述监听模块电连接，用于若所述监听模块监听到有新的日志文件生成，则通过FTP协议将新生成的日志文件传输且存储于本地；且若所述监听模块监听到有日志文件的更新，则提取所述被更新的日志文件的更新部分以重新生成一新的日志文件，并通过FTP协议传输并存储于本地。
7.根据权利要求6所述的日志存储系统，其特征在于：每个日志文件设置唯一的文件名，且记录每个日志文件的最后更新时间。
8.根据权利要求7所述的日志存储系统，其特征在于：所述监听模块判断到所述FTP服务器中存在与本地中所存储的日志文件的文件名不相同的日志文件时，判断有新的日志文件生成。
9.根据权利要求7所述的日志存储系统，其特征在于：所述监听模块判断到所述FTP服务器中存在与本地中所存储的日志文件的文件名相同，且最后更新时间不同的日志文件时，判断有日志文件的更新。
10.根据权利要求6所述的日志存储系统，其特征在于：所述本地采用分布式文件系统对所述日志文件进行存储。
CN201510402364.7A 2015-07-10 2015-07-10 一种日志存储方法及系统 Pending CN104915460A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510402364.7A CN104915460A (zh) 2015-07-10 2015-07-10 一种日志存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510402364.7A CN104915460A (zh) 2015-07-10 2015-07-10 一种日志存储方法及系统

Publications (1)

Publication Number Publication Date
CN104915460A true CN104915460A (zh) 2015-09-16

Family

ID=54084523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510402364.7A Pending CN104915460A (zh) 2015-07-10 2015-07-10 一种日志存储方法及系统

Country Status (1)

Country Link
CN (1) CN104915460A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279239A (zh) * 2015-09-28 2016-01-27 浪潮(北京)电子信息产业有限公司 一种分布式文件系统元数据处理延时统计方法
CN106777049A (zh) * 2016-12-09 2017-05-31 武汉斗鱼网络科技有限公司 一种避免重复日志输出的处理方法及系统
WO2017088382A1 (zh) * 2015-11-25 2017-06-01 乐视控股（北京）有限公司 数据处理的方法和装置
CN108897873A (zh) * 2018-07-03 2018-11-27 中国银行股份有限公司 一种生成作业文件的方法、装置、存储介质及处理器
CN109492045A (zh) * 2018-11-22 2019-03-19 郑州云海信息技术有限公司 一种日志信息处理方法及系统
CN113472748A (zh) * 2021-05-31 2021-10-01 四川万益能源科技有限公司 一种基于非阻塞输入输出的审计日志系统通信方法
CN113760683A (zh) * 2021-08-31 2021-12-07 银清科技有限公司 日志采集方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1984139A (zh) * 2005-12-16 2007-06-20 中兴通讯股份有限公司 客户端/服务器架构下的系统日志文件的更新方法
CN101964795A (zh) * 2010-09-30 2011-02-02 北京世纪互联工程技术服务有限公司 日志采集系统、日志采集方法和日志回收服务器
US20130227358A1 (en) * 2012-02-23 2013-08-29 Canon Kabushiki Kaisha Image forming apparatus, control method for image forming apparatus, and storage medium
CN104486107A (zh) * 2014-12-05 2015-04-01 曙光信息产业(北京)有限公司 一种日志采集装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1984139A (zh) * 2005-12-16 2007-06-20 中兴通讯股份有限公司 客户端/服务器架构下的系统日志文件的更新方法
CN101964795A (zh) * 2010-09-30 2011-02-02 北京世纪互联工程技术服务有限公司 日志采集系统、日志采集方法和日志回收服务器
US20130227358A1 (en) * 2012-02-23 2013-08-29 Canon Kabushiki Kaisha Image forming apparatus, control method for image forming apparatus, and storage medium
CN104486107A (zh) * 2014-12-05 2015-04-01 曙光信息产业(北京)有限公司 一种日志采集装置及方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279239A (zh) * 2015-09-28 2016-01-27 浪潮(北京)电子信息产业有限公司 一种分布式文件系统元数据处理延时统计方法
WO2017088382A1 (zh) * 2015-11-25 2017-06-01 乐视控股（北京）有限公司 数据处理的方法和装置
CN106777049A (zh) * 2016-12-09 2017-05-31 武汉斗鱼网络科技有限公司 一种避免重复日志输出的处理方法及系统
CN108897873A (zh) * 2018-07-03 2018-11-27 中国银行股份有限公司 一种生成作业文件的方法、装置、存储介质及处理器
CN108897873B (zh) * 2018-07-03 2022-05-27 中国银行股份有限公司 一种生成作业文件的方法、装置、存储介质及处理器
CN109492045A (zh) * 2018-11-22 2019-03-19 郑州云海信息技术有限公司 一种日志信息处理方法及系统
CN113472748A (zh) * 2021-05-31 2021-10-01 四川万益能源科技有限公司 一种基于非阻塞输入输出的审计日志系统通信方法
CN113472748B (zh) * 2021-05-31 2023-03-24 四川万益能源科技有限公司 一种基于非阻塞输入输出的审计日志系统通信方法
CN113760683A (zh) * 2021-08-31 2021-12-07 银清科技有限公司 日志采集方法及装置
CN113760683B (zh) * 2021-08-31 2024-02-20 银清科技有限公司 日志采集方法及装置

Similar Documents

Publication Publication Date Title
CN104915460A (zh) 一种日志存储方法及系统
CN107861859B (zh) 一种基于微服务架构的日志管理方法及系统
US9020802B1 (en) Worldwide distributed architecture model and management
US9280381B1 (en) Execution framework for a distributed file system
CN102375837B (zh) 数据采集系统和方法
CN104361022A (zh) 一种基于采集数据统计以及前台展现的方法
US20190310985A1 (en) Data arrangement management in a distributed data cluster environment of a shared pool of configurable computing resources
CN103176895A (zh) 一种回归测试方法和系统
CN101557427A (zh) 提供分流信息、实现客户端分流的方法、系统及服务器
CN106980699A (zh) 一种数据处理平台和系统
CN104657497A (zh) 一种基于分布式计算的海量用电信息并行计算系统及方法
CN108052358B (zh) 一种分布式部署的系统和方法
CN102902813A (zh) 日志收集系统
CN105357280B (zh) 一种基于hdfs的文件溯源ftp系统
JP2015007968A (ja) 地理情報システム（ｇｉｓ）ネットワークモデルの同期システム及び方法
CN105550179B (zh) 一种网页收藏方法和浏览器插件
CN103778050A (zh) 一种数据库服务器高可用性能检测系统
CN105447146A (zh) 一种海量数据的收集与交换系统及方法
Zhu et al. Bigop: Generating comprehensive big data workloads as a benchmarking framework
US10331484B2 (en) Distributed data platform resource allocator
CN105069029B (zh) 一种实时etl系统及方法
CN104516985A (zh) 一种基于HBase数据库的海量数据快速导入方法
CN207764844U (zh) 一种数据处理系统
Lee et al. A big data management system for energy consumption prediction models
Brunelle et al. Evaluating the SiteStory transactional web archive with the ApacheBench tool

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150916

RJ01 Rejection of invention patent application after publication