CN108829543A - 一种减小备份Linux系统日志大小的方法 - Google Patents

一种减小备份Linux系统日志大小的方法 Download PDF

Info

Publication number
CN108829543A
CN108829543A CN201810644494.5A CN201810644494A CN108829543A CN 108829543 A CN108829543 A CN 108829543A CN 201810644494 A CN201810644494 A CN 201810644494A CN 108829543 A CN108829543 A CN 108829543A
Authority
CN
China
Prior art keywords
log
content
backup
library
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810644494.5A
Other languages
English (en)
Inventor
杨振林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810644494.5A priority Critical patent/CN108829543A/zh
Publication of CN108829543A publication Critical patent/CN108829543A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1453—Management of the data involved in backup or backup restore using de-duplication of the data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G06F11/3082—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种减小备份Linux系统日志大小的方法，其特征是包括如下步骤：1）对日志字段里的服务器名字段进行去冗，用代号代替；2）对日志内容进行去冗，用代号代替。该方法使linux日志的大小大幅度减小，从而使linux日志备份时，备份文件占用空间减少，使等量的磁盘空间可以存储更多的日志或其他文件，另一方面提高了磁盘的可使用率。

Description

一种减小备份Linux系统日志大小的方法
技术领域
本发明涉及的是Linux系统日志备份领域，尤其是一种减小备份Linux系统日志大小的方法。
背景技术
Linux操作系统在长时间运行应用程序时，一般会产生大量日志，系统日志一般存储在/var/log/message文件，每次查看该文件和该文件的相关压缩文件，会发现该文件占用很大空间，这是现有技术所存在的不足之处。
发明内容
本发明的目的就是针对现有技术所存在的不足，而提供一种减小备份Linux系统日志大小的方法，该方法使linux日志的大小大幅度减小，从而使linux日志备份时，备份文件占用空间减少，使等量的磁盘空间可以存储更多的日志或其他文件，另一方面提高了磁盘的可使用率。
本方案是通过如下技术措施来实现的： 一种减小备份Linux系统日志大小的方法，其特征是包括如下步骤：1）对日志字段里的服务器名字段进行去冗，用代号代替；2）对日志内容进行去冗，用代号代替。两者去冗，减少了占用的硬盘空间。
在对日志字段和日志内容进行处理时，首先要实时查看系统日志的最新内容，并实时保存到一个新文件，然后对新文件里面存放的日志的字段和内同进行处理。这样先在新文件里面处理后，再备份，便于备份的进行。所述的新文件为log.bak文件。
在步骤2）中，新文件的日志内容进行去冗，用代号代替如，重复次数达到2次以上的，即进行去重处理，包括连续几行和单行重复。在进行去重处理时，如果日志内容出现了1次，第一次出现计入特殊库，如第二次出现，则把新出现的日志内容与原日志内容进行对比，将新日志内容拆分成两部分，与原日志内容不相同内容，原日志内容完全相同内容，不相同内容进入特殊库里，完全相同内容部分被选择进入备份库。如果只有两个日志重复，则特殊库里和常用备份库里实际记录字符数减少了将近一半，如果日志出现重复将近三次，四次，n次，则字符数实际减少到了1/n。常用备份库和特殊库可以是文本文档。备份时，对常用备份库和特殊库进行备份。
常用备份库由两个字段构成，key值字段和value字段，其中的value字段对应特殊库中的日志内容。所日志字段里的服务名字段进行去冗，用代号代替，代号为key值，并把对应的key：value方式存储在服务库。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
具体实施方式
为能清楚说明本方案的技术特点，下面通过一个具体实施方式，对本方案进行阐述。
本方案的减小备份Linux系统日志大小的方法，
1）实时查看系统日志的最新内容,并实时保存到一个新文件，
Mkdir /tmp/log
Touch log.bak
Tail –f /var/log/messages >>log.bak
2）对log.bak文件里的日志进行处理，日志字段里的服务名字段进行去冗，用代号代替；
如smbd可以添加到常用备份库，使用key值S代替，并把对应的key：value方式存储在服务库S:smbd，保证key值占用的字符最少，而且唯一，key值的产生可以从序列表里产生A1,A2…,B1,B2,B3…。
3）对新文件的日志内容进行去冗，用代号代替如，重复次数达到2次以上的，即可进行去重处理，包括连续几行和单行重复；
如[2018/06/15 11:31:34.394743,0] smbd/process.c:244(read_packet_remainder)
read_fd_with_timeout failed for client 10.166.15.220 read error = NT_STATUS_，出现了1次，第一次出现计入特殊库，如第二次出现，类似，类似匹配度超过60%，则把内容拆分成两部分，不相同内容，完全相同内容，不相同内容不能进入常用备份库，仍旧在特殊库里，完全相同内容部分被选择进入备份库，并用key值和value值进行映射，如以下日志
[2018/06/15 11:31:34.394743,0] smbd/process.c:244(read_packet_remainder)
read_fd_with_timeout failed for client 10.166.15.220 read error = NT_STATUS_
[2018/06/15 11:31:34.395295,0] smbd/process.c:244(read_packet_remainder)
read_fd_with_timeout failed for client 10.166.15.220 read error = NT_STATUS_
可以分为不相同部分[2018/06/15 11:31:34.394743和[2018/06/15 11:31:34.395295，和相同部分,
0] smbd/process.c:244(read_packet_remainder)
read_fd_with_timeout failed for client 10.166.15.220 read error = NT_STATUS_，
则记录为特殊库里的
[2018/06/15 11:31:34.394743, $A1（从特殊库里映射过来）
[2018/06/15 11:31:34.395295, $A1（从特殊库里映射过来）
通过上面比较，特殊库里和常用备份库里实际记录字符数减少了将近一半，如果以上日志出现将近三次，四次，n次，则字符数实际减少到了1/n。
4）对以上两个字段的内容进行处理后，其他字段也可类似处理。
5）经过以上步骤，只需要对常用备份库和特殊库进行备份，即可说明：常用备份库和特殊库可以是文本文档，常用备份库由两个字段构成，key值字段，value字段，特殊库，基本上和log.bak日志格式相同。
本发明并不仅限于上述具体实施方式，本领域普通技术人员在本发明的实质范围内做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (8)

1.一种减小备份Linux系统日志大小的方法，其特征是包括如下步骤：
1）对日志字段里的服务器名字段进行去冗，用代号代替；
2）对日志内容进行去冗，用代号代替。
2.根据权利要求1所述的减小备份Linux系统日志大小的方法，其特征是：在对日志字段和日志内容进行处理时，首先要实时查看系统日志的最新内容，并实时保存到一个新文件，然后对新文件里面存放的日志的字段和内同进行处理。
3.根据权利要求2所述的减小备份Linux系统日志大小的方法，其特征是：所述的新文件为log.bak文件。
4.根据权利要求2的减小备份Linux系统日志大小的方法，其特征是：在步骤2）中，新文件的日志内容进行去冗，用代号代替如，重复次数达到2次以上的，即进行去重处理，包括连续几行和单行重复。
5.根据权利要求4的减小备份Linux系统日志大小的方法，其特征是：在进行去重处理时，如果日志内容出现了1次，第一次出现计入特殊库，如第二次出现，则把新出现的日志内容与原日志内容进行对比，将新日志内容拆分成两部分，与原日志内容不相同内容，原日志内容完全相同内容，不相同内容进入特殊库里，完全相同内容部分被选择进入备份库。
6.根据权利要求5的减小备份Linux系统日志大小的方法，其特征是：备份时，对常用备份库和特殊库进行备份。
7.根据权利要求5的减小备份Linux系统日志大小的方法，其特征是：常用备份库由两个字段构成，key值字段和value字段，其中的value字段对应特殊库中的日志内容。
8.根据权利要求1或2的减小备份Linux系统日志大小的方法，其特征是：所日志字段里的服务名字段进行去冗，用代号代替，代号为key值，并把对应的key：value方式存储在服务库。
CN201810644494.5A 2018-06-21 2018-06-21 一种减小备份Linux系统日志大小的方法 Withdrawn CN108829543A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810644494.5A CN108829543A (zh) 2018-06-21 2018-06-21 一种减小备份Linux系统日志大小的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810644494.5A CN108829543A (zh) 2018-06-21 2018-06-21 一种减小备份Linux系统日志大小的方法

Publications (1)

Publication Number Publication Date
CN108829543A true CN108829543A (zh) 2018-11-16

Family

ID=64143136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810644494.5A Withdrawn CN108829543A (zh) 2018-06-21 2018-06-21 一种减小备份Linux系统日志大小的方法

Country Status (1)

Country Link
CN (1) CN108829543A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411533A (zh) * 2011-08-08 2012-04-11 浪潮电子信息产业股份有限公司 一种集群存储系统的日志管理优化方法
CN102970158A (zh) * 2012-11-05 2013-03-13 广东睿江科技有限公司 日志存储与处理的方法及日志服务器
US20130318044A1 (en) * 2010-07-27 2013-11-28 Oracle International Corporation Mysql database heterogeneous log based replication
CN104636242A (zh) * 2015-02-06 2015-05-20 浪潮电子信息产业股份有限公司 一种基于Linux操作系统的系统日志自动删除重复内容的方法
CN105847062A (zh) * 2016-05-06 2016-08-10 汉柏科技有限公司 日志聚合方法及装置
CN106294866A (zh) * 2016-08-23 2017-01-04 北京奇虎科技有限公司 一种日志处理方法和装置
CN106649481A (zh) * 2016-09-30 2017-05-10 郑州云海信息技术有限公司 一种SQL Server数据库的日志优化方法及系统
CN106777049A (zh) * 2016-12-09 2017-05-31 武汉斗鱼网络科技有限公司 一种避免重复日志输出的处理方法及系统
CN107515808A (zh) * 2017-08-08 2017-12-26 百富计算机技术（深圳）有限公司 日志记录方法、装置、计算机设备和计算机可读存储介质
CN107544984A (zh) * 2016-06-27 2018-01-05 北京京东尚科信息技术有限公司 一种数据处理的方法和装置
CN107633096A (zh) * 2017-10-13 2018-01-26 四川长虹电器股份有限公司 数据实时写入去重处理方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130318044A1 (en) * 2010-07-27 2013-11-28 Oracle International Corporation Mysql database heterogeneous log based replication
CN102411533A (zh) * 2011-08-08 2012-04-11 浪潮电子信息产业股份有限公司 一种集群存储系统的日志管理优化方法
CN102970158A (zh) * 2012-11-05 2013-03-13 广东睿江科技有限公司 日志存储与处理的方法及日志服务器
CN104636242A (zh) * 2015-02-06 2015-05-20 浪潮电子信息产业股份有限公司 一种基于Linux操作系统的系统日志自动删除重复内容的方法
CN105847062A (zh) * 2016-05-06 2016-08-10 汉柏科技有限公司 日志聚合方法及装置
CN107544984A (zh) * 2016-06-27 2018-01-05 北京京东尚科信息技术有限公司 一种数据处理的方法和装置
CN106294866A (zh) * 2016-08-23 2017-01-04 北京奇虎科技有限公司 一种日志处理方法和装置
CN106649481A (zh) * 2016-09-30 2017-05-10 郑州云海信息技术有限公司 一种SQL Server数据库的日志优化方法及系统
CN106777049A (zh) * 2016-12-09 2017-05-31 武汉斗鱼网络科技有限公司 一种避免重复日志输出的处理方法及系统
CN107515808A (zh) * 2017-08-08 2017-12-26 百富计算机技术（深圳）有限公司 日志记录方法、装置、计算机设备和计算机可读存储介质
CN107633096A (zh) * 2017-10-13 2018-01-26 四川长虹电器股份有限公司 数据实时写入去重处理方法

Similar Documents

Publication Publication Date Title
EP3754514B1 (en) Distributed database cluster system, data synchronization method and storage medium
CN102891849B (zh) 业务数据同步方法、恢复方法及装置和网络设备
US9330137B2 (en) Cloud data backup storage manager
US8234518B2 (en) Method for voting with secret shares in a distributed system
US20090144338A1 (en) Asynchronously replicated database system using dynamic mastership
US20040215724A1 (en) Email service error recovery
US11442777B2 (en) Highly available distributed queue using replicated messages
TW201530328A (zh) 爲半結構化資料構建ＮｏＳＱＬ資料庫索引的方法及裝置
TW200805079A (en) Consolidating session information for a cluster of sessions in a coupled session environment
JP6987340B2 (ja) データベースのデータ変更要求処理方法及び装置
CN102387179A (zh) 分布式文件系统及其结点、存储方法和存储控制方法
WO2022048357A1 (zh) 交易背书方法、装置及存储介质
CN107231435B (zh) 数据同步监控方法及系统
CN107315659A (zh) 一种元数据的冗余备份方法及装置
CN105022676B (zh) 一种内存数据库重做日志文件的恢复方法和装置
CN116233111A (zh) 一种基于Minio的大文件上传方法
CN107515801A (zh) 一种基于关系型数据库的数据自动修复方法
CN108829543A (zh) 一种减小备份Linux系统日志大小的方法
CN111309260B (zh) 一种数据存储节点选择方法
CN110601857A (zh) 一种基于局部-全局区块链协同的数据交互方法
CN109582646A (zh) 一种用于文件拆分的冗余和恢复方法及系统
CN105376307A (zh) 一种数据中心间的异步备份方法
CN112667698B (zh) 一种基于融媒体平台的MongoDB数据同步方法
CN112860674A (zh) 数据共享方法及系统
CN112148797B (zh) 基于区块链的分布式数据存取方法、装置及存储节点

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20181116