CN103793297A - 基于分发模式的日志保护方法 - Google Patents

基于分发模式的日志保护方法 Download PDF

Info

Publication number
CN103793297A
CN103793297A CN201410015396.7A CN201410015396A CN103793297A CN 103793297 A CN103793297 A CN 103793297A CN 201410015396 A CN201410015396 A CN 201410015396A CN 103793297 A CN103793297 A CN 103793297A
Authority
CN
China
Prior art keywords
log
daily record
journal file
store path
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410015396.7A
Other languages
English (en)
Other versions
CN103793297B (zh
Inventor
曾洪宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Upper Marine Infotech Share Co Ltd Of Interrogating
Original Assignee
Upper Marine Infotech Share Co Ltd Of Interrogating
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Upper Marine Infotech Share Co Ltd Of Interrogating filed Critical Upper Marine Infotech Share Co Ltd Of Interrogating
Priority to CN201410015396.7A priority Critical patent/CN103793297B/zh
Publication of CN103793297A publication Critical patent/CN103793297A/zh
Application granted granted Critical
Publication of CN103793297B publication Critical patent/CN103793297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Debugging And Monitoring (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种基于分发模式的日志保护方法，包括步骤：在复数个存储介质上设置日志存储区域以及对应的日志存储路径；生成日志内容；日志处理步骤：对所述日志内容进行简化处理和替换处理，形成日志文件；将所述日志文件分别输出至所述复数个日志存储路径并储存；对存储的所述日志文件按照所述日志存储路径设置对应的用户权限；当一第一日志存储路径的日志文件无法读取时，调用一第二日志存储路径的日志文件进行还原。由于采用了本发明的一种基于分发模式的日志保护方法，具有安全性强、错误定位性精确、可进行访问权限控制和保持连续性的优点。

Description

基于分发模式的日志保护方法
技术领域
本发明涉及一种日志保护方法，尤其涉及一种基于分发模式的日志保护方法。
背景技术
现有各种计算机操作系统均有系统及服务程序日志，存在如下缺点：
1、一般只存放一份，没有备份；
2、只面向管理员用户，其他用户一般无访问权限；
3、只对当前系统有效。即日志中的记录由当前系统产生，日志信息依赖于当前系统。一旦系统内部发生变化，日志记录中的信息也产生相应的变化，这样日志的连续性就会受到冲击。例如freebsd的设备名伴随用户热插拔而发生改变，相应记录设备名的日志也随之变化，希望查找同一个设备全部的日志序列将变得相当困难。
4、有些嵌入式的系统，伴随系统的重启，日志随之消失。
发明内容
本发明的目的在于克服现有技术的缺陷，而提供一种基于分发模式的日志保护方法，通过对日志内容进行处理并将日志存储在多个位置，实现日志的备份，具有安全性强、错误定位性精确、可进行访问权限控制和保持连续性的优点。
本发明所解决的技术问题采用以下技术方案来实现：
一种基于分发模式的日志保护方法，包括步骤：
在复数个存储介质上设置日志存储区域以及对应的日志存储路径；
生成日志内容；
日志处理步骤：对所述日志内容进行简化处理和替换处理，形成日志文件；
将所述日志文件分别输出至所述复数个日志存储路径并储存；
对存储的所述日志文件按照所述日志存储路径设置对应的用户权限；
当一第一日志存储路径的日志文件无法读取时，调用一第二日志存储路径的日志文件进行还原。
本发明的进一步改进在于，在所述将所述日志文件分别输出至所述复数个日志存储路径并储存步骤中，将所述日志文件根据不同规则解析过滤后分别输出至所述复数个日志存储路径并储存。
本发明的进一步改进在于，所述简化处理步骤进一步包括步骤：
提取所述日志内容的事件类型信息、操作记录信息以及操作后存储池状态信息；
输出至一所述日志存储路径并储存。
本发明的进一步改进在于，所述替换处理步骤进一步包括步骤：
在所述日志内容中每一设备名后添加与所述设备对应的磁盘信息。
本发明的进一步改进在于，所述磁盘信息包括序列号信息和槽位号信息。
本发明的进一步改进在于，在将所述日志文件分别输出至所述复数个日志存储路径并储存步骤后还包括步骤：
如生成新的日志内容，将所述日志内容加入已有日志文件。
本发明由于采用了以上技术方案，使其具有以下有益效果是：
通过将日志存储在多个位置，实现了日志的冗余备份功能，保持日志内容连续，不依赖于系统存储区域，即使系统区域损坏，依然有办法得到或使用日志；通过对日志内容进行解析过滤，然后将处理后的日志保存在不同的位置，这样导致不同位置存放的日志内容不同，从而为用户的日志内容访问控制提供了便利。通过在日志内容中每一设备名后添加与所述设备对应的磁盘信息，使得后续生成的日志文件与硬件的存储介质实现了绑定，当用户的存储介质在其他系统上使用时，原来的日志文件也继续有效。通过将生成新的日志内容加入已有日志文件,确保了日志文件记录的连续性。对日志文件按照日志存储路径设置对应的用户权限，从而实现了权限访问控制。
附图说明
图1为本发明基于分发模式的日志保护方法的流程图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
请参阅图1，本发明的一种基于分发模式的日志保护方法，包括步骤：
首先，在复数个存储介质上设置日志存储区域以及对应的日志存储路径；
接着，生成日志内容；
然后，进行日志处理步骤：对日志内容进行简化处理和替换处理，形成日志文件；
其中，简化处理步骤包括步骤：提取日志内容的事件类型信息、操作记录信息以及操作后存储池状态信息；输出至一日志存储路径并储存。
替换处理步骤进一步包括步骤：在日志内容中每一设备名后添加与设备对应的磁盘信息，磁盘信息包括序列号信息和槽位号信息。
再接着，将日志文件根据不同规则解析过滤后分别输出至复数个日志存储路径并储存。
对存储的日志文件按照日志存储路径设置对应的用户权限，实现了权限访问控制。然后，当一第一日志存储路径的日志文件无法读取时，调用一第二日志存储路径的日志文件进行还原。
最后，如生成新的日志内容，将日志内容加入已有日志文件。
例如：基于存储操作系统IFC4000B，首先将系统盘划分出单独的256M的第一日志存储区域，挂载到/log设置为第一日志存储路径；同时创建用户默认存储池作为第二日志存储区域，创建日志数据集，挂载到/var/log设置为第二日志存储路径。接着，对ZFS（动态文件系统）事件监测处理产生自定义的ZFS日志。处理时首先进行日志内容简化，去除无关细节信息，仅保留了事件类型信息、操作记录信息及操作后存储池状态信息，这样可以在存储池故障时快速找出导致存储池损坏的原因。然后对输出到第一日志存储路径的日志内容进行设备名替换处理，使用“设备名/序列号/槽位号”替换系统原始日志内容中的“设备名”，从而可以根据序列号及槽位号轻松的找到相应的磁盘；使得后续生成的日志文件与硬件的存储介质实现了绑定，当用户的存储介质在其他系统上使用时，原来的日志文件也继续有效。然后可根据不同规则对日志内容进行解析过滤，实现日志内容的分级，为用户的日志内容访问权限控制提供了便利。接着，将通过上述处理的日志内容生成日志文件。可根据需要设定第一日志存储路径为普通用户和技术人员提供访问，第二日志存储路径只为技术人员提供访问，然后通过根据不同路径的用户权限规则对日志内容进行过滤，同时向第一日志存储路径和第二日志存储路径进行输出并存储。这样普通用户就可访问第一日志存储路径下的部分日志，如用户操作日志、系统日志、ZFS日志等，而技术人员可以查看到第一日志存储路径和第二日志存储路径下的所有日志信息。
在系统盘划分单独的分区进行日志存放，同时在用户指定的默认池建立数据集进行日志存放，日志产生时同时向这两处进行输出。假设用户数据存储池损坏，存储池上的日志无法读取，可以通过系统盘上的日志进行错误分析；对于系统损坏的情况，比如系统无法开机等，可以通过关机后将存储池取出挂载到其他系统进行日志分析。
由于对输出到存储设备区的日志进行了系统设备名替换，增加序列号等信息，可以使得在分析磁盘/存储池操作时直接对应到具体磁盘。
由于信息过多，且对错误定位并没有太大帮助，可对日志的内容进行简化处理，仅保留事件类型信息、操作记录信息及操作后存储池状态信息，这样可以快速找出导致存储池损坏的原因。
通过本发明的采用，也可实现以下功能：
一、提供日志备份，将日志存储在多个位置，如在操作系统安装盘、用户数据存储设备分别存储，实现冗余备份功能；
二、在存储设备或其他可持续使用设备上保持日志内容连续，不依赖于系统存储区域，即使系统区域损坏，依然有办法得到或使用日志；
三、依据不同的规则，对日志内容进行解析过滤，然后将处理后的日志保存在不同的位置。这样导致不同位置存放的日志内容不同，从而为用户的日志内容访问控制提供了便利。如系统安装盘中日志保留原样，用户数据区的日志经过过滤处理只保留一般用户需要的日志记录。
四、对每一个变化的对象信息，在日志记录中添加对应不变的对象信息，确保对象信息的日志记录在文件中的连续性。例如由于用户存储设备可以在不同的系统中持续使用，因此对存放在不同环境中的日志进行设备名等信息的细化处理，使日志内容对应到实际的物理磁盘；
五、日志内容分级，针对技术人员及普通用户进行内容划分，实现对用户机密及无关内容过滤。
以上结合附图实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。

Claims (6)

1.一种基于分发模式的日志保护方法，其特征在于，包括步骤：
在复数个存储介质上设置日志存储区域以及对应的日志存储路径；
生成日志内容；
日志处理步骤：对所述日志内容进行简化处理和替换处理，形成日志文件；
将所述日志文件分别输出至所述复数个日志存储路径并储存；
对存储的所述日志文件按照所述日志存储路径设置对应的用户权限；
当一第一日志存储路径的日志文件无法读取时，调用一第二日志存储路径的日志文件进行还原。
2.根据权利要求1所述的基于分发模式的日志保护方法，其特征在于，在所述将所述日志文件分别输出至所述复数个日志存储路径并储存步骤中，将所述日志文件根据不同规则解析过滤后分别输出至所述复数个日志存储路径并储存。
3.根据权利要求2所述的基于分发模式的日志保护方法，其特征在于，所述简化处理步骤进一步包括步骤：
提取所述日志内容的事件类型信息、操作记录信息以及操作后存储池状态信息；
输出至一所述日志存储路径并储存。
4.根据权利要求3所述的基于分发模式的日志保护方法，其特征在于，所述替换处理步骤进一步包括步骤：
在所述日志内容中每一设备名后添加与所述设备对应的磁盘信息。
5.根据权利要求4所述的基于分发模式的日志保护方法，其特征在于，所述磁盘信息包括序列号信息和槽位号信息。
6.根据权利要求5所述的基于分发模式的日志保护方法，其特征在于，在将所述日志文件分别输出至所述复数个日志存储路径并储存步骤后还包括步骤：
如生成新的日志内容，将所述日志内容加入已有日志文件。
CN201410015396.7A 2014-01-14 2014-01-14 基于分发模式的日志保护方法 Active CN103793297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410015396.7A CN103793297B (zh) 2014-01-14 2014-01-14 基于分发模式的日志保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410015396.7A CN103793297B (zh) 2014-01-14 2014-01-14 基于分发模式的日志保护方法

Publications (2)

Publication Number Publication Date
CN103793297A true CN103793297A (zh) 2014-05-14
CN103793297B CN103793297B (zh) 2017-10-20

Family

ID=50669004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410015396.7A Active CN103793297B (zh) 2014-01-14 2014-01-14 基于分发模式的日志保护方法

Country Status (1)

Country Link
CN (1) CN103793297B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1454349A (zh) * 2000-06-07 2003-11-05 处理存储器有限公司 主存储器事务处理系统中的高度并行日志和恢复操作的方法和系统
EP1494120A2 (en) * 2003-06-27 2005-01-05 Hitachi, Ltd. Data mirroring system using journal data
CN1670708A (zh) * 2004-03-17 2005-09-21 联想(北京)有限公司 一种计算机日志的管理方法
CN101459557A (zh) * 2008-11-29 2009-06-17 成都市华为赛门铁克科技有限公司 一种安全日志集中存储方法及装置
CN101661423A (zh) * 2009-09-01 2010-03-03 卡斯柯信号有限公司 一种多维日志系统
CN102147763A (zh) * 2010-02-05 2011-08-10 中国长城计算机深圳股份有限公司 一种网络日志的记录方法、系统及计算机
CN102855163A (zh) * 2011-06-27 2013-01-02 华为软件技术有限公司 一种内存数据库双机热备方法及主机

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1454349A (zh) * 2000-06-07 2003-11-05 处理存储器有限公司 主存储器事务处理系统中的高度并行日志和恢复操作的方法和系统
EP1494120A2 (en) * 2003-06-27 2005-01-05 Hitachi, Ltd. Data mirroring system using journal data
CN1670708A (zh) * 2004-03-17 2005-09-21 联想(北京)有限公司 一种计算机日志的管理方法
CN101459557A (zh) * 2008-11-29 2009-06-17 成都市华为赛门铁克科技有限公司 一种安全日志集中存储方法及装置
CN101661423A (zh) * 2009-09-01 2010-03-03 卡斯柯信号有限公司 一种多维日志系统
CN102147763A (zh) * 2010-02-05 2011-08-10 中国长城计算机深圳股份有限公司 一种网络日志的记录方法、系统及计算机
CN102855163A (zh) * 2011-06-27 2013-01-02 华为软件技术有限公司 一种内存数据库双机热备方法及主机

Also Published As

Publication number Publication date
CN103793297B (zh) 2017-10-20

Similar Documents

Publication Publication Date Title
US11954220B2 (en) Data protection for container storage
CN109582443A (zh) 基于分布式存储技术的虚拟机备份系统
CN100530125C (zh) 一种数据的安全存储方法
CN103019890A (zh) 一种块级别的磁盘数据保护系统及其方法
CN101777017A (zh) 一种连续数据保护系统的快速恢复方法
CN103080909A (zh) 计算机系统及其管理方法以及程序
CN104484131B (zh) 多磁盘服务器的数据处理装置及对应的处理方法
US8538925B2 (en) System and method for backing up test data
CN104461783A (zh) 一种跟踪扇区数据变化虚拟机备份方法
CN102693399A (zh) 一种电子文档在线分离与还原的系统及方法
CN106611024B (zh) 文件合并方法和装置
CN115391403B (zh) 一种基于规则引擎的数据整合方法及数据整合装置
CN104636242A (zh) 一种基于Linux操作系统的系统日志自动删除重复内容的方法
CN103970486A (zh) 一种数据存储方法和系统
US20140365824A1 (en) Method for recovering hard disk data, server and distributed storage system
CN117389684A (zh) 一种SaaS多租户数据隔离方法和系统
CN106021030A (zh) 一种数据库的系统、一种处理数据库故障的方法及装置
CN102880718A (zh) 一种灵活日志的存贮和获取方法
CN110555682A (zh) 基于联盟链的多通道实现方法
CN111125115A (zh) 一种基于区块链的数据存储方法、设备及介质
CN106326041A (zh) 一种用于数据库秒级恢复的方法
CN117851514A (zh) 一种跨多个Hive集群实现数据和任务容灾方法及系统
CN108959497A (zh) 分布式文件系统日志处理方法、装置、设备及存储介质
CN117632587A (zh) 数据sql语句拦截备份方法和系统、电子设备及存储介质
CN109104314B (zh) 一种修改日志配置文件的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant