CN106815126B - 一种通用文件系统日志记录方法及装置 - Google Patents

一种通用文件系统日志记录方法及装置 Download PDF

Info

Publication number
CN106815126B
CN106815126B CN201510881383.2A CN201510881383A CN106815126B CN 106815126 B CN106815126 B CN 106815126B CN 201510881383 A CN201510881383 A CN 201510881383A CN 106815126 B CN106815126 B CN 106815126B
Authority
CN
China
Prior art keywords
file
log
change
sensitive information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510881383.2A
Other languages
English (en)
Other versions
CN106815126A (zh
Inventor
谢亮
许萍萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace One System Jiangsu Information Technology Co ltd
Original Assignee
Nanjing Yicheng Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Yicheng Information Technology Co Ltd filed Critical Nanjing Yicheng Information Technology Co Ltd
Priority to CN201510881383.2A priority Critical patent/CN106815126B/zh
Publication of CN106815126A publication Critical patent/CN106815126A/zh
Application granted granted Critical
Publication of CN106815126B publication Critical patent/CN106815126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开一种通用文件系统日志记录方法及装置，包括：本发明提供各平台操作系统的文件驱动，捕获文件变化信息，并将其组织成日志文件，通过封装操作系统或文件系统相关的功能，使用者可直接利用生成的日志文件分析所关注的数据内容，降低人员要求，节省大量的时间。

Description

一种通用文件系统日志记录方法及装置
技术领域
本发明涉及数据保护以及灾难恢复技术领域，尤其涉及一种通用文件系统日志记录方法及装置。
背景技术
目前IT领域中，许多应用或场景需要关注文件变化信息，如备份领域中文件差异增量备份，桌面搜索领域中文件索引建立，性能领域中对于文件读写信息的监控等等。获取文件变化，一般做法是通过分析文件系统自带的日志或自己编写文件驱动捕获，这两种方法都涉及计算机底层技术，要求从业人员有较深的计算机专业知识，对操作系统或文件系统非常了解。即使是具有丰富经验的从业人员，要完成这样的功能，也要花费不菲的精力。尤其是在需要跨平台场景时，面对众多的操作系统平台和文件系统格式，一一支持花费的时间是线性增长。
但以上现有技术存在以下缺点：
1.根据应用需求自行开发驱动：
(1)各平台操作系统差异较大，开发跨平台应用耗时很多；
(2)驱动开发要求开发者对操作系统有较深理解，否则极大的降低了系统稳定性；
(3)与应用关联性较强，当其它应用使用时，需要重新开发。
2.分析文件系统日志：
(1)文件系统种类众多，一一开发支持相当耗时。
(2)开发者对每个文件系统较为熟悉，在某些场景漏掉文件的可能性极大。
(3)文件系统日志一般都针对整个分区，无法指定特定目录，粒度较大。
发明内容
为解决上述问题，本发明提供各平台操作系统的文件驱动，捕获文件变化信息，并将其组织成日志文件，通过封装操作系统或文件系统相关的功能，使用者可直接利用生成的日志文件分析所关注的数据内容，降低人员要求，节省大量的时间。
本发明提供一种通用文件系统日志记录方法，包括以下步骤：
1.安装各平台操作系统对应的文件驱动；
优选的，本发明内置常见系统驱动，所有平台日志文件接口一致。
2.根据用户需求，配置敏感信息过滤器；
所述敏感信息可以为名称变更，内容读写，属性变更，权限变更等。
3.将过滤器传递到文件驱动。
4.根据过滤器，驱动监控敏感信息。
5.将敏感信息格式化；
所述将敏感信息格式化，是指将敏感信息变成统一的格式。
6.按预先定义格式同步或异步存储到日志文件；
优选的，不同用户根据不同需求，可以预先定义不同的格式存储到日志；
7.通过封装操作系统或文件系统相关的功能，对外提供统一的日志文件接口。
使用者直接利用生成的日志文件分析所关注的数据内容，降低人员要求，节省大量的时间。
优选的，同步模式下，实际数据操作将会在日志确保记录到存储后再进行，保证日志不会遗漏。
优选的，异步模式下，实际数据操作和日志记录同步进行，拥有更好的性能。
本发明还提供一种通用文件系统日志记录装置，包括：驱动模块、配置模块、监控模块、存储模块。
驱动模块，用于提供并安装各平台操作系统对应的文件驱动。
优选的，内置常见系统驱动，所有平台日志文件接口一致。
配置模块，根据用户需求，配置过滤器以及工作模式；
优选的，通过所述配置模块，按需配置过滤器，只需关注指定信息敏感变化，如名称变更，内容读写，属性变更，权限变更等，可进行细粒度控制，节省了资源。
监控模块，根据配置模块传递到文件驱动的配置内容，监控模块捕获关注的文件变化信息。
存储模块，通过监控模块捕获文件变化信息，并将其按预先定义将敏感信息格式化，同步或异步存储到日志文件中。
所述按预先定义将敏感信息格式化，是指将敏感信息变成统一的格式。
进一步的，通过封装操作系统或文件系统相关的功能，对外提供统一的接口。使用者直接利用生成的日志文件分析所关注的数据内容，降低人员要求，节省大量的时间。
进一步的，存储模块可以选择同步或异步存储日志文件。
优选的，在更关注可靠性的场合，如备份领域中可以设置成同步存储模式，确保日志信息不遗失，保证高可靠；
优选的，在关注性能的场景中，如桌面搜索，可以配置异步存储工作模式，可以获得更高的用户体验。
当用户需要关注文件变化信息时，本发明提供的一种通用文件系统日志记录方法及装置有以下有益效果：
1.通用性好，内置常见系统(window，mac，linux，unix，android， ios等)驱动，所有平台日志文件接口一致；
2.控制粒度细，可以根据需要定制敏感信息，减少机器性能影响；
3.可靠性高，可以支持同步日志模式，确保不会遗留日志信息。
附图说明
图1为一种通用文件系统日志记录方法原理说明图
图2为一种通用文件系统日志记录装置原理说明图
具体实施方式
下面结合附图对本发明的技术方案进行详细说明。
如图1所示，本实施例提供了一种通用文件系统日志记录方法，包括以下步骤：
1.安装各平台操作系统对应的文件驱动；
优选的，本发明内置常见系统(window，mac，linux，unix，android， ios等)驱动，所有平台日志文件接口一致。
2.根据用户需求，配置敏感信息过滤器，敏感信息可以为名称变更，内容读写，属性变更，权限变更等；
3.将过滤器传递到文件驱动；
4.根据过滤器，驱动监控敏感信息；
5.将敏感信息格式化；
所述将敏感信息格式化，是指将敏感信息变成统一的格式。
如用户在备份领域需要进行文件差异增量备份，需要监控文件变化信息，如源位置、文件名、修改时间、文件大小，可以将这些捕获的信息存储为信息列表或者以修改时间命名的ID地址存储。
优选的，不同用户根据不同需求，可以预先定义不同的格式存储到日志。
6.按预先定义格式同步或异步存储到日志文件中。
7.通过封装操作系统或文件系统相关的功能，对外提供统一的日志文件接口。优选的，使用者直接利用生成的日志文件分析所关注的数据内容，降低人员要求，节省大量的时间。
优选的，同步模式下，实际数据操作将会在日志确保记录到存储后再进行，保证日志不会遗漏；
在更关注可靠性的场合，如备份领域中可以设置成同步存储模式，确保日志信息不遗失，保证高可靠。
优选的，异步模式下，实际数据操作和日志记录同步进行，拥有更好的性能；
在关注性能的场景中，如桌面搜索，可以配置异步存储工作模式，可以获得更高的用户体验。
如图2所示，本实施例提供了一种通用文件系统日志记录装置，包括：驱动模块、配置模块、监控模块、存储模块。
驱动模块，用于提供并安装各平台操作系统对应的文件驱动。
优选的，本装置内置常见系统(window，mac，linux，unix，android， ios等)驱动，所有平台日志文件接口一致。
配置模块，根据用户需求，配置过滤器以及工作模式；
所述配置过滤器将只能收集到符合其过滤条件的数据，不符合其过滤条件的数据将不会被收集在内。
优选的，通过所述配置模块，按需配置过滤器，只需关注指定信息敏感变化，如名称变更，内容读写，属性变更，权限变更等，可进行细粒度控制，节省了资源；
进一步的，通过配置可以调整驱动监控文件变化相关数据，根据场景灵活调整，尽量减少对系统的影响。
例如，现已在windows的操作系统上安装了文件驱动，当前系统上由C、D、E三个磁盘和F、G两个应用。其中用户只需关注F应用相关的文件信息或只关注E盘中A文件目录下的数据，那么配置过滤器只需关注这两项的文件变化信息，可极大程度的节省资源。如在某时间点，A文件目录下的B文件进行了修改，那么配置文件过滤器只需记录修改时间和变化大小等文件变化信息。
监控模块，根据配置模块传递到文件驱动的配置内容，监控模块捕获关注的文件变化信息。
存储模块，通过监控模块捕获文件变化信息，并将其按预先定义将敏感信息格式化，同步或异步存储到日志文件中。
进一步的，通过封装操作系统或文件系统相关的功能，对外提供统一的接口。使用者直接利用生成的日志文件分析所关注的数据内容，降低人员要求，节省大量的时间。
所述按预先定义将敏感信息格式化，是指将敏感信息变成统一的格式，如将捕获文件信息定义成数据信息列表，所述数据信息包括文件名、修改时间、文件大小，以修改时间命名。
当用户需要关注文件变化信息，如备份领域中文件差异增量备份，桌面搜索领域中文件索引建立，监控领域中对于文件读写信息的监控，可直接利用生成的日志文件分析所关注的数据内容。
进一步的，可以选择同步或异步存储日志文件。
优选的，在更关注可靠性的场合，如备份领域中可以设置成同步存储模式，确保日志信息不遗失，保证高可靠；
优选的，在关注性能的场景中，如桌面搜索，可以配置异步存储工作模式，可以获得更高的用户体验。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种通用文件系统日志记录方法，其特征在于，包括以下步骤：
安装各平台操作系统对应的文件驱动；
根据用户需求，按需配置敏感信息过滤器；
将过滤器传递到文件驱动；
根据过滤器，驱动监控敏感信息；
将敏感信息格式化；
按预先定义格式存储到日志文件；
通过封装操作系统或文件系统相关的功能，对外提供统一的日志文件接口。
2.根据权利要求1所述的方法，其特征在于：
所述按需配置敏感信息过滤器指按需配置文件变化操作，所述文件变化操作包括名称变更、内容读写、属性变更和权限变更。
3.根据权利要求1所述的方法，其特征在于：
所述按预先定义格式存储到日志文件指按同步或异步存储到日志文件；
同步模式下，当日志记录存储到日志文件后，再进行实际数据操作，确保日志信息不遗失；
异步模式下，实际数据操作和日志记录同步进行，拥有更好的性能。
4.一种通用文件系统日志记录装置，其特征在于，包括：
驱动模块，用于提供并安装各平台操作系统对应的文件驱动；
监控模块，根据配置模块传递到文件驱动的配置内容，监控模块捕获关注的文件变化信息；
配置模块，根据用户需求，按需配置过滤器以及工作模式；
存储模块，通过监控模块捕获文件变化信息，按预先定义将敏感信息格式化，同步或异步存储到日志文件中；
进一步的，通过封装操作系统或文件系统相关的功能，对外提供统一的日志文件接口。
5.根据权利要求4所述的装置，其特征在于：
所述存储模块，格式化的敏感信息，按同步或异步存储到日志文件；
同步模式下，当日志记录存储到日志文件后，再进行实际数据操作，确保日志信息不遗失；
异步模式下，实际数据操作和日志记录同步进行，拥有更好的性能。
CN201510881383.2A 2015-11-30 2015-11-30 一种通用文件系统日志记录方法及装置 Active CN106815126B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510881383.2A CN106815126B (zh) 2015-11-30 2015-11-30 一种通用文件系统日志记录方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510881383.2A CN106815126B (zh) 2015-11-30 2015-11-30 一种通用文件系统日志记录方法及装置

Publications (2)

Publication Number Publication Date
CN106815126A CN106815126A (zh) 2017-06-09
CN106815126B true CN106815126B (zh) 2020-01-10

Family

ID=59105905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510881383.2A Active CN106815126B (zh) 2015-11-30 2015-11-30 一种通用文件系统日志记录方法及装置

Country Status (1)

Country Link
CN (1) CN106815126B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614379A (zh) * 2018-10-22 2019-04-12 中国平安人寿保险股份有限公司 日志输出方法、装置、计算机存储介质和计算机设备
CN111159109A (zh) * 2019-11-26 2020-05-15 陶壮壮 一种磁盘空间占用文件的检测方法及系统
CN112541169A (zh) * 2020-12-21 2021-03-23 四川新网银行股份有限公司 一种linux用户行为的本地记录方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5218672A (en) * 1990-01-19 1993-06-08 Sony Corporation Of America Offline editing system with user interface for controlling edit list generation
CN102394771A (zh) * 2011-10-26 2012-03-28 广州杰赛科技股份有限公司 插座式嵌入的日志收集系统及收集方法
CN104766009A (zh) * 2015-03-18 2015-07-08 杭州安恒信息技术有限公司 一种基于操作系统底层防网页文件篡改的系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4912424B2 (ja) * 2009-04-10 2012-04-11 三菱電機株式会社 プラント設備の運転システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5218672A (en) * 1990-01-19 1993-06-08 Sony Corporation Of America Offline editing system with user interface for controlling edit list generation
CN102394771A (zh) * 2011-10-26 2012-03-28 广州杰赛科技股份有限公司 插座式嵌入的日志收集系统及收集方法
CN104766009A (zh) * 2015-03-18 2015-07-08 杭州安恒信息技术有限公司 一种基于操作系统底层防网页文件篡改的系统

Also Published As

Publication number Publication date
CN106815126A (zh) 2017-06-09

Similar Documents

Publication Publication Date Title
US9348827B1 (en) File-based snapshots for block-based backups
US9411821B1 (en) Block-based backups for sub-file modifications
US9021175B2 (en) Method for reordering access to reduce total seek time on tape media
US8949799B2 (en) Program log record optimization
CN101217406B (zh) 配置数据备份和恢复方法
US20110106768A1 (en) Backup using metadata virtual hard drive and differential virtual hard drive
CN106919494B (zh) 安卓应用日志的实现方法和装置
CN105468482B (zh) 一种硬盘盘位识别和故障诊断方法及其服务器设备
US8538925B2 (en) System and method for backing up test data
CN106815126B (zh) 一种通用文件系统日志记录方法及装置
US10223038B2 (en) File management in a file system
CN104216801A (zh) 一种面向虚拟化环境的数据复制方法及系统
US20140282420A1 (en) Test automation booster
CN111414231A (zh) 一种虚拟机镜像与容器镜像相互转换的方法及设备
CN103777985A (zh) 存储介质上同一分区安装多个操作系统的方法及装置
CN104572339A (zh) 基于分布式文件系统的数据备份还原系统及方法
US20090240877A1 (en) Virtual tape device and method for controlling the same
US20240028238A1 (en) Appending data to a tape cartridge during recall operations
JP2014523043A (ja) 第２のブロック・サイズのブロック内の第１のブロック・サイズのブロックをエミュレートするディスク・ドライブからの通知を介した破壊的書き込みのインジケーションのための方法、システム、およびコンピュータ・プログラム（第２のブロック・サイズのブロック内の第１のブロック・サイズのブロックをエミュレートするディスク・ドライブからの通知を介した破壊的書き込みのインジケーション）
CN107766385B (zh) 一种转换虚拟磁盘文件格式的方法与设备
CN102473133B (zh) 数据记录装置及音频系统
JP2002528790A (ja) イメージ・ファイル変更の取り込み方法及び装置
US9088767B2 (en) Activities duplication via recorded video
US10552245B2 (en) Call home message containing bundled diagnostic data
US8760781B2 (en) System utility for controling data synchronization in a tape data storage system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 210014 three floor, building five, five, Bai Xia hi tech park, No. 5, Yong Zhi Road, Qinhuai District, Nanjing, Jiangsu.

Applicant after: NANJING UNARY INFORMATION TECHNOLOGY Inc.,Ltd.

Address before: 210014, 8 floor, South Tower, stander Internet of things, 1 Guanghua Road, Qinhuai District, Nanjing, Jiangsu.

Applicant before: NANJING UNARY INFORMATION TECHNOLOGY Inc.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 210014 three floor, building five, five, Bai Xia hi tech park, No. 5, Yong Zhi Road, Qinhuai District, Nanjing, Jiangsu.

Applicant after: NANJING UNARY INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 210014 three floor, building five, five, Bai Xia hi tech park, No. 5, Yong Zhi Road, Qinhuai District, Nanjing, Jiangsu.

Applicant before: NANJING UNARY INFORMATION TECHNOLOGY Inc.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Building 1, 6th Floor, Changfeng Building, No.14 Xinghuo Road, Research and Innovation Park, Jiangbei New District, Nanjing City, Jiangsu Province, 210000

Patentee after: Aerospace One System (Jiangsu) Information Technology Co.,Ltd.

Address before: 210014 three floor, building five, five, Bai Xia hi tech park, No. 5, Yong Zhi Road, Qinhuai District, Nanjing, Jiangsu.

Patentee before: NANJING UNARY INFORMATION TECHNOLOGY Co.,Ltd.