CN103699846A

CN103699846A - 一种linux系统中变化文件的截获方法及装置

Info

Publication number: CN103699846A
Application number: CN201310728887.1A
Authority: CN
Inventors: 王旭; 张道伟
Original assignee: Inspur Beijing Electronic Information Industry Co Ltd
Current assignee: Inspur Beijing Electronic Information Industry Co Ltd
Priority date: 2013-12-25
Filing date: 2013-12-25
Publication date: 2014-04-02
Anticipated expiration: 2033-12-25
Also published as: CN103699846B

Abstract

本发明公开了一种LINUX系统中的文件截获方法及装置，其中，所述方法包括：将LINUX系统的文件事件截获策略封装提供统一的接口；调用所述统一的接口对文件进行监控，当有文件发生变化事件时，截获发生变化事件的文件，并将所述发生变化事件的文件的路径和与所述路径对应的变化事件进行数据持久化存储。本发明的方法和装置以实现文件事件截获策略的灵活切换，避免当系统出现异常时丢失文件，同时支持大量级的文件的监控，降低对内存的消耗，同时对发生变化事件的文件的路径的存储方式进行了封装提供统一接口，可在这些存储方式间进行灵活切换；对发生变化事件的文件的存储路径进行去重优化，减小了数据的冗余。

Description

一种LINUX系统中变化文件的截获方法及装置

技术领域

本发明涉及计算机通信领域，具体涉及一种LINUX系统中变化文件的截获方法及装置。

背景技术

信息安全及数据容灾是IT信息系统建设中必须要关注的两个重要环节。信息安全关注于当前系统的安全性，确保系统不被入侵，数据不被窃取；数据容灾关注的是数据在停电，火灾，地震等灾难的情况下不被破坏，不发生丢失。无论是在信息安全领域还是在数据容灾领域，确定系统中发生变化事件的文件均是一项基础但却十分重要的技术。文件发生变化事件主要是指用户对文件的新建和删除、对文件内容及属性进行了修改，对于信息安全领域，病毒扫描软件、杀毒软件的输入对象就是一个个发生变化事件的文件；对于数据容灾领域，需要同步的也是一个个发生变化事件的文件。可见，截获发生变化事件的文件技术在IT信息系统中至关重要。

LINUX系统中，对于发生变化事件的文件的截获可分为两种方式：内核级截获及用户态截获。内核级截获需要编写相应的内核模块或是文件过滤驱动进行截获，其优点截获准确度高，不发生遗漏，能够取消文件变化的请求，但缺点是可移植性不好，需要根据每个系统版本进行调整，同时，由于是内核态的截获，也会影响系统的稳定性；用户态截获通过操作系统提供的接口进行截获，其优点是适应性好，对系统的破坏性小，不影响系统的稳定，但缺点是可能发生截获遗漏，并且只能进行单纯的截获，不能取消文件变化的请求。

LINUX系统提供了FSNOTIFY机制进行文件的事件通知，在其上提供了3种文件事件截获策略：inotify、dnotify及anotify。其中，dnotify仅可截获文件夹的变化事件，其通知方式为信号；anotify可截获整个文件，所有磁盘，文件夹及文件的变化事件，但其截获的事件较少；inotify可截获文件夹及文件的变化事件。目前，对这3种文件事件截获策略往往仅仅使用一种，而缺少在这3种截获策略中灵活的切换。

通常截获到变化事件后的处理方式是放在内存里处理，但是，在内存中处理会存在很多弊端，比如：当系统出现异常，比如突然关机或进程中断，就会将截获到的文件丢失；此外，内存是有限的，对于大量级的文件，比如千万量级的路径如果存储到内存是不现实的，无法支持大量级的文件的监控；另外还会消耗大量内存，降低内存的效率。

发明内容

本发明需要解决的技术问题是提供一种LINUX系统中变化文件的截获方法及装置，以实现文件事件截获策略的灵活切换，避免当系统出现异常时丢失文件，同时支持大量级的文件的监控，降低对内存的消耗。

为了解决上述技术问题，本发明提供了一种LINUX系统中的文件截获方法，包括：

将LINUX系统的文件事件截获策略封装提供统一的接口；

调用所述统一的接口对文件进行监控，当有文件发生变化事件时，截获发生变化事件的文件，并将所述发生变化事件的文件的路径和与所述路径对应的变化事件进行数据持久化存储。

进一步地，所述调用所述统一的接口对文件进行监控，当有文件发生变化事件时，截获发生变化事件的文件，包括：

调用所述统一的接口对文件进行监控，并根据用户设置的配置文件选择相应的文件事件截获策略，当有文件发生变化事件时，根据所述文件事件截获策略截获发生变化事件的文件。

进一步地，所述在截获发生变化事件的文件之后，还包括：判断所述发生变化事件的系统文件是否属于需要监控的文件，如果是，则将所述发生变化事件的系统文件的路径和与所述路径对应的变化事件进行数据持久化存储。

进一步地，所述方法还包括：对写入数据的方式进行封装，提供统一的数据写入接口；

所述将所述发生变化事件的系统文件的路径和变化事件进行数据持久化存储，包括：调用所述统一的数据写入接口，将所述发生变化事件的系统文件的路径和与所述路径对应的变化事件写入到相应的文件或数据库中。

进一步地，所述方法还包括：

在将所述发生变化事件的系统文件的路径和与所述路径对应的变化事件进行数据持久化存储时，判断所述路径是否为当前路径，如果是，则不存储；如果不是，则将该路径存储，并标记为当前路径。

为了解决上述技术问题，本发明还提供了一种LINUX系统中的文件截获装置，包括：

策略封装模块，用于将LINUX系统的文件事件截获策略封装提供统一的接口；

通用文件捕获模块，用于在调用所述统一的接口时，对文件进行监控，当有文件发生变化事件时，截获发生变化事件的文件，并通知通用路径存储模块将所述发生变化事件的文件的路径和与所述路径对应的变化事件进行数据持久化存储；

通用路径存储模块，用于将所述发生变化事件的文件的路径和与所述路径对应的变化事件进行数据持久化存储。

进一步地，所述通用文件捕获模块，用于在调用所述统一的接口时，对所述文件进行监控，当有文件发生变化事件时，截获发生变化事件的文件，包括：

在调用所述统一的接口时，根据用户设置的配置文件选择相应的文件事件截获策略对文件进行监控，当有文件发生变化事件时，根据所述文件事件截获策略截获发生变化事件的文件。

进一步地，所述装置还包括：

监控文件记录模块，用于记录所有需要监控的文件的路径，并将所述文件的路径传递给所述通用文件捕获模块；还用于在收到所述所述通用文件捕获模块的通知后，判断所述发生变化事件的文件是否属于所述需要监控的文件，如果是，则通知所述通用路径存储模块将所述发生变化事件的文件的路径和与所述路径对应的变化事件进行数据持久化存储；

所述通用文件捕获模块，还用于在截获所述发生变化事件的系统文件之后，通知所述监控文件记录模块对所述发生变化事件的系统文件进行判断。

进一步地，所述通用路径存储模块，还用于对写入数据的方式进行封装，提供统一的数据写入接口；

所述通用路径存储模块，用于将所述发生变化事件的文件的路径和与所述路径对应的变化事件进行数据持久化存储，包括：

调用所述统一的数据写入接口，将所述发生变化事件的文件的路径和与所述路径对应的变化事件写入到相应的文件或数据库中。

进一步地，所述通用路径存储模块，还用于在将所述发生变化事件的文件的路径和与所述路径对应的变化事件进行数据持久化存储时，判断所述路径是否为当前路径，如果是，则不存储；如果不是，则将该路径存储，并标记为当前路径。

与现有技术相比，本发明提供的LINUX系统中的文件截获方法及装置，具有以下有益效果：

1）对LINUX系统提供的文件系统事件截获策略进行封装，通过调用统一接口，例如，对FSNOTIFY机制中的三种策略进行封装，提供统一接口，实现了inotify，dnotify及anotify截获策略的灵活切换；

2）相对于现有技术仅将截获到的文件直接在内存中处理，本发明将截获到的文件实体化，进行文件存储或数据块存储，即存储到磁盘上，可以避免当系统出现异常时丢失文件，而且可以支持大量级的文件的监控；降低对内存的消耗；

3）同时对发生变化事件的文件的路径的存储方式进行了封装提供统一接口，通过调用统一接口，能够使用不同的数据存储方式（比如xml文件，SQLite数据库，MySQL数据库），并可在这些存储方式间进行灵活切换；

4）对发生变化事件的文件的存储路径进行去重优化，减小了数据的冗余。

附图说明

图1是实施例中LINUX系统中的文件截获系统结构图；

图2是实施例中LINUX系统中的文件方法流程图；

图3是一个应用示例中LINUX系统中变化文件的方法流程图；

图4是实施例中通用路径存储模块涉及的连续去重流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

实施例：

如图1所示，本实施例提供了一种LINUX系统中的文件截获系统，包括：主控模块和文件截获装置，该文件截获装置包括：策略封装模块、监控文件记录模块、通用文件捕获模块和通用路径存储模块，其中：

例如，将LINUX系统fsnotify机制提供的文件事件截获策略封装提供统一的接口。

监控文件记录模块，用于记录所有需要监控的文件的路径，并将所述文件的路径传递给所述通用文件捕获模块；

其中，所述监控文件记录模块，还用于添加或删除需要监控的文件的路径。所述需要监控的文件包括一个或多个文件夹或者仅仅一个文件数据。比如，当前有3个磁盘C、D、E，监控文件记录模块可以仅监控磁盘C的文件，并记录C盘文件的路径。

通用文件捕获模块，用于在主控模块调用该统一的接口时，对系统文件进行监控，当有文件发生变化事件时，截获发生变化事件的文件，并通知通用路径存储模块将所述发生变化事件的文件的路径和与所述路径对应的变化事件进行数据持久化存储；

用户态截获通过操作系统提供的接口进行截获，但是，由于fsnotify机制提供的3种文件事件截获策略，即inotify，dnotify及anotify的接口不同，一般在使用时，仅调用一个接口，因此，截获文件很不灵活，而本实施例中主控模块无需选择具体的截获策略仅调用该统一接口，就可以实现对变化文件的监控和截获。

优选地，所述通用文件捕获模块，用于在调用所述统一的接口时，对所述文件进行监控，当有文件发生变化事件时，截获发生变化事件的文件，包括：

优选地，所述通用文件捕获模块，还用于在截获所述发生变化事件的文件之后，通知所述监控文件记录模块对所述发生变化事件的文件进行判断。

所述监控文件记录模块，还用于在收到所述通用文件捕获模块的通知后，判断所述发生变化事件的文件是否属于所述需要监控的文件，如果是，则通知所述通用路径存储模块将所述发生变化事件的文件的路径和与所述路径对应的变化事件进行数据持久化存储；

所述通用路径存储模块，用于将所述发生变化事件的文件的路径和与所述路径对应的变化事件进行数据持久化存储。

对于数据持久化，就是将截获的变化数据进行存储，以供给使用者使用，而这种存储必须是非易失的。可以选择文件存储，也可以进行数据库存储。现有技术中，当数据规模较小时（<200MB），可采用XML文件的方式进行存储；当数据达到一定的规模(<1GB)，可选用SQLite这种嵌入式数据库进行存储；当数据持续增长到不适于嵌入式数据库存储时，可选用MySQL数据库进行存储。也就是说，目前，文件的写入数据方式和数据块写入数据的方式是不同的，具体到API的处理方式和调用方式也是不一样，一般在使用时，仅采用其中的一种方式，因此，存储数据很不灵活。

为了能够使用不同的数据存储方式，并可在这些存储方式间进行切换。优选地，所述通用路径存储模块，还用于对写入数据的方式进行封装，提供统一的数据写入接口；通过调用所述统一的数据写入接口，将所述发生变化事件的文件的路径和与所述路径对应的变化事件写入到相应的文件或数据库中。

优选地，所述通用路径存储模块，还用于在将所述发生变化事件的文件的路径和与所述路径对应的变化事件进行数据持久化存储时，判断所述路径是否为当前路径，如果是，则不存储；如果不是，则将该路径存储，并标记为当前路径。当前路径为上一次进行数据持久化存储的路径。

即，对变化文件存储路径进行去重优化，当在xml文件或数据库中连续存储相同的路径时，可以进行去重，只存入一条路径，从而减小了数据的冗余。

如图2所示，本实施例提供了一种LINUX系统中变化文件的截获方法，包括以下步骤：

S101：将LINUX系统的文件事件截获策略封装提供统一的接口；

例如，将LINUX系统fsnotify机制提供的文件系统事件截获策略封装提供统一的接口；

S102：调用该统一的接口对文件进行监控，当有文件发生变化事件时，截获发生变化事件的文件；

在调用统一的接口后，根据用户设定的配置文件选择使用INOTIFY、DNOTIFY或是ANOTIFY中的一个截获策略进行文件事件监控，并截获发生变化事件的文件。

S103：将所述发生变化事件的文件的路径和与所述路径对应的变化事件进行数据持久化存储。

优选地，所述方法还包括：对写入数据的方式进行封装，提供统一的数据写入接口；

所述步骤S103具体包括：调用所述统一的数据写入接口，将所述发生变化事件的文件的路径和与所述路径对应的变化事件写入到相应的文件或数据库中。

优选地，在步骤S103中还包括路径去重优化的步骤：

在将所述发生变化事件的文件的路径和与所述路径对应的变化事件进行数据持久化存储时，判断所述路径是否为当前路径，如果是，则不存储；如果不是，则将该路径存储，并标记为当前路径。

在另外一个优选的实施例中，在步骤S103之前，还包括：

判断所述发生变化事件的文件是否属于需要监控的文件，如果是，则将所述发生变化事件的文件的路径和与所述路径对应的变化事件进行数据持久化存储。

在一个应用示例中，采用上述实施例中的截获系统，如图3所示，LINUX系统中的文件截获方法，包括以下步骤：

S301：主控模块通过监控文件记录模块获取需要监控的文件列表，并将这些文件列表传递给通用文件捕获模块进行监控；

S302：主控模块调用通用文件捕获模块封装了截获策略的统一接口；

S303：通用文件捕获模块使用INOTIFY、DNOTIFY或是ANOTIFY中的一个进行文件事件监控；

例如，用户设定为采用anotify作为当前文件的文件事件截获策略，由于anotify可以监控整个文件，上报整个系统内磁盘文件的变化事件；

S304：当监控到文件发生变化事件时，通知主控模块；主控模块调用监控文件记录模块判断该事件的路径是否为需要监控的文件的路径，如果是，则执行步骤S305；否则，不对该事件进行存储处理，结束流程；

例如，监控文件记录模块仅需要监控磁盘C的文件，当采用anotify系统文件事件截获策略时，也会上报其他磁盘发生变化的文件事件，此时，判断出其他其他磁盘上的发生变化事件的文件不属于需要监控的文件，因此，不对其他磁盘的发生变化事件的文件进行存储处理。

S305：主控模块调用通用路径存储模块将变化的文件的路径和变化事件存储在XML文件、SQLite或是MySQL中。

存储的事件包括：发生变化的事件，如文件的删除、修改或新建，以及发生变化的时间。

图4为通用路径存储模块涉及的连续去重过程：

S401：当将路径A插入数据库时，首先判断路径A是否为当前路径，如为当前路径，则说明A之前曾经插入过数据库，不需要再次插入；如果A不是当前路径，则执行步骤S402；

S402：将发生变化事件的文件数据写入到数据块中，将路径A插入到数据库中；

S403：将当前路径置为A，以待下次插入时进行去重。

从上述实施例可以看出，相对于现有技术，上述实施例中提供的LINUX系统中的文件截获方法及装置，对LINUX系统提供的文件系统事件截获策略进行封装，通过调用统一接口，实现了各种截获策略的灵活切换；相对于现有技术仅将截获到的文件直接在内存中处理，本实施例将截获到的文件实体化，进行文件存储或数据块存储，即存储到磁盘上，可以避免当系统出现异常时丢失文件，而且可以支持大量级的文件的监控；降低对内存的消耗；同时对发生变化事件的文件的路径的存储方式进行了封装提供统一接口，通过调用统一接口，能够使用不同的数据存储方式，并可在这些存储方式间进行灵活切换；最后，本实施例还可以对发生变化事件的文件的存储路径进行去重优化，减小了数据的冗余。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

以上所述仅为本发明的优选实施例而已，并非用于限定本发明的保护范围。根据本发明的发明内容，还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种LINUX系统中的文件截获方法，包括：

将LINUX系统的文件事件截获策略封装提供统一的接口；

2.如权利要求1所述的方法，其特征在于：

所述调用所述统一的接口对文件进行监控，当有文件发生变化事件时，截获发生变化事件的文件，包括：

3.如权利要求1或2所述的方法，其特征在于：

所述在截获发生变化事件的文件之后，还包括：判断所述发生变化事件的系统文件是否属于需要监控的文件，如果是，则将所述发生变化事件的系统文件的路径和与所述路径对应的变化事件进行数据持久化存储。

4.如权利要求3所述的方法，其特征在于：所述方法还包括：对写入数据的方式进行封装，提供统一的数据写入接口；

5.如权利要求3所述的方法，其特征在于：所述方法还包括：

6.一种LINUX系统中的文件截获装置，包括：

7.如权利要求6所述的装置，其特征在于：

所述通用文件捕获模块，用于在调用所述统一的接口时，对所述文件进行监控，当有文件发生变化事件时，截获发生变化事件的文件，包括：

8.如权利要求7所述的装置，其特征在于：所述装置还包括：

9.如权利要求8所述的装置，其特征在于：

所述通用路径存储模块，还用于对写入数据的方式进行封装，提供统一的数据写入接口；

10.如权利要求9所述的装置，其特征在于：

所述通用路径存储模块，还用于在将所述发生变化事件的文件的路径和与所述路径对应的变化事件进行数据持久化存储时，判断所述路径是否为当前路径，如果是，则不存储；如果不是，则将该路径存储，并标记为当前路径。