CN101833489B - 一种文件实时监控和智能备份的方法 - Google Patents

Abstract

本发明提供一种文件操作实时监控和智能备份的方法，该方法实现由文件实时监控模块、信息实时读取模块、信息实时处理模块和文件智能备份模块组成。各模块的作用如下：文件实时监控模块用于监控用户对指定文件的操作，可以获取多个指定目录下用户对文件的所有操作信息；信息实时读取模块用于读取来自文件监控模块获取的文件操作信息，并通知信息实时处理模块对这些文件操作信息进行处理；信息实时处理模块用于对文件操作信息进行处理，并通知文件智能备份模块进行文件备份操作；文件智能备份模块用于对文件进行备份，备份模式可以选择实时备份或者根据文件操作频率进行智能化备份。四个模块并行执行。本发明方法可及时准确地记录下用户对监控目录下文件的操作信息并进行实时或智能备份，为文件的持续数据保护提供了支持。

Description

一种文件实时监控和智能备份的方法

(一)技术领域：

本发明是一种文件实时监控与信息处理方法，可以快速将被监控目录下文件的每个操作进行记录、处理并按用户需要进行文件级备份。通过此监控方法可以实时监控文件的变化情况，并且能够根据用户对文件的操作频度、系统忙闲状态进行文件备份，从而改进了连续文件保护的实时性、提高了文件级备份的效率。 

(二)技术背景：

随着信息化的普及，作为信息载体的数据已经占据了越来越重要的地位，数据保护已经成为信息化社会得以生存和发展的关键。传统上，信息化系统一直采用定时数据备份和复制的方法，在此模式下，即使可以将数据的备份时间间隔粒度精确到秒级，但仍然无法满足人们的需要。 

2005年2月由SNIA(全球网络存储工业协会)成立了CDP(Continuous Data Protection)特别关注小组，提出了持续数据保护的概念，试图解决人们对备份系统的实际需要。持续数据保护是一套方法，它可以捕获或跟踪数据的变化，并将其在生产数据之外独立存放，以确保数据可以恢复到过去的任意时间点。 

在传统数据保护技术中，采用的是基于单时间点数据拷贝的管理模式。而持续数据保护方法则可以实现对任意时间点的数据访问：它能够独立对主要数据修改进行持续捕捉或跟踪，保存数据变化，从而实现从过去的任何非预设点恢复的方法。持续数据保护系统的设计通常采用基于块、文件或应用实现，在操作系统底层进行用户修改的捕获，可以为恢复对象提供足够细的恢复粒度，实现几乎无限多的恢复时间点。 

虽然持续数据保护技术具有强大的数据保护能力，对数据的保护是连续性的，而且可以快速恢复，从根本上解决传统备份中低恢复能力和非精细时间策略的先天弱点，但是文件级持续数据保护功能作用在文件系统上，通过捕捉文件系统数据或者元数据的变化事件，并及时记录文件的变动信息，以便将来实现任意时间点的文件恢复。因此文件级持续数据保护技术要求备份的时间间隔粒度为用户对文件的每一个操作，即用户每对文件进行一次操作便要进行一次文件备份。但是，文件系统在用户的每次操作时在内部会触发多次操作，备份程序在操作系统底层实捕获到大量的文件操作消息，对存储造成巨大的压力。并且在用户对单一文件进行频繁的修改时，文件级备份将对文件进行频繁的备份，影响用户的正常使用。针对这些情况，以往的文件级数据备份技术通常采用一定备份策略对文件系统的压力和恢复粒度进行平衡，例如，在监控时设置时间间隔来集中监控信息，要求在同一时间间隔内的所有操作只做一次文件备份。但是，这种平衡将文件级CDP变相改为了定时备份。 

显然，文件级持续数据保护技术的主要问题是对文件操作的监控、及时上传和备份。本 发明可以对目录和文件的新建、修改、重命名和删除等操作进行记录，保存发生变更的时间、位置、类型等信息，并对关键信息进行了提取和去重，避免了对用户一次操作的多次备份和对临时文件的备份，减轻了实时备份的压力。同时在实际的文件操作过程中，本发明可以通过对文件的操作频率进行监控，智能的分辨出文件操作频率降低的瞬间进行文件备份。 

(三)发明内容：

本发明的目的是这样实现的： 

该方法由文件实时监控模块、信息实时读取模块、信息实时处理模块和文件智能备份模块四个模块组成；当文件实时监控模块获取监控目录后，对该目录下的文件操作进行监控，在文件修改时能立即生成文件的操作信息，记为监控信息s，将监控信息s保存至内存后，发送通知给信息实时读取模块；信息实时读取模块得到来自文件实时监控的通知、并从内存读取监控信息s后，将监控信息保存至信息缓冲区，发送通知给信息实时处理模块要求其对该监控信息进行处理；信息实时处理模块从信息缓冲区中提取监控信息s中的文件路径P，用户对文件的四种基本操作OP包含新建、删除、修改、重命名四种类型，操作时间T，并生成处理后的文件更新信息ns＝{P，OP，T}；智能备份模块收到ns后，对文件路径P对应的文件选择两种文件备份方式之一执行：1)进行操作频率判断，当用户对文件操作频率降低到频率阈值时进行该文件的备份；2)在收到一条文件更新信息ns后直接进行该文件的实时备份，从而针对每一次文件操作都进行实时备份，即文件备份的时间间隔粒度精确到文件的每个操作； 

在实现上，用户可以选择多个指定目录作为文件监控模块的监控目录，文件实时监控模块同步监控目录下的文件操作，并申请一定的内存空间用于存放获取的监控信息s，文件监控模块仅将该监控信息存入内存，信息实时处理模块则要完成对监控信息s的处理工作；监控和处理之间必然存在着较大的时间差异；如果信息实时处理模块直接从内存中取数据，则未来得及处理的监控信息便会被文件实时监控模块所生成的新监控信息所覆盖，产生由于信息处理不及时而造成的信息丢失现象；因此要设置信息实时读取模块，将监控信息及时从内存中取出存入信息实时读取模块的信息缓冲区中，这样既可以保证监控信息的不丢失，又保证监控信息的实时处理； 

信息实时处理模块要从信息缓冲区取出并删除监控信息，而信息实时读取模块要不停的向信息缓冲区内加入新的监控信息，这样必然会导致信息实时处理模块和信息实时读取模块对信息缓冲区的竞争；为保证信息实时读取模块能将监控到的监控信息及时存入信息缓冲区，信息实时处理模块在读取并删除信息后即释放信息缓冲区控制权，然后再进行信息的处理； 

信息实时处理模块对信息的处理包括四步，提取关键信息、删除重复信息、过滤临时信 息和合并信息；提取关键信息即从监控信息s中取得所需的文件路径P、操作类型OP、操作时间T，并生成文件更新信息ns；在文件系统中，用户对文件的一个操作，便会引发文件的多次修改，则文件实时监控模块便会记录多条重复的s；信息实时处理模块为避免处理重复的信息，首先要进行重复信息的删除；其次，在用户对一些文档操作时中会产生一些临时文件，对临时文件的存储会造成存储空间的浪费，在此模块中实现了对临时文件的过滤；同时，文件监控模块可能监控到一些并发操作一次操作可能会监控到两条P、T相同而OP不同的文件操作信息s1和s2，因此该模块根据P、T需要对s1、s2进行合并； 

在接到信息实时处理模块处理完一条消息后，文件智能备份模块要根据用户的需求完成文件备份；若用户需要实时备份每个文件，文件智能备份模块在接收到一条文件更新信息ns后，根据ns中包含的路径P对该文件进行备份；若是用户不要求实时备份，可根据对文件操作频率的监控，记录下在时间阈值t内文件的操作次数count，仅当count小于次数阈值c时，即该文件不再被频繁操作时再对其进行备份； 

根据上述内容，该发明特征为：其具体实现步骤为： 

(1)设置ns’为空；输入文件的时间阈值t，次数阈值c；输入用户的备份模式，备份模式可以为实时备份或者基于频率的备份； 

(2)文件实时监控模块获取监控路径，文件实时监控模块进入监控状态。启动该监控路径下所有文件的时间计数器T，对于任意一个文件a，其时间计数器为T(a)； 

(3)文件监控模块循环监控路径下的文件变化：一旦监控到用户对监控目录下某文件a进行了操作，设置该文件的操作次数count(a)加1；同时，文件监控模块生成文件操作信息s，并将s放入内存中；通知信息实时读取模块取走文件操作信息s； 

(4)信息实时读取模块获得信息缓冲区控制权，同时将文件操作信息s从内存中取出，并放入信息缓冲区(该信息缓冲区采用先进先出队列的方式组织)的队尾中，信息实时读取模块释放信息缓冲区控制权；信息实时读取模块唤醒信息实时处理模块； 

(5)信息实时处理模块获得信息缓冲区控制权，从信息缓冲区中取出第一条文件操作信息s；信息实时处理模块释放信息缓冲区控制权；信息实时处理模块从文件操作信息s中提取关键信息P、OP、T，生成文件更新信息ns； 

(6)信息实时处理模块将当前文件监控信息ns与上一条已处理的文件监控信息ns’比较，如果两者P、T相同，则执行步骤(3)； 

否则，执行步骤(7)。 

(7)若文件更新信息ns为临时文件的操作信息，则执行步骤(3)执行； 

否则，执行步骤(8)； 

(8)ns’＝ns，将本条文件监控信息赋值给ns’，供与下一条监控信息做比较； 

(9)信息实时处理模块将ns发送给文件智能备份模块，并通知其对ns对应的文件a进行备份； 

(10)文件智能备份模块在接收到文件a的备份通知后，如果备份模式为实时备份，则文件智能备份模块将文件a进行备份，执行步骤(13)； 

否则，执行步骤(11)； 

(11)如果文件a的时间计数器T(a)小于时间阀值，则T(a)加1；否则，T(a)＝0； 

(12)如果文件a的操作次数count(a)小于次数阈值c，则对文件a进行备份，count(a)＝0，执行步骤(13)； 

否则，执行步骤(11)； 

(13)读取用户输入，如果用户要求停止文件监控，则程序执行完毕； 

否则，执行步骤(3)。 

其主要创新点如下： 

1、本发明中监控信息的获取和处理同步循环进行，在获取模块和处理模块间设置缓冲区来保证消息的完整性和及时性。处理模块在保证消息及时性的基础上完成文件类型的过滤、重复信息的删除和并发操作的合并，保证了信息的准确和可靠，减轻了实时备份的压力。 

2、本发明提出了两种备份方式，可以通过监控用户的操作频率，获取合适的文件备份时间进行智能备份。 

图1：模块间的相互合作 

下面结合附图详细介绍本方法： 

(四)附图说明

本方法的特征在于： 

(五)具体实施方式

该方法由文件实时监控模块、信息实时读取模块、信息实时处理模块和文件智能备份模块四个模块组成；当文件实时监控模块获取监控目录后，对该目录下的文件操作进行监控，在文件修改时能立即生成文件的操作信息，记为监控信息s，将监控信息s保存至内存后，发送通知给信息实时读取模块；信息实时读取模块得到来自文件实时监控的通知、并从内存读取监控信息s后，将监控信息保存至信息缓冲区，发送通知给信息实时处理模块要求其对该监控信息进行处理；信息实时处理模块从信息缓冲区中提取监控信息s中的文件路径P，用户对文件的四种基本操作OP包含新建、删除、修改、重命名四种类型，操作时间T，并生成处理后的文件更新信息ns＝{P，OP，T}；智能备份模块收到ns后，对文件路径P对应的文件 选择两种文件备份方式之一执行：1)进行操作频率判断，当用户对文件操作频率降低到频率阈值时进行该文件的备份；2)在收到一条文件更新信息ns后直接进行该文件的实时备份，从而针对每一次文件操作都进行实时备份，即文件备份的时间间隔粒度精确到文件的每个操作； 

在实现上，用户可以选择多个指定目录作为文件监控模块的监控目录，文件实时监控模块同步监控目录下的文件操作，并申请一定的内存空间用于存放获取的监控信息s，文件监控模块仅将该监控信息存入内存，信息实时处理模块则要完成对监控信息s的处理工作；监控和处理之间必然存在着较大的时间差异；如果信息实时处理模块直接从内存中取数据，则未来得及处理的监控信息便会被文件实时监控模块所生成的新监控信息所覆盖，产生由于信息处理不及时而造成的信息丢失现象；因此要设置信息实时读取模块，将监控信息及时从内存中取出存入信息实时读取模块的信息缓冲区中，这样既可以保证监控信息的不丢失，又保证监控信息的实时处理； 

信息实时处理模块要从信息缓冲区取出并删除监控信息，而信息实时读取模块要不停的向信息缓冲区内加入新的监控信息，这样必然会导致信息实时处理模块和信息实时读取模块对信息缓冲区的竞争；为保证信息实时读取模块能将监控到的监控信息及时存入信息缓冲区，信息实时处理模块在读取并删除信息后即释放信息缓冲区控制权，然后再进行信息的处理； 

信息实时处理模块对信息的处理包括四步，提取关键信息、删除重复信息、过滤临时信息和合并信息；提取关键信息即从监控信息s中取得所需的文件路径P、操作类型OP、操作时间T，并生成文件更新信息ns；在文件系统中，用户对文件的一个操作，便会引发文件的多次修改，则文件实时监控模块便会记录多条重复的s；信息实时处理模块为避免处理重复的信息，首先要进行重复信息的删除；其次，在用户对一些文档操作时中会产生一些临时文件，对临时文件的存储会造成存储空间的浪费，在此模块中实现了对临时文件的过滤；同时，文件监控模块可能监控到一些并发操作一次操作可能会监控到两条P、T相同而OP不同的文件操作信息s1和s2，因此该模块根据P、T需要对s1、s2进行合并； 

在接到信息实时处理模块处理完一条消息后，文件智能备份模块要根据用户的需求完成文件备份；若用户需要实时备份每个文件，文件智能备份模块在接收到一条文件更新信息ns后，根据ns中包含的路径P对该文件进行备份；若是用户不要求实时备份，可根据对文件操作频率的监控，记录下在时间阈值t内文件的操作次数count，仅当count小于次数阈值c时，即该文件不再被频繁操作时再对其进行备份； 

根据上述内容，该发明特征为：其具体实现步骤为： 

(1)设置ns’为空；输入文件的时间阈值t，次数阈值c；输入用户的备份模式，备份模式 可以为实时备份或者基于频率的备份； 

(2)文件实时监控模块获取监控路径，文件实时监控模块进入监控状态。启动该监控路径下所有文件的时间计数器T，对于任意一个文件a，其时间计数器为T(a)； 

(3)文件监控模块循环监控路径下的文件变化：一旦监控到用户对监控目录下某文件a进行了操作，设置该文件的操作次数count(a)加1；同时，文件监控模块生成文件操作信息s，并将s放入内存中；通知信息实时读取模块取走文件操作信息s； 

(4)信息实时读取模块获得信息缓冲区控制权，同时将文件操作信息s从内存中取出，并放入信息缓冲区(该信息缓冲区采用先进先出队列的方式组织)的队尾中，信息实时读取模块释放信息缓冲区控制权；信息实时读取模块唤醒信息实时处理模块； 

(5)信息实时处理模块获得信息缓冲区控制权，从信息缓冲区中取出第一条文件操作信息s；信息实时处理模块释放信息缓冲区控制权；信息实时处理模块从文件操作信息s中提取关键信息P、OP、T，生成文件更新信息ns； 

(6)信息实时处理模块将当前文件监控信息ns与上一条已处理的文件监控信息ns’比较，如果两者P、T相同，则执行步骤(3)； 

否则，执行步骤(7)。 

(7)若文件更新信息ns为临时文件的操作信息，则执行步骤(3)执行； 

否则，执行步骤(8)； 

(8)ns’＝ns，将本条文件监控信息赋值给ns’，供与下一条监控信息做比较； 

(9)信息实时处理模块将ns发送给文件智能备份模块，并通知其对ns对应的文件a进行备份； 

(10)文件智能备份模块在接收到文件a的备份通知后，如果备份模式为实时备份，则文件智能备份模块将文件a进行备份，执行步骤(13)； 

否则，执行步骤(11)； 

(11)如果文件a的时间计数器T(a)小于时间阀值，则T(a)加1；否则，T(a)＝0； 

(12)如果文件a的操作次数count(a)小于次数阈值c，则对文件a进行备份，count(a)＝0，执行步骤(13)； 

否则，执行步骤(11)； 

(13)读取用户输入，如果用户要求停止文件监控，则程序执行完毕； 

否则，执行步骤(3)。 

其具体实施模式为： 

本方法中的文件监控模块、信息实时读取模块、信息实时处理模块和文件智能备份模块 是并发执行的。文件监控模块、信息实时读取模块用于获取监控信息。信息实时处理模块完成监控信息的处理，文件智能备份模块完成文件的实时或基于操作频率的备份。 

文件监控模块和信息实时读取模块共同完成监控信息的获取。文件监控模块循环进行文件监控和监控信息的内存写入操作。信息实时读取模块将获取的监控消息从内存中的读取入缓冲区和通知信息实时处理模块来读取信息。 

信息实时处理模块和文件智能备份模块分别完成信息的处理和备份操作。信息实时处理模块循环从缓冲区中读取监控信息，完成其去重和合并操作并通知文件智能备份模块完成实时的文件备份。同时文件智能备份模块还可以根据用户的选择进行同步判断时间阈值到达的文件的操作频率，进行智能备份。 

四个模块并行运行，通过消息的传递相互配合完成监控信息的实时处理和文件的备份，为文件的持续数据保护提供了基础。 

Claims (1)

1.一种实时文件监控和智能备份的方法，其特征是：该方法由文件实时监控模块、信息实时读取模块、信息实时处理模块和文件智能备份模块四个模块组成；当文件实时监控模块获取监控目录后，对该目录下的文件操作进行监控，在文件修改时能立即生成文件的操作信息，记为监控信息s，将监控信息s保存至内存后，发送通知给信息实时读取模块；信息实时读取模块得到来自文件实时监控的通知、并从内存读取监控信息s后，将监控信息保存至信息缓冲区，发送通知给信息实时处理模块要求其对该监控信息进行处理；信息实时处理模块从信息缓冲区中提取监控信息s中的文件路径P，用户对文件的四种基本操作OP包含新建、删除、修改、重命名四种类型，操作时间T，并生成处理后的文件更新信息ns＝{P，OP，T}；智能备份模块收到ns后，对文件路径P对应的文件选择两种文件备份方式之一执行：1)进行操作频率判断，当用户对文件操作频率降低到频率阈值时进行该文件的备份；2)在收到一条文件更新信息ns后直接进行该文件的实时备份，从而针对每一次文件操作都进行实时备份，即文件备份的时间间隔粒度精确到文件的每个操作；

在实现上，用户选择多个指定目录作为文件监控模块的监控目录，文件实时监控模块同步监控目录下的文件操作，并申请一定的内存空间用于存放获取的监控信息s，文件监控模块仅将该监控信息存入内存，信息实时处理模块则要完成对监控信息s的处理工作；监控和处理之间必然存在时间差异；如果信息实时处理模块直接从内存中取数据，则未来得及处理的监控信息便会被文件实时监控模块所生成的新监控信息所覆盖，产生由于信息处理不及时而造成的信息丢失现象；因此要设置信息实时读取模块，将监控信息及时从内存中取出存入信息实时读取模块的信息缓冲区中，这样既可以保证监控信息的不丢失，又保证监控信息的实时处理；

信息实时处理模块要从信息缓冲区取出并删除监控信息，而信息实时读取模块要不停的向信息缓冲区内加入新的监控信息，这样必然会导致信息实时处理模块和信息实时读取模块对信息缓冲区的竞争；为保证信息实时读取模块能将监控到的监控信息及时存入信息缓冲区，信息实时处理模块在读取并删除信息后即释放信息缓冲区控制权，然后再进行信息的处理；

信息实时处理模块对信息的处理包括四步，提取关键信息、删除重复信息、过滤临时信息和合并信息；提取关键信息即从监控信息s中取得所需的文件路径P、操作类型OP、操作时间T，并生成文件更新信息ns；在文件系统中，用户对文件的一个操作，便会引发文件的多次修改，则文件实时监控模块便会记录多条重复的s；信息实时处理模块为避免处理重复的信息，首先要进行重复信息的删除；其次，在用户对一些文档操作时中会产生一些临时文件，对临时文件的存储会造成存储空间的浪费，在此模块中实现了对临时文件的过滤；同时，文件监控模块会监控到一些并发操作，因此一次操作会监控到两条P、T相同而OP不同的文件操作信息s1和s2，因此信息实时处理模块根据P、T需要对s1、s2进行合并；

在接到信息实时处理模块处理完一条消息后，文件智能备份模块要根据用户的需求完成文件备份；若用户需要实时备份每个文件，文件智能备份模块在接收到一条文件更新信息ns后，根据ns中包含的路径P对该文件进行备份；若是用户不要求实时备份，可根据对文件操作频率的监控，记录下在时间阈值t内文件的操作次数count，仅当count小于次数阈值c时，即该文件不再被频繁操作时再对其进行备份；

(1)设置ns’为空；输入文件的时间阈值t，次数阈值c；输入用户的备份模式，备份模式可以为实时备份或者基于频率的备份；

(2)文件实时监控模块获取监控路径，文件实时监控模块进入监控状态；启动该监控路径下所有文件的时间计数器T，对于任意一个文件a，其时间计数器为T(a)；

(3)文件监控模块循环监控路径下的文件变化：一旦监控到用户对监控目录下某文件a进行了操作，设置该文件的操作次数count(a)加1；同时，文件监控模块生成文件操作信息s，并将s放入内存中；通知信息实时读取模块取走文件操作信息s；

(4)信息实时读取模块获得信息缓冲区控制权，同时将文件操作信息s从内存中取出，并放入信息缓冲区中，信息缓冲区采用先进先出的队列组织方式，信息实时读取模块释放信息缓冲区控制权；信息实时读取模块唤醒信息实时处理模块；

(5)信息实时处理模块获得信息缓冲区控制权，从信息缓冲区中取出第一条文件操作信息s；信息实时处理模块释放信息缓冲区控制权；信息实时处理模块从文件操作信息s中提取关键信息P、OP、T，生成文件更新信息ns；

(6)信息实时处理模块将当前文件监控信息ns与上一条已处理的文件监控信息ns’比较，如果两者P、T相同，则执行步骤(3)；

否则，执行步骤(7)；

(7)若文件更新信息ns为临时文件的操作信息，则执行步骤(3)执行；

否则，执行步骤(8)；

(8)ns’＝ns，将本条文件监控信息赋值给ns’，供与下一条监控信息做比较；

(9)信息实时处理模块将ns发送给文件智能备份模块，并通知其对ns对应的文件a进行备份；

(10)文件智能备份模块在接收到文件a的备份通知后，如果备份模式为实时备份，则文件智能备份模块将文件a进行备份，执行步骤(13)；

否则，执行步骤(11)；

(11)如果文件a的时间计数器T(a)小于时间阀值，则T(a)加1；否则，T(a)＝0；

(12)如果文件a的操作次数count(a)小于次数阈值c，则对文件a进行备份，count(a)＝0，执行步骤(13)；

否则，执行步骤(11)；

(13)读取用户输入，如果用户要求停止文件监控，则程序执行完毕；否则，执行步骤(3)。

Images