CN101604268B - 一种监控目录变化事件过滤方法 - Google Patents
一种监控目录变化事件过滤方法 Download PDFInfo
- Publication number
- CN101604268B CN101604268B CN2009100167738A CN200910016773A CN101604268B CN 101604268 B CN101604268 B CN 101604268B CN 2009100167738 A CN2009100167738 A CN 2009100167738A CN 200910016773 A CN200910016773 A CN 200910016773A CN 101604268 B CN101604268 B CN 101604268B
- Authority
- CN
- China
- Prior art keywords
- file
- event
- module
- backup
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000001914 filtration Methods 0.000 title claims abstract description 21
- 230000004048 modification Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 239000012467 final product Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 6
- 230000004075 alteration Effects 0.000 abstract 1
- 230000010485 coping Effects 0.000 abstract 1
- 238000012217 deletion Methods 0.000 abstract 1
- 230000037430 deletion Effects 0.000 abstract 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
Images
Abstract
本发明提供一种监控目录变化事件过滤方法，系统包括文件监控事件模块、文件拦截器模块、事件拦截器模块、文件拷贝模块各模块的作用和处理步骤如下：文件监控事件模块为了保护指定的文件目录，通常先指定保护的文件目录将它添加到文件监控列表中，文件监控事件模块(1)启动对此目录进行监控之后会实时监控目录下任何文件的变化，此目录下文件被添加、删除、修改都会触发文件监控器，根据文件变化的事件，通知到文件保护模块，从而可以进行文件备份，以实现文件保护的目的。采用本发明的方法，使其应用在数据备份系统中，能够增加磁盘备份利用率，节约备份空间从而应对数据急剧增加面临的挑战。特别是基于网络备份的话，将大大减少网络带宽的占用，从而极大的提供了备份效率。
Description
技术领域
本发明是一种监控目录变化事件过滤技术，通常用于基于文件的备份系统，旨在减少增量备份中的文件备份次数。采用“监控目录变化事件过滤”技术可以将存储的数据缩减为原来的1/10，从而让出更多的备份空间，不仅可以使磁盘上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的带宽。
技术背景
存储空间不足，一直是IT人员头痛的事，因为不只是要添购存储设备，更要面临调整存储架构后接踵而至的种种设定工作。这些工作的复杂繁琐就不用说了，在扩充存储容量的过程中，更可能需要停机，这会严重影响到企业的正常营运。
企业为了保护数据必须定期执行数据备份，这是数据快速累积的原因之一。尤其现今有些企业开始先备份到速度较快的磁盘，再逐次备份至磁带等设备，对于必须赶在当日下班至隔日上班前完成大量备份的企业而言，磁盘备份是个好方法，备份快、回复也快，但磁盘备份无疑会加速磁盘空间的消耗。
一般来说企业应用中有大量的文件和邮件，如果每次备份都将所有文件和数据进行一次全备份，那将需要非常大的存储空间。基于这个原因业界一般采用增量备份和差异备份的方式。差量备份(differential backup)不会在备份完成后清除归档块，而增量备份会在完成后清除归档块，这样就能避免有些文件不必要地再次被备份。使用归档块还能使用户真实地查看到那些文件需要备份。
无论是增量备份还是差量备份都遇到同样的一个问题，对于普通用户而言，我们常常实时备份我们的办公文件，尤其是doc、ppt文件，也就是说对于类似doc、ppt文件每次修改都希望能备份一个版本，以便万一有了问题之后能够及时的找回历史版本。文件目录就为此实现，只要用户指定了被保护目录，只有目录中的文件发生了变化才会进行数据保护。但遇到的问题时，操作系统往往在一个文件变化之后，产生了往往不止一个事件通知，有时候高达十几个，如果根据这些事件通知，可能需要备份十几次文件，显然不论从效率还是从磁盘空间使用率来考虑都是巨大的问题。
通常用于基于文件的备份系统，旨在减少增量备份中的文件备份次数。采用“监控目录变化事件过滤”技术可以将存储的数据缩减为原来的1/10，从而让出更多的备份空间，不仅可以使磁盘上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的带宽。
因此，如何提供一种方法，使其解决文件变化时，只备份一次变化的文件而不是备份每次事件变化的文件是目前数据急剧增加面临的挑战。
发明内容
本发明的目的是提供一种监控目录变化事件过滤方法。
本发明的方法是按以下方式实现的，系统体系结构包括：文件监控事件模块(1)、文件拦截器模块(2)、事件拦截器模块(3)、文件拷贝模块(4)各模块的作用和处理步骤如下：
文件监控事件模块(1)为了保护指定的文件目录，通常先指定保护的文件目录将它添加到文件监控列表中，文件监控事件模块(1)启动对此目录进行监控之后会实时监控目录下任何文件的变化，此目录下文件被添加、删除、修改都会触发文件监控器，根据文件变化的事件，通知到文件保护模块，从而可以进行文件备份，以实现文件保护的目的。
文件拦截器模块(2)一个文件经过修改之后，往往会产生好几个事件，有的文件在修改的过程中会产生很多临时文件，比如编辑一个Word doc文件会产生很多临时的以.tmp结尾的临时文件。并且这些临时文件是不断变化的，每一次变化会产生多个文件变化事件。文件拦截器模块(2)会根据文件类型，将产生的事件通过过滤，只将真实文件变化的事件传递，对于临时文件产生的事件通知全部屏蔽。
事件拦截器模块(3)一个文件修改可能会产生三次文件改变的事件，如果不进行处理，备份模块会将此文件备份三次，而实际上只需要备份一次即可。事件拦截器模块(3)将接收的文件改变事件先放到事件过滤模块缓存，通过设置一定的时间将此文件的变化事件全部都接收下来，然后过滤掉重复的事件，从而减少事件的触发，保证文件保护的效率。
文件拷贝模块(4)根据事件拦截器模块(3)发送过来的文件事件变化，将变化的文件备份到保护目录中。
本发明的有益效果是：通常用于基于文件的备份系统，旨在减少增量备份中的文件备份次数。采用“监控目录变化事件过滤”方法可以将存储的数据缩减为原来的1/10，从而让出更多的备份空间，不仅可以使磁盘上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的带宽。
假设在用户使用中，如果一个某个目录的文件被修改了100次，如果按照传统的备份方法，将收到将近1000个事件通知，也就是说，此文件可能被备份了100次，也就是这个文件产生了1000个文件版本，实际上其中绝大部分都是重复的版本，而采用这种监控目录变化事件过滤技术，只会产生100次的数据备份，与用户使用的次数是完全吻合的。特别是基于网络备份的话，将大大减少网络带宽的占用，从而极大的提供了备份效率。
因此，采用本发明的方法，使其应用在数据备份系统中，能够增加磁盘备份利用率，节约备份空间从而应对数据急剧增加面临的挑战。
附图说明
附图1正常监控到目录事件变化数量图；
附图2采用过滤技术监控到目录事件变化数量图；
附图3采用过滤技术模块的结构图。
具体实施方式
下面参照附图，对本发明的内容以一个具体实例来描述实现这一体系结构的过程。
文件监控事件模块(1)为了保护指定的文件目录，通常先指定保护的文件目录将它添加到文件监控列表中，文件监控事件模块(1)启动对此目录进行监控之后会实时监控目录下任何文件的变化，此目录下文件被添加、删除、修改都会触发文件监控器，根据文件变化的事件，通知到文件保护模块，从而可以进行文件备份，以实现文件保护的目的。
文件拦截器模块(2)一个文件经过修改之后，往往会产生好几个事件，有的文件在修改的过程中会产生很多临时文件，比如编辑一个Word doc文件会产生很多临时的以.tmp结尾的临时文件。并且这些临时文件是不断变化的，每一次变化会产生多个文件变化事件。文件拦截器模块(2)会根据文件类型，将产生的事件通过过滤，只将真实文件变化的事件传递，对于临时文件产生的事件通知全部屏蔽。
事件拦截器模块(3)一个文件修改可能会产生三次文件改变的事件，如果不进行处理，备份模块会将此文件备份三次，而实际上只需要备份一次即可。事件拦截器模块(3)将接收的文件改变事件先放到事件过滤模块缓存，通过设置一定的时间将此文件的变化事件全部都接收下来，然后过滤掉重复的事件，从而减少事件的触发，保证文件保护的效率。
文件拷贝模块(4)根据事件拦截器模块(3)发送过来的文件事件变化，将变化的文件备份到保护目录中。
在文件拦截器模块(2)体系结构中，包含事件过滤模块，事件过滤模块为每一个文件事件生成唯一的HASH散列，当下次文件事件变化与这次的HASH散列一致时，表示两个事件通知是相同的，则只保留一个。从而保证单个文件事件通知的唯一性。
在文件拦截器模块(2)体系结构中，包含一个定时模块，针对每一个文件的事件变化设置一个间隔，当接收到第一个事件通知时定时启动，当时间完成，比较这个文件所有接收到的事件通知，并且将去重后的事件通知转发到文件拷贝模块(4)。
实施例
在附图1中，描述的是一个文件经过修改，将会产生多个文件变化的事件通知，其中实线表示的是被保护文件产生的时间通知，比如可能产生了三次的文件变化(change)事件，虚线表示的是被保护文件产生的临时文件也会产生多少事件通知。比如word文档编辑时会产生多个临时文件，每个临时文件都会产生若干过文件变化事件通知，从图一可以看出，如果不进行处理，最后文件备份的时候，将会将此文件备份很多次，而实际上只需要备份一次。
在附图2中，可以看出和附图1的流程相比，经过文件拦截器和事件拦截器两次事件过滤之后，修改一次的文件事件通知将大大的减少，一般为每修改一次，只产生一次事件通知，其它多余的事件通知都被过滤掉了。
至此，已经完整实现了整个基于目录监控事件过滤的数据备份的过程，这种技术与传统的重增量备份技术不一样之处在于引入了监控文件变化事件过滤，而不仅仅是考虑文件是否发生了变化。
因此采用这种技术，使其应用在数据备份系统中，能够增加磁盘备份利用率，节约备份空间从而应对数据急剧增加面临的挑战。
Claims (3)
1.一种监控目录变化事件过滤方法，其特征在于，该系统包括：文件监控事件模块(1)、文件拦截器模块(2)、事件拦截器模块(3)、文件拷贝模块(4)，各模块的作用及处理步骤如下：
文件监控事件模块(1)为了保护指定的文件目录，先指定保护的文件目录将它添加到文件监控列表中，文件监控事件模块(1)启动对此目录进行监控之后会实时监控目录下任何文件的变化，此目录下文件被添加、删除、修改都会触发文件监控事件模块，根据文件变化的事件，通知到文件拷贝模块(4)，进行文件备份，以实现文件保护的目的；
文件拦截器模块(2)，一个文件经过修改之后，往往会产生好几个事件，有的文件在修改的过程中会产生很多临时文件，并且这些临时文件是不断变化的，每一次变化会产生多个文件变化事件，文件拦截器模块(2)会根据文件类型，将产生的事件通过过滤，只将真实文件变化的事件传递，对于临时文件产生的事件通知全部屏蔽；
事件拦截器模块(3)，一个文件修改会产生三次文件改变的事件，不进行处理，文件拷贝模块(4)会将此文件备份三次，而实际上只需要备份一次即可，事件拦截器模块(3)将接收的文件改变事件先放到事件拦截器模块中缓存，通过设置一定的时间将此文件的变化事件全部都接收下来，然后过滤掉重复的事件，从而减少事件的触发，保证文件保护的效率；
文件拷贝模块(4)根据事件拦截器模块(3)发送过来的文件事件变化，将变化的文件备份到保护目录中。
2.根据权利要求1所述的方法，其特征在于，在事件拦截器模块(3)，包含事件过滤模块，事件过滤模块为每一个文件事件生成唯一的HASH散列，当下次文件事件变化与这次的HASH散列一致时，表示两个事件通知是相同的，则只保留一个，从而保证单个文件事件通知的唯一性。
3.根据权利要求2所述的方法，其特征在于，事件拦截器模块(3)，包含一个定时模块，针对每一个文件的事件变化设置一个间隔，当接收到第一个事件通知时定时启动，当时间完成，比较这个文件所有接收到的事件通知，并且将去重后的事件通知转发到文件拷贝模块(4)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100167738A CN101604268B (zh) | 2009-07-13 | 2009-07-13 | 一种监控目录变化事件过滤方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100167738A CN101604268B (zh) | 2009-07-13 | 2009-07-13 | 一种监控目录变化事件过滤方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101604268A CN101604268A (zh) | 2009-12-16 |
| CN101604268B true CN101604268B (zh) | 2011-04-06 |
Family
ID=41470009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009100167738A Active CN101604268B (zh) | 2009-07-13 | 2009-07-13 | 一种监控目录变化事件过滤方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101604268B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8423735B2 (en) * | 2010-05-21 | 2013-04-16 | International Business Machines Corporation | Space reservation in a deduplication system |
| CN102354293B (zh) * | 2011-09-16 | 2013-06-26 | 浪潮(北京)电子信息产业有限公司 | 一种实现文件差异备份的系统及方法 |
| CN102331956A (zh) * | 2011-09-29 | 2012-01-25 | 奇智软件（北京）有限公司 | 一种用户数据备份方法及装置 |
| CN102541986A (zh) * | 2011-10-27 | 2012-07-04 | 梁松 | 一种文件操作监控审计方法 |
| CN102929998A (zh) * | 2012-10-25 | 2013-02-13 | 浪潮(北京)电子信息产业有限公司 | 一种文件增量截获方法和装置 |
| CN103226593B (zh) * | 2013-04-17 | 2016-08-24 | 马鞍山百助网络科技有限公司 | 一种文件系统的管理方法及其文件存储终端 |
| CN103473163B (zh) * | 2013-09-11 | 2016-10-26 | 腾讯科技（深圳）有限公司 | 应用程序检测方法及装置 |
| CN103634324B (zh) * | 2013-12-09 | 2017-10-31 | 飞天诚信科技股份有限公司 | 一种实时监控证书的方法 |
| CN103679002B (zh) * | 2013-12-12 | 2016-09-28 | 小米科技有限责任公司 | 监控文件变化的方法、装置及服务器 |
| CN105320576A (zh) * | 2014-05-30 | 2016-02-10 | 中国电信股份有限公司 | 数据库备份装置与方法 |
| CN105471604A (zh) * | 2014-08-19 | 2016-04-06 | 中兴通讯股份有限公司 | 一种定制事件通知的方法、服务器和系统 |
| CN105069065A (zh) * | 2015-07-29 | 2015-11-18 | 浪潮(北京)电子信息产业有限公司 | 一种文件监控方法及系统 |
| US10439968B2 (en) * | 2016-01-27 | 2019-10-08 | Microsoft Technology Licensing, Llc | Activity notification system |
| CN106383900A (zh) * | 2016-09-29 | 2017-02-08 | 郑州云海信息技术有限公司 | 一种防止Sybase数据库中数据文件误删除的方法及系统 |
| CN110442466A (zh) * | 2019-06-14 | 2019-11-12 | 平安科技（深圳）有限公司 | 防止请求重复访问方法、装置、计算机设备及存储介质 |
| CN110569172B (zh) * | 2019-09-11 | 2023-04-07 | 贵州电网有限责任公司 | 一种业务层级的性能监控系统 |
| CN115001876B (zh) * | 2022-08-05 | 2023-04-21 | 深圳市亿联无限科技有限公司 | Wan侧保护网关的方法、系统、终端设备及存储介质 |
-
2009
- 2009-07-13 CN CN2009100167738A patent/CN101604268B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN101604268A (zh) | 2009-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101604268B (zh) | 一种监控目录变化事件过滤方法 | |
| CN105389230B (zh) | 一种结合快照技术的持续数据保护系统及方法 | |
| CN102521083B (zh) | 一种云计算系统中虚拟机备份方法和系统 | |
| CN103778034B (zh) | 基于云存储的数据备份容灾方法及系统 | |
| CN101650677A (zh) | 一种基于Delta增量的文件数据备份方法 | |
| WO2008061897A2 (de) | Verfahren und vorrichtung zur datenarchivierung durch vergleich von hash-werten | |
| EP2434685A1 (en) | Method and system for processing telephone bill | |
| CN101833489A (zh) | 一种文件实时监控和智能备份的方法 | |
| KR101429575B1 (ko) | 데이터베이스의 실시간 백업 시스템, 데이터 복구 시스템 및 데이터 복구 방법 | |
| CN107256182A (zh) | 一种数据库还原的方法及设备 | |
| CN101719165A (zh) | 一种实现数据库高效快速备份的方法 | |
| CN102880531A (zh) | 数据库备份系统及其备份方法和从数据库服务器 | |
| CN101359301A (zh) | 一种自动快照的方法及设备 | |
| CN103853837A (zh) | Oracle全自动不停生产数据库的表级备份恢复方法 | |
| CA2472443A1 (en) | System and method for highspeed and bulk backup | |
| CN105550062A (zh) | 基于持续数据保护与时间点浏览恢复的数据回流方法 | |
| CN109325075A (zh) | 一种基于定时备份的Oracle及时挂载恢复系统及方法 | |
| CN103064833A (zh) | 一种清理数据库历史数据的方法和系统 | |
| CN102541940A (zh) | 一种工业数据库数据完整性管控方法 | |
| CN110083490A (zh) | 一种数据库备份方法、还原方法以及存储介质 | |
| CN108874590A (zh) | 一种云主机自动备份与恢复的系统 | |
| CN109783277B (zh) | 灾备端、生产端及两者之间的数据恢复方法 | |
| CN105868361A (zh) | 一种数据更新方法和装置 | |
| CN102316131A (zh) | 云平台系统智能备份 | |
| CN105955843A (zh) | 一种用于数据库恢复的方法与设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |