CN104216806B - 一种文件系统序列化操作日志的捕获与传输方法及其装置 - Google Patents

Abstract

本发明公开了一种文件系统序列化操作日志的捕获与传输方法及其装置。本方法为：1)规则模块将设定的复制规则发送到捕获模块；2)捕获模块对复制规则中指定监控的文件和目录的I/O操作信息进行实时捕获，并生成序列化I/O操作日志；3)缓存模块将序列化I/O操作日志从内核态拷贝到用户态，并针对不同复制规则捕获生成的序列化I/O操作日志采用不同的缓存队列进行缓存；4)本地网络模块根据复制规则中目标灾备机地址以及工作机上监控的目录建立网络数据通道，将不同缓存队列中的数据采用对应的网络数据通道发送到不同备灾机中并本地保存。本发明既保证了对原始数据备份的一致性要求，也保证了对备份后数据中以往任意操作点的可恢复性。

Description

一种文件系统序列化操作日志的捕获与传输方法及其装置

技术领域

本发明属于计算机数据容灾和备份技术领域，涉及一种文件系统序列化操作日志的捕获和传输装置及其方法，可用于远程数据容灾和备份软件中，以保护本地文件系统的关键数据，能够将实时捕获的文件系统序列化操作日志，通过并行化网络传输到远程灾备机器上，既保证了对于原始数据备份的数据一致性要求，也保证了对备份后数据中以往任意操作点的可恢复性。

背景技术

传统的数据容灾和备份技术，是对本地文件系统上的关键数据，进行定期的完全或增量备份，并使用去重技术来减少对存储空间的耗费来实现的。

上述技术存在如下几个主要缺陷，不能满足更高要求的容灾和备份应用需求：(1)传统的数据容灾和灾备技术，为了保证数据一致性，需要对生产设备相关状态进行暂时冻结或进行快照，然后进行定期的完全或增量备份，无法在用户使用过程中实时捕获增量修改，并以接近实时(取决于网络速度)地同步保证数据同步，备份时间粒度、系统开销需求都远远超过本发明；(2)传统的备份技术由于未能保存序列化的操作日志，在恢复数据粒度上取决于定期备份的精度，而使用本发明的恢复精度达到了系统每次I/O操作的级别，远远高于传统容灾备份技术；(3)传统的备份技术需要考虑使用额外的数据去重技术来减少对存储空间的需求，增加了系统资源和处理开销。而本装置中传输和保存的都是I/O操作级别的增量数据，节省了存储和处理开销。

发明内容

本发明的目的在于提供一种文件系统序列化操作日志的捕获和传输方法及其装置，通过捕获本地文件系统的序列化I/O操作日志，并通过使用基于规则的应用缓存队列、多线程多规则并发机制，以及网络保序机制，异步实时将灾备数据传输到远端灾备机器上保存起来，既保证了灾备数据和原始数据的同步一致性；通过本发明提供的序列化操作日志支持，在灾备恢复时能指定恢复到任意操作点，可以实现指定具体哪个进程(who)、什么时间点(when)、针对哪个文件(which)、文件的操作位置(where)，以及具体操作内容(what)的可针对性恢复；通过本发明的增量序列化操作日志复制，节省了存储空间，并减少了系统处理资源开销。

本发明的技术方案为：

一种文件系统序列化操作日志的捕获与传输方法，其步骤为：

1)规则模块将设定的复制规则发送到捕获模块；所述复制规则中的信息包括指定文件和目录、目标备灾机地址、灾备路径和工作机地址；

2)捕获模块对复制规则中指定监控的文件和目录的I/O操作信息进行实时捕获，并生成序列化I/O操作日志；

3)缓存模块将序列化I/O操作日志从内核态拷贝到用户态，并针对不同复制规则捕获生成的序列化I/O操作日志采用不同的缓存队列进行缓存；

4)本地网络模块根据复制规则中目标灾备机地址以及工作机上监控的目录建立网络数据通道，将不同缓存队列中的数据采用对应的网络数据通道发送到不同备灾机中并本地保存。

进一步的，所述序列化操作日志包括：I/O操作发生的时间、发起的进程、操作具体针对哪个文件、文件的具体操作位置、操作的内容。

进一步的，生成所述序列化I/O操作日志的方法为：捕获模块根据捕获的系统I/O操作信息，对系统I/O操作的类型进行识别；并且使用分类匹配算法，将捕获的I/O操作信息中包含的相关路径信息与下发的复制规则进行匹配，判断I/O操作是否在复制规则范围之内，如果是，则对其进行递增的唯一标记，并保存其产生的时间戳信息；同时在捕获一I/O操作时，为其设置一并行互斥锁，保证此I/O操作进入对应的缓存队列之前的所有指令是不能被中断的原子操作。

进一步的，所述序列化I/O操作日志按先进先出的队列形式来缓存；每一所述缓存队列分成四个部分：已发送但未确认的数据，等待发送的数据，已保存在磁盘中的数据，新加入的数据。

进一步的，所述捕获模块截获每一I/O操作时，为该操作的操作日志记录一个序列化的递增的唯一数字序号，目标灾备机根据数字序号对收到的I/O操作日志重新进行I/O操作序列化。

进一步的，所述本地网络模块对每个序列化I/O操作日志的数据包设置一递增的包序列号，目标灾备机在收到若干个数据包后发送最新收到的包序列号给该本地网络模块进行确认，该本地网络模块删除缓存队列中已确认的数据包；如果目标灾备机发现有丢包则发送包序列错误的消息，该本地网络模块找到对应序列号的数据包重新发送。

进一步的，在Linux操作系统上，所述捕获模块利用堆叠式文件系统中的VFS层对I/O操作进行截获；在Windows操作系统上，所述捕获模块通过可加载的文件系统IFS对I/O请求包进行截获；所述复制规则还包括是否压缩、加密以及带宽控制处理策略参数。

一种文件系统序列化操作日志的捕获与传输装置，其特征在于包括通过网络连接的若干工作机和若干备灾机；每一工作机上包括规则模块、捕获模块、缓存模块、本地网络模块；

其中，所述规则模块，用于将设定的复制规则发送到捕获模块；所述复制规则中的信息包括指定文件和目录、目标备灾机地址；

所述捕获模块，用于对复制规则中指定监控的文件和目录的I/O操作信息进行实时捕获，并生成序列化I/O操作日志；

所述缓存模块，用于将序列化I/O操作日志从内核态拷贝到用户态，并针对不同复制规则捕获生成的序列化I/O操作日志采用不同的缓存队列进行缓存；

所述本地网络模块，用于根据复制规则中目标灾备机地址以及工作机上监控的目录建立网络数据通道，将不同缓存队列中的数据采用对应的网络数据通道发送到不同备灾机中并本地保存。

进一步的，所述序列化操作日志包括：I/O操作发生的时间、发起的进程、操作具体针对哪个文件、文件的具体操作位置、操作的内容。

进一步的，所述捕获模块截获每一I/O操作时，为该操作的操作日志记录一个序列化的递增的唯一数字序号，目标灾备机根据数字序号对收到的I/O操作日志重新进行I/O操作序列化；所述复制规则还包括是否压缩、加密以及带宽控制处理策略参数；所述本地网络模块对每个序列化I/O操作日志的数据包设置一递增的包序列号，目标灾备机在收到若干个数据包后发送最新收到的包序列号给该本地网络模块进行确认，该本地网络模块删除缓存队列中已确认的数据包；如果目标灾备机发现有丢包则发送包序列错误的消息，该本地网络模块找到对应序列号的数据包重新发送。

本装置的上述发明是通过如下的系统模块结构和技术方案实现的：

本发明装置主要包含有规则模块、捕获模块、本地缓存模块、本地网络模块，以及远程网络模块。

其中规则模块用于管理复制规则，复制规则指定工作机上需要进行捕获序列化操作的文件和目录、指定灾备机地址、灾备路径等传输目的，以及设定传输是否进行加密、压缩、带宽控制等处理策略，复制规则还包含有识别规则的UUID、以及工作机地址等信息；捕获模块进行序列化操作的捕获；本地缓存模块主要解决生产机(即工作机)系统资源和性能之间的平衡问题；本地和远程网络模块用于并行异步的网络传输。

本发明装置主要的技术要点及方法步骤如下：

1.文件系统序列化I/O操作日志的实时捕获

应用程序在对文件系统中具体文件进行读写I/O操作时，通常都是通过调用操作系统的API接口函数来实现，系统产生I/O操作的序列化请求包，发送到文件系统和底层设备驱动，才将应用程序需要保存的数据保存到硬件存储设备上。本发明通过加载文件系统的操作捕获模块，并通过规则模块下发复制规则到捕获模块，对指定的目录和文件进行监控，实时透明截获规则指定的上层应用程序传递的I/O操作请求。本发明装置在Linux操作系统上通过堆叠式文件系统(StackableFilesystem)中VFS(VirtualFileSystem)层对I/O操作进行截获，在Windows操作系统上通过可加载的文件系统(InstallableFileSystem，IFS)对IRP(I/O请求包)进行截获。捕获模块通过对I/O操作信息的序列化获取，将各个I/O操作发生的时间(when)、发起的进程(who)、操作具体针对哪个文件(which)、文件的具体操作位置(where)、操作的内容(what)组织成序列化操作日志。

建立在现代多核并行处理结构之上的硬件体系和操作系统，基于性能考虑，其I/O操作是异步并发分层传递的，本系统的捕获模块位于操作系统的应用程序接口和系统缓存机制(例如PageCache和BufferCache)之间，也存在系统内的I/O并发、异步和缓存处理导致的乱序问题，而对于文件和目录、特别是数据库操作，必须进行严格的序列化处理，才能保证灾备端的数据和工作机的实时同步以及数据一致性。

捕获模块提供了基于规则的序列化IO队列，首先通过提取捕获的系统I/O操作相关引用和堆栈信息，对系统I/O操作的类型进行识别；同时通过使用优化的CSAC(ClassificationonSelf-AdaptiveCache)分类匹配算法，将此捕获的I/O操作信息中包含的相关路径信息和用编译下发的规则进行匹配，判断I/O操作是否在复制规则范围之内；如果此I/O操作符合规则，则对其进行规则内的递增唯一标记，以及保存其产生的时间戳信息；同时在捕获发生时，就设置并行互斥锁，保证此I/O操作进入规则缓存队列之前的所有指令是不能被中断的原子操作。通过以上步骤，将可能乱序传递的捕获I/O操作进行序列化标记，放入待上传工作机应用层的缓存队列。

2.注意此时I/O操作日志中虽然进行了序列化处理，但由于内核数据上传以及应用线程调度等原因，应用层发送队列中的数据发送次序，以及灾备机接收到的I/O操作日志顺序，却不一定是按照序列化排列的，需要在灾备端进一步按照序号标记进行序列化处理，后面也会提到相关内容。序列化I/O操作日志的传输缓存机制

本发明将序列化I/O操作日志通过对应系统环境提供的数据拷贝机制(例如linux下的netlink和windows下的CommunicationPort)从内核态拷贝到用户态，然后再将这些操作日志缓存在内存或磁盘中等待网络传输到远端的灾备机。缓存队列的作用是序列化I/O操作日志产生的速度高于网络的传输的速度时保证I/O不受影响且操作的日志不会丢失。序列化I/O操作日志按先进先出的队列形式来缓存，缓存队列的组织方式是按每规则(对于规则的解释见3中关于的描述)来分开存储的，即由规则模块下发到捕获模块中的每一条复制规则都拥有各自对应的独立的缓存队列，这样在后续发送到灾备机的过程中，就可以进行并发的异步传输，提高系统效率。在本发明中的本地缓存模块将一个独立的缓存队列分成四个部分：sended——已发送但未确认的数据(数据即指队列中的序列化I/O操作日志)，ready——等待发送的数据，save——保存在磁盘中的数据，new——新加入的数据。sended数据是在网络传输出错时用来重新发送的，ready数据是马上能用来网络发送的数据，save数据是缓存在磁盘中的数据，在内存紧张时由new转存到磁盘上,new数据是新加入队列的数据，即刚从内核态收上来的数据。为了合理的利用内存和磁盘的资源并减少性能瓶颈，sended，ready，new的数据都在内存中，提高数据的存取速度，save的数据在磁盘上，通过先进先出(FIFO)调度策略转换到ready中，sended，ready有内存使用限制，new根据内存的情况决定内存使用量，save对磁盘的使用受磁盘资源的限制。

3.基于规则的数据并行网络传输处理

本发明中，缓存在2所描述队列中的序列化I/O操作日志这些数据需要通过网络的方式从本地工作机传输到远端灾备机，传输数据的准备和接收数据的处理，统称为网络传输处理，是装置系统中重要的组成，包含了本地网络模块和对应的远程网络模块。本发明中的规则是指：工作机地址，灾备机地址，工作机上监控的源目录为主要元素构成的一个组合，若改变其中任何一个元素又构成一个新的组合，一个组合称为一条规则。在工作机和灾备机都可以设定多条规则，每条规则有独立的网络数据通道，数据的网络传输处理基于不同的网络数据通道用不同的线程来并行处理，提高不同规则的并行处理能力。

4.序列化I/O操作日志的保序机制

文件系统的I/O操作通常是要求序列化的，因此这些操作日志也必须保持他原有的操作次序。正如上文所描述的，截获模块在I/O操作被截获时的次序是已经经过序列化处理的，但在内核态的截获模块向用户态拷贝过程中或在网络传输的过程中，由于拷贝的机制和线程调度的原因有可能导致这种次序被打乱，这种次序被打乱会破坏数据的一致性。工作机为保证I/O操作被截获时的次序真实正确的提供给灾备机，在I/O操作被截获时通过对系统I/O操作的类型识别、规则匹配度判断、操作发生标记，以及上下文互斥时间戳同步技术，为每个操作日志在规则缓存队列内，记录一个序列化的递增的唯一数字序号。虽然工作机捕获的I/O操作已经做了序列化标记处理，但由于内核数据上传以及应用层调度，灾备机收到的I/O操作日志，还是可能会存在乱序情况，灾备机接受模块还需要对个别乱序通过日志记录中的数字序号重新将I/O操作序列化。这种保序机制的数字序号递增是在每规则内进行的，并且需要通过滑动窗口判断，重新序列化时对此规则队列内的序号进行溢出翻转处理。

5.序列化I/O操作日志的网络发送和接收异步操作

本发明为减少线程调度的开销和网络的吞吐率，网络传输采用异步的方式。因为采用异步传输方式，为确保I/O操作日志在传输的过程中不被丢失，工作机在每个操作日志的数据包都要加入递增的包序列号，灾备机在收到若干个数据包后发送最新收到的包序列号，工作机则删除已发送的规则队列内确认的数据包，如果灾备机发现有丢包则发送包序列错误的消息，工作机找到按要求的序列号重新发送数据包。数据包的序列号的递增和确认是在每个规则的网络数据通道中实现的，即规则间互不影响。

本发明的优点和积极效果如下：

1.本发明通过将文件系统序列化I/O操作日志实时捕获并传输到灾备端，通过使用多规则队列并发异步处理机制，在尽可能短的时间内保证了源数据和灾备数据的一致性；

2.本发明通过保存捕获的文件系统序列化I/O操作日志，保证了灾备信息的完整性，使容灾系统可以做到针对指定进程(who)，在指定时间(when)，对指定文件(which)，指定文件的位置(where)，以及指定的操作内容(what)进行恢复，大大提高了容灾恢复的精确性和灵活程度；

3.本发明通过保存规则内的文件系统序列化I/O操作的增量数据，最大限度减少了对备份存储空间的要求。

附图说明

图1本发明的装置系统结构图；

图2本发明的文件系统序列化I/O操作捕获的示意图；

图3本发明的文件系统序列化I/O操作并行网络传输的交互图。

具体实施方式

以下是参照附图对本发明的一种文件系统序列化操作日志的捕获和传输装置及其方法进行详细说明。

图1为本装置的系统结构图。

首先用户通过规则模块下发指定文件和目录、传输目的，以及压缩、加密、带宽控制等处理策略参数的复制规则到捕获模块，来决定捕获和传递哪些指定文件和目录的序列化操作日志，这样可以在各个数据流进行各自的策略化处理，同时由于各个复制规则之间是由不同的发送和接收线程并行处理的，所以各个数据流也是进行并行化处理。

当应用程序在对文件系统中复制规则指定的文件或目录进行读、写等访问操作时，会通过系统API调用传递给操作系统内核处理，在主流操作系统支持下，本装置在文件系统数据通道上加载对应的堆叠式文件系统或可加载文件系统捕获模块，截获文件操作序列化的I/O操作数据流或IRP(I/O请求包)。例如在Linux系统中，通过可堆叠文件系统(StackableFilesystem)的VFS(VirtualFileSystem)架构的支持，对inode操作(例如create、link、unlink、mkdir、rmdir、rename、setattr等操作)、file操作(例如open、flush、llseek、write、aio_write、release等操作)，以及address_space操作(例如writepage、prepare_write、commit_write等操作)进行截获；在Windows系统中，通过可加载的文件系统(InstallableFileSystem)的FileSystemFilter架构的支持，对IRP_MJ_SET_INFORMATION、IRP_MJ_SET_SECURITY、IRP_MJ_CREATE、IRP_MJ_WRITE、IRP_MJ_CLOSE等IRP操作进行截获，将各个I/O操作发生的时间(when)、发起的进程(who)、操作具体针对哪个文件(which)、文件的具体操作位置(where)、操作的内容(what)组织成序列化操作日志。

图2即为本装置捕获模块中文件系统序列化I/O操作捕获的示意图。

在获得序列化的I/O操作数据流以后，本装置通过对应系统环境提供的内存空间地址转换管道(例如linux下的netlink机制，以及windows下的CommunicationPort)，将数据从内核态传递到用户态。缓存模块的作用是序列化I/O操作日志产生的速度高于网络的传输的速度时，保证I/O不受影响且操作的日志不会丢失。本装置的本地缓存模块根据当前系统资源状态(CPU、内存、网络等使用情况)，决定是将数据先缓存到磁盘，后期再发往网络模块处理，还是直接发往本地网络模块处理，以保证不影响本地工作机正常的生产服务。

图3为该装置本地及远程网络模块中的文件系统序列化I/O操作传输交互图

本装置根据策略规则在生产机和远程的灾备机之间建立起网络数据通道，将序列化的I/O操作根据规则分配给对应的网络数据通道，并根据数据通道的收发情况，决定是否需要先缓存I/O操作到本地存储，而发送模块会根据序列号优先将缓存处理完毕。

本装置将基于规则的序列化I/O操作通过对应网络数据通道，以实现I/O操作数据的并行发送传输。

本装置在每个I/O操作包上都带有操作序号和规则信息，在传递I/O操作数据时，始终通过保证I/O操作的序号来保证文件的一致性。

本装置的网络传输基于UDT平台，保证了网络发送和接收异步操作的可靠性。

最后应说明的是：以上实施例仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种文件系统序列化操作日志的捕获与传输方法，其步骤为：

1)规则模块将设定的复制规则发送到捕获模块；所述复制规则中的信息包括指定文件和目录、目标灾备机地址、灾备路径和工作机地址；

2)捕获模块对复制规则中指定监控的文件和目录的I/O操作信息进行实时捕获，并生成序列化I/O操作日志；

3)缓存模块将序列化I/O操作日志从内核态拷贝到用户态，并针对不同复制规则捕获生成的序列化I/O操作日志采用不同的缓存队列进行缓存；

4)本地网络模块根据复制规则中目标灾备机地址以及工作机上监控的目录建立网络数据通道，将不同缓存队列中的数据采用对应的网络数据通道发送到不同灾备机中并本地保存；

其中，生成所述序列化I/O操作日志的方法为：捕获模块根据捕获的I/O操作信息，对I/O操作的类型进行识别；并且使用分类匹配算法，将捕获的I/O操作信息中包含的相关路径信息与下发的复制规则进行匹配，判断I/O操作是否在复制规则范围之内，如果是，则对其进行递增的唯一标记，并保存其产生的时间戳信息；同时在捕获一I/O操作时，为其设置一并行互斥锁，保证此I/O操作进入对应的缓存队列之前的所有指令是不能被中断的原子操作。

2.如权利要求1所述的方法，其特征在于所述序列化操作日志包括：I/O操作发生的时间、发起的进程、操作具体针对哪个文件、文件的具体操作位置、操作的内容。

3.如权利要求1所述的方法，其特征在于所述序列化I/O操作日志按先进先出的队列形式来缓存；每一所述缓存队列分成四个部分：已发送但未确认的数据，等待发送的数据，已保存在磁盘中的数据，新加入的数据。

4.如权利要求3所述的方法，其特征在于所述捕获模块截获每一I/O操作时，为该操作的操作日志记录一个序列化的递增的唯一数字序号，灾备机根据数字序号对收到的I/O操作日志重新进行I/O操作序列化。

5.如权利要求1或2所述的方法，其特征在于所述本地网络模块对每个序列化I/O操作日志的数据包设置一递增的包序列号，灾备机在收到若干个数据包后发送最新收到的包序列号给该本地网络模块进行确认，该本地网络模块删除缓存队列中已确认的数据包；如果灾备机发现有丢包则发送包序列错误的消息，该本地网络模块找到对应序列号的数据包重新发送。

6.如权利要求1或2所述的方法，其特征在于在Linux操作系统上，所述捕获模块利用堆叠式文件系统中的VFS层对I/O操作进行截获；在Windows操作系统上，所述捕获模块通过可加载的文件系统IFS对I/O请求包进行截获；所述复制规则还包括是否压缩、加密以及带宽控制处理策略参数。

7.一种文件系统序列化操作日志的捕获与传输装置，其特征在于包括通过网络连接的若干工作机和若干灾备机；每一工作机上包括规则模块、捕获模块、缓存模块、本地网络模块；

其中，所述规则模块，用于将设定的复制规则发送到捕获模块；所述复制规则中的信息包括指定文件和目录、目标灾备机地址；

所述捕获模块，用于对复制规则中指定监控的文件和目录的I/O操作信息进行实时捕获，并生成序列化I/O操作日志；其中，捕获模块根据捕获的I/O操作信息，对I/O操作的类型进行识别；并且使用分类匹配算法，将捕获的I/O操作信息中包含的相关路径信息与下发的复制规则进行匹配，判断I/O操作是否在复制规则范围之内，如果是，则对其进行递增的唯一标记，并保存其产生的时间戳信息；同时在捕获一I/O操作时，为其设置一并行互斥锁，保证此I/O操作进入对应的缓存队列之前的所有指令是不能被中断的原子操作，生成所述序列化I/O操作日志；

所述缓存模块，用于将序列化I/O操作日志从内核态拷贝到用户态，并针对不同复制规则捕获生成的序列化I/O操作日志采用不同的缓存队列进行缓存；

所述本地网络模块，用于根据复制规则中目标灾备机地址以及工作机上监控的目录建立网络数据通道，将不同缓存队列中的数据采用对应的网络数据通道发送到不同灾备机中并本地保存。

8.如权利要求7所述的装置，其特征在于所述序列化操作日志包括：I/O操作发生的时间、发起的进程、操作具体针对哪个文件、文件的具体操作位置、操作的内容。

9.如权利要求7或8所述的装置，其特征在于所述捕获模块截获每一I/O操作时，为该操作的操作日志记录一个序列化的递增的唯一数字序号，灾备机根据数字序号对收到的I/O操作日志重新进行I/O操作序列化；所述复制规则还包括是否压缩、加密以及带宽控制处理策略参数；所述本地网络模块对每个序列化I/O操作日志的数据包设置一递增的包序列号，灾备机在收到若干个数据包后发送最新收到的包序列号给该本地网络模块进行确认，该本地网络模块删除缓存队列中已确认的数据包；如果灾备机发现有丢包则发送包序列错误的消息，该本地网络模块找到对应序列号的数据包重新发送。