CN101770412A - 一种连续数据缓存系统及其数据缓存方法 - Google Patents

Abstract

一种连续数据缓存系统及其数据缓存方法，属于计算机数据存储系统和备份方法，解决由于突发I/O与网络性能波动带来的连续数据捕获能力与保护能力不匹配的问题。本发明的系统，由内核缓存区、用户缓存区、内核模块和守护进程模块组成。本发明的方法，包括初始化、内核缓存区数据存储、用户缓存区数据存储以及用户缓存区数据发送步骤。本发明的系统采用内核缓存和用户缓存二级缓存机制，构建在TCP/IP协议上，性能开销小，降低了客户节点复杂性。本发明的方法采用较小的内核缓存区和较大的用户缓存区，降低内核处理的复杂度，并且提出缓存预判算法，及时分配或者回收用户缓存区节点，使得用户缓存区的利用率最优化，节约系统内存资源。

Description

一种连续数据缓存系统及其数据缓存方法

技术领域

本发明属于计算机数据存储系统和备份方法，具体涉及一种连续数据缓存系统及其数据缓存方法。

背景技术

连续数据保护(Continuous Data Protection，CDP)方法，在不影响业务数据运行的前提下，可以实现持续捕捉或跟踪目标数据所发生的任何改变，并且能够恢复到此前任意时间点。它可以保护从某时刻开始的卷或者文件在此后的任意时刻的数据状态，也就是数据的每次改变，都会被无一遗漏地记录下来。由于此特性，使得CDP具有任意的恢复点目标和短的恢复时间目标，即微粒度性的优点。同时，连续数据保护方法对存储系统的性能和空间提出了更高的要求，每个写操作都有额外的性能开销。因此，如何尽可能地降低每个写操作的开销对整个系统带来的负面影响则成为一个重要的课题。由于连续数据保护系统需要将保护的数据传输到远端CDP服务器，以便能够实现容灾，而网络波动是不可避免的，因此缓存机制设计的好坏对连续数据保护系统数据保护能力的影响是相当大的，如果设计不当，很容易成为整个系统的瓶颈。

陈丽波，吴庆波在“Linux内核跟踪机制LTT的研究”(计算机工程2005年31期61-63)一文中，公开一种Linux跟踪工具包(Linux TraceToolkit，LTT)，其由探测内核模块、数据收集模块、数据提交守护进程模块、数据表示分析模块4部分组成，前2个模块是运行于操作系统内核层，后2个模块运行在操作系统应用层，而且LTT的开销小于2.5％，对系统性能的影响很小。

杨庆等设计一种磁盘阵列架构，该系统提供了连续数据保护功能，但是他们的系统是通过iSCSI协议实现连续数据保护功能，但是这种方式需要在客户节点实现对远程CDP备份空间的管理，在可靠性、性能开销、复杂性上都会产生一定的问题；见Q.Yang，W.Xiao，and J.Ren.TRAP-Array：A disk array architecture providing timely recovery to anypoint-in-time.In Proceedings of International Symposium on ComputerArchitecture，2006。

发明内容

本发明提供一种连续数据缓存系统，同时提供利用该系统的数据缓存方法，解决由于突发I/O与网络性能波动带来的连续数据捕获能力与保护能力不匹配的问题。

本发明的一种连续数据缓存系统，由内核缓存区、用户缓存区、内核模块和守护进程模块组成，其特征在于：

所述内核缓存区，是在操作系统的内核空间的一片内存区，包括多个内核缓存区节点，每个内核缓存区节点大小相同，互相独立；由内核模块进行管理，存储用户写操作产生的数据；

所述用户缓存区，是在操作系统的用户空间的一片内存区，包括一个或者多个用户缓存区节点，每个用户缓存区节点大小相同或不同，用户缓存区节点以循环链表的结构组织；由守护进程模块进行管理，存储从内核缓存区拷贝的数据；

所述内核模块，负责将用户写操作的数据存储进内核缓存区，并将内核缓存区数据交给守护进程模块处理；

所述守护进程模块，包括拷贝线程与发送线程，拷贝线程负责将内核缓存区的数据拷贝到用户缓存区；发送线程负责将用户缓存区数据发送到网络，同时负责分配或者回收用户缓存区节点。

本发明的一种连续数据缓存方法，包括如下步骤：

A.初始化步骤：在操作系统内核空间设置内核缓存区，并将其分为N个大小相同的内核缓存区节点，每个内核缓存区节点大小均相同，为几十KB到几百KB；在用户空间申请一个用户缓存区节点，大小为几兆到几十兆字节；内核模块等待用户写操作指令，守护进程模块等待内核模块的拷贝命令，守护进程模块的拷贝线程记录程序开始运行时间，并将其存入变量t1；

B.内核缓存区数据存储步骤，当用户写操作指令到来时，顺序包括以下子步骤：

B1.判断当前节点容量：内核模块判断当前使用的内核缓存区节点是否能容纳当前写操作指令的数据长度，是则转子步骤B2；否则转子步骤B3；

B2.存储数据：内核模块将用户写操作产生的数据存入当前使用的内核缓存区节点中，等待下一次用户写操作；当下一次用户写操作到来时，转子步骤B1；

B3.拷贝通知：内核模块向守护进程模块发出拷贝命令，通知守护进程模块拷贝当前使用的内核缓存区节点的数据，转子步骤B4；所述拷贝命令的数据结构为：内核缓存区节点起始地址、数据总长度和元素数目，所述元素指组织数据的最小长度单位；

B4.切换节点：切换到下一空内核缓存区节点，转子步骤B2；

C.用户缓存区数据存储步骤，当内核模块拷贝命令到来时，顺序执行以下子步骤：

C1.记录时间：所述守护进程模块的拷贝线程记录当前时间，将其存入变量t2，计算拷贝事件时间间隔S＝t2-t1，同时将变量t1的值更新为变量t2的值；

C2.判断当前节点容量：拷贝线程判断当前使用的用户缓存区节点是否能容纳当前拷贝命令的数据总长度，是则转子步骤C3；否则转子步骤C4；

C3.拷贝数据：拷贝线程根据拷贝命令，将内核缓存区节点起始地址所指明的内核缓存区节点的数据拷贝到当前用户缓存区节点，拷贝完毕，通知内核模块，转子步骤C5；

C4.切换节点：切换到下一空用户缓存区节点，转子步骤C2；

C5.判断是否需预分配缓存区节点：拷贝线程判断是否需要增加新的用户缓存区节点或者回收多余的用户缓存区节点，是则增加1个用户缓存区节点或者回收1个用户缓存区节点，转子步骤C6；否则保持用户缓存区节点数目不变，转子步骤C6；

C6.拷贝线程向发送线程传递发送命令，等待内核模块拷贝命令；所述发送命令的数据结构为：待发送数据所在的用户缓存区节点、第一个待发送元素的序号、发送元素的个数、发送数据在用户缓存区节点的起始地址；

D.用户缓存区数据发送步骤，当拷贝线程的发送命令到来时，顺序执行以下子步骤：

D1.守护进程模块的发送线程执行发送任务；

D2.发送任务完成，发送线程向拷贝线程发送任务完成报告，等待拷贝线程的发送命令；所述任务完成报告的数据结构为：已发送数据的长度、已发送元素的数目。

所述的连续数据缓存方法，其特征在于：

所述子步骤C5中，判断是否需要增加新的用户缓存区节点或者回收多余的用户缓存区节点时，判断过程如下：

E1.计算估算时间间隔I：

I＝(1-a)·I+a·S，

式中，S为拷贝事件时间间隔，时间间隔系数a为0.1～0.3，a越偏向于0.1表示I的取值与先前的拷贝事件时间间隔的关系越大，a越偏向于0.3表明I的取值与最新一次拷贝事件时间间隔的关系越大；

E2.计算估算时间间隔偏差M：

M＝(1-b)·M+b·|S-I|，

式中，时间偏差系数b为0.2～0.4，b越偏向于0.2表示M的取值与先前的估算时间间隔偏差的关系越大，b越偏向于0.4表明M的取值与与最新一次估算时间间隔偏差的关系越大；M的初值为0；

E3.计算缓存分配参数T：

T＝I+4·M；

E4.判断当前使用的用户缓存区节点是否为用户缓存区节点链表的最后一个用户缓存区节点，是则转过程E5，否则转过程E6；

E5.判断是否T＜A，是则分配一个新的用户缓存区节点，否则保持用户缓存区节点数目不变；缺乏阈值A为被保护的磁盘写入一个内核缓存区节点大小的数据所需时间的1～2倍；

E6.判断是否T＞B，是则释放用户缓存区节点链表的最后一个用户缓存区节点，否则保持用户缓存区节点数目不变；富裕阈值B为(3～10)×A。

本发明的系统采用类似于Linux跟踪工具包(LTT)的结构，由内核层的内核模块以及用户层的守护进程模块构成，为了和这种结构相适应，采用二级缓存机制，包括内核缓存和用户缓存，前文已提到LTT的性能开销小于2.5％，本发明的系统与LTT的结构类似，因此性能开销也很小，同时本发明的系统构建在适用性广的TCP/IP协议上，和通过iSCSI协议实现连续数据保护功能的系统相比，无需在客户节点实现对远程连续数据保护系统(CDP)备份空间的管理，降低了客户节点的复杂性。

本发明的方法考虑到操作系统在内核空间处理问题复杂而用户空间相对简单的特点，在内核缓存区采用简单的缓存策略较小的缓存区，降低内核处理的复杂度，使之受到的影响尽可能的小；而在用户缓存区采用复杂的缓存策略和较大的缓存区，并且提出缓存预判算法，及时分配或者回收用户缓存区节点，使得用户缓存区的利用率最优化，节约系统内存资源。

附图说明

图1为本发明的缓存系统结构示意图；

图2为本发明的数据缓存方法流程示意图；

图3为内核缓存区数据存储步骤流程示意图；

图4为用户缓存区数据存储步骤流程示意图；

图5为用户缓存区数据发送步骤流程示意图；

图6为拷贝命令的数据结构示意图。

具体实施方式

下面结合实施例具体说明本发明的系统及连续数据缓存方法。

如图1所示，本发明实施例的连续数据缓存系统，由内核缓存区、用户缓存区、内核模块和守护进程模块组成。

内核缓存区，是在操作系统的内核空间的一片内存区，包括16个内核缓存区节点，每个内核缓存区节点大小相同，设为256KB，共4MB，由内核模块进行管理，存储用户写操作产生的数据；

用户缓存区，包括一个初始用户缓存区节点，其大小设为16MB，由守护进程模块进行管理，存储从内核缓存区拷贝的数据；

内核模块，负责将用户写操作的数据存储进内核缓存区，并将内核缓存区数据交给守护进程模块处理；

守护进程模块，包括拷贝线程与发送线程，拷贝线程负责将内核缓存区的数据拷贝到用户缓存区；发送线程负责将用户缓存区数据发送到网络，同时负责分配或者回收用户缓存区节点。

如图2所示，本发明的连续数据缓存方法，包括初始化步骤、内核缓存区数据存储步骤、用户缓存区数据存储步骤以及用户缓存区数据发送步骤。

其中，内核缓存区数据存储步骤如图3所示，用户缓存区数据存储步骤如图4所示，用户缓存区数据发送步骤如图5所示。

作为一个实施例，利用本发明实施例的连续数据缓存系统的进行连续数据缓存，可以包括如下步骤：

A.初始化步骤：在用户配置文件中设定16个内核缓存区节点，每个缓存区节点大小设为256KB，共4MB，当前节点为节点0；用户缓存区初始节点的大小设为16MB，加载内核模块并启动守护进程模块，初始化两个缓存区信息，守护进程模块级记录下程序运行时间t1。

B.用户拷贝一个20MB大小的文件，即会有写操作指令生成，那么执行内核缓存区数据存储步骤：

B1.内核模块判断当前节点的容量，起初内核缓存区0节点剩余空间能够容纳数据大小，那么转子步骤B2；当某次内核模块判断当前节点容量发现当前节点不能容纳当前写操作指令的数据长度时，转子步骤B4；

B2.内核模块将数据存入节点0，接着继续等待写操作指令的到来；

B3.内核模块向守护进程模块发出拷贝命令，通知守护进程模块拷贝该内核缓存区节点0的数据，转子步骤B4；拷贝命令的数据结构如图6所示，包括内核缓存区节点起始地址、数据总长度和元素数目；

B4.将内核缓存区节点1记为当前节点，转子步骤B2，将数据存储到当前节点中；

C.守护进程模块的拷贝线程接收到上述子步骤B3发出的拷贝命令，后，执行用户缓存区数据存储步骤：

C1.守护进程模块的拷贝线程接收到内核模块的拷贝命令后，所述拷贝线程记录当前时间，存入变量t2，计算拷贝事件时间间隔S＝t2-t1，同时将变量t1的值更新为变量t2的值；

C2.拷贝线程判断当前使用的用户缓存区节点是否能容纳当前拷贝命令的数据总长度，是则转子步骤C3；否则转子步骤C4；一开始此用户缓存区节点可以容纳拷贝命令中的数据总长度，故转子步骤C3；

C3.拷贝线程根据拷贝命令，将内核缓存区节点起始地址所指明的内核缓存区节点的数据拷贝到当前用户缓存区节点，拷贝完毕，通知内核模块转子步骤C5；

C4.切换节点：切换到下一空用户缓存区节点，转子步骤C2；

C5.判断是否需预分配缓存区节点，计算出缓存分配参数T，在某一次拷贝命令到来之后，计算出的T值会小于缺乏阈值12ms，分配一个新的用户缓存区节点添加到用户缓存区链表的最后；而T值大于富裕阈值96ms时，释放用户缓存区节点链表的最后一个节点；

C6.拷贝线程向发送线程传递发送命令，等待内核模块拷贝命令；

D.用户缓存区数据发送步骤：

D1.接收到拷贝线程的发送命令，发送线程执行发送任务；

D2.发送任务完成，发送线程向拷贝线程发送任务完成报告，等待拷贝线程的发送命令；

上述子步骤C5中，判断是否需要增加新的用户缓存区节点或者回收多余的用户缓存区节点时，具体判断过程如下：

E1.计算估算时间间隔I：

I＝0.8·I+0.2·S，

E2.计算估算时间间隔偏差M：

M＝0.7·M+0.3·|S-I|，

M的初值为0；

E3.计算缓存分配参数T：

T＝I+4·M；

E4.判断当前使用的用户缓存区节点是否为用户缓存区节点链表的最后一个用户缓存区节点，是则转过程E5，否则转过程E6；

E5.判断是否T＜A，是则分配一个新的用户缓存区节点，否则保持用户缓存区节点数目不变；缺乏阈值A为被保护的磁盘写入一个内核缓存区节点大小的数据所需时间的1～2倍；在本系统里被保护的磁盘写入速度为32MB/s，内核缓存区节点大小为256KB，因此缺乏阈值A取为8ms的1.5倍，即为12ms；

E6.判断是否T＞B，是则释放用户缓存区节点链表的最后一个用户缓存区节点，否则保持用户缓存区节点数目不变；富裕阈值B为8×A，即为96ms。

Claims (3)

1.一种连续数据缓存系统，由内核缓存区、用户缓存区、内核模块和守护进程模块组成，其特征在于：

所述内核缓存区，是在操作系统的内核空间的一片内存区，包括多个内核缓存区节点，每个内核缓存区节点大小相同，互相独立；由内核模块进行管理，存储用户写操作产生的数据；

所述用户缓存区，是在操作系统的用户空间的一片内存区，包括一个或者多个用户缓存区节点，每个用户缓存区节点大小相同或不同，用户缓存区节点以循环链表的结构组织；由守护进程模块进行管理，存储从内核缓存区拷贝的数据，

所述内核模块，负责将用户写操作的数据存储进内核缓存区，并将内核缓存区数据交给守护进程模块处理；

所述守护进程模块，包括拷贝线程与发送线程，拷贝线程负责将内核缓存区的数据拷贝到用户缓存区；发送线程负责将用户缓存区数据发送到网络，同时负责分配或者回收用户缓存区节点。

2.一种权利要求1所述连续数据缓存系统的连续数据缓存方法，包括如下步骤：

A.初始化步骤：在操作系统内核空间设置内核缓存区，并将其分为N个大小相同的内核缓存区节点，每个内核缓存区节点大小均相同，为几十KB到几百KB；在用户空间申请一个用户缓存区节点，大小为几兆到几十兆字节；内核模块等待用户写操作指令，守护进程模块等待内核模块的拷贝命令，守护进程模块的拷贝线程记录程序开始运行时间，并将其存入变量t1；

B.内核缓存区数据存储步骤，当用户写操作指令到来时，顺序包括以下子步骤：

B1.判断当前节点容量：内核模块判断当前使用的内核缓存区节点是否能容纳当前写操作指令的数据长度，是则转子步骤B2；否则转子步骤B3；

B2.存储数据：内核模块将用户写操作产生的数据存入当前使用的内核缓存区节点中，等待下一次用户写操作；当下一次用户写操作到来时，转子步骤B1；

B3.拷贝通知：内核模块向守护进程模块发出拷贝命令，通知守护进程模块拷贝当前使用的内核缓存区节点的数据，转子步骤B4；所述拷贝命令的数据结构为：内核缓存区节点起始地址、数据总长度和元素数目，所述元素指组织数据的最小长度单位；

B4.切换节点：切换到下一空内核缓存区节点，转子步骤B2；

C.用户缓存区数据存储步骤，当内核模块拷贝命令到来时，顺序执行以下子步骤：

C1.记录时间：所述守护进程模块的拷贝线程记录当前时间，将其存入变量t2，计算拷贝事件时间间隔S＝t2-t1，同时将变量t1的值更新为变量t2的值；

C2.判断当前节点容量：拷贝线程判断当前使用的用户缓存区节点是否能容纳当前拷贝命令的数据总长度，是则转子步骤C3；否则转子步骤C4；

C3.拷贝数据：拷贝线程根据拷贝命令，将内核缓存区节点起始地址所指明的内核缓存区节点的数据拷贝到当前用户缓存区节点，拷贝完毕，通知内核模块，转子步骤C5；

C4.切换节点：切换到下一空用户缓存区节点，转子步骤C2；

C5.判断是否需预分配缓存区节点：拷贝线程判断是否需要增加新的用户缓存区节点或者回收多余的用户缓存区节点，是则增加1个用户缓存区节点或者回收1个用户缓存区节点，转子步骤C6；否则保持用户缓存区节点数目不变，转子步骤C6；

C6.拷贝线程向发送线程传递发送命令，等待内核模块拷贝命令；所述发送命令的数据结构为：待发送数据所在的用户缓存区节点、第一个待发送元素的序号、发送元素的个数、发送数据在用户缓存区节点的起始地址；

D.用户缓存区数据发送步骤，当拷贝线程的发送命令到来时，顺序执行以下子步骤：

D1.守护进程模块的发送线程执行发送任务；

D2.发送任务完成，发送线程向拷贝线程发送任务完成报告，等待拷贝线程的发送命令；所述任务完成报告的数据结构为：已发送数据的长度、已发送元素的数目。

3.如权利要求2所述的连续数据缓存方法，其特征在于：

所述子步骤C5中，判断是否需要增加新的用户缓存区节点或者回收多余的用户缓存区节点时，判断过程如下：

E1.计算估算时间间隔I：

I＝(1-a)·I+a·S，

式中，S为拷贝事件时间间隔，时间间隔系数a为0.1～0.3，a越偏向于0.1表示I的取值与先前的拷贝事件时间间隔的关系越大，a越偏向于0.3表明I的取值与最新一次拷贝事件时间间隔的关系越大；

E2.计算估算时间间隔偏差M：

M＝(1-b)·M+b·|S-I|，

式中，时间偏差系数b为0.2～0.4，b越偏向于0.2表示M的取值与先前的估算时间间隔偏差的关系越大，b越偏向于0.4表明M的取值与与最新一次估算时间间隔偏差的关系越大；M的初值为0；

E3.计算缓存分配参数T：

T＝I+4·M；

E4.判断当前使用的用户缓存区节点是否为用户缓存区节点链表的最后一个用户缓存区节点，是则转过程E5，否则转过程E6；

E5.判断是否T＜A，是则分配一个新的用户缓存区节点，否则保持用户缓存区节点数目不变；缺乏阈值A为被保护的磁盘写入一个内核缓存区节点大小的数据所需时间的1～2倍；

E6.判断是否T＞B，是则释放用户缓存区节点链表的最后一个用户缓存区节点，否则保持用户缓存区节点数目不变；富裕阈值B为(3～10)×A。

Images