CN102012793A - 镜像实现方法和装置 - Google Patents

Abstract

本发明提供了一种镜像实现方法和装置。涉及数据存储领域；解决了数据安全性低的问题。该方法包括：在本地创建日志缓存文件；将待向远端磁盘写入的数据存储到所述日志缓存文件中；将所述日志存储文件中的数据写入远端磁盘。本发明提供的技术方案适用于存储系统中。

Description

镜像实现方法和装置

技术领域

本发明涉及数据存储领域，尤其涉及一种镜像实现方法和装置。

背景技术

镜像是在两个或多个磁盘或磁盘子系统上生成同一个数据的镜像视图的信息存储过程，一个叫主镜像系统，另一个叫从镜像系统。按主从镜像存储系统所处的位置可分为本地镜像和远程镜像。本地镜像的主从镜像存储系统是处于同一个RAID阵列内，而远程镜像的主从镜像存储系统通常是分布在跨城域网或广域网的不同节点(如多个远端磁盘)上。

远程镜像又叫远程复制，是容灾备份的核心技术，同时也是保持远程数据同步和实现灾难恢复的基础。它利用物理位置上分离的存储设备所具备的远程数据连接功能，在远程维护一套数据镜像，一旦灾难发生时，分布在异地存储器上的数据备份并不会受到波及。

随着数字化时代的快速发展，现代数据的增长以及数据的安全吸引了大部分使用数据者的注意力，通常，在现有的数据存储大环境的部署下，都配备有远程容灾功能，但是一旦读写过程中发生断电或断网，都会产生数据丢失的风险，给经济带来巨大损失。

因此，如何找到一个能够进行高可靠性的数据镜像存储系统，以及高效的恢复系统，能够最大限度的提高数据的安全性是一个急需要解决的问题。

发明内容

本发明提供了一种镜像实现方法和装置，解决了数据安全性低的问题。

一种镜像实现方法，包括：

在本地创建日志缓存文件；

将待向远端磁盘写入的数据存储到所述日志缓存文件中；

将所述日志存储文件中的数据写入远端磁盘。

优选的，所述在本地创建日志缓存文件具体为：

创造包含至少一个分块的日志缓存文件，所述分块构成环形队列。

优选的，所述将待向远端磁盘写入的数据存储到所述日志缓存文件中包括：

在系统初始化时，将本地磁盘中的数据依序存储到日志缓存文件中；或，

在写入新数据时，将新写入的数据插入所述日志缓存文件中。

优选的，将所述日志存储文件中的数据写入远端磁盘具体为：

在系统初始化时，依序将将日志缓存文件中的本地磁盘中的数据同步至远端磁盘。

优选的，将所述日志存储文件中的数据写入远端磁盘包括：

判断新写入数据对应的本地磁盘存储位置上的数据是否已完成同步；

当新写入数据对应的本地磁盘存储位置上的数据已完成同步时，将日志缓存文件中缓存的新写入数据写入本地磁盘存储位置；或，

当新写入数据对应的本地磁盘存储位置上的数据还未同步时，将日志缓存文件中缓存的新写入数据写入本地磁盘存储位置，并拷贝至远端磁盘。

优选的，上述镜像实现方法还包括：

当一个数据块的数据向所述远端磁盘写入完成后，释放该数据块所占用的存储空间。

优选的，上述镜像实现方法还包括：

在检测到本地磁盘和远端磁盘连接中断时，记录当前正在写入的数据分块位置；

在连接恢复后，从记录的数据分块开始，继续将日志存储文件中的数据写入远端磁盘。

本发明还提供了一种镜像实现装置，包括：

日志创建模块，用于在本地创建日志缓存文件；

日志缓存管理模块，用于将待向远端磁盘写入的数据存储到所述日志缓存文件中；

数据写入模块，用于将所述日志存储文件中的数据写入远端磁盘。

优选的，所述数据写入模块，包括：

远端数据写入单元，用于在系统初始化时，依序将日志缓存文件中的本地磁盘中的数据同步至远端磁盘，和，当新写入数据对应的本地磁盘存储位置上的数据还未同步时，将日志缓存文件中缓存的新写入数据拷贝至远端磁盘；

本地数据写入单元，用于将日志缓存文件中缓存的新写入的数据写入本地磁盘存储位置。

优选的，所述日志缓存管理模块，还用于在一个数据块的数据向所述远端磁盘写入完成时，释放该数据块所占用的存储空间；和，

在检测到本地磁盘和远端磁盘连接中断时，记录当前正在写入的数据分块位置，在连接恢复后，通知所述数据写入模块从记录的数据分块开始，继续将日志存储文件中的数据写入远端磁盘。

本发明提供了一种镜像实现方法和装置，在本地创建日志缓存文件，将待向远端磁盘写入的数据存储到所述日志缓存文件中，然后再将所述日志存储文件中的数据写入远端磁盘，通过日志缓存文件存储需要写入远端磁盘的数据，避免了在网络故障或断电情况下，需要写入远端磁盘的数据的丢失，解决了数据安全性低的问题。

附图说明

图1为本发明的实施例提供的一种镜像实现方法的流程图；

图2为本发明的实施例提供的一种镜像实现装置的结构示意图；

图3为图2中数据写入模块203的结构示意图。

具体实施方式

下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

本发明提供了一种基于日志的镜像实现方法和装置，一方面极大地提高了镜像的写性能，另一方面有效地保持了本地磁盘与远端磁盘之间的网络传输效率，即使在断电或断网的情况下也保证了数据的不会丢失，提高了系统可靠性。

使用本发明的实施例提供的镜像实现方法向远端磁盘写入数据的流程如图1所示，包括：

步骤101、在本地创建日志缓存文件；

本步骤中，在本地创建日志缓存文件，缓存文件的大小可根据实际需要调整，且即可以处于镜像系统内的本地磁盘上，也可以在一个单独的存储设备之上。

具体的，该日志缓存文件为replog文件，在replog文件中记录的数据包括数据信息(data)和控制信息(data_header)两部分。

在replog文件中，数据以分块(region)为单位，region的大小可以由用户指定。replog文件的各region是一个环形的队列结构。依次存放数据信息和控制信息，严格的次序保证了远程镜像过程中的数据一致性。

对于来自用户的本地的读写，不需要等数据写入到本地磁盘，只需要读写replog，系统即可对用户作出应答，这样用户不需要长时间等待数据真正写入到镜像本地磁盘即可得到响应，免去因为长时间等待带来的时间开销的影响。

步骤102、将待向远端磁盘写入的数据存储到所述日志缓存文件中；

本发明实施例中，向远端磁盘写入数据主要包括两个阶段：

1、在系统初始化时，将本地磁盘已存储的数据同步到远端磁盘；

2、在有新的数据需要写入(如在本地磁盘添加新的条目或修改本地磁盘原有数据时)，将数据写入本地磁盘的同时，再将新写入的数据拷贝至远端磁盘。

对于上述阶段1，需要首先将本地磁盘的内容读取出来，存入replog文件中。从磁盘读入replog文件并非连续不断的，受replog文件大小以及远端盘写速率所限，写到远端磁盘的数据都是读replog文件获取的。本地磁盘数据读到replog文件上后，如果写入到远端盘速度比较慢，将暂缓从本地磁盘的读取；此外，当replog文件中的某一数据块的数据被写入到远端盘后，该数据块所占据的存储空间会被释放，在检测到有已释放的数据块后，再重新读入磁盘上还未读入replog的数据块。

对于上述阶段2，则将需要写入的新的数据写入到replog文件中。

步骤103、将所述日志存储文件中的数据写入远端磁盘；

本步骤中，与步骤102中的阶段1相对应的，在同步时，依序将将日志缓存文件中的本地磁盘中的数据同步至远端磁盘。

与步骤102中阶段2相对应的，在写入新数据时，首先要判断新写入数据对应的本地磁盘存储位置上的数据是否已完成同步。当新写入数据对应的本地磁盘存储位置上的数据已完成同步时，将日志缓存文件中缓存的新写入数据写入本地磁盘存储位置；或，当新写入数据对应的本地磁盘存储位置上的数据还未同步时，将日志缓存文件中缓存的新写入数据写入本地磁盘存储位置，并拷贝至远端磁盘。

写拷贝与同步是并行的，对于远端磁盘来说，如果将要写拷贝的区域还没有同步，就丢弃这次写拷贝操作。这种同步与写拷贝并发的机制极大提高了存储系统的效率。

无论同步还是写拷贝，均是以一个region为单位逐个进行，region的大小可以用户指定。同步和写拷贝的过程是基于位图和日志的。位图在本发明中是指存储在replog上的一个位图文件，以bit位标识系统中的数据块状态。具体的，bit位是和读写的region(数据块逻辑地址段)地址进行匹配映射的，比如region 1对应的是第一个bit位，region 2对应的是第二个bit位，那么本发明实施例中为replog文件内的每一个数据块都分配了一个bit位的标识，即给region分配bit位做映射，用于标识相应数据块上数据的写入情况，全部数据块的bit位标识就构成了位图。各数据块的bit位值初始化时都是0，如果需要做同步或者做写拷贝，则将bit位置1，完成后，置回0，如果这个过程断电，bit位是还将是1，也就是说未同步或者写拷贝完成，将继续针对该位图重新做一次同步或者写拷贝，所以数据不会丢失。，因此即使断电，同步信息也是可以保存的，且明确的将已写入完成的数据与未向远端磁盘写入的数据区别开来，避免了冗余同步。

由于采用基于位图和日志的镜像实现方式，即使在断网或断电的情况下，也可保证数据不丢失，具体参见以下步骤。

步骤104、当一个数据块的数据向所述远端磁盘写入完成后，释放该数据块所占用的存储空间；

本步骤中，在向远端磁盘写入一个数据块完成后，即可释放该数据块所占用的存储空间，以读取新的未向远端磁盘写入的数据。

具体的，如步骤103所述，如果需要做同步或者做写拷贝，则将待写入远端磁盘的数据块的bit位置1，在完成后，置回0；在又向数据块内缓存入待向远端磁盘写入的数据后(可以是来自本地磁盘，也可以是用户当前的操作)，则将数据块的bit位再置1。如此循环，直至本地磁盘中的数据全部写入远端磁盘为止。

对于本地磁盘的数据，也可以为各存储单位分配一个标识值，用来区别已向远端磁盘写入的数据或未写入的数据。若已完成向远端磁盘写入的本地数据受到新的操作(如修改)时，则再将受到操作的数据相应存储单位的标识都置为未向远端磁盘写入的状态，这样，后续就可以只向远端磁盘写入有变化的数据，不需要再将同样的数据反复向远端写入，减少了冗余数据的传输，提高了数据在本地磁盘和远端磁盘间的传输效率，节约了资源。

在完成本步骤后，继续回到步骤102，直至本地磁盘的数据已经全部向远端磁盘同步完毕为止。

105、在检测到本地磁盘和远端磁盘连接中断时，记录当前正在写入的数据分块位置；

本步骤中，在同步数据的同时，检测与远端磁盘间的网络连接是否中断，断网后针对远端磁盘的同步操作及写拷贝操作均被禁止，减少了不必要的IO操作，同时远端磁盘的恢复是基于位图的差分复制，在连接恢复后，从记录的数据分块开始，继续将日志存储文件中的数据写入远端磁盘(即将bit标识的值仍为1的数据块继续向远端磁盘写入)。减少了恢复时的传输数据量。

此外，在同步或写拷贝的过程中，还记录了数据的流向日志和用户的一些操作日志、数据流向的实时信息、以及数据在各个磁盘中的分布信息、以及数据的复制进度等一系列信息。

虽然镜像存储系统涉及日志缓存replog，本地磁盘LD，远端磁盘RD；但最终以一个逻辑上的虚拟磁盘的方式呈现给用户使用。对该虚拟设备的写操作流程主要是首先写入日志缓存，然后分发至本地磁盘和远端磁盘。对该虚拟设备的读操作流程主要是如果数据在日志缓存replog中，就从本地磁盘读取。

本发明实施例提供的镜像实现方法，在本地创建日志缓存文件，将待向远端磁盘写入的数据存储到所述日志缓存文件中，然后再将所述日志存储文件中的数据写入远端磁盘，通过日志缓存文件存储需要写入远端磁盘的数据，避免了在网络故障或断电情况下，需要写入远端磁盘的数据的丢失，解决了数据安全性低的问题。且能够在数据恢复过程中数据能够正常被使用，而且，能够让存储系统的部署更为灵活有效，能够实现生产中心的数据和复制中心之间的自由切换，同时，通过虚拟化技术增强了应用的灵活性，也减少了用户使用的复杂度。

本发明的实施例还提供了一种镜像实现装置，其结构如图2所示，包括：

日志创建模块201，用于在本地创建日志缓存文件；

日志缓存管理模块202，用于将待向远端磁盘写入的数据存储到所述日志缓存文件中；

数据写入模块203，用于将所述日志存储文件中的数据写入远端磁盘。

具体的，所述数据写入模块203的结构如图3所示，包括：

远端数据写入单元2031，用于在系统初始化时，依序将将日志缓存文件中的本地磁盘中的数据同步至远端磁盘，和，当新写入数据对应的本地磁盘存储位置上的数据还未同步时，将日志缓存文件中缓存的新写入数据拷贝至远端磁盘；

本地数据写入单元2032，用于将日志缓存文件中缓存的新写入的数据写入本地磁盘存储位置。

具体的，所述日志缓存管理模块202，还用于在一个数据块的数据向所述远端磁盘写入完成时，释放该数据块所占用的存储空间；和，

在检测到本地磁盘和远端磁盘连接中断时，记录当前正在写入的数据分块位置，在连接恢复后，通知所述数据写入模块203从记录的数据分块开始，继续将日志存储文件中的数据写入远端磁盘。

上述镜像实现装置，能够与本发明的实施例提供的一种镜像实现方法相结合，在本地创建日志缓存文件，将待向远端磁盘写入的数据存储到所述日志缓存文件中，然后再将所述日志存储文件中的数据写入远端磁盘，通过日志缓存文件存储需要写入远端磁盘的数据，避免了在网络故障或断电情况下，需要写入远端磁盘的数据的丢失，解决了数据安全性低的问题。

本领域普通技术人员可以理解上述实施例的全部或部分步骤可以使用计算机程序流程来实现，所述计算机程序可以存储于一计算机可读存储介质中，所述计算机程序在相应的硬件平台上(如系统、设备、装置、器件等)执行，在执行时，包括方法实施例的步骤之一或其组合。

可选地，上述实施例的全部或部分步骤也可以使用集成电路来实现，这些步骤可以被分别制作成一个个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

上述实施例中的各装置/功能模块/功能单元可以采用通用的计算装置来实现，它们可以集中在单个的计算装置上，也可以分布在多个计算装置所组成的网络上。

上述实施例中的各装置/功能模块/功能单元以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。上述提到的计算机可读取存储介质可以是只读存储器，磁盘或光盘等。

任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求所述的保护范围为准。

Claims (10)

1.一种镜像实现方法，其特征在于，包括：

在本地创建日志缓存文件；

将待向远端磁盘写入的数据存储到所述日志缓存文件中；

将所述日志存储文件中的数据写入远端磁盘。

2.根据权利要求1所述的镜像实现方法，其特征在于，所述在本地创建日志缓存文件具体为：

创造包含至少一个分块的日志缓存文件，所述分块构成环形队列。

3.根据权利要求1所述的镜像实现方法，其特征在于，所述将待向远端磁盘写入的数据存储到所述日志缓存文件中包括：

在系统初始化时，将本地磁盘中的数据依序存储到日志缓存文件中；或，

在写入新数据时，将新写入的数据插入所述日志缓存文件中。

4.根据权利要求3所述的镜像实现方法，其特征在于，将所述日志存储文件中的数据写入远端磁盘具体为：

在系统初始化时，依序将将日志缓存文件中的本地磁盘中的数据同步至远端磁盘。

5.根据权利要求3所述的镜像实现方法，其特征在于，将所述日志存储文件中的数据写入远端磁盘包括：

判断新写入数据对应的本地磁盘存储位置上的数据是否已完成同步；

当新写入数据对应的本地磁盘存储位置上的数据已完成同步时，将日志缓存文件中缓存的新写入数据写入本地磁盘存储位置；或，

当新写入数据对应的本地磁盘存储位置上的数据还未同步时，将日志缓存文件中缓存的新写入数据写入本地磁盘存储位置，并拷贝至远端磁盘。

6.根据权利要求2所述的镜像实现方法，其特征在于，该方法还包括：

当一个数据块的数据向所述远端磁盘写入完成后，释放该数据块所占用的存储空间。

7.根据权利要求2所述的镜像实现方法，其特征在于，该方法还包括：

在检测到本地磁盘和远端磁盘连接中断时，记录当前正在写入的数据分块位置；

在连接恢复后，从记录的数据分块开始，继续将日志存储文件中的数据写入远端磁盘。

8.一种镜像实现装置，其特征在于，包括：

日志创建模块，用于在本地创建日志缓存文件；

日志缓存管理模块，用于将待向远端磁盘写入的数据存储到所述日志缓存文件中；

数据写入模块，用于将所述日志存储文件中的数据写入远端磁盘。

9.根据权利要求8所述的镜像实现装置，其特征在于，所述数据写入模块，包括：

远端数据写入单元，用于在系统初始化时，依序将日志缓存文件中的本地磁盘中的数据同步至远端磁盘，和，当新写入数据对应的本地磁盘存储位置上的数据还未同步时，将日志缓存文件中缓存的新写入数据拷贝至远端磁盘；

本地数据写入单元，用于将日志缓存文件中缓存的新写入的数据写入本地磁盘存储位置。

10.根据权利要求8所述的镜像实现装置，其特征在于，

所述日志缓存管理模块，还用于在一个数据块的数据向所述远端磁盘写入完成时，释放该数据块所占用的存储空间；和，

在检测到本地磁盘和远端磁盘连接中断时，记录当前正在写入的数据分块位置，在连接恢复后，通知所述数据写入模块从记录的数据分块开始，继续将日志存储文件中的数据写入远端磁盘。

Images