CN103345435A

CN103345435A - 数据备份、恢复的方法以及用于备份的目的服务器系统

Info

Publication number: CN103345435A
Application number: CN2013102710299A
Authority: CN
Inventors: 杨剑; 林奎; 杨大勇; 赵坤荣; 许振成
Original assignee: South China Institute of Environmental Science of Ministry of Ecology and Environment
Current assignee: South China Institute of Environmental Science of Ministry of Ecology and Environment
Priority date: 2013-06-28
Filing date: 2013-06-28
Publication date: 2013-10-09
Anticipated expiration: 2033-06-28
Also published as: CN103345435B

Abstract

本发明公开一种数据备份、恢复的方法以及用于备份的目的服务器系统，所述备份方法包括以下步骤：A、源服务器端确认备份是否是首次备份，若是首次备份，进行全量备份到目的服务器端；否则，在上一次的备份基础上进行增量备份；B、目的服务器端在接收到备份数据后进行判断是否是首次备份，若是，则首次备份的全量备份数据作为切片备份数据存储；否则，将增量备份数据与上一次切片备份数据在目的服务器端本地离线组合形成新的切片备份数据并进行存储。相对于现有的备份方式来说，这种备份不需要进行差分组合，即使经过长时间多次的备份后也不会增加系统的负担。而且恢复过程没有复杂的反向寻找还原的过程，灵活度更高。

Description

数据备份、恢复的方法以及用于备份的目的服务器系统

技术领域

本发明涉及计算机技术领域，更具体的说，涉及一种数据备份、恢复的方法以及用于备份的目的服务器系统。

背景技术

在当今各类业务向着更高更快的方向发展的现状下，普通的数据备份手段已经难以满足快速更新的业务的需求，许多业务为了能够更准确的追溯历史问题或历史数据的差异，需要同时存储多个版本的备份数据，而这多个版本是时间为区分的。通常情况下业务系统的数据都是累计的，多个不同版本的备份数据相互之间的差别只在于终点不同。

现有的备份方式主要有三种，全量备份、增量备份以及差分备份。如图1所示为全量备份的原理示意图，在备份周期内，每次备份都需要进行全量备份，这种备份占用大量的系统开销，同时也难以缩短备份间隔以使备份更精确。如图2所示为现有的一种增量备份方式，增量备份每次备份只需要对更新数据进行备份即可，但恢复过程又因为次数的增加而变得越来越复杂，单次增量备份错误将会导致全部数据无法使用，而出现这种情况的概率随着备份次数的增多也会越来越高。如图3所示为差分数据备份的方式，实际上是在增量备份的基础上解决了数据叠加的问题，但是，多次叠加后的差分备份数据一旦经历较长时间依然会变得非常的庞大，会增加大量的系统开销，重新进入全量备份的矛盾循环。

发明内容

本发明所要解决的技术问题是提供一种系统开销低、恢复数据更灵活的数据备份、恢复方法以及用于备份的目的服务器系统。

本发明的目的是通过以下技术方案来实现的：一种数据备份方法，包括以下步骤：

A、源服务器端确认备份是否是首次备份，若是首次备份，进行全量备份到目的服务器端；否则，在上一次的备份基础上进行增量备份；

B、目的服务器端在接收到备份数据后进行判断是否是首次备份，若是，则首次备份的全量备份数据作为切片备份数据存储；否则，将增量备份数据与上一次切片备份数据在目的服务器端本地离线组合形成新的切片备份数据并进行存储。

优选的，所述步骤A中，还包括对进行增量备份的数据进行加密的步骤。

优选的，所述步骤B中，将增量备份的数据与上一次切片备份数据进行组合的过程还包括先对所述增量备份数据进行解密的步骤。

优选的，所述步骤B中，所述步骤B中，组合成新的切片备份数据后再次进行加密存储，在下一次与增量备份进行组合时，对所述新的切片备份数据先进行解密。

优选的，所述步骤B中，组合成新的切片备份数据后先进行数据完整性校验。

一种基于权利要求1所述数据备份方法的数据恢复方法，包括步骤:

a、根据切片备份数据的时间戳，选择要恢复的包含有历次增量备份内容的切片备份数据；

b、将步骤a中选择的目的服务器的切片备份数据直接还原到源服务器。

a、根据切片备份数据的时间戳，选择要恢复的包含有最近一次增量备份内容的切片备份数据；

一种用于接收源服务器端的备份数据的目的服务器系统，包括：

接收模块，用于接收源服务器端发来的增量备份数据或首次全量备份数据；

切片备份存储模块，用于存储最近一次或历次的切片备份数据；

切片组包模块，用于将增量备份数据与上一次切片备份数据在本地离线组合形成新的切片备份数据并将其存储至所述切片备份存储模块。

优选的，还包括一个对所述切片备份数据进行加密的加密模块以及对所述切片备份数据进行解密的解密模块。

优选的，还包括一个对解密后的数据进行临时存储的模拟数据仓。

本发明由于在数据备份时，在首次备份采用全量备份，并将该次全量备份数据作为切片备份数据进行存储，在之后的备份过程中只进行增量备份，将增量备份数据域上一次的切片备份数据进行组合之后生成新的切片备份数据，这样，即可得到每一次备份时间戳对应的切片备份数据，当需要回复数据时，可以恢复最近的增量数据同时又可以在出现灾难性故障或者某些特殊需求时可以得到任意历史时间戳以前的全量数据。相对于现有的备份方式来说，这种备份不需要进行差分组合，即使经过长时间多次的备份后也不会增加系统的负担。而且恢复过程没有复杂的反向寻找还原的过程，灵活度更高。

附图说明

图1是现有的一种全量备份原理示意图，

图2是现有的一种增量备份原理示意图，

图3是现有的一种差分备份原理示意图，

图4是本发明实施例一的数据备份原理示意图，

图5是本发明实施例一的数据备份流程图，

图6是本发明实施例二的数据备份系统结构图，

图7是本发明实施例三的数据备份传输的流程示意图，

图8是本发明实施例三的数据备份传输系统流程图，

图9是本发明实施例三的数据传输过程中数据结构及传输时隙示意图。

具体实施方式

下面结合附图和较佳的实施例对本发明作进一步说明。

如图4-6所示，本实施例提供一种数据备份、恢复的方法，同时提供一种基于该数据备份方法的数据备份系统。

实施例一

如图4-5所示，所述的数据备份方法包括步骤：

A、源服务器端确认备份是否是首次备份，若是首次备份，进行全量备份到目的服务器；否则，在上一次的备份基础上进行增量备份；

B、目的服务器端在接收到备份数据后进行判断是否是首次备份，若是，则首次备份作为切片备份数据存储；否则，将增量备份数据与上一次切片备份数据在目的服务器本地离线组合形成新的切片备份数据并进行存储。

本实施例只进行一次全量备份，之后按照时序每次进行增量备份，但并不进行差分组合，而是将每次增量备份数据作为切片独立存放，同时增加切片全量组合方式直接对全量数据进行离线更新，形成新切片式全量数据即切片备份数据。

作为本实施例的进一步优化，上述步骤A和步骤B可具体成以下的流程：

A1、源服务器端确认备份是否是首次备份，若是首次备份，生成全量备份数据，并进行加密传输到目的服务器端；否则，在上一次的备份基础上生成增量备份数据，并进行加密传输到目的服务器端。

B1、目的服务器端在接收到备份数据后进行判断是否是首次备份，若是，则首次备份作为切片备份数据存储；

B2、若不是首次备份，则对接收到的增量备份进行解密，同时，对上一次的增量备份数据进行解密；

B3、将解密后的增量备份数据与上一次切片备份数据在目的服务器端本地离线组合形成新的切片备份数据，其中，离线组合是将增量备份的数据还原到上一次切片备份数据形成新的切片数据的过程，与现有增量备份还原是一样的；

B4、将组合后的新的切片备份数据重新进行加密存储。

本实施例可以恢复最近的增量数据同时又可以在出现灾难性故障或者某些特殊需求时可以得到任意历史时间戳以前的全量数据。

针对上述的数据备份方法，本实施例同时提供数据恢复的方法，包括下列步骤：

b、将步骤a中选择的目的服务器端的切片备份数据直接还原到源服务器端。

若目的服务器端对最近一次增量备份所形成切片备份数据进行存储，则恢复方法如下：

a1、根据切片备份数据的时间戳，选择要恢复的包含有最近一次增量备份内容的切片备份数据；

b1、将步骤a1中选择的目的服务器的切片备份数据直接还原到源服务器。

实施例二

如图6所示，本实施例针对上述实施例，提供数据备份的具体实施系统，包括：源服务器端100以及目的服务器端200，其中，源服务器端100的源服务器在生成增量备份数据或者是首次备份全量数据，进行加密传输至目的服务器端200，数据在目的服务器端200进行组合后存储。

具体的，目的服务器端200包括：用于接收源服务器端发来的增量备份数据或权利备份数据的接收模块201、用于存储最近一次的切片备份数据的切片备份存储模块205以及用于将增量备份数据与上一次切片备份数据在本地离线组合形成新的切片备份数据并将其存储至所述切片备份存储模块205的切片组包模块202。

为了确保数据传输的安全性和完整性，本实施例同时还设置有对数据进行加密盒解密的加密模块以及解密模块204、同时设置有对解密后的数据进行临时存储的模拟数据仓203。

以增量备份为例，当接收模块201接收到源服务器端100传输来的增量备份数据后，接收模块201首先对该增量备份数据进行解密，之后移入切片组包模块202；同时，备份逻辑调出切片备份存储模块205中的最近一次切片备份数据，通过解密模块204对该切片备份数据进行解密，并教研数据的完整性，之后移入模拟数据仓203中，该系统仓只能通过管理人员识别数据健康程度，系统仓外无法对数据进行任何操作；待切片组包模块202就绪后将解密后的切片备份数据移入切片组包模块202中与增量备份数据进行离线组合成新的切片备份数据，之后将新的切片备份数据移入加密模块204对数据进行加密，然后在切片备份存储模块205中进行周期静态存储。

同样的，恢复数据的过程，首先根据时间戳选择需要恢复的切片备份数据，从切片备份存储模块205中调出并在解密模块204中解密，然后直接恢复到源服务器端即可。

实施例三

数据备份通常为了确保安全性而选择异地进行备份，需要通过外网进行传输，而目前来说，数据量越来越大，传统的传输方式对网络以及系统的要求就更高。

如图8所示,本实施例提供一种内外网穿透远距离传输数据的数据备份系统,该系统分别包括源服务器系统以及目的服务器系统，其中，源服务器系统包括:源服务器110；与源服务器110通过本地内网连接的传输准备模块114，所述传输准备模块114设置有一个第一存储装置113，一个用于将源服务器110要备份传输的数据同步到所述第一存储装置113的第一同步装置115，以及一个用于通过所述传输准备模块将数据通过外网传输至目的服务器端的传输装置112；所述传输装置112设置有本地缓冲模块。在数据传输过程中，源服务器110锁定要备份的数据，不让正常的进程修改所述要备份的数据，通过源服务器端内网将数据直接同步到传输准备模块114进行暂存，这样，缩短了源服务器端数据复制的直接距离，可以降低源服务器端的网络开销，同时，降低了源服务器110的系统开销，减少了对线上业务的冲击。

对应的，目的服务器系统包括:目的服务器210；与目的服务器210通过本地内网连接的存储准备模块214，所述存储准备模块214包括：一个第二存储装置213，一个用于接收所述源服务器端发来的数据并转存至所述第二存储装置213的接收装置212，以及一个用于将第二存储装置213的数据同步到目的服务器200的第二同步装置206，所述接收装置212设置有目的接驳模块。存储准备模块212用于在目的服务器端对数据进行暂存，当目的服务器端的内网闲时或者目的服务器210业务闲时，存储准备模块212将数据同步到目的服务器器210，完成数据的备份过程。这样可以减少对目的服务器的业务冲击，也可以降低目的服务器的系统开销。

作为本实施例的进一步改进，该数据备份系统同时还包括有一用于持续监控源服务器端及目的服务器端的带宽及网际I/O(INPU/OUTPUT)使用情况的监控模块300，所述监控模块300在监控带宽及网际I/O的使用情况的同时，计算并排出传输时隙，同时，该监控模块300设置有通讯模块301用以在源服务器端以及目的服务器端之间进行指令传输，在源服务器110及目的服务器210之间进行指令调度，对数据的传输进行调度，控制数据的传输量及传输时间，确保传输过程中不会对系统的正常业务造成负担。

基于上述数据备份系统，如图7所示，结合图8，所述数据的备份方法如下：

S0：持续监控源服务器端及目的服务器端的带宽及网际I/O使用情况，根据网络资源利用率排列传输时隙；

S1、锁定要备份的数据，将源服务器110要传输的备份数据同步到本地内网的传输准备模块114；

S2、通过所述传输准备模块114将数据通过外网传输至对端的目的服务器210。

所述步骤S2可具体拆分为：

步骤S20：在传输准备模块114对数据进行窗口化分割成带有封装编号的小型数据包并按队列暂存在所述本地缓冲模块116（传输装置），并根据所述步骤S0安排的传输时隙将所述小型数据包传输至所述目的接驳模块216（接收装置）；

步骤S21：当目的接驳模块216接收到源服务器端传输过来的小型数据包后，先将数据转存至存储准备模块214并进行组包；

步骤S22：根据所述步骤S0的持续监控结果，当目的服务器端的内网处于闲时，将所述存储准备模块214上的数据写入所述目的服务器210。

以上步骤S20至S22的进行，是根据所述步骤S0的监控结果所安排的传输时隙进行的，在源服务器端本地网络闲时，先将数据转存到本地缓冲模块106，在对端网络忙时，所述本地缓冲模块104的数据处于传输等待阶段；当对端网络闲时，才将本地缓冲模块104中的数据传输至对端网络的目的接驳模块206，并转存至所述存储准备模块214，当目的服务器端本地网络闲时，所述存储准备模块214将数据同步到目的服务器210。

以上是对本发明一个实施例的具体描述与介绍，下面，针对上述实施例，通过一个备份数据具体传输过程进行进一步的描述。

在备份开始时，源服务器110首先锁定要备份的数据，不让正常的进程修改或所要备份的数据，在收到调度指令后，将数据同步至传输准备模块114中，当全部数据进入传输准备模块114时，即认为全部备份数据已离线，源服务器110完成备份任务，剩下的任务源服务器不再参与，这样即可降低了源服务器的系统开销；监控模块300在源服务器端与目的服务器端建立指令连接，在两个服务器之间仅直接传输调度指令信息用以调度数据的传输，所述监控模块300中内置差时工作序列，可以智能计算本地及远端带宽及网际I/O使用情况，根据网络资源利用率排列传输时隙；当本地网络闲时将数据转存到本地缓冲模块116等待传输，当处于对端网忙时，数据处于传输等待阶段，当对方网络闲时，监控模块300会向传输准备模块114发起就绪指令，数据利用本地缓冲模块116中的策略路由选择网关与目的接驳模块216的网关建立连接，选择加密链路将数据传入对端目的接驳模块216；同样监控模块300也随时计算对端内网的网络资源使用情况，当对端（目的服务器端）内网处于闲时则通过存储准备模块214调用传输引擎将数据写入目的服务器200。

通过传输准备模块114以及存储准备模块214的数据缓冲，使得数据传输对服务器性能要求降低，在传输的过程中可以极少的占用服务器及网络资源，在长距离传输的过程中经过多级缓冲，通过监控模块300设计传输时隙，使其对网络依赖程度降低，并且不会影响业务环境内网的正常工作。另外，源服务器与目的服务器不需要直接建立会话连接，而是通过监控模块实现两端的会话连接，并直接进行指令调度，避免出现远距离会话保持中断的情况，也避免了一旦出现中断将经历复杂的重新建立过程，同时就避免了延长了数据复制时间以及增加了维护难度。

如图9所示，在本实施例数据传输过程中：

所述步骤S20对数据进行窗口化分割，是依照网络传输窗口将数据首先分割成带有封装编号的8k包，然后将分包队列存储于本地缓冲模块116等待传输调度的派遣；在目的接驳模块216收到的分包队列中根据调度层内置的拆包组包协议挑出对应的包进行组包，此行为在存储准备模块完成，完成后的数据为完整数据且经过完整性校验。

监控模块300会对网络进行监听，当网络处于闲时使用定制好的基于优先算法的策略将8k的小型数据包按顺序及定制数量发送出去，定制数量可在调度控制台中进行设置，本实施例默认按1递增，如遇网络闲时按照监控模块300安排的传输时隙，先行发送一个8k数据包，如网络依然畅通则发送两个8k数据包，仍然畅通则同时发送三个8k数据包，以此类推，每次递增一个小型的数据包，直到监控模块300监控到再次遇到网络忙时则退出发送队列，未发送的数据包重新进入本地缓冲区包池等待发送。

监控模块300中的调度层处于传输通道以外，与传输通道平行，属于旁路监听及开关控制类功能，在传输控制中可以对本地缓冲区及目的控制区同时进行监听，并综合两个端点的网络繁忙程度智能做出传输判断；监听功能除监听网络外还负担生产环境存活检查及相应恢复指令等功能；除监听外，调度层的管理机制还应用于对数据进行拆解组包等操作，此类操作有双端许可的协议支撑，保证了数据的安全和完整。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种数据备份方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种数据备份方法，其特征在于，所述步骤A中，还包括对进行增量备份的数据进行加密的步骤。

3.如权利要求2所述的一种数据备份的方法，其特征在于，所述步骤B中，将增量备份的数据与上一次切片备份数据进行组合的过程还包括先对所述增量备份数据进行解密的步骤。

4.如权利要求3所述的一种数据备份的方法，其特征在于，所述步骤B中，组合成新的切片备份数据后再次进行加密存储，在下一次与增量备份进行组合时，对所述新的切片备份数据先进行解密。

5.如权利要求4所述的一种数据备份的方法，其特征在于，所述步骤B中，组合成新的切片备份数据后先进行数据完整性校验。

6.一种基于权利要求1所述数据备份方法的数据恢复方法，其特征在于，包括步骤:

7.一种基于权利要求1所述数据备份方法的数据恢复方法，其特征在于，包括步骤:

8.一种用于接收源服务器端的备份数据的目的服务器系统，其特征在于，包括：

9.如权利要求8所述的用于接收源服务器端的备份数据的目的服务器系统，其特征在于，还包括一个对所述切片备份数据进行加密的加密模块以及对所述切片备份数据进行解密的解密模块。

10.如权利要求9所述的用于接收源服务器端的备份数据的目的服务器系统，其特征在于，还包括一个对解密后的数据进行临时存储的模拟数据仓。