CN203340113U

CN203340113U - 内外网穿透远距离传输数据的源服务器及目的服务器系统

Info

Publication number: CN203340113U
Application number: CN201320385425XU
Authority: CN
Inventors: 杨剑; 林奎; 王俊能; 宋巍巍; 杨大勇; 赵坤荣; 许振成
Original assignee: South China Institute of Environmental Science of Ministry of Ecology and Environment
Current assignee: South China Institute of Environmental Science of Ministry of Ecology and Environment
Priority date: 2013-06-28
Filing date: 2013-06-28
Publication date: 2013-12-11
Anticipated expiration: 2023-06-28

Abstract

本实用新型公开一种内外网穿透远距离传输数据的源服务器系统，包括：源服务器；与源服务器通过本地内网连接的传输准备模块，所述传输准备模块包括：一个第一存储装置；以及一个用于将源服务器要备份传输的数据同步到所述第一存储装置的第一同步装置；以及一个用于通过所述传输准备模块将数据通过外网传输至目的服务器端的传输装置。本实用新型由于在数据传输过程中，在源服务器端设置传输准备模块，在数据传输到目的服务器之前，先通过源服务器端内网将数据直接同步到传输准备模块上的第一存储装置内，缩短了源服务器端数据复制的直接距离，可以降低源服务器端的网络开销，同时，降低了源服务器的系统开销，减少了对线上业务的冲击。

Description

内外网穿透远距离传输数据的源服务器及目的服务器系统

技术领域

本发明涉及数据备份领域，更具体的说，涉及一种内外网穿透远距离传输数据的源服务器及目的服务器系统。

背景技术

大数据领域通常存在数据备份的需求，而重要的业务数据除了本地备份还需要异地灾备需求，往往这些重要的业务数据都是一些机密数据，对于机密数据是无法直接暴露在公共网络，通常都在与公共网络逻辑隔离的内网中专门的数据存储模块域。对这类数据存储模块域中的数据进行异地备份需要穿透组成内外网的多种网络进入到灾备模块域的存储中。

传统做法是将内网数据经过多个网关的转发到目的模块域，如图1所示，首先通过源服务器100发送请求，通过本地网关101转发请求至对端网关211，目的服务器200通过对端网关211接收请求，并通过网关回复同意请求指令，然后源服务器与目的服务器直接建立会话，将完整数据经过不同的网络连续转发到目的服务器再进行组包，传输过程中会存在路由协议的变化。

但是直接转发数据经过的传输距离长，在传输过程中存在大量丢包，错包，坏包导致数据包需要重发，目的端等待完整包进行组包，传输效率大大降低，错误率提高。

发明内容

本发明所要解决的技术问题是提供一种传输效率高，对服务器要求低及对服务器线上业务冲击小的内外网穿透远距离传输数据的源服务器及目的服务器系统。

本发明的目的是通过以下技术方案来实现的：一种内外网穿透远距离传输数据的源服务器系统，包括：

源服务器；

与源服务器通过本地内网连接的传输准备模块，所述传输准备模块包括：一个第一存储装置；以及一个用于将源服务器要备份传输的数据同步到所述第一存储装置的第一同步装置；以及一个用于通过所述传输准备模块将数据通过外网传输至目的服务器端的传输装置。

优选的，还包括用于持续监控源服务器端及目的服务器端的带宽及网际I/O使用情况的监控器。

优选的，所述监控器包括有一个用于在源服务器端以及目的服务器端之间建立通讯并对数据传输进行调度控制的通讯模块。

一种用于接收如上述的源服务器系统传输数据的目的服务器系统，包括：

目的服务器；

与目的服务器通过本地内网连接的存储准备模块，

所述存储准备模块包括：一个第二存储装置，用于接收所述源服务器端发来的数据并转存至所述第二存储装置的接收装置，以及一个用于将第二存储装置的数据同步到目的服务器的第二同步装置。

优选的，还包括用于持续监控目的服务器端的带宽及网际I/O使用情况的监控器。

本发明由于在数据传输过程中，在源服务器端设置传输准备模块，在数据传输到目的服务器之前，先通过源服务器端内网将数据直接同步到传输准备模块上的第一存储装置内，之后的传输任务将不再涉及源服务器，这样，缩短了源服务器端数据复制的直接距离，可以降低源服务器端的网络开销，同时，降低了源服务器的系统开销，减少了对线上业务的冲击。

附图说明

图1是现有内外网穿透远距离传输数据的系统架构；

图2是本发明实施例一的数据传输系统架构；

图3是本发明实施例一的数据传输系统架构及流程；

图4是本发明实施例一中数据传输的具体策略；

图5是本发明实施例二的数据备份的原理示意图，

图6是本发明实施例二的数据备份的流程示意图，

图7是本发明实施例二的数据备份的系统构成图。

具体实施方式

下面结合附图和较佳的实施例对本发明作进一步说明。

实施例一

如图3所示,本发明提供一种内外网穿透远距离传输数据的数据备份系统,该系统分别包括源服务器系统以及目的服务器系统，其中，源服务器系统包括:源服务器100；与源服务器100通过本地内网连接的传输准备模块104，所述传输准备模块104设置有一个第一存储装置103，一个用于将源服务器100要备份传输的数据同步到所述第一存储装置103的第一同步装置105，以及一个用于通过所述传输准备模块将数据通过外网传输至目的服务器端的传输装置102；所述传输装置102设置有本地缓冲模块。在数据传输过程中，源服务器100锁定要备份的数据，不让正常的进程修改所述要备份的数据，通过源服务器端内网将数据直接同步到传输准备模块104进行暂存，这样，缩短了源服务器端数据复制的直接距离，可以降低源服务器端的网络开销，同时，降低了源服务器100的系统开销，减少了对线上业务的冲击。

对应的，目的服务器系统包括:目的服务器200；与目的服务器200通过本地内网连接的存储准备模块214，所述存储准备模块214包括：一个第二存储装置213，一个用于接收所述源服务器端发来的数据并转存至所述第二存储装置213的接收装置212，以及一个用于将第二存储装置213的数据同步到目的服务器200的第二同步装置206，所述接收装置212设置有目的接驳模块。存储准备模块212用于在目的服务器端对数据进行暂存，当目的服务器端的内网闲时或者目的服务器200业务闲时，存储准备模块212将数据同步到目的服务器器200，完成数据的备份过程。这样可以减少对目的服务器的业务冲击，也可以降低目的服务器的系统开销。

作为本实施例的进一步改进，该数据备份系统同时还包括有一用于持续监控源服务器端及目的服务器端的带宽及网际I/O(INPU/OUTPUT)使用情况的监控器300，所述监控器300在监控带宽及网际I/O的使用情况的同时，计算并排出传输时隙，同时，该监控器300设置有通讯模块301用以在源服务器端以及目的服务器端之间进行指令传输，在源服务器100及目的服务器200之间进行指令调度，对数据的传输进行调度，控制数据的传输量及传输时间，确保传输过程中不会对系统的正常业务造成负担。

基于上述数据备份系统，如图2所示，结合图3，所述数据的备份方法如下：

A0：持续监控源服务器端及目的服务器端的带宽及网际I/O使用情况，根据网络资源利用率排列传输时隙；

A1、锁定要备份的数据，将源服务器100要传输的备份数据同步到本地内网的传输准备模块104；

A2、通过所述传输准备模块104将数据通过外网传输至对端的目的服务器200。

所述步骤A2可具体拆分为：

步骤A20：在传输准备模块104对数据进行窗口化分割成带有封装编号的小型数据包并按队列暂存在所述本地缓冲模块106（传输装置），并根据所述步骤A0安排的传输时隙将所述小型数据包传输至所述目的接驳模块206（接收装置）；

步骤A21：当目的接驳模块206接收到源服务器端传输过来的小型数据包后，先将数据转存至存储准备模块214并进行组包；

步骤A22：根据所述步骤A0的持续监控结果，当目的服务器端的内网处于闲时，将所述存储准备模块214上的数据写入所述目的服务器200。

以上步骤A20至A22的进行，是根据所述步骤A0的监控结果所安排的传输时隙进行的，在源服务器端本地网络闲时，先将数据转存到本地缓冲模块106，在对端网络忙时，所述本地缓冲模块104的数据处于传输等待阶段；当对端网络闲时，才将本地缓冲模块104中的数据传输至对端网络的目的接驳模块206，并转存至所述存储准备模块214，当目的服务器端本地网络闲时，所述存储准备模块214将数据同步到目的服务器200。

以上是对本发明一个实施例的具体描述与介绍，下面，针对上述实施例，通过一个备份数据具体传输过程进行进一步的描述。

在备份开始时，源服务器100首先锁定要备份的数据，不让正常的进程修改或所要备份的数据，在收到调度指令后，将数据同步至传输准备模块104中，当全部数据进入传输准备模块104时，即认为全部备份数据已离线，源服务器100完成备份任务，剩下的任务源服务器不再参与，这样即可降低了源服务器的系统开销；监控器300在源服务器端与目的服务器端建立指令连接，在两个服务器之间仅直接传输调度指令信息用以调度数据的传输，所述监控器300中内置差时工作序列，可以智能计算本地及远端带宽及网际I/O使用情况，根据网络资源利用率排列传输时隙；当本地网络闲时将数据转存到本地缓冲模块106等待传输，当处于对端网忙时，数据处于传输等待阶段，当对方网络闲时，监控器300会向传输准备模块104发起就绪指令，数据利用本地缓冲模块106中的策略路由选择网关与目的接驳模块206的网关建立连接，选择加密链路将数据传入对端目的接驳模块206；同样监控器300也随时计算对端内网的网络资源使用情况，当对端（目的服务器端）内网处于闲时则通过存储准备模块214调用传输引擎将数据写入目的服务器200。

通过传输准备模块104以及存储准备模块214的数据缓冲，使得数据传输对服务器性能要求降低，在传输的过程中可以极少的占用服务器及网络资源，在长距离传输的过程中经过多级缓冲，通过监控器300设计传输时隙，使其对网络依赖程度降低，并且不会影响业务环境内网的正常工作。另外，源服务器与目的服务器不需要直接建立会话连接，而是通过监控器实现两端的会话连接，并直接进行指令调度，避免出现远距离会话保持中断的情况，也避免了一旦出现中断将经历复杂的重新建立过程，同时就避免了延长了数据复制时间以及增加了维护难度。

如图4所示，在本实施例数据传输过程中：

所述步骤A20对数据进行窗口化分割，是依照网络传输窗口将数据首先分割成带有封装编号的8k包，然后将分包队列存储于本地缓冲模块106等待传输调度的派遣；在目的接驳模块206收到的分包队列中根据调度层内置的拆包组包协议挑出对应的包进行组包，此行为在存储准备模块完成，完成后的数据为完整数据且经过完整性校验。

监控器300会对网络进行监听，当网络处于闲时使用定制好的基于优先算法的策略将8k的小型数据包按顺序及定制数量发送出去，定制数量可在调度控制台中进行设置，本实施例默认按1递增，如遇网络闲时按照监控器300安排的传输时隙，先行发送一个8k数据包，如网络依然畅通则发送两个8k数据包，仍然畅通则同时发送三个8k数据包，以此类推，每次递增一个小型的数据包，直到监控器300监控到再次遇到网络忙时则退出发送队列，未发送的数据包重新进入本地缓冲区包池等待发送。

监控器300中的调度层处于传输通道以外，与传输通道平行，属于旁路监听及开关控制类功能，在传输控制中可以对本地缓冲区及目的控制区同时进行监听，并综合两个端点的网络繁忙程度智能做出传输判断；监听功能除监听网络外还负担生产环境存活检查及相应恢复指令等功能；除监听外，调度层的管理机制还应用于对数据进行拆解组包等操作，此类操作有双端许可的协议支撑，保证了数据的安全和完整。

实施例二

本实施例基于上述实施例的进一步改进，上述实施例主要在于对数据传输过程的优化，而本实施例主要在于对备份数据的结构进行优化。

如图7所示，并结合图6及图8，具体步骤如下：

S1、源服务器端确认备份是否是首次备份，若是首次备份，生成全量备份数据，并进行加密传输到目的服务器端；否则，在上一次的备份基础上生成增量备份数据，并进行加密传输到目的服务器端。

S2、目的服务器端在接收到备份数据后进行判断是否是首次备份，若是，则首次备份作为切片备份数据存储；

S3、若不是首次备份，则对接收到的增量备份进行解密，同时，对上一次的增量备份数据进行解密；

S4、将解密后的增量备份数据与上一次切片备份数据在目的服务器端本地离线组合形成新的切片备份数据，其中，离线组合是将增量备份的数据还原到上一次切片备份数据形成新的切片数据的过程，与现有增量备份还原是一样的；

S5、将组合后的新的切片备份数据重新进行加密存储。

本实施例可以恢复最近的增量数据同时又可以在出现灾难性故障或者某些特殊需求时可以得到任意历史时间戳以前的全量数据。

针对上述的数据备份方法，本实施例同时提供数据恢复的方法，包括下列步骤：

S6、根据切片备份数据的时间戳，选择要恢复的包含有历次增量备份内容的切片备份数据；

S7、将步骤a中选择的目的服务器端的切片备份数据直接还原到源服务器端。

若目的服务器端对最近一次增量备份所形成切片备份数据进行存储，则恢复方法如下：

a1、根据切片备份数据的时间戳，选择要恢复的包含有最近一次增量备份内容的切片备份数据；

b1、将步骤a1中选择的目的服务器的切片备份数据直接还原到源服务器。

针对上述方法，如图6所示，本实施例同时提供相应的数据传输备份系统，包括：源服务器系统110以及目的服务器系统210，其中，源服务器系统110的源服务器生成增量备份数据或者是首次备份全量数据，进行加密传输至目的服务器系统210，数据在目的服务器系统210进行组合后存储。

具体的，目的服务器系统210包括：用于接收源服务器端发来的增量备份数据或全量备份数据的接收模块211、用于存储最近一次的切片备份数据的切片备份存储模块215以及用于将增量备份数据与上一次切片备份数据在本地离线组合形成新的切片备份数据并将其存储至所述切片备份存储模块215的切片组包模块212。

为了确保数据传输的安全性和完整性，本实施例同时还设置有对数据进行加密和解密的加密模块以及解密模块214、同时设置有对解密后的数据进行临时存储的模拟数据仓213。

以增量备份为例，当接收模块211接收到源服务器端100传输来的增量备份数据后，接收模块211首先对该增量备份数据进行解密，之后移入切片组包模块212；同时，备份逻辑调出切片备份存储模块215中的最近一次切片备份数据，通过解密模块214对该切片备份数据进行解密，并教研数据的完整性，之后移入模拟数据仓213中，该系统仓只能通过管理人员识别数据健康程度，系统仓外无法对数据进行任何操作；待切片组包模块212就绪后将解密后的切片备份数据移入切片组包模块212中与增量备份数据进行离线组合成新的切片备份数据，之后将新的切片备份数据移入加密模块214对数据进行加密，然后在切片备份存储模块215中进行周期静态存储。

同样的，恢复数据的过程，首先根据时间戳选择需要恢复的切片备份数据，从切片备份存储模块215中调出并在解密模块214中解密，然后直接恢复到源服务器端即可。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种内外网穿透远距离传输数据的源服务器系统，其特征在于，包括：

源服务器；

2.如权利要求1所述的内外网穿透远距离传输数据的源服务器系统，其特征在于，还包括用于持续监控源服务器端及目的服务器端的带宽及网际I/O使用情况的监控器。

3.如权利要求2所述的内外网穿透远距离传输数据的源服务器系统，其特征在于，所述监控器包括有一个用于在源服务器端以及目的服务器端之间建立通讯并对数据传输进行调度控制的通讯模块。

4.一种用于接收如权利要求1所述的源服务器系统传输数据的目的服务器系统，其特征在于，包括：

目的服务器；

与目的服务器通过本地内网连接的存储准备模块，

5.如权利要求4所述的目的服务器系统，其特征在于，还包括用于持续监控目的服务器端的带宽及网际I/O使用情况的监控器。

6.如权利要求5所述的目的服务器系统，其特征在于，所述监控器包括有一个用于在源服务器端以及目的服务器端之间建立通讯并对数据传输进行调度控制的通讯模块。