CN107682210A - 一种基于混合传输模式的数据升级方法及系统 - Google Patents

Abstract

本发明公开了一种基于混合传输模式的数据升级方法及系统，该方法包括以下步骤：1)核心服务器将升级数据包分发给多个主负载服务器；2)主负载服务器以P2P的传输方式将升级数据包分发给同一升级区域内的所有负载服务器；3)负载服务器将升级数据包按照设定大小进行分片，按IP网段遍历发送给与该负载服务器连接的所有终端；其中，每个所述升级区域均具有一个所述主负载服务器、多个负载服务器以及多个终端。通过本方案，提高了升级数据包分发的效率，降低了服务器的负荷，提高了数据分发的安全性。

Description

一种基于混合传输模式的数据升级方法及系统

技术领域

本发明涉及计算机数据安全领域，具体涉及一种基于混合传输模式的数据升级方法及系统。

背景技术

随着信息时代的到来,人民生活受益巨大,但国家信息安全也受到了严重挑战.安全问题愈演愈烈，网络与信息安全已获得到前所未有的关注，其中，数据防泄漏系统作为数据安全的终端防护手段，适应需求变化，逐渐向智能化、实时化方向发展。

伴随客户的使用，越来越多的诉求被提出来，同时也有部分bug暴露出来，以此带来版本的不断迭代升级以满足客户需求；终端升级效率和网路占用也成为客户比较在意和关注的一个问题。

传统数据防泄漏系统中，终端的升级均由单台服务器统一进行升级推送，该方式可控性较高，较适合初期小范围升级。但在

大范围推送升级时，会占用大量网络带宽和服务器的CPU和内存资源，导致升级比较慢，占用带宽，影响部署方的正常网络，严重的甚至影响到客户的正常业务。

发明内容

为解决上述技术问题，本发明提供了一种基于混合传输模式的数据升级系统，包括：一个核心服务器、多个主负载服务器、多个负载服务器和多个终端；

将终端所在位置分为多个升级区域；

每个升级区域均具有一个所述主负载服务器、多个负载服务器以及多个终端；

所述核心服务器与所述多个主负载服务器相连，并将升级数据包分发给所述多个主负载服务器；

主负载服务器与同一升级区域中的多个负载服务器相连，并且同一升级区域中的多个负载服务器之间相互连接；

主负载服务器以P2P的传输方式将升级数据包分发给同一升级区域内的所有负载服务器；

负载服务器将升级数据包按照设定大小进行分片，按IP网段遍历发送给与该负载服务器连接的所有终端。

根据本发明的实施例，优选的，所述核心服务器将升级数据包分发给所述多个主负载服务器具体包括：

所述核心服务器首先对升级数据包进行MD5和SHA-2计算，所述核心服务器与主负载服务器共用一对非对称密钥，所述核心服务器随机生成一对称密钥，对升级数据包进行加密，将所述对称密钥用加密公钥进行加密，将加密后的对称密钥，升级数据包，MD5和SHA-2值封装后发送给各主负载服务器；所述主负载服务器在接收到数据后，用私钥对加密后的对称密钥进行解密，并利用该对称密钥解密升级数据包，利用该升级数据包生成新的MD5值和SHA-2值，并与接收得到的MD5和SHA-2值进行对比，如果对比结果相同，则分发结束，否则所述主负载服务器重新向所述核心服务器请求升级数据包。

根据本发明的实施例，优选的，所述主负载服务器以P2P的传输方式将升级数据包分发给同一升级区域内的所有负载服务器具体包括：

按照负载服务器接入顺序给负载服务器按照1,2,3,4....的顺序编号，主负载服务器默认顺序编号为0；主负载服务器发送升级数据包给负载服务器1，负载服务器0、1再发送升级数据包到负载服务器2、3，以此类推，当发现最后一个负载服务器已经发送了升级任务或者已经升级，发送升级数据包的负载服务器给主负载服务器发送所有负载服务器都接收到升级数据包的消息，主负载服务器分发该消息给各个负载服务器，接收到该消息的负载服务器在此次升级数据包发送完成后，不再进行遍历。

根据本发明的实施例，优选的，当在升级区域中接入新的负载服务器时，同一升级区域中的主负载节点生成新的负载服务器信息，并更新本地负载服务器数据信息，同时同步数据到同一升级区中的其他负载服务器上。

为解决上述技术问题，本发明提供了一种基于混合传输模式的数据升级方法，该方法包括以下步骤：

1)核心服务器将升级数据包分发给多个主负载服务器；

2)主负载服务器以P2P的传输方式将升级数据包分发给同一升级区域内的所有负载服务器；

3)负载服务器将升级数据包按照设定大小进行分片，按IP网段遍历发送给与该负载服务器连接的所有终端；

其中，每个所述升级区域均具有一个所述主负载服务器、多个负载服务器以及多个终端；

根据本发明的实施例，优选的，所述步骤1)核心服务器将升级数据包分发给所述多个主负载服务器具体包括：

所述核心服务器首先对升级数据包进行MD5和SHA-2计算，所述核心服务器与主负载服务器共用一对非对称密钥，所述核心服务器随机生成一对称密钥，对升级数据包进行加密，将所述对称密钥用加密公钥进行加密，将加密后的对称密钥，升级数据包，MD5和SHA-2值封装后发送给各主负载服务器；所述主负载服务器在接收到数据后，用私钥对加密后的对称密钥进行解密，并利用该对称密钥解密升级数据包，利用该升级数据包生成新的MD5值和SHA-2值，并与接收得到的MD5和SHA-2值进行对比，如果对比结果相同，则分发结束，否则所述主负载服务器重新向所述核心服务器请求升级数据包。

根据本发明的实施例，优选的，所述步骤2)主负载服务器以P2P的传输方式将升级数据包分发给同一升级区域内的所有负载服务器具体包括：

按照负载服务器接入顺序给负载服务器按照1,2,3,4....的顺序编号，主负载服务器默认顺序编号为0；主负载服务器发送升级数据包给负载服务器1，负载服务器0、1再发送升级数据包到负载服务器2、3，以此类推，当发现最后一个负载服务器已经发送了升级任务或者已经升级，发送升级数据包的负载服务器给主负载服务器发送所有负载服务器都接收到升级数据包的消息，主负载服务器分发该消息给各个负载服务器，接收到该消息的负载服务器在此次升级数据包发送完成后，不再进行遍历。

根据本发明的实施例，优选的，当在升级区域中接入新的负载服务器时，同一升级区域中的主负载节点生成新的负载服务器信息，并更新本地负载服务器数据信息，同时同步数据到同一升级区中的其他负载服务器上。

根据本发明的实施例，优选的，所述步骤3)所述负载服务器将升级数据包按照设定大小进行分片，按IP网段遍历发送给与该负载服务器连接的所有终端具体如下：

负载服务器将升级数据包发送给终端的时候，在应用层对升级数据包按照特定的大小进行分片，记录标签，重新封装，遍历每个IP网段，再遍历每个IP网段内的终端，向每个终端发送一片数据，发送完停止；

如果遍历完后，数据分片没有发送完，从头继续遍历发送，保证发送一份完整的升级数据包给每个IP网段。

根据本发明的实施例，优选的，还包括：

在一个IP网段上，对连接的终端进行遍历，对每个终端发送一片数据，接收到这个分片数据的终端在本IP网段的局域网内进行广播；

如果终端循环完毕，数据分片没发完，从头开始循环，直至数据分片发送完成；

如果数据分片发送完毕，终止此IP网段的循环，进行下个IP网段的循环升级操作。

为解决上述技术问题，本发明提供了一种基于混合传输模式的数据升级系统，包括：一个核心服务器、多个主负载服务器、多个负载服务器和多个终端；

所述核心服务器、主负载服务器、负载服务器和终端均包括计算机存储介质和计算机处理装置，所述计算机存储介质包括有计算机程序指令，分别通过所述计算机处理装置执行所述计算机程序指令，实现上述权利要求之一的方法。

附图说明

图1是本发明的总体系统架构图

图2是本发明核心服务器分发升级数据包给主负载服务器的流程图

图3是本发明升级区域内的系统架构图

图4本发明主负载服务器分发升级数据包给负载服务器的流程图。

具体实施方式

为了解决上述技术问题，本发明提供了一种升级系统，其包括：核心服务器和主负载服务器，每个地域部署1台主负载服务器，部署以及升级包的分发见图1。

核心服务器与主负载升级包分发加密方法，首先对升级包进行MD5和SHA-2计算，核心服务器跟主负载服务器共用一对公私密钥对，升级包核心服务器上生成一对对称密钥，对升级包进行加密，将对称密钥用公钥进行加密；将加密后的对称密钥，升级包，MD5和SHA-2值封装后发送给主负载服务器；主负载服务器在接收到数据后，用私钥对加密的对称密钥就行解密，拿到解密后的对称密钥解密升级包，生成新的MD5值和SHA-2值，跟核心服务器传过来的MD5和SHA-2值进行对比，匹配上认为升级包接收ok，没匹配上重新获取，具体流程见下图2。

相同地域负载之间升级包的分发模式，主负载0发送升级数据到1，0、1再发送数据到2、3，以此类推，当发现最后一个负载已经发送了升级任务或者已经升级，发送升级包的负载给主负载0发送所有负载都接收到升级包消息，主负载0分发消息给各个负载，接收到的负载在此次升级包发送完成后，不再进行遍历；这个数据发送保证了P2P的发送，每个连接对只发送一份数据，可以最大限度的降低单个负载的CPU和单个负载的出口带宽；同时效率呈指数提高，在负载大量部署且同地域不同地点部署时候优势明显，具体部署模型见图3。负载服务器之间具体分发升级包流程见图4。

负载服务器对升级包进行分片发送，在发送给终端的时候，在应用层对升级包按照特定的大小进行分片，记录标签，重新封装，遍历每个IP网段，再遍历每个IP网段内的终端，向每个终端发送一片数据，发送完停止，遍历完没有发送完从头继续遍历发送，保证发送一份完整的升级包给每个IP网段；应用层重新封装分片数据，此处涉及到传输层包的协议，包含协议头，body体的各种业务书写。在一个IP网段内，一个终端只与一个负载服务器进行连接，如192.168.1.*即为一个IP网段段，在每个IP网段内做分片传输。

负载服务器发送升级包给终端，负载服务器上面有终端的详细信息，这种数据传输可以最大限度的降低服务器或者单个终端的CPU占用和带宽占用，达到终端资源共享效果；升级包发送过程如下：

A.负载服务器按照IP网段进行遍历，每个IP网段发送一个完整的数据包；

一个负载服务器可以支持与多个IP网段的终端连接，每一个完整的IP网段内保证发送一个完整的包，多个IP网段部署在一个局域网内。

B.在一个IP网段上，对挂接的终端进行遍历，向每个终端发送一片数据，接收到这个片数据的终端在本网段的局域网内进行广播，分发给其他终端；

C.如果终端循环完毕，数据片没发完，从头开始循环，直至数据片发送完成；

D.如果数据片发送完毕，终止此IP网段的循环，进行下个IP网段的循环升级操作；

E.容错处理，由于广播数据有些终端可能收不到，这个时候需要负载服务器暂时保留数据分片，终端去负载服务器请求分配片；

F.当负载服务器检测不到需要升级的客户端时，分片数据做删除处理；

负载服务器跟终端数据传输安全方面考虑，由于这个是局域网内的传输，考虑到加密数据需要代价，目前只做了MD5和SHA-2校验，没有对发送数据进行加密处理。

本发明提供了一种防泄密服务器和终端梯形+环形部署方案，分级传输数据和局域网数据共享的升级方法,包含如下内容：

1、核心服务器部署，防泄密系统目前设计方案是提供一台核心服务器；

2、每个办公地点负载服务器选择一个主负载，跟核心服务器直接连通，其他负载不连接核心服务器；

3、同一地域负载服务器相互可以连通，保证负载服务器之间信息交互，同时每个负载都跟主负载建立一条常连接，保证负载服务器的数据能实时上传给主负载服务器；

4、升级包从核心服务器分发给主负载节点，采用国密的标准加密方法，公私密钥方式发送校验码，防止升级包分发过程中被恶意篡改；

5、同一地域负载服务器部署方式，部署的时候按照负载服务器接入顺序给负载进行1,2,3,4....编号，主负载节点默认为0；接入新负载服务器，主负载节点生成负载服务器的信息，并更新负载服务器数据信息，同时同步数据到各个负载服务器上，具体生成方法参考特征6；

6、升级包在负载之间分发，采用指数增长的方法进行负载的数据分发，传输方法采用洪泛式，即采用1-2-4-8这种包传输分发方法，而同一时间的传输采用P2P方式。这样即使基于百万终端场景，一个地域负载不会超过100台，发送升级包占用带宽可以接受；

7、负载之间升级包的分发也需要保证安全性，可采用各种加密方法；

8、负载服务器跟挂接终端升级包的分发，尽量降低升级中局域网的带宽占用和负载服务器的CPU，提升大面积终端的整体升级效率，采用升级包按照设定大小进行分片，同一个IP网段终端遍历发送一个完整的升级包；

9、相同IP网段终端收到数据分片后，通过广播方式把数据广播给所有的终端；

10、部分终端缺片在一定时间获取不到时，从负载服务器上获取该分片。

<实施例>

某大型银行客户基于本发明方法对已部署运行的数据防泄漏系统服务器和终端进行升级改造；改造之前有如下问题：

1、终端版本升级服务器获取版本由于采用传统的核心--负载，导致核心服务器出口带宽过大，严重影响总行业务的正常执行；

2、由于单个核心发送给各个负载，导致核心服务器CPU，内存资源消耗较高，执行效率低下，更增重了第一个问题的影响；

3、负载服务器跟所有连接的终端同时发送升级包，CPU占用过多，发送数据包慢，效率低下，影响局域网使用；

改造后，升级测试：

1、服务器部署采用核心跟各个区域主负载相连从之前几百台，降低到10台，出口带宽极大降低，CPU占用也降低，对总行用户网路几乎无影响；

2、同一区域负载之间通过点对点传输，局域网传输影响忽略，不在一个局域的同城异地办公点升级也只有点对点传输而使网路和服务器性能影响降至最低；

3、负载跟终端数据传输采用分片+局域网段内广播方式，降低了负载CPU占用和出口带宽，做到了之前大面积升级10几分钟到秒级的优化调整。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应保护在本发明的保护范围之内。

Claims (11)

1.一种基于混合传输模式的数据升级系统，包括：一个核心服务器、多个主负载服务器、多个负载服务器和多个终端；

将终端所在位置分为多个升级区域；

每个升级区域均具有一个所述主负载服务器、多个负载服务器以及多个终端；

所述核心服务器与所述多个主负载服务器相连，并将升级数据包分发给所述多个主负载服务器；

主负载服务器与同一升级区域中的多个负载服务器相连，并且同一升级区域中的多个负载服务器之间相互连接；

主负载服务器以P2P的传输方式将升级数据包分发给同一升级区域内的所有负载服务器；

负载服务器将升级数据包按照设定大小进行分片，按IP网段遍历发送给与该负载服务器连接的所有终端。

2.根据权利要求1所述的系统，所述核心服务器将升级数据包分发给所述多个主负载服务器具体包括：

所述核心服务器首先对升级数据包进行MD5和SHA-2计算，所述核心服务器与主负载服务器共用一对非对称密钥，所述核心服务器随机生成一对称密钥，对升级数据包进行加密，将所述对称密钥用加密公钥进行加密，将加密后的对称密钥，升级数据包，MD5和SHA-2值封装后发送给各主负载服务器；所述主负载服务器在接收到数据后，用私钥对加密后的对称密钥进行解密，并利用该对称密钥解密升级数据包，利用该升级数据包生成新的MD5值和SHA-2值，并与接收得到的MD5和SHA-2值进行对比，如果对比结果相同，则分发结束，否则所述主负载服务器重新向所述核心服务器请求升级数据包。

3.根据权利要求1所述的系统，所述主负载服务器以P2P的传输方式将升级数据包分发给同一升级区域内的所有负载服务器具体包括：

按照负载服务器接入顺序给负载服务器按照1,2,3,4....的顺序编号，主负载服务器默认顺序编号为0；主负载服务器发送升级数据包给负载服务器1，负载服务器0、1再发送升级数据包到负载服务器2、3，以此类推，当发现最后一个负载服务器已经发送了升级任务或者已经升级，发送升级数据包的负载服务器给主负载服务器发送所有负载服务器都接收到升级数据包的消息，主负载服务器分发该消息给各个负载服务器，接收到该消息的负载服务器在此次升级数据包发送完成后，不再进行遍历。

4.根据权利要求1所述的系统，当在升级区域中接入新的负载服务器时，同一升级区域中的主负载节点生成新的负载服务器信息，并更新本地负载服务器数据信息，同时同步数据到同一升级区中的其他负载服务器上。

5.一种基于混合传输模式的数据升级方法，该方法包括以下步骤：

1)核心服务器将升级数据包分发给多个主负载服务器；

2)主负载服务器以P2P的传输方式将升级数据包分发给同一升级区域内的所有负载服务器；

3)负载服务器将升级数据包按照设定大小进行分片，按IP网段遍历发送给与该负载服务器连接的所有终端；

其中，每个所述升级区域均具有一个所述主负载服务器、多个负载服务器以及多个终端。

6.根据权利要求5所述的方法，所述步骤1)核心服务器将升级数据包分发给所述多个主负载服务器具体包括：

所述核心服务器首先对升级数据包进行MD5和SHA-2计算，所述核心服务器与主负载服务器共用一对非对称密钥，所述核心服务器随机生成一对称密钥，对升级数据包进行加密，将所述对称密钥用加密公钥进行加密，将加密后的对称密钥，升级数据包，MD5和SHA-2值封装后发送给各主负载服务器；所述主负载服务器在接收到数据后，用私钥对加密后的对称密钥进行解密，并利用该对称密钥解密升级数据包，利用该升级数据包生成新的MD5值和SHA-2值，并与接收得到的MD5和SHA-2值进行对比，如果对比结果相同，则分发结束，否则所述主负载服务器重新向所述核心服务器请求升级数据包。

7.根据权利要求5所述的方法，所述步骤2)主负载服务器以P2P的传输方式将升级数据包分发给同一升级区域内的所有负载服务器具体包括：

按照负载服务器接入顺序给负载服务器按照1,2,3,4....的顺序编号，主负载服务器默认顺序编号为0；主负载服务器发送升级数据包给负载服务器1，负载服务器0、1再发送升级数据包到负载服务器2、3，以此类推，当发现最后一个负载服务器已经发送了升级任务或者已经升级，发送升级数据包的负载服务器给主负载服务器发送所有负载服务器都接收到升级数据包的消息，主负载服务器分发该消息给各个负载服务器，接收到该消息的负载服务器在此次升级数据包发送完成后，不再进行遍历。

8.根据权利要求5所述的方法，当在升级区域中接入新的负载服务器时，同一升级区域中的主负载节点生成新的负载服务器信息，并更新本地负载服务器数据信息，同时同步数据到同一升级区中的其他负载服务器上。

9.根据权利要求5所述的方法，所述步骤3)所述负载服务器将升级数据包按照设定大小进行分片，按IP网段遍历发送给与该负载服务器连接的所有终端具体如下：

负载服务器将升级数据包发送给终端的时候，在应用层对升级数据包按照特定的大小进行分片，记录标签，重新封装，遍历每个IP网段，再遍历每个IP网段内的终端，向每个终端发送一片数据，发送完停止；

如果遍历完后，数据分片没有发送完，从头继续遍历发送，保证发送一份完整的升级数据包给每个IP网段。

10.根据权利要求9所述的方法，还包括：

在一个IP网段上，对连接的终端进行遍历，对每个终端发送一片数据，接收到这个分片数据的终端在本IP网段的局域网内进行广播；

如果终端循环完毕，数据分片没发完，从头开始循环，直至数据分片发送完成；

如果数据分片发送完毕，终止此IP网段的循环，进行下个IP网段的循环升级操作。

11.一种基于混合传输模式的数据升级系统，包括：一个核心服务器、多个主负载服务器、多个负载服务器和多个终端；

所述核心服务器、主负载服务器、负载服务器和终端均包括计算机存储介质和计算机处理装置，所述计算机存储介质包括有计算机程序指令，分别通过所述计算机处理装置执行所述计算机程序指令，实现权利要求5-10之一的方法。