CN108989449B - 一种应用于大规模部署场景下的大文件传播方法及装置 - Google Patents

Abstract

本发明提供了一种应用于大规模部署场景下的大文件传播方法及装置，涉及云计算技术领域，包括：根据节点总数，计算初始种子数N；通过对各节点的健康状态进行排名，取前N个种子节点，设为初始种子节点；接收待升级节点从初始种子节点处拉取文件的请求；初始种子节点向待升级节点传输文件。通过去中心化传输方法并设置初始种子节点，可以缓解传统中心化模型中，文件服务器负载过高，对请求响应不稳定，易导致大文件传输速度变慢的技术问题，解决了现有去中心化模型中，因种子节点的确立具有较大的随机性造成传输质量不稳定的问题，并且可以大幅度提升大文件的传播速度。

Description

一种应用于大规模部署场景下的大文件传播方法及装置

技术领域

本发明涉及云计算技术领域，尤其是涉及一种应用于大规模部署场景下的大文件传播方法及装置。

背景技术

随着云计算的普及，不少企业将原本部署在传统IT基础设施上的业务应用系统逐步搬迁到云端。对于云端应用，其自身应用系统的安全性非常重要。云端的租户，可以根据自身业务需求的特点，配备不同的安全防护能力，以阻止web攻击、病毒、渗透攻击等恶意行为。安全防护手段需要实时更新，以确保在受到恶意攻击之前，用户的业务应用系统就已具备防御能力。某些复杂的安全产品的升级包，大小可以达到1GB以上，加之需为每个租户均进行升级，且对升级时间有较高要求。

在安全设备升级场景下，传统中心化模型，文件服务器作为中心节点，将承载着所有安全设备拉取升级包时的负载，当拉取升级包的请求并发量较高时，文件服务器负载过高，不会对所有的请求均进行响应，并且导致大文件传输速度变慢。

现有去中心化模型，如BT，存在以下不足：种子节点的确立具有较大的随机性，导致传输质量不稳定的问题。

发明内容

有鉴于此，本发明的目的在于提供一种应用于大规模部署场景下的大文件传播方法及装置，以缓解传统中心化模型中，文件服务器负载过高，对请求响应不稳定，易导致大文件传输速度变慢的技术问题，解决了现有去中心化模型中，因种子节点的确立具有较大的随机性造成传输质量不稳定的问题。

第一方面，本发明实施例提供了一种应用于大规模部署场景下的大文件传播方法，所述方法包括：

根据节点总数，计算初始种子数N；

对各节点的健康状态进行排名，取前N个种子节点，设为初始种子节点；

接收待升级节点从所述初始种子节点处拉取文件的请求；

所述初始种子节点向所述待升级节点传输文件。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述根据节点总数，计算初始种子数N，包括：

根据初始种子节点从文件服务器拉取文件所需总时间，与剩余节点从初始种子节点拉取文件所需总时间的关系，计算初始种子数N。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述对各节点的健康状态进行排名，具体包括：

定期收集种子节点的状态数据，所述状态数据包括：CPU使用率或内存使用率；

根据当前内存使用率进行排名，或根据预设时间内的CPU平均使用率进行排名。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述方法还包括：

设置获取种子的节点为种子节点。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述方法还包括：

当文件传播过程中有新增节点时，接收新增节点发送的注册报文；

向新增节点发送应答报文；

向新增节点发送节点列表；

由种子节点向新增节点发送大文件。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述方法还包括：

通过心跳报文监测初始种子节点是否离开；

当有初始种子节点离开时，检查初始种子节点列表是否为空；

若为空，则检查是否有非初始种子节点已完成文件拉取；

若没有，则重启传播流程。

第二方面，本发明实施例还提供一种应用于大规模部署场景下的大文件传播装置，包括：

初始计算模块，用于根据节点总数，计算初始种子数N；

初始设置模块，用于对各节点的健康状态进行排名，取前N个种子节点，设为初始种子节点；

文件请求模块，用于接收待升级节点从所述初始种子节点处拉取文件的请求；

文件传输模块，用于所述初始种子节点向所述待升级节点传输文件。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述初始计算模块包括：

计算单元，用于根据初始种子节点从文件服务器拉取文件所需总时间，与剩余节点从初始种子节点拉取文件所需总时间的关系，计算初始种子数N。结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，初始设置模块包括：

状态收集单元，用于定期收集种子节点的状态数据，所述状态数据包括：CPU使用率或内存使用率；

状态排名单元，用于根据当前内存使用率进行排名，或根据预设时间内的CPU平均使用率进行排名。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述装置还包括：

重新设置模块，用于设置获取种子的节点为种子节点。

本发明实施例带来了以下有益效果：本发明实施例提供的一种应用于大规模部署场景下的大文件传播方法及装置，根据节点总数，计算初始种子数N；通过对各节点的健康状态进行排名，取前N个种子节点，设为初始种子节点；然后接收待升级节点从所述初始种子节点处拉取文件的请求；所述初始种子节点向所述待升级节点传输文件。通过去中心化传输方法并设置初始种子节点，可以缓解传统中心化模型中，文件服务器负载过高，对请求响应不稳定，易导致大文件传输速度变慢的技术问题，解决了现有去中心化模型中，因种子节点的确立具有较大的随机性造成传输质量不稳定的问题。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的应用于大规模部署场景下的大文件传播方法流程图一；

图2为本发明实施例提供的步骤S12的详细流程图；

图3为本发明实施例提供的应用于大规模部署场景下的大文件传播方法流程图二；

图4为本发明实施例提供的应用于大规模部署场景下的大文件传播方法流程图三；

图5为本发明实施例提供的应用于大规模部署场景下的大文件传播装置的示意图。

图标：

21-初始计算模块；22-初始设置模块；23-文件请求模块；24-文件传输模块；211-计算单元；221-状态收集单元；222-状态排名单元。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，传统中心化文件传输模型，文件服务器作为中心节点，将承载着所有安全设备拉取升级包时的负载，当拉取升级包的请求并发量较高时，文件服务器负载过高，不会对所有的请求均进行响应，并且导致大文件传输速度变慢。现有去中心化模型，如BT，存在以下不足：种子节点的确立具有较大的随机性，导致传输质量不稳定的问题。

基于此，本发明实施例提供的一种应用于大规模部署场景下的大文件传播方法及装置，可以缓解传统中心化模型中，文件服务器负载过高，对请求响应不稳定，易导致大文件传输速度变慢的技术问题，解决了现有去中心化模型中，因种子节点的确立具有较大的随机性造成传输质量不稳定的问题，并且可以大幅度提升大文件的传播速度。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种应用于大规模部署场景下的大文件传播进行详细介绍。

实施例一：

本发明实施例提供了一种应用于大规模部署场景下的大文件传播方法，如图1所示，该方法包括以下步骤：

S11：根据节点总数，计算初始种子数N。

节点也就是待升级的安全设备，种子是具备发布信息能力的节点。一部分安全设备，在从文件服务器(如：例如：FTP)下载到文件后将变为初始种子节点。剩余节点将会从初始种子节点处拉取文件，拉取完毕后其自身也变为种子节点。种子数个数越多，文件传播的速度越快。如若初始种子数设置过少，则前期的文件传播速度会变慢，进而导致种子繁衍变慢，因此，需要设置合理的初始种子数。

安全管理平台是负责为租户开通安全设备、下发安全防护策略、安全设备升级、安全事件采集和呈现等功能。安全管理平台负责计算初始种子数N，具体计算方法如下：

根据初始种子节点从文件服务器拉取文件所需总时间，与剩余节点从初始种子节点拉取文件所需总时间的关系，计算初始种子数N。

若节点总数为M，初始种子数为N，按照文件服务器同一时间只能给一个初始种子节点传输文件，以及一个种子节点同一时间只能给一个节点传输文件来估算，且假设传输时间为1分钟，可得出：初始种子节点从文件服务器拉取文件所需总时间为N分钟。剩余节点从初始种子节点拉取文件所需总时间，满足如下公式：

N×2^x>(M-N)

根据公式，计算出x的值，并对比在M和N的取值组合不同的情况下，当N+x取最小值时，可计算出初始种子数N。

S12：对各节点的健康状态进行排名，取前N个种子节点，设为初始种子节点。

安全管理平台负责根据定期收集的各节点的状态数据，形成拓扑信息以及健康状态信息，取前N个种子节点，设为初始种子节点。

上述步骤S12：对各节点的健康状态进行排名，取前N个种子节点，设为初始种子节点，如图2所示，具体包括以下两个步骤：

S121：定期收集种子节点的状态数据。

上述状态数据包括：CPU使用率或内存使用率。

作为初始种子的节点，其系统负载不允许过高，否则会影响文件的传播速度。本发明实施例中，安全管理平台收集最近5分钟内各节点的CPU使用率或当前的内存使用率，作为节点健康状态的判断依据。

S122：根据当前内存使用率进行排名，或根据预设时间内的CPU平均使用率进行排名。

考虑到内存如若偏高，会导致系统运行变慢，甚至触发诸如OOM保护机制(内存溢出保护机制)，因此先使用内存使用率进行排名区分，如若无法区分，则再使用最近5分钟内的CPU平均使用率来进行排名区分。根据最终健康状态排名结果，取前N个种子节点，设为初始种子节点。

针对大规模部署、对传播时间有较高要求等特点，通过对节点健康状态进行排名，将前N个种子节点设为初始种子节点，可以实现对种子节点的分级管理，并基于可靠传输的点对点传播，可以大幅提升文件传播速度，减少整个业务逻辑处理时间。

S13：接收待升级节点从上述初始种子节点处拉取文件的请求。

升级包置于文件服务器上，安全管理平台接收到待升级节点拉取文件的请求时，会给种子节点下发升级指令。通过种子里直接或间接携带的种子信息，建立P2P连接并下载文件。各待升级节点从各初始种子节点处拉取升级包，并进行升级。当各待升级节点拉取升级文件成功后，由管理员通过web浏览器登录到安全管理平台操作页面，执行升级操作。

S14：上述初始种子节点向上述待升级节点传输文件。

作为一种优选的实施方式，本发明实施例提供的一种应用于大规模部署场景下的大文件传播方法中，在步骤S14之后，还进一步包括以下步骤：

S15：设置获取种子的节点为种子节点。

当待升级节点在获取文件完成后，其自身也变为种子(本质上为P2P Server端)，可以对外提供下载服务。随着种子数的增加，可提供服务的节点也越来越多，在效果上等同于扩容。因此，去中心化模型下，各节点之间是点对点通信，将不会存在“中心瓶颈节点”。待升级节点可以从任意一个种子节点处拉取升级包。

作为一种优选的实施方式，本发明实施例提供的一种应用于大规模部署场景下的大文件传播方法中，当文件传播过程中有新增节点时，在步骤S15之后，如图3所示，还进一步包括以下步骤：

S161：当文件传播过程中有新增节点时，接收新增节点发送的注册报文。

每个新增的节点，在被安全管理平台纳管之前，均需向安全管理平台发送注册报文。安全管理平台接收到新增节点的注册报文后，执行步骤S162。

S162：向新增节点发送应答报文。

安全管理平台接收到新增节点的注册报文后进行处理，并回复注册ACK，即是确认字符，给新增节点。新增节点在收到注册ACK后开始定期发送心跳报文给安全管理平台。

S163：向新增节点发送节点列表。

安全管理平台将所有节点的地址信息以列表形式发送给新增节点。

S164：由种子节点向新增节点发送大文件。

新增节点以轮询的方式向列表中的每个节点发送文件获取请求。若有节点回复“可以拉取文件”，则该种子节点向新增节点发送文件，否则继续请求列表中的下一个节点。

作为一种优选的实施方式，本发明实施例提供的一种应用于大规模部署场景下的大文件传播方法中，当文件传播过程中初始种子节点离开，在步骤S15之后，如图4所示，还进一步包括以下步骤：

S171：通过心跳报文监测初始种子节点是否离开。

心跳报文用于监视机器网络存储器的运行状态。心跳报文一次发送字符串信息表示网络存储器的运行状态，以UDP广播或单播方式发送。心跳报文的发送方式和发送间隔可由用户在网络存储器的控制界面上设定。

安全管理平台根据定期检测初始种子节点的心跳，来判定初始种子节点是否存活。若心跳超时，说明该初始种子节点离开，则将该初始种子节点从初始种子节点列表中删除，并更新拓扑数据。

S172：当有初始种子节点离开时，检查初始种子节点列表是否为空。

安全管理平台通过检查保存初始种子节点信息的列表是否为空，若否，则执行步骤S173；若是，则执行步骤S174。通过判断是否所有的初始种子节点均已离开，决定是否需重启文件传播流程。

S173：若不为空，则不处理。

若仍有初始种子存在则，则待升级节点仍可以从初始种子节点处拉取文件，因此，安全管理平台不做处理。

S174：若为空，则检查是否有非初始种子节点已完成文件拉取。

若所有的初始种子节点均已离开，则需要检查是否有非初始种子节点已完成文件拉取。若有，则执行步骤S173，若有非初始种子节点已完成文件拉取，则该节点也被设置为种子节点，待升级节点仍可以从种子节点处拉取文件，因此，安全管理平台不做处理。若没有，则执行步骤S175。

S175：若没有，则重启传播流程。

若已经没有种子节点可以对外提供下载服务，则需要重启传播流程，重新设置初始种子节点。

本发明实施例提供的一种应用于大规模部署场景下的大文件传播方法中，根据节点总数，计算初始种子数N；通过对各节点的健康状态进行排名，取前N个种子节点，设为初始种子节点；然后接收待升级节点从初始种子节点处拉取文件的请求；初始种子节点向待升级节点传输文件。通过去中心化传输方法并设置初始种子节点，可以缓解传统中心化模型中，文件服务器负载过高，对请求响应不稳定，易导致大文件传输速度变慢的技术问题，解决了现有去中心化模型中，因种子节点的确立具有较大的随机性造成传输质量不稳定的问题，并且可以大幅度提升大文件的传播速度。

实施例二：

本发明实施例提供的一种应用于大规模部署场景下的大文件传播装置，如图5所示，该装置包括：初始计算模块21、初始设置模块22、文件请求模块23、文件传输模块24。初始计算模块21，包括：计算单元211。初始设置模块22，包括：状态收集单元221、状态排名单元222。

其中，初始计算模块21，用于根据节点总数，计算初始种子数N；初始设置模块22，用于对各节点的健康状态进行排名，取前N个种子节点，设为初始种子节点；文件请求模块23，用于接收待升级节点从上述初始种子节点处拉取文件的请求；文件传输模块24，用于上述初始种子节点向上述待升级节点传输文件。计算单元211，用于根据初始种子节点从文件服务器拉取文件所需总时间，与剩余节点从初始种子节点拉取文件所需总时间的关系，计算初始种子数N。状态收集单元221，用于定期收集种子节点的状态数据，上述状态数据包括：CPU使用率或内存使用率；状态排名单元222，用于根据当前内存使用率进行排名，或根据预设时间内的CPU平均使用率进行排名。

本发明实施例提供的应用于大规模部署场景下的大文件传播装置中，通过初始计算模块，根据节点总数，计算初始种子数N；利用初始设置模块，通过对各节点的健康状态进行排名，取前N个种子节点，设为初始种子节点；然后利用文件请求模块，接收待升级节点从初始种子节点处拉取文件的请求；再通过文件传输模块，初始种子节点向待升级节点传输文件。通过去中心化传输方法并设置初始种子节点，可以缓解传统中心化模型中，文件服务器负载过高，对请求响应不稳定，易导致大文件传输速度变慢的技术问题，解决了现有去中心化模型中，因种子节点的确立具有较大的随机性造成传输质量不稳定的问题，并且可以大幅度提升大文件的传播速度。

本发明实施例提供的应用于大规模部署场景下的大文件传播装置，与实施例一提供的应用于大规模部署场景下的大文件传播方法具有相同的技术特征，因此也能解决相同的技术问题，达到相同的技术效果。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种应用于大规模部署场景下的大文件传播方法，其特征在于，所述方法包括：

根据节点总数，计算初始种子数N；

对各节点的健康状态进行排名，取前N个种子节点，设为初始种子节点；

接收待升级节点从所述初始种子节点处拉取文件的请求；

所述初始种子节点向所述待升级节点传输文件；

其中，所述根据节点总数，计算初始种子数N，包括：

根据初始种子节点从文件服务器拉取文件所需总时间，与剩余节点从初始种子节点拉取文件所需总时间的关系，计算初始种子数N；

其中，当节点总数为M，且初始种子数为N时，所述剩余节点从所述初始种子节点拉取文件所需总时间满足公式：N×2^x>(M-N)；

根据所述公式计算x的值，并在M和N的取值组合不同的情况下对N+x的取值进行对比，且当N+x的取最小值时，计算得到初始种子数N。

2.根据权利要求1所述的方法，其特征在于，所述对各节点的健康状态进行排名，具体包括：

定期收集种子节点的状态数据，所述状态数据包括：CPU使用率或内存使用率；

根据当前内存使用率进行排名，或根据预设时间内的CPU平均使用率进行排名。

3.根据权利要求2所述的方法，其特征在于，还包括：

设置获取种子的节点为种子节点。

4.根据权利要求3所述的方法，其特征在于，还包括：

当文件传播过程中有新增节点时，接收新增节点发送的注册报文；

向新增节点发送应答报文；

向新增节点发送节点列表；

由种子节点向新增节点发送大文件。

5.根据权利要求4所述的方法，其特征在于，还包括：

通过心跳报文监测初始种子节点是否离开；

当有初始种子节点离开时，检查初始种子节点列表是否为空；

若为空，则检查是否有非初始种子节点已完成文件拉取；

若没有，则重启传播流程。

6.一种应用于大规模部署场景下的大文件传播装置，其特征在于，包括：

初始计算模块，用于根据节点总数，计算初始种子数N；

初始设置模块，用于对各节点的健康状态进行排名，取前N个种子节点，设为初始种子节点；

文件请求模块，用于接收待升级节点从所述初始种子节点处拉取文件的请求；

文件传输模块，用于所述初始种子节点向所述待升级节点传输文件；

其中，所述初始计算模块包括：

计算单元，用于根据初始种子节点从文件服务器拉取文件所需总时间，与剩余节点从初始种子节点拉取文件所需总时间的关系，计算初始种子数N；

其中，当节点总数为M，且初始种子数为N时，所述剩余节点从所述初始种子节点拉取文件所需总时间满足公式：N×2^x>(M-N)；

根据所述公式计算x的值，并在M和N的取值组合不同的情况下对N+x的取值进行对比，且当N+x的取最小值时，计算得到初始种子数N。

7.根据权利要求6所述的装置，其特征在于，初始设置模块包括：

状态收集单元，用于定期收集种子节点的状态数据，所述状态数据包括：CPU使用率或内存使用率；

状态排名单元，用于根据当前内存使用率进行排名，或根据预设时间内的CPU平均使用率进行排名。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

重新设置模块，用于设置获取种子的节点为种子节点。

Images