CN103401951B - 基于对等架构的弹性云分发方法 - Google Patents

Abstract

本发明涉及一种基于对等架构的弹性云分发方法，通过将分发节点在方法上进行功能区分，分为分发中心节点和对等节点，并组成混合对等式网络，提高了分发节点的稳定性和可扩展性，同时，区分缓存系统是否命中的不同情况，包括基本分发步骤和扩展分发步骤，提高了数据的分发效率。本发明的优点在于，能够支持大规模的分发服务，可对数据分发速度进行加速，突破单数据源的网络带宽和服务器性能瓶颈问题，优化网络访问质量，具有较好的应用价值。

Description

基于对等架构的弹性云分发方法

技术领域

本发明主要涉及一种基于对等架构的弹性云分发方法。

背景技术

随着海量数据爆炸时代的来临，数据共享与分发面临新的挑战：需要保存的数据以TB级别的速度每日增长，数据的存储容量变化极大，需要弹性扩容机制，数据的分发难以突破单点瓶颈。

NASA（美国宇航局）EOS系统是一个遥感数据集成与共享系统，虽然EOS在遥感数据的集成和存储上完成的较为出色，但是在遥感数据的分发管理上依然采用传统的单点分发方案，无法满足用户对遥感数据的快速分发要求。

内容分发网络（ContentDeliveryNetwork）是目前商业公司，尤其是商业门户所采用的负载均衡和缓存机制。其基本思想是通过在互联网各处放置缓存服务器，构成在互联网之上的一层虚拟网络。CDN系统能实时的根据网络流量、节点的负载状况和用户的响应时间将用户的请求智能重定向到最近或最空闲的服务节点上，使得用户可以就近获取所需内容，解决网络拥堵状况，提高用户访问站点的速度。目前提供CDN服务的公司包括蓝汛、网宿、亚马逊分发云和盛大分发云等。CDN技术通常用于互联网应用，目的是提升用户的访问延迟，而不适于海量大数据的分发的应用场景。

对于需要原始数据文件的用户，尤其是科学研究部门和遥感商业公司，通常资源所在点只有一处，这就存在当多个用户访问同一资源时存在出口带宽的问题，无法满足其对数据质量和速度的需求。因此，需要一种以高可扩展性、高复用性、高稳定性和高负载性作为保证，实现消息互通、进程粒度的动态加载、自动负载均衡和透明冗余备份多种高级特性的弹性云分发装置。

传统的主从式架构将预先设定客户端与服务端的角色，并且当客户端向服务端发送请求后，只能等待服务器的回复。在主从式架构中，服务器的性能会随着客户端请求的增加而递减。

此外，对等式（P2P）架构是一种代替主从式（master—slaver）架构的网络模型。对等式网络在每个对等点上都部署了一个分布式模块，可依照相同等级的对等点内容，或以其部署的服务器性能指标作为分类标准，决定自身在对等网络中的角色（客户端或服务端）。每个对等点可以同时扮演着客户端与服务器端。当对等点的数目逐渐增加并不断加入到对等网络上时，对等网络的运行效率却反而能得到实际上的改善。对等式架构的另一个主要特征就是容忍错误能力。当其中一个对等点离开或者下线时，P2P的应用程序将可以自动使用其他点作为替补来继续服务。但采用对等式架构的网络也存在自身的问题，节点的组织无一规律性可言，对整个网络结构没有一个全局的了解，对于资源的合理分发存在瓶颈。

针对现有技术中存在的问题，有必要研发一种能够解决上述技术问题的新型云分发方法。

发明内容

本发明针对现有技术中存在的可扩展性不足，高复用性不高、稳定性不够等缺点，提供了一种新型的基于对等架构的弹性云分发方法。

为实现上述目的，本发明可采取下述技术方案：

基于对等架构的弹性云分发方法，包括分发节点集群以及缓存系统，分发节点集群由多个分发节点组成，分发节点包括分发调度模块、缓存客户端以及多协议传输模块；包括基本分发步骤，具体步骤包括：

1）分发节点的分发调度模块收到客户端的请求后，分发节点的缓存客户端向缓存系统查询是否存在请求所需的数据；

2）如果缓存系统内存在请求所需的数据，缓存客户端进一步连接缓存系统，同时连接客户端，将缓存系统内的数据分发至客户端；

3）如果缓存系统内无请求所需的数据，分发调度模块同时与缓存系统、客户端以及数据源建立连接，分发调度模块由数据源处获得请求所需数据，分别分发至客户端和缓存系统；

当多个客户端同时请求访问同一数据，且缓存系统内无该数据时，还包括扩展分发步骤，具体步骤包括：

4）分发中心节点发现缓存系统内无请求所需的数据时，连接缓存系统，建立全局资源GlobalID，全局资源GlobalID用于表示数据正在由分发节点复制调入缓存系统；分发中心节点在复制数据的分发节点上创建GlobalID.Lock，GlobalID.Lock用于表示分发节点正在对上述调入缓存系统的数据进行复制；当数据调入缓存系统完成后，删除全局资源GlobalID以及GlobalID.Lock；所述分发中心节点通过Paxos算法在分发节点中选择得到，用于分发节点之间的消息传递和信息同步；

5）分发节点收到客户端的访问同一数据的请求后，分发节点的分发调度模块在分发中心节点中查找全局资源GlobalID，如果分发中心节点中存在全局资源GlobalID，表示请求的数据正在复制调入缓存系统；并查找存在GlobalID.Lock的分发节点，对存在GlobalID.Lock的分发节点建立监听，然后进入休眠；

6）当分发节点的GlobalID.Lock删除，则中心分发节点将休眠的分发节点唤醒；

7）分发节点被唤醒后，如果分发中心节点的全局资源GlobalID删除，则请求的数据已经调入缓存系统，收到请求的分发节点重新向缓存系统查询是否存在请求所需的数据，并执行上述步骤2）；如果分发中心节点中仍然存在全局资源GlobalID，则分发节点将抢占并取代存在GlobalID.Lock的数据进行复制分发节点，如果抢占成功则重复执行上述步骤4），如果抢占失败，则跳转执行上述步骤5）中对存在GlobalID.Lock的分发节点建立监听的步骤。

作为优选，还包括多个对等节点，对等节点用于信息同步以及远程查询，对等节点包括消息服务端以及多个服务客户端，消息服务端以及服务客户端分别由分发节点构成，由服务客户端执行上述基本分发步骤以及扩展分发步骤；多个对等节点组成混合对等式网络，具体步骤如下：在多个对等节点之间，消息服务端之间分别传递调用消息以及对调用消息的响应消息；在对等节点内部，服务客户端与消息服务端之间分别传递调用消息以及对调用消息的响应消息，消息服务端内保存一个本地模块信息表，用于保存服务客户端的注册模块信息，并与服务客户端进行注册模块信息的同步；在对等节点与分发中心节点之间，分发中心节点内保存一个全局模块信息表，用于保存所有对等节点的服务客户端的注册模块信息，消息服务端向分发中心节点注册服务客户端的注册模块信息，消息服务端与分发中心节点同步注册模块信息，消息服务端响应中心分发节点的模块信息查询。

作为优选，所述分发中心节点包括消息服务端以及多个服务客户端，消息服务端以及服务客户端分别由分发节点构成，其中，消息服务端保存全局模块信息表，接收对等节点的消息服务端所发送的注册模块信息，与对等节点的消息服务端之间进行注册模块信息的同步，并向对等节点的消息服务端发送模型信息查询。

作为优选，还包括以下具体步骤：对等节点采用在线检测机制对分发中心节点进行检测，如果检测失败，则使用Paxos算法重新在分发节点中选择分发中心节点，所述在线检测机制包括对等节点周期性地向分发中心节点发送检测信息，如果分发中心节点响应失败，则检测失败，分发中心节点发生宕机或者网络故障，需要重新选择分发中心节点。

本发明由于采用了以上技术方案，具有显著的技术效果：

本发明采用多节点集群机制，并使用Paxos算法弹性产生中心节点，可以避免在多个客户端同时向同一数据源发出数据请求时所带来的出口带宽限制以及响应瓶颈的问题。

进一步地，通过对分发节点的功能进行区分，在分发节点的基础上进一步生成对等节点，将分发节点区分为包括原有的数据分发功能的服务客户端，以及进行网络结构维护的消息服务端，消息服务端通过消息驱动机制，组成一个混合对等式网络。在混合对等式网络的基础上，结合应用Paxos算法弹性产生分发中心节点，建立了一个跨进程的大规模服务发布与调用机制，可以进一步支持大规模分发服务，并可以加速数据分发速度，可以突破现有的网络带宽限制和服务器响应性能瓶颈问题，令网络的访问质量得到进一步的优化。

此外，分发中心节点和对等节点之间通过在线检测机制检测分发中心节点的工作状态，一旦检测失败，立即启动中心节点选择机制，提高了整个混合对等式网络的稳定性。

附图说明

图1是本发明的分发装置的结构示意图。

图2是混合对等式网络的逻辑结构示意图。

具体实施方式

下面结合实施例对本发明作进一步的详细描述。

实施例1

基于对等架构的弹性云分发方法，基于如图1所示的分发装置，分发装置包括分发节点集群1以及缓存系统2，分发节点集群1由多个分发节点3组成，分发节点3包括分发调度模块31、缓存客户端32以及多协议传输模块33。分发调度模块31的功能是接受来自用户的分发传输客户端4的传输请求并完成相应处理。缓存客户端32是与缓存系统2交互的接口。多协议数据传输模块33用于兼容多种数据源的数据发布方式。

当客户端向分发节点A发起请求，请求数据资源R。分发节点B也接到要求数据资源R的请求时。

首先采用基本分发步骤，具体步骤包括：

1）分发节点3的分发调度模块收到客户端4的请求后，分发节点3的缓存客户端32向缓存系统2查询是否存在请求所需的数据。

2）如果缓存系统2内存在请求所需的数据，缓存客户端32进一步连接缓存系统2，同时连接客户端4，将缓存系统2内的数据分发至客户端。

3）如果缓存系统2内无请求所需的数据，分发调度模块31同时与缓存系统2、客户端4以及数据源5建立连接，分发调度模块31由数据源5处获得请求所需数据，分别分发至客户端4和缓存系统2。该过程完成后，客户端4和缓存系统2中都会有一个数据副本。

为了提高整体的传输效率，突破出口带宽限制，当多个客户端4同时请求访问同一数据，且缓存系统2内无该数据时，采用以下的扩展分发步骤，具体步骤包括：

4）分发中心节点6发现缓存系统2内无请求所需的数据时，连接缓存系统2，建立全局资源GlobalID，全局资源GlobalID用于表示数据正在由分发节点3复制调入缓存系统2；分发中心节点6在复制数据的分发节点3上创建GlobalID.Lock，GlobalID.Lock用于表示分发节点3正在对上述调入缓存系统2的数据进行复制；当数据调入缓存系统2完成后，删除全局资源GlobalID以及GlobalID.Lock；所述分发中心节点6通过Paxos算法在分发节点3中选择得到，用于分发节点3之间的消息传递和信息同步。

5）分发节点3收到客户端4的访问同一数据的请求后，本步骤5）中的分发节点3为步骤4）中已经创建了GlobalID.Lock的分发节点3之外的其他尚未创建GlobalID.Lock的分发节点3，已经创建了GlobalID.Lock的分发节点3正在进行数据传输，为GlobalID.Lock锁定，无法接收客户端4的请求，分发节点3的分发调度模块31在分发中心节点6中查找全局资源GlobalID，如果分发中心节点6中存在全局资源GlobalID，表示请求的数据正在复制调入缓存系统2；并查找存在GlobalID.Lock的分发节点3，对存在GlobalID.Lock的分发节点3建立监听，然后进入休眠。

6）当分发节点3的GlobalID.Lock删除，则中心分发节点3将休眠的分发节点3唤醒；

7）分发节点3被唤醒后，如果分发中心节点6的全局资源GlobalID删除，则请求的数据已经调入缓存系统，收到请求的分发节点3重新向缓存系统2查询是否存在请求所需的数据，并执行上述步骤2）；如果分发中心节点6中仍然存在全局资源GlobalID，则分发节点3将抢占并取代存在GlobalID.Lock的数据进行复制分发节点3，如果抢占成功则重复执行上述步骤4），如果抢占失败，则跳转执行上述步骤5）中对存在GlobalID.Lock的分发节点3建立监听的步骤，重新进入监听-休眠-唤醒的流程。

此外，本发明基于对等架构，将分发节点从功能上进行区分，区分为对等节点7和分发中心节点6，并建立混合对等式网络。混合对等式网络包括多个对等节点7，对等节点7用于信息同步以及远程查询，对等节点7包括消息服务端71以及多个服务客户端72，消息服务端71以及服务客户端72分别由分发节点3构成，由服务客户端72执行上述基本分发步骤以及扩展分发步骤。消息服务端71存储本地模块信息，负责对等节点的自组织管理，维护混合对等网络的拓扑图，分发中心节点6的选取，与分发中心节点6的信息同步与远程查询，本地模块信息的注册和管理。服务客户端72进行服务调用。分发中心节点6在具有普通转发对等节点特性的基础上，包含全局模块信息，还负责管理整个分发装置的服务接口及服务与分发对等节点6的映射关系。

多个对等节点7组成混合对等式网络，具体步骤如下：在多个对等节点7之间，消息服务端71之间分别传递调用消息以及对调用消息的响应消息；在对等节点7内部，服务客户端72与消息服务端71之间分别传递调用消息以及对调用消息的响应消息，消息服务端71内保存一个本地模块信息表，用于保存服务客户端72的注册模块信息，并与服务客户端72进行注册模块信息的同步；在对等节点7与分发中心节点6之间，分发中心节点6内保存一个全局模块信息表，用于保存所有对等节点7的服务客户端72的注册模块信息，消息服务端71向分发中心节点6注册服务客户端72的注册模块信息，消息服务端71与分发中心节点6同步注册模块信息，消息服务端71响应中心分发节点3的模块信息查询。

所述分发中心节点6包括消息服务端71以及多个服务客户端72，消息服务端71以及服务客户端72分别由分发节点3构成，其中，消息服务端71保存全局模块信息表，接收对等节点7的消息服务端71所发送的注册模块信息，与对等节点7的消息服务端71之间进行注册模块信息的同步，并向对等节点7的消息服务端71发送模型信息查询。

由于节点之间采用混合对等式网络模型，所有的对等节点7的地位平等，能够自动弹性增加或减少节点。还包括以下具体步骤：对等节点7采用在线检测机制对分发中心节点6进行检测，如果检测失败，则使用Paxos算法重新在分发节点3中选择分发中心节点6，所述在线检测机制包括对等节点7周期性地向分发中心节点6发送检测信息，如果分发中心节点6响应失败，则检测失败，分发中心节点6发生宕机或者网络故障，需要重新选择分发中心节点6。

总之，以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所作的均等变化与修饰，皆应属本发明专利的涵盖范围。

Claims (4)

1.一种基于对等架构的弹性云分发方法，其特征在于，包括分发节点集群（1）以及缓存系统（2），分发节点集群（1）由多个分发节点（3）组成，分发节点（3）包括分发调度模块（31）、缓存客户端（32）以及多协议传输模块（33）；包括基本分发步骤，具体步骤包括：

1）分发节点（3）的分发调度模块收到客户端（4）的请求后，分发节点（3）的缓存客户端（32）向缓存系统（2）查询是否存在请求所需的数据；

2）如果缓存系统（2）内存在请求所需的数据，缓存客户端（32）进一步连接缓存系统（2），同时连接客户端（4），将缓存系统（2）内的数据分发至客户端；

3）如果缓存系统（2）内无请求所需的数据，分发调度模块（31）同时与缓存系统（2）、客户端（4）以及数据源（5）建立连接，分发调度模块（31）由数据源（5）处获得请求所需数据，分别分发至客户端（4）和缓存系统（2）；

当多个客户端（4）同时请求访问同一数据，且缓存系统（2）内无该数据时，还包括扩展分发步骤，具体步骤包括：

4）分发中心节点（6）发现缓存系统（2）内无请求所需的数据时，连接缓存系统（2），建立全局资源GlobalID，全局资源GlobalID用于表示数据正在由分发节点（3）复制调入缓存系统（2）；分发中心节点（6）在复制数据的分发节点（3）上创建GlobalID.Lock，GlobalID.Lock用于表示分发节点（3）正在对上述调入缓存系统（2）的数据进行复制；当数据调入缓存系统（2）完成后，删除全局资源GlobalID以及GlobalID.Lock；所述分发中心节点（6）通过Paxos算法在分发节点（3）中选择得到，用于分发节点（3）之间的消息传递和信息同步；

5）分发节点（3）收到客户端（4）的访问同一数据的请求后，分发节点（3）的分发调度模块（31）在分发中心节点（6）中查找全局资源GlobalID，如果分发中心节点（6）中存在全局资源GlobalID，表示请求的数据正在复制调入缓存系统（2）；并查找存在GlobalID.Lock的分发节点（3），对存在GlobalID.Lock的分发节点（3）建立监听，然后进入休眠；

6）当分发节点（3）的GlobalID.Lock删除，则中心分发节点（3）将休眠的分发节点（3）唤醒；

7）分发节点（3）被唤醒后，如果分发中心节点（6）的全局资源GlobalID删除，则请求的数据已经调入缓存系统，收到请求的分发节点（3）重新向缓存系统（2）查询是否存在请求所需的数据，并执行上述步骤2）；如果分发中心节点（6）中仍然存在全局资源GlobalID，则分发节点（3）将抢占并取代存在GlobalID.Lock的数据进行复制分发节点（3），如果抢占成功则重复执行上述步骤4），如果抢占失败，则跳转执行上述步骤5）中对存在GlobalID.Lock的分发节点（3）建立监听的步骤。

2.根据权利要求1所述基于对等架构的弹性云分发方法，其特征在于，还包括多个对等节点（7），对等节点（7）用于信息同步以及远程查询，对等节点（7）包括消息服务端（71）以及多个服务客户端（72），消息服务端（71）以及服务客户端（72）分别由分发节点（3）构成，由服务客户端（72）执行上述基本分发步骤以及扩展分发步骤；多个对等节点（7）组成混合对等式网络，具体步骤如下：在多个对等节点（7）之间，消息服务端（71）之间分别传递调用消息以及对调用消息的响应消息；在对等节点（7）内部，服务客户端（72）与消息服务端（71）之间分别传递调用消息以及对调用消息的响应消息，消息服务端（71）内保存一个本地模块信息表，用于保存服务客户端（72）的注册模块信息，并与服务客户端（72）进行注册模块信息的同步；在对等节点（7）与分发中心节点（6）之间，分发中心节点（6）内保存一个全局模块信息表，用于保存所有对等节点（7）的服务客户端（72）的注册模块信息，消息服务端（71）向分发中心节点（6）注册服务客户端（72）的注册模块信息，消息服务端（71）与分发中心节点（6）同步注册模块信息，消息服务端（71）响应中心分发节点（3）的模块信息查询。

3.根据权利要求2所述基于对等架构的弹性云分发方法，其特征在于，所述分发中心节点（6）包括消息服务端（71）以及多个服务客户端（72），消息服务端（71）以及服务客户端（72）分别由分发节点（3）构成，其中，消息服务端（71）保存全局模块信息表，接收对等节点（7）的消息服务端（71）所发送的注册模块信息，与对等节点（7）的消息服务端（71）之间进行注册模块信息的同步，并向对等节点（7）的消息服务端（71）发送模型信息查询。

4.根据权利要求2所述基于对等架构的弹性云分发方法，其特征在于，还包括以下具体步骤：对等节点（7）采用在线检测机制对分发中心节点（6）进行检测，如果检测失败，则使用Paxos算法重新在分发节点（3）中选择分发中心节点（6），所述在线检测机制包括对等节点（7）周期性地向分发中心节点（6）发送检测信息，如果分发中心节点（6）响应失败，则检测失败，分发中心节点（6）发生宕机或者网络故障，需要重新选择分发中心节点（6）。