CN105553872A - 一种多路径数据流量负载均衡方法 - Google Patents

Abstract

本发明公开了一种多路径数据流量负载均衡方法，该方法包括：当接收到数据请求时，每个客户端节点同时对数据存储池进行数据存取；每个客户端节点发送数据至服务器；所述服务器接收到每个客户端节点发送的数据，将所有的数据进行处理，对数据流量进行分配。该方法实现数据的高效能存取。

Description

一种多路径数据流量负载均衡方法

技术领域

本发明涉及数据存储技术领域，特别是涉及一种多路径数据流量负载均衡方法。

背景技术

目前，随着技术的进步，数据量每天在剧烈的增长，特别是21世纪以后，产生的数据几乎是在成线性增长，因此，数据的处理能力显得就尤为重要了，要求计算机处理数据能力越来越大，越来越精细，越来越准确。单一的计算机已经不能满足人们的需求，众多企业越来越向可以处理大容量数据的集群迈步，让所有的数据都在统一的大数据池中，不同的用户可以通过访问机制获得数据访问权限，进而通过存储区域网络访问数据。并且，为了保障存取数据的可靠性及高效性，采用块存储的多路径负载方法，当某一条路径宕掉后，数据流量调度器对数据进行重新分配，分配到其他的各个节点上去，从而实现数据的高效能存取。

传统的流量负载管理，如图1，是以用户为基础进行分配流量节点的，IO1节点分配数据流量给用户一节点使用，IO2节点分配数据流量给用户二节点使用，IO3节点分配数据流量给用户三节点使用，当只有用户一发送任务请求，而用户二和用户三没有发送任务时，就造成只有节点用户一的IO1工作，造成用户一非常繁忙，而用户二和用户三处于空闲状态，使数据流量传送形成瓶颈，无法高效率工作，同时造成了严重资源浪费，因此数据访问效率很低。

发明内容

本发明的目的是提供一种多路径数据流量负载均衡方法，以提高数据访问效率，实现数据的高效能存取。

为解决上述技术问题，本发明提供一种多路径数据流量负载均衡方法，该方法包括：

当接收到数据请求时，每个客户端节点同时对数据存储池进行数据存取；

每个客户端节点发送数据至服务器；

所述服务器接收到每个客户端节点发送的数据，将所有的数据进行处理，对数据流量进行分配。

优选的，所述服务器将所有的数据进行处理，对数据流量进行分配，包括：

所述服务器采用负载均衡策略对所有的数据进行分析，对数据流量进行合理分配。

优选的，所述服务器采用负载均衡策略对所有的数据进行分析，对数据流量进行合理分配，包括：

所述服务器采用负载均衡策略对所有的数据进行数据流量调度，为所有的数据分配优先级，分配数据通道，分配数据栈以及分配数据队列，完成数据流量的合理分配。

优选的，所述负载均衡策略包括轮询均衡策略、权重轮询均衡策略、随机均衡策略、权重随机均衡策略、最少连接数均衡策略或者处理能力均衡策略。

优选的，所述完成数据流量的合理分配之后，还包括：

服务器将所有的数据按照分配的优先级、数据通道、数据栈和数据队列去访问数据存储池。

优选的，所述对数据流量进行合理分配之后，还包括：所述服务器分析得到合理的流量分配表，将所有的数据按照流量分配表进行分配。

优选的，所述方法还包括：

当一个客户端节点出现故障后，所述服务器对出现故障的客户端节点上的数据重新进行分配。

优选的，所述当一个客户端节点出现故障后，所述服务器对出现故障的客户端节点上的数据重新进行分配，包括：

当一个客户端节点出现故障后，产生故障信号并发送至服务器；

所述服务器接收到故障信号，向整个客户端节点集群发送反馈信息；

所述客户端节点集群接收到所述反馈信息，将出现故障的客户端节点的数据路径所占的资源回收，将回收的资源分配给除故障的客户端节点之外的各个客户端节点。

优选的，所述将回收的资源分配给除故障的客户端节点之外的各个客户端节点之后，还包括：所述服务器将出现故障的客户端节点上的数据重新分配到除故障的客户端节点之外的各个客户端节点上。

本发明所提供的一种多路径数据流量负载均衡方法，当接收到数据请求时，每个客户端节点同时对数据存储池进行数据存取；每个客户端节点发送数据至服务器；所述服务器接收到每个客户端节点发送的数据，将所有的数据进行处理，对数据流量进行分配。可见，所有客户端节点的流量统一由一个服务器来调度管理，可以实时的对整个数据流量进行监控管理，合理的分配数据流量，同时，又可以很好的利用多路径解决单点故障问题，大大地提高了集群的数据管理效率以及集群的可靠性。因此该方法提高数据访问效率，实现数据的高效能存取。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为传统的流量负载管理示意图；

图2为本发明所提供的一种多路径数据流量负载均衡方法的流程图；

图3为块服务多路径数据流量访问示意图；

图4为本发明的数据流量负载管理示意图；

图5为N节点分布式块服务多路径数据流量负载均衡示意图。

具体实施方式

本发明的核心是提供一种多路径数据流量负载均衡方法，以提高数据访问效率，实现数据的高效能存取。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图2，图2为本发明所提供的一种多路径数据流量负载均衡方法的流程图，该方法包括：

S11：当接收到数据请求时，每个客户端节点同时对数据存储池进行数据存取；

S12：每个客户端节点发送数据至服务器；

S13：服务器接收到每个客户端节点发送的数据，将所有的数据进行处理，对数据流量进行分配。

可见，所有客户端节点的流量统一由一个服务器来调度管理，可以实时的对整个数据流量进行监控管理，合理的分配数据流量，同时，又可以很好的利用多路径解决单点故障问题，大大地提高了集群的数据管理效率以及集群的可靠性。因此该方法提高数据访问效率，实现数据的高效能存取。

详细的，服务器将所有的数据进行处理，对数据流量进行分配的过程具体为：服务器采用负载均衡策略对所有的数据进行分析，对数据流量进行合理分配。详细的，服务器采用负载均衡策略对所有的数据进行分析，对数据流量进行合理分配的过程具体为：服务器采用负载均衡策略对所有的数据进行数据流量调度，为所有的数据分配优先级，分配数据通道，分配数据栈以及分配数据队列，完成数据流量的合理分配。

其中，负载均衡策略包括轮询均衡策略、权重轮询均衡策略、随机均衡策略、权重随机均衡策略、最少连接数均衡策略或者处理能力均衡策略。

其中，完成数据流量的合理分配之后，服务器将所有的数据按照分配的优先级、数据通道、数据栈和数据队列去访问数据存储池。

其中，对数据流量进行合理分配之后，服务器分析得到合理的流量分配表，将所有的数据按照流量分配表进行分配。

可见，该方法主要利用多路径去进行数据流量负载的均衡，数据流量调度中，采用轮循均衡、权重轮循均衡、随机均衡、权重随机均衡、最少连接数均衡、处理能力均衡等负载均衡的方法对数据进行收集，分配优先级，分配数据通道，分配数据栈以及数据队列，来实现数据流量的合理分配。

详细的，该方法还包括以下步骤：

S21：当一个客户端节点出现故障后，服务器对出现故障的客户端节点上的数据重新进行分配。

其中，步骤S21优选采用以下步骤实现：

S31：当一个客户端节点出现故障后，产生故障信号并发送至服务器；

S32：服务器接收到故障信号，向整个客户端节点集群发送反馈信息；

S33：客户端节点集群接收到反馈信息，将出现故障的客户端节点的数据路径所占的资源回收，将回收的资源分配给除故障的客户端节点之外的各个客户端节点。

其中，客户端节点集群将回收的资源分配给除故障的客户端节点之外的各个客户端节点之后，服务器将出现故障的客户端节点上的数据重新分配到除故障的客户端节点之外的各个客户端节点上。

可见，为了保障存取数据的可靠性及高效性，采用块存储的多路径负载方法，当某一条路径宕掉后，数据流量调度器对数据进行重新分配，分配到其他的各个节点上去，从而实现数据的高效能存取。

详细的，传统的数据流量负载均衡是每个节点都有自己的流量管理方法，在进行数据处理的时候，自己的流量管理方法只负责管理自己的节点，这样在很大一部分时间中，其实都是有资源浪费的，或者在一部分时间中数据流量成为数据处理瓶颈，造成整个集群的效率不高。采用本发明的方法，所有节点的流量统一由一个调度器来管理，可以实时的对整个数据流量进行监控管理，合理的分配数据流量，同时，又可以很好的利用多路径解决单点故障问题，大大地提高了集群的数据管理效率以及集群的可靠性。

更详细的，基于本发明，以n节点客户端为例，在数据请请求时，每个节点同时对数据存储池进行数据的存取，节点1，节点2…节点n发起数据，这些数据统一由一个服务器M接收，这台服务器核心元件为一个数据流量调度器，负责对发送过来的数据进行处理，在数据流量调度中，主要采用轮循均衡、权重轮循均衡、随机均衡、权重随机均衡、最少连接数均衡、处理能力均衡等负载均衡的方法对数据进行收集，分配优先级，分配数据通道，分配数据栈以及数据队列，来实现数据流量的合理分配。从而分析出一种最合理的流量分配表，然后这个调度器，通过流量分析表进行数据分配。如此，产生的效果有：单点或多点故障不影响集群的整体性能；数据流量负载可以很好地根据数据处理中心进行分配，大大的提高了数据处理的效；有专门的数据处理中心，可以精确地按照实施者的要求正确的分配数据流量；配置简单，节约成本。

本发明主要针对高效能集群中数据访问流量多路径负载均衡问题。该方法的目的是提高集群数据流量访问效率，提供一条以上的路径来访问网络存储设备。并且，可以使用容错、流量负载平衡以及细粒度的I/O调度策略方式，为网络存储提供更好的可靠性及高效的性能优势。

本发明的一种多路径数据流量负载均衡方法其实就是块服务多路径数据流量访问的方法，如图3，图3中HBA1和HBA2指代两个主机总线设备器，HWRAID即为HWRAID卡，是硬件RAID。块服务多路径数据流量访问，指服务器和存储设备之间冗余的物理路径组件创建的逻辑路径，如果这些组件发生故障并造成路径失败，多路径逻辑将为I/O使用备用路径使程序仍然可以访问其数据。通过一条以上的路径来访问网络存储设备。使用一个服务器，该服务器是专门来进行数据流量分析进而进行数据流量分配的，在数据流量调度中，采用轮循均衡、权重轮循均衡、随机均衡、权重随机均衡、最少连接数均衡、处理能力均衡等负载均衡的方法对数据进行收集，分配优先级，分配数据通道，分配数据栈以及数据队列，来实现数据流量的合理分配。

采用本发明的数据流量负载管理，如图4。图4中，让每一个节点访问的数据流量通过一个控制流量分配的调度器去进行数据流量的调度分析，那么根据一定的算法分析出来的结果可以根据节点数据访问的频繁度、优先级进行合理的分配，从而可以大幅度的提高数据访问效率，同时提高集群的性能。本发明主要利用多路径去进行数据流量负载的均衡，为了保障存取数据的可靠性及高效性，采用块存储的多路径负载方法，当某一条路径宕掉后，数据流量调度器对数据进行重新分配，分配到其他的各个节点上去，从而实现数据的高效能存取。

具体来说，n个客户端同时对数据存储网络进行数据存取，每一个客户端在进行数据存取时，都必须通过一台服务器M，这台服务器主要的作用是进行数据流量调度，在这个服务器中，有一个调度器，在数据流量调度中，采用轮循均衡、权重轮循均衡、随机均衡、权重随机均衡、最少连接数均衡、处理能力均衡等负载均衡的方法对数据进行收集，分配优先级，分配数据通道，分配数据栈以及数据队列，来实现数据流量的合理分配。然后，让这台服务器与存储网络进行连接，当需要访问数据时，通过这个服务器计算出一种负载均衡策略，然后根据这个策略去进行数据流量的分配，进而去访问存储网络，提高数据的访问速率，响应时间，高效的完成数据存取，当某一条访问路径的组件发生故障并造成路径失败,多路径逻辑将为I/O使用其他路径使程序仍然可以访问其数据，提高数据访问的可靠性的同时，又提高了数据的高效性。

本发明在现有网络基础上，基于数据流量负载均衡，提供了一种廉价有效的方法扩展服务器带宽和增加吞吐量，加强网络数据处理能力，提高网络的灵活性和可用性。主要完成以下任务：解决网络拥塞问题，服务就近提供，实现地理位置无关性；为用户提供更好的访问质量；提高服务器响应速度；提高服务器及其他资源的利用效率；避免了网络关键部位出现单点失效。

N节点分布式块服务多路径数据流量负载均衡，如图5，图中的节点均指代客户端节点。图5中，以n节点客户端为例，在数据请请求时，每个节点同时对数据存储池进行数据的存取，节点1，节点2…节点n发起数据，这些数据统一由一个服务器M接收，这台服务器核心元件为一个数据流量调度器，负责对发送过来的数据进行处理，在数据流量调度中，主要采用轮循均衡、权重轮循均衡、随机均衡、权重随机均衡、最少连接数均衡、处理能力均衡等负载均衡的方法对数据进行收集，分配优先级，分配数据通道，分配数据栈以及数据队列，来实现数据流量的合理分配。从而分析出一种最合理的流量分配表，然后这个调度器，通过流量分析表进行数据分配，例如，分配给节点1百分之十的流量，然后，节点一就占用百分之十的资源去访问存储网络，进而访问存储设备。而其余节点占用百分之九十去访问存储网络。这样就可以根据一种最优的方法去访问集群的存储设备，从而提高集群的高效能性了。

同时，除了体现出数据访问流量的合理分配，这种负载均衡也体现出了多路径的另一方面，即可以允许集群出现单点故障，而不会影响集群的数据存储效率，比如，在集群运行中，由于某些原因，造成节点一的存取数据路线出现故障，这时，调度器收到故障信号，反馈出一个信号给集群，集群收到信号，就把这个路径所占的资源收回，分配给其他的节点，让其他的节点占用这部分资源，从而，避免了资源浪费，也不会引起集群状态失常。这种分布式的块服务多路径负载均衡方法，在保证出现故障时，集群状态不会受到干扰，可以迅速地调整，进而进行资源合理分配利用，大大的提升了集群的可靠性及高效性，符合未来数据处理的要求。如此有以下优点：单点或多点故障不影响集群的整体性能。数据流量负载可以很好地根据数据处理中心进行分配，大大的提高了数据处理的效率。有专门的数据处理中心，可以精确地按照实施者的要求正确的分配数据流量；配置简单，节约成本。

综上，本发明所提供的一种多路径数据流量负载均衡方法，当接收到数据请求时，每个客户端节点同时对数据存储池进行数据存取；每个客户端节点发送数据至服务器；服务器接收到每个客户端节点发送的数据，将所有的数据进行处理，对数据流量进行分配。可见，所有客户端节点的流量统一由一个服务器来调度管理，可以实时的对整个数据流量进行监控管理，合理的分配数据流量，同时，又可以很好的利用多路径解决单点故障问题，大大地提高了集群的数据管理效率以及集群的可靠性。因此该方法提高数据访问效率，实现数据的高效能存取。

以上对本发明所提供的一种多路径数据流量负载均衡方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种多路径数据流量负载均衡方法，其特征在于，包括：

当接收到数据请求时，每个客户端节点同时对数据存储池进行数据存取；

每个客户端节点发送数据至服务器；

所述服务器接收到每个客户端节点发送的数据，将所有的数据进行处理，对数据流量进行分配。

2.如权利要求1所述的方法，其特征在于，所述服务器将所有的数据进行处理，对数据流量进行分配，包括：

所述服务器采用负载均衡策略对所有的数据进行分析，对数据流量进行合理分配。

3.如权利要求2所述的方法，其特征在于，所述服务器采用负载均衡策略对所有的数据进行分析，对数据流量进行合理分配，包括：

所述服务器采用负载均衡策略对所有的数据进行数据流量调度，为所有的数据分配优先级，分配数据通道，分配数据栈以及分配数据队列，完成数据流量的合理分配。

4.如权利要求3所述的方法，其特征在于，所述负载均衡策略包括轮询均衡策略、权重轮询均衡策略、随机均衡策略、权重随机均衡策略、最少连接数均衡策略或者处理能力均衡策略。

5.如权利要求3所述的方法，其特征在于，所述完成数据流量的合理分配之后，还包括：

服务器将所有的数据按照分配的优先级、数据通道、数据栈和数据队列去访问数据存储池。

6.如权利要求2述的方法，其特征在于，所述对数据流量进行合理分配之后，还包括：所述服务器分析得到合理的流量分配表，将所有的数据按照流量分配表进行分配。

7.如权利要求1至6中任意一项所述的方法，其特征在于，还包括：

当一个客户端节点出现故障后，所述服务器对出现故障的客户端节点上的数据重新进行分配。

8.如权利要求7所述的方法，其特征在于，所述当一个客户端节点出现故障后，所述服务器对出现故障的客户端节点上的数据重新进行分配，包括：

当一个客户端节点出现故障后，产生故障信号并发送至服务器；

所述服务器接收到故障信号，向整个客户端节点集群发送反馈信息；

所述客户端节点集群接收到所述反馈信息，将出现故障的客户端节点的数据路径所占的资源回收，将回收的资源分配给除故障的客户端节点之外的各个客户端节点。

9.如权利要求8所述的方法，其特征在于，所述将回收的资源分配给除故障的客户端节点之外的各个客户端节点之后，还包括：所述服务器将出现故障的客户端节点上的数据重新分配到除故障的客户端节点之外的各个客户端节点上。