CN110213351A - 一种面向广域高性能计算环境的动态自适应io负载均衡方法 - Google Patents

Abstract

本发明提出一种面向广域高性能计算环境的动态自适应IO负载均衡方法，适用于广域高性能计算环境的CS架构中，运行于文件访问服务节点之上，其特征在于每个文件访问服务节点自适应调整负载收集阈值，当服务节点的负载超过设定的阈值时，自动收集当前数据中心内其他服务节点的负载信息，并根据负载信息进行自主负载决策，自主选择最优迁移目标服务节点，利用并行负载迁移加速服务节点间的负载均衡，高负载服务节点告知客户端重定向到负载低的服务节点进行远程数据访问，低负载节点预取数据以减少数据访问的时延，本发明具有良好的稳定性和可扩展性，能根据实际运行状况自适应的动态调整负载，聚合多服务节点带宽，提升远程文件数据访问性能。

Description

一种面向广域高性能计算环境的动态自适应IO负载均衡方法

技术领域：

本发明公开了一种面向广域高性能计算环境的动态自适应IO负载均衡方法，涉及广域高性能计算面临的挑战，属于计算机技术领域。

背景技术：

在广域高性能计算环境中访问远程文件数据时，需通过客户端向远程文件访问服务节点发送数据请求并进行访问。文件访问服务节点负载均衡建立在网络结构之上，通过对大量远程数据的并发访问分流到多个服务节点上分别进行处理，为性能各异的服务节点分配合适数量的访问请求，聚合多服务节点带宽，提升远程文件数据访问性能。负载均衡算法已经被广泛应用于减少用户的响应等待时间，当前多数研究人员主要从静态负载均衡和动态负载均衡两个方面对负载均衡进行研究。

在静态负载均衡方面，系统在运行前就根据服务器当前信息进行负载分配，而不考虑运行过程中负载变化的影响。Thomas等人提出了一种随机选择算法，该算法首先构造随机函数，并在请求到来时利用随机函数生成随机数来选择服务器，该方法实现简单，在一定程度上均衡了多个服务器间的负载。Baumberger等人提出了一种加权轮询算法，该算法根据后端处理器的处理能力为其设置相应的权重，当请求到来时在轮询过程中根据权重为每个处理器分配相应数量的服务请求，有效均衡了不同性能处理器之间的负载。Li等人提出了一种基于一致性哈希的负载均衡算法，该算法在多个Web服务器间构造一致性哈希环，当请求到来时根据一致性哈希算法将请求映射到相应的Web服务器上，该方法有效减少了系统的平均响应时间，提升了系统的整体性能。C.Kim等人在异构环境下设计了基于最小平均相应时间的服务选择策略，该策略有效均衡了异构环境下多服务器间的负载。Lee等人提出了一种通过周期性监测服务器磁盘响应时间并选择具有最小响应时间的服务器为客户端服务IO请求，该方法以较小的开销实现了服务器磁盘的负载均衡，有效减少了客户端的IO响应时间。Gao等人提出了一种加权最小连接负载均衡算法，该算法为每个服务器计算连接数与处理性能的权重比，每次将具有请求发送给具有最小比值的服务器，该算法综合考虑了服务器的处理性能对连接数量的影响，有效均衡了服务器间的负载。尽管静态的负载均衡策略在一定程度能够均衡负载，但是面对密集型的IO负载、异构的软硬件环境、系统故障等情况时，不能根据实际运行状况自适应的动态调整负载，从而导致系统整体性能降低。

在动态负载均衡方面，系统在运行过程中根据服务器和访问请求的相关信息动态地进行负载分配。动态负载均衡技术可进一步分成基于集中式决策、基于分组决策、基于分布式决策等三类的负载均衡方法。

在基于集中式决策负载均衡方面，Scheuermann等人提出了一种基于启发式的集中式动态均衡算法，该算法根据应用的访问模式智能的对文件进行动态再分配，降低了服务器的平均IO响应时间，提升了文件数据的访问性能。Sun等人提出了一种基于神经网络预测的动态分配方法，该方法通过神经网络预测服务器磁盘的访问频率，并根据预测结果动态重分配负载，从而实现服务器间的负载均衡。Kunkel设计了一种基于文件动态迁移的自适应负载均衡方法，该方法采用集中式决策的负载均衡策略，采用负载迁移模型来决定文件迁移的目标服务器，有效均衡了集群的负载，提升了集群的整体性能。在服务器少、请求服务少、IO负载低的情况下集中式负载均衡方法能够取到很好的效果，但是随着服务器数量增多、密集型IO越来越多容易导致集中式决策服务器成为性能瓶颈。

在基于分组决策的负载均衡方面，Liu等人提出了一种面向Web机群的分组决策的负载均衡方法，该方法将多个Web服务器组织成组，并在组内选择一个节点负载该组的负载决策，有效减少了网络通信开销，提升了系统的性能。基于分组决策的负载均衡采用分而治之的方式获减少了网络带宽开销，具有更小的网络通信，对系统的性能影响小，但是该方法在每次均衡操作需要多次网络传输，即组内通信和组间通信，因此决策响应时间延迟大。

在基于分布式决策的负载均衡方面，Zhao等人提出了一种面向云环境虚拟机迁移的动态负载均衡方法，每个服务器自主的采集其他服务器的负载情况，并在当前节点负载过高时将负载迁移到负载较低的服务器，每一次负载迁移只需要一次网络开销通信来收集负载，因此有效减少了负载决策所需的开销。Belabbas等人提出了一种面向网格计算环境的分布式负载均衡方法，每个网格节点自主采集其他节点的负载并进行自主负载迁移决策，该方法具有较好的扩展性。基于分布式决策的负载均衡在每次动态迁移负载时只需要一次网络通信来收集负载因此能有效减少负载决策所需的开销，该方法采用完全分布式的决策架构避免了单点性能瓶颈，但是节点之间频繁相互通信会导致网络拥塞从而降低系统的整体性能。

传统的负载均衡算法存在的问题主要为：

静态负载均衡方法虽然实现简单、系统开销小，但由于其不能根据实际运行状况自适应的动态调整负载，导致负载均衡效果并不理想，动态负载均衡方法中，服务器数量、密集型IO增多，基于集中式决策的负载均衡容易导致性能瓶颈，基于分组决策的负载均衡每次均衡操作需要多次网络传输，决策延迟大，基于分布式决策的负载均衡收集负载信息频繁导致网络拥塞。因此研究支持自适应调整负载收集阈值、独立负载决策、自主选择负载迁移目标的分布式负载均衡方法。

发明内容：

本发明的主要目的是提供一种面向广域高性能计算环境的动态自适应IO负载均衡方法，针对负载收集造成的网络开销大，它实现了自适应调整负载收集阈值较少网络开销，并根据负载信息进行自主负载决策；针对负载迁移性能低，它实现了并行负载迁移加速服务节点间的负载均衡；针对负载迁移导致数据访问时延长，它实现了数据预取减少数据访问时延。

本发明的技术方案是：

一种面向广域高性能计算环境的动态自适应IO负载均衡方法，其特征在于，每个文件访问服务节点自适应调整负载收集阈值，当服务节点的负载超过设定的阈值时，自动收集当前数据中心内其他服务节点的负载信息，并根据负载信息进行自主负载决策，自主选择最优迁移目标服务节点，利用并行负载迁移加速服务节点间的负载均衡，高负载服务节点告知客户端重定向到负载低的服务节点进行远程数据访问，低负载节点预取数据以减少数据访问的时延，本发明具有良好的稳定性和可扩展性，能根据实际运行状况自适应的动态调整负载，聚合多服务节点带宽，提升远程文件数据访问性能。

所述方法包括以下步骤，具体如下：

1)每个服务节点在进行负载均衡决策前尽可能收集当前数据中心内所有服务节点的负载信息，为做出正确的负载均衡决策提供依据；

2)每个服务节点基于自身的负载和当前数据中心内其他服务节点的负载做出负载决策；

3)基于每个服务节点的负载状态选择最优目标迁移对象，并采用并行的负载迁移机制加速服务节点间的负载迁移；

4)基于服务节点负载状况将客户端的请求从负载高的服务节点重定向到负载低的服务节点，在重定向的过程中向目标服务节点发送数据预取请求，告知目标服务节点对客户端将要访问的数据进行预取。

其中，步骤1)包括以下步骤：

步骤(1.1)为每个服务节点设置一个负载收集阈值以减少服务节点间相互传递的负载信息量，选择平均响应时间等于设定阈值时的负载作为其负载收集阈值，记为L_t；

步骤(1.2)当负载小于或等于L_t时，服务节点对IO请求的平均响应时间在可接受范围内，因此不需要向其他服务节点进行负载信息收集；

步骤(1.3)当负载大于L_t时，该服务节点会触发负载收集，并根据收集的负载信息进行负载均衡决策；

步骤(1.4)当所有的服务节点的负载都大于L_t时，采用自适应的阈值调整机制来动态调整每个服务节点的负载收集阈值，在所有的服务节点的负载都大于L_t时，以一定的比例增大每个服务节点的负载收集阈值，从而有效减少服务节点间的负载收集信息量。为了减少服务节点间负载收集的时间，服务节点并行地向其他服务节点发送负载信息请求，并以批量的形式收集负载，从而加速负载收集。

步骤2)包括以下步骤：

步骤(2.1)在做出负载决策时需兼顾自身的负载和当前数据中心内其他服务节点的负载，设服务节点的数量为n，第i(1≤i≤n)个服务节点的负载为L_i，计算服务节点间的负载均衡效率，记为EL，是所有服务节点的平均负载与服务节点间最大负载之比；

步骤(2.2)设定合适的EL阈值，记为EL_t，只有负载大于EL_t的服务节点才能进行负载迁移，保证服务节点间的负载均衡同时不会引起负载的频繁迁移。

其中，步骤3)包括以下步骤：

步骤(3.1)赋予负载最高的服务节点最高的负载迁移优先级，负载最高的服务节点会选择负载最低的服务节点作为最优目标迁移对象，并告知当前服务节点服务的客户端重定向到目标服务节点上访问数据，从而实现负载的迁移；

步骤(3.2)负载第二高的服务节点具有次优先级选择目标迁移服务节点，其通常在没有迁移任务的服务节点中选择负载最低的服务节点作为最优目标迁移对象，以此类推；

步骤(3.3)若未找到匹配的目标迁移服务节点，则当前节点在此次均衡操作过程中不进行任何负载迁移；

步骤(3.4)并行迁移服务节点间的负载以加速服务节点间的负载均衡。

其中，步骤4)包括以下步骤：

步骤(4.1)目标服务节点确定后，当前服务节点告知客户端重定向到目标服务节点进行数据访问，并向目标服务节点发送数据预取请求，告知目标服务节点对客户端将要访问的数据进行预取；

步骤(4.2)当前服务节点与客户端断开连接，客户端重定向到目标服务节点并建立连接，在建立连接时存在一定的时间空隙，目标服务节点充分利用这一时间空隙对请求的数据进行预取，并将预取的数据存储到本地内存中；

步骤(4.3)当新的连接建立完成时，客户端从目标服务节点内存中快速访问数据而不需要访问底层的存储系统获取数据，从而实现数据的快速访问。

本发明的优点包括：

本发明所提出的一种面向广域高性能计算环境的动态自适应IO负载均衡方法，与现有技术相比，其主要优点是：

本论文所提出的服务节点负载均衡方法采用了采用完全分布式的负载均衡架构，具有良好的稳定性和可扩展性，没有单点瓶颈；每个服务节点自适应收集负载信息，并根据负载信息进行负载决策；服务节点自适应选择目标迁移服务节点，并进行并行负载迁移；对客户端请求进行重定向，避免高负载服务节点成为性能瓶颈，并采用数据预取机制提升远程文件数据的访问性能。

附图说明：

图1为一种面向广域高性能计算环境的动态自适应IO负载均衡方法实施流程图。

图2为广域文件系统架构图。

图3为文件访问服务节点间负载均衡流程图。

具体实施方式：

以下结合附图对本发明作进一步详细的说明。

一种面向广域高性能计算环境的动态自适应IO负载均衡方法，适用于广域高性能计算环境的CS架构中，运行于文件访问服务节点之上，其特征在于，每个文件访问服务节点自适应调整负载收集阈值，当服务节点的负载超过设定的阈值时，自动收集当前数据中心内其他服务节点的负载信息，并根据负载信息进行自主负载决策，自主选择最优迁移目标服务节点，利用并行负载迁移加速服务节点间的负载均衡，高负载服务节点告知客户端重定向到负载低的服务节点进行远程数据访问，低负载节点预取数据以减少数据访问的时延，本发明具有良好的稳定性和可扩展性，能根据实际运行状况自适应的动态调整负载，聚合多服务节点带宽，提升远程文件数据访问性能。

如图1所示，是本发明的方法实施流程图。包括以下步骤：

1)每个服务节点在进行负载均衡决策前尽可能收集当前数据中心内所有服务节点的负载信息，为做出正确的负载均衡决策提供依据；

2)每个服务节点基于自身的负载和当前数据中心内其他服务节点的负载做出负载决策；

3)基于每个服务节点的负载状态选择最优目标迁移对象，并采用并行的负载迁移机制加速服务节点间的负载迁移；

4)基于服务节点负载状况将客户端的请求从负载高的服务节点重定向到负载低的服务节点，在重定向的过冲中向目标服务节点发送数据预取请求，告知目标服务节点对客户端将要访问的数据进行预取。

广域文件系统架构如图2所示，客户机节点通过客户端访问远程文件，客户端首先通过管理节点中的空间管理模块获取全局元数据信息(包含用户的数据空间信息，例如空间名称、位置等)，客户端将本地文件路径和数据空间信息拼接成实际的物理路径并发送到文件所在数据中心的文件访问服务节点，文件访问服务节点利用IO代理模块接收文件路径并调用存储集群客户端模块访问文件，并将文件数据返回。

文件访问服务节点间负载均衡流程如图3所示，在一个数据中心内的每个服务节点都会运行负载均衡算法，服务节点周期性监测自身负载，当自身的负载超过设定的阈值时则开始收集其他服务节点的负载信息，服务节点通过收集的负载信息进行负载决策，如果需要进行负载迁移则进行目标迁移服务节点选择，选择完成后告知客户端重定向到目标服务节点进行数据的访问，同时向目标服务节点发送数据预取命令，目标服务节点接收到数据预取命令后将客户端将要访问的数据预取并缓存到内存，当客户端与目标服务节点的连接建立完成后即可快速访问远程数据。负载收集方法、负载决策机制、目标迁移服务节点选择机制和数据预取机制的主要原理如下：

负载收集方法：每一个服务节点在进行负载均衡决策前需要尽可能收集当前数据中心内所有服务节点的负载信息，从而做出正确的负载均衡决策。然而频繁的负载信息收集可能会导致服务节点的性能下降，从而增大远程数据的访问时延。因此需为服务节点设置一个负载收集阈值以减少服务节点间相互传递的负载信息量。对于一个服务节点随着负载增大，其对IO请求的平均响应时间将会增大，对于单一服务节点，选择平均响应时间等于设定阈值时的负载作为其负载收集阈值(记为L_t)。当负载小于或等于L_t时，服务节点对IO请求的平均响应时间在可接受范围内，因此不需要向其他服务节点进行负载信息收集；当负载大于L_t时，服务节点对IO请求的平均响应时间过长，因此该服务节点会触发负载收集，并根据收集的负载信息进行负载均衡决策。通过设置负载收集阈值可以有效减少服务节点间的负载收集信息量，但是当所有的服务节点的负载都大于L_t时每个服务节点都会向其他服务节点收集负载信息，从而造成极大的负载收集通信量。为了解决这一问题，采用自适应的阈值调整机制来动态调整每个服务节点的负载收集阈值。自适应的阈值调整机制在所有的服务节点的负载都大于L_t时，以一定的比例增大每个服务节点的负载收集阈值，从而有效减少服务节点间的负载收集信息量。为了减少服务节点间负载收集的时间，服务节点并行地向其他服务节点发送负载信息请求，并以批量的形式收集负载，从而加速负载收集。

负载决策机制：每个服务节点能够独立的做出负载决策且在做出负载决策时需兼顾自身的负载和当前数据中心内其他服务节点的负载。设服务节点的数量为n，第i(1≤i≤n)个服务节点的负载为L_i，则服务节点间的负载均衡效率(记为EL)是所有服务节点的平均负载与服务节点间最大负载之比，即EL的值位于0和1之间，将EL的值设定越靠近1则所有服务节点间的负载越均匀，但是会导致负载在不同的服务节点间进行迁移，而频繁的负载迁移会导致远程数据访问性能降低，因此需要设定合适的EL阈值(记为EL_t)，只有负载大于EL_t的服务节点才能进行负载迁移，保证服务节点间的负载均衡同时不会引起负载的频繁迁移。

目标迁移服务节点选择机制：本论文采用并行的负载迁移机制以加速服务节点间的负载均衡。为了实现快速的负载均衡负载，赋予负载最高的服务节点最高的负载迁移优先级，负载最高的服务节点会选择负载最低的服务节点作为最优目标迁移对象，并告知当前服务节点上的客户端重定向到目标服务节点上访问数据，从而实现负载的迁移。负载第二高的服务节点具有次优先级选择目标迁移服务节点，其通常在没有迁移任务的服务节点中选择负载最低的服务节点作为最优目标迁移对象。以此类推。这一方法避免了多个做负载决策的服务节点同时选择最低负载的服务节点作为迁移对象从而导致目标服务节点成为新的负载热点，若未找到匹配的目标迁移服务节点，则当前节点在此次均衡操作过程中不进行任何负载迁移。

数据预取机制：目标服务节点确定后，当前服务节点告知客户端重定向到目标服务节点进行数据访问，并向目标服务节点发送数据预取请求，告知目标服务节点对客户端将要访问的数据进行预取。当前服务节点与客户端断开连接，客户端重定向到目标服务节点并建立连接，在建立连接时存在一定的时间空隙，目标服务节点充分利用这一时间空隙对请求的数据进行预取，并将预取的数据存储到本地内存中，当新的连接建立完成时，客户端从目标服务节点内存中快速访问数据而不需要访问底层的存储系统获取数据，从而实现数据的快速访问。

最后所应说明的是：本发明还可有其它多种应用场景，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明的保护范围。

Claims (6)

1.一种面向广域高性能计算环境的动态自适应IO负载均衡方法，其特征在于，每个文件访问服务节点自适应调整负载收集阈值，当服务节点的负载超过设定的阈值时，自动收集当前数据中心内其他服务节点的负载信息，并根据负载信息进行自主负载决策，自主选择最优迁移目标服务节点，利用并行负载迁移加速服务节点间的负载均衡，高负载服务节点告知客户端重定向到负载低的服务节点进行远程数据访问，低负载节点预取数据以减少数据访问的时延，本发明具有良好的稳定性和可扩展性，能根据实际运行状况自适应的动态调整负载，聚合多服务节点带宽，提升远程文件数据访问性能。

2.根据权利要求1所述的方法，其特征在于，所述方法包括以下步骤：

1)每个服务节点在进行负载均衡决策前尽可能收集当前数据中心内所有服务节点的负载信息，为做出正确的负载均衡决策提供依据；

2)每个服务节点基于自身的负载和当前数据中心内其他服务节点的负载做出负载决策；

3)基于每个服务节点的负载状态选择最优目标迁移对象，并采用并行的负载迁移机制加速服务节点间的负载迁移；

4)基于服务节点负载状况将客户端的请求从负载高的服务节点重定向到负载低的服务节点，在重定向的过程中向目标服务节点发送数据预取请求，告知目标服务节点对客户端将要访问的数据进行预取。

3.根据权利要求2所述的方法，其特征在于，所述步骤1)包括以下步骤：

步骤(1.1)为每个服务节点设置一个负载收集阈值以减少服务节点间相互传递的负载信息量，选择平均响应时间等于设定阈值时的负载作为其负载收集阈值，记为L_t；

步骤(1.2)当负载小于或等于L_t时，服务节点对IO请求的平均响应时间在可接受范围内，因此不需要向其他服务节点进行负载信息收集；

步骤(1.3)当负载大于L_t时，该服务节点会触发负载收集，并根据收集的负载信息进行负载均衡决策；

步骤(1.4)当所有的服务节点的负载都大于L_t时，采用自适应的阈值调整机制来动态调整每个服务节点的负载收集阈值，在所有的服务节点的负载都大于L_t时，以一定的比例增大每个服务节点的负载收集阈值，从而有效减少服务节点间的负载收集信息量。为了减少服务节点间负载收集的时间，服务节点并行地向其他服务节点发送负载信息请求，并以批量的形式收集负载，从而加速负载收集。

4.根据权利要求2所述的方法，其特征在于，所述步骤2)包括以下步骤：

步骤(2.1)在做出负载决策时需兼顾自身的负载和当前数据中心内其他服务节点的负载，设服务节点的数量为n，第i(1≤i≤n)个服务节点的负载为L_i，计算服务节点间的负载均衡效率，记为EL，是所有服务节点的平均负载与服务节点间最大负载之比；

步骤(2.2)设定合适的EL阈值，记为EL_t，只有负载大于EL_t的服务节点才能进行负载迁移，保证服务节点间的负载均衡同时不会引起负载的频繁迁移。

5.根据权利要求2所述的方法，其特征在于，所述步骤3)包括以下步骤：

步骤(3.1)赋予负载最高的服务节点最高的负载迁移优先级，负载最高的服务节点会选择负载最低的服务节点作为最优目标迁移对象，并告知当前服务节点服务的客户端重定向到目标服务节点上访问数据，从而实现负载的迁移；

步骤(3.2)负载第二高的服务节点具有次优先级选择目标迁移服务节点，其通常在没有迁移任务的服务节点中选择负载最低的服务节点作为最优目标迁移对象，以此类推；

步骤(3.3)若未找到匹配的目标迁移服务节点，则当前节点在此次均衡操作过程中不进行任何负载迁移；

步骤(3.4)并行迁移服务节点间的负载以加速服务节点间的负载均衡。

6.根据权利要求2所述的方法，其特征在于，所述步骤4)包括以下步骤：

步骤(4.1)目标服务节点确定后，当前服务节点告知客户端重定向到目标服务节点进行数据访问，并向目标服务节点发送数据预取请求，告知目标服务节点对客户端将要访问的数据进行预取；

步骤(4.2)当前服务节点与客户端断开连接，客户端重定向到目标服务节点并建立连接，在建立连接时存在一定的时间空隙，目标服务节点充分利用这一时间空隙对请求的数据进行预取，并将预取的数据存储到本地内存中；

步骤(4.3)当新的连接建立完成时，客户端从目标服务节点内存中快速访问数据而不需要访问底层的存储系统获取数据，从而实现数据的快速访问。