CN108075915A

CN108075915A - 一种基于自适应控制策略的rdma通信连接池管理方法

Info

Publication number: CN108075915A
Application number: CN201611009401.9A
Authority: CN
Inventors: 王云岚; 谷建华; 赵天海; 侯正雄; 李秀春; 王龙飞; 李露; 张妍
Original assignee: Northwestern Polytechnical University
Current assignee: Northwestern Polytechnical University
Priority date: 2016-11-16
Filing date: 2016-11-16
Publication date: 2018-05-25

Abstract

本发明提出一种基于自适应控制策略的RDMA通信连接池管理方法，属于计算机通信优化技术领域。主要包括以下步骤：(1)设置RDMA通信连接池参数：根据配置文件初始化设置基础连接池和缓存连接池参数；(2)自适应管理RDMA连接控制：根据RDMA通信连接池的连接使用情况自适应控制连接池中的通信连接进行通信；(3)连接池延迟断开释放算法：根据连接池连接数与连接需求选择断开连接或者将连接归还连接池；(4)基于历史负载预测算法的参数设置：利用负载预测算法对历史数据进行分析处理后，将预测值写回日志和配置文件设置参数。本发明能够有效重用RDMA建立的通信连接，减少频繁启动连接的次数，提高通信连接速度和资源利用率。

Description

一种基于自适应控制策略的RDMA通信连接池管理方法

技术领域

本发明涉及计算机通信优化技术领域，具体涉及一种基于自适应控制策略的RDMA通信连接池管理方法。

背景技术

随着大数据时代的到来，海量数据的通信传输需求与网络传输速度不匹配的问题更加突出。网络的传输速度成为目前制约大数据处理速度的重要因素之一。近几年提出的RDMA通信技术，即远程直接内存访问技术，具有高速、低延迟、高可靠等特点，已经广泛应用在高性能计算中心和大型数据中心集群节点间的频繁通信传输上。

在高性能计算中心和大型数据中心，海量数据频繁通信传输是一种常态。RDMA相比于传统的TCP/IP传输，通过网络将数据直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中，不需占用很多的CPU时间。它消除了外部存储器复制和文本交换操作，因而能解放内存带宽和CPU周期，具有更高的传输效率，用于改进应用系统性能。但是在目前通用的Infiniband网络硬件实现RDMA技术中，RDMA初始化时，通信启动和建立需要很大的资源开销和时间延迟，因此需要考虑建立一种连接缓存方法，能够有效重用RDMA建立的通信连接，减少频繁启动RDMA连接的次数。现有的常规思路是采用类似数据库连接池的方法，一次性建立基础数量的通信连接，达到减少频繁启动RDMA，提高系统性能的目的。但是这种思路也存在一些不足，一方面，当RDMA通信需求很少时，空闲过多的通信连接会造成系统资源的浪费；另一方面，当RDMA通信需求很多时，会出现预设连接数不能满足通信需求，通信等待时间过长而出现异常。

本发明不同于其它实现提出了一种基于自适应控制策略的RDMA通信连接池方法，将切实考虑RDMA通信的不同需求，根据连接请求自适应的对RDMA通信连接池进行控制。

发明内容

为了有效克服现有方法系统资源浪费严重以及对通信连接数量限制的不足，本发明提出一种基于自适应控制策略的RDMA通信连接池管理方法。该方法采用基础连接池和缓存连接池相结合的方式设置连接池，由于缓存连接池动态变化，按需申请系统资源，因此能够减少固定数量连接池带来的资源浪费；同时连接池采用延迟断开释放算法，结合基于历史负载预测的参数设置算法，对于通信连接数量的限制比较小，减少通信等待时间。

本发明解决其技术问题所采用的技术方案：一种基于自适应控制策略的RDMA通信连接池方法，其特点是包括以下步骤：

1.设置RDMA通信连接池参数

根据连接池配置文件，规范化地设置初始RDMA通信连接池的参数。基础连接池保持数目固定的连接，设为B；缓存连接池是动态变化的，起始为空，当基础连接池连接不能满足需求时，初始化该连接池，其最大连接数目设为E。

2.自适应管理RDMA连接控制

当一个RDMA通信连接请求到来时，判断基础连接池是否满载：如果未满载并且有空闲连接，就分配一个空闲通信连接给请求；如果未满载但没有空闲连接，则创建一个新的RDMA通信连接。基础连接池的连接创建后，不会自动断开释放，空闲和新建的连接用完后都是归还到池中，只有通信完成，连接池关闭，才断开释放所有连接。

当基础连接池被满载使用并且有新的RDMA通信连接请求到来时，使用连接池自适应控制算法，该算法包含以下几个步骤：

2.1)获取数据：根据通信日志，获取RDMA当前通信请求R_m的前n个通信请求的响应时间序列(ω_m-1,ω_m-2,…,ω_m-n+1,ω_m-n)，

其中ω_m-i为m请求前的第i个通信请求响应时间。

2.2)处理数据：对该n个通信请求响应时间序列降序排序后得计算排序后响应时间序列前个的平均值

为请求响应时间最大平均值。

2.3)连接控制：当

∈_curr<B+E并且

W为连接建立等待时间，∈_curr为当前通信连接数；

则控制算法选择在缓存池新建一个连接；否则，选择等待连接池释放连接来重用。

当连接池的某个连接通信结束，被返还给连接池时，需要经过连接池的延迟断开释放算法来确定是要断开连接还是只返回连接。

3.连接池延迟断开释放算法

连接池内连接数随着通信连接请求数目的多少，自适应的动态增加或减少。如果一段时间内，通信连接请求处于高水平，即通信连接请求等待队列中等待连接数q_wait>0，连接就不会被断开并释放，而是被归还到了连接池中，以备下次重用。如果一段时间内，通信连接请求处于低水平，即通信连接请求等待队列中等待连接数q_wait＝0，很长时间内才会有一个连接请求出现，此时连接就会开始断开并释放资源。

该算法包含以下步骤：

3.1)获取请求等待队列当前等待连接数q_wait，如果q_wait>0，则连接不断开，归还到连接池；否则转到步骤3.2)处理。

3.2)如果空闲连接数∈_free>0，则转到步骤3.3)处理，否则连接不断开，归还到连接池。

3.3)连接断开，并且释放资源。

延迟断开释放算法其主要的作用是选择合适的断开连接时机，把连接的数目控制在合理范围，减少资源浪费，同时又能满足通信需求。其使用的最合适时机是：当通信连接使用完毕，将要被归还给连接池的时候。

当本阶段通信结束后，可采用基于历史负载预测算法进行下一阶段通信参数设置，提高效率。

4.基于历史负载预测算法的参数设置

以本阶段通信连接日志作为原始数据，利用负载预测算法对历史数据进行分析，分析处理后，将预测值写回日志和配置文件，用以设置下一阶段通信连接池参数，再次重新启动新一阶段通信时，自动利用新的参数初始化设置连接池。

历史负载预测算法具体为：利用局部性原理进行短期预测，统计计算一段时间内的最大连接数B_max、最小连接数B_min。

4.1)以间隔时间T为周期，周期性记录，得到一段时间内通信连接数∈_curr数组：

{T₁，T₂，T₃，T₄，T₅，T₆，T₇，…，T_n}

T_i指第i个T时刻的通信连接数，n为统计的数组元素个数；

4.2)将4.1中∈_curr数组的数值按照大小进行排序，得到排序后的升序数组：

4.3)分别选择个最大、最小值求它们的平均值，这样做主要是避免一个周期内获得的参数存在偶然性，消除其部分偶然性，所以进行部分选取平均处理。

B_min为最小平均值，B_max为最大平均值；

4.4)将B_max和B_min这两个值写回日志和配置文件。分别作为下一阶段缓存连接池最大连接数E和基础连接池最大连接数B的值。

与现有的通信连接池管理方法相比，本发明的有益效果是：由于采用基础加缓存双连接池的双效组合，RDMA通信连接池连接数量可随通信请求的多少而动态改变，提高了可扩展性；利用延迟断开释放算法对连接池进行控制，充分考虑通信需求时间局部性原理，动态地按照每个通信连接的生存期选择合适时机进行释放归还，降低建立和断开连接的次数，减少资源浪费，提高了资源重用性；在一个阶段通信结束后，利用基于历史负载预测算法对下一阶段的通信参数进行预测设置，提高了连接池使用效率。

下面结合附图和实施方式对本发明作详细说明。

附图说明：

图1基于自适应控制策略的RDMA通信连接池管理方法流程示意图

图2基础连接池和缓存连接池构成示意图

图3连接池自适应控制算法示意图

图4延迟断开算法流程示意图

图5基于历史负载预测算法示意图

具体实施方式

以下将结合说明书附图和具体实施方式对本发明作进一步详细说明。

参照附图1，基于自适应控制策略的RDMA通信连接池管理方法，主要包括以下几个步骤：

1.根据配置文件设置RDMA通信连接池参数

参照附图2，RDMA通信连接池主要包括基础连接池和缓存连接池两个部分，每种连接池在通信过程中都将保持通信连接，基础连接池固定大小为B，缓存连接池最大连接数为E，在通信过程中，基础连接池和缓存连接池分别保存不超过其最大数限制的通信连接。

2.自适应管理RDMA连接控制

当一个RDMA通信连接请求到来时，判断基础连接池是否满载：如果并且有空闲连接，就分配一个空闲通信连接给请求；如果未满载但没有空闲连接，则创建一个新的RDMA通信连接。基础连接池的连接创建后，不会自动断开释放，空闲和新建的连接用完后都是归还到池中，只有通信完成，连接池关闭，才断开释放所有连接。

当基础连接池被满载使用并且有新的RDMA通信连接请求到来时，使用连接池自适应控制算法，参照附图3，该算法包含以下几个步骤：

其中ω_m-i为m请求前的第i个通信请求响应时间。

为请求响应时间最大平均值。

2.3)连接控制：当

∈_curr<B+E并且

W为连接建立等待时间，∈_curr为当前通信连接数；

3.连接池延迟断开释放算法

参照附图4，该算法包含以下步骤：

3.3)连接断开，并且释放资源。

4.基于历史负载预测算法的参数设置

参照附图5，历史负载预测算法具体为：利用局部性原理进行短期预测，统计计算一段时间内的最大连接数B_max、最小连接数B_min。

4.1)以间隔时间T为周期，周期性记录，得到本阶段通信连接数∈_curr数组：

{T₁，T₂，T₃，T₄，T₅，T₆，T₇，…，T_n}

T_i指第i个T时刻的通信连接数，n为统计的数组元素个数；

B_min为最小平均值，B_max为最大平均值；

4.4)将B_max和B_min这两个值写回日志和配置文件；分别作为下一阶段缓存连接池最大连接数E和基础连接池最大连接数B的值。

Claims

1.一种基于自适应控制策略的RDMA通信连接池管理方法，其特征主要包括以下步骤

(1)设置RDMA通信连接池参数：主要是根据配置文件初始化设置基础连接池和缓存连接池参数；

(2)自适应管理RDMA连接控制：根据当前RDMA通信连接池的连接使用情况，利用连接池自适应控制算法，选择连接池中的通信连接进行通信；

(3)连接池延迟断开释放算法：当缓存连接池连接要被返还给连接池时，根据连接池连接数与连接需求，是断开连接还是只归还连接到连接池；

(4)基于历史负载预测算法的参数设置：基于通信日志记录文件，对历史数据进行分析处理后，将预测值写回日志和配置文件，设置通信连接池参数。

2.根据权利要求1所述的一种基于自适应控制策略的RDMA通信连接池管理方法，其特征在于，所述的根设置RDMA通信连接池参数，RDMA通信连接池主要包括基础连接池和缓存连接池两个部分，根据配置文件，初始化设置基础连接池最大连接数B和缓存连接池最大连接数E。

3.根据权利要求1所述的一种基于自适应控制策略的RDMA通信连接池管理方法，其特征在于，所述的自适应管理RDMA连接控制中，基础连接池的连接创建后，不会自动断开释放，空闲和新建的连接用完后都是归还到池中，只有通信完成，连接池关闭，才断开释放所有连接。

4.根据权利要求1所述的一种基于自适应控制策略的RDMA通信连接池管理方法，其特征在于，所述的自适应管理RDMA连接控制中，连接池自适应控制算法包含以下步骤：

4.1)获取数据：根据通信日志，获取RDMA当前通信请求R_m的前n个通信请求的响应时间序列(ω_m-1,ω_m-2,…,ω_m-n+1,ω_m-n)，其中ω_m-i为m请求前的第i个通信请求响应时间；

4.2)处理数据：对该n个通信请求响应时间序列降序排序后得计算排序后响应时间序列前个的平均值

为请求响应时间最大平均值；

4.3)连接控制：当∈_curr<B+E并且

则控制算法选择在缓存池新建一个连接；否则，选择等待连接池释放连接来重用；W为连接建立等待时间，∈_curr为当前通信连接数。

5.根据权利要求1所述的一种基于自适应控制策略的RDMA通信连接池管理方法，其特征在于，所述的自适应管理RDMA连接控制中，W为连接建立等待时间，即为一个连接从建立到可以进行通信的等待时间。

6.根据权利要求1所述的一种基于自适应控制策略的RDMA通信连接池管理方法，其特征在于，所述的自适应RDMA控制连接管理中，缓存连接池创建的通信连接使用完后，不会马上断开释放，当缓存连接池的连接要被返还给连接池时，需要经过延迟断开释放算法来确定是断开连接还是返回连接。

7.根据权利要求1所述的一种基于自适应控制策略的RDMA通信连接池管理方法，其特征在于，所述的连接池延迟断开释放算法使用的最合适时机是：当通信连接使用完毕，将要被归还给连接池的时：

该算法包含以下步骤：

7.1)获取请求等待队列当前等待连接数q_wait，如果q_wait>0，则连接不断开，归还到连接池；否则转到步骤3.2)处理；

7.2)如果空闲连接数∈_free>0，则转到步骤3.3)处理，否则连接不断开，归还到连接池；

7.3)连接断开，并且释放资源。

8.根据权利要求1所述的一种基于自适应控制策略的RDMA通信连接池管理方法，其特征在于，所述的基于历史负载预测算法的参数设置包含以下步骤：

8.1)以间隔时间T为周期，周期性记录，得到本阶段通信连接数∈_curr数组：

{T₁，T₂，T₃，T₄，T₅，T₆，T₇，…，T_n}

T_i指第i个T时刻的通信连接数，n为统计的数组元素个数；

8.2)将4.1中∈_curr数组的数值按照大小进行排序，得到排序后的升序数组：

8.3)分别选择个最大、最小值求它们的平均值，这样做主要是避免一个周期内获得的参数存在偶然性，消除其部分偶然性，所以进行部分选取平均处理；

B_min为最小平均值，B_max为最大平均值；

8.4)将B_max和B_min这两个值写回日志和配置文件；分别作为下一阶段缓存连接池最大连接数E和基础连接池最大连接数B的值。