CN107341055A - 分布式内存文件系统的实时动态管理方法及系统 - Google Patents

Abstract

本发明提供了一种应用在计算机集群上分布式内存文件系统的实时动态管理方法及系统，用于对计算机集群上分布式内存文件系统的内存使用量动态调整，包括以下步骤，实时收集计算机集群上每个计算节点在控制时间点的内存使用量；根据收集到的所述内存使用量对每个计算节点的下一个控制时间点内存文件系统的内存使用量进行预测；通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指令。本发明采用动态控制的系统和方法能优化计算机集群的内存的使用，从而提高计算机集群上数据密集型和计算密集型计算的效率。

Description

分布式内存文件系统的实时动态管理方法及系统

技术领域

本发明涉及分布式内存管理和分布式文件系统技术领域，特别涉及一种分布式内存文件系统的实时动态管理方法及系统。

背景技术

数据密集形计算正越来越成为计算机集群的重要任务。为加速数据密集形计算，现有的大数据分析系统，比如Apache Spark或者Apache Flink，在计算机集群上进行数据密集型计算的时候，有很大一部分内存被用来存储数据，剩下的内存资源将用于其他计算工作。这样，内存存储就会和计算任务竞争内存空间。现有的分布式内存文件系统都是静态配置的。当部署分布式内存文件系统时，计算机集群中每一个计算节点上的分布式内存文件系统的空间就固定了，这就导致了有的时候系统内存不足而有的时候系统内存剩余。

分布式内存文件系统静态配置方法存在的弊端：如果静态分配方案给内存文件系统过多的内存资源，将使得计算密集型计算的无法得到执行所需内存；如果静态分配方案给内存文件系统过少的内存资源，则无法让数据密集型计算高效率执行。因此静态分配方案不能使数据密集型和计算密集型计算同时高效地运行在计算机集群上。

发明内容

为解决静态配置方案不能使分布式数据密集型和计算密集型计算同时高效地运行在计算机集群上的技术问题，本发明提出一种分布式内存文件系统的动态管理方法及系统。

一种分布式内存文件系统的实时动态管理方法，用于对分布式内存文件系统的内存使用量动态调整，包括以下步骤：

实时收集计算机集群上每个计算节点在控制时间点的内存使用量；

根据收集到的所述内存使用量对每个计算节点的下一个控制时间点内存文件系统的内存使用量进行预测；

通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指令。

作为一种可实施方式，所述根据收集到的所述内存使用量对计算节点的下一个控制时间点内存文件系统的内存使用量进行预测的具体操作为：

每个计算节点上在i个控制时间点的内存使用比例公式为：r_i表示计算节点在i个控制时间点的内存使用比例，v_i表示计算节点上在i个控制时间点的内存使用容量，M表示内存总容量；

因此，在第i+1个控制时间点，计算节点上内存文件系统所能占用的内存使用量的计算公式：

U_i+1表示计算节点上内存文件系统在第i+1个控制时间点所能占用的内存使用量，U_i表示计算节点上内存文件系统在第i个控制时间点占用的内存使用量，r₀表示计算节点内存利用率的阈值，v_i表示计算节点在i个控制时间点的内存使用容量，r_i表示计算节点在第i个控制时间点的内存利用率；λ为控制参数。

作为一种可实施方式，所述通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指令的具体操作为：

当内存利用率低于阈值时，则控制分布式内存文件系统发出分配指令，给第i+1个控制时间点分布式内存文件系统，给它增加分配相应的内存使用空间；

当内存利用率大于阈值时，则控制分布式内存文件系统发出收回指令，给第i+1个控制时间点分布式内存文件系统，收回分布式内存文件系统的部分内存使用量。

一种分布式内存文件系统动态实时管理系统，用于对分布式内存文件系统的内存使用量动态实时调整，包括：

收集计算模块，用于实时收集计算机集群上每个计算节点在控制时间点的内存使用量；

预测模块，用于根据收集到的所述内存使用量对每个计算节点的下一个控制时间点内存文件系统的内存使用量进行预测；

控制模块，用于通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指令。

作为一种可实施方式，所述预测模块设置为：

所述根据收集到的所述内存使用量对计算节点的下一个控制时间点内存文件系统的内存使用量进行预测的具体操作为，

每个计算节点上在i个控制时间点的内存使用比例公式为：r_i表示计算节点在i个控制时间点的内存使用比例，v_i表示计算节点上在i个控制时间点的内存使用容量，M表示内存总容量；

因此，在第i+1个控制时间点，计算节点上内存文件系统所能占用的内存使用量的计算公式：

U_i+1表示计算节点上内存文件系统在第i+1个控制时间点所能占用的内存使用量，U_i表示计算节点上内存文件系统在第i个控制时间点占用的内存使用量，r₀表示计算节点内存利用率的阈值，v_i表示计算节点在i个控制时间点的内存使用容量，r_i表示计算节点在第i个控制时间点的内存利用率；λ为控制参数。

作为一种可实施方式，所述控制模块设置为：

所述通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指令具体操作为：

当内存利用率低于阈值时，则控制分布式内存文件系统发出分配指令，给第i+1个控制时间点分布式内存文件系统，给它增加分配相应的内存使用空间；

当内存利用率大于阈值时，则控制分布式内存文件系统发出收回指令，给第i+1个控制时间点分布式内存文件系统，收回分布式内存文件系统的部分内存使用量。

一种分布式内存文件系统的实时动态管理系统，包括分布式内存监视代理模块、分布式信息流动处理器、存储控制器和分布式内存文件系统，所述分布式内存监视代理模块连接分布式信息流动处理器，分布式信息流动处理器连接存储控制器；

所述分布式内存监视代理模块用于实时收集计算机集群中每一个计算节点的内存使用量信息，将收集到的信息发送给分布式消息传送总线；

所述分布式消息传送总线将收集到的内存使用量从分布式内存监视代理模块传送到分布式信息流处理器，并且将计算机集群中的每个计算节点的优化好的内存文件系统的空间从分布式信息流处理器传送到分布式内存控制器；

所述分布式信息流处理器用于处理收集到的计算节点内存信息并且计算每个节点的优化的内存文件系统的空间；

存储控制器用于判决、发出内存回收或分配调节指令给计算机集群中每一个计算节点上的分布式内存文件系统。

本发明相比于现有技术的有益效果在于：

本发明采用动态控制的系统和方法，能优化计算机集群的内存的使用，从而提高计算机集群上数据密集型和计算密集型计算的效率。

附图说明

图1为本发明的方法示意图；

图2为本发明的系统结构示意图；

图3为本发明的实施例1的系统结构示意图；

图4为本发明的HPCC环境下的内存使用情况；

图5为本发明的实施例1具有HPC集群和大数据加载的典型的计算节点高级内存的使用情况示意图；

图6为本发明的不同积分增益的数值的内存存储器减少和分配大小。

具体实施方式

以下结合附图，对本发明上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部实施例。

请参阅以下实施例

示例性方法：

一种分布式内存文件系统的动态管理方法，，用于对分布式内存文件系统的内存使用量动态调整，如图1所示，包括以下步骤，

S1、实时收集计算机集群上每个计算节点在控制时间点的内存使用量；

S2、根据收集到的所述内存使用量对每个计算节点的下一个控制时间点内存文件系统的内存使用量进行预测；

S3、通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指令。

更进步一地，所述计算机集群上每一个节点在第i个时间节点的内存使用率公式为：r_i表示计算节点在i个控制时间点的内存使用比例，v_i表示计算节点上在i个控制时间点的内存使用容量，M表示内存总容量；

因此，在第i+1个控制时间点，计算节点上内存文件系统所能占用的内存使用量的计算公式：

U_i+1表示计算节点上内存文件系统在第i+1个控制时间点所能占用的内存使用量，U_i表示计算节点上内存文件系统在第i个控制时间点占用的内存使用量，r₀表示计算节点内存利用率的阈值，v_i表示计算节点在i个控制时间点的内存使用容量，r_i表示计算节点在第i个控制时间点的内存利用率；λ为控制参数。

当内存利用率大于阈值时，即第i+1个控制时间点所能占用的内存使用量和第i个控制时间点占用的内存使用量都已知时，所述通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指令的具体操作为：

当内存利用率低于阈值时，则控制分布式内存文件系统发出分配指令，给第i+1个控制时间点分布式内存文件系统，给它增加分配相应的内存使用空间；

当内存利用率大于阈值时，则控制分布式内存文件系统发出收回指令，给第i+1个控制时间点分布式内存文件系统，收回分布式内存文件系统的部分内存使用量。

也就是说，当预测出下一个控制时间点需要的内存使用量多时，则控制分布式内存文件系统分配内存给此控制时间点使用，而当预测出下一个控制时间点需要的内存使用量少时，则控制控制分布式内存文件系统回收多余内存给其他点使用。

示例性系统：一种分布式内存文件系统的动态管理系统，用于对分布式内存文件系统的内存使用量动态调整，如图2所示，包括：

收集计算模块1，用于实时收集计算机集群上每个计算节点在控制时间点的内存使用量；

预测模块2，用于根据收集到的所述内存使用量对每个计算节点的下一个控制时间点内存文件系统的内存使用量进行预测；

控制模块3，用于通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指令。

更进一步地，所述预测模块2设置为：

所述计算机集群上每一个节点在第i个时间节点的内存使用率公式为：r_i表示计算节点在i个控制时间点的内存使用比例，v_i表示计算节点上在i个控制时间点的内存使用容量，M表示内存总容量；

因此，在第i+1个控制时间点，计算节点上内存文件系统所能占用的内存使用量的计算公式：

U_i+1表示计算节点上内存文件系统在第i+1个控制时间点所能占用的内存使用量，U_i表示计算节点上内存文件系统在第i个控制时间点占用的内存使用量，r₀表示计算节点内存利用率的阈值，v_i表示计算节点在i个控制时间点的内存使用容量，r_i表示计算节点在第i个控制时间点的内存利用率；λ为控制参数。

更进一步地，控制模块3还设置为：所述通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指令具体操作为：

当内存利用率低于阈值时，则控制分布式内存文件系统发出分配指令，给第i+1个控制时间点分布式内存文件系统，给它增加分配相应的内存使用空间；

当内存利用率大于阈值时，则控制分布式内存文件系统发出收回指令，给第i+1个控制时间点分布式内存文件系统，收回分布式内存文件系统的部分内存使用量。

实施例1

实施例1为一种实际应用的具体的分布式内存文件系统的实时动态管理系统，如图3所示，包括分布式内存监视代理模块02、分布式信息流动处理器04、存储控制器05，所述分布式内存监视代理模块02连接分布式信息流动处理器04，分布式信息流动处理器04连接存储控制器05；

所述内存监视代理模块02用于实时收集计算机集群中每一个计算节点的内存使用量信息，将收集到的信息发送给分布式消息传送总线01；

所述分布式消息传送总线01将收集到的每个计算节点的内存使用量从分布式内存监视代理模块02传送到分布式信息流处理器04，并且将计算机集群中的每个计算节点的优化分布式内存文件系统01的内存空间从分布式信息流处理器04传送到分布式内存控制器05；

所述分布式信息流处理器04用于处理收集到的计算节点内存信息并且计算每个节点的优化的分布式内存文件系统01的空间；

存储控制器05用于判决、发出内存回收或分配调节指令给计算机集群中分布式内存文件系统01的每一个计算节点。

结合实际系统来阐述本发明。

如图5所示，一般情况下，如果我们在给大数据框架的静态配置120GB的可用内存，运行HPCC基准计算节点，我们只能有25GB的内存空间为20GB的内存空间和其他大数据的运行库和应用程序的执行。在大部分的运行时间内至少要分配给HPCC40GB的内存。传统的静态配置不能进行动态调节，导致了分配给HPCC内存可能在某一控制时间点会产生多余内存，最终无法让数据密集型计算高效率执行。本发明就是内存存储进行动态调整，进而更佳优化分布式内存文件系统。

如图5所示，是一个具有HPC集群上的计算节点同时运行数据密集形和计算密集形计算的时候的内存的使用情况，根据此使用情况来详细说明本发明的方法。

可用的内存空间(除了保留为操作系统运行和缓存保留的内存空间)被分配给HPC应用程序的内存空间N、内存存储器的内存空间S和大数据应用程序的内存空间E。如果静态配置，每个数值都需要从技术人员的经验中得到：在这里内存空间N常常由HPC应用的峰值存储量得到，内存空间S和内存空间E由同一节点的剩余可用的存储量导出。如果计算机集群生活运行不同的任务，存储需求也是随时间变化的，静态的结构只能提供一个次优的性能。因为，1)在HPC集群中，HPC应用要求的存储资源常常被过高估计；为了达到实际存储峰值的要求，用户不得不对每一个有不同计算参数的应用做详细的性能分析，这会导致产生很多额外的工作，变得不切实际、难于处理；2)在大数据应用中，选择优化用于任务执行和数据存储的比例也是困难的。

内存空间N、S和E的大小随着计算节点上不同任务的运行可以做动态调整。如果内存的使用率低于阈值，内存存储S可以占用整个更多的空闲空间。另一方面，当HPC或大数据应用程序运行需要内存时，则内存空间S就需要释放数据所占用的内存来满足内存空间N计算所需的内存需求。

内存的使用率对应用程序的性能和系统稳定性有密切的关系。内存的使用率必须维持低于一定的临界阈值。我们提出了一种闭环反馈控制模式来动态调整内存存储器的所用的内存空间，从而保持内存的使用率低于阈值。每个计算节点上在i个控制时间点的内存使用比例公式为：r_i表示计算节点在i个控制时间点的内存使用比例，v_i表示计算节点上在i个控制时间点的内存使用容量，M表示内存总容量；

因此，在第i+1个控制时间点，计算节点上内存文件系统所能占用的内存使用量的计算公式：U_i+1表示计算节点上内存文件系统在第i+1个控制时间点所能占用的内存使用量，U_i表示计算节点上内存文件系统在第i个控制时间点占用的内存使用量，r₀表示计算节点内存利用率的阈值，v_i表示计算节点在i个控制时间点的内存使用容量，r_i表示计算节点在第i个控制时间点的内存利用率；λ为控制参数。通过以上公式，我们不断地监视每个计算节点的内存应用情况，根据实时的内存的使用率计算下一个优化了的内存存储需要的内存大小，然后通知计算节点去调整内存的内存存储量。

上述公式中，λ是一个常数，它决定了内存存储容量的可扩展性。当r_i-r₀是负数时，U_i+1将大于U_i，在下一个时间间隔会分配更多的空间给内存存储器，当r_i-r₀是正数时，内存控制器会请求去减少U_i，从而达到满足内存利用率的目标。

需要寻找一个合适的λ，这样分布式内存文件系统的动态管理系统才是稳定的，测量的存储比例可以尽快地接近参考值r₀，如图6所示，经过验证对比，λ＝0.5时可以实现最好的平衡。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种分布式内存文件系统的实时动态管理方法，用于对分布式内存文件系统的内存使用量动态调整，其特征在于包括以下步骤：

实时收集计算机集群上每个计算节点在控制时间点的内存使用量；

根据收集到的所述内存使用量对每个计算节点的下一个控制时间点内存文件系统的内存使用量进行预测；

通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指令。

2.根据权利要求1所述的分布式内存文件系统的实时动态管理方法，其特征在于，所述根据收集到的所述内存使用量对计算节点的下一个控制时间点内存文件系统的内存使用量进行预测的具体操作为：

每个计算节点上在i个控制时间点的内存使用比例公式为：r_i表示计算节点在i个控制时间点的内存使用比例，v_i表示计算节点上在i个控制时间点的内存使用容量，M表示内存总容量；

因此，在第i+1个控制时间点，计算节点上内存文件系统所能占用的内存使用量的计算公式：

U_i+1表示计算节点上内存文件系统在第i+1个控制时间点所能占用的内存使用量，U_i表示计算节点上内存文件系统在第i个控制时间点占用的内存使用量，r₀表示计算节点内存利用率的阈值，v_i表示计算节点在i个控制时间点的内存使用容量，r_i表示计算节点在第i个控制时间点的内存利用率；λ为控制参数。

3.根据权利要求2所述的分布式内存文件系统的实时动态管理方法，其特征在于，所述通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指令的具体操作为：

当内存利用率低于阈值时，则控制分布式内存文件系统发出分配指令，给第i+1个控制时间点分布式内存文件系统，给它增加分配相应的内存使用空间；

当内存利用率大于阈值时，则控制分布式内存文件系统发出收回指令，给第i+1个控制时间点分布式内存文件系统，收回分布式内存文件系统的部分内存使用量。

4.一种分布式内存文件系统动态实时管理系统，用于对分布式内存文件系统的内存使用量动态实时调整，其特征在于包括：

收集计算模块，用于实时收集计算机集群上每个计算节点在控制时间点的内存使用量；

预测模块，用于根据收集到的所述内存使用量对每个计算节点的下一个控制时间点内存文件系统的内存使用量进行预测；

控制模块，用于通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指令。

5.根据权利要求4所述的分布式内存文件动态实时管理系统，其特征在于，所述预测模块设置为：

所述根据收集到的所述内存使用量对计算节点的下一个控制时间点内存文件系统的内存使用量进行预测的具体操作为，

每个计算节点上在i个控制时间点的内存使用比例公式为：r_i表示计算节点在i个控制时间点的内存使用比例，v_i表示计算节点上在i个控制时间点的内存使用容量，M表示内存总容量；

因此，在第i+1个控制时间点，计算节点上内存文件系统所能占用的内存使用量的计算公式：

U_i+1表示计算节点上内存文件系统在第i+1个控制时间点所能占用的内存使用量，U_i表示计算节点上内存文件系统在第i个控制时间点占用的内存使用量，r₀表示计算节点内存利用率的阈值，v_i表示计算节点在i个控制时间点的内存使用容量，r_i表示计算节点在第i个控制时间点的内存利用率；λ为控制参数。

6.根据权利要求5所述的分布式内存文件动态实时管理系统，其特征在于，所述控制模块设置为：

所述通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指令具体操作为：

当内存利用率低于阈值时，则控制分布式内存文件系统发出分配指令，给第i+1个控制时间点分布式内存文件系统，给它增加分配相应的内存使用空间；

当内存利用率大于阈值时，则控制分布式内存文件系统发出收回指令，给第i+1个控制时间点分布式内存文件系统，收回分布式内存文件系统的部分内存使用量。

7.一种分布式内存文件动态实时管理系统，其特征在于，包括分布式内存监视代理模块、分布式信息流动处理器、存储控制器和分布式内存文件系统，所述分布式内存监视代理模块连接分布式信息流动处理器，分布式信息流动处理器连接存储控制器；

所述分布式内存监视代理模块用于实时收集计算机集群中每一个计算节点的内存使用量信息，将收集到的信息发送给分布式消息传送总线；

所述分布式消息传送总线将收集到的内存使用量从分布式内存监视代理模块传送到分布式信息流处理器，并且将计算机集群中的每个计算节点的优化好的内存文件系统的空间从分布式信息流处理器传送到分布式内存控制器；

所述分布式信息流处理器用于处理收集到的计算节点内存信息并且计算每个节点的优化的内存文件系统的空间；

存储控制器用于判决、发出内存回收或分配调节指令给计算机集群中每一个计算节点上的分布式内存文件系统。