CN111240825B - Docker集群的内存配置方法、存储介质、计算机设备 - Google Patents

Abstract

本发明公开了Docker集群的内存配置方法、存储介质、计算机设备。该方法：步骤一：确定宿主主机的Docker集群内存在有待调整容器，待调整容器的使用内存达到宿主主机分配给待调整容器的初始分配内存；步骤二：检测宿主主机的剩余内存是否大于预设内存；若是，则将待调整容器的初始分配内存提高至最终分配内存，若否，则进行步骤三；步骤三：检测待调整容器的使用交换空间的倾向性值是否小于或等于预设倾向性值；若是，则进行步骤四；若否，则对待调整容器的最初分配内存不进行调整；步骤四：对空闲容器的最初分配内存进行降低，并返回步骤二。实时检测各个容器的内存使用情况，实现对Docker集群内各个容器内存的动态调整，并实现内存资源的最大化利用。

Description

Docker集群的内存配置方法、存储介质、计算机设备

技术领域

本发明属于信息技术领域，特别涉及Docker集群的内存配置方法、存储介质、计算机设备。

背景技术

Docker集群合理使用主机的内存是非常重要的。例如对于Linux主机来说，一旦内核检测到没有足够的内存可以分配，就会抛出OOME(Out Of Memory Exception)，并开始杀死一些进程用于释放内存空间。糟糕的是任何进程都可能成为内核猎杀的对象，包括Docker daemon和其它一些重要的程序。更危险的是如果某个支持系统运行的重要进程被干掉了，整个系统也就宕掉了。为了避免以上问题，可以对每个容器设置固定的内存使用上限，这种方法虽然能更好地避免内存过载的问题，但是由于每个容器的内存使用上限是固定的，在宿主主机的剩余内存不足时，如果某个常用容器的内存达到了使用上限，这时不能增加该常用容器的内存使用上限，而另一方面，有些不常使用的容器的内存远远没有达到内存使用上限，由于分配给不常使用的容器的内存是固定的，这样不常使用的容器占用了过多的宿主主机内存，从而不能最大化地利用内存资源。

发明内容

(一)本发明所要解决的技术问题

本发明要解决的技术问题是：如何动态地调节容器的内存阈值以最大化地利用内存资源。

(二)本发明所采用的技术方案

为了实现上述的目的，本发明采用了如下的技术方案：

一种Docker集群的内存配置方法，所述内存配置方法包括：

步骤一：确定宿主主机的Docker集群内存在有待调整容器，所述待调整容器的使用内存达到宿主主机分配给所述待调整容器的初始分配内存；

步骤二：检测宿主主机的剩余内存是否大于预设内存；若是，则将所述待调整容器的所述初始分配内存提高至最终分配内存，所述预设内存大于或等于所述最终分配内存和所述初始分配内存之差；若否，则进行步骤三；

步骤三：检测所述待调整容器的使用交换空间的倾向性值是否小于或等于预设倾向性值；若是，则进行步骤四；若否，则对所述待调整容器的最初分配内存不进行调整；

步骤四：对空闲容器的最初分配内存进行降低，以提高宿主主机的剩余内存，并返回步骤二；所述空闲容器的使用内存未达到宿主主机分配给所述空闲容器的初始分配内存。

本发明还公开了一种Docker集群的内存配置方法，所述内存配置方法包括：

步骤一：确定宿主主机的Docker集群内存在有待调整容器，所述待调整容器的使用内存达到宿主主机分配给所述待调整容器的初始分配内存；

步骤二：第i次检测宿主主机的剩余内存是否大于预设内存；若是，则将所述待调整容器的所述初始分配内存提高至最终分配内存，所述预设内存大于或等于所述最终分配内存和所述初始分配内存之差；若否且i＝1，则进行步骤三，若否且i≥2，则直接进行步骤四；

步骤三：检测所述待调整容器的使用交换空间的倾向性值是否小于或等于预设倾向性值；若是，则进行步骤四；若否，则对所述待调整容器的最初分配内存不进行调整；

步骤四：对空闲容器的最初分配内存进行降低，以提高宿主主机的剩余内存，且使i＝i+1，并返回步骤二；所述空闲容器的使用内存未达到宿主主机分配给所述空闲容器的初始分配内存。

优选地，在步骤一中，若确定所述待调整容器的数量为至少两个，则按照预定策略对各个待调整容器分别进行步骤二至步骤四的处理。

优选地，所述按照预定策略对各个待调整容器分别进行步骤二至步骤四的处理的具体方法为：

确定各个待调整容器的分配内存与最终分配内存的差值；

按照分配内存与最终分配内存的差值从小至大的顺序依序对各个待调整容器分别进行步骤二至步骤四的处理。

优选地，所述按照预定策略对各个待调整容器分别进行步骤二至步骤四的处理的具体方法为：

确定各个待调整容器的使用交换空间的倾向性值；

按照倾向性值从小至大的顺序依序对各个待调整容器分别进行步骤二至步骤四的处理。

优选地，所述对空闲容器的最初分配内存进行降低的具体方法为：

获取各个空闲容器的使用交换空间的倾向性值；

按照倾向性值从大至小的顺序依序将至少一个空闲容器的分配内存进行降低。

优选地，所述Docker集群内各个容器的使用交换空间的倾向性值按照各个容器的内存读取次数的增大而递减。

本发明还公开了一种存储介质，所述计算机可读存储介质存储有Docker集群的内存配置程序，所述Docker集群的内存配置程序被所述处理器执行时实现任一种上述的Docker集群的内存配置方法。

本发明还公开了一种计算机设备，所述计算机设备包括：存储器、处理器以及存储在所述存储器上的Docker集群的内存配置程序，所述Docker集群的内存配置程序被所述处理器执行时实现任一种上述的Docker集群的内存配置方法。

(三)有益效果

本发明公开的一种Docker集群的内存配置方法、存储介质和计算机设备，实时检测各个容器的内存使用情况，通过宿主主机的剩余内存来实时提高待调整容器的内存，或者通过压缩空闲容器的内存来提高待调整容器的内存，实现对Docker集群内各个容器内存的动态调整，并实现内存资源的最大化利用。

附图说明

图1是本发明的实施例一的内存配置方法的流程图；

图2是本发明的实施例二的内存配置方法的流程图；

图3是本发明的实施例三的计算机设备的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一

在安装有Linux操作系统的宿主主机中，宿主主机可安装Docker-machine，在Docker-machine的基础上可以安装多个Docker容器，多个Docker容器组成Docker集群。如图1所示，根据本发明的实施例一的Docker集群的内存配置方法包括如下步骤：

步骤一S101：确定宿主主机的Docker集群内存在有待调整容器，待调整容器的使用内存达到宿主主机分配给待调整容器的初始分配内存。

在Docker集群内运行的每个容器都有一定的初始分配内存，根据每个容器实际情况，宿主主机对不同的容器设置不同的初始分配内存，初始分配内存指容器在实际运行过程中，该容器的使用内存所能达到的最大值。同时对不同的容器设置不同的使用交换空间(swap)的倾向性值，其中，容器的使用交换空间的倾向性值低，代表该容器对内存读取速度要求高；容器的使用交换空间的倾向性值高，代表该容器对内存读取速度要求低。交换空间在宿主主机的物理内存不够用的时候，把物理内存中的一部分空间释放出来，以供当前运行的程序使用。那些被释放的空间可能来自一些很长时间没有什么操作的程序，这些被释放的空间被临时保存到交换空间中，等到那些程序要运行时，再从交换空间中恢复保存的数据到内存中。进一步地，Docker run命令中通过-m选项限制容器使用的内存上限。通过memory-swap设置swap的使用大小。当-m设置为300M，swap设置为1000M时，可以使用的swap空间为700M。

进一步地，Docker集群运行时会启动一个监测程序，监测各个容器的内存使用情况，当某个容器的使用内存达到初始分配内存时，会触发容器动态内存调整的判断。其中使用内存达到宿主主机分配的初始分配内存的容器为本实施例所述的待调整容器。一般而言，监测程序周期性检测各个容器的内存使用情况，每个检测周期内可能检测到一个或者多个待调整容器，由于各个待调整容器的出现有先后，且检测周期可以人为设置，理论上可保证每个检测周期内最多能检测到一个待调整容器，当然如果检测周期较长，每个检测周期内可能检测到多个待调整容器。本实施例优选考虑每个检测周期内最多能检测到一个待调整容器的情况。

步骤二S102：检测宿主主机的剩余内存是否大于预设内存；若是，则将待调整容器的初始分配内存提高至最终分配内存，预设内存大于或等于最终分配内存和初始分配内存之差；若否，则进行步骤三。

具体地，一般而言，宿主主机的内存分配给各个容器之后还会有一定的剩余，此时如存在待调整容器，直接利用宿主主机的剩余内存来提高待调整容器的初始分配内存。当然，每个待调整容器的情况不一样，需要提高的内存上限也不同，这时还需要先判断宿主主机的剩余内存是否大于预设内存，预设内存大于或等于待调整容器的最终分配内存和初始分配内存之差。当宿主主机的剩余内存大于预设内存时，说明剩余内存充足，直接将待调整容器的初始分配内存提高至最终分配内存；当宿主主机的剩余内存小于或等于预设内存时，说明剩余内存不充足，则进行步骤三。

步骤三S103：检测待调整容器的使用交换空间的倾向性值是否小于或等于预设倾向性值；若是，则进行步骤四；若否，则对待调整容器的最初分配内存不进行调整。

具体地，当剩余内存不足时，而且该待调整容器的使用交换空间的倾向性值大于预设倾向性值时，则对待调整容器的最初分配内存不进行调整，可允许该待调整容器占用一定的交换空间，而不用通过压缩使用交换空间的倾向性值较低的其他容器的内存来提高剩余内存。一般而言，使用交换空间的倾向性值与容器的内存读取次数相关，Docker集群内各个容器的使用交换空间的倾向性值按照各个容器的内存读取次数的增大而递减。作为优选实施例，将使用交换空间的倾向性值分成1至10十个等级，本实施例的预设倾向性值可设置为第8个等级。若该待调整容器的使用交换空间的倾向性值小于或等于预设倾向性值，例如本实施例的待调整容器的使用交换空间的倾向性值为3，说明该待调整容器对内存读取要求高，需要提高待调整容器的初始分配内存，执行步骤四。

步骤四S104：对空闲容器的最初分配内存进行降低，以提高宿主主机的剩余内存，并返回步骤二；空闲容器的使用内存未达到宿主主机分配给空闲容器的初始分配内存。

具体来说，在同一个检测周期内，空闲容器的数量一般是多于待调整容器的数量，所谓空闲容器指的是使用内存未达到宿主主机分配的初始分配内存的容器。当步骤三中判断出必须对待调整容器的初始分配内存进行提高时，而此时宿主主机的剩余内存又不足，那么只有通过压缩空闲容器的初始分配内存来提高宿主主机的剩余内存，从而提高内存资源的利用率。

当对空闲容器的最初分配内存进行降低后，进一步返回执行步骤二，判断此时的宿主主机的剩余内存是否大于预设内存，若是，则将待调整容器的初始分配内存提高至最终分配内存。若否，继续执行步骤三和步骤四以进一步提高宿主主机的剩余内存，直至将待调整容器的初始分配内存提高至最终分配内存。

作为优选实施例，对空闲容器的最初分配内存进行降低的具体方法为：

获取各个空闲容器的使用交换空间的倾向性值；

按照倾向性值从大至小的顺序依序将至少一个空闲容器的最初分配内存进行降低。即每次可以降低倾向性值最大的空闲容器的最初分配内存，也可以按照倾向性值从大至小的顺序降低多个空闲容器的最初分配内存。

进一步，考虑步骤一中存在至少两个待调整容器的情况。

具体来说，监测程序在一个检测周期内检测到了至少两个待调整容器，则按照预定策略对各个待调整容器分别进行步骤二至步骤四的处理。

作为优选实施例，当检测到至少两个待调整容器时，确定各个待调整容器的分配内存与最终分配内存的差值；按照分配内存与最终分配内存之间的差值从小至大的顺序依序对各个待调整容器分别进行步骤二至步骤四的处理。

当然在其他实施方式中，当检测到至少两个待调整容器时，确定各个待调整容器的使用交换空间的倾向性值；按照倾向性值从小至大的顺序依序对各个待调整容器分别进行步骤二至步骤四的处理。

本实施例公开的一种Docker集群的内存配置方法，实时检测各个容器的内存使用情况，通过宿主主机的剩余内存来实时提高待调整容器的内存，或者通过压缩空闲容器的内存来提高待调整容器的内存，实现对Docker集群内各个容器内存的动态调整，并实现内存资源的最大化利用。

实施例二

如图2所示，根据本发明的实施例二的Docker集群的内存配置方法包括如下步骤：

步骤一S201：确定宿主主机的Docker集群内存在有待调整容器，待调整容器的使用内存达到宿主主机分配给待调整容器的初始分配内存。该步骤一S201与实施例一种的步骤一S101相同，在此不进行赘述。

步骤二S202：第i次检测宿主主机的剩余内存是否大于预设内存；若是，则将待调整容器的所述初始分配内存提高至最终分配内存，预设内存大于或等于最终分配内存和初始分配内存之差；若否且i＝1，则进行步骤三，若否且i≥2，则直接进行步骤四。

具体来说，当第一次检测宿主主机的剩余内存时，步骤三和步骤四均未执行，此时应该继续执行步骤三和步骤四。当第二次、第三次以及多次检测宿主主机的剩余内存时，说明步骤三和步骤四已经执行了至少一次，当进行循环时，可以跳过步骤三而直接执行步骤四。该步骤二S202的其他内容与实施例一中的步骤二S102相同，在此不进行赘述。

步骤三S203：检测所述待调整容器的使用交换空间的倾向性值是否小于或等于预设倾向性值；若是，则进行步骤四；若否，则对所述待调整容器的最初分配内存不进行调整。此步骤三S203与实施例一中的步骤三S103相同，在此不进行赘述。

步骤四S204：对空闲容器的最初分配内存进行降低，以提高宿主主机的剩余内存，且使i＝i+1，并返回步骤二；所述空闲容器的使用内存未达到宿主主机分配给空闲容器的初始分配内存。

具体来说，每次对空闲容器的最初分配内存进行降低后，都要检测宿主主机的剩余内存，此时每次都要标注宿主主机的剩余内存的检测次数，使得步骤二和步骤四之间实现循环，省略了每次循环过程中对步骤三的执行，加快了待调整容器的初始分配内存的调整速度。该步骤四S204的其他内容与实施例一中的步骤四S104相同，在此不进行赘述。

实施例三

根据本发明的实施例三的存储介质，存储介质存储有Docker集群的内存配置程序，所述Docker集群的内存配置程序被所述处理器执行时实现如实施例一或实施例二中的Docker集群的内存配置方法。

进一步地，如图3所示，根据本发明的实施例三的计算机设备包括：存储器100、处理器200以及存储在所述存储器100上的Docker集群的内存配置程序300，所述Docker集群的内存配置程序300被所述处理器200执行时实现如实施例一或实施例二中的Docker集群的内存配置方法。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员能够理解本发明，但是本发明不仅限于具体实施方式的范围，对本技术领域的普通技术人员而言，只要各种变化只要在所附的权利要求限定和确定的本发明精神和范围内，一切利用本发明构思的发明创造均在保护之列。

Claims (9)

1.一种Docker集群的内存配置方法，其特征在于，所述内存配置方法包括：

步骤一：确定宿主主机的Docker集群内存在有待调整容器，所述待调整容器的使用内存达到宿主主机分配给所述待调整容器的初始分配内存；

步骤二：检测宿主主机的剩余内存是否大于预设内存；若是，则将所述待调整容器的所述初始分配内存提高至最终分配内存，所述预设内存大于或等于所述最终分配内存和所述初始分配内存之差；若否，则进行步骤三；

步骤三：检测所述待调整容器的使用交换空间的倾向性值是否小于或等于预设倾向性值；若是，则进行步骤四；若否，则对所述待调整容器的最初分配内存不进行调整；所述使用交换空间的倾向性值用于表征容器的内存读取速度和内存读取次数，容器的使用交换空间的倾向性值越低，代表该容器对内存读取速度要求越高、内存读取次数越多；容器的使用交换空间的倾向性值越高，代表该容器对内存读取速度要求越低、内存读取次数越少；

步骤四：对空闲容器的最初分配内存进行降低，以提高宿主主机的剩余内存，并返回步骤二；所述空闲容器的使用内存未达到宿主主机分配给所述空闲容器的初始分配内存。

2.一种Docker集群的内存配置方法，其特征在于，所述内存配置方法包括：

步骤一：确定宿主主机的Docker集群内存在有待调整容器，所述待调整容器的使用内存达到宿主主机分配给所述待调整容器的初始分配内存；

步骤二：第i次检测宿主主机的剩余内存是否大于预设内存；若是，则将所述待调整容器的所述初始分配内存提高至最终分配内存，所述预设内存大于或等于所述最终分配内存和所述初始分配内存之差；若否且i＝1，则进行步骤三，若否且i≥2，则直接进行步骤四；

步骤三：检测所述待调整容器的使用交换空间的倾向性值是否小于或等于预设倾向性值；若是，则进行步骤四；若否，则对所述待调整容器的最初分配内存不进行调整；所述使用交换空间的倾向性值用于表征容器的内存读取速度和内存读取次数，容器的使用交换空间的倾向性值越低，代表该容器对内存读取速度要求越高、内存读取次数越多；容器的使用交换空间的倾向性值越高，代表该容器对内存读取速度要求越低、内存读取次数越少；

步骤四：对空闲容器的最初分配内存进行降低，以提高宿主主机的剩余内存，且使i＝i+1，并返回步骤二；所述空闲容器的使用内存未达到宿主主机分配给所述空闲容器的初始分配内存。

3.根据权利要求1或2所述的内存配置方法，其特征在于，在步骤一中，若确定所述待调整容器的数量为至少两个，则按照预定策略对各个待调整容器分别进行步骤二至步骤四的处理。

4.根据权利要求3所述的内存配置方法，其特征在于，所述按照预定策略对各个待调整容器分别进行步骤二至步骤四的处理的具体方法为：

确定各个待调整容器的分配内存与最终分配内存的差值；

按照分配内存与最终分配内存的差值从小至大的顺序依序对各个待调整容器分别进行步骤二至步骤四的处理。

5.根据权利要求3所述的内存配置方法，其特征在于，所述按照预定策略对各个待调整容器分别进行步骤二至步骤四的处理的具体方法为：

确定各个待调整容器的使用交换空间的倾向性值；

按照倾向性值从小至大的顺序依序对各个待调整容器分别进行步骤二至步骤四的处理。

6.根据权利要求1或2所述的内存配置方法，其特征在于，所述对空闲容器的最初分配内存进行降低的具体方法为：

获取各个空闲容器的使用交换空间的倾向性值；

按照倾向性值从大至小的顺序依序将至少一个空闲容器的最初分配内存进行降低。

7.根据权利要求1或2所述的内存配置方法，其特征在于，Docker集群内各个容器的使用交换空间的倾向性值按照各个容器的内存读取次数的增大而递减。

8.一种存储介质，其特征在于，所述存储介质存储有Docker集群的内存配置程序，所述Docker集群的内存配置程序被处理器执行时实现如权利要求1至7任一项所述的Docker集群的内存配置方法。

9.一种计算机设备，其特征在于，所述计算机设备包括：存储器、处理器以及存储在所述存储器上的Docker集群的内存配置程序，所述Docker集群的内存配置程序被所述处理器执行时实现如权利要求1至7任一项所述的Docker集群的内存配置方法。