CN112527463B - 一种基于对象存储的容器镜像下载加速方法 - Google Patents

Abstract

本发明属于云计算领域，特别涉及一种基于对象存储的容器镜像下载加速方法，包括获取原子镜像的使用频率、复用程度和原子镜像特性，并以此构建原子镜像权重模型；基于TOPSIS方法，根据剩余宽带、I/O负载、CPU利用率、内存利用率属性建立CEPH资源模型，根据该模型计算每个节点资源总分；根据原子镜像权重模型计算每个原子镜像总分，并选出下个待放置的原子镜像；基于贪心算法，对该原子镜像进行节点放置操作；本发明在结合对象存储的基础上，保证了使用频繁、复用率高的原子镜像能够拥有较充足资源，有效降低了容器镜像拉取时间，且能够提高总体资源利用率。

Description

一种基于对象存储的容器镜像下载加速方法

技术领域

本发明属于云计算领域，特别涉及一种基于对象存储的容器镜像下载加速方法。

背景技术

容器技术主要包含应用程序打包、资源隔离、资源限制等技术，使得容器化的应用具有了轻量、易于部署和移植、弹性伸缩等特点，简化了应用程序的交付流程和管理。像Docker这样的容器已经越来越流行，它是一种轻量级内核虚拟化技术，可替代传统的虚拟机。容器的部署分为两步，一是拉取容器镜像，二是启动容器。虽然启动一个容器实例可能只需要几秒钟甚至是不到一秒钟，比虚拟机快的多，使得快速部署大量容器实例成为可能，但是容器的镜像拉取却是一个很缓慢的过程。有相关研究曾统计过，镜像仓库Docker Hub的前69个镜像平均的部署时间高达13.4秒，而92％的时间耗费在网路传输镜像数据这个过程。更为糟糕的是，在大规模的并发部署中，因为资源争夺还会加剧这种情况。

容器镜像由多层叠加而成，每一层都可以添加、删除或覆盖其下面的层中的文件。默认情况下，Docker并行下载镜像层，且最大并行度为3。然后，从第一层开始，将这些层依次解压缩并提取到磁盘。在现实环境中可用网络带宽受限时，并行下载多个层将延迟第一层的下载完成，从而延迟解压缩和提取过程开始的时刻。因此，延迟第一层的下载最终导致提取阶段的减慢。Docker总是以压缩的形式发送镜像层，通常以tar文件的形式实现，再将镜像提取到磁盘之前对镜像进行解压缩。这降低了镜像层的传输成本，但增加了客户端节点上的CPU需求。Docker通过调用标准函数来解压镜像，而标准函数恰好是单线程的，通过单线程解压，整个过程受到了限制。综上所述，使用传统容器镜像拉取方式将会浪费宝贵的计算资源，并且容器部署的时间将会远远延长，所以在当前环境下需要进一步优化容器镜像拉取的方式。

发明内容

为了降低了私有云中容器镜像拉取时间，本发明提出一种基于对象存储的容器镜像下载加速方法，如图1，具体包括以下步骤：

S1、获取原子镜像的使用频率、复用程度和原子镜像特性，并以此构建原子镜像权重模型；

S2、基于TOPSIS方法，根据剩余宽带、I/O负载、CPU利用率、内存利用率属性建立CEPH资源模型，根据该模型计算每个节点资源总分；

S3、根据原子镜像权重模型计算每个原子镜像权重，根据原子镜像权重的降序放置原子镜像；

S4、基于贪心算法，对该原子镜像进行节点放置选择，放置时节点资源总分越高放置原子镜像的优先级越高，根据节点存储能力能否满足原子镜像需求判断节点能否放置原子镜像；

S5、若能放置，则将该原子镜像存放到被选节点上，并记录该原子镜像与被选节点映射关系，并返回步骤S2，直到所有原子镜像放置完成；

S6、若不能放置，则从CEPH节点资源中去掉该被选节点，判断CEPH资源节点是否为空，如果不为空则跳转至步骤S4。

进一步的，根据原子镜像权重模型计算每个原子镜像权重具体包括以下步骤：

S11、计算各个原子镜像的使用次数，并对使用次数进行归一化处理，获取原子镜像的频率参数；

S12、计算各个原子镜像的容器复用平均比率和类型复用平均比率，对两个平均比率进行线性加权融合，得到原子镜像复用程度；

S13、采用TOPSIS方法，根据原子镜像大小、容器实时性及容器业务重要程度，计算属性优先级比率；

S14、对原子镜像的频率参数、复用程度属性以及优先级比率进行加权求和，得到原子镜像的总分。

进一步的，原子镜像的频率参数表示为：

其中，为原子镜像的频率参数；N_i为原子镜像的使用次数；μ_N为镜像层次数平均值；n为所有镜像层类型总数；/>为使用原子镜像I_i的镜像k所产生的容器；/>为容器的数量。

进一步的，原子镜像复用程度表示为：

其中，为原子镜像复用程度；/>为原子镜像的容器复用平均比率；为原子镜像的类型复用平均比率；α,β分别为容器复用频率和镜像类型复用比率的权重；MN_i为原子镜像的容器复用比率，表示为/>c为类型的数量；μ_MN为容器复用平均比率；MT_i为原子镜像的镜像类型复用比率，表示为/>T_i为原子镜像的镜像集合，Dc为所有镜像类型总数；μ_MT为类型复用平均比率。

进一步的，原子镜像的属性优先级比率的获取包括：

原子镜像大小根据镜像层大小确认优先级，镜像层越小优先级越高；

原子镜像容器实时性根据原子镜像容器类型确认优先级，其优先级分值为(0,10]左开右闭区间，默认优先级为5，警类容器优先级为10，日志收集类容器优先级为1；

原子镜像容器业务重要程度根据核心服务容器设置优先级，其优先级分值区间为(0,10]左开右闭区间，默认优先级为5，核心结账付费服务优先级为10，广告服务优先级为1；

根据上述三个属性构建原始数据矩阵，该矩阵中第i行、j列的元素表示第i个待评估的镜像层的第j个属性的属性值；

对原始数据矩阵中的属性进行指标属性同向化；

构造加权规范矩阵，并进行归一化处理，得到标准化的数据矩阵；

计算获取镜像层优先级最高方案以及镜像层优先级最低方案，分别计算各层数据与优先级最高方案、优先级最低方案的接近程度；

计算出各层与最优方案贴近程度，该贴近程度即为原子镜像的属性优先级比率。

进一步的，原子镜像的总分表示为：

其中，φ,ψ分别是/>的权重值。

进一步的，根据CEPH资源模型计算每个节点资源总分的过程包括：

S21、基于TOPSIS方法，构建OSD权重因子决策矩阵，矩阵中第i行、j列的元素为第i个节点的第j个属性的属性值；

S22、对OSD权重因子决策矩阵进行归一化处理，并为每个属性选择一个加权系数，获得规范化加权决策矩阵；

S23、计算规范化加权决策矩阵的正理想值和负理想值，并计算每个OSD节点到正理想解与负理想解的距离；

S24、根据每个OSD节点到正理想解与负理想解的距离计算每个OSD与最优OSD的相对贴近度，该相对贴合度即为每个节点资源总分。

本发明在结合对象存储的基础上，保证了使用频繁、复用率高的原子镜像能够拥有较充足资源，有效降低了容器镜像拉取时间，且能够提高总体资源利用率。

附图说明

图1为本发明一种基于对象存储的容器镜像下载加速方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出一种基于对象存储的容器镜像下载加速方法，如图1，具体包括以下步骤：

S1、获取原子镜像的使用频率、复用程度和原子镜像特性，并以此构建原子镜像权重模型；

S2、基于TOPSIS方法，根据剩余宽带、I/O负载、CPU利用率、内存利用率属性建立CEPH资源模型，根据该模型计算每个节点资源总分；

S3、根据原子镜像权重模型计算每个原子镜像权重，根据原子镜像权重的降序放置原子镜像；

S4、基于贪心算法，对该原子镜像进行节点放置选择，放置时节点资源总分越高放置原子镜像的优先级越高，根据节点存储能力能否满足原子镜像需求判断节点能否放置原子镜像；

S5、若能放置，则将该原子镜像存放到被选节点上，并记录该原子镜像与被选节点映射关系，并返回步骤S2，直到所有原子镜像放置完成；

S6、若不能放置，则从CEPH节点资源中去掉该被选节点，判断CEPH资源节点是否为空，如果不为空则跳转至步骤S4。

在本实施例中，通过原子镜像权重模型计算每个原子镜像总分，具体包括以下步骤：

S11：计算各原子镜像I_i的频率参数

原子镜像为I_i，代表使用了I_i的镜像k所产生的容器，/>的数量为/>则I_i的使用次数N_i：

所有镜像层类型总数为n，镜像层次数平均值为μ_N，对镜像使用次数进行归一化处理，获取到I_i的频率参数

S12：计算各原子镜像I_i的复用比率

当前所有容器总量为c，原子镜像I_i，代表使用了I_i的镜像k所产生的容器，/>的数量为/>I_i的容器复用比率为MN_i。则I_i在所有部署容器中被复用的频率模型为：

所有镜像层类型总数为n，容器复用平均比率为μ_MN，对其进行归一化处理，获取到I_i的复用平均比率

所有镜像类型总数为Dc，使用了I_i的镜像集合为T_i，I_i的镜像类型复用比率为MT_i。则I_i在所有类别容器中被复用的频率模型为：

所有镜像层类型总数为n，镜像类型复用平均比率为μ_MT，对其进行归一化处理，获取到I_i的类型复用平均比率

加权求和得到I_i的原子镜像复用程度

其中，α,β分别为容器复用频率和镜像类型复用比率的权重。

S13：计算各原子镜像I_i的属性优先级比率

采用TOPSIS方法，考虑I_i原子镜像大小SZ_i，容器实时性RT_i及容器业务重要程度IM_i，计算属性优先级比率其中：

原子镜像I_i大小SZ_i，根据镜像层确认该属性的优先级，镜像层越小，代表占用资源越少，因此优先级越高，统一预处理单位为MB；

原子镜像I_i容器实时性RT_i(容器本身性质)，根据使用I_i的镜像类型，判断其容器实时性要求，实时性要求越高，则优先级越高，优先级的分值区间为(0,10]左开右闭区间，默认为5分；如告警类容器优先级可设为10分，日志收集类容器优先级为1分；

原子镜像I_i容器业务重要程度IM_i(业务场景性质)，根据实际业务场景设置优先级，核心服务容器优先级高，边缘服务容器优先级低，分值区间为(0,10]左开右闭区间，默认为5分；如核心结账付费服务可设10分，广告服务可设1分。

当前共有n个待评估的镜像层，每个镜像层都有3个属性(SZ_i,RT_i,IM_i)，则构建原始数据矩阵为：

其中，RT_i和IM_i属性同向，SZ_i属性不同向，因此进行指标属性同向化：

进一步，属性进行向量规范化：

由此得到归一化处理后的标准化矩阵Z_image：

镜像层优先级最高方案：

镜像层优先级最低方案：

计算各层数据与优先级最高方案接近程度：

其中，w_j代表第j个属性的权重(重要程度)。

计算各层数据与优先级最底方案接近程度：

其中，w_j代表第j个属性的权重(重要程度)。

算各层与最优方案贴近程度，得出其属性优先级比率

S14：计算原子镜像I_i的总分

通过对I_i的频率参数原子镜像复用程度/>和属性优先级比率/>进行加权求和，得到I_i的总分/>表示为：

其中，φ，ψ分别是/>的权重值，权重值根据硬件环境或者软件环境的不同，由用户进行分配或者根据现有的自适应算法进行计算获取。

根据原子镜像权重模型计算每个原子镜像总分，即在考虑Ceph节点剩余存储容量基础上，实时获取每个节点剩余带宽B_j、I/O负载L_j、CPU利用率C_j和内存利用率R_j等属性，并进行归一化处理；基于TOPSIS方法，建立Ceph资源模型，并计算每个节点的资源得分具体包括：

若剩余宽带为B_j，I/O负载为L_j，CPU利用率为C_j，内存利用率为R_j。m为OSD的总个数，基于TOPSIS方法，由此构建OSD权重因子决策矩阵M，表示为：

f_ij是矩阵M中的元素，i和j分别是行号和列号，归一化处理得到规范化的决策矩阵M`，表示为：

因为四种资源对OSD节点性能比重不同，带宽和I/O相对比重更大。选取合适的加权系数W，构建规范化加权决策矩阵Z_osd：

W＝[W_B,W_L,W_C,W_R]；

Z_osd＝W_j*M`_ij,i＝1,2,…,m；j＝1,2,3,4；确定加权矩阵Z_osd的正理想解和负理想解：

计算每个OSD到正理想解与负理想解的距离D⁺和D^-：

其中：

计算出每个OSD与最优OSD的相对贴近度值越大代表OSD性能约好：

第j个OSD总分为即每个节点资源总分。

基于贪心算法，对该原子镜像进行节点放置选择具体包括以下步骤：

通过原子镜像权重模型，计算每个原子镜像的权重；

基于贪心算法，按原子镜像权重，从大到小依次选择Ceph放置节点，判断节点能否放置该原子镜像；

如果放置成功，则继续判断所有原子镜像是否放置完成：如果没有放置完成，则重新计算CEPH资源模型，并对剩余原子镜像进行节点放置选择；如果放置完成，则所有原子镜像都被放置到对应节点上，则最终放置成功，结束流程；

如果放置失败，则去掉被选节点，并判断CEPH资源节点是否为空：如果不为空，则重新进行放置策略判断；如果为空，则表明所有节点都无法放置该原子镜像，则最终放置失败，结束流程；

如果最终放置成功，对于每个原子镜像i层I_i，所有镜像层类型总数为n，m为OSD的总个数，T_j代表j节点上放置的镜像层集合：

T_j＝{I_a,I_b…|a,b∈1,2,…,n；j∈1,2,…,m}；

对于每个原子镜像i层I_i，所有镜像层个数为n，I_i的使用次数N_i，I_i大小SZ_i，放置I_i的节点T_j硬盘读取速度L_j，节点T_j网络带宽速度B_j，CEPH内部文件寻址时间SAT，镜像拉取总时间为CT，表示为：

其中，CT越小，代表容器镜像下载速度越快。

如果最终放置失败，则输出对应原子镜像并返回错误。

本文方法引进CEPH作为容器镜像存储后端，由容器原生的带宽与单线程等限制策略提升为高并发、高可用策略，极大的提高了资源利用率。在此基础之上，对原生CEPH节点选择及资源部署策略进行优化，保证了使用频繁、复用率高的原子镜像拥有充足资源且拉取速度更快，最终降低了容器镜像的拉取时间。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于对象存储的容器镜像下载加速方法，其特征在于，具体包括以下步骤：

S1、获取原子镜像的使用频率、复用程度和原子镜像特性，并以此构建原子镜像权重模型；

S2、基于TOPSIS方法，根据剩余宽带、I/O负载、CPU利用率、内存利用率属性建立CEPH资源模型，根据CEPH资源模型计算每个节点资源总分；根据原子镜像权重模型计算每个原子镜像权重具体包括以下步骤：

S11、计算各个原子镜像的使用次数，并对使用次数进行归一化处理，获取原子镜像的频率参数；

S12、计算各个原子镜像的容器复用平均比率和类型复用平均比率，对两个平均比率进行线性加权融合，得到原子镜像复用程度；

S13、采用TOPSIS方法，根据原子镜像大小、容器实时性及容器业务重要程度，计算属性优先级比率；

S14、对原子镜像的频率参数、复用程度属性以及优先级比率进行加权求和，得到原子镜像的总分；

S3、根据原子镜像权重模型计算每个原子镜像权重，根据原子镜像权重的降序放置原子镜像；

S4、基于贪心算法，对该原子镜像进行节点放置选择，放置时节点资源总分越高放置原子镜像的优先级越高，根据节点存储能力能否满足原子镜像需求判断节点能否放置原子镜像；

S5、若能放置，则将该原子镜像存放到被选节点上，并记录该原子镜像与被选节点映射关系，并返回步骤S2，直到所有原子镜像放置完成；

S6、若不能放置，则从CEPH节点资源中去掉该被选节点，判断CEPH资源节点是否为空，如果不为空则跳转至步骤S4，如果为空，则表明所有节点都无法放置该原子镜像，则最终放置失败，结束流程。

2.根据权利要求1所述的一种基于对象存储的容器镜像下载加速方法，其特征在于，原子镜像的频率参数表示为：

其中，为原子镜像的频率参数；N_i为原子镜像的使用次数；μ_N为镜像层次数平均值；n为所有镜像层类型总数；/>为使用原子镜像I_i的镜像k所产生的容器；/>为容器/>的数量。

3.根据权利要求1所述的一种基于对象存储的容器镜像下载加速方法，其特征在于，原子镜像复用程度表示为：

其中，为原子镜像复用程度；/>为原子镜像的容器复用平均比率；/>为原子镜像的类型复用平均比率；α,β分别为容器复用频率和镜像类型复用比率的权重；n为所有镜像层类型总数；MN_i为原子镜像的容器复用比率，表示为/>N_i为原子镜像的使用次数，c为类型的数量；μ_MN为容器复用平均比率；MT_i为原子镜像的镜像类型复用比率，表示为/>T_i为原子镜像的镜像集合，Dc为所有镜像类型总数；μ_MT为类型复用平均比率。

4.根据权利要求1所述的一种基于对象存储的容器镜像下载加速方法，其特征在于，原子镜像的属性优先级比率的获取包括：

原子镜像大小根据镜像层大小确认优先级，镜像层越小优先级越高；

原子镜像容器实时性根据原子镜像容器类型确认优先级，其优先级分值为(0,10]左开右闭区间，默认优先级为5，警类容器优先级为10，日志收集类容器优先级为1；

原子镜像容器业务重要程度根据核心服务容器设置优先级，其优先级分值区间为(0,10]左开右闭区间，默认优先级为5，核心结账付费服务优先级为10，广告服务优先级为1；

根据上述三个属性构建原始数据矩阵，该矩阵中第i行、j列的元素表示第i个待评估的镜像层的第j个属性的属性值；

对原始数据矩阵中的属性进行指标属性同向化；

构造加权规范矩阵，并进行归一化处理，得到标准化的数据矩阵；

计算获取镜像层优先级最高方案以及镜像层优先级最低方案，分别计算各层数据与优先级最高方案、优先级最低方案的接近程度；

计算出各层与最优方案贴近程度，该贴近程度即为原子镜像的属性优先级比率。

5.根据权利要求1所述的一种基于对象存储的容器镜像下载加速方法，其特征在于，原子镜像的总分表示为：

其中，为原子镜像的总分；/>为原子镜像的频率参数；/>为原子镜像复用程度；/>为原子镜像的属性优先级比率；/>φ、ψ分别是/>的权重值。

6.根据权利要求1所述的一种基于对象存储的容器镜像下载加速方法，其特征在于，根据CEPH资源模型计算每个节点资源总分的过程包括：

S21、基于TOPSIS方法，构建OSD权重因子决策矩阵，矩阵中第i行、j列的元素为第i个节点的第j个属性的属性值；

S22、对OSD权重因子决策矩阵进行归一化处理，并为每个属性选择一个加权系数，获得规范化加权决策矩阵；

S23、计算规范化加权决策矩阵的正理想值和负理想值，并计算每个OSD节点到正理想解与负理想解的距离；

S24、根据每个OSD节点到正理想解与负理想解的距离计算每个OSD与最优OSD的相对贴近度，该相对贴近度即为每个节点资源总分。