CN109032757B - 一种基于云平台的系统框架自动部署时间优化方法 - Google Patents

Abstract

本发明公开了一种基于云平台的系统框架自动部署时间优化方法，它包括：步骤1、搭建虚拟机部署堆栈仓库；步骤2、对虚拟机部署堆栈进行自动转义；步骤3、对虚拟机部署处理过程进行优化并部署；步骤4、部署成功后版本进行存档；解决了现有技术中云编排技术，已实现云计算资源的生命周期管理、资源动态调整、自动化部署和配置，基本满足企业部署的需求，但是存在系统架构搭建时间久、架构迁移难度高、系统架构的管理效率低等问题。

Description

一种基于云平台的系统框架自动部署时间优化方法

技术领域

本发明属于云平台系统框架部署技术，尤其涉及一种基于云平台的系统框架自动部署时间优化方法。

背景技术

市场上常见的云编排解决方案厂商有Kubernetes，Docker Swarm，Apache Mesos/Mesosphere，以上技术市场占有率达80％。云编排技术在我国发展起步较晚，国内云编排技术基本能够满足业务多元化发展的需求、业务对实时大数据分析的需求、业务对端到端流程打通的需求、响应业务变化的需求。但是技术仍比较落后，存在架构构建耗时较长、架构迁移难度极高、管理效率低下、无法及时优化运维过程中的问题等一系列不足。因此在满足以上4个维度的需求下，形成一套快速、适用且安全的智能化云编排模型，满足业务人员或微应用开发者快速评估云平台需求，并进行智能化部署是目前云编排技术的研究热点。

目前云计算的发展正如火如茶的进行，国内外己经有许多云计算服务提供商，如亚马逊的AWS、IBM、Microsoft的Azure、惠普、思科、Google等国外巨头。国内厂商比如华为、中兴、浪潮、联想、青云、阿里云等也不甘落后，纷纷推出了云计算服务，各个云计算平台的竞争相当激烈。从应用云编排的角度来看，大多数提供应用编排的云计算平台都开发了适用于其平台自身的应用编排建模方案，没有一个业界统一的云计算标准架构，因此不同的云之间的代码无法复用，企业无法自由的在不同的云之间进行切换。如何更准确、更快速的自动交付用户所需要的一套云资源业务系统架构以及如何将现有的架构转化为一套可复制、可保存、可解读的代码架构，是目前业界和学术界发展的主要趋势。

云编排引擎是云计算时代不可或缺的服务，只有编排引擎才能让云上IaaS与业务真正自动化部署，根据自定义策略可以获得best practice部署方式，真正做到infrastructure as code部署方式，这是在传统的IT无法实现的梦想。现有的云编排技术，已实现云计算资源的生命周期管理、资源动态调整、自动化部署和配置，基本满足企业部署的需求，但是存在系统架构搭建时间久、架构迁移难度高、系统架构的管理效率低等问题。

发明内容：

本发明要解决的技术问题：提供一种基于云平台的系统框架自动部署时间优化方法，以解决现有技术中云编排技术，已实现云计算资源的生命周期管理、资源动态调整、自动化部署和配置，基本满足企业部署的需求，但是存在系统架构搭建时间久、架构迁移难度高、系统架构的管理效率低等问题。

本发明技术方案：

一种基于云平台的系统框架自动部署时间优化方法，它包括：

步骤1、搭建虚拟机部署堆栈仓库；

步骤2、对虚拟机部署堆栈进行自动转义；

步骤3、对虚拟机部署处理过程进行优化并部署；

步骤4、部署成功后版本进行存档。

步骤1所述搭建虚拟机部署堆栈仓库的方法包括：

步骤1.1、硬件配置，采集私有云平台以及公有云平台资源容量定义规格大小，并设置规格包含如下属性：云平台、CPU核数、内存大小、存储模式、存储容量、网卡数量、网卡初始设置模式、启动优化顺序、Windows初始化硬件配置参数和Linux初始化硬件配置参数；

步骤1.2、软件配置，定义出镜像仓库，并将镜像设置为如下属性：云平台、操作系统发行版本、操作系统大类别、初始化软件版本和软件执行自动化脚本入参；

步骤1.3、网络配置，定义自有区域仓库，并将区域设置如下属性：云平台、区域划分模式、路由表、子网和IP池；

步骤1.4、安全配置，定义安全策略仓库，并将安全策略设置如下属性：等保等级、策略类型、补丁执行模式和基线检查执行模式。

步骤3对虚拟机部署处理过程进行优化包括：

步骤3.1、任务部署最佳路径计算；

步骤3.2、任务部署排版；

步骤3.3、任务部署细粒度切割；

步骤3.4、日志记录跟踪。

任务部署最佳路径计算包括服务器的部署路径计算和存储位置的部署路径计算；所述服务器的部署路径计算包括vCPU容量以及内存容量计算；vCPU容量最佳部署路径和内存容量最佳部署路径的交集为服务器部署路径，根据存储位置的部署路径计算结果取剩余容量最多的存储位置作为存储位置的部署路径。

内存容量计算公式为：

Mem_HostDeploy＝Min(Host1[Mem_Total-Mem_Rel],HostN[Mem_Total-Mem_Rel])

式中：Mem_HostDeploy说明部署最佳内存选择服务器，HostN说明部署采样，Mem_Total为采样计算集群内存容量总数，Mem_Rel为采样计算集群预留内存容量。

本发明的有益效果：

本发明将以前传统IT所需4-12周期部署时间缩短至分钟级便可实现完整的部署，同时在部署前，对部署的资源进行成本、安全、合规的规范，有效减少后期运维的时间，做到资源生命周期可控，让企业的业务开发人员全力投入业务创新，增加企业竞争力，而非把时间浪费在基础设施的采购和部署上；解决了现有技术中云编排技术，已实现云计算资源的生命周期管理、资源动态调整、自动化部署和配置，基本满足企业部署的需求，但是存在系统架构搭建时间久、架构迁移难度高、系统架构的管理效率低等问题。

具体实施方式：

为了便于本领域技术人员进一步了解本发明技术方案，下面对其进行详细说明：

虚拟机部署堆栈仓库搭建

异构环境下虚拟机配置结构的转化，实现一套部署模板，多个不同的云平台都能够进行同样配置的部署，需要得出虚拟机模板仓库公共的部分，本发明采集现场信息经过归纳后总结出来公共属性包含有一台虚拟机里有：硬件配置、软件配置、网络配置、安全配置四大部分；

A.硬件配置包含如下内容：vCPU核数、内存容量、磁盘存储容量、显卡容量、网卡数量、光盘挂载、引导启动项、BIOS适应性参数设置。

B.软件配置包含如下内容：操作系统类别(Linux or Windows)、操作系统发行版本、镜像、初始化软件、初始化操作。

C.网络配置包含如下内容：IP地址、子网掩码、网关、DNS、主机名、挂载模式、网络混杂模式。

D.安全配置包含如下内容：ACL策略、病毒防护策略、补丁策略、安全组策略、基线配置策略、容灾策略、业务不中断策略、资源负载策略。

而虚拟机模板仓库不单指存入一个虚拟机镜像，还必须为即将推送的虚拟机设置以上四大类别的各种属性，满足编排引擎在进行资源转换调度的时候，进行相应的填充。

而不同云平台，我们可以使用的资源转换方式总结如下：

提取出下述公共部分，作为本发明的虚拟机堆栈仓库：

1.硬件配置部分，我们定义出规格仓库，根据私有云平台以及公有云平台资源容量定义规格大小，并设置规格包含如下属性：云平台、CPU核数、内存大小、存储模式、存储容量、网卡数量、网卡初始设置模式、启动优化顺序、Windows初始化硬件配置参数、Linux初始化硬件配置参数；

2.软件配置部分，我们定义出镜像仓库，并将镜像设置有如下属性：云平台、操作系统发行版本、操作系统大类别、初始化软件版本、软件执行自动化脚本入参；

3.网络配置部分，我们定义自有区域仓库，并将区域设置有如下属性：云平台、区域划分模式、路由表、子网、IP池；

4.安全配置部分，我们定义安全策略仓库，并将安全策略设置有如下属性：等保等级、策略类型、补丁执行模式、基线检查执行模式。那么，我们如何来组装一个需要推送出去的虚拟机堆栈？

拼装模式即硬件配置+软件配置+网络配置+安全配置＝虚拟机部署堆栈，我们会用属性命中的方式，当用户填入他们需求的技术参数，我们就按照命中的属性，对应在四大仓库里抽取相应的模板进行拼合。虚拟机部署堆栈的自动转义

基于以上搭建，在用户进行对应云平台的选择的时候，编排引擎根据用户需求的技术属性，在仓库里命中部署模板。

如用户需要一个RedHat 6.5预装MySQL，跑在私有云平台vSphere之上，且选用的规格为t1.small(vCPU 2、内存4G、本地存储100G、网卡数量1)类型，网络配置为DMZ模式、安全等级为2级。根据以上提到的属性，编排引擎会自动在四大仓库里抽取相应的资源，拼装为一个可部署的虚拟机部署堆栈。该堆栈，即已经指向了vSphere云平台，所以在进行网络配置以及安全配置的抽取的时候，会选用NSX自动部署堆栈内容。假如，用户选择的是Amazon Web Service公有云云平台，编排引擎在做抽取的时候，会将VPC的自动部署堆栈内容抽取并拼装进部署堆栈里。

所以，预制四大模板仓库，使我们在响应部署的时候，人为思考过程缩短了将近3分之2，由仓库根据用户的技术需求去命中并推送相应的部署堆栈，此部分缩减了一定的部署时间。

虚拟机部署处理机制优化

虚拟机部署失败处理机制可分为4个过程去进行优化：

A.任务部署最佳路径计算

私有云平台存在容量上限的问题，所以在进行部署任务之前，会先进行最佳路径的计算，以达到部署性能的最优，计算部署路径，分为两个部分的计算，第一个部分为计算服务器的部署路径算法：计算资源计算对象为vCPU以及内存两种，第二部分为存储位置的部署路径算法。

第一部分

vCPU容量计算

我们采用以下示例来说明其关系

服务器CPU信息：

1台R2288H V3，2个CPU，10核，超线程为2。总共2x10x2＝40个thread，每个Thread2.3GHz。

Haswell EP CPU 02311CDJ BC1M12CPU X86

series,2300**z,1.8V,64bit,105000mW,Haswell EP Xeon E5-2650v3,10Core,with heatsink 2 2

服务器BMC管理界面上查看CPU信息

Intel官网看到E5-2650的信息

在主机上部署FusionCompute R5C00，登录CNA主机运行xentop命令查看CPU信息

CPUs:40@2294**z，主频总容量为40x 2.294GHz＝91.76GHz。

Domain 0默认配置2个VCPU，占用2x 2.294＝4.588GHz

用户可用的主频总容量＝91.76-4.588＝87.172GHz

FC portal上查看CPU信息，总容量87.17GHz正好等于系统总容量减去Domain 0占用的容量。

结论：系统可用的vCPU总数(逻辑处理器)＝Socket数(CPU个数)x Core数(内核)xThread数(超线程)

1个vCPU＝1个超线程Thread。

所以，我们在引入计算服务器部署最佳路径的时候，我们会将已经在运行的各个计算服务器vCPU拿出来，并计算最大容量，最优位置即为已用较少的计算服务器，采用公式CPU_HostDeploy＝Min(Host1[vCPU_Total-vCPU_Running],HostN[vCPU_Total-vCPU_Running])，其中CPU_HostDeploy说明部署最佳CPU选择服务器，HostN说明部署采样，vCPU_Total为采样计算集群总vCPU数量，可以用公式vCPU总数(逻辑处理器)＝Socket数(CPU个数)x Core数(内核)x Thread数(超线程)计算，而vCPU_Running为编排引擎记录值。

内存容量计算

内存为实际计算资源服务器物理内存的使用，因为不存在计算集群池化之后，能跨服务器进行虚拟机内存调用，所以内存容量的计算方式为：

Mem_HostDeploy＝Min(Host1[Mem_Total-Mem_Rel],HostN[Mem_Total-Mem_Rel])，其中Mem_HostDeploy说明部署最佳内存选择服务器，HostN说明部署采样，Mem_Total为采样计算集群内存容量总数，Mem_Rel为采样计算集群预留内存容量。

第二部分

存储容量计算

存放虚拟机之后生成的文件的数据存储路径，优先选择条件为该虚拟机软件需要识别的存储格式，而第二层选择为剩余容量最多的数据存储，所以该部分的计算公式为Storage_DataStoreDeploy＝Min(DataStore1[Storage_Total-Storage_Use],DataStoreN[Storage_Total-Storage_Use])，其中Storage_DataStoreDeploy说明部署最佳存储选择数据存储，DataStoreN说明部署采样，Storage_Total为采样数据存储容量总数，Storage_Use为采样数据存储已用容量。

结论：A部分最后的最佳部署路径，服务器路径的选择为vCPU容量最佳部署路径和内存容量最佳部署路径的交集，而存储取剩余容量最多的即可。

B.任务部署排版

一个部署堆栈，可以由不止一台虚拟机自动部署来构成，所以部署除了四个仓库模板的部署顺序排序之外，还包含虚拟机之间依赖关系的排版，以及软件部署优先级顺序的决定，而无依赖关系的虚拟机，则可以直接进行并发部署提交。

部署逻辑关系为：

读取软件间依赖关系，优先级最高，先进行虚拟机硬件创建→虚拟机镜像克隆→虚拟机网络关系设置→虚拟机软件部署→虚拟机安全设置。

而优先级同级，则同时走以上部署流程，直至将虚拟机全部部署完毕。此部分，在排除依赖关系部署的前提下，将同个优先级层次的虚拟机进行并发执行，达到了优化部署时间的效果。

C.任务部署细粒度切割

任务堆栈在经过最佳路径计算以及排版之后，会被切割能够进行独立部署的堆栈，小堆栈之间只存在部署的优先层次，所以每当其中某个被切割的小堆栈发生了部署失败的情况之后，第一，会自动回滚当前部署失败的堆栈，但是不回滚在该堆栈之前已经部署成功的部分；第二，自动记录下该小堆栈的详细部署信息，反馈至用户，并且根据用户调整之后的小堆栈，能再一次进行部署任务的执行。

此部分，在任务部署过程当中某些小堆栈部署失败之后，能进行修改并续接，不回滚创建成功的资源，区别于类似AWS CloudFomation之类的部署引擎，失败全部删除。大大缩减部署失败重试的时间。

D.日志记录跟踪

所有部署过程均记录下日志，整体失败或者部分失败之后都能进行原因排查。

部署成功版本存档

当走完整个自动部署流程并且成功部署之后，会将该堆栈存入数据库，并为其设置堆栈属性、用户属性以及部署版本属性，当该用户下次在进行相同命中属性的部署选择之后，会为用户推荐以前部署成功的堆栈版本。

Claims (2)

1.一种基于云平台的系统框架自动部署时间优化方法，它包括：

步骤1、搭建虚拟机部署堆栈仓库；

步骤1所述搭建虚拟机部署堆栈仓库的方法包括：

步骤1.1、硬件配置，采集私有云平台以及公有云平台资源容量定义规格大小，并设置规格包含如下属性：云平台、CPU核数、内存大小、存储模式、存储容量、网卡数量、网卡初始设置模式、启动优化顺序、Windows初始化硬件配置参数和Linux初始化硬件配置参数；

步骤1.2、软件配置，定义出镜像仓库，并将镜像设置为如下属性：云平台、操作系统发行版本、操作系统大类别、初始化软件版本和软件执行自动化脚本入参；

步骤1.3、网络配置，定义自有区域仓库，并将区域设置如下属性：云平台、区域划分模式、路由表、子网和IP池；

步骤1.4、安全配置，定义安全策略仓库，并将安全策略设置如下属性：等保等级、策略类型、补丁执行模式和基线检查执行模式；

步骤2、对虚拟机部署堆栈进行自动转义；

所述自动转义的的方法为：

步骤2.1、硬件配置部分，定义出规格仓库，根据私有云平台以及公有云平台资源容量定义规格大小，并设置规格包含如下属性：云平台、CPU核数、内存大小、存储模式、存储容量、网卡数量、网卡初始设置模式、启动优化顺序、Windows初始化硬件配置参数和Linux初始化硬件配置参数；

步骤2.2、软件配置部分，定义出镜像仓库，并将镜像设置有如下属性：云平台、操作系统发行版本、操作系统大类别、初始化软件版本和软件执行自动化脚本入参；

步骤2.3、网络配置部分，定义自有区域仓库，并将区域设置有如下属性：云平台、区域划分模式、路由表、子网和IP池；

步骤2.4、安全配置部分，定义安全策略仓库，并将安全策略设置有如下属性：等保等级、策略类型、补丁执行模式和基线检查执行模式；

步骤2.5、拼装模式，即硬件配置+软件配置+网络配置+安全配置＝虚拟机部署堆栈，用属性命中的方式，当用户填入需求的技术参数，按照命中的属性，对应在四大仓库里抽取相应的模板进行拼合；

基于上述搭建，在用户进行对应云平台的选择的时候，编排引擎根据用户需求的技术属性，在仓库里命中部署模板；

步骤3、对虚拟机部署处理过程进行优化并部署；

步骤3对虚拟机部署处理过程进行优化包括：

步骤3.1、任务部署最佳路径计算；

所述任务部署最佳路径计算包括服务器的部署路径计算和存储位置的部署路径计算；所述服务器的部署路径计算包括vCPU容量以及内存容量计算；vCPU容量最佳部署路径和内存容量最佳部署路径的交集为服务器部署路径，根据存储位置的部署路径计算结果取剩余容量最多的存储位置作为存储位置的部署路径；

步骤3.2、任务部署排版；

所述部署排版的方法为：除了四个仓库模板的部署顺序排序之外，还包含虚拟机之间依赖关系的排版，以及软件部署优先级顺序的决定，而无依赖关系的虚拟机，则直接进行并发部署提交；

部署逻辑关系为：

读取软件间依赖关系，优先级最高，先进行虚拟机硬件创建→虚拟机镜像克隆→虚拟机网络关系设置→虚拟机软件部署→虚拟机安全设置；而优先级同级，则同时走以上部署流程，直至将虚拟机全部部署完毕；

步骤3.3、任务部署细粒度切割；

任务部署细粒度切割的方法为：任务堆栈在经过最佳路径计算以及排版之后被切割能够进行独立部署的堆栈，小堆栈之间只存在部署的优先层次，所以每当其中某个被切割的小堆栈发生了部署失败的情况之后，第一，会自动回滚当前部署失败的堆栈，但是不回滚在该堆栈之前已经部署成功的部分；第二，自动记录下该小堆栈的详细部署信息，反馈至用户，并且根据用户调整之后的小堆栈，能再一次进行部署任务的执行；

步骤3.4、日志记录跟踪；

步骤4、部署成功后版本进行存档。

2.据权利要求1所述的一种基于云平台的系统框架自动部署时间优化方法，其特征在于：内存容量计算公式为：

Mem_HostDeploy＝Min(Host1[Mem_Total-Mem_Rel],HostN[Mem_Total-Mem_Rel])

式中：Mem_HostDeploy说明部署最佳内存选择服务器，HostN说明部署采样，Mem_Total为采样计算集群内存容量总数，Mem_Rel为采样计算集群预留内存容量。