CN112416369B

CN112416369B - 一种面向异构混合环境的智能化部署方法

Info

Publication number: CN112416369B
Application number: CN202011366095.0A
Authority: CN
Inventors: 陶家顺; 刘亮; 岳才杰; 张超; 王文生
Original assignee: Suzhou Research Institute Institute Of Electronics Chinese Academy Of Sciences
Current assignee: Suzhou Research Institute Institute Of Electronics Chinese Academy Of Sciences
Priority date: 2020-11-29
Filing date: 2020-11-29
Publication date: 2022-11-29
Anticipated expiration: 2040-11-29
Also published as: CN112416369A

Abstract

本发明提出了一种面向异构混合环境的智能化部署方法，对部署目标设备进行抽象建模，将部署目标设备的环境信息，包括硬件信息和软件信息，以及应用系统依赖项、应用系统配置项和应用系统集中存储管理；根据第一阶段管理的应用系统配置项信息和部署目标设备环境信息，训练智能决策算法模型，为待部署应用系统进行智能适配，得到应用系统在目标设备正常运行所需的依赖项和配置项；根据第二阶段的适配结果，完成软件服务的打包，并进行统一存储管理；基于打包的软件服务以及部署目标设备的硬件信息，完成部署配置，实现应用系统的自动化部署。本发明解决了现有技术中应用系统配置项管理混乱、部署能力以及适配能力不足等问题，提高了产品发布的效率以及成功率。

Description

一种面向异构混合环境的智能化部署方法

技术领域

本发明涉及软件工程中的软件持续部署领域，具体涉及一种面向异构混合环境的智能化部署方法。

背景技术

随着持续集成与持续部署的发展与普及，越来越多的企业将其用到产品的生产过程。再者，由于软件本身规模的发展和其开发、测试、部署等环境的需求，使得软件环境越来复杂、差异性大，软件和环境之间存在强关联关系，环境难以统一、软件部署越来越困难，软件的持续部署逐渐成为企业亟需解决的问题。传统软件发布机制是通过人为手工操作或者半自动化手段，将软件部署到目标机器中。部署过程中人为参与的工作量大，容易发生人为错误，这样的发布方法不能满足软件快速迭代中，频繁发布的需求。另外，在面对不同操作系统、软件以及硬件组成异构混合环境中，缺乏一种有效的部署方法。

丘晖(丘晖.基于容器的持续集成和部署方法研究[J].广东通信技术,2017,037(010):62-66.)提出一种持续集成与部署方法，将容器技术融入持续集成部署中去，构建持续集成部署流程,以提高软件部署。马克明(马克明.环境部署装置和环境部署方法[P].北京：CN102222001A,2011-10-19.)提供一种环境部署装置和一种环境方法，通过设置参数和部署脚本，实现软件的自动化部署。严永福；黄花(严永福,黄花.云计算环境下的软件部署方法和装置[P].广东：CN104317642A,2015-01-28.)提供一种云计算环境下的软件部署方法,通过在云计算服务器中创建应用模板，结合应用部署编排，完成软件部署，提高云计算环境下的软件部署效率。

然而，上述方法存在一定的问题：(1)容器技术虽然在一定程度能够解决软件自动化部署问题，但缺乏环境及依赖的管理。(2)缺乏环境适应性考虑，没有对目标环境进行初始检测，会导致部署冲突或失败问题。(3)缺乏硬件环境考虑，没有对CPU、内存、磁盘等资源进行部署统一管理，使得软件在不同的硬件环境中部署失败或者不能正常运行。

发明内容

本发明的目的在于提出一种面向异构混合环境的智能化部署方法，解决现有技术中应用系统配置项管理混乱、部署能力以及适配能力不足等问题，提高产品发布的效率以及成功率。

实现本发明目的的技术解决方案为：一种面向异构混合环境的智能化部署方法，具体如下：

第一阶段：部署环境的管理

对部署目标设备进行抽象建模，将部署目标设备的环境信息，包括硬件信息和软件信息，以及应用系统依赖项、应用系统配置项和应用系统集中存储管理；

第二阶段：智能适配

根据第一阶段管理的应用系统配置项信息和部署目标设备环境信息，训练智能决策算法模型，为待部署应用系统进行智能适配，得到应用系统在目标设备正常运行所需的依赖项和配置项；

第三阶段：服务打包

根据第二阶段的适配结果，完成软件服务的打包，并进行统一存储管理；

第四阶段：自动化部署

基于打包的软件服务以及部署目标设备的硬件信息，完成部署配置，实现应用系统的自动化部署。

进一步的，第一阶段中，对部署目标设备进行抽象建模，将部署目标设备硬件信息、部署目标设备软件信息、应用系统依赖项、应用系统配置项和应用系统集中存储管理，具体方法为：

1.1部署目标设备抽象建模

通过Rancher中间件对部署目标设备硬件信息进行抽象建模，提取出物理机、虚拟机、云主机这些基础设施的共有属性，将这些属性组建成一个具有CPU、内存、磁盘以及网络的数据模型，屏蔽各种形态的底层资源，并通过扫描服务，扫描部署目标设备环境信息，从扫描结果中提取操作系统类型、环境变量信息以及中间件，并将提取的信息进行统一存储管理；

1.2应用系统依赖项管理

对于应用系统依赖项，基于Nexus中间件REST接口进行二次开发，实现应用系统依赖项的上传、下载、浏览这些功能，完成应用系统依赖项存储管理；

1.3应用系统配置项管理

通过版本控制技术，将应用系统所有的配置项统一放入仓库中，把它们看作源代码的一部分，用Git或者SVN工具进行统一的存储管理。

进一步的，第二阶段中，根据第一阶段管理的应用系统配置项信息和部署目标设备环境信息，训练智能决策算法模型，为待部署应用系统进行智能适配，得到应用系统在目标设备正常运行所需的依赖项和配置项，具体方法为：

2.1智能适配部署规范化描述

为了应用系统部署需要结合目标设备的环境信息和部署应用系统的配置项信息，对部署应用系统和目标设备环境进行规范化描述，其中部署应用系统通过应用系统描述模型行进行规范化描述，应用系统描述模型主要包括应用系统的名称和版本基本信息、开发语言以及框架信息、应用系统依赖项信息；目标设备环境通过部署目标设备的软硬件信息进行规范化描述；

2.2目标设备部署环境扫描

基于扫描服务，扫描目标设备，获取目标设备环境信息，包括软件信息和硬件信息，由于目标设备的软硬件信息差别较大，并且目标设备信息的获取方式在不同的操作系统的平台下存在很大差异，因此，采用服务代理的方式获取目标设备的环境信息，代理为目标信息获取提供统一的接口，屏蔽各操作系统平台获取目标接口的差异；基于应用系统部署需求和应用系统描述模型，分析应用系统部署所需要的部署环境和目标设备具备的部署环境，得到应用系统依赖项和环境部署约束，以及无冲突应用系统安装序列和服务化部署单元清单，进而确定数据需求清单、服务需求清单及软件需求清单；

2.3目标环境智能适配部署

基于目标设备部署环境扫描和应用系统分析得到的数据，首先进行缺失值处理、错误值处理、规整分类标签处理这些预处理操作，接着基于CART分类树算法进行智能适配部署模型训练，使得应用系统的部署环境需求和目标设备部署环境扫描结果的差异最小化，然后把智能适配部署模型运用到部署流程中实现智能适配功能，获取应用系统在目标设备正常运行所需的依赖项和配置项。

进一步的，第三阶段中，根据第二阶段的适配结果，完成软件服务的打包，并进行统一存储管理，具体方法为：智能适配的结果推送到服务打包层进行打包操作，服务打包层提供应用系统镜像打包功能，从第一阶段管理的信息中提取应用系统依赖项和配置项，将这些信息整合到一起，构建得到应用系统镜像，并将应用系统镜像和第一阶段部署环境管理的信息统一存储。

一种面向异构混合环境的智能化部署系统，基于所述的方法进行面向异构混合环境的智能化部署，包括：

部署环境管理模块，用于对部署目标设备进行抽象建模，将部署目标设备的环境信息，包括硬件信息和软件信息，以及应用系统依赖项、应用系统配置项和应用系统集中存储管理；

智能适配模块，用于根据部署环境管理模块管理的应用系统配置项信息和部署目标设备环境信息，训练智能决策算法模型，为待部署应用系统进行智能适配，得到应用系统在目标设备正常运行所需的依赖项和配置项；

服务打包模块，用于根据智能适配模块的适配结果，完成软件服务的打包，并进行统一存储管理；

自动化部署模块，用于基于打包的软件服务以及部署目标设备的硬件信息，完成部署配置，实现应用系统的自动化部署。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的方法进行面向异构混合环境的智能化部署。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法进行面向异构混合环境的智能化部署。

本发明与现有技术相比，其显著优点为：1)实现了一套完整的软件持续部署框架，解决了软件部署过程中配置管理混乱、部署能力以及适配能力不足等问题。2)支持不同操作系统、软件以及硬件形态组成的异构混合环境的部署。3)自动完成软件运行环境的安装、配置。4)实现了一次配置，多次自动部署功能。从而提高了软件部署的效率，节约软件开发成本。

附图说明

图1为本发明的整体框架图；

图2为本发明的部署环境管理结构图；

图3为本发明的环境智能适配流程图；

图4是基于决策树的智能适配算法流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本发明的整体框架包括部署环境的管理、智能适配、服务打包以及自动化部署四个阶段(如图1所示)。第一个阶段是部署环境的管理，该阶段对部署目标设备进行抽象建模，将部署目标设备硬件信息、部署目标设备软件信息、应用系统依赖项、应用系统配置项和应用系统集中存储管理；第二个阶段是智能适配，包括特征提取、模型训练和模型运用三个步骤。该阶段以第一阶段管理的软件框架、开发语言等应用系统配置项信息和部署目标设备的环境信息为输入，通过模型训练得到的智能决策算法模型，为应用系统的部署进行智能适配，得到决策结果：应用系统在目标设备正常运行所需的依赖项和配置项；第三个阶段是服务打包，根据第二阶段的决策结果从第一阶段管理信息中提取应用系统依赖项和配置项，完成软件服务的打包，并进行统一管理，供后续使用；第四个阶段是自动化部署，该阶段基于打包的服务包以及部署目标设备硬件信息，完成部署配置，实现应用系统的自动化部署。

1.部署环境的管理

部署环境的管理作为部署框架的基础，是后继三个阶段的输入，统一管理部署过程中的环境。整合了部署目标设备软硬件信息管理、应用系统依赖项管理、应用系统配置项管理以及应用系统管理，从而实现了部署环境的存储管理，为持续部署提供底层支撑。

1.1部署目标设备抽象建模

针对部署环境面临的异构混合环境问题，通过Rancher中间件对部署目标设备硬件信息进行抽象建模。如图2所示，主要通过抽象方法，提取出物理机、虚拟机、云主机等基础设施的共有属性，将这些属性组建成一个具有CPU、内存、磁盘以及网络的数据模型，屏蔽了各种形态的底层资源，从而拥有对部署目标设备的管理能力，管理具有CPU、内存、本地磁盘和网络资源的部署目标设备。部署目标设备可以是虚拟机、物理机以及云主机；通过扫描服务，扫描部署目标设备环境，包括软件和硬件信息，从扫描结果中提取操作系统类型、环境变量信息以及中间件等部署目标设备环境信息，并将提取的信息进行统一存储管理。

1.2应用系统依赖项管理

对于应用系统依赖项，基于Nexus中间件REST接口进行二次开发，实现应用系统依赖项的上传、下载、浏览等功能，并向上提供了统一的应用系统依赖项管理界面，方便用户直观使用查询，获取以及上传更新等服务。

1.3应用系统配置项管理

针对应用系统配置项混乱问题，基于版本控制技术实现了应用系统配置项的管理。通过版本控制技术，将应用系统所有的配置项统一放入仓库中，把它们看作源代码的一部分，用Git或者SVN工具进行统一的管理。这样可以追溯到应用系统配置项的变更与操作记录，解决应用系统配置项混乱问题。

2.智能适配

应用系统部署需要结合目标设备的信息和部署应用系统的配置项信息。从目标设备信息中提取目标设备部署环境情况，从部署应用系统配置项中提取应用系统部署需求。如图3所示，基于规范化软件描述语言，结合目标设备的部署环境，将第一阶段扫描得到的目标设备部署环境信息与应用系统部署需求对比，构建差异列表，基于差异列表自动对应用系统部署过程进行匹配和调整，最后得出部署环境适配解决方案。该技术通过CART分类树算法实现部署环境的自动调整，将应用系统部署需求与目标设备部署环境匹配分析，在适配算法的决策支持下，得到应用系统部署到目标设备最佳的部署环境适配方案。具体包括以下几个环节：

2.1智能适配部署规范化描述

部署应用系统通过应用系统描述模型行进行规范化描述，所述应用系统描述模型主要包括应用系统的名称和版本基本信息、开发语言以及框架信息、应用系统依赖项信息；部署目标设备环境通过部署目标设备的软硬件信息进行规范化描述。

2.2目标设备部署环境扫描

基于扫描服务，扫描部署目标设备，获取部署目标设备环境信息。由于部署目标设备的软硬件信息差别较大，并且部署目标设备信息的获取方式在不同的操作系统的平台下存在很大差异。因此，采用服务代理的方式获取部署目标信息，代理为部署目标信息获取提供统一的接口，通过代理获取部署目标设备的硬件信息、软件信息，屏蔽各操作系统平台获取目标接口的差异。然后，基于应用系统部署需求和应用系统描述模型，分析应用系统部署所需要的部署环境和目标设备具备的部署环境，得到应用系统依赖项和环境部署约束等信息，以及无冲突应用系统安装序列和服务化部署单元清单，依据扫描分析结果得到扫描分析数据(包括数据需求清单、服务需求清单及软件需求清单等)。

2.3目标环境智能适配部署

基于目标设备部署环境扫描和应用系统分析得到的扫描分析数据，对扫描分析的数据进行缺失值处理、错误值处理、规整分类标签处理等预处理操作，接着基于CART分类树算法进行大规模训练，得到智能适配部署模型。然后对智能适配部署模型进行评估，最后把经过验证的智能适配部署模型运用到部署流程中，实现智能适配功能。该算法建立在目标设备部署环境适扫描和应用系统分析的基础上，首先基于应用系统的部署环境需求和目标设备部署环境扫描结果的差异，自动调整应用系统部署策略，选择合适的部署环境适配方案，其中基于决策树的智能适配算法如图4所示，主要包含以下过程：

2.3.1收集数据：基于扫描服务收集部署目标设备环境信息，通过应用系统配置项分析应用系统，得到应用系统部署的环境需求信息。

2.3.2准备数据：将应用系统部署的环境需求信息与对应的目标设备环境信息聚合，得到部署适配数据集。

2.3.3数据预处理：将部署适配数据集按照特征、标签的规则进行整理，接着对数据集进行缺失值处理、错误值处理、规整分类标签处理等预处理操作。最后将部署适配数据集分为训练数据集和验证数据集。

2.3.4训练算法：构造部署适配的决策树数据结构，使用训练数据集进行训练，训练结束后得到智能适配算法模型。训练智能适配算法模型的原理和步骤如下所示：

CART分类树算法使用基尼系数来代表信息的纯度，基尼系数越小，数据纯度越高，特征越好。假设部署方案数据集D有n个类别，则数据集D的纯度可用基尼值来度量：

其中，P(x_i)是分类x_i出现的概率，n是分类的数目。Gini(D)反映了从数据集D中随机抽取两个样本，其类别标记不一致的概率。因此，Gini(D)越小，则数据集D的纯度越高。

如果样本D根据某个特征a被分割为D₁,D₂…D_n n个部分，则其基尼指数为：

基尼指数Gini(D,a)表示特征a下样本D的基尼系数，基尼指数值越大，样本集合的不确定性也就越大。在特征选取中，基于公式(II)优先选择基尼指数最小的属性作为优先划分属性。

算法输入是训练集D，基尼系数的阈值，样本个数阈值，输出是决策树T。算法从根节点开始，用训练集递归的建立CART树。基于以上理论，构造决策树的步骤为：

1)对于当前节点的部署适配数据集为D，如果样本个数小于阈值或者没有特征，则返回决策子树，当前节点停止递归。

2)根据公式(I)计算部署适配数据集D的基尼系数，如果基尼系数小于阈值，则返回决策树子树，当前节点停止递归。

3)根据公式(II)计算当前节点现有的各个特征的各个特征值对部署适配数据集D的基尼系数。

4)计算出来的各个特征的各个特征值对部署适配数据集D的基尼系数中，选择基尼系数最小的特征A和对应的特征值a。根据这个最优特征和最优特征值，把部署适配数据集划分成两部分D1和D2，同时建立当前节点的左右节点，左节点的部署适配数据集D为D1，右节点的部署适配数据集D为D2。

5)对左右的子节点递归的调用1至4步，生成决策树，得到智能适配模型。

2.3.5测试算法：使用训练好的决策树计算错误率，对得到的适配模型进行评估。

2.3.6使用算法：把经过验证的模型运用与部署流程中。

3.服务打包

智能适配的结果推送到服务打包层进行打包操作，服务打包层提供应用系统镜像打包功能。根据智能适配推荐的结果，从第一阶段管理的部署环境获取应用系统部署需要的应用系统配置项以及应用系统依赖项，将这些信息整合到一起，构建得到应用系统镜像。最后将应用系统镜像传输到第一阶段部署环境仓库中，进行统一存储管理。

4.自动化部署

应用系统的自动化部署基于流水线技术，从部署环境中获取第三阶段打好的镜像，自动将镜像部署到目标设备上，实现应用系统部署过程的自动化，同时将应用系统部署过程和应用系统部署结果实时展现给用户。

实施例

为了验证本发明方案的有效性，进行如下仿真实验，实现异构环境资源的统一管理和配置，实现软件的智能化适配，具体运作步骤如下：

(1)需要用户配置部署参数，为项目打包做准备。需要配置参数有：部署方式，譬如在线部署或离线部署、是在线部署的话还要输入目标机器IP地址、部署方式等。

(2)整合用户输入的参数信息以及目标环境扫描结果信息，将整合的结果注入训练好的智能适配模型中，得到推荐的部署方案，接着将推荐方案反馈给用户、辅助用户进一步做部署决策。

(3)完成配置后、触发打包操作，将生成的软件包、镜像存入仓库中，供下一步使用。

(4)从仓库取出镜像、软件包，将镜像、软件包部署到目标环境。

(5)将部署的结果反馈给用户，形成闭环，完成一次部署操作。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种面向异构混合环境的智能化部署方法，其特征在于，具体如下：

第一阶段：部署环境的管理

对部署目标设备进行抽象建模，将部署目标设备的环境信息，包括硬件信息和软件信息，以及应用系统依赖项、应用系统配置项集中存储管理；

第二阶段：智能适配

第三阶段：服务打包

第四阶段：自动化部署

2.根据权利要求1所述的面向异构混合环境的智能化部署方法，其特征在于，第一阶段中，对部署目标设备进行抽象建模，将部署目标设备硬件信息、部署目标设备软件信息、应用系统依赖项、应用系统配置项集中存储管理，具体方法为：

1.1部署目标设备抽象建模

1.2应用系统依赖项管理

1.3应用系统配置项管理

3.根据权利要求1所述的面向异构混合环境的智能化部署方法，其特征在于，第二阶段中，根据第一阶段管理的应用系统配置项信息和部署目标设备环境信息，训练智能决策算法模型，为待部署应用系统进行智能适配，得到应用系统在目标设备正常运行所需的依赖项和配置项，具体方法为：

2.1智能适配部署规范化描述

为了应用系统部署需要结合目标设备的环境信息和部署应用系统的配置项信息，对部署应用系统和目标设备环境进行规范化描述，其中部署应用系统通过应用系统描述模型进行规范化描述，应用系统描述模型主要包括应用系统的名称和版本基本信息、开发语言以及框架信息、应用系统依赖项信息；目标设备环境通过部署目标设备的软硬件信息进行规范化描述；

2.2目标设备部署环境扫描

基于扫描服务，扫描目标设备，获取目标设备环境信息，包括软件信息和硬件信息，采用服务代理的方式获取目标设备的环境信息，代理为目标设备环境信息获取提供统一的接口，屏蔽各操作系统平台获取目标接口的差异；基于应用系统部署需求和应用系统描述模型，分析应用系统部署所需要的部署环境和目标设备具备的部署环境，得到应用系统依赖项和环境部署约束，以及无冲突应用系统安装序列和服务化部署单元清单，进而确定数据需求清单、服务需求清单及软件需求清单；

2.3目标环境智能适配部署

4.根据权利要求1所述的面向异构混合环境的智能化部署方法，其特征在于，第三阶段中，根据第二阶段的适配结果，完成软件服务的打包，并进行统一存储管理，具体方法为：智能适配的结果推送到服务打包层进行打包操作，服务打包层提供应用系统镜像打包功能，从第一阶段管理的信息中提取应用系统依赖项和配置项，将这些信息整合到一起，构建得到应用系统镜像，并将应用系统镜像和第一阶段部署环境管理的信息统一存储。

5.一种面向异构混合环境的智能化部署系统，其特征在于，基于权利要求1-4任一项所述的方法进行面向异构混合环境的智能化部署，包括：

部署环境管理模块，用于对部署目标设备进行抽象建模，将部署目标设备的环境信息，包括硬件信息和软件信息，以及应用系统依赖项、应用系统配置项集中存储管理；

6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-4任一项所述的方法进行面向异构混合环境的智能化部署。

7.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一项所述的方法进行面向异构混合环境的智能化部署。