CN109934361A - 一种基于容器和大数据的自动化运维平台模型 - Google Patents

Abstract

本发明公开了一种基于容器和大数据的自动化运维平台模型，包括业务系统持续构建部署和自动化运维；基于容器和大数据的原理方式，利用容器调度kubernete保证容器的调度分析，保证调度的容器在合理的节点上面，确保业务系统能够容灾备份，加强系统安全性，通过指标监控组件完成对业务系统、服务器的监控，并推送至大数据平台分析，通过自动配置弹性伸缩算法，分析业务系统监控数据，实现业务系统的弹性伸缩，通过负载策略分担访问流量，保证用户正常访问，平台系统根据业务应用场景智能决策，如重启、扩容、缩容等。

Description

一种基于容器和大数据的自动化运维平台模型

技术领域

本发明属于软件技术领域，涉及容器的云计算、大数据领域机制，具体是一种基于容器和大数据的自动化运维平台模型。

背景技术

对于基于容器和大数据平台的PaaS部署的应用而言，系统的稳定运行和自动化运维是很重要的一个组成部分。业务应用持续的版本发布、应用的负载考虑、监控数据的集中采集、清洗在传统的运维体系下，版本的发布需要人工打包、人工复制文件部署到中间件的服务器中，在访问用户剧增、或者访问某个时间段访问请求剧增、吞吐量达到瓶颈的时候，通过查看每台服务器的监控数据，如CPU、内存、网络IO、磁盘IO，结合一定的算法，人工判断是否需要增加节点。反之则减少服务器，释放资源，提高资源的利用率，保证资源合理的应用。

发明内容

本发明的目的是提供一种基于容器和大数据的自动化运维平台模型，使应用系统可以实现快速部署，版本快速迭代；并充分分析docker运行时的性能指标以及环境参数，对业务所需资源进行实时动态伸缩，以保证资源利用率的最大化；应用大数据技术分析实时监控数据，实现对运维数据的自动识别与分级，保障关键信息的快速获取、准确定位。

本发明的目的通过以下技术方案实现：

一种基于容器和大数据的自动化运维平台模型，模型内容包括：业务系统持续构建部署和自动化运维两个部分。

业务应用持续构建部署端，代表的是一个业务应用构建。该业务应用需要对系统进行构建改造，如mvn、ant改造和设计。构建部署分为两个步骤：持续构建和基于kubernete的容器应用发布。

1）持续构建：一般是业务系统改造项目结构，技术方案选择不限，比如：传统的ant编译，通过编写ant脚本实现业务系统的自动化打包。比如：通过主流的maven编译，构建打包，编写pom.xml文件对系统自动化打包。引入持续构建工具，如jenkins开源工具，配置触发条件，编写部分脚本，调用jenkinsAPI接口，完成构建。

2）基于kubernete的容器应用发布：基于上述业务系统的持续构建生成的war，通过对war包进行Docker镜像的制作，生成应用镜像。并基于kubernete的机制，内网创建pod、service、deployment、ingress等对象，实现对镜像的启动，并调度访问。基于kubernete的容器调度保证业务系统稳定运行，本身拥有健康检查机制。保持容器组副本节点数，拥有基于7层负载的ingress访问请求。容器的调度可以保证调度分布到不同的机房、机架，对应用灾备保护。

自动化运维：这是一个根据应用场景决策自动化运维系统。整个一系列自动化运维体系包括如下：

1）应用系统监控：通过分析国网典型容器化应用的监控指标，研究这些应用的规模、部署方式和基本技术框架，分析典型的中间件（Tomcat或者weblogic）的容器化方案，通过JMX等技术读取中间件的技术指标。整个监控系统包括对服务器的各项指标进行监控，如CPU、内存、磁盘、网络，通过的容器组的监控CPU、内存、磁盘、网络，通过对数据库连接池、JVM的线程池对业务系统全链路过程进行完整的监控，实现完整的监控体系。

2）数据采集清洗：业务系统生成的数据有两种，一种是日志数据、一种是监控数据。针对这两种不同的数据实体，进行不同的采集汇总，针对日志数据，通过ELK的成熟的一套分布式日志集中采集处理，实现对日志的集中查询分析，并对日志的格式数据进行整体的规则控制，保证格式统一，将日志分析结果推送至下面场景分析决策，并做出一定合理的智能决策。

3）场景分析智能决策：业务系统运行于容器集群中，通过对监控数据、日志集中分析、服务器系统指标数据汇总分析、弹性伸缩的控制分析，根据预测的告警结果，用户的访问模型观察，配置出合理的弹性伸缩数据模型，实现自动化运维的场景。如系统遇到日志量的错误、某项系统指标急剧上身，根据弹性伸缩算法，做出合理的反应如扩容、缩容。

本发明利用Docker容器技术将应用系统包、配置文件整合打包成image，通过docker容器技术以容器形式启动。通过kubernets编排部署，将应用容器通过yaml方式，编排调度至kubernets群集。

根据定制的监控指标数据，通过对日志数据、资源监控数据、系统运行情况根据一定的算法，分析系统负载情况，进行弹性伸缩和运维智能预警。

本发明通过docker技术轻量化与快速部署的特点，使应用系统可以实现快速部署，版本快速迭代，并改进基于docker容器灰度发布中分流策略，针对国家电网特殊的用户群体，做到更好的版本迭代。同时docker可以对资源更细粒度封装的特性，并充分分析docker运行时的性能指标以及环境参数，根据业务的特点，对业务所需资源进行实时动态伸缩，以保证资源利用率的最大化。应用大数据技术分析实时监控数据，并对历史日志数据和监控指标数据进行数据清洗与数据挖掘，实现对运维数据的自动识别与分级，保障关键信息的快速获取、准确定位；研究建立针对核心资源的典型缺陷库及判断算法，以实时运行数据为驱动，利用大数据技术开展关联分析，实现对核心资源运行风险的预判，实现以预防为主的主动运维。

本发明基于容器和大数据的原理方式，利用容器调度kubernete保证容器的调度分析，保证调度的容器在合理的节点上面，确保业务系统能够容灾备份，加强系统安全性，通过指标监控组件完成对业务系统、服务器的监控，并推送至大数据平台分析，通过自动配置弹性伸缩算法，分析业务系统监控数据，实现业务系统的弹性伸缩，通过负载策略分担访问流量，保证用户正常访问，平台系统根据业务应用场景智能决策，如重启、扩容、缩容等。

附图说明

图1业务应用基于jenkins持续构建，业务应用基于容器平台的部署图。

图2业务应用指标监控画面示意图。

图3业务应用弹性伸缩画面示意图。

具体实施方式

以下结合附图和具体实施例对本发明进行详细说明。

一种基于容器和大数据的自动化运维平台模型，包括业务系统持续构建部署和自动化运维两部分。

1.持续构建

图1展示了系统在jenkins配置页面中，依据项目中代码管理配置编译命令、以及触发编译的触发器，生产应用包供部署使用。分为两个步骤：持续构建和基于kubernete的容器应用发布。

持续构建：一般是业务系统改造项目结构，技术方案选择不限，比如：传统的ant编译，通过编写ant脚本实现业务系统的自动化打包。比如：通过主流的maven编译，构建打包，编写pom.xml文件对系统自动化打包。引入持续构建工具，如jenkins开源工具，配置触发条件，编写部分脚本，调用jenkinsAPI接口，完成构建。

基于kubernete的容器应用发布：基于上述业务系统的持续构建生成的war，通过对war包进行Docker镜像的制作，生成应用镜像。并基于kubernete的机制，内网创建pod、service、deployment、ingress等对象，实现对镜像的启动，并调度访问。基于kubernete的容器调度保证业务系统稳定运行，本身拥有健康检查机制。保持容器组副本节点数，拥有基于7层负载的ingress访问请求。容器的调度可以保证调度分布到不同的机房、机架，对应用灾备保护。

2.容器部署

图1展示了持续构建后的应用包，在容器平台中填写部署表单，选择基础镜像、群集名称、上下文、配置文件上传、数据库组件、负载信息等，容器平台通过制作镜像，并推送至仓库，集群拉取镜像，调度起容器应用。

自动化运维：这是一个根据应用场景决策自动化运维系统。

3.监控分析

通过分析国网典型容器化应用的监控指标，研究这些应用的规模、部署方式和基本技术框架，分析典型的中间件（Tomcat或者weblogic）的容器化方案，通过JMX等技术读取中间件的技术指标。整个监控系统包括对服务器的各项指标进行监控，如CPU、内存、磁盘、网络，通过的容器组的监控CPU、内存、磁盘、网络，通过对数据库连接池、JVM的线程池对业务系统全链路过程进行完整的监控，实现完整的监控体系。

图2展示了主机信息的监控画面，如CPU、内存、网络IO，同时监控容器的各项指标信息，采集数据供程序计算分析，供场景决策用。

4.场景决策分析

图3展示了弹性伸缩配置画面，通过配置节点阀值、指标阀值、采集数据间隔、计算时间间隔，供业务系统场景决策分析。

Claims (3)

1.一种基于容器和大数据的自动化运维平台模型，其特征在于：该模型包括：业务系统持续构建部署和自动化运维；其中：

业务系统持续构建部署，代表的是一个业务应用构建；分为两个步骤：持续构建和基于kubernete的容器应用发布；

1）持续构建：业务系统改造项目结构，引入持续构建工具，完成业务系统的持续构建；

2）基于kubernete的容器应用发布：基于上述业务系统的持续构建生成的war，通过对war包进行Docker镜像的制作，生成应用镜像；并基于kubernete的机制，内网创建pod、service、deployment、ingress对象，实现对镜像的启动，并调度访问；基于kubernete的容器调度保证业务系统稳定运行；保持容器组副本节点数，拥有基于7层负载的ingress访问请求；容器的调度保证调度分布到不同的机房、机架，对应用灾备保护；

自动化运维：根据应用场景决策自动化运维系统；具体如下：

1）应用系统监控：通过分析典型容器化应用的监控指标，研究这些应用的规模、部署方式和基本技术框架，分析典型的中间件的容器化方案，通过JMX技术读取中间件的技术指标；整个监控系统包括对服务器的各项指标进行监控，通过对数据库连接池、JVM的线程池对业务系统全链路过程进行完整的监控，实现完整的监控体系；

2）数据采集清洗：业务系统生成的数据有两种，一种是日志数据、一种是监控数据；针对这两种不同的数据实体，进行不同的采集汇总，针对日志数据，通过ELK的成熟的一套分布式日志集中采集处理，实现对日志的集中查询分析，并对日志的格式数据进行整体的规则控制，保证格式统一，将日志分析结果推送至下面场景分析决策，并做出一定合理的智能决策；

3）场景分析智能决策：业务系统运行于容器集群中，通过对监控数据、日志集中分析、服务器系统指标数据汇总分析、弹性伸缩的控制分析，根据预测的告警结果，用户的访问模型观察，配置出合理的弹性伸缩数据模型，实现自动化运维的场景。

2.根据权利要求1所述的基于容器和大数据的自动化运维平台模型，其特征在于：持续构建中，传统的ant编译，通过编写ant脚本实现业务系统的自动化打包；比如：通过主流的maven编译，构建打包，编写pom.xml文件对系统自动化打包；引入持续构建工具，如jenkins开源工具，配置触发条件，编写部分脚本，调用jenkinsAPI接口，完成构建。

3.根据权利要求1所述的基于容器和大数据的自动化运维平台模型，其特征在于：场景分析智能决策中，系统遇到日志量的错误、某项系统指标急剧上升，根据弹性伸缩算法，做出合理的反应，如扩容、缩容。