CN111026409A - 一种自动监控方法、装置、终端设备及计算机存储介质 - Google Patents

Abstract

本发明公开了一种自动监控方法、装置、终端设备及计算机存储介质，该方法包括：将监控系统提供的服务制作成Docker镜像包和应用模板，基于所述Docker镜像包和应用模板将所述监控系统部署到Kubernetes平台中；监测所述Kubernetes平台上部署的新应用，当所述新应用具有metrics接口时，将该新应用注册到监控系统的Prometheus中以启动对新应用的监控服务；获取Prometheus采集的监控数据，将所述监控数据输入训练好的机器学习模型中，得到告警判定结果；本发明利用云原生和Kubernetes技术，并结合机器学习模型，实现监控服务的自动发现和注册并对监控阈值进行自动学习，从而可以适应环境自动告警；减少运维人员工作，更好的适应应用部署的变化。

Description

一种自动监控方法、装置、终端设备及计算机存储介质

技术领域

本发明属于云计算技术领域，涉及基于Kubernetes技术的服务自动发现、监控与运维，更具体地，涉及一种基于Kubernetes的自动监控方法、装置、终端设备及计算机存储介质。

背景技术

Kubernetes源于Google内部的Borg项目，经Google使用Go语言重写后，被命名为Kubernetes，并于2014年6月开源。开源以来，Kubernetes在众多厂商和开源爱好者的共同努力下迅速崛起，时至今日已成长为容器管理领域的事实标准。Kubernetes极大推动了云原生领域的发展，被称为影响云计算未来10年的技术，如今在容器圈提到Kubernetes，可谓是无人不知无人不晓。目前，Kubernetes已经充分涉足互联网、AI、区块链、金融等行业，可以预想的是将来会有越来越多的行业开始使用Kubernetes，并且各行业实践会更深入。

云原生是一种方法，用于构建和运行充分利用云计算模型优势的应用。云原生应用结合了微服务、容器、持续交付、DevOps等概念和技术，提供了更高的部署效率，降低了应用对环境的依赖，使得团队可以快速将云原生应用构建和部署到可提供轻松的横向扩展和硬件解耦的平台，为企业提供更高的敏捷性、弹性和云间的可移植性。

监控系统是整个运维环节，乃至整个产品生命周期中最重要的一环，事前及时预警发现故障，事后提供翔实的数据用于追查定位问题。云原生应用的引入，对平台带来更多的技术挑战，对于架构设计和业务梳理要求更高。随着业务的快速发展，服务器的规模越来越大，中间件、应用、微服务、数据库等也越来越多样化，软件越复杂，就越难了解其性能及问题排障，因此对服务监控系统的要求不断提高。

Prometheus是在云原生场景下Kubernetes社区首推的监控报警框架，其在社区的活跃度仅次于Kubernetes项目。Prometheus也源于Google内部的borgmon监控系统，在2015年正式发布，2016年加入CNCF项目。2018年8月Prometheus正式毕业，表示它本身已经具备一定的成熟度和稳定性。作为新一代的监控框架，Prometheus具有强大的多维度数据模型、灵活而强大的查询语句、易于管理和高效、基于Pull的时间序列数据采集、多种可视化图形界面等特点。

近些年来，随着机器学习尤其是深度学习方法的提出，人工智能在专家系统、进化计算、模糊逻辑、计算机视觉、自然语言处理、推荐系统等方向获得了长足的发展和应用。通过机器学习相关算法，我们可以让机器像人一样理性思考和行动，从而让计算机实现从最低级的模拟人类行为到实现复杂海量计算学习任务的目标。

不管是传统的监控系统，还是基于云原生应用的监控系统，从被监控目标的发现、注册和配置，到监控阈值的调整、优化，到监控告警处理，本身是需要运维人员大量参与和维护，整个监控过程的自动化程度低，需要耗费大量的人力物力，不符合自动化、智能化的发展趋势。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种自动监控方法、装置、终端设备及计算机存储介质，利用云原生和Kubernetes相关技术，并结合机器学习模型，实现监控服务的自动发现和注册，并对监控阈值进行自动学习，从而可以适应环境自动告警；其目的在于解决现有的服务监控系统存在的自动化程度低，严重依赖运维人员、耗费大量的人力物力的问题。

为实现上述目的，按照本发明的第一个方面，提供了一种自动监控方法，包括以下步骤：

S1：将监控系统提供的服务制作成Docker镜像包和应用模板，基于所述Docker镜像包和应用模板将所述监控系统部署到Kubernetes平台中；

S2：监测所述Kubernetes平台上部署的新应用，当所述新应用具有metrics接口时，将该新应用注册到监控系统的Prometheus中以启动对新应用的监控服务；

S3：获取Prometheus采集的监控数据，将所述监控数据输入训练好的机器学习模型中，得到告警判定结果。

优选的，上述自动监控方法，其步骤S1具体包括：

将监控系统提供的服务制作成Docker镜像包并根据所述Docker镜像包创建监控系统的应用模板；

通过Helm命令将Docker镜像包和应用模板部署到Kubernetes平台中。

优选的，上述自动监控方法，将监控系统提供的服务制作成Docker镜像包具体包括：

创建本地镜像仓库；

创建原生Linux操作系统容器；

在所述原生Linux操作系统容器中安装与操作系统对应的系统依赖包；

在所述原生Linux操作系统容器中安装监控系统的软件包，生成Docker镜像包；

将所述Docker镜像包保存在所述本地镜像仓库中。

优选的，上述自动监控方法，其步骤S2中具体包括：

通过API接口访问Kubernetes平台的API服务组件，实时监测Kubernetes平台上的Pod资源；

当监测到Pod资源的创建或更新时，检测所述Pod资源是否存在metrics服务；

查找关联的Metrics服务并绑定，将绑定后的Metrics服务注册到监控系统的Prometheus中。

优选的，上述自动监控方法，检测所述Pod资源是否存在metrics服务具体包括：

自动扫描所述Pod资源对应的新应用的名称、端口号和访问路径并基于所述端口号和访问路径访问该新应用的文本内容，当所述文本内容符合Prometheus Metrics监控数据的格式时，则将该新应用注册到监控系统的Prometheus中。

优选的，上述自动监控方法，所述应用模板包括监控系统的各组件Deployment、StatefulSet、Daemonset的Yaml模板，监控系统提供的服务的Yaml模板，以及监控系统的配置项目Configmap的Yaml模板；

优选的，上述自动监控方法，所述Docker镜像包包括Prometheus、Grafana和各内置metrics。

按照本发明的第二个方面，还提供了一种自动监控装置，该系统包括部署单元、服务自动发现单元和自动学习单元；

所述部署单元用于将监控系统提供的服务制作成Docker镜像包和应用模板，基于所述Docker镜像包和应用模板将所述监控系统部署到Kubernetes平台中；

所述服务自动发现单元用于监测所述Kubernetes平台上部署的新应用，当所述新应用具有metrics接口时，将该新应用注册到监控系统的Prometheus中以启动对新应用的监控服务；

所述自动学习单元用于获取Prometheus采集的监控数据，将所述监控数据输入训练好的机器学习模型中，得到告警判定结果。

优选的，上述自动监控装置，其部署单元包括创建模块和部署模块；

所述创建模块用于将监控系统提供的服务制作成Docker镜像包并根据所述Docker镜像包创建监控系统的应用模板；

所述部署模块用于通过Helm命令将Docker镜像包和应用模板部署到Kubernetes平台中。

优选的，上述自动监控装置，其创建模块制作Docker镜像包的过程具体包括：

创建本地镜像仓库；

创建原生Linux操作系统容器；

在所述原生Linux操作系统容器中安装与操作系统对应的系统依赖包；

在所述原生Linux操作系统容器中安装监控系统的软件包，生成Docker镜像包；

将所述Docker镜像包保存在所述本地镜像仓库中。

优选的，上述自动监控装置，其服务自动发现单元包括资源监测模块、服务检测模块和注册模块；

所述资源监测模块用于通过API接口访问Kubernetes平台的API服务组件，实时监测Kubernetes平台上的Pod资源；

所述服务检测模块用于在资源监测模块监测到Pod资源的创建或更新时检测所述Pod资源是否存在metrics服务；

所述注册模块用于查找关联的Metrics服务并绑定，将绑定后的Metrics服务注册到监控系统的Prometheus中。

优选的，上述自动监控装置，其服务检测模块检测所述Pod资源是否存在metrics服务具体包括：

自动扫描所述Pod资源对应的新应用的名称、端口号和访问路径并基于所述端口号和访问路径访问该新应用的内容，当所述文本内容符合Prometheus Metrics监控数据的格式时，将该新应用注册到监控系统的Prometheus中。

优选的，上述自动监控装置，其应用模板包括监控系统的各组件Deployment、StatefulSet、Daemonset的Yaml模板，监控系统提供的服务的Yaml模板，以及监控系统的配置项目Configmap的Yaml模板。

优选的，上述自动监控装置，其Docker镜像包包括Prometheus、Grafana和各内置metrics。

按照本发明的第三个方面，还提供了一种终端设备，包括至少一个处理单元、以及至少一个存储单元，

其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行上述任一项所述自动监控方法的步骤。

按照本发明的第四个方面，还提供了一种计算机可读介质，其存储有可由终端设备执行的计算机程序，当所述程序在终端设备上运行时，使得所述终端设备执行上述任一项所述自动监控方法的步骤。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明提供的自动监控方法、装置、终端设备及计算机存储介质，监控系统可以自动发现部署在Kubernetes容器平台的云原生服务，自动把监控目标注册到Prometheus中，减少运维人员工作；同时可以自动学习监控数据，自动设定监控告警阈值，减少运维人员工作，更好的适应应用部署的变化。

(2)本发明提供的自动监控方法、装置、终端设备及计算机存储介质，监控系统的各个组件部署在Kubernetes上，可以通过Kubernetes容器组多副本的功能，实现监控系统的多副本，从而保证组件的高可用和随着业务规模弹性伸缩；同时可以在一定情况下的实现不断业务的升级操作或者回退操作。

(3)本发明提供的自动监控方法、装置、终端设备及计算机存储介质，使用Helm部署监控系统组件，可以方便各个组件的版本管理、配置管理，方便升级和回退操作。

附图说明

图1是本发明实施例提供的自动监控方法的流程图；

图2是本发明实施例提供的部署监控系统的方法流程图；

图3是本发明实施例提供的自动发现服务并注册的方法流程图；

图4是本发明实施例提供的监控数据自动判定的方法流程图；

图5是本发明实施例提供的终端设备中处理器的逻辑框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

针对服务监控系统部署运维问题，本发明提出了一种基于Kubernetes技术的自动监控方法、装置及终端设备，该方法首先将监控系统组件制作成Docker镜像，再利用Helm把定制后的监控系统Chart模板部署到Kubernestes平台上；该监控系统除了具备常规的监控功能之外，还具备服务自动发现和监控阈值自动学习的功能；部署完成后，监控系统自动扫描部署在Kubernetes平台上的云原生服务，针对新发现的服务注册其监控信息到Prometheus中。此外，监控系统不断地收集监控数据对机器学习模型进行训练，将发现的新应用的监控数据输入训练好的机器学习模型中判定告警，达到监控告警自动化和自适应化。

图1是本实施例提供的一种自动监控方法的流程图，参见图1，该自动监控方法包括以下步骤：

S1：将监控系统提供的服务制作成Docker镜像包和应用模板，基于Docker镜像包和应用模板将监控系统部署到Kubernetes平台中；参见图2所示，该步骤具体包括：

首先，将监控系统提供的服务制作成Docker镜像包，该Docker镜像包包括Prometheus、Grafana、各内置metrics、自动发现服务和阈值自动学习服务等；制作Docker镜像包的过程包括以下步骤：

(1)创建本地镜像仓库；制作Docker镜像首先需要安装Docker运行时环境，然后启动一个Registry本地镜像仓库，用于存储后续制作的Docker镜像；

(2)创建原生Linux操作系统容器；使用一个面向云原生的Linux系统镜像(例如Alpine)，创建一个基础系统镜像，作为容器的基础；

(3)在原生Linux操作系统容器中安装与操作系统对应的系统依赖包；根据不同的Linux系统以及监控系统软件的需要，在容器中安装其系统依赖包；

(4)在原生Linux操作系统容器中安装监控系统的软件包，生成Docker镜像包；

(5)保存并上传Docker镜像；把当前制作好的镜像保存，并上传到创建的本地镜像仓库中。

然后，根据Docker镜像包创建监控系统的应用模板(Chart)，该应用模板包括监控系统的各组件、其提供的服务以及配置项目的Yaml模板；具体的，首先初始化一个应用模板，然后根据Docker镜像创建监控系统各组件的Deployment、StatefulSet、Daemonset的Yaml模板，根据需要提供的服务创建Service的Yaml模板，根据配置项目创建Configmap的Yaml模板；把各Yaml模板打包成Chart应用模板。

最后，使用Helm命令将Docker镜像包和应用模板部署到Kubernetes平台中；当然，除了Helm命令还可以采用其它开源的应用部署工具将监控系统部署到Kubernetes平台中，本发明不作具体限制。

S2：监测Kubernetes平台上部署的新应用，当新应用具有metrics接口时，将该新应用注册到监控系统的Prometheus中以启动对新应用的监控服务；参见图3，具体包括以下步骤：

(1)通过Kubernetes接口检测平台上Pod资源创建情况。当前模块通过API访问Kubernetes的APIServer，不断Watch平台上的Pod资源；

(2)搜索发现Metrics接口；通过API接口，一旦发现有Pod的Create或Update操作，则检测该Pod的Port端口和/metrics路径是否存在metrics服务；

自动扫描新建或更新的Pod对应的新应用的名称、端口号和访问路径，基于该端口号和访问路径访问该新应用的内容，当从新应用获得的文本内容符合Prometheus Metrics监控数据的格式时，例如文本内容每行为监控指标键值对、监控项目名称和label满足格式要求等，将该新应用注册到监控系统的Prometheus中。

(3)查找关联的Metrics服务并绑定到同一组；通过Pod或其相关的Deployment、Statefulset、Service等标签信息，把关联的Metrics绑定到同一组。

(4)把Metrics添加或更新到Prometheus；把同一组应用下的Metrics注册到监控平台的Prometheus中，然后返回步骤(1)继续下一轮循环。

S3：获取Prometheus采集的监控数据，将监控数据输入训练好的机器学习模型中，得到告警判定结果；参见图4所示，该步骤具体包括：

(1)收集服务的历史监控数据；训练机器学习模型需要大量的训练数据，因此首先收集历史监控数据用于模型训练；

(2)使用监控数据训练机器学习模型；对步骤(1)收集的历史监控数据进行标注，创建训练集和测试集。然后选一个机器学习模型，例如针对监督学习的支持向量机(Support Vector Machine)，利用训练集训练模型并不断调整参数，再使用测试集测试，直到机器学习模型的输出满足预期可接受的准备率、召回率等评估指标。

(3)使用训练好的算法模型判定告警；对于自动检测到的新应用的监控数据，使用已训练的算法模型判定是否需要告警，输出判定结果；

(4)返回步骤(1)循环训练算法模型；通过持续不断地对机器学习模型进行训练，提高模型预测结果的准确性。

本实施例还提供了一种用于实现上述自动监控方法的终端设备，该终端设备包括至少一个处理器、以及至少一个存储器，该存储器中存储有可在处理器上运行的计算机程序，该计算机程序被执行时实现上述自动监控方法的步骤；图5是本发明实施例提供的处理器的逻辑框图，如图5所示，该处理器中例化有多个功能单元，包括部署单元、服务自动发现单元和自动学习单元；上述功能单元可全部或部分通过软件、硬件及其组合来实现，可以以硬件形式内嵌于或独立于处理器中，也可以以软件形式存储于存储器中，以便于处理器调用执行以上各个模块对应的操作。

其中，部署单元用于将监控系统提供的服务制作成Docker镜像包和应用模板，基于Docker镜像包和应用模板将所述监控系统部署到Kubernetes平台中；该部署单元包括创建模块和部署模块；

创建模块用于将监控系统提供的服务制作成Docker镜像包并根据Docker镜像包创建监控系统的应用模板；该Docker镜像包包括Prometheus、Grafana、各内置metrics、自动发现服务和阈值自动学习服务等；制作Docker镜像包的过程具体包括：

(1)创建一个用于存储Docker镜像包的本地镜像仓库；

(2)创建原生Linux操作系统容器；

(3)在原生Linux操作系统容器中安装与操作系统对应的系统依赖包；

(4)在原生Linux操作系统容器中安装监控系统的软件包，生成Docker镜像包；

(5)将Docker镜像包保存在本地镜像仓库中。

Docker镜像包制作完成后，创建模块根据Docker镜像包创建监控系统的应用模板(Chart)，该应用模板包括监控系统的各组件、其提供的服务以及配置项目的Yaml模板；具体的，首先初始化一个应用模板，然后根据Docker镜像创建监控系统各组件的Deployment、StatefulSet、Daemonset的Yaml模板，根据需要提供的服务创建Service的Yaml模板，根据配置项目创建Configmap的Yaml模板；把各Yaml模板打包成Chart应用模板。

部署模块用于通过Helm命令将Docker镜像包和应用模板部署到Kubernetes平台中；当然，除了Helm命令还可以采用其它开源的应用部署工具将监控系统部署到Kubernetes平台中，本发明不作具体限制。

服务自动发现单元用于监测Kubernetes平台上部署的新应用，当新应用具有metrics接口时，将该新应用注册到监控系统的Prometheus中以启动对新应用的监控服务；该服务自动发现单元包括资源监测模块、服务检测模块和注册模块；

资源监测模块用于通过API接口访问Kubernetes平台的API服务组件，实时监测Kubernetes平台上的Pod资源；

服务检测模块用于在资源监测模块监测到Pod的创建或更新时检测该Pod是否存在metrics服务；检测Pod是否存在metrics服务具体包括：

自动扫描Pod对应的新应用的名称、端口号和访问路径，基于该端口号和访问路径访问该新应用的内容，当从新应用获得的文本内容符合Prometheus Metrics监控数据的格式时，将该新应用注册到监控系统的Prometheus中。

注册模块用于查找关联的Metrics服务并绑定，将绑定后的Metrics服务注册到监控系统的Prometheus中；通过Pod或其相关的Deployment、Statefulset、Service等标签信息，把关联的Metrics绑定到同一组，然后把同一组应用下的Metrics注册到监控平台的Prometheus中。

自动学习单元用于获取Prometheus采集的监控数据，将监控数据输入训练好的机器学习模型中，得到告警判定结果；该自动学习单元包括采集模块和机器学习模型；采集模块用于实时获取Prometheus采集的监控数据并输入机器学习模型中，对机器学习模型进行训练，或者使训练好的机器学习模型输出告警判定结果。

上述实施例中，处理器和存储器的类型不作具体限制，例如：处理器可以是微处理器、数字信息处理器、片上可编程逻辑系统等；存储器可以是易失性存储器、非易失性存储器或者它们的组合等。

本实施例还提供了一种计算机可读介质，其存储有可由终端设备执行的计算机程序，当所述计算机程序在终端设备上运行时，使得所述终端设备执行上述自动监控方法的步骤。计算机可读介质的类型包括但不限于SD卡、U盘、固定硬盘、移动硬盘等存储介质。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于Kubernetes的自动监控方法，其特征在于，包括以下步骤：

S1：将监控系统提供的服务制作成Docker镜像包和应用模板，基于所述Docker镜像包和应用模板将所述监控系统部署到Kubernetes平台中；

S2：监测所述Kubernetes平台上部署的新应用，当所述新应用具有metrics接口时，将该新应用注册到监控系统中以启动对新应用的监控服务；

S3：获取监控系统采集的监控数据，将所述监控数据输入训练好的机器学习模型中，得到告警判定结果。

2.如权利要求1所述的自动监控方法，其特征在于，步骤S1具体包括：

将监控系统提供的服务制作成Docker镜像包并根据所述Docker镜像包创建监控系统的应用模板；

通过Helm命令将Docker镜像包和应用模板部署到Kubernetes平台中。

3.如权利要求1或2所述的自动监控方法，其特征在于，将监控系统提供的服务制作成Docker镜像包具体包括：

创建本地镜像仓库；

创建原生Linux操作系统容器；

在所述原生Linux操作系统容器中安装与操作系统对应的系统依赖包；

在所述原生Linux操作系统容器中安装监控系统的软件包，生成Docker镜像包；

将所述Docker镜像包保存在所述本地镜像仓库中。

4.如权利要求1所述的自动监控方法，其特征在于，步骤S2中具体包括：

通过API接口访问Kubernetes平台的API服务组件，实时监测Kubernetes平台上的Pod资源；

当监测到Pod资源的创建或更新时，检测所述Pod资源是否存在metrics服务；

查找关联的Metrics服务并绑定，将绑定后的Metrics服务注册到监控系统的Prometheus中。

5.如权利要求4所述的自动监控方法，其特征在于，检测所述Pod资源是否存在metrics服务具体包括：

自动扫描所述Pod资源对应的新应用的名称、端口号和访问路径并基于所述端口号和访问路径访问该新应用的文本内容，当所述文本内容符合Prometheus Metrics监控数据的格式时，将该新应用注册到监控系统的Prometheus中。

6.如权利要求1所述的自动监控方法，其特征在于，所述应用模板包括监控系统的各组件、服务和配置项目的Yaml模板。

7.如权利要求1所述的自动监控方法，其特征在于，所述Docker镜像包包括Prometheus、Grafana和各内置metrics。

8.一种基于Kubernetes的自动监控装置，其特征在于，包括部署单元、服务自动发现单元和自动学习单元；

所述部署单元用于将监控系统提供的服务制作成Docker镜像包和应用模板，基于所述Docker镜像包和应用模板将所述监控系统部署到Kubernetes平台中；

所述服务自动发现单元用于监测所述Kubernetes平台上部署的新应用，当所述新应用具有metrics接口时，将该新应用注册到监控系统中以启动对新应用的监控服务；

所述自动学习单元用于获取监控系统采集的监控数据，将所述监控数据输入训练好的机器学习模型中，得到告警判定结果。

9.一种终端设备，其特征在于，包括至少一个处理单元、以及至少一个存储单元，

其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行权利要求1～7任一项所述自动监控方法的步骤。

10.一种计算机可读介质，其特征在于，其存储有可由终端设备执行的计算机程序，当所述程序在终端设备上运行时，使得所述终端设备执行权利要求1～7任一项所述自动监控方法的步骤。

Images