CN109245931A - 基于kubernetes的容器云平台的日志管理和监控报警的实现方法 - Google Patents

Abstract

本发明公开了一种基于kubernetes的容器云平台的日志管理和监控报警的实现方法，编写并运行配置文件，将filebeat部署到kubernetes集群中每个节点上，挂载目标日志的路径、配置监控目标、alertmanager报警模板、报警信息接收地址，对每个用户的工作空间进行隔离，并提供对外的接口，每个节点的容器产生的日志被同步到kubernetes集群，由elasticsearch提供对外的接口来实现数据的展示，每个节点上运行的容器产生的监控信息被汇总到prometheus，并与报警模板匹配，触发报警条件时则由alertmanager发送邮件或短信。本发明的方法可以使业务方在配置和登录容器云平台之后，以云平台服务调度为基础，进行海量数据的维护分析，在简化分析日志和监控的难度、复杂性和繁琐度上面提供了一套对用户友好的解决方案。

Description

基于kubernetes的容器云平台的日志管理和监控报警的实现 方法

技术领域

本发明涉及计算机技术、docker容器技术、kubernetes大规模容器管理技术、filebeat日志收集传递技术、elasticsearch分布式全文搜索技术、prometheus系统监控和报警技术，基于kubernetes的容器云平台的日志管理和监控报警的实现方法让集群运行更健康，让日志的管理更清晰和具体，增强了监控信息的实效性，降低了维护需要的时间，为大数据分析和云计算提供了数据来源和初始分类。

背景技术

容器技术是当前热门技术，也是最前沿的技术。自从docker的推出，使得软件的部署变得容易起来，真正的实现了一次部署到处运行。但是目前的docker大都是单机版的，而实际情况却是需要以集群的方式部署大量的应用程序或者微服务。所以，需要一种大规模的容器管理技术，来解决批量式的容器部署和管理方法。这里就用到了谷歌推出的凝聚其十多年的大规模容器管理技术kubernetes。容器云平台就在这样的技术背景下诞生，而容器云平台内必然会部署海量的应用和服务，如何对这些海量的应用和服务的日志收集和监控报警就需要一个契合容器云平台的解决方法。本方法就在这样的技术背景下诞生。

发明内容

本发明公开的基于kubernetes的容器云平台的日志管理和监控报警的实现方法，利用filebeat收集日志的自动化和实时性，解决日志的实时拉取与传递。filebeat传递日志信息到elasticsearch之后，elasticsearch进行日志的储存，根据filebeat传递的数据格式和结构进行分类整理和储存。然后提供查询接口，让用户能根据需求查看需要的日志内容；利用prometheus的监控报警方法进行自定义配置，提供多种方式的配置，例如配置多个email地址或者配置webhookurl将报警信息接入用户自己的报警处理机制中，满足用户不同的监控报警需求。

为解决上述的技术问题，本发明的一种实施方式采用以下技术方案：

一种基于kubernetes的容器云平台的日志管理和监控报警的实现方法，包括以下步骤：

步骤一、编写filebeat和elasticsearch的配置文件，并对目标日志的路径进行挂载，以实现日志的实时收集和同步；编写node-expoter、cadvisor、alertmanager和prometheus的配置文件，对监控目标进行配置，以实现监控报警信息的收集；

步骤二、运行filebeat配置文件，并将其部署进kubernetes集群连接的每一个node节点；配置alertmanager报警模板，对自定义的邮件地址或者webhook url进行配置以实现发送报警；

步骤三、利用kubernetes集群的工作空间的概念，对每个用户的工作空间进行隔离和保密；在部署完成之后，elasticsearch提供对外的接口来实现数据的展示；

步骤四、每个node节点上运行的容器产生的日志信息，由对应的filebeat实时收集并同步到kubernetes集群中；每个node节点上运行的容器产生的监控信息，由node-expoter和cadvisor收集传入prometheus汇总之后，匹配alertmanager预先配置的报警模板，若触发报警条件，则由alertmanager发送报警邮件或短信；

步骤五、用户登录容器云平台，发送服务请求，并通过容器云平台分流后到自己的工作空间下，通过elasticsearch提供对外的接口查询需要的日志信息，通过prometheus提供的查询语句查询相关的监控信息，通过alertmanager发送报警信息。

所述的基于kubernetes的容器云平台的日志管理和监控报警的实现方法，在所述kubernetes集群之外，再部署一个kubernetes集群，以保证数据存储的稳定性，扩展性和可维护性。

所述的基于kubernetes的容器云平台的日志管理和监控报警的实现方法，其对监控目标进行配置包括对CPU使用率，内存使用率，I/O进行配置。

所述的基于kubernetes的容器云平台的日志管理和监控报警的实现方法，其filebeat、node-exporter和cadvisor是用kubernetes的自动化部署中的DaemonSet的概念来进行部署的，以保证每个节点上面的filebeat、node-exporter和cadvisor配置一致。

所述的基于kubernetes的容器云平台的日志管理和监控报警的实现方法，其elasticsearch对外提供http api接口，以实现用户基于不同纬度上的日志查询；所述prometheus对外提供http api接口，以实现用户基于不同纬度上的监控信息查询；所述纬度包括空间、应用、服务以及关键字。

所述的基于kubernetes的容器云平台的日志管理和监控报警的实现方法，其filebeat配置output，host字段配置成es的地址。

所述的基于kubernetes的容器云平台的日志管理和监控报警的实现方法，其filebeat在收集日志时，配置kubernetes的相应标签，用户通过labels筛选相应的应用和服务，通过include字段过滤不需要的信息。

因为kubernetes是一个大规模的容器云平台管理技术，因此filebeat、node-expoter、cadvisor、alertmanager和prometheus等也是以容器的方式运行在kubernetes集群中的，所以他们同时也实现了对自身的日志收集和监控报警。特别需要注意的是，因为kubernetes集群是数台甚至更多的物理机或虚拟机组成，因此集群中的数台节点的日志就需要一个轻量级的日志收集服务来进行日志的传递和整理到elasticsearch中，所以filebeat就需要每个节点部署一个，这里就用到了kubernetes的自动化部署中的DaemonSet的概念来进行部署，以保证每个节点上面的filebeat配置一致，同样node-exporter和cadvisor也是以DaemonSet的方式部署在集群中每个节点之上。

为了保证集群的安全性和稳定性，不能让用户直接在集群内部进行操作，这就需要对外提供接口来满足用户的查询需求。因为不同的用户部署的应用或者服务不同，同时也需要对数据进行保密，因此利用kubernetes的工作空间的概念，来进行隔离，不同的用户登陆是进入自己相应的工作空间，这样就实现了数据保密。

与现有技术相比，本发明至少具有以下有益效果：基于kubernetes的容器云平台内运行的大量的应用和服务所产生的海量日志和告警信息的自动收集和管理，业务方在配置和登录容器云平台之后，以云平台服务调度为基础，进行海量数据的维护分析，在简化分析日志和监控的难度、复杂性和繁琐度上面提供了一套对用户友好的解决方案。

附图说明

图1为本发明方法的集群内部流程图。

图2为本发明方法中集群内部与外部协作图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

基于kubernetes的容器云平台的日志管理和监控报警的实现方法是一种大规模容器云平台集群内部的日志收集和监控告警方法，包括以下步骤：

步骤一、编写filebeat(收集处理日志信息)、elasticsearch(储存日志数据和提供日志查询)、node-exporter(针对节点机器监控信息收集)，cadvisor(针对容器监控信息收集)、alertmanager(报警模板配置，发送报警消息)和prometheus(监控信息储存和提供监控信息查询)的配置文件，并对目标日志的路径进行挂载，以实现日志的实时收集和同步；对监控目标(比如CPU使用率，内存使用率，I/O等)进行配置，以实现监控报警信息的收集。

步骤二、运行filebeat配置文件，并将其部署进kubernetes集群连接的每一个node节点；在集群之外可以再部署一个elasticsearch集群，以保证数据存储的稳定性，扩展性和可维护性；配置alertmanager报警模板，对自定义的邮件地址或者webhook url进行配置以实现发送报警。所述filebeat、node-exporter和cadvisor是用kubernetes的自动化部署中的DaemonSet的概念来进行部署的，以保证每个节点上面的filebeat、node-exporter和cadvisor配置一致。

步骤三、利用kubernetes集群的工作空间的概念，对每个用户的工作空间进行隔离和保密；在部署完成之后，elasticsearch提供对外的接口来实现数据的展示；elasticsearch对外提供http api接口，以实现用户基于不同纬度上的日志查询；prometheus对外提供http api接口，以实现用户基于不同纬度上的监控信息查询；所述纬度包括空间、应用、服务以及关键字。

步骤四、每个node节点上运行的容器产生的日志信息，由对应的filebeat实时收集并同步到kubernetes集群中；每个node节点上运行的容器产生的监控信息，由node-expoter和cadvisor收集传入prometheus汇总之后，匹配alertmanager预先配置的报警模板，若触发报警条件，则由alertmanager发送报警邮件或短信。

步骤五、用户登录容器云平台，发送服务请求，并通过容器云平台分流后到自己的工作空间下，通过elasticsearch提供对外的接口查询需要的日志信息，通过prometheus提供的查询语句查询相关的监控信息，汇总的监控信息通过匹配alertmanager报警模板来发送报警信息。

完成kubernetes集群部署后，如图1所示，集群内部流程包括以下步骤：

步骤S105：每个node节点上运行的容器产生日志和报警信息。这些容器是由业务方通过容器云平台部署的应用，相关日志和监控信息由这些应用产生。

步骤S104：每个node节点上运行的filebeat实时收集和同步日志信息。Filebeat配置部署之后，在/var/lib/docker/containers，路径下面收集以.log结尾的文件。可用*号来通配所有的日志。node-exporter和cadvisor只需要保证正常运行，prometheus正确配置node-exporter和cadvisor的服务地址，就能收集到相应的监控信息。

步骤S103：filebeat收集到的日志信息汇总到elasticsearch上。需要filebeat配置output，host字段配置成es的地址。

步骤S102：对外接口提供查询功能，为用户准备好数据。Filebeat收集的时候能够配置kubernetes的相应标签。通过labels筛选相应的应用和服务，通过include字段过滤不需要的信息。

步骤S101：用户在自己的工作空间下进行数据的管理和分析。用户通过查询接口获取需要的日志，查看报警信息。

集群内部与外部协作流程如图2所示，包括以下步骤：

步骤S201：业务方(即用户)登陆容器云平台。

步骤S202：业务方发送请求服务。

步骤S203：通过容器云平台分流。

步骤S204：业务方到自己的工作空间下。

尽管这里参照本发明的解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外，对于本领域技术人员来说，其他的用途也将是明显的。

Claims (7)

1.一种基于kubernetes的容器云平台的日志管理和监控报警的实现方法，其特征在于包括以下步骤：

步骤一、编写filebeat和elasticsearch的配置文件，并对目标日志的路径进行挂载，以实现日志的实时收集和同步；编写node-expoter、cadvisor、alertmanager和prometheus的配置文件，对监控目标进行配置，以实现监控报警信息的收集；

步骤二、运行filebeat配置文件，并将其部署进kubernetes集群连接的每一个node节点；配置alertmanager报警模板，对自定义的邮件地址或者webhook url进行配置以实现发送报警；

步骤三、利用kubernetes集群的工作空间的概念，对每个用户的工作空间进行隔离和保密；在部署完成之后，elasticsearch提供对外的接口来实现数据的展示；

步骤四、每个node节点上运行的容器产生的日志信息，由对应的filebeat实时收集并同步到kubernetes集群中；每个node节点上运行的容器产生的监控信息，由node-expoter和cadvisor收集传入prometheus汇总之后，匹配alertmanager预先配置的报警模板，若触发报警条件，则由alertmanager发送报警邮件或短信；

步骤五、用户登录容器云平台，发送服务请求，并通过容器云平台分流后到自己的工作空间下，通过elasticsearch提供对外的接口查询需要的日志信息，通过prometheus提供的查询语句查询相关的监控信息，通过alertmanager发送报警信息。

2.根据权利要求1所述的基于kubernetes的容器云平台的日志管理和监控报警的实现方法，其特征在于在所述kubernetes集群之外，再部署一个kubernetes集群，以保证数据存储的稳定性、扩展性和可维护性。

3.根据权利要求1所述的基于kubernetes的容器云平台的日志管理和监控报警的实现方法，其特征在于所述对监控目标进行配置包括对CPU使用率、内存使用率和I/O进行配置。

4.根据权利要求1所述的基于kubernetes的容器云平台的日志管理和监控报警的实现方法，其特征在于所述filebeat、node-exporter和cadvisor是用kubernetes的自动化部署中的DaemonSet的概念来进行部署的，以保证每个节点上面的filebeat、node-exporter和cadvisor配置一致。

5.根据权利要求1所述的基于kubernetes的容器云平台的日志管理和监控报警的实现方法，其特征在于所述elasticsearch对外提供http api接口，以实现用户基于不同纬度上的日志查询；所述prometheus对外提供http api接口，以实现用户基于不同纬度上的监控信息查询；所述纬度包括空间、应用、服务以及关键字。

6.根据权利要求1所述的基于kubernetes的容器云平台的日志管理和监控报警的实现方法，其特征在于所述filebeat配置output，host字段配置成es的地址。

7.根据权利要求1所述的基于kubernetes的容器云平台的日志管理和监控报警的实现方法，其特征在于所述filebeat在收集日志时，配置kubernetes的相应标签，用户通过labels筛选相应的应用和服务，通过include字段过滤不需要的信息。