CN117472463A - 一种在云环境下tomcat采集方法 - Google Patents

Abstract

本发明涉及云环境内服务器技术领域，具体为一种在云环境下tomcat采集方法，包括以下步骤：采集指令解析；数据采集；资源、性能、告警、日志处理；数据推送；有益效果为：本发明提出的在云环境下tomcat采集方法，部署方便，tomcat采集插件，是一款轻量级的采集插件，其可被部署应用于采集机即Client端向部署了tomcat服务的server端进行数据采集；字段可配，采集生成的raw文件内有大量性能数据字段，可以根据数据库配置相关字段进行匹配选择所需字段入库；定时推送，采集插件定时执行任务推送实时的性能数据，告警更加快捷可靠；完善的日志系统，区分采集日志，统一日志和报错日志，便捷明了的查看日志模块化的信息。

Description

一种在云环境下tomcat采集方法

技术领域

本发明涉及云环境内服务器技术领域，具体为一种在云环境下tomcat采集方法。

背景技术

随着服务器的技术提升，同时云服务服务的普及。它有效地解决了传统物理主机与VPS服务中，存在的管理难度打，业务扩展性弱的缺陷,各大企业开始实现云上部署服务器，同时对云服务器的监控就显得尤为重要，无论是服务器的性能资源，服务的吞吐量，告警数等重要信息的获取都需要数据采集来实现。随着各种各样云环境的出现，采集也需要变得更加轻便高效来适应复杂环境的数据采集任务。

现有技术中，由于网络情况的日益复杂，以及服务器的使用量越来越多，不论是对宿主机还是虚机的资源、性能监控变得越来越重要。

发明内容

本发明的目的在于提供一种在云环境下tomcat采集方法，以解决上述背景技术中提出的问题，及时给出tomcat服务器的资源性能等指标，为告警信息提供监控的数据，告警信息可以精确地帮助维护人员解决应对各种故障，保证云服务的稳定。

为实现上述目的，本发明提供如下技术方案：一种在云环境下tomcat采集方法，所述方法包括以下步骤：

采集指令解析；

数据采集；

资源、性能、告警、日志处理；

数据推送。

优选的，采集指令解析，用于读取采集任务配置文件中的ip,端口号tomcat服务相关信息，采集过程中会判断jmx是否开启能否接通tomcat服务，端口号的数量。

优选的，数据采集，用于Tomcat采集插件根据开启的jmx端口访问tomcat服务，获取报文判断http和ajp端口的数量，设置所需数据的结构体，并通过传入key值解析到所需的相应数据推送到结构体中，以便后续持久化过程。

优选的，资源、性能、告警、日志处理，用于采集过程中对采集进行控制，采集过程中不仅对获取响应的判断，读取报文，解析数据发生的错误进行错误日志的写入，也对最终的数据持久化也做了监控；保证了解析到的完整数据和最终存储数据的一致；日志的分类处理存储，采集过程中会根据采集到的数据，以及采集所遇到的包括数据不完整，数据解析处理不到位告警信息进行级别分类的日志存储，清楚的根据日志等级进行报警分析，通过golang封装的logrus日志处理框架，专门针对日志处理能保证更精细的结构化的处理。

优选的，数据推送，用于tomcat采集插件采集完成后，将采集解析到的tomcat服务器数据存储到要推送的数据结构体中，将数据结构体的数据写入raw文件并通过dcload存入数据库后，tomcat采集插件暂时挂起停止服务，直到下次采集周期的到来，定时任务会再次调用采集指令，tomcat采集插件才会再次被唤醒服务。

与现有技术相比，本发明的有益效果是：

本发明提出的在云环境下tomcat采集方法，部署方便，tomcat采集插件，是一款轻量级的采集插件，其可被部署应用于采集机即Client端向部署了tomcat服务的server端进行数据采集；字段可配，采集生成的raw文件内有大量性能数据字段，可以根据数据库配置相关字段进行匹配选择所需字段入库；定时推送，采集插件定时执行任务推送实时的性能数据，告警更加快捷可靠；完善的日志系统，区分采集日志，统一日志和报错日志，便捷明了的查看日志模块化的信息。

附图说明

图1为本发明server，tomcat采集插件交互时序图；

图2为本发明tomcat采集插件的工作流程图。

具体实施方式

为了使本发明的目的、技术方案进行清楚、完整地描述，及优点更加清楚明白，以下结合附图对本发明实施例进行进一步详细说明。应当理解，此处所描述的具体实施例是本发明一部分实施例，而不是全部的实施例，仅仅用以解释本发明实施例，并不用于限定本发明实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明提供一种技术方案：一种在云环境下tomcat采集方法，所述方法包括以下步骤：

1)采集指令解析。用于读取采集任务配置文件中的ip,端口号等tomcat服务相关信息，采集过程中会判断jmx是否开启能否接通tomcat服务，端口号的数量。

2)数据采集。Tomcat采集插件会根据开启的jmx端口访问tomcat服务获取报文判断http和ajp端口的数量设置所需数据的结构体并通过传入key值解析到所需的相应数据推送到结构体中以便后续持久化过程。

3)资源、性能、告警、日志处理。采集过程中会对采集进行控制，采集过程中不仅对获取响应的判断，读取报文，解析数据等发生的错误进行错误日志的写入，也对最终的数据持久化也做了监控。保证了解析到的完整数据和最终存储数据的一致。日志的分类处理存储，采集过程中会根据采集到的数据，以及采集所遇到的包括数据不完整，数据解析处理不到位等告警信息进行级别分类的日志存储，这样能够清楚的根据日志等级进行报警分析。其主要的实现是通过golang封装的logrus日志处理框架，专门针对日志处理能保证更精细的结构化的处理。

4)数据推送。tomcat采集插件采集完成后，会将采集解析到的tomcat服务器数据存储到要推送的数据结构体中，将数据结构体的数据写入raw文件并通过dcload存入数据库后，tomcat采集插件暂时挂起停止服务，直到下次采集周期的到来，定时任务会再次调用采集指令，tomcat采集插件才会再次被唤醒服务。

5)具体实施方式可以将tomcat采集插件部署在Client的采集节点上并启用其服务同时部署nrjmx工具，且要想实现采集在server端的tomcat服务必须开启jmx端口。在tomcat采集插件中需要从采集任务配置文件获取到server端的ip及端口号等信息，这样tomcat采集插件才能向对应的tomcat服务器发送请求。同时仍需要配置采集配置文件，其包括采集任务配置文件路径，保存日志文件的路径等。必须基于这样的部署环境下tomcat采集插件才能进行采集工作。在tomcat采集插件运行过程中，将资源、性能处理，告警分级别的写入日志。在tomcat采集插件完成其采集服务后将数据写入数据结构体中，再将数据结构体写入为raw文件，最后通过dcload入库。判断这次采集任务是否成功，也就是说，tomcat采集插件主要负责的是采集功能，需要判断数据的完整性，若数据不完整则需要通过日志判断和对Client端进行控制，重新下发采集任务重新启动tomcat采集服务。

实施例二

在实施例一的基础上，参照附图1所示，在接到采集指令后，tomcat采集插件开始服务，通过采集任务配置文件获取到server端的ip及端口号等通过植入jmx的方式访问tomcat服务，在tomcat采集插件在收到返回的响应报文后，开始采集服务并将其解析后的数据推送的数据结构体中写入raw文件，tomcat采集插件停止服务。

参照附图2所示，tomcat采集插件在接收到采集任务后，会通过读取采集任务配置文件获取到server端的ip及端口号。在获取完成ip和端口号后，tomcat采集插件会通过tomcat服务开启的jmx端口访问其服务，获取响应报文，同时对报文先进行判断报文的数据是否完整，若完整则将其发送给解析程序在解析程序中，tomcat采集插件通过已经配置好的key值获取报文中所需要的数据，并根据ajpport和httpport是否存在设置相应的结构体并将获取到的数据推送到结构体中。若发现结构体字段无法匹配或字段缺失的情况，会将缺失及告警也如日志中，方便排查采集失败原因。进行采集的过程中，会对采集的流程进行控制，如果遇到采集失败等情况，会将具体的报错写入日志；如果采集成功，将输出一个包含资源、性能、告警以及日志的结构体。当采集完成后，tomcat采集插件会整合所有数据，将数据结构体的数据写入到raw文件中至此，tomcat采集插件停止服务，一条采集指令任务就此完成,等待下次采集周期的到来。

其中，1)tomcat采集插件，是一款轻量级的采集插件，其可被部署应用于采集机即Client端向部署了tomcat服务的server端进行数据采集。

2)tomcat采集插件，需要在Client端部署nrjmx，并且在server端的tomcat服务需要开启jmx端口，以便采集程序进行访问。

3)tomcat采集需要在Client端配置两个配置文件分别是采集配置文件和程序配置文件。采集配置文件内容包括：资源表生成的id,tomcat服务器的ip,http端口,ajp端口,jmx端口,采集资源的标识(TOMCAT),jmx用户名,jmx密码。程序的配置文件内容包括：采集配置路径，采集结果存储路径，采集周期，标志名称，jmx访问超时时长，日志信息等。

4)tomcat采集插件具备告警机制，能够及时写入报警日志，并将其推送到Client端。

5)tomcat采集插件具备统一日志的功能，能够将以天维度的采集情况统一的推送的Client端其内容。

6)tomcat采集插件通过缓冲器获取响应体，针对不同情况根据不同的解析语句进行数据采集。

7)对采集过程可以进行控制。采集完成后tomcat采集插件暂时挂起停止服务，直到下次采集周期的到来，定时任务会再次调用采集指令，tomcat采集插件才会再次被唤醒服务。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种在云环境下tomcat采集方法，其特征在于：所述方法包括以下步骤：

采集指令解析；

数据采集；

资源、性能、告警、日志处理；

数据推送。

2.根据权利要求1所述的一种在云环境下tomcat采集方法，其特征在于：采集指令解析，用于读取采集任务配置文件中的ip,端口号tomcat服务相关信息，采集过程中会判断jmx是否开启能否接通tomcat服务，端口号的数量。

3.根据权利要求1所述的一种在云环境下tomcat采集方法，其特征在于：数据采集，用于Tomcat采集插件根据开启的jmx端口访问tomcat服务，获取报文判断http和ajp端口的数量，设置所需数据的结构体，并通过传入key值解析到所需的相应数据推送到结构体中，以便后续持久化过程。

4.根据权利要求1所述的一种在云环境下tomcat采集方法，其特征在于：资源、性能、告警、日志处理，用于采集过程中对采集进行控制，采集过程中不仅对获取响应的判断，读取报文，解析数据发生的错误进行错误日志的写入，也对最终的数据持久化也做了监控；保证了解析到的完整数据和最终存储数据的一致；日志的分类处理存储，采集过程中会根据采集到的数据，以及采集所遇到的包括数据不完整，数据解析处理不到位告警信息进行级别分类的日志存储，清楚的根据日志等级进行报警分析，通过golang封装的logrus日志处理框架，专门针对日志处理能保证更精细的结构化的处理。

5.根据权利要求1所述的一种在云环境下tomcat采集方法，其特征在于：数据推送，用于tomcat采集插件采集完成后，将采集解析到的tomcat服务器数据存储到要推送的数据结构体中，将数据结构体的数据写入raw文件并通过dcload存入数据库后，tomcat采集插件暂时挂起停止服务，直到下次采集周期的到来，定时任务会再次调用采集指令，tomcat采集插件才会再次被唤醒服务。