CN114328093A - 一种基于Hadoop的监控方法、系统、存储介质及设备 - Google Patents
一种基于Hadoop的监控方法、系统、存储介质及设备 Download PDFInfo
- Publication number
- CN114328093A CN114328093A CN202111554419.8A CN202111554419A CN114328093A CN 114328093 A CN114328093 A CN 114328093A CN 202111554419 A CN202111554419 A CN 202111554419A CN 114328093 A CN114328093 A CN 114328093A
- Authority
- CN
- China
- Prior art keywords
- information
- log
- abnormal
- hadoop
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000002159 abnormal effect Effects 0.000 claims abstract description 69
- 230000008569 process Effects 0.000 claims abstract description 35
- 230000000007 visual effect Effects 0.000 claims abstract description 23
- 239000000284 extract Substances 0.000 claims abstract description 16
- 238000004590 computer program Methods 0.000 claims description 8
- 230000014759 maintenance of location Effects 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 abstract description 10
- 238000012806 monitoring device Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种基于Hadoop的监控方法、系统、存储介质及设备，方法包括：由监控模块采集Hadoop的若干子服务的运行信息，并将运行信息分别发送至消息队列；由日志收集模块收集若干子服务在运行过程中产生的日志文本，并将日志文本分别发送至消息队列；由消息队列将接收到的运行信息和日志文本分别写入各自对应的存储单元；由分析模块从多个存储单元中分别解析相应的运行信息及日志文本，并在解析过程中捕获其中的异常信息，并从异常信息中提取关键信息，且将关键信息展示至Hadoop的可视界面以进行监控。本发明实现了对Hadoop的子服务进行多种维度的全面监控，并且可以使运维人员及时了解到异常情况，以采取积极的解决措施。
Description
技术领域
本发明涉及大数据技术领域，尤其涉及一种基于Hadoop的监控方法、系统、存储介质及设备。
背景技术
对于Hadoop(一种分布式系统基础架构)的在线与离线服务、后台日志的管理、服务状态的监控与报错定位等，一直是维护人员的难题，主要原因在于缺少统一的监控管理方法。当服务报错并异常终止时，维护人员需要登录系统后台找到具体的log(日志)文件，并在海量的日志文本中找到异常开始的时间点并逐渐排查。对于重要的在线业务，这种定位方式不符合实时性的要求，容易错过最佳的修复时间造成数据的大量丢失。此外，诸如内存或数据积压等问题，往往异常情况持续到一定的时间之后才会影响到实际业务并被维护人员发现。对于越复杂的项目架构，维护的成本就会越高。
发明内容
有鉴于此，本发明的目的在于提出一种基于Hadoop的监控方法、系统、存储介质及设备，用以解决现有技术中对于Hadoop的多种信息的监控缺少统一管理的问题。
基于上述目的，本发明提供了一种基于Hadoop的监控方法，包括以下步骤：
由监控模块采集Hadoop的若干子服务的运行信息，并将运行信息分别发送至消息队列；
由日志收集模块收集若干子服务在运行过程中产生的日志文本，并将日志文本分别发送至消息队列；
由消息队列将接收到的运行信息和日志文本分别写入各自对应的存储单元；
由分析模块从多个存储单元中分别解析相应的运行信息及日志文本，并在解析过程中捕获其中的异常信息，并从异常信息中提取关键信息，且将关键信息展示至Hadoop的可视界面以进行监控。
在一些实施例中，由分析模块从多个存储单元中分别解析相应的运行信息及日志文本，并在解析过程中捕获其中的异常信息，并从异常信息中提取关键信息，且将关键信息展示至Hadoop的可视界面以进行监控包括：
由分析模块从运行信息所在的存储单元中分别解析运行信息，并在每个运行信息的解析过程中捕获其中异常的运行状态信息以及资源占用情况达到预警程度的异常资源占用信息；
从异常的运行状态信息和异常资源占用信息中分别提取相应的异常项名称和异常发生时间，并将异常项名称和异常发生时间展示至可视界面。
在一些实施例中，将日志文本分别发送至消息队列包括：
将日志文本分别添加时间戳后发送至消息队列。
在一些实施例中，由分析模块从多个存储单元中分别解析相应的运行信息及日志文本，并在解析过程中捕获其中的异常信息，并从异常信息中提取关键信息，且将关键信息展示至Hadoop的可视界面以进行监控还包括：
由分析模块从日志文本所在的存储单元中分别解析日志文本，并在每个日志文本的解析过程中捕获其中的报错信息，并从报错信息中提取报错项和对应的报错内容，并将报错项和对应的报错内容添加对应的时间戳中的时间记录后展示至可视界面。
在一些实施例中，方法还包括：
由监控模块为每个运行信息在消息队列创建一个存储单元；
由日志收集模块为每个日志文本在消息队列创建一个存储单元。
在一些实施例中，方法还包括：
由消息队列基于预设的历史数据保留时间对运行信息和日志文本进行保留。
在一些实施例中，若干子服务包括HDFS、YARN及MapReduce中的任意一个或多个。
本发明的另一方面，还提供了一种基于Hadoop的监控系统，包括：
第一发送模块，配置用于由监控模块采集Hadoop的若干子服务的运行信息，并将运行信息分别发送至消息队列；
第二发送模块，配置用于由日志收集模块收集若干子服务在运行过程中产生的日志文本，并将日志文本分别发送至消息队列；
存储模块，配置用于由消息队列将接收到的运行信息和日志文本分别写入各自对应的存储单元；以及
监控模块，配置用于由分析模块从多个存储单元中分别解析相应的运行信息及日志文本，并在解析过程中捕获其中的异常信息，并从异常信息中提取关键信息，且将关键信息展示至Hadoop的可视界面以进行监控。
本发明的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述方法。
本发明的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述方法。
本发明至少具有以下有益技术效果：
本发明通过设置监控模块来采集Hadoop的子服务的运行信息，并设置日志收集模块来收集子服务运行过程中的日志文本，并经由消息队列将运行信息和日志文本存储至存储单元，再通过设置的分析模块对运行信息和日志文本进行解析以及提取异常信息，从而将重要的异常情况展示到可视界面，可以及时让运维人员了解到异常情况的发生，从而对Hadoop的子服务进行多种维度的全面监控；并且通过关键信息可以使运维人员高效定位到相应的异常项目，以及时采取对应的解决措施，从而避免造成更严重的影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为根据本发明实施例提供的基于Hadoop的监控方法的示意图；
图2为根据本发明实施例提供的基于Hadoop的监控系统的示意图；
图3为根据本发明实施例提供的实现基于Hadoop的监控方法的计算机可读存储介质的示意图；
图4为根据本发明实施例提供的执行基于Hadoop的监控方法的计算机设备的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。
基于上述目的，本发明实施例的第一个方面，提出了一种基于Hadoop的监控方法的实施例。图1示出的是本发明提供的基于Hadoop的监控方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：
步骤S10、由监控模块采集Hadoop的若干子服务的运行信息，并将运行信息分别发送至消息队列；
步骤S20、由日志收集模块收集若干子服务在运行过程中产生的日志文本，并将日志文本分别发送至消息队列；
步骤S30、由消息队列将接收到的运行信息和日志文本分别写入各自对应的存储单元；
步骤S40、由分析模块从多个存储单元中分别解析相应的运行信息及日志文本，并在解析过程中捕获其中的异常信息，并从异常信息中提取关键信息，且将关键信息展示至Hadoop的可视界面以进行监控。
本发明实施例通过设置监控模块来采集Hadoop的子服务的运行信息，并设置日志收集模块来收集子服务运行过程中的日志文本，并经由消息队列将运行信息和日志文本存储至存储单元，再通过设置的分析模块对运行信息和日志文本进行解析以及提取异常信息，从而将重要的异常情况展示到可视界面，可以及时让运维人员了解到异常情况的发生，从而对Hadoop的子服务进行多种维度的全面监控；并且通过关键信息可以使运维人员高效定位到相应的异常项目，以及时采取对应的解决措施，从而避免造成更严重的影响。
在一些实施例中，若干子服务包括HDFS、YARN及MapReduce中的任意一个或多个。
Hadoop是一种分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统，其中一个组件是HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的要求，可以以流的形式访问文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。YARN(YetAnother Resource Negotiator，另一种资源协调者)是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
在一些实施例中，由分析模块从多个存储单元中分别解析相应的运行信息及日志文本，并在解析过程中捕获其中的异常信息，并从异常信息中提取关键信息，且将关键信息展示至Hadoop的可视界面以进行监控包括：由分析模块从运行信息所在的存储单元中分别解析运行信息，并在每个运行信息的解析过程中捕获其中异常的运行状态信息以及资源占用情况达到预警程度的异常资源占用信息；从异常的运行状态信息和异常资源占用信息中分别提取相应的异常项名称和异常发生时间，并将异常项名称和异常发生时间展示至可视界面。
本实施例中，运行信息中的异常信息主要包括异常的运行状态信息和资源占用情况达到预警程度的异常资源占用信息。运行状态信息包括子服务的进程状态信息及端口情况等；资源占用情况主要指内存、IO(数据输入输出)、磁盘等资源的使用率情况。
在一些实施例中，将日志文本分别发送至消息队列包括：将日志文本分别添加时间戳后发送至消息队列。
在一些实施例中，由分析模块从多个存储单元中分别解析相应的运行信息及日志文本，并在解析过程中捕获其中的异常信息，并从异常信息中提取关键信息，且将关键信息展示至Hadoop的可视界面以进行监控还包括：由分析模块从日志文本所在的存储单元中分别解析日志文本，并在每个日志文本的解析过程中捕获其中的报错信息，并从报错信息中提取报错项和对应的报错内容，并将报错项和对应的报错内容添加对应的时间戳中的时间记录后展示至可视界面。
本实施例中，日志文本中的异常信息主要指报错信息，关键信息主要指日志文本中记录的报错项和对应的报错内容。
在一些实施例中，方法还包括：由监控模块为每个运行信息在消息队列创建一个存储单元；由日志收集模块为每个日志文本在消息队列创建一个存储单元。
在一些实施例中，方法还包括：由消息队列基于预设的历史数据保留时间对运行信息和日志文本进行保留。
本实施例中，消息队列可以设置保留历史数据的时间，这样可以避免数据过多占满磁盘的情况发生。
本发明的基于Hadoop的监控方法的具体实施例如下：
本实施例的基于Hadoop的监控方法的实现涉及到监控模块、日志收集模块、Kafka消息队列、日志分析模块、数据库与web项目。
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
具体实施过程如下：
1)监控模块用于收集Hadoop某个子服务的运行状态与资源的占用情况，将这些信息转化为字节流，并开启生产者线程，将这些字节流发送到Kafka消息队列：
a.监控模块分别对接监控的不同服务项目，以一定的频率采集各个子服务的进程状态与端口情况、IO、网络带宽、MapReduce内存占用等，每次采集的信息作为一行数据转化为字节流；
b.针对每一个要监控的服务项目，监控模块都会为其在Kafka消息队列创建一个Topic(即存储单元)；
c.监控项目开启生产者进程将每个项目的监控信息写入其对应的Topic。
2)日志收集模块用于接收各个服务产生的后台日志，每行日志会以字节流的形式被收集并加上时间戳，开启生产者进程将日志逐行发送到Kafka消息队列，此时log(日志)文件不会在本地目录，避免占用额外的磁盘空间：
a.日志收集模块分别对接的不同Hadoop子服务，包括HDFS、YARN、MapReduce的各个节点的服务日志文本，实时采集每行文本并加上时间戳作为一条数据转化为字节流；
b.针对每一个要收集日志的服务项目，日志收集模块都会为其在Kafka消息队列创建一个Topic(即存储单元)；
c.日志收集项目开启生产者进程将每行日志信息写入到Topic，并且需要保证写入的顺序，本地目录不再生成log(日志)文件，改用Kafka消息队列存储日志。
3)Kafka消息队列维护了不同子服务的Topic，包含监控信息与后台日志的Topic，Kafka可以设置历史数据保留时间(默认设置7天)，可防止磁盘占用过高。
4)分析模块开启消费者线程，从Kafka Topic中消费监控信息和日志并进行解析用于前端展示：
a.解析监控信息时，将不同所属项目的数据条目转化为正确的格式同步到web项目；
b.解析后台日志文本时，保证消费日志文本的顺序性。通过代码逻辑捕捉文本中的异常信息，提取出关键报错内容并获取一定的上下文，过滤掉不必要的文本，通过正确的格式将报错信息、所属项目以及对应的时间等作为数据写入数据库。
5)Web模块获取各个服务项目的监控数据和日志报错等信息进行可视化展示，需要实现以下功能：
a.与分析模块保持实时通信，直接获取其消费的监控数据，为各个服务项目展示对应的监控信息，设置阈值，当内存、IO(数据输入输出)、磁盘等使用率超出阈值会作为一次告警进行记录，以便回溯调查；
b.与数据库保持实时通信，查询后台日志中的报错信息，以时间倒序的列表形式进行前端展示，点击可查看报错详情，包括报错的详细信息等；此外相同原因导致的同类报错进行合并归纳，防止大量重复报错占据页面资源，为排查造成不便；
c.提供完整日志下载功能，向分析模块发起请求，从Kafka中消费各个子服务原始日志的全量内容并写入文件，以满足下载查看完整日志的需求；
d.提供日志查询功能，包括报错信息以外的正常日志，向分析模块发起请求并从Kafka中消费日志且返回内容，并可通过行号、时间区间以及关键字等选择性展示日志。
本实施例通过Kafka消息队列的高吞吐、低延迟与高可用等特性，实现对后台日志输出的管理，并通过web项目前端直接查询报错信息，可以清晰且直观的统计某个服务项目在哪个时间段发生了哪些异常，实现更为高效的定位，有效避免遗漏。
本发明实施例的第二个方面，还提供了一种基于Hadoop的监控系统。图2示出的是本发明提供的基于Hadoop的监控系统的实施例的示意图。如图2所示，一种基于Hadoop的监控系统包括：第一发送模块10，配置用于由监控模块采集Hadoop的若干子服务的运行信息，并将运行信息分别发送至消息队列；第二发送模块20，配置用于由日志收集模块收集若干子服务在运行过程中产生的日志文本，并将日志文本分别发送至消息队列；存储模块30，配置用于由消息队列将接收到的运行信息和日志文本分别写入各自对应的存储单元；以及监控模块40，配置用于由分析模块从多个存储单元中分别解析相应的运行信息及日志文本，并在解析过程中捕获其中的异常信息，并从异常信息中提取关键信息，且将关键信息展示至Hadoop的可视界面以进行监控。
本发明实施例的基于Hadoop的监控系统，通过设置监控模块来采集Hadoop的子服务的运行信息，并设置日志收集模块来收集子服务运行过程中的日志文本，并经由消息队列将运行信息和日志文本存储至存储单元，再通过设置的分析模块对运行信息和日志文本进行解析以及提取异常信息，从而将重要的异常情况展示到可视界面，可以及时让运维人员了解到异常情况的发生，从而对Hadoop的子服务进行多种维度的全面监控；并且通过关键信息可以使运维人员高效定位到相应的异常项目，以及时采取对应的解决措施，从而避免造成更严重的影响。
本发明实施例的第三个方面，还提供了一种计算机可读存储介质，图3示出了根据本发明实施例提供的实现基于Hadoop的监控方法的计算机可读存储介质的示意图。如图3所示，计算机可读存储介质3存储有计算机程序指令31。该计算机程序指令31被处理器执行时实现上述任意一项实施例的方法。
应当理解，在相互不冲突的情况下，以上针对根据本发明的基于Hadoop的监控方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的基于Hadoop的监控系统和存储介质。
本发明实施例的第四个方面，还提供了一种计算机设备，包括如图4所示的存储器402和处理器401，该存储器402中存储有计算机程序，该计算机程序被该处理器401执行时实现上述任意一项实施例的方法。
如图4所示，为本发明提供的执行基于Hadoop的监控方法的计算机设备的一个实施例的硬件结构示意图。以如图4所示的计算机设备为例，在该计算机设备中包括一个处理器401以及一个存储器402，并还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图4中以通过总线连接为例。输入装置403可接收输入的数字或字符信息，以及产生与基于Hadoop的监控系统的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。
存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的基于Hadoop的监控方法对应的程序指令/模块。存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储基于Hadoop的监控方法的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的基于Hadoop的监控方法。
最后需要说明的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种基于Hadoop的监控方法，其特征在于，包括以下步骤：
由监控模块采集Hadoop的若干子服务的运行信息，并将所述运行信息分别发送至消息队列；
由日志收集模块收集所述若干子服务在运行过程中产生的日志文本，并将所述日志文本分别发送至所述消息队列；
由所述消息队列将接收到的所述运行信息和所述日志文本分别写入各自对应的存储单元；
由分析模块从多个所述存储单元中分别解析相应的运行信息及日志文本，并在解析过程中捕获其中的异常信息，并从所述异常信息中提取关键信息，且将所述关键信息展示至所述Hadoop的可视界面以进行监控。
2.根据权利要求1所述的方法，其特征在于，由分析模块从多个所述存储单元中分别解析相应的运行信息及日志文本，并在解析过程中捕获其中的异常信息，并从所述异常信息中提取关键信息，且将所述关键信息展示至所述Hadoop的可视界面以进行监控包括：
由所述分析模块从所述运行信息所在的存储单元中分别解析所述运行信息，并在每个所述运行信息的解析过程中捕获其中异常的运行状态信息以及资源占用情况达到预警程度的异常资源占用信息；
从所述异常的运行状态信息和所述异常资源占用信息中分别提取相应的异常项名称和异常发生时间，并将所述异常项名称和异常发生时间展示至所述可视界面。
3.根据权利要求1所述的方法，其特征在于，将所述日志文本分别发送至所述消息队列包括：
将所述日志文本分别添加时间戳后发送至所述消息队列。
4.根据权利要求3所述的方法，其特征在于，由分析模块从多个所述存储单元中分别解析相应的运行信息及日志文本，并在解析过程中捕获其中的异常信息，并从所述异常信息中提取关键信息，且将所述关键信息展示至所述Hadoop的可视界面以进行监控还包括：
由所述分析模块从所述日志文本所在的存储单元中分别解析所述日志文本，并在每个所述日志文本的解析过程中捕获其中的报错信息，并从所述报错信息中提取报错项和对应的报错内容，并将所述报错项和对应的报错内容添加对应的时间戳中的时间记录后展示至所述可视界面。
5.根据权利要求1所述的方法，其特征在于，还包括：
由所述监控模块为每个所述运行信息在所述消息队列创建一个所述存储单元；
由所述日志收集模块为每个所述日志文本在所述消息队列创建一个所述存储单元。
6.根据权利要求1所述的方法，其特征在于，还包括：
由所述消息队列基于预设的历史数据保留时间对所述运行信息和所述日志文本进行保留。
7.根据权利要求1所述的方法，其特征在于，所述若干子服务包括HDFS、YARN及MapReduce中的任意一个或多个。
8.一种基于Hadoop的监控系统，其特征在于，包括：
第一发送模块，配置用于由监控模块采集Hadoop的若干子服务的运行信息，并将所述运行信息分别发送至消息队列；
第二发送模块，配置用于由日志收集模块收集所述若干子服务在运行过程中产生的日志文本，并将所述日志文本分别发送至所述消息队列；
存储模块，配置用于由所述消息队列将接收到的所述运行信息和所述日志文本分别写入各自对应的存储单元；以及
监控模块，配置用于由分析模块从多个所述存储单元中分别解析相应的运行信息及日志文本，并在解析过程中捕获其中的异常信息，并从所述异常信息中提取关键信息，且将所述关键信息展示至所述Hadoop的可视界面以进行监控。
9.一种计算机可读存储介质，其特征在于，存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的方法。
10.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时执行如权利要求1-7任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111554419.8A CN114328093A (zh) | 2021-12-17 | 2021-12-17 | 一种基于Hadoop的监控方法、系统、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111554419.8A CN114328093A (zh) | 2021-12-17 | 2021-12-17 | 一种基于Hadoop的监控方法、系统、存储介质及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114328093A true CN114328093A (zh) | 2022-04-12 |
Family
ID=81052983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111554419.8A Withdrawn CN114328093A (zh) | 2021-12-17 | 2021-12-17 | 一种基于Hadoop的监控方法、系统、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114328093A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115118754A (zh) * | 2022-08-29 | 2022-09-27 | 中国汽车技术研究中心有限公司 | 针对电动汽车的远程监控测试系统和监控测试方法 |
-
2021
- 2021-12-17 CN CN202111554419.8A patent/CN114328093A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115118754A (zh) * | 2022-08-29 | 2022-09-27 | 中国汽车技术研究中心有限公司 | 针对电动汽车的远程监控测试系统和监控测试方法 |
| CN115118754B (zh) * | 2022-08-29 | 2022-11-25 | 中国汽车技术研究中心有限公司 | 针对电动汽车的远程监控测试系统和监控测试方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107634848B (zh) | 一种采集分析网络设备信息的系统和方法 | |
| CN106487596B (zh) | 分布式服务跟踪实现方法 | |
| CN108365985A (zh) | 一种集群管理方法、装置、终端设备及存储介质 | |
| US10116534B2 (en) | Systems and methods for WebSphere MQ performance metrics analysis | |
| CN101997925A (zh) | 具有预警功能的服务器监控方法及其系统 | |
| CN110688280B (zh) | 一种告警事件的管理系统、方法、设备和存储介质 | |
| CN111259073A (zh) | 基于日志、流量和业务访问的业务系统运行状态智能研判系统 | |
| CN112865311B (zh) | 一种电力系统消息总线监视方法和装置 | |
| CN107357804A (zh) | 互联网金融海量日志的分析系统及方法 | |
| CN114328093A (zh) | 一种基于Hadoop的监控方法、系统、存储介质及设备 | |
| CN105515192A (zh) | 输变电设备负荷数据接入电力系统的监控预警系统及方法 | |
| CN114090644B (zh) | 一种数据处理方法及装置 | |
| CN115525392A (zh) | 容器监控方法、装置、电子设备及存储介质 | |
| CN116226067A (zh) | 日志管理方法、日志管理装置、处理器和日志平台 | |
| CN114138720A (zh) | 日志处理方法、装置、电子装置和存储介质 | |
| CN116126621A (zh) | 大数据集群的任务监控方法及相关设备 | |
| CN111737097B (zh) | 一种流处理系统的性能测试方法及相关装置 | |
| CN106933718B (zh) | 性能监控方法及装置 | |
| CN113704203A (zh) | 一种日志文件的处理方法及装置 | |
| WO2018192569A1 (zh) | 设备监控方法、装置及系统 | |
| Wang et al. | Model Construction and Data Management of Running Log in Supporting SaaS Software Performance Analysis. | |
| CN112417015A (zh) | 数据分发方法和装置、存储介质及电子装置 | |
| Chandra et al. | Co-designing the failure analysis and monitoring of large-scale systems | |
| CN111654410B (zh) | 网关请求监控方法、装置、设备及介质 | |
| CN109684159A (zh) | 分布式消息系统的状态监控方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220412 |