CN111352806B - 日志数据监控方法及装置 - Google Patents
日志数据监控方法及装置 Download PDFInfo
- Publication number
- CN111352806B CN111352806B CN202010241027.5A CN202010241027A CN111352806B CN 111352806 B CN111352806 B CN 111352806B CN 202010241027 A CN202010241027 A CN 202010241027A CN 111352806 B CN111352806 B CN 111352806B
- Authority
- CN
- China
- Prior art keywords
- monitoring
- node
- nodes
- log data
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 340
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000002159 abnormal effect Effects 0.000 claims abstract description 89
- 238000003860 storage Methods 0.000 claims description 84
- 238000004458 analytical method Methods 0.000 claims description 71
- 238000012545 processing Methods 0.000 claims description 33
- 230000005856 abnormality Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012423 maintenance Methods 0.000 abstract description 32
- 230000006870 function Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 16
- 238000012806 monitoring device Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000008520 organization Effects 0.000 description 6
- 239000000872 buffer Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000011835 investigation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请实施例提供一种日志数据监控方法及装置，方法包括：接收各个节点发送的日志数据，并对所述日志数据进行状态划分，确定对应的节点状态；对指定节点状态的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，若是，则执行预设告警操作；本申请能够从多个维度对节点日志数据进行监控和分析，准确定位异常位置，提高集群运维自动化水平和运维效率。
Description
技术领域
本申请涉及数据处理领域，具体涉及一种日志数据监控方法及装置。
背景技术
目前随着云上应用数量不断地增长，日志中心接入的接入数据与流量大大增加。现有技术中的日志存储集群监控仅存在一些单一数据监控，比如：进程状态、节点CPU、节点内存和节点存储等，现有监控仅涉及设备底层相关信息，对集群实际运行状态无法直观掌握，同时也对实际问题分析产生障碍。
发明内容
针对现有技术中的问题，本申请提供一种日志数据监控方法及装置，能够从多个维度对节点日志数据进行监控和分析，准确定位异常位置，提高集群运维自动化水平和运维效率。
为了解决上述问题中的至少一个，本申请提供以下技术方案：
第一方面，本申请提供一种日志数据监控方法，包括：
接收各个节点发送的日志数据，并对所述日志数据进行状态划分，确定对应的节点状态；
对指定节点状态的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，若是，则执行预设告警操作。
进一步地，所述对指定节点状态的节点进行监控分析，包括：
对节点状态为部分可用的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，其中，所述监控分析包括：存储空间监控、JVM资源监控、所属集群状态监控、搜索性能监控、索引性能监控、请求负载监控中的至少一种。
进一步地，所述对节点状态为部分可用的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，包括：
对节点状态为部分可用的节点进行存储空间监控，确定所述节点的磁盘空间和存储效率；
若所述节点的磁盘空间和存储效率超出预设存储空间阈值，则判定所述节点异常。
进一步地，所述对节点状态为部分可用的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，包括：
对节点状态为部分可用的节点进行JVM资源监控，确定所述节点的堆内存与swap内存使用状况；
若所述节点的堆内存与swap内存使用状况符合预设内存异常条件，则判定所述节点异常。
进一步地，所述对节点状态为部分可用的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，包括：
对节点状态为部分可用的节点进行所属集群状态监控，确定所述节点所属集群的集群状态和该集群中的节点数量；
若所述节点所属集群的集群状态和该集群中的节点数量符合预设集群异常条件，则判定所述节点异常。
进一步地，所述对节点状态为部分可用的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，包括：
对节点状态为部分可用的节点进行搜索性能监控，确定对应的请求处理时间；
若所述节点的请求处理时间超出预设请求处理时间阈值，则判定所述节点异常。
进一步地，所述对节点状态为部分可用的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，包括：
对节点状态为部分可用的节点进行索引性能监控，确定对应的索引速率和合并时间；
若所述节点的索引速率和合并时间超出预设索引时间阈值，则判定所述节点异常。
进一步地，所述对节点状态为部分可用的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，包括：
对节点状态为部分可用的节点进行请求负载监控，确定对应的瞬时接入请求；
若所述节点的瞬时接入请求超出预设瞬时请求数量阈值，则判定所述节点异常。
第二方面，本申请提供一种日志数据监控装置，包括：
节点状态确定模块，用于接收各个节点发送的日志数据，并对所述日志数据进行状态划分，确定对应的节点状态；
节点监控分析模块，用于对指定节点状态的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，若是，则执行预设告警操作。
进一步地，所述节点监控分析模块包括：
部分可用节点监控分析单元，用于对节点状态为部分可用的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，其中，所述监控分析包括：存储空间监控、JVM资源监控、所属集群状态监控、搜索性能监控、索引性能监控、请求负载监控中的至少一种。
进一步地，所述部分可用节点监控分析单元包括：
存储空间监控子单元，用于对节点状态为部分可用的节点进行存储空间监控，确定所述节点的磁盘空间和存储效率；
存储空间监控异常判定子单元，用于若所述节点的磁盘空间和存储效率超出预设存储空间阈值，则判定所述节点异常。
进一步地，所述部分可用节点监控分析单元包括：
JVM资源监控子单元，用于对节点状态为部分可用的节点进行JVM资源监控，确定所述节点的堆内存与swap内存使用状况；
JVM资源监控异常判定子单元，用于若所述节点的堆内存与swap内存使用状况符合预设内存异常条件，则判定所述节点异常。
进一步地，所述部分可用节点监控分析单元包括：
所属集群状态监控子单元，用于对节点状态为部分可用的节点进行所属集群状态监控，确定所述节点所属集群的集群状态和该集群中的节点数量；
所属集群状态监控异常判定子单元，用于若所述节点所属集群的集群状态和该集群中的节点数量符合预设集群异常条件，则判定所述节点异常。
进一步地，所述部分可用节点监控分析单元包括：
搜索性能监控子单元，用于对节点状态为部分可用的节点进行搜索性能监控，确定对应的请求处理时间；
搜索性能监控异常判定子单元，用于若所述节点的请求处理时间超出预设请求处理时间阈值，则判定所述节点异常。
进一步地，所述部分可用节点监控分析单元包括：
索引性能监控子单元，用于对节点状态为部分可用的节点进行索引性能监控，确定对应的索引速率和合并时间；
索引性能监控判定子单元，用于若所述节点的索引速率和合并时间超出预设索引时间阈值，则判定所述节点异常。
进一步地，所述部分可用节点监控分析单元包括：
请求负载监控子单元，用于对节点状态为部分可用的节点进行请求负载监控，确定对应的瞬时接入请求；
请求负载监控异常判定子单元，用于若所述节点的瞬时接入请求超出预设瞬时请求数量阈值，则判定所述节点异常。
第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的日志数据监控方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的日志数据监控方法的步骤。
由上述技术方案可知，本申请提供一种日志数据监控方法及装置，通过接收各个节点发送的日志数据，并对所述日志数据进行状态划分，确定对应的节点状态；对指定节点状态的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，若是，则执行预设告警操作，本申请能够实现从设备资源情况到集群运行状态最后到网络请求的全方位监控。同时需要基于已有运维经验对监控的策略进行场景化组织初步定位相应问题并提供相应应急方案，而非单独给出简单的数据异常报警。增强监控预警功能的自学习，提高系统的自动化运维水平。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中的日志数据监控方法的流程示意图之一；
图2为本申请实施例中的日志数据监控方法的流程示意图之二；
图3为本申请实施例中的日志数据监控方法的流程示意图之三；
图4为本申请实施例中的日志数据监控方法的流程示意图之四；
图5为本申请实施例中的日志数据监控方法的流程示意图之五；
图6为本申请实施例中的日志数据监控方法的流程示意图之六；
图7为本申请实施例中的日志数据监控方法的流程示意图之七；
图8为本申请实施例中的日志数据监控装置的结构图之一；
图9为本申请实施例中的日志数据监控装置的结构图之二；
图10为本申请实施例中的日志数据监控装置的结构图之三；
图11为本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
考虑到目前随着云上应用数量不断地增长，日志中心接入的接入数据与流量大大增加。现有技术中的日志存储集群监控仅存在一些单一数据监控，比如：进程状态、节点CPU、节点内存和节点存储等，现有监控仅涉及设备底层相关信息，对集群实际运行状态无法直观掌握，同时也对实际问题分析产生障碍的问题，本申请提供一种日志数据监控方法及装置，通过接收各个节点发送的日志数据，并对所述日志数据进行状态划分，确定对应的节点状态；对指定节点状态的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，若是，则执行预设告警操作，本申请能够实现从设备资源情况到集群运行状态最后到网络请求的全方位监控。同时需要基于已有运维经验对监控的策略进行场景化组织初步定位相应问题并提供相应应急方案，而非单独给出简单的数据异常报警。增强监控预警功能的自学习，提高系统的自动化运维水平。
为了能够从多个维度对节点日志数据进行监控和分析，准确定位异常位置，提高集群运维自动化水平和运维效率，本申请提供一种日志数据监控方法的实施例，参见图1，所述日志数据监控方法具体包含有如下内容：
步骤S101：接收各个节点发送的日志数据，并对所述日志数据进行状态划分，确定对应的节点状态。
可以理解的是，所述接收各个节点发送的日志数据可以通过一输入层实现并最终将日志数据存储于一存储层。
具体的，所述输入层可以为各个节点输入日志存储集群的各个客户端，例如filebeat、fluentd和logstash等多种不同客户端，各个不同类型的采集终端将请求发送至负载均衡节点，再由负载均衡节点转发至存储集群。
具体的，所述存储层可以为日志中心存储集群基于Elasticserch进行分布式日志存储集群的搭建。
其中，上述日志存储集群可以分为管理节点、负载查询节点和存储节点。存储节点按照应用维度创建索引并进行管理。每个索引会在各个存储节点创建不同分片进行分布式存储以便提高查询效率以及可用性。
1)管理节点用于创建或删除索引和集群管理等，通过选举产生。
2)负载查询为集群调度节点，负责处理批量索引和搜索请求等请求并将请求下发至存储节点。
3)存储节点用于存储数据并可进行查询，并分为主备节点进行数据存储以保证数据的高可用性能。
可选的，所述对所述日志数据进行状态划分，确定对应的节点状态是指进行数据的记录与基本状态划分，以便清晰各个组件以及不同层面的运行情况。对各类型监控数据进行分类并进行相应处理。
步骤S102：对指定节点状态的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，若是，则执行预设告警操作。
具体的，首先进行数据分类，具体可分为两类：一般监控与重点监控。对与重点监控信息进行状态细分。按照基本状况可划分：良好，可用，部分可用，异常和需关注五类状态。当监控模块出现异常则自动对应产生相应报警。
其次，已经分类进行数据处理：对于部分可用状态需对各监控模块信息进行具体分析。而对于一般数据进行指标化报警监控。报警状态可动态调整以便实现对于监控进行动态控制。为避免监控导致节点资源的损耗对集群产生影响仅对重点数据进行高实时性采集，一般监控类型数据仅进行数据采集并根据数据波动情况进行状态登记。
从上述描述可知，本申请实施例提供的日志数据监控方法，能够通过接收各个节点发送的日志数据，并对所述日志数据进行状态划分，确定对应的节点状态；对指定节点状态的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，若是，则执行预设告警操作，本申请能够实现从设备资源情况到集群运行状态最后到网络请求的全方位监控。同时需要基于已有运维经验对监控的策略进行场景化组织初步定位相应问题并提供相应应急方案，而非单独给出简单的数据异常报警。增强监控预警功能的自学习，提高系统的自动化运维水平。
为了能够有针对性的对节点进行监控分析，尽量节约系统资源，在本申请的日志数据监控方法的一实施例中，还可以具体包含如下内容：
对节点状态为部分可用的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，其中，所述监控分析包括：存储空间监控、JVM资源监控、所属集群状态监控、搜索性能监控、索引性能监控、请求负载监控中的至少一种。
为了能够有效对节点进行存储空间监控，在本申请的日志数据监控方法的一实施例中，参加图2，还可以具体包含如下内容：
步骤S201：对节点状态为部分可用的节点进行存储空间监控，确定所述节点的磁盘空间和存储效率。
步骤S202：若所述节点的磁盘空间和存储效率超出预设存储空间阈值，则判定所述节点异常。
具体的，监控设备资源信息，针对不同节点类型进行分配不同监控策略。管理节点与负载查询节点仅进行CPU内存的监控，并提供存储状态查询的能力。由于正常情况下管理节点与负载查询节点的节点性能与节点的CPU、内存、磁盘空间和存储效率关联较大因此以磁盘空间与存储效率作为重点监控数据。以磁盘存储为例，当使用率少于30％则认为该项指标良好，当使用介于30％至50％则视为可用；当介于50％至70％时则认为为内存需关注并将节点中CPU、内存与存储相关信息报送状态控制器进行状态判断；当内存使用超过80％则直接视为异常状态并进行报警。
为了能够有效对节点进行JVM资源监控，在本申请的日志数据监控方法的一实施例中，参加图3，还可以具体包含如下内容：
步骤S301：对节点状态为部分可用的节点进行JVM资源监控，确定所述节点的堆内存与swap内存使用状况。
步骤S302：若所述节点的堆内存与swap内存使用状况符合预设内存异常条件，则判定所述节点异常。
具体的，由于elasticsearch运行在java虚拟机中，因此需对JVM资源使用情况进行监控：对于堆内存与swap内存使用情况，非堆使用情况。由于超出堆内存容量会使用到存储介质性能较差，因此当出现堆内存超容的情况需进行监控上报。JVM资源部分需重点对堆内存使用与swap内存使用情况进行监控。堆内存监控类似内存监控不在赘述。同时由于日志存储对处理性能依赖较重对于swap内存则需要重点关注，当出现swap内存使用情况则视为JVM模块状态为可用(堆内存为良好时)，当swap内存重复使用则认为JVM模块需关注，同时将堆内存使用，swap内存使用以及线程信息与gc信息一并传入用于进行堆内存使用与释放的信息确认。
为了能够有效对节点进行所属集群状态监控，在本申请的日志数据监控方法的一实施例中，参加图4，还可以具体包含如下内容：
步骤S401：对节点状态为部分可用的节点进行所属集群状态监控，确定所述节点所属集群的集群状态和该集群中的节点数量。
步骤S402：若所述节点所属集群的集群状态和该集群中的节点数量符合预设集群异常条件，则判定所述节点异常。
具体的，查看集群状态与集群中的节点数目(正常和异常)。当集中节点数目出现缺失或节点状态异常则认为集群状态需观察，同时反馈各节点的连接情况与进程情况一并传入状态分析模块。
为了能够有效对节点进行搜索性能监控，在本申请的日志数据监控方法的一实施例中，参加图5，还可以具体包含如下内容：
步骤S501：对节点状态为部分可用的节点进行搜索性能监控，确定对应的请求处理时间。
步骤S502：若所述节点的请求处理时间超出预设请求处理时间阈值，则判定所述节点异常。
具体的，搜索性能是日志存储集群衡量系统处理请求所需时间的重要指标。搜索分为两个部分：查询(query)和获取(fetch)，分别对当前的两种状态的实时数目与总数进行统计同时对相应耗时进行相应查询。根据查询与获取的时间进行相应状态进行监控。
为了能够有效对节点进行搜索性能监控，在本申请的日志数据监控方法的一实施例中，参加图6，还可以具体包含如下内容：
步骤S601：对节点状态为部分可用的节点进行索引性能监控，确定对应的索引速率和合并时间。
步骤S602：若所述节点的索引速率和合并时间超出预设索引时间阈值，则判定所述节点异常。
具体的，对与文档的增删改操作需依赖索引进行，通过对索引速率和合并时间进行监控进行集群性能的监控为性能监控与后续性能优化提供参考。对于集群中各个分片的状态进行实时监控，对于未注册索引予以关注。当索引长时间未注册或存在未删除历史索引则也登记为需关注状态。
为了能够有效对节点进行请求负载监控，在本申请的日志数据监控方法的一实施例中，参加图7，还可以具体包含如下内容：
步骤S701：对节点状态为部分可用的节点进行请求负载监控，确定对应的瞬时接入请求。
步骤S702：若所述节点的瞬时接入请求超出预设瞬时请求数量阈值，则判定所述节点异常。
具体的，对接入层瞬时请求进行监控，用于网络侧请求量控制与对比分析。发送端日志目前按照应用维度进行划分，可提供个应用接入的连接信息以供查询。并对比历史数据进行状态划分，对于接入明显大于(或小于)历史同期数据或明显流量波动时将负载模块置为需关注，并登记各应用连接信息供状态分析模块进行查询。
此外，在本申请的一些实施例中，本申请还可以设置一监控与报警处理模块：用于对个不同监控模块进行实时数据调用与汇总处理。将异常数据报警模块进行相关报警，同时根据报警类型不同再次进行问题的初步排查(将相关信息状态分析输出的相关节点的监控信息进行获取)。对于常规数据则进行本地化保存同时提供统一化监控模块进行集中数据展示。同时根据状态分析模块中的运维常见问题进行例行排查，极大的提高自动化运维能力。
为了能够从多个维度对节点日志数据进行监控和分析，准确定位异常位置，提高集群运维自动化水平和运维效率，本申请提供一种用于实现所述日志数据监控方法的全部或部分内容的日志数据监控装置的实施例，参见图8，所述日志数据监控装置具体包含有如下内容：
节点状态确定模块10，用于接收各个节点发送的日志数据，并对所述日志数据进行状态划分，确定对应的节点状态。
节点监控分析模块20，用于对指定节点状态的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，若是，则执行预设告警操作。
从上述描述可知，本申请实施例提供的日志数据监控装置，能够通过接收各个节点发送的日志数据，并对所述日志数据进行状态划分，确定对应的节点状态；对指定节点状态的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，若是，则执行预设告警操作，本申请能够实现从设备资源情况到集群运行状态最后到网络请求的全方位监控。同时需要基于已有运维经验对监控的策略进行场景化组织初步定位相应问题并提供相应应急方案，而非单独给出简单的数据异常报警。增强监控预警功能的自学习，提高系统的自动化运维水平。
为了能够有针对性的对节点进行监控分析，尽量节约系统资源，在本申请的日志数据监控装置的一实施例中，参见图9，所述节点监控分析模块20包括：
部分可用节点监控分析单元21，用于对节点状态为部分可用的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，其中，所述监控分析包括：存储空间监控、JVM资源监控、所属集群状态监控、搜索性能监控、索引性能监控、请求负载监控中的至少一种。
为了能够有效对节点进行存储空间监控，在本申请的日志数据监控装置的一实施例中，参见图10，所述部分可用节点监控分析单元21包括：
存储空间监控子单元211，用于对节点状态为部分可用的节点进行存储空间监控，确定所述节点的磁盘空间和存储效率。
存储空间监控异常判定子单元212，用于若所述节点的磁盘空间和存储效率超出预设存储空间阈值，则判定所述节点异常。
为了能够有效对节点进行JVM资源监控，在本申请的日志数据监控装置的一实施例中，参见图10，所述部分可用节点监控分析单元21包括：
JVM资源监控子单元213，用于对节点状态为部分可用的节点进行JVM资源监控，确定所述节点的堆内存与swap内存使用状况。
JVM资源监控异常判定子单元214，用于若所述节点的堆内存与swap内存使用状况符合预设内存异常条件，则判定所述节点异常。
为了能够有效对节点进行所属集群状态监控，在本申请的日志数据监控装置的一实施例中，参见图10，所述部分可用节点监控分析单元21包括：
所属集群状态监控子单元215，用于对节点状态为部分可用的节点进行所属集群状态监控，确定所述节点所属集群的集群状态和该集群中的节点数量。
所属集群状态监控异常判定子单元216，用于若所述节点所属集群的集群状态和该集群中的节点数量符合预设集群异常条件，则判定所述节点异常。
为了能够有效对节点进行搜索性能监控，在本申请的日志数据监控装置的一实施例中，参见图10，所述部分可用节点监控分析单元21包括：
搜索性能监控子单元217，用于对节点状态为部分可用的节点进行搜索性能监控，确定对应的请求处理时间。
搜索性能监控异常判定子单元218，用于若所述节点的请求处理时间超出预设请求处理时间阈值，则判定所述节点异常。
为了能够有效对节点进行索引性能监控，在本申请的日志数据监控装置的一实施例中，参见图10，所述部分可用节点监控分析单元21包括：
索引性能监控子单元219，用于对节点状态为部分可用的节点进行索引性能监控，确定对应的索引速率和合并时间。
索引性能监控判定子单元220，用于若所述节点的索引速率和合并时间超出预设索引时间阈值，则判定所述节点异常。
为了能够有效对节点进行请求负载监控，在本申请的日志数据监控装置的一实施例中，参见图10，所述部分可用节点监控分析单元21包括：
请求负载监控子单元221，用于对节点状态为部分可用的节点进行请求负载监控，确定对应的瞬时接入请求。
请求负载监控异常判定子单元222，用于若所述节点的瞬时接入请求超出预设瞬时请求数量阈值，则判定所述节点异常。
为了更进一步说明本方案，本申请还提供一种应用上述日志数据监控装置实现日志数据监控方法的具体应用实例，具体包含有如下内容：
状态判断模块：依据状态信息对传入信息进行状态判断。
状态预处理：对常见异常进行自动化处理，并跟进处理结果。
状态信息登记:用于存储监控节点的监控状态、数据信息、以及状态分析模型。
监控信息采集时可分为一般监控和重点监控，具体的，一般监控分为单节点监控波动与集群波动两种情况，由于集群可能存储负载暂时不均衡现象因此对单节点波动监控对集群影响程度较小。出现单节点数据波动时，将监控数据导入状态分析模块，与历史同期数据进行对比同时将数据查询周期缩短以进行相应监控。如数据相符则表明出现历史波动，继续跟踪三个周期后恢复原有监控。若不存在波动与历史数据难以对应则将波动情况与存储层荷载对应应用信息进行记录。出现集群维度监控数据波动时将相应监控信息存储同时将对应参数暂时作为重点监控信息进行监控。
具体的，重点监控主要关注需关注状态时需要对全部集群相关其他监控进行检查同时进行状态分析。目前给出根据现有运维场景与日志集群重写入特性进行状态判定与相应预处理。
具体的，当出现JVM与运行节点异常时，通常由于写入压力较大导致。进行请求负载监控查询与运行节点存储检查，当查询节点存储是否与网络存储一致时则可以判定由于应用业务徒增导致集群节点压力上升导致。自动将备用节点纳入集群以降低集群压力。同时进行周期性监控，是否新增异常状态已解除。当出现其他情况时将异常监控是数据反馈运维进行处理。后续可根据新增场景进行自主化运维。
具体的，当出现集群状态异常时，通常由于集群中部分节点出现底层设备问题如网络异常文件系统异常。此时对异常节点进行网络探测，进程探活与存储检测，如节点检测出现上述异常则可确认为底层设备存在异常，则对于对应设备进行备机替换数据可由其他副本进行拷贝。
具体的，索引异常：集群创建或者应用日志接入会创建相应索引，索引可用后注册在集群中。对于多个监控周期均未注册分片进行，一般由于管理节点异常导致，对3台管理节点CPU、内存进程等信息进行排查，若存在异常则切换备机并通知运维人员进行排查。
具体的，查询相应异常：查询异常通常由于存储层存储量较大导致。一般由于应用日志超发导致存储过大影响查询效率，将相关数据反馈运维人员联系具体发送端进行系统确认。
具体的，对于报警同样按照监控类型进行分类。当一般数据报警将对应节点的监控数据与节点内日志进行保存，以便运维人员进行问题排查。当出现特殊报警类型数据是，需要同时反馈多模块监控数据，如出现相应报警则将相关监控信息与相关节点的日志信息一并返回以便进行问题分析。如出现文件读取报警时，则同时反馈相应节点的日志，集群各节点CPU内存使用情况。对应存储的应用的网络负载情况swap内存使用情况等信息。实现自动化报警相关信息收集。
由上述内容可知，本申请至少还可以实现如下技术效果：
1、通过集群状态、索引状态、搜索状态即可进行集群运行状态。同时当运行状态的异常情况可对异常状态分析，在联合节点存储、内存JVM资源、和网络流量等多维度数据进行实时数据获取，提供多维度数据进行分析方便问题定位。同时对于暂态问题也可进行记录以便后续分析，提高运维效率避免人力依赖。
2、同时由于日志存储集群设备规模较大通过多维度监控与问题自动化分析工具可大大的减轻运维人员的工作量与压力。同时依据已有运维经验自主化提供解决方案与问题排查方案，大大降低了日志中心运维人员的学习门槛。
从硬件层面来说，为了能够从多个维度对节点日志数据进行监控和分析，准确定位异常位置，提高集群运维自动化水平和运维效率，本申请提供一种用于实现所述日志数据监控方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现日志数据监控装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以参照实施例中的日志数据监控方法的实施例，以及日志数据监控装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中，日志数据监控方法的部分可以在如上述内容所述的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
图11为本申请实施例的电子设备9600的系统构成的示意框图。如图11所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图11是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，日志数据监控方法功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
步骤S101：接收各个节点发送的日志数据，并对所述日志数据进行状态划分，确定对应的节点状态。
步骤S102：对指定节点状态的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，若是，则执行预设告警操作。
从上述描述可知，本申请实施例提供的电子设备，通过接收各个节点发送的日志数据，并对所述日志数据进行状态划分，确定对应的节点状态；对指定节点状态的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，若是，则执行预设告警操作，本申请能够实现从设备资源情况到集群运行状态最后到网络请求的全方位监控。同时需要基于已有运维经验对监控的策略进行场景化组织初步定位相应问题并提供相应应急方案，而非单独给出简单的数据异常报警。增强监控预警功能的自学习，提高系统的自动化运维水平。
在另一个实施方式中，日志数据监控装置可以与中央处理器9100分开配置，例如可以将日志数据监控装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现日志数据监控方法功能。
如图11所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图11中所示的所有部件；此外，电子设备9600还可以包括图11中没有示出的部件，可以参考现有技术。
如图11所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的日志数据监控方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的日志数据监控方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤S101：接收各个节点发送的日志数据，并对所述日志数据进行状态划分，确定对应的节点状态。
步骤S102：对指定节点状态的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，若是，则执行预设告警操作。
从上述描述可知，本申请实施例提供的计算机可读存储介质，通过接收各个节点发送的日志数据，并对所述日志数据进行状态划分，确定对应的节点状态；对指定节点状态的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，若是，则执行预设告警操作，本申请能够实现从设备资源情况到集群运行状态最后到网络请求的全方位监控。同时需要基于已有运维经验对监控的策略进行场景化组织初步定位相应问题并提供相应应急方案，而非单独给出简单的数据异常报警。增强监控预警功能的自学习，提高系统的自动化运维水平。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (16)
1.一种日志数据监控方法，其特征在于，所述方法包括：
接收各个节点发送的日志数据，并对所述日志数据进行状态划分，确定对应的节点状态，其中，所述对所述日志进行状态划分，确定对应的节点状态是指进行数据的记录与基本状态划分，以便清晰各个组件以及不同层面的运行情况，对各类型监控数据进行分类并进行相应处理，其中，日志数据包括一般监控与重点监控，对重点监控信息进行状态细分，按照基本状况划分为：良好、可用、部分可用、异常和需关注五类状态；对一般数据进行指标化报警监控；
对节点状态为部分可用的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，若是，则执行预设告警操作，其中，所述监控分析包括：存储空间监控、JVM资源监控、所属集群状态监控、搜索性能监控、索引性能监控以及请求负载监控。
2.根据权利要求1所述的日志数据监控方法，其特征在于，所述对节点状态为部分可用的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，包括：
对节点状态为部分可用的节点进行存储空间监控，确定所述节点的磁盘空间和存储效率；
若所述节点的磁盘空间和存储效率超出预设存储空间阈值，则判定所述节点异常。
3.根据权利要求1所述的日志数据监控方法，其特征在于，所述对节点状态为部分可用的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，包括：
对节点状态为部分可用的节点进行JVM资源监控，确定所述节点的堆内存与swap内存使用状况；
若所述节点的堆内存与swap内存使用状况符合预设内存异常条件，则判定所述节点异常。
4.根据权利要求1所述的日志数据监控方法，其特征在于，所述对节点状态为部分可用的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，包括：
对节点状态为部分可用的节点进行所属集群状态监控，确定所述节点所属集群的集群状态和该集群中的节点数量；
若所述节点所属集群的集群状态和该集群中的节点数量符合预设集群异常条件，则判定所述节点异常。
5.根据权利要求1所述的日志数据监控方法，其特征在于，所述对节点状态为部分可用的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，包括：
对节点状态为部分可用的节点进行搜索性能监控，确定对应的请求处理时间；
若所述节点的请求处理时间超出预设请求处理时间阈值，则判定所述节点异常。
6.根据权利要求1所述的日志数据监控方法，其特征在于，所述对节点状态为部分可用的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，包括：
对节点状态为部分可用的节点进行索引性能监控，确定对应的索引速率和合并时间；
若所述节点的索引速率和合并时间超出预设索引时间阈值，则判定所述节点异常。
7.根据权利要求1所述的日志数据监控方法，其特征在于，所述对节点状态为部分可用的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，包括：
对节点状态为部分可用的节点进行请求负载监控，确定对应的瞬时接入请求；
若所述节点的瞬时接入请求超出预设瞬时请求数量阈值，则判定所述节点异常。
8.一种日志数据监控装置，其特征在于，包括：
节点状态确定模块，用于接收各个节点发送的日志数据，并对所述日志数据进行状态划分，确定对应的节点状态，其中，所述对所述日志进行状态划分，确定对应的节点状态是指进行数据的记录与基本状态划分，以便清晰各个组件以及不同层面的运行情况，对各类型监控数据进行分类并进行相应处理，其中，日志数据包括一般监控与重点监控，对重点监控信息进行状态细分，按照基本状况划分为：良好、可用、部分可用、异常和需关注五类状态；对一般数据进行指标化报警监控；
节点监控分析模块，其包括部分可用节点监控分析单元，用于对节点状态为部分可用的节点进行监控分析，并根据所述监控分析的结果判断所述节点是否异常，若是，则执行预设告警操作，其中，所述监控分析包括：存储空间监控、JVM资源监控、所属集群状态监控、搜索性能监控、索引性能监控以及请求负载监控。
9.根据权利要求8所述的日志数据监控装置，其特征在于，所述部分可用节点监控分析单元包括：
存储空间监控子单元，用于对节点状态为部分可用的节点进行存储空间监控，确定所述节点的磁盘空间和存储效率；
存储空间监控异常判定子单元，用于若所述节点的磁盘空间和存储效率超出预设存储空间阈值，则判定所述节点异常。
10.根据权利要求8所述的日志数据监控装置，其特征在于，所述部分可用节点监控分析单元包括：
JVM资源监控子单元，用于对节点状态为部分可用的节点进行JVM资源监控，确定所述节点的堆内存与swap内存使用状况；
JVM资源监控异常判定子单元，用于若所述节点的堆内存与swap内存使用状况符合预设内存异常条件，则判定所述节点异常。
11.根据权利要求8所述的日志数据监控装置，其特征在于，所述部分可用节点监控分析单元包括：
所属集群状态监控子单元，用于对节点状态为部分可用的节点进行所属集群状态监控，确定所述节点所属集群的集群状态和该集群中的节点数量；
所属集群状态监控异常判定子单元，用于若所述节点所属集群的集群状态和该集群中的节点数量符合预设集群异常条件，则判定所述节点异常。
12.根据权利要求8所述的日志数据监控装置，其特征在于，所述部分可用节点监控分析单元包括：
搜索性能监控子单元，用于对节点状态为部分可用的节点进行搜索性能监控，确定对应的请求处理时间；
搜索性能监控异常判定子单元，用于若所述节点的请求处理时间超出预设请求处理时间阈值，则判定所述节点异常。
13.根据权利要求8所述的日志数据监控装置，其特征在于，所述部分可用节点监控分析单元包括：
索引性能监控子单元，用于对节点状态为部分可用的节点进行索引性能监控，确定对应的索引速率和合并时间；
索引性能监控判定子单元，用于若所述节点的索引速率和合并时间超出预设索引时间阈值，则判定所述节点异常。
14.根据权利要求8所述的日志数据监控装置，其特征在于，所述部分可用节点监控分析单元包括：
请求负载监控子单元，用于对节点状态为部分可用的节点进行请求负载监控，确定对应的瞬时接入请求；
请求负载监控异常判定子单元，用于若所述节点的瞬时接入请求超出预设瞬时请求数量阈值，则判定所述节点异常。
15.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述的日志数据监控方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的日志数据监控方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010241027.5A CN111352806B (zh) | 2020-03-31 | 2020-03-31 | 日志数据监控方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010241027.5A CN111352806B (zh) | 2020-03-31 | 2020-03-31 | 日志数据监控方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111352806A CN111352806A (zh) | 2020-06-30 |
| CN111352806B true CN111352806B (zh) | 2024-04-26 |
Family
ID=71196357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010241027.5A Active CN111352806B (zh) | 2020-03-31 | 2020-03-31 | 日志数据监控方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111352806B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112035312B (zh) * | 2020-07-22 | 2023-05-26 | 大箴(杭州)科技有限公司 | 一种检测Kafka集群中Leader进程的可用状态方法及装置 |
| CN112905418A (zh) * | 2021-03-02 | 2021-06-04 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种jvm调优方法及装置 |
| CN113360355A (zh) * | 2021-05-31 | 2021-09-07 | 中国工商银行股份有限公司 | 主机数据库运行状态监控方法、装置、设备及存储介质 |
| CN113608964A (zh) * | 2021-08-09 | 2021-11-05 | 宁畅信息产业(北京)有限公司 | 一种集群自动化监控方法、装置、电子设备及存储介质 |
| CN114002981A (zh) * | 2021-10-29 | 2022-02-01 | 广东电力信息科技有限公司 | 基于微服务的机房监控方法、装置、设备及存储介质 |
| CN114281642B (zh) * | 2021-12-10 | 2024-09-20 | 重庆长安汽车股份有限公司 | 一种车载娱乐终端控制器卡顿监测及预警方法 |
| CN114513400B (zh) * | 2021-12-30 | 2024-05-28 | 上海川源信息科技有限公司 | 一种日志聚合系统及一种提高日志聚合系统可用性的方法 |
| CN116561076A (zh) * | 2023-05-10 | 2023-08-08 | 合芯科技(苏州)有限公司 | 分布式文件系统的监控方法、装置、计算机设备及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012208646A (ja) * | 2011-03-29 | 2012-10-25 | Nec Corp | 監視システム |
| CN104503891A (zh) * | 2014-12-10 | 2015-04-08 | 北京京东尚科信息技术有限公司 | 对jvm线程进行在线监控的方法和装置 |
| CN106789251A (zh) * | 2016-12-23 | 2017-05-31 | 中国银行股份有限公司 | 网银运行状态监控系统及方法 |
| CN106961358A (zh) * | 2017-05-11 | 2017-07-18 | 国网山东省电力公司信息通信公司 | 基于日志的Web应用系统集群运行状态监测方法及其系统 |
| CN109685399A (zh) * | 2019-02-19 | 2019-04-26 | 贵州电网有限责任公司 | 电力系统日志整合分析方法及系统 |
| CN110502494A (zh) * | 2019-08-30 | 2019-11-26 | 北京思维造物信息科技股份有限公司 | 日志处理方法、装置、计算机设备及存储介质 |
| WO2019233047A1 (zh) * | 2018-06-07 | 2019-12-12 | 国电南瑞科技股份有限公司 | 基于电网调度的运维方法 |
| WO2020015061A1 (zh) * | 2018-07-18 | 2020-01-23 | 平安科技（深圳）有限公司 | WebLogic服务器的监控告警方法、装置、系统及计算机存储介质 |
-
2020
- 2020-03-31 CN CN202010241027.5A patent/CN111352806B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012208646A (ja) * | 2011-03-29 | 2012-10-25 | Nec Corp | 監視システム |
| CN104503891A (zh) * | 2014-12-10 | 2015-04-08 | 北京京东尚科信息技术有限公司 | 对jvm线程进行在线监控的方法和装置 |
| CN106789251A (zh) * | 2016-12-23 | 2017-05-31 | 中国银行股份有限公司 | 网银运行状态监控系统及方法 |
| CN106961358A (zh) * | 2017-05-11 | 2017-07-18 | 国网山东省电力公司信息通信公司 | 基于日志的Web应用系统集群运行状态监测方法及其系统 |
| WO2019233047A1 (zh) * | 2018-06-07 | 2019-12-12 | 国电南瑞科技股份有限公司 | 基于电网调度的运维方法 |
| WO2020015061A1 (zh) * | 2018-07-18 | 2020-01-23 | 平安科技（深圳）有限公司 | WebLogic服务器的监控告警方法、装置、系统及计算机存储介质 |
| CN109685399A (zh) * | 2019-02-19 | 2019-04-26 | 贵州电网有限责任公司 | 电力系统日志整合分析方法及系统 |
| CN110502494A (zh) * | 2019-08-30 | 2019-11-26 | 北京思维造物信息科技股份有限公司 | 日志处理方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111352806A (zh) | 2020-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111352806B (zh) | 日志数据监控方法及装置 | |
| CN111740860B (zh) | 日志数据传输链路监控方法及装置 | |
| CN111800443B (zh) | 数据处理系统和方法、装置以及电子设备 | |
| CN107784481A (zh) | 任务时效预警方法及装置 | |
| CN110413488A (zh) | 服务器使用率预警方法及装置 | |
| CN111782470A (zh) | 分布式容器日志数据处理方法及装置 | |
| CN112737800A (zh) | 服务节点故障定位方法、调用链生成方法及服务器 | |
| CN114257532B (zh) | 服务端状态探测方法及装置 | |
| CN111835578B (zh) | 信息传输管理方法、信息传输管理装置及可读存储介质 | |
| CN113051094B (zh) | 监管数据报送测试方法及装置 | |
| US20090300381A1 (en) | Thin client and power management method thereof | |
| CN113157475A (zh) | 日志处理方法、装置、存储介质及电子设备 | |
| CN102855297B (zh) | 一种控制数据传输的方法和连接器 | |
| CN112799910A (zh) | 层次化监控方法及装置 | |
| CN101383733A (zh) | 一种监测呼叫时网络状态的方法及装置 | |
| CN110809050A (zh) | 基于流式计算的个性化推送系统及方法 | |
| CN116431324A (zh) | 一种基于Kafka高并发数据采集与分发的边缘系统 | |
| CN115914375A (zh) | 分布式消息平台容灾处理方法及装置 | |
| CN114025044A (zh) | 呼叫中心的控制方法、装置及电子设备 | |
| CN113127546A (zh) | 一种数据的处理方法、装置及电子设备 | |
| CN114546671A (zh) | 一种数据处理方法、装置及电子设备 | |
| CN111858260A (zh) | 信息显示方法、装置、设备及介质 | |
| CN116010207A (zh) | 面向全栈云环境的分布式监控方法及装置 | |
| CN114785722B (zh) | 监控数据处理方法、装置及计算机可读存储介质 | |
| CN103856359A (zh) | 获取信息的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |