CN110309030A - 基于ELK和Zabbix的日志分析监控系统和方法 - Google Patents
基于ELK和Zabbix的日志分析监控系统和方法 Download PDFInfo
- Publication number
- CN110309030A CN110309030A CN201910605037.XA CN201910605037A CN110309030A CN 110309030 A CN110309030 A CN 110309030A CN 201910605037 A CN201910605037 A CN 201910605037A CN 110309030 A CN110309030 A CN 110309030A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- target journaling
- daily record
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims description 21
- 238000012800 visualization Methods 0.000 abstract description 3
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请实施例公开了一种基于ELK和Zabbix的日志分析监控系统，包括ElasticSearch集群模块、Logstash集群模块、Kibana模块、Zabbix监控模块。Logstash集群模块获取散落在不同服务器的日志数据；ElasticSearch集群模块从Logstash集群模块收集并存储目标日志数据，该目标日志数据为满足待监控业务的日志数据；Kibana模块对目标日志数据进行分析和可视化展示；Zabbix监控模块访问ElasticSearch集群读取目标日志数据，从而对目标日志数据进行监控，若监控到目标日志数据存在异常，进行告警，并且可以可视化显示日志数据，使得日志数据直观显示。
Description
技术领域
本申请涉及数据处理领域，特别是涉及一种基于ELK和Zabbix的日志分析监控系统和方法。
背景技术
业务系统在提供业务服务时可以生成日志，系统运维和开发人员可以通过日志了解业务系统软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解业务系统的负荷、性能安全性，从而及时采取措施纠正错误。
随着公司各种业务系统越来越多，不同的服务模块部署在不同的服务器上，因此，服务产生的日志(应用日志、访问日志、安全日志等)散落在各服务器上。由于日志比较分散，因而导致有些业务系统出现问题时，不能及时有效的进行统计分析并告警，并且难以直观的反映业务系统所出现的问题。
因此，如何在业务系统出现问题时能够及时有效的通过不同服务器上的日志发现问题，成为亟待解决的技术问题。
发明内容
为了解决上述技术问题，本申请提供了一种可以实现不同业务不同类型的日志的收集、归档，便于问题查找、分析、性能分析和异常监控。
本申请实施例公开了如下技术方案：
第一方面，本申请实施例提供一种基于ELK和Zabbix的日志分析监控系统，所述系统包括ElasticSearch集群模块、Logstash集群模块、Kibana模块、Zabbix监控模块：
所述Logstash集群模块，用于获取来自不同服务器的日志数据；
所述ElasticSearch集群模块，用于从所述Logstash集群模块收集并存储目标日志数据；所述目标日志数据为满足待监控业务的日志数据；
所述Kibana模块，用于对所述目标日志数据进行分析和可视化展示；
所述Zabbix监控模块，用于访问所述ElasticSearch集群模块读取所述目标日志数据，对所述目标日志数据进行监控，若监控到所述目标日志数据存在异常，进行告警。
可选的，所述系统还包括Filebeat模块和Kafka集群模块：
所述Filebeat模块，用于从不同服务器收集日志数据；
所述Kafka集群模块，用于接收所述Filebeat模块所推送的日志数据；
所述Logstash集群模块，具体用于：
接收所述Kafka集群模块输出的日志数据。
可选的，所述系统还包括python脚本模块：
Zabbix监控模块通过所述python脚本模块访问ElasticSearch集群模块读取所述目标日志数据。
可选的，所述Zabbix监控模块，具体用于：
创建日志监控项，所述日志监控项反映所需监控的日志数据的类型；
通过所述日志监控项获取目标日志数据；
若目标日志数据满足预设异常条件，触发告警。
可选的，所述告警包括邮件告警、QQ告警、钉钉告警等至少一项。
可选的，所述Zabbix监控模块还用于：
将所述目标日志数据中属于相同日志类别的日志数据展示在同一图形中。
可选的，所述Zabbix监控模块，用于按照预设周期访问所述ElasticSearch集群模块读取所述目标日志数据。
第二方面，本申请实施例提供一种基于ELK和Zabbix的日志分析监控方法，所述方法包括：
获取来自不同服务器的日志数据；
收集并存储目标日志数据；所述目标日志数据为满足待监控业务的日志数据；
对所述目标日志数据进行分析和可视化展示；
读取所述目标日志数据，对所述目标日志数据进行监控，若监控到所述目标日志数据存在异常，进行告警。
可选的，所述读取所述目标日志数据，对所述目标日志数据进行监控，包括：
创建日志监控项，所述日志监控项反映所需监控的日志数据的类型；
通过所述日志监控项获取所述目标日志数据。
可选的，所述若监控到所述目标日志数据存在异常，进行告警，包括：
若所述目标日志数据满足预设异常条件，触发告警。
由上述技术方案可以看出，该系统包括ElasticSearch集群模块、Logstash集群模块、Kibana模块、Zabbix监控模块。其中，Logstash集群模块获取来自不同服务器的日志数据；ElasticSearch集群模块从Logstash集群模块收集并存储目标日志数据，该目标日志数据为满足待监控业务的日志数据；Kibana模块对目标日志数据进行分析和可视化展示；Zabbix监控模块访问ElasticSearch集群读取目标日志数据，从而对目标日志数据进行监控，若监控到目标日志数据存在异常，进行告警。基于ELK和Zabbix的日志分析监控系统，是针对所有业务系统的日志数据记录平台，可以实现不同业务不同类型的日志的收集、归档，并且针对业务系统出现的问题，可以根据业务需求对待监控业务的日志数据进行查找、分析和异常监控。并且可以可视化显示日志数据，使得日志数据直观显示
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于ELK和Zabbix的日志分析监控系统的结构图；
图2为本申请实施例提供的一种基于ELK和Zabbix的日志分析监控系统的结构图；
图3为本申请实施例提供的一种基于ELK和Zabbix的日志分析监控方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
由于日志比较分散，因而导致有些业务系统出现问题时，不能及时有效的进行统计分析并告警，并且难以直观的反映业务系统所出现的问题。如何在业务系统出现问题时能够及时有效的通过不同服务器上的日志发现问题，成为亟待解决的技术问题。
为了解决上述技术问题，本申请提供一种基于ELK和Zabbix的日志分析监控系统，该系统是针对所有业务系统的日志数据记录平台，可以实现不同业务不同类型的日志的收集、归档，便于问题查找、分析、性能分析和异常监控。
接下来，将结合附图对本申请提供的基于ELK和Zabbix的日志分析监控系统进行介绍。
参见图1，图1示出了一种基于ELK和Zabbix的日志分析监控系统的结构图，所述系统包括ElasticSearch集群模块101、Logstash集群模块102、Kibana模块103、Zabbix监控模块104：
所述Logstash集群模块102，用于获取来自不同服务器的日志数据。
在一种实现方式中，为了提高客户端的日志数据采集性能，又减少日志数据传输环节和部署复杂度，并更充分地将Go语言的性能优势利用于日志数据解析，本申请实施例使用轻量级Filebeat从不同服务器收集日志数据。即所述系统还包括Filebeat模块105，Filebeat模块105安装在需要采集日志数据的服务器上，并指定日志目录或日志文件后，Filebeat模块105就能读取数据，迅速发送到Kafka集群模块106。这样，所述Logstash集群模块102，具体用于接收所述Kafka集群模块106输出的日志数据，如图2所示。
在Filebeat模块105和Logstash集群模块102中间引入了Kafka集群模块106，可以均衡网络传输，降低了网络闭塞，尤其是保证数据的完整性。
Logstash集群模块102通过消息队列输入插件从Kafka集群模块106获取到日志数据后，经过对日志数据进行分析过滤后经消息队列输出插件发送到Elasticsearch集群模块101。
所述ElasticSearch集群模块101，用于从所述Logstash集群模块102收集并存储目标日志数据；所述目标日志数据为满足待监控业务的日志数据。
Elasticsearch集群模块101是分布式搜索和分析引擎，从Logstash集群模块102收集到日志数据后并储存，根据待监控业务(比如nginxlog、javalog)的需求进行快速的全文检索。
所述Kibana模块103，用于对所述目标日志数据进行分析和可视化展示。
Kibana模块103用于提供可视化功能，提供web界面供用户进行检索、分析Elasticsearch集群模块101中的日志数据，可以更加直观的分析目标日志数据。
所述Zabbix监控模块104，用于访问所述ElasticSearch集群模块101读取所述目标日志数据，对所述目标日志数据进行监控，若监控到所述目标日志数据存在异常，进行告警。其中，所述告警包括邮件告警、QQ告警、钉钉告警等至少一项。
在一种实现方式中，参见图2所示，所述系统还包括python脚本模块107：
Zabbix监控模块104通过所述python脚本模块107访问ElasticSearch集群模块101读取所述目标日志数据。
通过python脚本模块107，在脚本中定义需要查询的日志索引，从而使得Zabbix监控模块104在日志索引对应的区域读取目标日志数据。
可以理解的是，Zabbix监控模块104可以按照预设周期访问所述ElasticSearch集群模块101读取所述目标日志数据。
例如，预设周期为5分钟，则Zabbix监控模块104每隔5分钟读取目标日志数据，且目标日志数据为自前一次读取目标日志数据后5分钟内生成的日志数据。
Zabbix监控模块104通过所述python脚本模块107访问ElasticSearch集群模块101读取所述目标日志数据的方式可以是：python脚本模块107向Elasticsearch集群模块101发送查询请求，其中，查询请求和响应数据(目标日志数据)均为Json格式，python脚本模块107把采集到的目标日志数据写到本地供Zabbix监控模块104读取。其中，Json格式如下所示：
Zabbix监控模块104通过python脚本模块107采集到的目标日志数据，在Zabbix监控模块104中通过自动发现(low level discovery，简称LLD)规则添加日志监控项、告警触发器和日志图形。其中，日志监控项用于反映所需监控日志数据的类型；告警触发器用于判断是否告警；日志图形用于以图形的方式显示目标日志数据，图形可以是曲线图、柱状图、扇形图等。
基于此，在一种实现方式中，所述Zabbix监控模块104，具体用于创建日志监控项，所述日志监控项反映所需监控的日志数据的类型。通过所述日志监控项获取目标日志数据，例如，在日志监控项中添加日志自动发现项目，如syslog日志监控项，添加监控项名{#SYSLOG_ERRORTYPE}-{#SYSLOG_ERRORHOST}，键值system.run["res＝`cat/tmp/logstashlogs|grep-w{#SYSLOG_ERRORTYPE}|grep-w{#SYSLOG_ERRORHOST}`；[[-n$res]]&&echo$res|awk'{print$3}'||echo 0"]，通过该日志监控项会自动发现具有syslog日志及其对应的服务器，同时，如果该日志监控项不存在，则自动删除该日志自动发现项目。若目标日志数据满足预设异常条件，触发告警。其中，日志数据的类型可以包括访问日志、错误日志、syslog日志等。
可以理解的是，目标日志数据是否满足预设异常条件可以由Zabbix监控模块104在触发器类型中添加告警触发器，如syslog日志，告警触发器名称为{#SYSLOG_ERRORTYPE}-{#SYSLOG_ERRORHOST}错误日志大于20，告警级别为一般级别，表达式为{logstash-logs:system.run["res＝`cat/tmp/logstash_logs|grep-w{#SYSLOG_ERRORTYPE}|grep-w{#SYSLOG_ERRO RHOST}`；[[-n$res]]&&echo$res|awk'{print$3}'||echo 0"].last()}>20，当syslog日志中的错误日志大于20条时触发告警，其中last()表示用当前采集值来判断是否告警。
在一种实现方式中，所述Zabbix监控模块104还用于将所述目标日志数据中属于相同日志类别的日志数据展示在同一图形中。
具体的，Zabbix监控模块104添加日志图形，将所述目标日志数据中属于相同日志类别的日志数据展示在同一图形中。
在通过所述日志监控项获取目标日志数据前，可以在自动发现清单中创建自动发现脚本，以便通过自动发现脚本实现自动发现日志监控项中的日志自动发现项目、自动触发告警、自动发现日志图形。
由上述技术方案可以看出，该系统包括ElasticSearch集群模块、Logstash集群模块、Kibana模块、Zabbix监控模块。其中，Logstash集群模块获取来自不同服务器的日志数据；ElasticSearch集群模块从Logstash集群模块收集并存储目标日志数据，该目标日志数据为满足待监控业务的日志数据；Kibana模块对目标日志数据进行分析和可视化展示；Zabbix监控模块访问ElasticSearch集群读取目标日志数据，从而对目标日志数据进行监控，若监控到目标日志数据存在异常，进行告警。基于ELK和Zabbix的日志分析监控系统，是针对所有业务系统的日志数据记录平台，可以实现不同业务不同类型的日志的收集、归档，并且针对业务系统出现的问题，可以根据业务需求对待监控业务的日志数据进行查找、分析和异常监控。
基于前述实施例提供的基于ELK和Zabbix的日志分析监控系统，本实施例提供一种基于ELK和Zabbix的日志分析监控方法，该方法应用于图1-3所述系统，参见图3，所述方法包括：
S301、获取来自不同服务器的日志数据；
S302、收集并存储目标日志数据；所述目标日志数据为满足待监控业务的日志数据；
S303、对所述目标日志数据进行分析和可视化展示；
S304、读取所述目标日志数据，对所述目标日志数据进行监控，若监控到所述目标日志数据存在异常，进行告警。
需要说明的是，本实施例对S303和S304的执行顺序不做限定。
可选的，所述获取来自不同服务器的日志数据，包括：
Filebeat模块从不同服务器收集日志数据；
Kafka集群模块接收所述Filebeat模块所推送的日志数据；
Logstash集群模块接收所述Kafka集群模块输出的日志数据。
可选的，所述读取所述目标日志数据，包括：
Zabbix监控模块通过python脚本模块访问ElasticSearch集群模块读取所述目标日志数据。
可选的，所述读取所述目标日志数据，对所述目标日志数据进行监控，包括：
创建日志监控项，所述日志监控项反映所需监控的日志数据的类型；
通过所述日志监控项获取所述目标日志数据。
可选的，所述若监控到所述目标日志数据存在异常，进行告警，包括：
若所述目标日志数据满足预设异常条件，触发告警。
可选的，所述告警包括邮件告警、QQ告警、钉钉告警等至少一项。
可选的，所述方法还包括：
将所述目标日志数据中属于相同日志类别的日志数据展示在同一图形中。
可选的，所述读取所述目标日志数据，包括：
按照预设周期访问所述ElasticSearch集群模块读取所述目标日志数据。
图3对应的方法实施例中，由图1或图2对应的系统实施例中的模块执行对应的步骤，并且图1或图2对应的系统中的模块具体如何执行相应的步骤已经在图1或图2对应的系统实施例做了详细介绍，此处不再赘述。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory，缩写：ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种基于ELK和Zabbix的日志分析监控系统，其特征在于，所述系统包括ElasticSearch集群模块、Logstash集群模块、Kibana模块、Zabbix监控模块：
所述Logstash集群模块，用于获取来自不同服务器的日志数据；
所述ElasticSearch集群模块，用于从所述Logstash集群模块收集并存储目标日志数据；所述目标日志数据为满足待监控业务的日志数据；
所述Kibana模块，用于对所述目标日志数据进行分析和可视化展示；
所述Zabbix监控模块，用于访问所述ElasticSearch集群模块读取所述目标日志数据，对所述目标日志数据进行监控，若监控到所述目标日志数据存在异常，进行告警。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括Filebeat模块和Kafka集群模块：
所述Filebeat模块，用于从不同服务器收集日志数据；
所述Kafka集群模块，用于接收所述Filebeat模块所推送的日志数据；
所述Logstash集群模块，具体用于：
接收所述Kafka集群模块输出的日志数据。
3.根据权利要求1所述的系统，其特征在于，所述系统还包括python脚本模块：
Zabbix监控模块通过所述python脚本模块访问ElasticSearch集群模块读取所述目标日志数据。
4.根据权利要求1-3任一项所述的系统，其特征在于，所述Zabbix监控模块，具体用于：
创建日志监控项，所述日志监控项反映所需监控的日志数据的类型；
通过所述日志监控项获取所述目标日志数据；
若目标日志数据满足预设异常条件，触发告警。
5.根据权利要求1-3任一项所述的系统，其特征在于，所述告警包括邮件告警、QQ告警、钉钉告警等至少一项。
6.根据权利要求1所述的系统，其特征在于，所述Zabbix监控模块还用于：
将所述目标日志数据中属于相同日志类别的日志数据展示在同一图形中。
7.根据权利要求1所述的系统，其特征在于，所述Zabbix监控模块，用于按照预设周期访问所述ElasticSearch集群模块读取所述目标日志数据。
8.一种基于ELK和Zabbix的日志分析监控方法，其特征在于，所述方法包括：
获取来自不同服务器的日志数据；
收集并存储目标日志数据；所述目标日志数据为满足待监控业务的日志数据；
对所述目标日志数据进行分析和可视化展示；
读取所述目标日志数据，对所述目标日志数据进行监控；
若监控到所述目标日志数据存在异常，进行告警。
9.根据权利要求8所述的方法，其特征在于，所述读取所述目标日志数据，对所述目标日志数据进行监控，包括：
创建日志监控项，所述日志监控项反映所需监控的日志数据的类型；
通过所述日志监控项获取所述目标日志数据。
10.根据权利要求9所述的方法，其特征在于，所述若监控到所述目标日志数据存在异常，进行告警，包括：
若所述目标日志数据满足预设异常条件，触发告警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910605037.XA CN110309030A (zh) | 2019-07-05 | 2019-07-05 | 基于ELK和Zabbix的日志分析监控系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910605037.XA CN110309030A (zh) | 2019-07-05 | 2019-07-05 | 基于ELK和Zabbix的日志分析监控系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110309030A true CN110309030A (zh) | 2019-10-08 |
Family
ID=68078904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910605037.XA Pending CN110309030A (zh) | 2019-07-05 | 2019-07-05 | 基于ELK和Zabbix的日志分析监控系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110309030A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110764988A (zh) * | 2019-10-31 | 2020-02-07 | 郑州悉知信息科技股份有限公司 | 一种告警方法、装置及系统 |
| CN110888786A (zh) * | 2019-10-23 | 2020-03-17 | 湖北九州云仓科技发展有限公司 | 一种运维监控系统 |
| CN110990223A (zh) * | 2019-11-27 | 2020-04-10 | 中诚信征信有限公司 | 一种基于系统日志的监控告警方法及装置 |
| CN111026621A (zh) * | 2019-12-23 | 2020-04-17 | 杭州安恒信息技术股份有限公司 | 面向Elasticsearch集群的监控报警方法、装置、设备、介质 |
| CN111124839A (zh) * | 2019-12-31 | 2020-05-08 | 中国银行股份有限公司 | 分布式日志数据监控方法及装置 |
| CN111125044A (zh) * | 2019-12-17 | 2020-05-08 | 紫光云(南京)数字技术有限公司 | 一种elk日志监控的改进方法 |
| CN111162938A (zh) * | 2019-12-24 | 2020-05-15 | 泰康保险集团股份有限公司 | 数据处理系统及方法 |
| CN111427858A (zh) * | 2020-03-18 | 2020-07-17 | 中国邮政储蓄银行股份有限公司 | 日志处理系统及其处理方法 |
| CN111581054A (zh) * | 2020-04-30 | 2020-08-25 | 重庆富民银行股份有限公司 | 一种基于elk的日志埋点的业务分析告警系统及方法 |
| CN112347068A (zh) * | 2020-11-03 | 2021-02-09 | 国网宁夏电力有限公司信息通信公司 | 基于elk的日志分析方法及系统 |
| CN112463570A (zh) * | 2020-12-15 | 2021-03-09 | 航天信息股份有限公司 | 一种日志统计方法、装置及系统 |
| CN112653586A (zh) * | 2019-10-12 | 2021-04-13 | 苏州工业园区测绘地理信息有限公司 | 基于全链路监控的时空大数据平台应用性能管理方法 |
| CN112667572A (zh) * | 2020-12-23 | 2021-04-16 | 国网宁夏电力有限公司信息通信公司 | 日志校准方法及装置 |
| CN112685214A (zh) * | 2021-01-15 | 2021-04-20 | 山东浪潮商用系统有限公司 | 一种通过日志收集分析中毒机器并进行告警的方法 |
| CN113220549A (zh) * | 2021-04-01 | 2021-08-06 | 深圳市猎芯科技有限公司 | 爬虫数据监控方法、系统、计算机设备及存储介质 |
| CN116991661A (zh) * | 2023-07-20 | 2023-11-03 | 北京直客通科技有限公司 | 软件系统的问题告警系统及方法 |
| CN118170619A (zh) * | 2024-03-21 | 2024-06-11 | 云南腾建科技有限公司 | 一种基于Elastic Stack的操作系统日志审计方法、系统及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130332423A1 (en) * | 2012-06-12 | 2013-12-12 | Accenture Global Services Limited | Data lineage tracking |
| CN106936640A (zh) * | 2016-12-08 | 2017-07-07 | 环球智达科技（北京）有限公司 | 一种基于Kafka和Zabbix的日志分析监控系统 |
| CN107229556A (zh) * | 2017-06-09 | 2017-10-03 | 环球智达科技（北京）有限公司 | 基于elastic组件的日志分析系统 |
| CN107943668A (zh) * | 2017-12-15 | 2018-04-20 | 江苏神威云数据科技有限公司 | 计算机服务器集群日志监控方法及监控平台 |
| CN109376532A (zh) * | 2018-10-31 | 2019-02-22 | 云南电网有限责任公司 | 基于elk日志采集分析的电力网络安全监测方法及系统 |
-
2019
- 2019-07-05 CN CN201910605037.XA patent/CN110309030A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130332423A1 (en) * | 2012-06-12 | 2013-12-12 | Accenture Global Services Limited | Data lineage tracking |
| CN106936640A (zh) * | 2016-12-08 | 2017-07-07 | 环球智达科技（北京）有限公司 | 一种基于Kafka和Zabbix的日志分析监控系统 |
| CN107229556A (zh) * | 2017-06-09 | 2017-10-03 | 环球智达科技（北京）有限公司 | 基于elastic组件的日志分析系统 |
| CN107943668A (zh) * | 2017-12-15 | 2018-04-20 | 江苏神威云数据科技有限公司 | 计算机服务器集群日志监控方法及监控平台 |
| CN109376532A (zh) * | 2018-10-31 | 2019-02-22 | 云南电网有限责任公司 | 基于elk日志采集分析的电力网络安全监测方法及系统 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112653586B (zh) * | 2019-10-12 | 2022-04-19 | 苏州工业园区测绘地理信息有限公司 | 基于全链路监控的时空大数据平台应用性能管理方法 |
| CN112653586A (zh) * | 2019-10-12 | 2021-04-13 | 苏州工业园区测绘地理信息有限公司 | 基于全链路监控的时空大数据平台应用性能管理方法 |
| CN110888786A (zh) * | 2019-10-23 | 2020-03-17 | 湖北九州云仓科技发展有限公司 | 一种运维监控系统 |
| CN110764988A (zh) * | 2019-10-31 | 2020-02-07 | 郑州悉知信息科技股份有限公司 | 一种告警方法、装置及系统 |
| CN110990223A (zh) * | 2019-11-27 | 2020-04-10 | 中诚信征信有限公司 | 一种基于系统日志的监控告警方法及装置 |
| CN111125044A (zh) * | 2019-12-17 | 2020-05-08 | 紫光云(南京)数字技术有限公司 | 一种elk日志监控的改进方法 |
| CN111026621B (zh) * | 2019-12-23 | 2023-04-07 | 杭州安恒信息技术股份有限公司 | 面向Elasticsearch集群的监控报警方法、装置、设备、介质 |
| CN111026621A (zh) * | 2019-12-23 | 2020-04-17 | 杭州安恒信息技术股份有限公司 | 面向Elasticsearch集群的监控报警方法、装置、设备、介质 |
| CN111162938A (zh) * | 2019-12-24 | 2020-05-15 | 泰康保险集团股份有限公司 | 数据处理系统及方法 |
| CN111124839A (zh) * | 2019-12-31 | 2020-05-08 | 中国银行股份有限公司 | 分布式日志数据监控方法及装置 |
| CN111427858A (zh) * | 2020-03-18 | 2020-07-17 | 中国邮政储蓄银行股份有限公司 | 日志处理系统及其处理方法 |
| CN111581054A (zh) * | 2020-04-30 | 2020-08-25 | 重庆富民银行股份有限公司 | 一种基于elk的日志埋点的业务分析告警系统及方法 |
| CN111581054B (zh) * | 2020-04-30 | 2024-04-09 | 重庆富民银行股份有限公司 | 一种基于elk的日志埋点的业务分析告警系统及方法 |
| CN112347068A (zh) * | 2020-11-03 | 2021-02-09 | 国网宁夏电力有限公司信息通信公司 | 基于elk的日志分析方法及系统 |
| CN112463570A (zh) * | 2020-12-15 | 2021-03-09 | 航天信息股份有限公司 | 一种日志统计方法、装置及系统 |
| CN112463570B (zh) * | 2020-12-15 | 2024-04-09 | 航天信息股份有限公司 | 一种日志统计方法、装置及系统 |
| CN112667572A (zh) * | 2020-12-23 | 2021-04-16 | 国网宁夏电力有限公司信息通信公司 | 日志校准方法及装置 |
| CN112685214A (zh) * | 2021-01-15 | 2021-04-20 | 山东浪潮商用系统有限公司 | 一种通过日志收集分析中毒机器并进行告警的方法 |
| CN112685214B (zh) * | 2021-01-15 | 2023-07-14 | 浪潮软件科技有限公司 | 一种通过日志收集分析中毒机器并进行告警的方法 |
| CN113220549A (zh) * | 2021-04-01 | 2021-08-06 | 深圳市猎芯科技有限公司 | 爬虫数据监控方法、系统、计算机设备及存储介质 |
| CN116991661A (zh) * | 2023-07-20 | 2023-11-03 | 北京直客通科技有限公司 | 软件系统的问题告警系统及方法 |
| CN118170619A (zh) * | 2024-03-21 | 2024-06-11 | 云南腾建科技有限公司 | 一种基于Elastic Stack的操作系统日志审计方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110309030A (zh) | 基于ELK和Zabbix的日志分析监控系统和方法 | |
| CN110661659B (zh) | 一种告警方法、装置、系统及电子设备 | |
| CN107729210B (zh) | 分布式服务集群的异常诊断方法和装置 | |
| CN111459782B (zh) | 监控业务系统的方法、装置、云平台系统和服务器 | |
| US20110191394A1 (en) | Method of processing log files in an information system, and log file processing system | |
| US20130262347A1 (en) | System and Method for Visualisation of Behaviour within Computer Infrastructure | |
| CN109977089A (zh) | 日志管理方法、装置、计算机设备及计算机可读存储介质 | |
| US11322013B2 (en) | Monitoring method of MES, monitoring device, and readable storage medium | |
| CN111581054A (zh) | 一种基于elk的日志埋点的业务分析告警系统及方法 | |
| CN111881011A (zh) | 日志管理方法、平台、服务器及存储介质 | |
| US20110047192A1 (en) | Data processing system, data processing method, and program | |
| CN110912757B (zh) | 业务的监控方法和服务器 | |
| US11301475B1 (en) | Transmission handling of analytics query response | |
| CN110784374A (zh) | 业务系统运行状态的监控方法、装置、设备和系统 | |
| CN113505044B (zh) | 数据库告警方法、装置、设备和存储介质 | |
| CN111078513A (zh) | 日志处理方法、装置、设备、存储介质及日志告警系统 | |
| KR102580916B1 (ko) | 5g 분산 클라우드 시스템의 빅 데이터를 이용하여 장애를 관리하는 장치 및 방법 | |
| Sukhija et al. | Event management and monitoring framework for HPC environments using ServiceNow and Prometheus | |
| CN117194142A (zh) | 一种基于链路追踪的集成应用性能诊断系统及方法 | |
| CN110717130A (zh) | 打点方法、装置、终端及存储介质 | |
| CN116489005A (zh) | 一种日志服务系统及日志处理方法 | |
| KR101973728B1 (ko) | 통합 보안 이상징후 모니터링 시스템 | |
| CN114629786A (zh) | 日志实时分析方法、装置、存储介质及系统 | |
| CN113760856A (zh) | 数据库管理方法及装置、计算机可读存储介质、电子设备 | |
| CN114428704A (zh) | 全链路分布式监控的方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191008 |
|
| RJ01 | Rejection of invention patent application after publication |