CN111581054A - 一种基于elk的日志埋点的业务分析告警系统及方法 - Google Patents
一种基于elk的日志埋点的业务分析告警系统及方法 Download PDFInfo
- Publication number
- CN111581054A CN111581054A CN202010366975.1A CN202010366975A CN111581054A CN 111581054 A CN111581054 A CN 111581054A CN 202010366975 A CN202010366975 A CN 202010366975A CN 111581054 A CN111581054 A CN 111581054A
- Authority
- CN
- China
- Prior art keywords
- log information
- service
- alarm
- analysis
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims description 27
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 230000004931 aggregating effect Effects 0.000 claims abstract description 3
- 238000004220 aggregation Methods 0.000 claims description 15
- 230000002776 aggregation Effects 0.000 claims description 15
- 238000009933 burial Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 101100264195 Caenorhabditis elegans app-1 gene Proteins 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
- G06F11/3082—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及数据处理领域，具体涉及一种基于ELK的日志埋点的业务分析告警系统，包括业务系统，用于执行业务操作和保存业务数据，生成业务的原始日志信息；还包括数据采集模块、预处理模块、处理模块、分析模块和输出模块，其中：数据采集模块，用于采集业务系统的原始日志信息；预处理模块，用于接收原始日志信息，并对原始日志信息进行格式序列化，生成标准日志信息；处理模块，用于通过Logstash收集标准日志信息，并推送给Elasticsearch，通过Elasticsearch对标准日志信息进行聚合；分析模块，用于根据预先配置的告警规则处理Elasticsearch上的标准日志信息，生成告警推送；输出模块，用于接收并显示告警推送；采用本方案能够解决应用程序扩展性较差的问题。
Description
技术领域
本发明涉及数据处理领域，具体涉及一种基于ELK的日志埋点的业务分析告警系统及方法。
背景技术
业务是一个企业的关键，随着社会的发展，网络技术和信息技术被广泛地应用于现代企业运行中；但是在对业务信息的管理分析工作方面，目前仍然停留在用户以主动方式触发数据管理和分析功能，例如，需要用户输入一定条件，查询数据或者生成分析报表等；而这些信息往往滞后于现实，无法及时发现问题，使企业错失机会，蒙受不必要的损失。企业不仅需要对过去数据进行查看分析，更加希望了解当前实时状态下，各种数据的变化情况，并且希望第一时间获得提示或者收到报警信息。
对此，中国专利公开号为CN110851321A的文件中公开了一种业务告警方法、设备及存储介质，其中方法包括：对多条告警记录进行聚类得到多条告警记录中的每条告警记录所属的告警集合；根据多条告警记录和多条告警记录的每条告警记录的业务标签，生成得到训练样本；利用训练样本对支持向量机进行训练，得到业务告警模型；利用业务告警模型对目标告警记录进行分析得到目标告警记录的业务标签，并生成包括目标告警记录和目标告警记录的业务标签的告警信息。
该方案先通过聚类来得到包含告警记录和告警记录的业务标签的训练样本，然后利用该训练样本训练支持向量机得到业务告警模型，最后利用业务告警模型分析目标告警记录的业务标签，生成告警信息，能够实现对异常业务的快速告警；但是，为了实现监控功能，都需要在监控程序中植入与业务无关的监控类程序代码，增加代码的耦合性和不稳定性；同时，若要对多个应用程序实现监控，需要在每个程序中增加监控类代码，存在扩展性较差的问题，久而久之使得业务监控很难提供有效和长期的支撑。
发明内容
本发明意在于提供一种基于ELK的日志埋点的业务分析告警系统及方法，能够解决应用程序扩展性较差的问题。
本发明提供的基础方案为：一种基于ELK的日志埋点的业务分析告警系统，包括业务系统，用于执行业务操作和保存业务数据，生成业务的原始日志信息；还包括数据采集模块、预处理模块、处理模块、分析模块和输出模块，其中，数据采集模块，用于采集业务系统的原始日志信息；预处理模块，用于接收原始日志信息，并对原始日志信息进行格式序列化，生成标准日志信息；处理模块，用于通过Logstash收集标准日志信息，并推送给Elasticsearch，通过Elasticsearch对标准日志信息进行聚合；分析模块，用于根据预先配置的告警规则处理Elasticsearch上的标准日志信息，生成告警推送；输出模块，用于接收并显示告警推送。
本发明的工作原理及优点在于：
本方案中，采用预处理模块对采集到的原始日志信息进行格式序列化处理，统一了日志的格式，定义了业务监控相关维度关注的信息，能够解决日志“杂乱”的问题；不仅如此，由于业务系统生成的日志信息后续还需输入到ELK架构中进行日志处理分析，所以原始日志信息经过格式序列化，能够输出规范的标准日志信息；相较于现有的日志分析监控系统直接由Logstash集群模块获取来自不同业务系统的日志数据来说，而本方案中是在业务系统与ELK框架之间设置中间服务组件，即通过数据采集模块采集业务系统的原始日志信息，并将原始日志信息传输到预处理模块进行格式序列化，再由Logstash收集标准化后的日志信息；这样对于ELK框架而言，就无需再针对于不同的业务日志构建复杂的指令进行数据信息的获取，体现出整体低耦合的特点，进而体现出系统高扩展性的特性；同时，基于ELK构架的能力可以实现对业务指标的分析聚合，根据预设的告警规则来查询Elasticsearch进行告警推送，也能够帮助用户更好地发现业务逻辑或者功能点中的异常。
进一步，所述预处理模块，具体用于读取业务系统中原始日志信息的应用名称、业务指标、应用运行环境信息、运行服务器和业务发生的时间戳。
有益效果：应用名称、业务指标、应用运行环境等日志信息能够反映出业务系统的整体情况；本方案中的预处理模块能够起到规范日志输出的作用，便于将分散在各个业务系统上的日志信息集中处理，进而完成后续的日志监控。
进一步，所述分析模块，具体用于配置数据查询请求，并定时向Elasticsearch上的标准日志信息发送数据查询请求，生成查询结果信息；如果查询结果信息大于预设阈值，则生成告警推送。
有益效果：采用这种方式，用户可以结合到具体需求和意愿配置相关的数据查询请求，定时在Elasticsearch上进行查询，根据预设的阈值处理查询的结果，从而得到告警信息；能够极大程度的满足个人需求。
进一步，还包括数据展示模块，用于搭建Kibana环境，并调用Elasticsearch上的标准日志信息，进行可视化展示。
有益效果：Kibana是一个开源的分析和可视化平台，能够用来调用Elasticsearch上标准日志信息，并和存储在Elasticsearch索引中的数据进行交互；可以轻松地执行高级数据分析，并且以各种图标、表格的形式可视化数据；Kibana使得理解大量数据变得更容易。它简单的、基于浏览器的界面使你能够快速创建和共享动态仪表板，实时显示Elasticsearch查询的变化。
进一步，所述处理模块，具体用于提取业务指标中的数值字段，并对数值字段进行多值聚合分析，生成数值字段的最小值、最大值、平均值以及总数。
有益效果：Elasticsearch除了能够提供搜索功能外，还具备针对数据做统计分析的能力；即本方案中采用对业务指标中的数值字段进行多值聚合分析，并得到相应的最大值、最小值、平均值和总数，能够便于后续业务日志的查询和分析，根据用户需求得到特定的检测结果。
本发明还提供了一种基于ELK的日志埋点的业务分析告警方法，包括如下步骤：
S1、采集业务系统的原始日志信息；
S2、接收原始日志信息，并对原始日志信息进行格式序列化，生成标准日志信息；
S3、通过Logstash收集标准日志信息，并推送给Elasticsearch，通过Elasticsearch对标准日志信息进行聚合分析；
S4、根据预先配置的告警规则处理Elasticsearch上的标准日志信息，生成告警推送；
S5、接收并显示告警推送。
有益效果：本方案中，首先对业务系统的原始日志信息进行格式序列化，不仅能够将分散在各个业务系统的日志信息进行集中监视；还可以统一日志输出的格式，即输出规范的标准日志信息，无需再针对于不同的业务日志构建复杂的指令进行数据信息的获取，体现出整体低耦合的特点，进而体现出系统的高扩展性；最后，由于Elasticsearch具备实时搜索、实时分析的特点，通过预先配置的告警规则查询Elasticsearch上的标准日志信息，生成告警推送，能够帮助用户及时发现业务系统异常事件。
进一步，所述步骤S4具体包括：S41、配置数据查询请求，并定时向Elasticsearch发送数据查询请求，生成标准日志信息的查询结果信息；如果查询结果信息大于预设阈值，则生成告警推送。
有益效果：采用这种方式能够体现出个性化及定制化的服务能力，用户可以根据实际情况和需求预先设定查询请求和阈值。
进一步，所述步骤S4之前还包括步骤：S42、搭建Kibana环境，并调用Elasticsearch上的标准日志信息，进行可视化展示。
有益效果：在ELK技术栈中Kibana主要担任视图层角色，由各种维度的查询和分析功能，可以将存放在Elasticsearch中的数据通过图形化界面展示出来。
进一步，所述步骤S3具体包括步骤：S31、通过Elasticsearch提取业务指标中的数值字段，并对数值字段进行多值聚合分析，生成数值字段的最小值、最大值、平均值以及总数。
有益效果：聚合分析运算是数据库中重要的特性,对于数据分析场景尤为重要；与传统的Hadoop等大数据系统相比，Elasticsearch具备高实时性(即计算结果即时返回)的特点。
进一步，所述步骤S4之后还包括步骤：S43、创建数据库，通过数据库收集并存储告警推送。
有益效果：将告警推送保存在数据库中，能够便于用户根据自己的需求从数据库中调取相关业务的告警推送。
说明：耦合就是对某元素与其它元素之间的连接、感知和依赖的量度；这里所说的元素，即可以是功能、对象(类)，也可以指系统、子系统、模块。假如一个元素A去连接元素B，或者通过自己的方法可以感知B，或者当B不存在的时候就不能正常工作，那么就说元素A与元素B耦合。耦合带来的问题是，当元素B发生变更或不存在时，都将影响元素A的正常工作，影响系统的可维护性和易变更性。同时元素A只能工作于元素B存在的环境中，这也降低了元素A的可复用性；
Logstash是一个用来搜集、分析、过滤日志的工具，它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志；它可以从许多来源接收日志，这些来源包括syslog、消息传递(例如RabbitMQ)和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch；
Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统；它构建于ApacheLucene搜索引擎库之上；
Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在Elasticsearch指标中的日志数据；它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。
附图说明
图1为本发明一种基于ELK的日志埋点的业务分析告警系统及方法实施例一的系统框图。
图2为本发明一种基于ELK的日志埋点的业务分析告警系统及方法实施例一的流程图。
具体实施方式
下面通过具体实施方式进一步详细的说明：
实施例一
如图1所示，一种基于ELK的日志埋点的业务分析告警系统，包括业务系统，用于执行业务操作和保存业务数据，生成业务的原始日志信息；还包括数据采集模块、预处理模块、处理模块、分析模块和输出模块，其中：
数据采集模块，用于采集业务系统的原始日志信息；
预处理模块，用于接收原始日志信息并对原始日志信息进行格式序列化，读取业务系统中原始日志信息的应用名称、业务指标、应用运行环境信息、运行服务器和业务发生的时间戳，生成标准日志信息；
处理模块，用于通过Logstash收集标准日志信息并推送给Elasticsearch，通过Elasticsearch对标准日志信息进行聚合分析，提取业务指标中的数值字段，并对数值字段进行多值聚合分析，生成数值字段的最小值、最大值、平均值以及总数；
分析模块，用于配置数据查询请求，并定时向Elasticsearch发送数据查询请求，生成查询结果信息；如果查询结果信息大于预设阈值，则生成告警推送；
输出模块，用于接收并显示告警推送；
还包括数据展示模块和数据库，其中，数据展示模块用于搭建Kibana环境，并调用Elasticsearch上标准日志信息，进行可视化展示；数据库用于存储告警推送。
一种基于ELK的日志埋点的业务分析告警方法，上述系统基于本方法，基本执行流程如图2所示，本实施例中具体包括以下步骤：S1、采集业务系统的原始日志信息；S2、接收原始日志信息，并对原始日志信息进行格式序列化，生成标准日志信息；S3、通过Logstash收集标准日志信息，并推送给Elasticsearch，通过Elasticsearch对标准日志信息进行聚合分析；S4、根据预先配置的告警规则处理Elasticsearch上的标准日志信息，生成告警推送；S5、接收并显示告警推送；
具体的，对于S1、采集业务系统的原始日志信息；S2、接收原始日志信息，并对原始日志信息进行格式序列化，生成标准日志信息；本实施例中选用银行业务系统，由于银行业务系统具体包括个人网银系统、理财产品销售系统、银行卡收单系统、票据系统等业务子系统；本实施例中，开发一款基于日志进行业务监控的组件Logmonitor对原始日志信息进行格式序列化处理，在这个过程中Logmonitor类似于是应用系统和日志组件(log4j/logback)之前的一个中间服务，其处理过程是首先接受应用系统产生的业务指标，然后获取应用系统相关的环境信息(如应用名，产生业务指标的时间点，服务器ip等)，将两者组装到一起，通过高性能的JSON序列化工具来进行JSON序列化，最终通过日志框架来进行输出，其日志输出并不依赖于特定的日志组件，即能够适配目前主流的log4j和logback等日志框架。其日志输出样例如下：{"appName":"app1","env":"pro","timestamp":1582438563985,"ip":"127.0.0.1","body":{"key1":"value1","key2":"value2"}}，通过类似这样的日志，就能确定某个应用在某个环境的某台服务器上的某个时间点，发生的具体事件，从而能够进行清晰的问题定位，由于这里在body中的业务监控指标属于自定义的内容，所以非常灵活。这样首先减少了对应用程序代码级的依赖，其次基于日志收集为独立的进程，过程中不用担心会对业务系统的正常处理造成影响，这种方式也能减少整体业务监控的实施工作量；
S3、通过Logstash收集标准日志信息，并推送给Elasticsearch，通过Elasticsearch对标准日志信息进行聚合分析；在ELK架构中，Logstash能够起到收集标准日志信息的作用，然后，Logstash将标准日志信息写入Elasticsearch，并提取业务指标中的数值字段，并对数值字段进行多值聚合分析，统计出数值字段的最小值、最大值、平均值以及总数；具体的，我们以银行的个人网银系统为例进行说明，分别采用聚合函数min、max、avg和sum来计算最低金额、最高金额、平均金额和总金额；
S4、根据预先配置的告警规则处理Elasticsearch上的标准日志信息，生成告警推送；
具体的，分析模块用于配置数据查询请求，并定时向Elasticsearch发送数据查询请求，生成查询结果信息；如果查询结果信息大于预设阈值，则生成告警推送；在本实施例中，定时的方式可以为指定时间节点，例如需要查询当天的交易总量，可以选择时间节点23:59:59进行查询；在其他实施例中，还可以根据实际情况划分时间区间，每30分钟进行一次采集和查询；且用户预设的阈值为一千万，并通过预先设定select指令访问和查询Elasticsearch中统计出数值字段的总数，如果业务系统的总金额数大于一千万，则触发告警推送；通过搭建Kibana环境，将Elasticsearch上的标准日志信息导入Kibana中，进行汇总和可视化展示；在其他实施例中，还可以将告警推送收集存储到数据库中，能够便于后续的查看和调取。
S5、接收并显示告警推送。本方案中，告警推送可以采用邮件提示的方式，即每当有告警推送产生的时候，根据预设的邮箱账户，向管理员邮箱发送邮件，该技术为现有技术，在此不再赘述。
实施例二
与实施例一相比，不同之处仅在于，该业务分析告警系统中的预处理模块，还用于在原始日志信息经格式序列化处理生成标准日志信息后，判断标准日志信息是否合格；若合格，则将标准日志信息输出到Logstash进行收集；若不合格，则将该标准日志信息暂存至数据库，并再次提取原始日志信息执行格式序列化，判断两次格式序列化的结果内容是否一致，如果内容相同，则生成告警提示；如果不同，则将标准日志信息转发至Logstash中；
相应的，基于该系统，本实施例中步骤S2之后具体还包括以下步骤：S21、判断原始日志信息格式序列化之后生成的标准日志信息是否合格，如果合格，则执行步骤S3；如果不合格，则将标准日志信息暂存至数据库中，并再次提取原始日志信息执行格式序列化，判断两次格式序列化的结果内容是否一致，如果内容相同，则生成告警提示；如果不同，则执行步骤S3；
针对格式序列化容易出现异常的情况，现有技术中一般通过设置过滤组件排除这个问题；例如：构建过滤组件能够解决因返回数组中携带有Request或者Response对象而导致的序列化异常，但是由于预处理模块需要读取来自不同业务系统的原始日志信息，并将这些原始日志信息进行格式序列化；为保证系统的稳定性和生成数据的准确性，需要根据实际处理过程中还存在的异常和问题对过滤组件进行不断的优化和升级，那么如何在格式序列化之后，准确地判断出序列化失败并告警成为重中之重；所以采用本方案，引入二次序列化的手段，当第一次格式序列化生成的标准日志信息不合格时，暂存入数据库中，再进行第二次格式序列化，通过判断两次生成的标准日志格式是否相同，从而得出判定结果；能够避免系统对一些偶然性的格式化异常进行告警提示，而是对两次格式序列化均不合格的常态化异常进行告警，便于用户及时发现该情况并对此搭建过滤组件，从而提升系统的稳定性。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (10)
1.一种基于ELK的日志埋点的业务分析告警系统，包括业务系统，用于执行业务操作和保存业务数据，生成业务的原始日志信息；其特征在于，还包括数据采集模块、预处理模块、处理模块、分析模块和输出模块，其中，数据采集模块，用于采集业务系统的原始日志信息；预处理模块，用于接收原始日志信息，并对原始日志信息进行格式序列化，生成标准日志信息；处理模块，用于通过Logstash收集标准日志信息，并推送给Elasticsearch，通过Elasticsearch对标准日志信息进行聚合；分析模块，用于根据预先配置的告警规则处理Elasticsearch上的标准日志信息，生成告警推送；输出模块，用于接收并显示告警推送。
2.根据权利要求1所述的基于ELK的日志埋点的业务分析告警系统，其特征在于：所述预处理模块，具体用于读取业务系统中原始日志信息的应用名称、业务指标、应用运行环境信息、运行服务器和业务发生的时间戳。
3.根据权利要求1所述的基于ELK的日志埋点的业务分析告警系统，其特征在于：所述分析模块，具体用于配置数据查询请求，并定时向Elasticsearch上的标准日志信息发送数据查询请求，生成查询结果信息；如果查询结果信息大于预设阈值，则生成告警推送。
4.根据权利要求1所述的基于ELK的日志埋点的业务分析告警系统，其特征在于：还包括数据展示模块，用于搭建Kibana环境，并调用Elasticsearch上的标准日志信息，进行可视化展示。
5.根据权利要求2所述的基于ELK的日志埋点的业务分析告警系统，其特征在于：所述处理模块，具体用于提取业务指标中的数值字段，并对数值字段进行多值聚合分析，生成数值字段的最小值、最大值、平均值以及总数。
6.一种基于ELK的日志埋点的业务分析告警方法，其特征在于，包括如下步骤：
S1、采集业务系统的原始日志信息；
S2、接收原始日志信息，并对原始日志信息进行格式序列化，生成标准日志信息；
S3、通过Logstash收集标准日志信息，并推送给Elasticsearch，通过Elasticsearch对标准日志信息进行聚合分析；
S4、根据预先配置的告警规则处理Elasticsearch上的标准日志信息，生成告警推送；
S5、接收并显示告警推送。
7.根据权利要求6所述的基于ELK的日志埋点的业务分析告警方法，其特征在于：所述步骤S4具体包括：S41、配置数据查询请求，并定时向Elasticsearch发送数据查询请求，生成标准日志信息的查询结果信息；如果查询结果信息大于预设阈值，则生成告警推送。
8.根据权利要求6所述的基于ELK的日志埋点的业务分析告警方法，其特征在于：所述步骤S4之前还包括步骤：S42、搭建Kibana环境，并调用Elasticsearch上的标准日志信息，进行可视化展示。
9.根据权利要求6所述的基于ELK的日志埋点的业务分析告警方法，其特征在于：所述步骤S3具体包括步骤：S31、通过Elasticsearch提取业务指标中的数值字段，并对数值字段进行多值聚合分析，生成数值字段的最小值、最大值、平均值以及总数。
10.根据权利要求6所述的基于ELK的日志埋点的业务分析告警方法，其特征在于：所述步骤S4之后还包括步骤：S43、创建数据库，通过数据库收集并存储告警推送。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010366975.1A CN111581054B (zh) | 2020-04-30 | 2020-04-30 | 一种基于elk的日志埋点的业务分析告警系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010366975.1A CN111581054B (zh) | 2020-04-30 | 2020-04-30 | 一种基于elk的日志埋点的业务分析告警系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111581054A true CN111581054A (zh) | 2020-08-25 |
| CN111581054B CN111581054B (zh) | 2024-04-09 |
Family
ID=72113344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010366975.1A Active CN111581054B (zh) | 2020-04-30 | 2020-04-30 | 一种基于elk的日志埋点的业务分析告警系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111581054B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112256530A (zh) * | 2020-10-27 | 2021-01-22 | 广州助蜂网络科技有限公司 | 一种可链路追踪的日志服务方法及其系统 |
| CN112347068A (zh) * | 2020-11-03 | 2021-02-09 | 国网宁夏电力有限公司信息通信公司 | 基于elk的日志分析方法及系统 |
| CN113157545A (zh) * | 2021-05-20 | 2021-07-23 | 京东方科技集团股份有限公司 | 业务日志的处理方法、装置、设备及存储介质 |
| CN113157659A (zh) * | 2021-05-14 | 2021-07-23 | 中国建设银行股份有限公司 | 一种日志处理方法和装置 |
| CN113190423A (zh) * | 2021-04-20 | 2021-07-30 | 北京异乡旅行网络科技有限公司 | 业务数据的监控方法、装置及系统 |
| CN114070719A (zh) * | 2020-11-03 | 2022-02-18 | 北京市天元网络技术股份有限公司 | 一种告警业务处理方法及系统 |
| CN114116396A (zh) * | 2021-11-29 | 2022-03-01 | 重庆富民银行股份有限公司 | 一种全链路追踪方法、系统、存储介质及设备 |
| CN114324609A (zh) * | 2021-12-09 | 2022-04-12 | 长江勘测规划设计研究有限责任公司 | 一种基于elk的边坡声发射监测数据分析方法 |
| CN115426239A (zh) * | 2022-06-09 | 2022-12-02 | 北京邮电大学 | 一种业务支撑信息处理模式和低代码开发系统 |
| CN116610531A (zh) * | 2023-07-14 | 2023-08-18 | 江苏数字看点科技有限公司 | 一种基于代码探针采集及请求图片上传的数据埋点方法 |
| CN117785831A (zh) * | 2024-01-05 | 2024-03-29 | 合肥卓讯云网科技有限公司 | 一种日志处理方法、装置、电子设备和存储介质 |
| WO2024092975A1 (zh) * | 2022-11-03 | 2024-05-10 | 上海维小美网络科技有限公司 | 一种用于口腔诊疗信息的内部数据检索系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106294091A (zh) * | 2016-08-11 | 2017-01-04 | 福建富士通信息软件有限公司 | 一种无侵入式日志拦截性能分析方法及系统 |
| CN106940677A (zh) * | 2017-02-13 | 2017-07-11 | 咪咕音乐有限公司 | 一种应用日志数据告警方法及装置 |
| CN107229556A (zh) * | 2017-06-09 | 2017-10-03 | 环球智达科技（北京）有限公司 | 基于elastic组件的日志分析系统 |
| CN107577588A (zh) * | 2017-09-26 | 2018-01-12 | 北京中安智达科技有限公司 | 一种海量日志数据智能运维系统 |
| CN109656958A (zh) * | 2018-12-18 | 2019-04-19 | 北京小米移动软件有限公司 | 数据查询方法以及系统 |
| CN110224865A (zh) * | 2019-05-30 | 2019-09-10 | 宝付网络科技（上海）有限公司 | 一种基于流式处理的日志告警系统 |
| CN110309030A (zh) * | 2019-07-05 | 2019-10-08 | 亿玛创新网络(天津)有限公司 | 基于ELK和Zabbix的日志分析监控系统和方法 |
| CN110598051A (zh) * | 2019-09-17 | 2019-12-20 | 国家电网有限公司 | 一种电力行业监控系统、方法及装置 |
| CN110990218A (zh) * | 2019-11-22 | 2020-04-10 | 深圳前海环融联易信息科技服务有限公司 | 基于海量日志的可视化与告警的方法、装置及计算机设备 |
-
2020
- 2020-04-30 CN CN202010366975.1A patent/CN111581054B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106294091A (zh) * | 2016-08-11 | 2017-01-04 | 福建富士通信息软件有限公司 | 一种无侵入式日志拦截性能分析方法及系统 |
| CN106940677A (zh) * | 2017-02-13 | 2017-07-11 | 咪咕音乐有限公司 | 一种应用日志数据告警方法及装置 |
| CN107229556A (zh) * | 2017-06-09 | 2017-10-03 | 环球智达科技（北京）有限公司 | 基于elastic组件的日志分析系统 |
| CN107577588A (zh) * | 2017-09-26 | 2018-01-12 | 北京中安智达科技有限公司 | 一种海量日志数据智能运维系统 |
| CN109656958A (zh) * | 2018-12-18 | 2019-04-19 | 北京小米移动软件有限公司 | 数据查询方法以及系统 |
| CN110224865A (zh) * | 2019-05-30 | 2019-09-10 | 宝付网络科技（上海）有限公司 | 一种基于流式处理的日志告警系统 |
| CN110309030A (zh) * | 2019-07-05 | 2019-10-08 | 亿玛创新网络(天津)有限公司 | 基于ELK和Zabbix的日志分析监控系统和方法 |
| CN110598051A (zh) * | 2019-09-17 | 2019-12-20 | 国家电网有限公司 | 一种电力行业监控系统、方法及装置 |
| CN110990218A (zh) * | 2019-11-22 | 2020-04-10 | 深圳前海环融联易信息科技服务有限公司 | 基于海量日志的可视化与告警的方法、装置及计算机设备 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112256530A (zh) * | 2020-10-27 | 2021-01-22 | 广州助蜂网络科技有限公司 | 一种可链路追踪的日志服务方法及其系统 |
| CN112347068A (zh) * | 2020-11-03 | 2021-02-09 | 国网宁夏电力有限公司信息通信公司 | 基于elk的日志分析方法及系统 |
| CN114070719A (zh) * | 2020-11-03 | 2022-02-18 | 北京市天元网络技术股份有限公司 | 一种告警业务处理方法及系统 |
| CN114070719B (zh) * | 2020-11-03 | 2024-03-29 | 北京市天元网络技术股份有限公司 | 一种告警业务处理方法及系统 |
| CN113190423B (zh) * | 2021-04-20 | 2024-02-20 | 北京异乡旅行网络科技有限公司 | 业务数据的监控方法、装置及系统 |
| CN113190423A (zh) * | 2021-04-20 | 2021-07-30 | 北京异乡旅行网络科技有限公司 | 业务数据的监控方法、装置及系统 |
| CN113157659A (zh) * | 2021-05-14 | 2021-07-23 | 中国建设银行股份有限公司 | 一种日志处理方法和装置 |
| CN113157545A (zh) * | 2021-05-20 | 2021-07-23 | 京东方科技集团股份有限公司 | 业务日志的处理方法、装置、设备及存储介质 |
| CN114116396A (zh) * | 2021-11-29 | 2022-03-01 | 重庆富民银行股份有限公司 | 一种全链路追踪方法、系统、存储介质及设备 |
| CN114324609A (zh) * | 2021-12-09 | 2022-04-12 | 长江勘测规划设计研究有限责任公司 | 一种基于elk的边坡声发射监测数据分析方法 |
| CN115426239A (zh) * | 2022-06-09 | 2022-12-02 | 北京邮电大学 | 一种业务支撑信息处理模式和低代码开发系统 |
| WO2024092975A1 (zh) * | 2022-11-03 | 2024-05-10 | 上海维小美网络科技有限公司 | 一种用于口腔诊疗信息的内部数据检索系统 |
| CN116610531A (zh) * | 2023-07-14 | 2023-08-18 | 江苏数字看点科技有限公司 | 一种基于代码探针采集及请求图片上传的数据埋点方法 |
| CN116610531B (zh) * | 2023-07-14 | 2023-09-29 | 江苏数字看点科技有限公司 | 基于代码探针采集数据埋点及请求图片上传数据的方法 |
| CN117785831A (zh) * | 2024-01-05 | 2024-03-29 | 合肥卓讯云网科技有限公司 | 一种日志处理方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111581054B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111581054B (zh) | 一种基于elk的日志埋点的业务分析告警系统及方法 | |
| US11188619B2 (en) | Single click delta analysis | |
| US11853294B2 (en) | Key name synthesis | |
| US11182434B2 (en) | Cardinality of time series | |
| US11196756B2 (en) | Identifying notable events based on execution of correlation searches | |
| RU2691595C2 (ru) | Конструируемый поток данных для улучшенной обработки событий | |
| US20200201699A1 (en) | Unified error monitoring, alerting, and debugging of distributed systems | |
| CN107229556A (zh) | 基于elastic组件的日志分析系统 | |
| CN107273267A (zh) | 基于elastic组件的日志分析方法 | |
| CN111881011A (zh) | 日志管理方法、平台、服务器及存储介质 | |
| US11681707B1 (en) | Analytics query response transmission | |
| KR20150009798A (ko) | 개인 정보 상시 감시 시스템 및 그 상시 감시 방법 | |
| CN113760641A (zh) | 业务监控方法、装置、计算机系统和计算机可读存储介质 | |
| CN115168400A (zh) | 外部数据管理系统及方法 | |
| US20200125544A1 (en) | Method and Apparatus of Collecting and Reporting Database Application Incompatibilities | |
| CN114116872A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN116126808A (zh) | 行为日志记录方法、装置、计算机设备和存储介质 | |
| US20210156401A1 (en) | Vehicle with a Boom Comprising a Hydraulic Control Circuit with a Load Control Valve | |
| CN112346938B (zh) | 操作审计方法、装置及服务器和计算机可读存储介质 | |
| CN112862598A (zh) | 渠道信息管理方法、装置、电子设备及介质 | |
| CN110532242B (zh) | 业务消息发送方法和装置 | |
| US12032637B2 (en) | Single click delta analysis | |
| CN114297406A (zh) | 一种审计方法、装置及电子设备 | |
| CN118331823A (zh) | 航天工程业务运行日志管理与监控告警方法及系统 | |
| CN116910352A (zh) | 基于人工智能的报表推荐方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |