CN110990223A - 一种基于系统日志的监控告警方法及装置 - Google Patents

一种基于系统日志的监控告警方法及装置 Download PDF

Info

Publication number
CN110990223A
CN110990223A CN201911183987.4A CN201911183987A CN110990223A CN 110990223 A CN110990223 A CN 110990223A CN 201911183987 A CN201911183987 A CN 201911183987A CN 110990223 A CN110990223 A CN 110990223A
Authority
CN
China
Prior art keywords
log
analysis result
analyzed
json
logs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911183987.4A
Other languages
English (en)
Inventor
程帅
何浩
姚明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ccx Credit Technology Co ltd
Original Assignee
Ccx Credit Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ccx Credit Technology Co ltd filed Critical Ccx Credit Technology Co ltd
Priority to CN201911183987.4A priority Critical patent/CN110990223A/zh
Publication of CN110990223A publication Critical patent/CN110990223A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例提供了一种基于系统日志的监控告警方法及装置，方法包括：利用预先构建的分布式采集系统，获取业务系统运行过程中产生的至少一种类型的系统日志；将系统日志转换为预设格式的日志，得到待分析日志；利用预先构建的分布式计算系统，对待分析日志进行分析处理，得到分析结果；当分析结果满足预先配置的告警条件时，进行告警。以实现减少人力资源的消耗，提高数据监控的实时性。

Description

一种基于系统日志的监控告警方法及装置
技术领域
本发明涉及计算机应用技术领域，特别是涉及一种基于系统日志的监控告警方法及装置。
背景技术
为保障企业业务的正常发展，需要对业务系统的运行过程进行监控，从而做到及时发现并处理问题，最大程度减少异常状态对业务的影响。
在业务系统的运行过程中，研发或运维人员定时排查，若遇到系统漏洞等问题可以及时处理。然而随着业务类型的不断增多，采用人工排查这种方式来监控业务系统，需要大量的人力资源，且无法及时发现问题，即监控的实时性不高。
发明内容
本发明实施例的目的在于提供一种基于系统日志的监控告警方法及装置，以实现减少人力资源的消耗，提高数据监控的实时性。具体技术方案如下：
为实现上述目的，本发明实施例提供了一种基于系统日志的监控告警方法，所述方法包括：
利用预先构建的分布式采集系统，获取业务系统运行过程中产生的至少一种类型的系统日志；
将所述系统日志转换为预设格式的日志，得到待分析日志；
利用预先构建的分布式计算系统，对所述待分析日志进行分析处理，得到分析结果；
当所述分析结果满足预先配置的告警条件时，进行告警。
可选的，所述预设格式为json格式。
可选的，在得到待分析日志之后，在对所述待分析日志进行分析处理之前，还包括：
将所述待分析日志统一存储在预先构建的分布式缓存系统中。
可选的，所述对所述待分析日志进行分析处理的步骤，包括：
对所述json格式的待分析日志进行分级解析，得到分级解析结果，所述分级解析结果包括：一级json解析结果，二级json解析结果以及多级json解析结果；
基于预先配置的监控字段，检测所述分级解析结果中对应字段，得到分析结果。
为实现上述目的，本发明实施例还提供了一种基于系统日志的监控告警装置，所述装置包括：
获取模块，用于利用预先构建的分布式采集系统，获取业务系统运行过程中产生的至少一种类型的系统日志；
转换模块，用于将所述系统日志转换为预设格式的日志，得到待分析日志；
分析模块，用于利用预先构建的分布式计算系统，对所述待分析日志进行分析处理，得到分析结果；
告警模块，用于当所述分析结果满足预先配置的告警条件时，进行告警。
可选的，所述预设格式为json格式。
可选的，所述装置还包括存储模块，所述存储模块，用于将所述待分析日志统一存储在预先构建的分布式缓存系统中。
可选的，所述分析模块，具体用于：
对所述json格式的待分析日志进行分级解析，得到分级解析结果，所述分级解析结果包括：一级json解析结果，二级json解析结果以及多级json解析结果；
基于预先配置的监控字段，检测所述分级解析结果中对应字段，得到分析结果。
为实现上述目的，本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一方法步骤。
为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法步骤。
可见，应用本发明实施例提供的基于系统日志的监控告警方法及装置，利用预先构建的分布式采集系统，获取业务系统运行过程中产生的至少一种类型的系统日志；将所述系统日志转换为预设格式的日志，得到待分析日志；利用预先构建的分布式计算系统，对所述待分析日志进行分析处理，得到分析结果；当所述分析结果满足预先配置的告警条件时，进行告警。能够实现实时，精确的对各个业务系统进行监控及告警，相比于现有的人工排查方式，能够减少人力资源的消耗，且提高数据监控的实时性。
当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于系统日志的监控告警方法的一种流程示意图；
图2为本发明实施例提供的监控告警系统的一种示意图；
图3为本发明实施例提供的基于系统日志的监控告警装置的一种结构示意图；
图4为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有的采用人工排查方式来监控业务系统，需要大量人力资源，且监控实时性不高的技术问题，本发明实施例提供了一种基于系统日志的监控告警方法及装置。
该方法可以应用于监控告警平台的监控服务器，其中，监控告警平台可以是基于flume、spark、kafka等第三方技术控件自行搭建的，监控告警平台与各个线上的业务系统相连接，从而收集各个业务系统运行过程中产生的系统日志，对系统日志进行分析以实现数据监控。
下面通过具体实施例，对本发明进行说明。
参见图1，图1为本发明实施例提供的基于系统日志的监控告警方法的一种流程示意图，可以包括以下步骤：
S101：利用预先构建的分布式采集系统，获取业务系统运行过程中产生的至少一种类型的系统日志。
其中，系统日志是记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。
本发明实施例中，不同业务系统在运行时会产生各种类型的系统日志。例如，Nginx日志，流量日志，数据库日志mysql和oracle，以及应用数据接口日志等。
本发明实施例中，可以搭建分布式采集系统flume来收集不同业务系统在运行时所产生的上述各种类型的系统日志。其中，flume是一个高可用的，分布式的海量日志采集、聚合和传输系统。
S102：将系统日志转换为预设格式的日志，得到待分析日志。
本发明实施例中，可以将不同类型的系统日志均转换为同一预设格式的日志，以便于后续的分析处理。
本发明的一种实施例中，预设格式可以为json格式。
具体的，可以采用flume来进行日志的转换。本领域技术人员可以理解，日志格式的转换不会影响日志中包含的实质内容。
具体的，针对不同类型的系统日志，可以采用不同方式将其转换为json格式，举例来讲，针对Nginx日志，数据库日志mysql和oracle，可以利用自定义的拦截器将其转换为json格式，其中拦截器是一种插件式组件，可以设置在Source和Source写入数据的Channel之间。Source接收到的事件在写入到对应的Channel之前，拦截器都可以转换或删除。
本发明实施例中，针对应用日志，如tomcat日志，可以将自定义的日志拦截转化程序置于相应的应用程序中，并在其开源日志组件中嵌入flume附加器，进而将应用日志转化为统一的json格式。
本发明实施例并不限于上述方式进行日志格式的转换，其他日志格式转换的方法，均可以应用于本发明实施例，例如针对Nginx日志，还可以修改Nginx的配置文件，将其修改为json格式的配置文件，从而输出json格式的日志。
S103：利用预先构建的分布式计算系统，对所述待分析日志进行分析处理，得到分析结果。
本发明实施例中，在将系统日志均转换为统一格式后，可以对其进行分析处理。
具体的，可以搭建分布式计算系统spark，进而利用spark对json格式的日志进行分析处理。其中，spark是专为大规模数据处理而设计的快速通用的计算引擎。
本发明实施例中，可以采用spark对json格式的日志进行相关解析、过滤、统计以及计算操作，得到分析结果。
S104：当分析结果满足预先配置的告警条件时，进行告警。
本发明实施例中，可以预先配置告警条件，当日志的分析结果满足预先配置的告警条件时，进行告警。
具体的，告警条件可以根据各个业务系统运行中可能遇到的问题来进行相应的配置，下面分别举例说明。
作为一个示例，可以配置针对系统bug的告警条件，当对json日志的分析结果显示业务系统运行过程中出现bug时，进行告警。
作为另一个示例，可以配置针对系统流量的告警条件，当对json日志的分析结果显示业务系统运行过程中出现流量突增的情况时，进行告警。
作为又一个示例，可以配置针对数据反馈一致率的告警条件，例如，当对json日志的分析结果显示从不同数据库返回的数据一致率低于某个预设阈值时，进行告警。
上述仅作为告警条件的示例，本发明实施例并不限于此，只要是通过分析json日志能够检测出的业务系统运行中出现的各种问题，均可配置相应的告警条件。
本发明实施例中，当满足告警条件时，可以通过向相应负责人发送信息的方式进行告警。例如，当检测到系统运行中出现bug时，可以向运维负责人发送相应的信息。
此外，也可以采用其他告警方式，例如在一定范围内广播突发事件等，对此不做限定。
本发明实施例中，除了预先配置告警条件之外，还可以配置监控信息，例如监控时段，监控周期，监控接口的类型等。
可见，应用本发明实施例提供的基于系统日志的监控告警方法，利用预先构建的分布式采集系统，获取业务系统运行过程中产生的至少一种类型的系统日志；将所述系统日志转换为预设格式的日志，得到待分析日志；利用预先构建的分布式计算系统，对所述待分析日志进行分析处理，得到分析结果；当所述分析结果满足预先配置的告警条件时，进行告警。能够实现实时，精确的对各个业务系统进行监控及告警，相比于现有的人工排查方式，能够减少人力资源的消耗，且提高数据监控的实时性。
在本发明的一种实施例中，在得到待分析日志之后，在对待分析日志进行分析处理之前，还可以包括：将待分析日志统一存储在预先构建的分布式缓存系统中。
具体的，可以预先构建分布式缓存系统kafka，进而将待分析日志统一存储在kafka中。此外，由于不同服务器产生的日志统一发送至kafka缓存中，能够实现平台无关性，进一步方便统一分析处理。
在本发明的一种实施例中，对待分析日志进行分析处理的步骤，具体可以包括以下细化步骤：
步骤a：对json格式的待分析日志进行分级解析，得到分级解析结果，所述分级解析结果包括：一级json解析结果，二级json解析结果以及多级json解析结果。
其中，json格式的日志能够解析到多级结果，进而在对其进行分析时，可以分别针对每一级解析结果进行分析。
步骤b：基于预先配置的监控字段，检测分级解析结果中对应字段，得到分析结果。
本发明实施例中，可以预先配置监控字段，针对不同级的json解析结果，可以配置不同的监控字段。进而，可以检测每个分级解析结果中对应字段，得到各个分级的检测结果，当某个分级的检测结果显示出现问题时，向相应的负责人员告警。
可见，本发明实施例中，可以精准监控一级json解析结果以及一级下的多级json解析结果，增大了监控范围，防止发生一级解析结果无误，而其他信息出错的情况，实现更精确的监控数据。
下面结合图2所示的监控告警系统的示意图，对本发明实施例提供的基于系统日志的监控告警方法进行进一步介绍。
如图2所示，收集各种类型的系统日志，将其统一转换为json格式日志，统一存储于预先搭建的kafka缓存中，进而利用预先搭建的spark系统对json格式的日志进行解析，计算处理，包括解析至多级格式，字段统计、判断，进行相关分析，当分析结果符合预先配置的告警条件，则向相应的负责人告警。
基于相同的发明构思，根据上述基于系统日志的监控告警方法，本发明实施例还提供了一种基于系统日志的监控告警装置，参见图3，可以包括以下模块：
获取模块301，用于利用预先构建的分布式采集系统，获取业务系统运行过程中产生的至少一种类型的系统日志；
转换模块302，用于将所述系统日志转换为预设格式的日志，得到待分析日志；
分析模块303，用于利用预先构建的分布式计算系统，对所述待分析日志进行分析处理，得到分析结果；
告警模块304，用于当所述分析结果满足预先配置的告警条件时，进行告警。
在本发明的一种实施例中，预设格式可以为json格式。
在本发明的一种实施例中，在图3所示装置基础上，还可以包括存储模块，存储模块，用于将所述待分析日志统一存储在预先构建的分布式缓存系统中。
在本发明的一种实施例中，分析模块303，具体可以用于：
对所述json格式的待分析日志进行分级解析，得到分级解析结果，所述分级解析结果包括：一级json解析结果，二级json解析结果以及多级json解析结果；
基于预先配置的监控字段，检测所述分级解析结果中对应字段，得到分析结果。
应用本发明实施例提供的基于系统日志的监控告警装置，利用预先构建的分布式采集系统，获取业务系统运行过程中产生的至少一种类型的系统日志；将所述系统日志转换为预设格式的日志，得到待分析日志；利用预先构建的分布式计算系统，对所述待分析日志进行分析处理，得到分析结果；当所述分析结果满足预先配置的告警条件时，进行告警。能够实现实时，精确的对各个业务系统进行监控及告警，相比于现有的人工排查方式，能够减少人力资源的消耗，且提高数据监控的实时性。
基于相同的发明构思，根据上述基于系统日志的监控告警方法实施例，本发明实施例还提供了一种电子设备，如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，
存储器403，用于存放计算机程序；
处理器401，用于执行存储器403上所存放的程序时，实现如下步骤：
利用预先构建的分布式采集系统，获取业务系统运行过程中产生的至少一种类型的系统日志；
将所述系统日志转换为预设格式的日志，得到待分析日志；
利用预先构建的分布式计算系统，对所述待分析日志进行分析处理，得到分析结果；
当所述分析结果满足预先配置的告警条件时，进行告警。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
应用本发明实施例提供的电子设备，利用预先构建的分布式采集系统，获取业务系统运行过程中产生的至少一种类型的系统日志；将所述系统日志转换为预设格式的日志，得到待分析日志；利用预先构建的分布式计算系统，对所述待分析日志进行分析处理，得到分析结果；当所述分析结果满足预先配置的告警条件时，进行告警。能够实现实时，精确的对各个业务系统进行监控及告警，相比于现有的人工排查方式，能够减少人力资源的消耗，且提高数据监控的实时性。
基于相同的发明构思，根据上述基于系统日志的监控告警方法实施例，在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一基于系统日志的监控告警方法步骤。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于基于系统日志的监控告警装置实施例、电子设备实施例以及计算机存储介质实施例而言，由于其基本相似于基于系统日志的监控告警方法实施例，所以描述的比较简单，相关之处参见基于系统日志的监控告警方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种基于系统日志的监控告警方法，其特征在于，所述方法包括：
利用预先构建的分布式采集系统，获取业务系统运行过程中产生的至少一种类型的系统日志；
将所述系统日志转换为预设格式的日志，得到待分析日志；
利用预先构建的分布式计算系统，对所述待分析日志进行分析处理，得到分析结果；
当所述分析结果满足预先配置的告警条件时，进行告警。
2.根据权利要求1所述的方法，其特征在于，所述预设格式为json格式。
3.根据权利要求1所述的方法，其特征在于，在得到待分析日志之后，在对所述待分析日志进行分析处理之前，还包括：
将所述待分析日志统一存储在预先构建的分布式缓存系统中。
4.根据权利要求2所述的方法，其特征在于，所述对所述待分析日志进行分析处理的步骤，包括：
对所述json格式的待分析日志进行分级解析，得到分级解析结果，所述分级解析结果包括：一级json解析结果，二级json解析结果以及多级json解析结果；
基于预先配置的监控字段，检测所述分级解析结果中对应字段，得到分析结果。
5.一种基于系统日志的监控告警装置，其特征在于，所述装置包括：
获取模块，用于利用预先构建的分布式采集系统，获取业务系统运行过程中产生的至少一种类型的系统日志；
转换模块，用于将所述系统日志转换为预设格式的日志，得到待分析日志；
分析模块，用于利用预先构建的分布式计算系统，对所述待分析日志进行分析处理，得到分析结果；
告警模块，用于当所述分析结果满足预先配置的告警条件时，进行告警。
6.根据权利要求5所述的装置，其特征在于，所述预设格式为json格式。
7.根据权利要求5所述的装置，其特征在于，所述装置还包括存储模块，所述存储模块，用于将所述待分析日志统一存储在预先构建的分布式缓存系统中。
8.根据权利要求6所述的装置，其特征在于，所述分析模块，具体用于：
对所述json格式的待分析日志进行分级解析，得到分级解析结果，所述分级解析结果包括：一级json解析结果，二级json解析结果以及多级json解析结果；
基于预先配置的监控字段，检测所述分级解析结果中对应字段，得到分析结果。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
CN201911183987.4A 2019-11-27 2019-11-27 一种基于系统日志的监控告警方法及装置 Pending CN110990223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911183987.4A CN110990223A (zh) 2019-11-27 2019-11-27 一种基于系统日志的监控告警方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911183987.4A CN110990223A (zh) 2019-11-27 2019-11-27 一种基于系统日志的监控告警方法及装置

Publications (1)

Publication Number Publication Date
CN110990223A true CN110990223A (zh) 2020-04-10

Family

ID=70087454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911183987.4A Pending CN110990223A (zh) 2019-11-27 2019-11-27 一种基于系统日志的监控告警方法及装置

Country Status (1)

Country Link
CN (1) CN110990223A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391990A (zh) * 2021-06-30 2021-09-14 未鲲(上海)科技服务有限公司 系统日志的监控方法、装置、设备及存储介质
CN117156005A (zh) * 2023-09-21 2023-12-01 北京明朝万达科技股份有限公司 数据传输方法、系统、装置、电子设备和可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636494A (zh) * 2015-03-04 2015-05-20 浪潮电子信息产业股份有限公司 一种基于Spark大数据平台的日志审计倒查系统
CN106452867A (zh) * 2016-08-10 2017-02-22 贵阳朗玛信息技术股份有限公司 日志报文处理方法及系统
CN106940677A (zh) * 2017-02-13 2017-07-11 咪咕音乐有限公司 一种应用日志数据告警方法及装置
CN107273267A (zh) * 2017-06-09 2017-10-20 环球智达科技（北京）有限公司 基于elastic组件的日志分析方法
CN107391746A (zh) * 2017-08-10 2017-11-24 深圳前海微众银行股份有限公司 日志分析方法、设备和计算机可读存储介质
CN107622068A (zh) * 2016-07-14 2018-01-23 深圳联友科技有限公司 一种基于json格式的日志管理方法及装置
CN108763044A (zh) * 2018-05-30 2018-11-06 中国建设银行股份有限公司 一种日志处理方法及装置
CN109634818A (zh) * 2018-10-24 2019-04-16 中国平安人寿保险股份有限公司 日志分析方法、系统、终端及计算机可读存储介质
CN109766100A (zh) * 2018-12-11 2019-05-17 新华三技术有限公司合肥分公司 数据处理方法及装置
CN110309030A (zh) * 2019-07-05 2019-10-08 亿玛创新网络(天津)有限公司 基于ELK和Zabbix的日志分析监控系统和方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636494A (zh) * 2015-03-04 2015-05-20 浪潮电子信息产业股份有限公司 一种基于Spark大数据平台的日志审计倒查系统
CN107622068A (zh) * 2016-07-14 2018-01-23 深圳联友科技有限公司 一种基于json格式的日志管理方法及装置
CN106452867A (zh) * 2016-08-10 2017-02-22 贵阳朗玛信息技术股份有限公司 日志报文处理方法及系统
CN106940677A (zh) * 2017-02-13 2017-07-11 咪咕音乐有限公司 一种应用日志数据告警方法及装置
CN107273267A (zh) * 2017-06-09 2017-10-20 环球智达科技（北京）有限公司 基于elastic组件的日志分析方法
CN107391746A (zh) * 2017-08-10 2017-11-24 深圳前海微众银行股份有限公司 日志分析方法、设备和计算机可读存储介质
CN108763044A (zh) * 2018-05-30 2018-11-06 中国建设银行股份有限公司 一种日志处理方法及装置
CN109634818A (zh) * 2018-10-24 2019-04-16 中国平安人寿保险股份有限公司 日志分析方法、系统、终端及计算机可读存储介质
CN109766100A (zh) * 2018-12-11 2019-05-17 新华三技术有限公司合肥分公司 数据处理方法及装置
CN110309030A (zh) * 2019-07-05 2019-10-08 亿玛创新网络(天津)有限公司 基于ELK和Zabbix的日志分析监控系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SUNTINGTAO: "日志服务支持Json类型数据", Retrieved from the Internet <URL:https://developer.aliyun.com/article/459590> *
ぃ小小宇宙: "《五分钟上手 Nginx输出JSON格式日志，较为全面的 Nginx 日志解析！》", Retrieved from the Internet <URL:http://t.csdn.cn/Xbn6w> *
唐恺: "日志服务（原SLS）新功能发布(7)--使用logtail接入JSON/分隔符日志", Retrieved from the Internet <URL:https://developer.aliyun.com/article/40556> *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391990A (zh) * 2021-06-30 2021-09-14 未鲲(上海)科技服务有限公司 系统日志的监控方法、装置、设备及存储介质
CN117156005A (zh) * 2023-09-21 2023-12-01 北京明朝万达科技股份有限公司 数据传输方法、系统、装置、电子设备和可读存储介质

Similar Documents

Publication Publication Date Title
WO2021174694A1 (zh) 基于数据中心的运维监控方法、装置、设备及存储介质
US10558544B2 (en) Multiple modeling paradigm for predictive analytics
CN111309539A (zh) 一种异常监测方法、装置和电子设备
CN111045894B (zh) 数据库异常检测方法、装置、计算机设备和存储介质
CN110888783A (zh) 微服务系统的监测方法、装置以及电子设备
US20200117587A1 (en) Log File Analysis
US9472084B1 (en) Alarm notification based on detecting anomalies in big data
CN109005162B (zh) 工控系统安全审计方法及装置
CN110990223A (zh) 一种基于系统日志的监控告警方法及装置
CN112612680A (zh) 一种消息告警方法、系统、计算机设备及存储介质
CN110662024A (zh) 基于多帧的视频质量诊断方法、装置及电子设备
CN109308225B (zh) 一种虚拟机异常检测方法、装置、设备及存储介质
CN115622867A (zh) 一种工控系统安全事件预警分类方法及系统
CN115952081A (zh) 一种软件测试方法、装置、存储介质及设备
CN112256548B (zh) 异常数据的监听方法、装置、服务器及存储介质
US11675647B2 (en) Determining root-cause of failures based on machine-generated textual data
CN111290371B (zh) 物联网设备远程诊断的方法及装置、电子设备
CN117149565A (zh) 云平台关键性能指标的状态检测方法、装置、设备及介质
US20230004478A1 (en) Systems and methods of continuous stack trace collection to monitor an application on a server and resolve an application incident
CN110120893B (zh) 一种定位网络系统安全问题的方法及装置
CN114881112A (zh) 一种系统异常检测方法、装置、设备及介质
CN113221096A (zh) 一种在混沌工程中随机事件相关性分析方法及系统
CN112804104A (zh) 一种预警方法、装置、设备及介质
CN113138872A (zh) 数据库系统的异常处理装置及方法
CN111581044A (zh) 集群优化方法、装置、服务器及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination