CN112422344A - 日志异常的告警方法、装置、存储介质及电子装置 - Google Patents
日志异常的告警方法、装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN112422344A CN112422344A CN202011296390.3A CN202011296390A CN112422344A CN 112422344 A CN112422344 A CN 112422344A CN 202011296390 A CN202011296390 A CN 202011296390A CN 112422344 A CN112422344 A CN 112422344A
- Authority
- CN
- China
- Prior art keywords
- log
- fault information
- information
- interface service
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000002159 abnormal effect Effects 0.000 claims abstract description 73
- 238000001914 filtration Methods 0.000 claims abstract description 18
- 230000005856 abnormality Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 abstract description 12
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010223 real-time analysis Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0677—Localisation of faults
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例提供了一种日志异常的告警方法、装置、存储介质及电子装置，其中，该方法包括：获取在预定时间段内生成的多个接口服务日志；对多个接口服务日志进行过滤，以从多个接口服务日志中确定出异常日志，其中，异常日志记录有故障信息；确定故障信息的类型，在类型相同的第一故障信息的数量大于预定阈值的情况下，执行告警操作。通过本发明，解决了相关技术中存在的无法快速定位故障信息，需要用户手动查询日志确定故障信息的问题，达到快速定位故障信息、自动确定故障信息的效果。
Description
技术领域
本发明实施例涉及通信领域，具体而言，涉及一种日志异常的告警方法、装置、存储介质及电子装置。
背景技术
随着智能家居APP(Application，应用)用户量的增多，一旦发生故障，第一时间收到告警和故障点信息就显得尤为重要。
在相关技术中，通常采用基于jmeter(压力测试工具)的拨测监控系统只能监控到服务的存活或者通过增加断言监控接口的响应情况，即通过jmeter脚本对接口服务发起主动请求，然后，获取响应结果来判断接口服务是否正常，这样只能监控出哪个接口出现故障，无法获取出现故障原因、无法确定具体报错信息以及无法确定是哪台服务器出现的故障，因此，不能帮助技术人员快速定位故障，一旦服务出现故障无法精确上报具体故障信息，需要技术人员登录服务器查看服务日志判断出异常点。
由此可知，相关技术中存在无法快速定位故障信息，需要用户手动查询日志确定故障信息的问题。
针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种日志异常的告警方法、装置、存储介质及电子装置，以至少解决相关技术中存在的无法快速定位故障信息，需要用户手动查询日志确定故障信息的问题。
根据本发明的一个实施例，提供了一种日志异常的告警方法，包括：获取在预定时间段内生成的多个接口服务日志；对多个所述接口服务日志进行过滤，以从多个所述接口服务日志中确定出异常日志，其中，所述异常日志记录有故障信息；确定所述故障信息的类型，在类型相同的第一故障信息的数量大于预定阈值的情况下，执行告警操作。
在一个示例性实施例中，对多个所述接口服务日志进行过滤，以从多个所述接口服务日志中确定出异常日志包括：分别对多个所述接口服务日志中记录的信息与预先确定的目标信息进行相似度比较；基于比较结果确定出记录的信息与所述目标信息相似度大于预定阈值的接口服务日志；将确定出的所述接口服务日志确定为所述异常日志。
在一个示例性实施例中，确定所述故障信息的类型，在类型相同的第一故障信息的数量大于预定阈值的情况下，执行告警操作包括：确定所述异常日志中记录的所述故障信息；确定所述故障信息的类型；统计每个类型下的第一故障信息的数量；在类型相同的所述第一故障信息的数量大于预定阈值的情况下，将所述异常日志及所述第一故障信息确定为告警信息；发送所述告警信息。
在一个示例性实施例中，对多个所述接口服务日志进行过滤，以从多个所述接口服务日志中确定出异常日志之后，所述方法还包括：对所述异常日志的格式进行转换，以得到格式为目标格式的目标异常日志；存储所述目标异常日志。
一个示例性实施例中，在存储所述目标异常日志之后，所述方法还包括：在确定存储所述目标异常日志的存储时间超过预定时间阈值的情况下，删除所述目标异常日志。
根据本发明的另一个实施例，提供了一种日志异常的告警装置，包括：获取模块，用于获取在预定时间段内生成的多个接口服务日志；过滤模块，用于对多个所述接口服务日志进行过滤，以从多个所述接口服务日志中确定出异常日志，其中，所述异常日志记录有故障信息；告警模块，用于确定所述故障信息的类型，在类型相同的第一故障信息的数量大于预定阈值的情况下，执行告警操作。
在一个示例性实施例中，所述过滤模块包括：比较单元，用于分别对多个所述接口服务日志中记录的信息与预先确定的目标信息进行相似度比较；第一确定单元，用于基于比较结果确定出记录的信息与所述目标信息相似度大于预定阈值的接口服务日志；第二确定单元，用于将确定出的所述接口服务日志确定为所述异常日志。
在一个示例性实施例中，所述告警模块包括：第三确定单元，用于确定所述异常日志中记录的所述故障信息；第四确定单元，用于确定所述故障信息的类型；统计单元，用于统计每个类型下的第一故障信息的数量；第五确定单元，用于在类型相同的所述第一故障信息的数量大于预定阈值的情况下，将所述异常日志及所述第一故障信息确定为告警信息；发送单元，用于发送所述告警信息。
在一个示例性实施例中，所述装置用于对多个所述接口服务日志进行过滤，以从多个所述接口服务日志中确定出异常日志之后，对所述异常日志的格式进行转换，以得到格式为目标格式的目标异常日志；存储所述目标异常日志。
在一个示例性实施例中，所述装置用于在存储所述目标异常日志之后，在确定存储所述目标异常日志的存储时间超过预定时间阈值的情况下，删除所述目标异常日志。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，获取预定时间段内生成的多个接口服务日志，对多个接口服务日志进行过滤，以从多个接口服务日志中确定出记录有故障信息的异常日志，确定故障信息的类型，在类型相同的第一故障信息的数量大于预定阈值的情况下，执行告警操作。由于可以自动过滤出异常日志，在类型相同的第一故障信息的数量大于预定阈值时，进行告警操作，用户可以直接确定故障信息。因此，可以解决相关技术中存在的无法快速定位故障信息，需要用户手动查询日志确定故障信息的问题，达到快速定位故障信息、自动确定故障信息的效果。
附图说明
图1是本发明实施例的一种日志异常的告警方法的移动终端的硬件结构框图；
图2是根据本发明实施例的日志异常的告警方法的流程图；
图3是根据本发明示例性实施例的对多个接口服务日志进行过滤以从多个接口服务日志中确定出异常日志流程图；
图4是根据本发明示例性实施例的在类型相同的第一故障信息的数量大于预定阈值的情况下执行告警操作的流程图；
图5是根据本发明具体实施例的日志异常的告警方法流程图；
图6是根据本发明具体实施例的日志异常的告警方法架构图；
图7是根据本发明实施例的日志异常的告警装置的结构框图；
图8是根据本发明示例性实施例的过滤模块结构图；
图9是根据本发明示例性实施例的告警模块结构图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种日志异常的告警方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的日志异常的告警方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种日志异常的告警方法，图2是根据本发明实施例的日志异常的告警方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取在预定时间段内生成的多个接口服务日志；
步骤S204，对多个所述接口服务日志进行过滤，以从多个所述接口服务日志中确定出异常日志，其中，所述异常日志记录有故障信息；
步骤S206，确定所述故障信息的类型，在类型相同的第一故障信息的数量大于预定阈值的情况下，执行告警操作。
在上述实施例中，接口服务日志中可以包括日志类型、日志产生的时间、事件源、编号、用户名、IP地址等信息。在获取到预定时间段内生成的多个接口日志后，可以对接口服务日志进行过滤。其中，预定时间段可以是windows函数规定的时间窗口，预定时间段可以2分钟(2分钟仅是一种示例性说明，本发明对预定时间段不做限制，预定时间段可以自定义设备，例如，还可以为1分钟，5分钟等)。预定阈值可以为1分钟20次(该取值仅是一种示例性说明，预定阈值可以自定义设置，本发明对预定阈值不做限制，例如，还可以取1分钟10次，1分钟30次等)。
在上述实施例中，可以应用Flink技术对APP接口服务进行实时监控，方便查看故障相关信息，帮助技术人员快速解决故障，提高服务质量。通过Flink流式计算技术实时分析服务日志，获取异常数据，以此监控日志。其中，Flink是一个流式计算框架，可以对无界数据流进行实时分析，应用Flink流式计算能力对服务log(日志)进行实时分析计算，在设置的时间窗口内获取log中error(错误)，exception(空指针异常)，自定义异常返回码等信息，进行聚合、转换等实时分析计算，若类型相同的故障信息出现次数大于设置的预定阈值，则对error、exception、自定义信息等进行记录存储，并触发告警消息通知，发送分析出来的故障原因给相关技术人员。
可选地，上述步骤的执行主体可以是Flink引擎、服务器、后台处理器，或者其他的具备类似处理能力的设备，还可以是至少集成有数据处理设备的机器，其中，数据处理设备可以包括计算机、手机等终端，但不限于此。
在上述实施例中，可以通过Logstash、Flume等收集APP接口服务日志，将APP接口服务日志存储到Kafka消息队列中，Flink引擎可以订阅Kafka消息队列中的数据，利用Filter对预定时间段内生成的多个接口服务日志进行过滤，以确定多个接口服务日志中记录有故障信息的异常日志，当类型相同的第一故障信息的数量超过预定阈值时，执行告警操作。其中，预定时间可以为Windows函数确定的时间窗口，告警操作可以包括向目标终端发送短消息等，其中，短消息中可以包括异常日志和日志异常的原因。
通过本发明，获取预定时间段内生成的多个接口服务日志，对多个接口服务日志进行过滤，以从多个接口服务日志中确定出记录有故障信息的异常日志，确定故障信息的类型，在类型相同的第一故障信息的数量大于预定阈值的情况下，执行告警操作。由于可以自动过滤出异常日志，在类型相同的第一故障信息的数量大于预定阈值时，进行告警操作，用户可以直接确定故障信息。因此，可以解决相关技术中存在的无法快速定位故障信息，需要用户手动查询日志确定故障信息的问题，达到快速定位故障信息、自动确定故障信息的效果。
在一个示例性实施例中，对多个所述接口服务日志进行过滤，以从多个所述接口服务日志中确定出异常日志流程图可参见附图3，如图3所示，该流程包括：
步骤S302，分别对多个所述接口服务日志中记录的信息与预先确定的目标信息进行相似度比较；
步骤S304，基于比较结果确定出记录的信息与所述目标信息相似度大于预定阈值的接口服务日志；
步骤S306，将确定出的所述接口服务日志确定为所述异常日志。
在本实施例中，可以根本对多个接口服务日志中记录的信息与预先确定的目标信息进行相似度比较，根据比较结果确定出记录的信息与目标信息相似度大于预定阈值的接口服务日志，将确定出的接口服务日志确定为异常日志。其中，预定阈值可以为90％(该数值仅是一种示例性说明，本发明做预定阈值不做限制，例如，还可以为85％，95％，100％等)。
在一个示例性实施例中，确定所述故障信息的类型，在类型相同的第一故障信息的数量大于预定阈值的情况下，执行告警操作的流程图可参见附图4，如图4所示，该流程包括：
步骤S402，确定所述异常日志中记录的所述故障信息；
步骤S404，确定所述故障信息的类型；
步骤S406，统计每个类型下的第一故障信息的数量；
步骤S408，在类型相同的所述第一故障信息的数量大于预定阈值的情况下，将所述异常日志及所述第一故障信息确定为告警信息；
步骤S410，发送所述告警信息。
在本实施例中，在确定异常日志中记录的故障信息后，可以确定故障信息的类型，并统计每个类型下的第一故障信息的数量，在类型相同的第一故障信息的数量大于预定阈值的情况下，可以将异常日志及第一故障信息确定为告警信息，将告警信息发送给目标终端，例如，技术人员的手机、计算机、平板电脑等。
在一个示例性实施例中，对多个所述接口服务日志进行过滤，以从多个所述接口服务日志中确定出异常日志之后，所述方法还包括：对所述异常日志的格式进行转换，以得到格式为目标格式的目标异常日志；存储所述目标异常日志。在本实施例中，还可以通过reduce、keyBy、max、min、sum、Avg等函数对异常日志进行聚合、转换，将异常日志的格式进行转换，以得到目标格式的目标异常日志，并将目标异常日志存储到HDFS、kudu等存储系统中。
在上述实施例中，通过Flink技术对日志进行实时分析可以知道APP应用服务系统内部都有哪些错误，做到告警，并且可以报告故障具体信息，方便技术人员排查故障，对系统故障信息的存储可以直观统计出错误或异常出现次数，技术人员可以获取出现故障信息的top10，方便了技术人员对接口系统的优化。因此，可以解决传统接口拨测系统只能报告接口是否正常响应，无法告知具体错误或异常信息的问题，还可以解决由于传统接口拨测系统不会对异常信息存储，因此后期技术人员很难通过故障信息对服务进行优化的问题。对服务日志分析提升了服务质量，不仅解决了故障告警问题，还通过保存的大量故障信息数据，方便对应用服务的优化，通过记录的故障数据可以判断服务质量是否提高还是降低。
在一个示例性实施例中，在存储所述目标异常日志之后，所述方法还包括：在确定存储所述目标异常日志的存储时间超过预定时间阈值的情况下，删除所述目标异常日志。在本实施例中，在将目标异常日志存储在DFS、kudu等存储系统中的存储时间超过预定时间阈值的情况下，在DFS、kudu等存储系统中删除目标异常日志。其中，预定时间阈值可以为7天(该取值仅是一种示例性说明，本发明对预定时间阈值不做限制，例如，还可以为5天，10天等)。
下面结合具体实施方式对日志异常的告警方法进行说明：
图5是根据本发明具体实施例的日志异常的告警方法流程图，如图5所示，该流程包括:
1.通过Logstash或Flume收集log给Kafka；
2.Flink订阅Kafka通道数据给Flink计算引擎；
3.Filter/map/reduce/flatmap/keyBy/avg/max/min/sun/windows等操作对数据进行聚合，转换等，获取故障信息，分析故障原因。
4.将故障信息数据写入到HDFS/kudu中。
5.发送故障相关信息及原因消息给告警通知系统。
6.读取故障信息提供给告警系统UI展示。
通过上述步骤，app接口服务日志通过日志收集器收集日志到Kafka通道，Flink订阅Kafka通道数据，实时对数据进行过滤，聚合，转换等操作获取日志当前状态信息，若日志error或异常数据达到告警阀值则发送告警通知相关信息并保存故障信息。
图6是根据本发明具体实施例的日志异常的告警方法架构图，如图6所示，Flink通过Kafka获取数据源，首先对数据进行过滤，去掉不关心的数据，然后给一个规定的时间窗口，在时间窗口内对数据进行聚合转换等操作，获取到需要告警的信息，然后存储，发送告警消息，告警系统通知相关技术人员。
在前述实施例中，可以通过Flink对APP接口服务日志进行实时异常故障分析。对异常，错误，自定义返回码信息数据的持久化。通过持久化的服务异常信息可以用于优化服务，判定服务质量情况。即，可以通过实时收集接口服务日志，对日志进行实时分析，因此，可以获取服务出现故障信息，分析出故障原因，帮助技术人员快速定位故障，并且保存的异常信息可以帮助技术人员优化系统，长时间存储的异常数据指标可以判断服务质量情况。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种日志异常的告警装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是根据本发明实施例的日志异常的告警装置的结构框图，如图7所示，该装置包括：
获取模块72，用于获取在预定时间段内生成的多个接口服务日志；
过滤模块74，用于对多个所述接口服务日志进行过滤，以从多个所述接口服务日志中确定出异常日志，其中，所述异常日志记录有故障信息；
告警模块76，用于确定所述故障信息的类型，在类型相同的第一故障信息的数量大于预定阈值的情况下，执行告警操作。
在上述实施例中，接口服务日志中可以包括日志类型、日志产生的时间、事件源、编号、用户名、IP地址等信息。在获取到预定时间段内生成的多个接口日志后，可以对接口服务日志进行过滤。其中，预定时间段可以是windows函数规定的时间窗口，预定时间段可以2分钟(2分钟仅是一种示例性说明，本发明对预定时间段不做限制，预定时间段可以自定义设备，例如，还可以为1分钟，5分钟等)。预定阈值可以为1分钟20次(该取值仅是一种示例性说明，预定阈值可以自定义设置，本发明对预定阈值不做限制，例如，还可以取1分钟10次，1分钟30次等)。
在上述实施例中，可以应用Flink技术对APP接口服务进行实时监控，方便查看故障相关信息，帮助技术人员快速解决故障，提高服务质量。通过Flink流式计算技术实时分析服务日志，获取异常数据，以此监控日志。其中，Flink是一个流式计算框架，可以对无界数据流进行实时分析，应用Flink流式计算能力对服务log(日志)进行实时分析计算，在设置的时间窗口内获取log中error(错误)，exception(空指针异常)，自定义异常返回码等信息，进行聚合、转换等实时分析计算，若类型相同的故障信息出现次数大于设置的预定阈值，则对error、exception、自定义信息等进行记录存储，并触发告警消息通知，发送分析出来的故障原因给相关技术人员。
在上述实施例中，可以通过Logstash、Flume等收集APP接口服务日志，将APP接口服务日志存储到Kafka消息队列中，Flink引擎可以订阅Kafka消息队列中的数据，利用Filter对预定时间段内生成的多个接口服务日志进行过滤，以确定多个接口服务日志中记录有故障信息的异常日志，当类型相同的第一故障信息的数量超过预定阈值时，执行告警操作。其中，预定时间可以为Windows函数确定的时间窗口，告警操作可以包括向目标终端发送短消息等，其中，短消息中可以包括异常日志和日志异常的原因。
通过本发明，获取预定时间段内生成的多个接口服务日志，对多个接口服务日志进行过滤，以从多个接口服务日志中确定出记录有故障信息的异常日志，确定故障信息的类型，在类型相同的第一故障信息的数量大于预定阈值的情况下，执行告警操作。由于可以自动过滤出异常日志，在类型相同的第一故障信息的数量大于预定阈值时，进行告警操作，用户可以直接查看异常日志确定故障信息。因此，可以解决相关技术中存在的无法快速定位故障信息，需要用户手动查询日志确定故障信息的问题，达到快速定位故障信息、自动确定故障信息的效果。
在一个示例性实施例中，所述过滤模块74结构图可参见附图8，如图8所示，该结构包括：
比较单元82，用于分别对多个所述接口服务日志中记录的信息与预先确定的目标信息进行相似度比较；
第一确定单元84，用于基于比较结果确定出记录的信息与所述目标信息相似度大于预定阈值的接口服务日志；
第二确定单元86，用于将确定出的所述接口服务日志确定为所述异常日志。
在本实施例中，可以根本对多个接口服务日志中记录的信息与预先确定的目标信息进行相似度比较，根据比较结果确定出记录的信息与目标信息相似度大于预定阈值的接口服务日志，将确定出的接口服务日志确定为异常日志。其中，预定阈值可以为90％(该数值仅是一种示例性说明，本发明做预定阈值不做限制，例如，还可以为85％，95％，100％等)。
在一个示例性实施例中，所述告警模块76结构图可参见附图9，如图9所示，该结构包括：
第三确定单元902，用于确定所述异常日志中记录的所述故障信息；
第四确定单元904，用于确定所述故障信息的类型；
统计单元906，用于统计每个类型下的第一故障信息的数量
第五确定单元908，用于在类型相同的所述第一故障信息的数量大于预定阈值的情况下，将所述异常日志及所述第一故障信息确定为告警信息；
发送单元910，用于发送所述告警信息。
在本实施例中，在确定异常日志中记录的故障信息后，可以确定故障信息的类型，并统计每个类型下的第一故障信息的数量，在类型相同的第一故障信息的数量大于预定阈值的情况下，可以将异常日志及第一故障信息确定为告警信息，将告警信息发送给目标终端，例如，技术人员的手机、计算机、平板电脑等。
在一个示例性实施例中，所述装置可以用于对多个所述接口服务日志进行过滤，以从多个所述接口服务日志中确定出异常日志之后，对所述异常日志的格式进行转换，以得到格式为目标格式的目标异常日志；存储所述目标异常日志。在本实施例中，还可以通过reduce、keyBy、max、min、sum、Avg等函数对异常日志进行聚合、转换，将异常日志的格式进行转换，以得到目标格式的目标异常日志，并将目标异常日志存储到HDFS、kudu等存储系统中。
在上述实施例中，通过Flink技术对日志进行实时分析可以知道APP应用服务系统内部都有哪些错误，做到告警，并且可以报告故障具体信息，方便技术人员排查故障，对系统故障信息的存储可以直观统计出错误或异常出现次数，技术人员可以获取出现故障信息的top10，方便了技术人员对接口系统的优化。因此，可以解决传统接口拨测系统只能报告接口是否正常响应，无法告知具体错误或异常信息的问题，还可以解决由于传统接口拨测系统不会对异常信息存储，因此后期技术人员很难通过故障信息对服务进行优化的问题。对服务日志分析提升了服务质量，不仅解决了故障告警问题，还通过保存的大量故障信息数据，方便对应用服务的优化，通过记录的故障数据可以判断服务质量是否提高还是降低。
在一个示例性实施例中，所述装置还可以用于在存储所述目标异常日志之后，在确定存储所述目标异常日志的存储时间超过预定时间阈值的情况下，删除所述目标异常日志。在本实施例中，在将目标异常日志存储在DFS、kudu等存储系统中的存储时间超过预定时间阈值的情况下，在DFS、kudu等存储系统中删除目标异常日志。其中，预定时间阈值可以为7天(该取值仅是一种示例性说明，本发明对预定时间阈值不做限制，例如，还可以为5天，10天等)。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种日志异常的告警方法，其特征在于，包括：
获取在预定时间段内生成的多个接口服务日志；
对多个所述接口服务日志进行过滤，以从多个所述接口服务日志中确定出异常日志，其中，所述异常日志记录有故障信息；
确定所述故障信息的类型，在类型相同的第一故障信息的数量大于预定阈值的情况下，执行告警操作。
2.根据权利要求1所述的方法，其特征在于，对多个所述接口服务日志进行过滤，以从多个所述接口服务日志中确定出异常日志包括：
分别对多个所述接口服务日志中记录的信息与预先确定的目标信息进行相似度比较；
基于比较结果确定出记录的信息与所述目标信息相似度大于预定阈值的接口服务日志；
将确定出的所述接口服务日志确定为所述异常日志。
3.根据权利要求1所述的方法，其特征在于，确定所述故障信息的类型，在类型相同的第一故障信息的数量大于预定阈值的情况下，执行告警操作包括：
确定所述异常日志中记录的所述故障信息；
确定所述故障信息的类型；
统计每个类型下的第一故障信息的数量；
在类型相同的所述第一故障信息的数量大于预定阈值的情况下，将所述异常日志及所述第一故障信息确定为告警信息；
发送所述告警信息。
4.根据权利要求1所述的方法，其特征在于，对多个所述接口服务日志进行过滤，以从多个所述接口服务日志中确定出异常日志之后，所述方法还包括：
对所述异常日志的格式进行转换，以得到格式为目标格式的目标异常日志；
存储所述目标异常日志。
5.根据权利要求4所述的方法，其特征在于，在存储所述目标异常日志之后，所述方法还包括：
在确定存储所述目标异常日志的存储时间超过预定时间阈值的情况下，删除所述目标异常日志。
6.一种日志异常的告警装置，其特征在于，包括：
获取模块，用于获取在预定时间段内生成的多个接口服务日志；
过滤模块，用于对多个所述接口服务日志进行过滤，以从多个所述接口服务日志中确定出异常日志，其中，所述异常日志记录有故障信息；
告警模块，用于确定所述故障信息的类型，在类型相同的第一故障信息的数量大于预定阈值的情况下，执行告警操作。
7.根据权利要求6所述的装置，其特征在于，所述过滤模块包括：
比较单元，用于分别对多个所述接口服务日志中记录的信息与预先确定的目标信息进行相似度比较；
第一确定单元，用于基于比较结果确定出记录的信息与所述目标信息相似度大于预定阈值的接口服务日志；
第二确定单元，用于将确定出的所述接口服务日志确定为所述异常日志。
8.根据权利要求6所述的装置，其特征在于，所述告警模块包括：
第三确定单元，用于确定所述异常日志中记录的所述故障信息；
第四确定单元，用于确定所述故障信息的类型；
统计单元，用于统计每个类型下的第一故障信息的数量；
第五确定单元，用于在类型相同的所述第一故障信息的数量大于预定阈值的情况下，将所述异常日志及所述第一故障信息确定为告警信息；
发送单元，用于发送所述告警信息。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至5任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至5任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011296390.3A CN112422344A (zh) | 2020-11-18 | 2020-11-18 | 日志异常的告警方法、装置、存储介质及电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011296390.3A CN112422344A (zh) | 2020-11-18 | 2020-11-18 | 日志异常的告警方法、装置、存储介质及电子装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112422344A true CN112422344A (zh) | 2021-02-26 |
Family
ID=74773299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011296390.3A Pending CN112422344A (zh) | 2020-11-18 | 2020-11-18 | 日志异常的告警方法、装置、存储介质及电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112422344A (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220543A (zh) * | 2021-04-15 | 2021-08-06 | 新浪网技术(中国)有限公司 | 一种业务自动报警方法及装置 |
| CN113254308A (zh) * | 2021-05-19 | 2021-08-13 | 中国联合网络通信集团有限公司 | 日志处理方法及设备 |
| CN113282559A (zh) * | 2021-06-04 | 2021-08-20 | 青岛海尔科技有限公司 | 计算机日志的分类方法和装置、存储介质及电子装置 |
| CN113312241A (zh) * | 2021-06-29 | 2021-08-27 | 中国农业银行股份有限公司 | 异常告警的方法、生成访问日志的方法以及运维系统 |
| CN113656247A (zh) * | 2021-08-16 | 2021-11-16 | 北京奇艺世纪科技有限公司 | 一种服务监控方法、装置、电子设备及可读存储介质 |
| CN113660107A (zh) * | 2021-06-29 | 2021-11-16 | 广东电网有限责任公司广州供电局 | 故障定位方法、系统、计算机设备和存储介质 |
| CN113746703A (zh) * | 2021-09-03 | 2021-12-03 | 上海众源网络有限公司 | 一种异常链路监控方法、系统和装置 |
| CN113778828A (zh) * | 2021-09-17 | 2021-12-10 | 山东亿云信息技术有限公司 | 一种多信息系统运行状态批量监控方法及系统 |
| CN113791928A (zh) * | 2021-09-22 | 2021-12-14 | 中国建设银行股份有限公司 | 一种端口故障处置方法、系统、存储介质和电子设备 |
| CN113849337A (zh) * | 2021-11-30 | 2021-12-28 | 飞狐信息技术（天津）有限公司 | 一种系统异常的处理方法及装置 |
| CN114138620A (zh) * | 2021-11-16 | 2022-03-04 | 苏州浪潮智能科技有限公司 | 一种云平台日志暴增的检测方法、装置、设备、存储介质 |
| CN114253806A (zh) * | 2021-12-17 | 2022-03-29 | 易视腾科技股份有限公司 | 一种接入层日志收集分析预警系统 |
| CN114490751A (zh) * | 2021-12-29 | 2022-05-13 | 深圳优地科技有限公司 | 机器人故障的确定方法、装置、设备以及可读存储介质 |
| CN115277368A (zh) * | 2022-08-02 | 2022-11-01 | 上海宏时数据系统有限公司 | 多平台告警方法、装置、电子设备和存储介质 |
| CN115396288A (zh) * | 2022-08-29 | 2022-11-25 | 浪潮商用机器有限公司 | 一种故障分析方法、装置、设备及计算机可读存储介质 |
| CN116132273A (zh) * | 2022-12-12 | 2023-05-16 | 广州市网星信息技术有限公司 | 服务异常告警方法及其装置、设备、介质、产品 |
| CN116450384A (zh) * | 2022-01-06 | 2023-07-18 | 腾讯科技（深圳）有限公司 | 一种信息处理方法和相关装置 |
| CN116599822A (zh) * | 2023-07-18 | 2023-08-15 | 云筑信息科技(成都)有限公司 | 一种基于日志采集事件的故障告警治理方法 |
| CN117762812A (zh) * | 2023-12-28 | 2024-03-26 | 北京天空卫士网络安全技术有限公司 | 一种处理日志信息的方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109391505A (zh) * | 2017-08-11 | 2019-02-26 | 华为技术有限公司 | 网络实例管理方法及相关设备 |
| CN110764988A (zh) * | 2019-10-31 | 2020-02-07 | 郑州悉知信息科技股份有限公司 | 一种告警方法、装置及系统 |
| CN111314115A (zh) * | 2020-01-19 | 2020-06-19 | 苏州浪潮智能科技有限公司 | 一种基于idl日志的告警方法、装置、设备及可读介质 |
-
2020
- 2020-11-18 CN CN202011296390.3A patent/CN112422344A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109391505A (zh) * | 2017-08-11 | 2019-02-26 | 华为技术有限公司 | 网络实例管理方法及相关设备 |
| CN110764988A (zh) * | 2019-10-31 | 2020-02-07 | 郑州悉知信息科技股份有限公司 | 一种告警方法、装置及系统 |
| CN111314115A (zh) * | 2020-01-19 | 2020-06-19 | 苏州浪潮智能科技有限公司 | 一种基于idl日志的告警方法、装置、设备及可读介质 |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220543B (zh) * | 2021-04-15 | 2024-02-23 | 新浪技术（中国）有限公司 | 一种业务自动报警方法及装置 |
| CN113220543A (zh) * | 2021-04-15 | 2021-08-06 | 新浪网技术(中国)有限公司 | 一种业务自动报警方法及装置 |
| CN113254308A (zh) * | 2021-05-19 | 2021-08-13 | 中国联合网络通信集团有限公司 | 日志处理方法及设备 |
| CN113282559A (zh) * | 2021-06-04 | 2021-08-20 | 青岛海尔科技有限公司 | 计算机日志的分类方法和装置、存储介质及电子装置 |
| CN113312241A (zh) * | 2021-06-29 | 2021-08-27 | 中国农业银行股份有限公司 | 异常告警的方法、生成访问日志的方法以及运维系统 |
| CN113660107A (zh) * | 2021-06-29 | 2021-11-16 | 广东电网有限责任公司广州供电局 | 故障定位方法、系统、计算机设备和存储介质 |
| CN113660107B (zh) * | 2021-06-29 | 2024-04-19 | 广东电网有限责任公司广州供电局 | 故障定位方法、系统、计算机设备和存储介质 |
| CN113656247A (zh) * | 2021-08-16 | 2021-11-16 | 北京奇艺世纪科技有限公司 | 一种服务监控方法、装置、电子设备及可读存储介质 |
| CN113746703A (zh) * | 2021-09-03 | 2021-12-03 | 上海众源网络有限公司 | 一种异常链路监控方法、系统和装置 |
| CN113778828A (zh) * | 2021-09-17 | 2021-12-10 | 山东亿云信息技术有限公司 | 一种多信息系统运行状态批量监控方法及系统 |
| CN113791928B (zh) * | 2021-09-22 | 2024-06-07 | 中国建设银行股份有限公司 | 一种端口故障处置方法、系统、存储介质和电子设备 |
| CN113791928A (zh) * | 2021-09-22 | 2021-12-14 | 中国建设银行股份有限公司 | 一种端口故障处置方法、系统、存储介质和电子设备 |
| CN114138620A (zh) * | 2021-11-16 | 2022-03-04 | 苏州浪潮智能科技有限公司 | 一种云平台日志暴增的检测方法、装置、设备、存储介质 |
| CN114138620B (zh) * | 2021-11-16 | 2024-01-16 | 苏州浪潮智能科技有限公司 | 一种云平台日志暴增的检测方法、装置、设备、存储介质 |
| CN113849337B (zh) * | 2021-11-30 | 2022-03-01 | 飞狐信息技术（天津）有限公司 | 一种系统异常的处理方法及装置 |
| CN113849337A (zh) * | 2021-11-30 | 2021-12-28 | 飞狐信息技术（天津）有限公司 | 一种系统异常的处理方法及装置 |
| CN114253806A (zh) * | 2021-12-17 | 2022-03-29 | 易视腾科技股份有限公司 | 一种接入层日志收集分析预警系统 |
| CN114490751A (zh) * | 2021-12-29 | 2022-05-13 | 深圳优地科技有限公司 | 机器人故障的确定方法、装置、设备以及可读存储介质 |
| CN114490751B (zh) * | 2021-12-29 | 2024-06-04 | 深圳优地科技有限公司 | 机器人故障的确定方法、装置、设备以及可读存储介质 |
| CN116450384A (zh) * | 2022-01-06 | 2023-07-18 | 腾讯科技（深圳）有限公司 | 一种信息处理方法和相关装置 |
| CN115277368A (zh) * | 2022-08-02 | 2022-11-01 | 上海宏时数据系统有限公司 | 多平台告警方法、装置、电子设备和存储介质 |
| CN115396288A (zh) * | 2022-08-29 | 2022-11-25 | 浪潮商用机器有限公司 | 一种故障分析方法、装置、设备及计算机可读存储介质 |
| CN116132273A (zh) * | 2022-12-12 | 2023-05-16 | 广州市网星信息技术有限公司 | 服务异常告警方法及其装置、设备、介质、产品 |
| CN116132273B (zh) * | 2022-12-12 | 2025-02-07 | 广州市网星信息技术有限公司 | 服务异常告警方法及其装置、设备、介质、产品 |
| CN116599822A (zh) * | 2023-07-18 | 2023-08-15 | 云筑信息科技(成都)有限公司 | 一种基于日志采集事件的故障告警治理方法 |
| CN116599822B (zh) * | 2023-07-18 | 2023-10-20 | 云筑信息科技(成都)有限公司 | 一种基于日志采集事件的故障告警治理方法 |
| CN117762812A (zh) * | 2023-12-28 | 2024-03-26 | 北京天空卫士网络安全技术有限公司 | 一种处理日志信息的方法和装置 |
| CN117762812B (zh) * | 2023-12-28 | 2024-08-13 | 北京天空卫士网络安全技术有限公司 | 一种处理日志信息的方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112422344A (zh) | 日志异常的告警方法、装置、存储介质及电子装置 | |
| CN113176978B (zh) | 基于日志文件的监控方法、系统、设备及可读存储介质 | |
| CN110046073B (zh) | 一种日志采集方法及装置、设备、存储介质 | |
| CN113190423B (zh) | 业务数据的监控方法、装置及系统 | |
| US8144599B2 (en) | Binary class based analysis and monitoring | |
| CN114173370B (zh) | 一种故障定位方法、装置、设备及存储介质 | |
| CN114124655A (zh) | 网络监控方法、系统、装置、计算机设备和存储介质 | |
| CN112134754A (zh) | 压力测试方法、装置、网络设备及存储介质 | |
| CN114363151A (zh) | 故障检测方法和装置、电子设备和存储介质 | |
| CN112087320A (zh) | 一种异常定位方法、装置、电子设备和可读存储介质 | |
| CN109905262A (zh) | 一种cdn设备服务的监控系统及监控方法 | |
| CN112188535B (zh) | 一种物联网端到端故障定界方法及装置 | |
| CN106959688A (zh) | 一种车辆故障信息采集方法及装置 | |
| CN112671557A (zh) | 一种基于态势感知故障监控方法及系统 | |
| CN112100020A (zh) | 基站的数据上报方法、装置、电子装置和存储介质 | |
| CN101197714B (zh) | 一种移动数据业务状态集中采集的方法 | |
| CN114327967A (zh) | 设备修复方法及装置、存储介质、电子装置 | |
| CN114546776A (zh) | 一种基于云平台的异常数据监控方法 | |
| CN113254313A (zh) | 一种监控指标异常检测方法、装置、电子设备及存储介质 | |
| CN116204386B (zh) | 应用服务关系自动识别及监控方法、系统、介质和设备 | |
| CN114500178B (zh) | 一种自运维的智慧物联网关 | |
| CN115835275A (zh) | 一种5g cpe故障诊断的方法及装置 | |
| CN113064890A (zh) | 一种运营商数据的质量评估方法、装置、服务器及介质 | |
| CN114443397A (zh) | 内存的异常检测方法及装置、存储介质、电子装置 | |
| CN117255005B (zh) | 一种基于cdn的业务告警处理方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210226 |