CN109684157A - 基于报错日志的告警方法、设备、存储介质及装置 - Google Patents

基于报错日志的告警方法、设备、存储介质及装置 Download PDF

Info

Publication number
CN109684157A
CN109684157A CN201810992363.6A CN201810992363A CN109684157A CN 109684157 A CN109684157 A CN 109684157A CN 201810992363 A CN201810992363 A CN 201810992363A CN 109684157 A CN109684157 A CN 109684157A
Authority
CN
China
Prior art keywords
error
reports
similarity
log
error information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810992363.6A
Other languages
English (en)
Inventor
魏云鹏
袁小伟
祁明远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201810992363.6A priority Critical patent/CN109684157A/zh
Publication of CN109684157A publication Critical patent/CN109684157A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting

Abstract

本发明公开了一种基于报错日志的告警方法、设备、存储介质及装置,该方法包括:获取目标应用程序的报错日志,从所述报错日志中提取出多条报错信息;对各报错信息进行相似度计算,获得各报错信息之间的相似度;根据所述相似度判断各报错信息中是否存在相同原因报错;按照所述相似度将所述相同原因报错进行归类,获得相同报错集合,从所述相同报错集合中获取任意一条报错信息进行告警提示。本发明中,通过各报错信息之间的相似度将相同原因报错进行归类,从多条相同原因报错中任选一条进行告警提示,避免了同一个原因产生的多条报错信息进行重复告警,避免运维人员进行大量的人工排查的工作,提高系统问题排查效率。

Description

基于报错日志的告警方法、设备、存储介质及装置
技术领域
本发明涉及计算机信息技术领域,尤其涉及一种基于报错日志的告警方法、设备、存储介质及装置。
背景技术
目前针对报错日志基本上采用有报错就告警的方式,很多情况下同一个原因产生的多个报错,由于报错内容中包含了不同的输入参数,导致这些报错内容有差异,这些报错会被认为是不同的报错,对于运维人员来说会进行大量的人工排查的工作,导致系统问题的排查效率低,因此,如何提高系统问题排查的效率是亟待解决的技术问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种基于报错日志的告警方法、设备、存储介质及装置,旨在解决现有技术中系统问题排查的效率低的技术问题。
为实现上述目的,本发明提供一种基于报错日志的告警方法,所述基于报错日志的告警方法包括以下步骤:
获取目标应用程序的报错日志,从所述报错日志中提取出多条报错信息;
对各报错信息进行相似度计算,获得各报错信息之间的相似度;
根据所述相似度判断各报错信息中是否存在相同原因报错;
按照所述相似度将所述相同原因报错进行归类,获得相同报错集合,从所述相同报错集合中获取任意一条报错信息进行告警提示。
优选地,判断所述相似度是否超过预设相似度阈值;
若超过,则将所述相似度对应的报错信息认定为相同原因报错。
优选地,所述判断所述相似度是否超过预设相似度阈值,包括:
获取各相似度分别对应的报错信息的长度之和,根据所述长度之和确定各相似度分别对应的报错信息的长度类型;
查找与所述长度类型对应的预设相似度阈值;
判断各相似度是否超过与所述长度类型对应的所述预设相似度阈值。
优选地,所述查找与所述长度类型对应的预设相似度阈值,包括:
从映射关系中查找与所述长度类型对应的预设相似度阈值,所述映射关系包括长度类型与预设相似度阈值之间的对应关系。
优选地,所述按照所述相似度将所述相同原因报错进行归类,获得相同报错集合,从所述相同报错集合中获取任意一条报错信息进行告警提示之后,所述基于报错日志的告警方法还包括:
根据所述相似度将未匹配到相同原因报错的报错信息作为独立原因报错;
将所述独立原因报错进行告警提示。
优选地,所述对各报错信息进行相似度计算,获得各报错信息之间的相似度,包括:
根据预设相似度算法对各报错信息进行相似度计算,获得各报错信息之间的相似度。
优选地,所述根据预设相似度算法对各报错信息进行相似度计算,获得各报错信息之间的相似度,包括:
将各报错信息拆分成对应的多个短字符串,所述短字符串包括预设个数的字符;
将各报错信息以所述短字符串为单元进行对比,获得各报错信息中相同的所述短字符串的相同个数;
获取各报错信息分别包含的所述短字符串的总个数;
根据所述总个数和所述相同个数计算各报错信息之间的相似度。
此外,为实现上述目的,本发明还提出一种基于报错日志的告警设备,所述基于报错日志的告警设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于报错日志的告警程序,所述基于报错日志的告警程序配置为实现如上文所述的基于报错日志的告警方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有基于报错日志的告警程序,所述基于报错日志的告警程序被处理器执行时实现如上文所述的基于报错日志的告警方法的步骤。
此外,为实现上述目的,本发明还提出一种基于报错日志的告警装置,所述基于报错日志的告警装置包括:提取模块,用于获取目标应用程序的报错日志,从所述报错日志中提取出多条报错信息;
计算模块,用于对各报错信息进行相似度计算,获得各报错信息之间的相似度;
判断模块,用于根据所述相似度判断各报错信息中是否存在相同原因报错;
告警模块,用于按照所述相似度将所述相同原因报错进行归类,获得相同报错集合,从所述相同报错集合中获取任意一条报错信息进行告警提示。
本发明中,获取目标应用程序的报错日志,从所述报错日志中提取出多条报错信息;对各报错信息进行相似度计算,获得各报错信息之间的相似度;根据所述相似度判断各报错信息中是否存在相同原因报错;按照所述相似度将所述相同原因报错进行归类,获得相同报错集合,从所述相同报错集合中获取任意一条报错信息进行告警提示,避免了同一个原因产生的多条报错信息进行重复告警,避免运维人员进行大量的人工排查的工作,提高系统问题排查效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的基于报错日志的告警设备的结构示意图;
图2为本发明基于报错日志的告警方法第一实施例的流程示意图;
图3为本发明基于报错日志的告警方法第二实施例的流程示意图;
图4为本发明基于报错日志的告警方法第三实施例的流程示意图;
图5为本发明基于报错日志的告警装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的基于报错日志的告警设备结构示意图。
如图1所示,该基于报错日志的告警设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display),可选用户接口1003还可以包括标准的有线接口、无线接口,对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory,RAM)存储器,也可以是稳定的存储器(Non-volatileMemory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对基于报错日志的告警设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,认定为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于报错日志的告警程序。
在图1所示的基于报错日志的告警设备中,网络接口1004主要用于连接后台服务器,与所述后台服务器进行数据通信;用户接口1003主要用于连接用户设备;所述基于报错日志的告警设备通过处理器1001调用存储器1005中存储的基于报错日志的告警程序,并执行本发明实施例提供的基于报错日志的告警方法。
基于上述硬件结构,提出本发明基于报错日志的告警方法的实施例。
参照图2,图2为本发明基于报错日志的告警方法第一实施例的流程示意图,提出本发明基于报错日志的告警方法第一实施例。
在第一实施例中,所述基于报错日志的告警方法包括以下步骤:
步骤S10:获取目标应用程序的报错日志,从所述报错日志中提取出多条报错信息。
应理解的是,本实施例的执行主体是所述基于报错日志的告警设备,其中,所述基于报错日志的告警设备可为个人电脑或服务器等电子设备。很多情况下同一个原因可能会产生多条报错信息,由于报错信息中包含了不同的输入参数,导致这些由相同原因产生的报错信息内容有差异,为避免这些报错信息被认为是不同的报错,导致运维人员来说会进行大量的人工排查的工作,因此,可从需要进行维护的目标应用程序中获取所述报错日志,将所述报错日志中所有的报错信息进行提取,进行分析,以识别出由同一个原因产生的多条报错信息。
步骤S20:对各报错信息进行相似度计算,获得各报错信息之间的相似度。
可理解的是,各报错信息为一串字符串,可通过文本相似度的算法计算各报错信息之间的所述相似度。可对各报错信息进行字符拆分处理,将各报错信息拆分成一个个的字符,判断各报错信息中包含相同字符的个数,再统计各报错信息对应的字符总个数,将进行对比的两个报错信息对应的字符总个数进行相加,获得两者字符总数,将所述相同字符的个数除以所述两者字符总数,获得该两个报错信息之间的相似度。计算获得各报错信息中每两条报错信息之间的所述相似度。
在具体实现中,可以是采用PostgreSQL的一种文本相似度的算法,各报错信息为一串字符串,将各字符串被前置两个空格,后置一个空格,然后按预设数量的连续字符为分组进行拆分,拆分获得多组短字符串,每组短字符串中字符个数为所述预设数量,将各报错信息以所述短字符串为单元进行比对,统计相同的所述短字符串的相同短字符串数量,并统计各报错信息对应的所述短字符串总个数,将进行对比的两个报错信息对应的短字符串总个数进行相加,获得两者短字符串总数,将所述相同短字符串数量除以所述两者短字符串总数,获得该两个报错信息之间的相似度。
步骤S30:根据所述相似度判断各报错信息中是否存在相同原因报错。
需要说明的是,可根据历史报错日志中的历史报错进行分析,对所述历史报错进行相似度计算,并统计由相同原因产生的历史报错的相似度所处的范围,从而确定出由相同原因产生的报错的相似度阈值,若所述相似度超过所述相似度阈值,则可认为所述相似度对应的两个报错信息是由相同原因产生的,可将该两个报错信息作为所述相同原因报错;若所述相似度未超过所述相似度阈值,则可认为所述相似度对应的两个报错信息是由不同原因产生的。
步骤S40:按照所述相似度将所述相同原因报错进行归类,获得相同报错集合,从所述相同报错集合中获取任意一条报错信息进行告警提示。
在具体实现中,可将各报错信息中,相似度超过所述相似度阈值的报错信息都认定为由相同原因报错,可将所有的所述相同原因报错进行归类,从而获得由多个所述相同原因报错构成的所述相同报错集合,对于由相同原因产生的报错信息,只需对其中的任意一条进行告警提示,故可从所述相同报错集合中获取任意一条报错信息进行告警提示,避免相同原因产生的报错信息进行重复报错,提升报错的有效性。可通过将从所述相同报错集合中获取任意一条报错信息通过邮件发送至运维人员的邮箱中,以实现告警提示,运维人员在查看邮件时,能够对目标应用程序的报错日志中的报错信息进行查看,及时对应用系统的漏洞进行定位及修复。
在第一实施例中,获取目标应用程序的报错日志,从所述报错日志中提取出多条报错信息;对各报错信息进行相似度计算,获得各报错信息之间的相似度;根据所述相似度判断各报错信息中是否存在相同原因报错;按照所述相似度将所述相同原因报错进行归类,获得相同报错集合,从所述相同报错集合中获取任意一条报错信息进行告警提示,避免了同一个原因产生的多条报错信息进行重复告警,避免运维人员进行大量的人工排查的工作,提高系统问题排查效率。
参照图3,图3为本发明基于报错日志的告警方法第二实施例的流程示意图,基于上述图2所示的第一实施例,提出本发明基于报错日志的告警方法的第二实施例。
在第二实施例中,所述步骤S30,包括:
步骤S301:判断所述相似度是否超过预设相似度阈值。
可理解的是,可根据历史报错日志中的历史报错进行分析,对所述历史报错进行相似度计算,并统计由相同原因产生的历史报错的相似度所处的范围,从而确定出由相同原因产生的报错的相似度阈值。因为对于越短的报错信息参数差异所占比例就越大,所以对于报错信息较长的情况对应的所述相似度阀值会比报错信息较短的情况对应的所述相似度阈值大,比如,对于报错信息较长的情况将所述相似度阀值设置为0.9,对于报错信息较短的情况将所述相似度阀值设置为0.7,按照所述相似度与所述预设相似度阈值进行比较,将各报错信息进行归类统计。所述报错信息较长的情况和所述报错信息较短的情况的区分,可根据经验值设置所述报错信息的长度超过预设数量即为报错信息较长的情况。
本实施例中,所述步骤S301,包括:
获取各相似度分别对应的报错信息的长度之和,根据所述长度之和确定各相似度分别对应的报错信息的长度类型;
查找与所述长度类型对应的预设相似度阈值;
判断各相似度是否超过与所述长度类型对应的所述预设相似度阈值。
需要说明的是,各报错信息为一串字符,可通过统计各报错信息包含的字符个数作为各报错信息对应的所述长度。对于所述长度越短的报错信息若存在字符不同,则相似度会越低。所以对于报错信息的所述长度较长的情况对应的较长相似度阀值会比报错信息的所述长度较短的情况对应的较短相似度阈值大。可预先根据历史报错日志中的历史报错进行分析,对所述历史报错进行相似度计算,获得多个历史相似度,每个历史相似度对应两个历史报错,并根据各历史相似度对应的历史报错的长度之和将所述历史报错进行分类,分为较长报错和较短报错两类的长度类型,统计由相同原因产生的较长报错的相似度所处的范围,从而确定出由相同原因产生的较长报错的较长相似度阈值,统计由相同原因产生的较短报错的相似度所处的范围,从而确定出由相同原因产生的较短报错的较短相似度阈值,并建立两个报错信息的长度之和与所述预设相似度阈值之间的对应关系,所述预设相似度阈值包括所述较短相似度阈值和所述较长相似度阈值。本实施例中,所述查找与所述长度类型对应的预设相似度阈值,包括:从映射关系中查找与所述长度类型对应的预设相似度阈值,所述映射关系包括长度类型与预设相似度阈值之间的对应关系。
在具体实现中,若根据所述报错信息的长度确定所述报错信息的长度类型为较长报错,则从映射关系中查找与所述较长报错对应的所述较长相似度阈值,将所述报错信息的相似度与所述较长相似度阈值进行比较,从而判断所述相似度对应的两个报错信息是否为相同原因报错。若根据所述报错信息的长度确定所述报错信息的长度类型为较短报错,则从映射关系中查找与所述较短报错对应的所述较短相似度阈值,将所述报错信息的相似度与所述较短相似度阈值进行比较,从而判断所述相似度对应的两个报错信息是否为相同原因报错。
步骤S302:若超过,则将所述相似度对应的报错信息认定为相同原因报错。
应理解的是,对各报错信息进行相似度计算,获得各报错信息之间的相似度,所述相似度为每两个报错信息之间的相似度,多个报错信息,则有多个所述相似度。若根据所述报错信息的长度确定所述报错信息的长度类型为较长报错,则从映射关系中查找与所述较长报错对应的所述较长相似度阈值,将所述报错信息的相似度与所述较长相似度阈值进行比较,若超过,则所述相似度对应的报错信息认定为相同原因报错,若未超过,则所述相似度对应的报错信息为不同原因产生的报错。若根据所述报错信息的长度确定所述报错信息的长度类型为较短报错,则从映射关系中查找与所述较短报错对应的所述较短相似度阈值,将所述报错信息的相似度与所述较短相似度阈值进行比较,若超过,则所述相似度对应的所述报错信息为相同原因报错,若未超过,则所述相似度对应的所述报错信息为不同原因产生的报错。
在第二实施例中,判断所述相似度是否超过预设相似度阈值,若超过,则将所述相似度对应的报错信息认定为相同原因报错,通过历史报错信息分析获得的所述预设相似度阈值能更好的区分出由相同原因产生的报错,从而提高识别所述相同原因报错的准确度。
参照图4,图4为本发明基于报错日志的告警方法第三实施例的流程示意图,基于上述图3所示的第二实施例,提出本发明基于报错日志的告警方法的第三实施例。
在第三实施例中,所述步骤S40之后,还包括:
步骤S50:根据所述相似度将未匹配到相同原因报错的报错信息作为独立原因报错。
可理解的是,从所述报错日志中提取出多条报错信息中可能存在由不同原因产生的各种不同的独立报错信息,与其他报错信息之间的相似度较低,即未匹配到其他报错信息为所述独立报错信息的相同原因报错,则将所述独立报错信息进行告警提示。
比如,从所述报错日志中提取出多条报错信息为:F、G和H,所述相似度阈值为0.7,各报错信息之间的相似度:F和G都为0.9,G和H都为0.3,F和H都为0.3,报错信息H与其他报错信息之间的相似度低于所述预设相似度阈值,即认定所述报错信息H未匹配到相同原因报错,将所述报错信息H作为独立报错信息。
步骤S60:将所述独立原因报错进行告警提示。
应理解的是,所述独立原因报错可能为系统第一次出现的报错,未能匹配出与所述独立原因报错相似度超过所述预设相似度阈值的报错原因,即不存在与所述独立原因报错的报错原因产生的其他报错信息,则需将所述独立原因报错进行告警提示,可通过将所述独立原因报错通过邮件发送至运维人员的邮箱中,以实现告警提示,运维人员在查看邮件时,能够对目标应用程序的报错日志中的所述独立原因报错进行查看,以使第一时间发现系统的隐患,及时对应用系统的漏洞进行定位及修复。
本实施例中,所述步骤S20,包括:
根据预设相似度算法对各报错信息进行相似度计算,获得各报错信息之间的相似度。
需要说明的是:各报错信息为一串字符串,可通过文本相似度的算法计算各报错信息之间的所述相似度,可以是采用PostgreSQL的一种文本相似度的算法。报错信息为一串字符串,将各字符串被前置两个空格,后置一个空格,然后按预设数量的连续字符为分组进行拆分,拆分获得多组短字符串,每组短字符串中字符个数为所述预设数量,将各报错信息以所述短字符串为单元进行比对,统计相同的所述短字符串的相同短字符串数量,并统计各报错信息对应的所述短字符串总个数,将进行对比的两个报错信息对应的短字符串总个数进行相加,获得两者短字符串总数,将所述相同短字符串数量除以所述两者短字符串总数,获得该两个报错信息之间的相似度。本实施例中,所述根据预设相似度算法对各报错信息进行相似度计算,获得各报错信息之间的相似度,包括:将各报错信息拆分成对应的多个短字符串,所述短字符串包括预设个数的字符;将各报错信息以所述短字符串为单元进行对比,获得各报错信息中相同的所述短字符串的相同个数;获取各报错信息分别包含的所述短字符串的总个数;根据所述总个数和所述相同个数计算各报错信息之间的相似度。
例如,所述报错信息为字符串,所述字符串被前置两个空格,后置一个空格,然后按3个连续的字符为分组进行拆分为多组3个字符的短字符串,将各报错信息以所述短字符串为单元进行比对,比如,判断第一报错信息和第二报错信息是否为相同原因产生的报错信息,可判断所述第一报错信息和所述第二报错信息中是否包含相同的所述短字符串,统计相同的所述短字符串的相同字符串数量,并统计所述第一报错信息和所述第二报错信息拆分获得的所述短字符串的总数量,将所述相同字符串数量除以所述总数量,获得所述第一报错信息和所述第二报错信息之间的相似度。
比如:('digoal')拆分为{"d","di","al","dig","goa","igo","oal"},('DIGOAL123456')拆分为{"d","di","123","234","345","456","56","al1","dig","goa","igo","l12","oal"},相同的所述短字符串为:"d"、"di"、"dig"、"goa"、"igo"、"oal",相同的所述短字符串的相同字符串数量为6*2=12,拆分获得的所述短字符串的总数量为:20,则所述相同字符串数量除以所述总数量为12/20=0.6,即上述两个报错信息的相似度为0.6。
对于所述报错信息的长度确定所述报错信息的长度类型,还可根据所述短字符串的总数量进行区分,比如,设置所述长度类型区分的端字符串数量为15,若所述短字符串的总数量大于等于15,则认定为报错信息较长的情况,若所述短字符串的总数量小于15,则认定为报错信息较短的情况。对于上述例子中,拆分获得的所述短字符串的总数量为20,则认为('digoal')和('DIGOAL123456')的相似度计算中,被认为是所述报错信息较短的情况。
在第三实施例中,根据所述相似度将未匹配到相同原因报错的报错信息作为独立原因报错,所述独立原因报错可能为系统第一次出现的报错,将所述独立原因报错进行告警提示,以使第一时间发现系统的隐患。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有基于报错日志的告警程序,所述基于报错日志的告警程序被处理器执行时实现如上文所述的基于报错日志的告警方法的步骤。
此外,参照图5,本发明实施例还提出一种基于报错日志的告警装置,所述基于报错日志的告警装置包括:提取模块10,用于获取目标应用程序的报错日志,从所述报错日志中提取出多条报错信息;
计算模块20,用于对各报错信息进行相似度计算,获得各报错信息之间的相似度;
判断模块30,用于根据所述相似度判断各报错信息中是否存在相同原因报错;
告警模块40,用于按照所述相似度将所述相同原因报错进行归类,获得相同报错集合,从所述相同报错集合中获取任意一条报错信息进行告警提示。
应理解的是,本实施例的执行主体是所述基于报错日志的告警设备,其中,所述基于报错日志的告警设备可为个人电脑或服务器等电子设备。很多情况下同一个原因可能会产生多条报错信息,由于报错信息中包含了不同的输入参数,导致这些由相同原因产生的报错信息内容有差异,为避免这些报错信息被认为是不同的报错,导致运维人员来说会进行大量的人工排查的工作,因此,可从需要进行维护的目标应用程序中获取所述报错日志,将所述报错日志中所有的报错信息进行提取,进行分析,以识别出由同一个原因产生的多条报错信息。
可理解的是,各报错信息为一串字符串,可通过文本相似度的算法计算各报错信息之间的所述相似度。可对各报错信息进行字符拆分处理,将各报错信息拆分成一个个的字符,判断各报错信息中包含相同字符的个数,再统计各报错信息对应的字符总个数,将进行对比的两个报错信息对应的字符总个数进行相加,获得两者字符总数,将所述相同字符的个数除以所述两者字符总数,获得该两个报错信息之间的相似度。
在具体实现中,可以是采用PostgreSQL的一种文本相似度的算法,各报错信息为一串字符串,将各字符串被前置两个空格,后置一个空格,然后按预设数量的连续字符为分组进行拆分,拆分获得多组短字符串,每组短字符串中字符个数为所述预设数量,将各报错信息以所述短字符串为单元进行比对,统计相同的所述短字符串的相同短字符串数量,并统计各报错信息对应的所述短字符串总个数,将进行对比的两个报错信息对应的短字符串总个数进行相加,获得两者短字符串总数,将所述相同短字符串数量除以所述两者短字符串总数,获得该两个报错信息之间的相似度。
需要说明的是,可根据历史报错日志中的历史报错进行分析,对所述历史报错进行相似度计算,并统计由相同原因产生的历史报错的相似度所处的范围,从而确定出由相同原因产生的报错的相似度阈值,若所述相似度超过所述相似度阈值,则可认为所述相似度对应的两个报错信息是由相同原因产生的,可将该两个报错信息作为所述相同原因报错;若所述相似度未超过所述相似度阈值,则可认为所述相似度对应的两个报错信息是由不同原因产生的。
在具体实现中,可将各报错信息中,相似度超过所述相似度阈值的报错信息都认定为由相同原因报错,可将所有的所述相同原因报错进行归类,从而获得由多个所述相同原因报错构成的所述相同报错集合,对于由相同原因产生的报错信息,只需对其中的任意一条进行告警提示,故可从所述相同报错集合中获取任意一条报错信息进行告警提示,避免相同原因产生的报错信息进行重复报错,提升报错的有效性。可通过将从所述相同报错集合中获取任意一条报错信息通过邮件发送至运维人员的邮箱中,以实现告警提示,运维人员在查看邮件时,能够对目标应用程序的报错日志中的报错信息进行查看,及时对应用系统的漏洞进行定位及修复。
本实施例中,获取目标应用程序的报错日志,从所述报错日志中提取出多条报错信息;对各报错信息进行相似度计算,获得各报错信息之间的相似度;根据所述相似度判断各报错信息中是否存在相同原因报错;按照所述相似度将所述相同原因报错进行归类,获得相同报错集合,从所述相同报错集合中获取任意一条报错信息进行告警提示,避免了同一个原因产生的多条报错信息进行重复告警,避免运维人员进行大量的人工排查的工作,提高系统问题排查效率。
在一实施例中,所述判断模块,还用于判断所述相似度是否超过预设相似度阈值;
所述基于报错日志的告警装置还包括:认定模块,用于若超过,则将所述相似度对应的报错信息认定为相同原因报错。
在一实施例中,所述基于报错日志的告警装置还包括:确定模块,用于获取各相似度分别对应的报错信息的长度之和,根据所述长度之和确定各相似度分别对应的报错信息的长度类型;
查找模块,用于查找与所述长度类型对应的预设相似度阈值;
所述判断模块30,还用于判断各相似度是否超过与所述长度类型对应的所述预设相似度阈值。
在一实施例中,所述查找模块,还用于从映射关系中查找与所述长度类型对应的预设相似度阈值,所述映射关系包括长度类型与预设相似度阈值之间的对应关系。
在一实施例中,所述认定模块,还用于根据所述相似度将未匹配到相同原因报错的报错信息作为独立原因报错;
所述告警模块40,还用于将所述独立原因报错进行告警提示。
在一实施例中,所述计算模块20,还用于根据预设相似度算法对各报错信息进行相似度计算,获得各报错信息之间的相似度。
在一实施例中,所述基于报错日志的告警装置还包括:拆分模块,用于将各报错信息拆分成对应的多个短字符串,所述短字符串包括预设个数的字符;
对比模块,用于将各报错信息以所述短字符串为单元进行对比,获得各报错信息中相同的所述短字符串的相同个数;
获取模块,用于获取各报错信息分别包含的所述短字符串的总个数;
所述计算模块20,还用于根据所述总个数和所述相同个数计算各报错信息之间的相似度。
本发明所述基于报错日志的告警装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序,可将这些词语解释为名称。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器镜像(Read Only Memory image,ROM)/随机存取存储器(Random AccessMemory,RAM)、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于报错日志的告警方法,其特征在于,包括:
获取目标应用程序的报错日志,从所述报错日志中提取出多条报错信息;
对各报错信息进行相似度计算,获得各报错信息之间的相似度;
根据所述相似度判断各报错信息中是否存在相同原因报错;
按照所述相似度将所述相同原因报错进行归类,获得相同报错集合,从所述相同报错集合中获取任意一条报错信息进行告警提示。
2.如权利要求1所述的基于报错日志的告警方法,其特征在于,所述根据所述相似度判断各报错信息中是否存在相同原因报错,包括:
判断所述相似度是否超过预设相似度阈值;
若超过,则将所述相似度对应的报错信息认定为相同原因报错。
3.如权利要求2所述的基于报错日志的告警方法,其特征在于,所述判断所述相似度是否超过预设相似度阈值,包括:
获取各相似度分别对应的报错信息的长度之和,根据所述长度之和确定各相似度分别对应的报错信息的长度类型;
查找与所述长度类型对应的预设相似度阈值;
判断各相似度是否超过与所述长度类型对应的所述预设相似度阈值。
4.如权利要求3所述的基于报错日志的告警方法,其特征在于,所述查找与所述长度类型对应的预设相似度阈值,包括:
从映射关系中查找与所述长度类型对应的预设相似度阈值,所述映射关系包括长度类型与预设相似度阈值之间的对应关系。
5.如权利要求2所述的基于报错日志的告警方法,其特征在于,所述按照所述相似度将所述相同原因报错进行归类,获得相同报错集合,从所述相同报错集合中获取任意一条报错信息进行告警提示之后,所述基于报错日志的告警方法还包括:
根据所述相似度将未匹配到相同原因报错的报错信息作为独立原因报错;
将所述独立原因报错进行告警提示。
6.如权利要求1至5中任一项所述的基于报错日志的告警方法,其特征在于,所述对各报错信息进行相似度计算,获得各报错信息之间的相似度,包括:
根据预设相似度算法对各报错信息进行相似度计算,获得各报错信息之间的相似度。
7.如权利要求6所述的基于报错日志的告警方法,其特征在于,所述根据预设相似度算法对各报错信息进行相似度计算,获得各报错信息之间的相似度,包括:
将各报错信息拆分成对应的多个短字符串,所述短字符串包括预设个数的字符;
将各报错信息以所述短字符串为单元进行对比,获得各报错信息中相同的所述短字符串的相同个数;
获取各报错信息分别包含的所述短字符串的总个数;
根据所述总个数和所述相同个数计算各报错信息之间的相似度。
8.一种基于报错日志的告警设备,其特征在于,所述基于报错日志的告警设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于报错日志的告警程序,所述基于报错日志的告警程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于报错日志的告警方法的步骤。
9.一种存储介质,其特征在于,所述存储介质上存储有基于报错日志的告警程序,所述基于报错日志的告警程序被处理器执行时实现如权利要求1至7中任一项所述的基于报错日志的告警方法的步骤。
10.一种基于报错日志的告警装置,其特征在于,所述基于报错日志的告警装置包括:提取模块,用于获取目标应用程序的报错日志,从所述报错日志中提取出多条报错信息;
计算模块,用于对各报错信息进行相似度计算,获得各报错信息之间的相似度;
判断模块,用于根据所述相似度判断各报错信息中是否存在相同原因报错;
告警模块,用于按照所述相似度将所述相同原因报错进行归类,获得相同报错集合,从所述相同报错集合中获取任意一条报错信息进行告警提示。
CN201810992363.6A 2018-08-28 2018-08-28 基于报错日志的告警方法、设备、存储介质及装置 Pending CN109684157A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810992363.6A CN109684157A (zh) 2018-08-28 2018-08-28 基于报错日志的告警方法、设备、存储介质及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810992363.6A CN109684157A (zh) 2018-08-28 2018-08-28 基于报错日志的告警方法、设备、存储介质及装置

Publications (1)

Publication Number Publication Date
CN109684157A true CN109684157A (zh) 2019-04-26

Family

ID=66184467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810992363.6A Pending CN109684157A (zh) 2018-08-28 2018-08-28 基于报错日志的告警方法、设备、存储介质及装置

Country Status (1)

Country Link
CN (1) CN109684157A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837642A (zh) * 2019-11-14 2020-02-25 腾讯科技(深圳)有限公司 恶意程序分类方法、装置、设备及存储介质
CN111563016A (zh) * 2020-04-27 2020-08-21 平安医疗健康管理股份有限公司 日志采集分析方法、装置、计算机系统及可读存储介质
CN111639249A (zh) * 2020-05-25 2020-09-08 上海中通吉网络技术有限公司 用户反馈报错的自动监测方法、装置和设备
CN112000502A (zh) * 2020-08-11 2020-11-27 杭州安恒信息技术股份有限公司 海量错误日志的处理方法、装置、电子装置及存储介质
CN112306787A (zh) * 2019-07-24 2021-02-02 阿里巴巴集团控股有限公司 报错日志处理方法、装置、电子设备和智能音箱
CN113407370A (zh) * 2020-03-16 2021-09-17 中国移动通信有限公司研究院 根因错误的聚类方法、装置、设备及计算机可读存储介质
CN117234776A (zh) * 2023-09-18 2023-12-15 厦门国际银行股份有限公司 一种批处理报错作业的智能判定方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574096A (zh) * 2015-12-10 2016-05-11 惠州Tcl移动通信有限公司 一种日志信息获取并上传分析的方法及系统
CN106844143A (zh) * 2016-12-27 2017-06-13 微梦创科网络科技(中国)有限公司 一种日志去重处理方法及装置
CN106897197A (zh) * 2015-12-17 2017-06-27 阿里巴巴集团控股有限公司 错误日志的去重方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574096A (zh) * 2015-12-10 2016-05-11 惠州Tcl移动通信有限公司 一种日志信息获取并上传分析的方法及系统
CN106897197A (zh) * 2015-12-17 2017-06-27 阿里巴巴集团控股有限公司 错误日志的去重方法及装置
CN106844143A (zh) * 2016-12-27 2017-06-13 微梦创科网络科技(中国)有限公司 一种日志去重处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡倩等: "一种基于属性哈希的告警日志去重方法", 《计算机科学》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306787A (zh) * 2019-07-24 2021-02-02 阿里巴巴集团控股有限公司 报错日志处理方法、装置、电子设备和智能音箱
CN112306787B (zh) * 2019-07-24 2022-08-09 阿里巴巴集团控股有限公司 报错日志处理方法、装置、电子设备和智能音箱
CN110837642A (zh) * 2019-11-14 2020-02-25 腾讯科技(深圳)有限公司 恶意程序分类方法、装置、设备及存储介质
CN110837642B (zh) * 2019-11-14 2023-10-13 腾讯科技(深圳)有限公司 恶意程序分类方法、装置、设备及存储介质
CN113407370A (zh) * 2020-03-16 2021-09-17 中国移动通信有限公司研究院 根因错误的聚类方法、装置、设备及计算机可读存储介质
CN111563016A (zh) * 2020-04-27 2020-08-21 平安医疗健康管理股份有限公司 日志采集分析方法、装置、计算机系统及可读存储介质
CN111563016B (zh) * 2020-04-27 2022-08-23 深圳平安医疗健康科技服务有限公司 日志采集分析方法、装置、计算机系统及可读存储介质
CN111639249A (zh) * 2020-05-25 2020-09-08 上海中通吉网络技术有限公司 用户反馈报错的自动监测方法、装置和设备
CN112000502A (zh) * 2020-08-11 2020-11-27 杭州安恒信息技术股份有限公司 海量错误日志的处理方法、装置、电子装置及存储介质
CN117234776A (zh) * 2023-09-18 2023-12-15 厦门国际银行股份有限公司 一种批处理报错作业的智能判定方法、装置及设备

Similar Documents

Publication Publication Date Title
CN109684157A (zh) 基于报错日志的告警方法、设备、存储介质及装置
CN110401779B (zh) 一种识别电话号码的方法、装置和计算机可读存储介质
CN106713579B (zh) 一种电话号码识别方法及装置
CN108491388B (zh) 数据集获取方法、分类方法、装置、设备及存储介质
CN106294105B (zh) 刷量工具检测方法和装置
CN112560453B (zh) 语音信息校验方法、装置、电子设备及介质
CN109388675A (zh) 数据分析方法、装置、计算机设备及存储介质
CN109885597B (zh) 基于机器学习的用户分群处理方法、装置及电子终端
CN111104521A (zh) 一种基于图分析的反欺诈检测方法及检测系统
CN112733146B (zh) 基于机器学习的渗透测试方法、装置、设备及存储介质
CN103095737A (zh) 一种网络浏览信息的处理方法和装置
CN104468107A (zh) 校验数据处理方法及装置
CN106301979B (zh) 检测异常渠道的方法和系统
CN110414591B (zh) 一种数据处理方法以及设备
CN101389085A (zh) 基于发送行为的垃圾短消息识别系统及方法
CN115577172A (zh) 物品推荐方法、装置、设备及介质
CN110611655B (zh) 一种黑名单筛选方法和相关产品
CN110380952B (zh) 邮件收发方法及装置
CN112016317A (zh) 基于人工智能的敏感词识别方法、装置及计算机设备
CN114817518B (zh) 基于大数据档案识别的证照办理方法、系统及介质
CN115408672A (zh) 黑名单的深度预警方法、装置、设备及存储介质
CN114265740A (zh) 错误信息处理方法、装置、设备及存储介质
CN112380323A (zh) 一种基于中文分词识别技术的垃圾信息剔除系统及方法
CN109491970B (zh) 面向云存储的不良图片检测方法、装置及存储介质
CN112615966B (zh) 一种猫池终端识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190426

RJ01 Rejection of invention patent application after publication