CN109086186A - 日志检测方法及装置 - Google Patents
日志检测方法及装置 Download PDFInfo
- Publication number
- CN109086186A CN109086186A CN201810822108.7A CN201810822108A CN109086186A CN 109086186 A CN109086186 A CN 109086186A CN 201810822108 A CN201810822108 A CN 201810822108A CN 109086186 A CN109086186 A CN 109086186A
- Authority
- CN
- China
- Prior art keywords
- call number
- prediction
- log
- sequence
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
- G06F11/3079—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by reporting only the changes of the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
Abstract
本发明提供一种日志检测方法及装置,通过获取用户当前的日志序列,根据预设的全局字典确定日志序列对应的索引序列,索引序列包括多个顺序执行的索引号,将至少一个索引号输入到日志预测模型中,得到至少一个索引号对应的预测索引号集合,若预测索引号集合中不包含索引序列中至少一个索引号对应的下一索引号,则提示日志序列存在异常。通过上述方法实现对日志逻辑及日志健康度的预测,当日志存在异常时发出提示信息,辅助测试人员进行测试工作,提高了测试效率和准确率。
Description
技术领域
本发明实施例涉及计算机领域,尤其涉及一种日志检测方法及装置。
背景技术
日志是最直接表征系统运行状况的信息,具有重要的价值。通常情况下,系统运维人员依靠人工查看系统运行日志,以期跟踪系统状态以及发现系统故障。
现有技术主要关注日志的收集,存储和基本挖掘,用于从庞大的日志集中提取系统异常状态的日志序列,并以此序列作为特征对系统故障进行预测和诊断。通常在测试人员对故障点进行人工分析改造后,会编写用例进行测试,进程生成日志后,再通过人工分析,查看生成日志是否按照预期进行,测试工作的效率低且准确率低。
发明内容
本发明提供一种日志检测方法及装置,辅助测试人员分析相关的日志逻辑、用例覆盖率以及日志健康程度等,提高了测试工作的测试效率和准确率。
本发明的第一方面提供一种日志检测方法,包括:
获取用户当前的日志序列;
根据预设的全局字典确定所述日志序列对应的索引序列,所述索引序列包括多个顺序执行的索引号;
将至少一个索引号输入到日志预测模型中,得到所述至少一个索引号对应的预测索引号集合;
若所述预测索引号集合中不包含所述索引序列中至少一个索引号对应的下一索引号,则提示所述日志序列存在异常。
可选的,所述将至少一个索引号输入到日志预测模型中,得到所述至少一个索引号对应的预测索引号集合,包括:
将至少一个索引号输入到日志预测模型中,得到索引号的概率数组;
根据所述概率数组,确定所述至少一个索引号对应的预测索引号集合;所述预测索引号集合包括至少一个预测索引号。
可选的,所述根据所述概率数组,确定所述至少一个索引号对应的预测索引号集合,包括:
根据所述概率数组,将所述概率数组中概率值大于预设概率阈值的索引号确定为预测索引号。
可选的,所述根据预设的全局字典确定所述日志序列对应的索引序列之前,还包括:
获取所述日志序列对应的用户坐标;
所述将至少一个索引号输入到日志预测模型中,得到所述至少一个索引号对应的预测索引号集合,包括:
将至少一个索引号输入到日志预测模型中,得到所述至少一个索引号对应的预测索引号集合和预测用户坐标;
所述方法,还包括:
判断所述预测用户坐标是否为所述日志序列对应的用户坐标,若否,则提示检测人员对所述预测用户坐标对应的日志序列进行日志检测。
可选的,所述日志预测模型为长短期记忆网络LSTM模型、递归神经网络RNN序列模型或者马尔可夫模型。
本发明的第二方面提供一种日志检测装置,包括:
获取模块,用于获取用户当前的日志序列;
确定模块,用于根据预设的全局字典确定所述日志序列对应的索引序列,所述索引序列包括多个顺序执行的索引号;
预测模块,用于将至少一个索引号输入到日志预测模型中,得到所述至少一个索引号对应的预测索引号集合;
提示模块,用于若所述预测索引号集合中不包含所述索引序列中至少一个索引号对应的下一索引号,则提示所述日志序列存在异常。
可选的,所述预测模块,具体用于将至少一个索引号输入到日志预测模型中,得到索引号的概率数组;
所述确定模块,还用于根据所述概率数组,确定所述至少一个索引号对应的预测索引号集合;所述至少一个索引号对应的预测索引号集合。
可选的,所述确定模块,具体用于根据所述概率数组,将所述概率数组中概率值大于预设概率阈值的索引号确定为预测的索引号。
可选的,所述获取模块,还用于获取所述日志序列对应的用户坐标;
所述预测模块,具体用于将至少一个索引号输入到日志预测模型中,得到所述至少一个索引号对应的预测索引号集合和预测用户坐标;
所述日志检测装置,还包括:判断模块;
所述判断模块,用于判断所述预测用户坐标是否为所述日志序列对应的用户坐标,若否,则所述提示模块,还用于提示检测人员对所述预测用户坐标对应的日志序列进行日志检测。
可选的,所述日志预测模型为长短期记忆网络LSTM模型、递归神经网络RNN序列模型或者马尔可夫模型。
本发明的第三方面提供一种日志检测装置,包括:
存储器;
处理器;以及
计算机程序;
其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如本发明第一方面任一项所述的方法。
本发明的第四方面提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行以实现如本发明第一方面任一项所述的方法。
本发明实施例提供的日志检测方法及装置,通过获取用户当前的日志序列,根据预设的全局字典确定日志序列对应的索引序列,索引序列包括多个顺序执行的索引号,将至少一个索引号输入到日志预测模型中,得到至少一个索引号对应的预测索引号集合,若预测索引号集合中不包含索引序列中至少一个索引号对应的下一索引号,则提示日志序列存在异常。通过上述方法实现对日志逻辑及日志健康度的预测,当日志存在异常时发出提示信息,辅助测试人员进行测试工作,提高了测试效率和准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的日志检测方法的流程示意图;
图2为本发明另一实施例提供的日志检测方法的流程示意图;
图3为本发明又一实施例提供的日志检测方法的流程示意图;
图4为本发明一实施例提供的日志检测装置的结构示意图;
图5为本发明另一实施例提供的日志检测装置的结构示意图;
图6为本发明一实施例提供的日志检测装置的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现阶段,测试人员一般通过人工分析改造日志中的异常点。具体来说,测试人员对编写的用例进行测试,在生成日志后进行人工分析,查看日志是否按照预期进行,确定可能存在问题异常点,并对异常点进行改造,上述日志检测方式效率低,全凭人工分析,检测存在盲区。
本发明旨在利用机器学习的思路,设计出通过日志挖掘产生经验的分析模型,辅助测试人员分析出关联的业务逻辑,用例覆盖率以及日志健康程度等等,来提高测试人员的分析效率和测试场景的覆盖率,大大改善了测试工作的效率和准确率。
下面结合具体实施例对本发明提供的日志检测方法做详细说明。
图1为本发明一实施例提供的日志检测方法的流程示意图,如图1所示,本实施例提供的日志检测方法包括如下步骤:
S101、获取用户当前的日志序列;
检测人员在日志检测装置的用户界面上输入当前待检测的日志序列,其中,日志序列是运行某用户资料产生的日志序列,不同的用户资料产生的日志序列不同。
具体来说,不同用户资料对应的用户属性不同,将用户资料映射成用户坐标,也就是说,将用户资料对应的用户属性以用户坐标形式表示。例如,定义用户坐标中的用户属性为[‘是否欠费’;‘流量是否用尽’;‘移网’;‘宽带’],用1表示是,0表示否,用户1的坐标为[1,0,1,0],该坐标表示用户1的用户属性为[已欠费,流量未用尽,是移网,不是宽带]。
假设本实施例所有日志模板的集合为{a,b,c,d,e,f,eos},构成全局集合,该集合的日志模板只可追加不可更改。其中,a-f表示集合中的各日志模板,eos表示日志的结尾,用户1的坐标为[1,0,1,0],其执行的日志逻辑为a→b→c→e→eos;用户2的坐标为[1,0,0,1],其执行的日志逻辑为a→b→c→f→eos。由此可见,不同用户坐标对应的日志逻辑不同,生成的日志序列也不同。
S102、根据预设的全局字典确定日志序列对应的索引序列,索引序列包括多个顺序执行的索引号;
为了检测S101中输入的用户当前的日志序列是否存在异常,日志检测装置根据预设的全局字典确定日志序列对应的索引序列。其中,
预设的全局字典为Global_Dict={0:a,1:b;2:c,3:d,4:e,5:f,6:eos}。其中0-6为索引号,一个索引号对应一个日志模板。根据预设的全局字典可以确定用户当前日志序列对应的索引序列,例如用户1当前执行的日志序列为a→b→c→e→eos,对应的索引序列为[0,1,2,4,6]。索引序列包括5个顺序执行的索引号。
S103、将至少一个索引号输入到日志预测模型中,得到至少一个索引号对应的预测索引号集合;
本实施例中的日志预测模型是基于不同用户资料产生的正常日志序列训练得到的模型,用于检测用户当前日志序列是否存在异常。
日志检测装置根据S102中生成的索引序列,首先将索引序列中的第一个索引号输入到日志检测模型中,得到第一个索引号对应的预测索引号,例如用户1日志序列对应的索引序列为[0,1,2,4,6],将索引号[0]输入到日志检测模型中,模型预测0之后的索引号为1。
随后日志检测装置将索引序列中的第一索引号和第二索引号同时输入到日志检测模型中,得到第一索引号和第二索引号对应的预测索引号,例如用户1日志序列对应的索引序列为[0,1,2,4,6],将索引号[0,1]输入到日志检测模型中,模型预测[0,1]之后的索引号为3。
依次类推,直至将索引序列中的结束索引号之前的所有索引号同时输入到日志检测模型中,得到结束索引号之前的所有索引号对应的预测索引号,例如用户1日志序列对应的索引序列为[0,1,2,4,6],将索引号[0,1,2,4]输入到日志检测模型中,模型预测[0,1,2,4]之后的索引号为6。
通过上述过程,分别将用户日志序列对应的索引序列中不同维度(即不同长度)的索引号输入到日志检测模型中,获取不同维度的索引号对应的预测索引号,并对预测索引号和当前维度索引号对应的下一索引号进行比较,确定是否存在日志异常。
S104、若预测索引号集合中不包含索引序列中至少一个索引号对应的下一索引号,则提示日志序列存在异常。
当预测索引号与索引序列中当前维度索引号对应的下一索引号相同时,则确定当前维度索引号对应的日志序列正常;
当预测索引号与索引序列中当前维度索引号对应的下一索引号不同时,则确定当前维度索引号对应的日志序列异常,日志检测装置提示日志异常,并输入日志异常的具体位置。
例如S103中示出了用户1日志序列对应的索引序列为[0,1,2,4,6],将索引号[0,1]输入到日志检测模型中,模型预测[0,1]之后的索引号为3。其中,预测索引号为3,用户日志序列对应的索引序列中[0,1]之后的下一索引号为2,此时预测索引号与索引序列中第一索引号和第二索引号对应的下一索引号不同,则确定第一索引号和第二索引号之后的下一索引号(即第三索引号)存在异常,即日志序列中第三索引号对应的日志存在异常。检测人员根据日志检测装置发出的提示信息,对日志异常位置进行分析处理。
本实施例提供的日志检测方法,通过获取用户当前的日志序列,根据预设的全局字典确定日志序列对应的索引序列,索引序列包括多个顺序执行的索引号,将至少一个索引号输入到日志预测模型中,得到至少一个索引号对应的预测索引号,若预测索引号不是索引序列中至少一个索引号对应的下一索引号,则提示日志序列存在异常。通过上述方法实现对日志逻辑及日志健康度的预测,当日志存在异常时发出提示信息,辅助测试人员进行测试工作,提高了测试效率和准确率。
在上述实施例的基础上,日志检测装置根据日志预测模型的输出结果如何确定预测索引号,其具体的实现过程参见下述实施例。
图2为本发明另一实施例提供的日志检测方法的流程示意图,如图2所示,本实施例提供的日志检测方法包括如下步骤:
S201、获取用户当前的日志序列;
S202、根据预设的全局字典确定日志序列对应的索引序列,索引序列包括多个顺序执行的索引号;
本实施例的S201和S202与上述实施例的S101和S102相同,其实现原理和技术效果参见上述实施例,此处不再赘述。
S203、将至少一个索引号输入到日志预测模型中,得到索引号的概率数组;
日志检测装置根据S202中生成的索引序列,将索引序列中的第一索引号输入到日志检测模型中,得到索引号的概率数组。
结合上述实施例中的举例可知,预设的全局字典中包括各日志模板与索引号的对应关系,例如:索引号0对应日志模板a,索引号3对应日志模板d。日志检测模型根据输入的第一索引号如索引号[0],预测第一索引号的下一索引号,输出全局字典中各索引号的概率值,以概率数组的形式输出,具体表示为:[0.001,0.9988,0.001,0.001,0.001,0.001,0.001],这7个概率值对应了[a的概率,b的概率,c的概率,d的概率,e的概率,f的概率,eos的概率]。根据输出的概率数组确定预测索引号集合,具体参见S204。
依次类推,日志检测模型根据输入的顺序执行的多个索引号(即多维度索引号),预测顺序执行的多个索引号对应的下一索引号,输出全局字典中各索引号的概率值。可以理解,不同维度索引号输出的概率数组的维度相同,本实施例中概率数组的维度均为7。
可选的,本实施例的日志预测模型为长短期记忆网络LSTM模型、递归神经网络RNN序列模型或者马尔可夫模型,对此本实施不作具体限定。
S204、根据概率数组,确定至少一个索引号对应的预测索引号集合;所述预测索引号集合包括至少一个预测索引号;
根据日志预测模型输出的索引号的概率数组,将概率数组中概率值大于预设概率阈值的索引号确定为预测索引号。需要指出的是,概率数组中概率值大于预设概率阈值的索引号的数量可以是一个,也可以是多个。
例如预设概率阈值为0.1,则表示概率值大于0.1的索引号被激活。已获取用户1当前日志序列对应的索引序列为[0,1,2,4,6],将日志序列对应的索引序列中的第一索引号[0]输入到日志预测模型中:
当输出的概率数组为[0.001,0.9988,0.001,0.001,0.001,0.001,0.001]时,可以确定索引号[0]对应的预测索引号为0.9988对应的索引号1,可以表示为[0,1]。
当输出的概率数组为[0.001,0.9988,0.001,0.001,0.5001,0.001,0.001]时,可以确定索引号[0]对应的预测索引号包括两个,0.9988对应的索引号1以及0.5001对应的索引号4,可以表示为[0,1]或[0,4]。
当输出的概率数组为[0.001,0.001,0.9988,0.001,0.001,0.001,0.001]时,可以确定索引号[0]对应的预测索引号为0.9988对应的索引号2,可以表示为[0,2]。
S205、若预测索引号集合中不包含索引序列中至少一个索引号对应的下一索引号,则提示日志序列存在异常。
当预测索引号与索引序列中当前维度索引号对应的下一索引号相同时,则确定当前维度索引号对应的日志序列正常;
当预测索引号与索引序列中当前维度索引号对应的下一索引号不同时,则确定当前维度索引号对应的日志序列异常,日志检测装置提示日志异常,并输入日志异常的具体位置。
结合S204的实例:
输入索引号[0]根据日志预测模型确定预测索引号为1,与用户1当前日志序列对应的索引序列中索引号0的下一索引号一致,则确定索引号0对应的日志序列正常;
输入索引号[0]根据日志预测模型确定预测索引号为1或4,与用户1当前日志序列对应的索引序列中索引号0的下一索引号不完全一致,则确定索引号0对应的日志序列正常,但存在日志分支。
输入索引号[0]根据日志预测模型确定预测索引号为2,与用户1当前日志序列对应的索引序列中索引号0的下一索引号不一致,则确定索引号0对应的日志序列异常。
本实施例提供的日志检测方法,通过获取用户当前的日志序列,根据预设的全局字典确定日志序列对应的索引序列,索引序列包括多个顺序执行的索引号,将至少一个索引号输入到日志预测模型中,得到索引号的概率数组,根据概率数组确定至少一个索引号对应的预测索引号集合,若预测索引号集合中不包含索引序列中至少一个索引号对应的下一索引号,则提示日志序列存在异常。通过上述方法实现对日志逻辑及日志健康度的预测,当日志存在异常时发出提示信息,辅助测试人员进行测试工作,提高了测试效率和准确率。
上述各实施例中的日志预测模型用于检测当前日志是否存在异常,日志预测模型的输入为不同维度的索引号,输出为不同维度索引号对应的预测索引号集合。
在上述各实施例的基础上,本实施例中的日志预测模型除了用于检测当前日志序列是否存在异常之外,还用于预测与当前日志序列相关的其他用户坐标,辅助测试人员对其他用户坐标对应的日志序列进行检测,扩大日志检测的覆盖率。
图3为本发明又一实施例提供的日志检测方法的流程示意图,如图3所示,本实施例提供的日志检测方法具体包括如下步骤:
S301、获取用户当前的日志序列;
S302、获取日志序列对应的用户坐标;
本实施例中的用户坐标参见S101,此处不再赘述。
S301和S302不限于上述执行顺序,可以同时执行,也可以顺序执行,对此本实施例不作具体限定。
S303、根据预设的全局字典确定日志序列对应的索引序列,索引序列包括多个顺序执行的索引号;
S304、将至少一个索引号输入到日志预测模型中,得到至少一个索引号对应的预测索引号集合和预测用户坐标;
本实施例中日志预测模型根据输入的至少一个索引号,确定至少一个索引号对应的预测索引号集合,同时,还确定至少一个索引号对应的各预测索引号对应的预测用户坐标。
本实施例中,日志预测模型的输入为至少一个索引号,其输出包括两项:
第一项输出为索引号的概率数组;
第二项输出为预测的用户属性的概率数组。
其中,日志检测装置确定预测用户坐标的方式与确定预测索引号的方式类似。具体的,
日志检测装置根据日志预测模型输出的用户属性的概率数组和预设用户属性阈值,确定预测用户坐标。
例如预设用户属性阈值为0.5,将概率值大于0.5的用户属性激活。用户属性的概率数组为[0.98,0.05,0.11,0.88],激活后的用户坐标为[1,0,0,1],表示[已欠费,流量未用尽,不是移网,是宽带]。
S305、若预测索引号集合中不包含索引序列中至少一个索引号对应的下一索引号,则提示日志序列存在异常;
S306、判断预测用户坐标是否为日志序列对应的用户坐标,若否,则提示检测人员对预测用户坐标对应的日志序列进行日志检测。
S305和S306不限于上述执行顺序,可以同时执行,也可以顺序执行,对此本实施例不作具体限定。
S306中,假设S302中获取的日志序列对应的用户坐标为[1,0,1,0],日志检测装置确定的预测用户坐标为[1,0,0,1],则预测用户坐标为与当前日志序列对应的用户坐标相关联的其他用户坐标。日志检测装置发出的提示信息中还包括预测用户坐标,以便检测人员根据预测用户坐标对相关日志序列进行日志检测,从而扩大了日志检测的覆盖率,提高了检测工作的效率。
需要指出的是,仅当预测索引号为结束索引号时,预测的用户坐标才具有参考价值,也就是说,当输入日志预测模型的索引号维度小于(索引序列总维度-1)时,得到的预测用户坐标可以直接忽略。
本实施例提供的日志检测方法,获取通过日志检测装置确定的当前日志序列相关的其他用户坐标,提示测试人员对预测用户坐标对应的日志序列进行日志检测,扩大了日志检测的测试覆盖率,提高了检测工作的效率。
图4为本发明一实施例提供的日志检测装置的结构示意图,如图4所示,本实施例提供的日志检测装置40,包括:
获取模块41,用于获取用户当前的日志序列;
确定模块42,用于根据预设的全局字典确定所述日志序列对应的索引序列,所述索引序列包括多个顺序执行的索引号;
预测模块43,用于将至少一个索引号输入到日志预测模型中,得到所述至少一个索引号对应的预测索引号集合;
提示模块44,用于若所述预测索引号集合中不包含所述索引序列中至少一个索引号对应的下一索引号,则提示所述日志序列存在异常。
可选的,所述预测模块43,具体用于将至少一个索引号输入到日志预测模型中,得到索引号的概率数组;
所述确定模块42,还用于根据所述概率数组,确定所述至少一个索引号对应的预测索引号集合;所述预测索引号集合包括至少一个预测索引号。
可选的,所述确定模块42,具体用于根据所述概率数组,将所述概率数组中概率值大于预设概率阈值的索引号确定为预测索引号。
图5为本发明另一实施例提供的日志检测装置的结构示意图,在图4所示的日志检测装置的基础上,如图5所示,本实施例的日志检测装置40中的所述获取模块41,还用于获取所述日志序列对应的用户坐标;
所述预测模块43,具体用于将至少一个索引号输入到日志预测模型中,得到所述至少一个索引号对应的预测索引号集合和预测用户坐标;
所述日志检测装置40,还包括:判断模块45;
所述判断模块45,用于判断所述预测用户坐标是否为所述日志序列对应的用户坐标,若否,则所述提示模块44,还用于提示检测人员对所述预测用户坐标对应的日志序列进行日志检测。
可选的,所述日志预测模型为长短期记忆网络LSTM模型、递归神经网络RNN序列模型或者马尔可夫模型。
本实施例提供的日志检测装置,可以执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图6为本发明一实施例提供的日志检测装置的硬件结构示意图,如图6所示,本实施例的日志检测装置60,包括:
存储器61;
处理器62;以及
计算机程序;
其中,计算机程序存储在存储器61中,并被配置为由处理器62执行以实现如前述任一项方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
可选的,存储器61既可以是独立的,也可以跟处理器62集成在一起。
当存储器61是独立于处理器62之外的器件时,日志检测装置60还包括:
总线63,用于连接存储器61和处理器62。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器62执行以实现如上方法实施例中日志检测装置所执行的各个步骤。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本申请各个实施例方法的部分步骤。
应理解,上述处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,简称:DSP)、专用集成电路(英文:Application Specific Integrated Circuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture,ISA)
总线、外部设备互连(Peripheral Component,PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits,简称:ASIC)中。当然,处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (12)
1.一种日志检测方法,其特征在于,包括:
获取用户当前的日志序列;
根据预设的全局字典确定所述日志序列对应的索引序列,所述索引序列包括多个顺序执行的索引号;
将至少一个索引号输入到日志预测模型中,得到所述至少一个索引号对应的预测索引号集合;
若所述预测索引号集合中不包含所述索引序列中至少一个索引号对应的下一索引号,则提示所述日志序列存在异常。
2.根据权利要求1所述的方法,其特征在于,所述将至少一个索引号输入到日志预测模型中,得到所述至少一个索引号对应的预测索引号集合,包括:
将至少一个索引号输入到日志预测模型中,得到索引号的概率数组;
根据所述概率数组,确定所述至少一个索引号对应的预测索引号集合;所述预测索引号集合包括至少一个预测索引号。
3.根据权利要求2所述的方法,其特征在于,所述根据所述概率数组,确定所述至少一个索引号对应的预测索引号集合,包括:
根据所述概率数组,将所述概率数组中概率值大于预设概率阈值的索引号确定为预测索引号。
4.根据权利要求1所述的方法,其特征在于,所述根据预设的全局字典确定所述日志序列对应的索引序列之前,还包括:
获取所述日志序列对应的用户坐标;
所述将至少一个索引号输入到日志预测模型中,得到所述至少一个索引号对应的预测索引号集合,包括:
将至少一个索引号输入到日志预测模型中,得到所述至少一个索引号对应的预测索引号集合和预测用户坐标;
所述方法,还包括:
判断所述预测用户坐标是否为所述日志序列对应的用户坐标,若否,则提示检测人员对所述预测用户坐标对应的日志序列进行日志检测。
5.根据权利要求1-4任一项所述的方法,其特征在于,
所述日志预测模型为长短期记忆网络LSTM模型、递归神经网络RNN序列模型或者马尔可夫模型。
6.一种日志检测装置,其特征在于,包括:
获取模块,用于获取用户当前的日志序列;
确定模块,用于根据预设的全局字典确定所述日志序列对应的索引序列,所述索引序列包括多个顺序执行的索引号;
预测模块,用于将至少一个索引号输入到日志预测模型中,得到所述至少一个索引号对应的预测索引号集合;
提示模块,用于若所述预测索引号集合中不包含所述索引序列中至少一个索引号对应的下一索引号,则提示所述日志序列存在异常。
7.根据权利要求6所述的装置,其特征在于,
所述预测模块,具体用于将至少一个索引号输入到日志预测模型中,得到索引号的概率数组;
所述确定模块,还用于根据所述概率数组,确定所述至少一个索引号对应的预测索引号集合;所述预测索引号集合包括至少一个预测索引号。
8.根据权利要求7所述的装置,其特征在于,
所述确定模块,具体用于根据所述概率数组,将所述概率数组中概率值大于预设概率阈值的索引号确定为预测索引号。
9.根据权利要求6所述的装置,其特征在于,
所述获取模块,还用于获取所述日志序列对应的用户坐标;
所述预测模块,具体用于将至少一个索引号输入到日志预测模型中,得到所述至少一个索引号对应的预测索引号集合和预测用户坐标;
所述日志检测装置,还包括:判断模块;
所述判断模块,用于判断所述预测用户坐标是否为所述日志序列对应的用户坐标,若否,则所述提示模块,还用于提示检测人员对所述预测用户坐标对应的日志序列进行日志检测。
10.根据权利要求6-9任一项所述的装置,其特征在于,
所述日志预测模型为长短期记忆网络LSTM模型、递归神经网络RNN序列模型或者马尔可夫模型。
11.一种日志检测装置,其特征在于,包括:
存储器;
处理器;以及
计算机程序;
其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如权利要求1-5任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行以实现如权利要求1-5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810822108.7A CN109086186B (zh) | 2018-07-24 | 2018-07-24 | 日志检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810822108.7A CN109086186B (zh) | 2018-07-24 | 2018-07-24 | 日志检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109086186A true CN109086186A (zh) | 2018-12-25 |
CN109086186B CN109086186B (zh) | 2022-02-15 |
Family
ID=64838314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810822108.7A Active CN109086186B (zh) | 2018-07-24 | 2018-07-24 | 日志检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109086186B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111949480A (zh) * | 2020-08-10 | 2020-11-17 | 重庆大学 | 一种基于组件感知的日志异常检测方法 |
CN112883004A (zh) * | 2021-02-24 | 2021-06-01 | 上海浦东发展银行股份有限公司 | 一种基于日志聚合的日志知识库与健康度获取方法及系统 |
CN115794465A (zh) * | 2022-11-10 | 2023-03-14 | 上海鼎茂信息技术有限公司 | 一种日志异常检测方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103337113A (zh) * | 2013-07-17 | 2013-10-02 | 广州广电运通金融电子股份有限公司 | 电子流水日志智能分析方法、装置及处理器 |
WO2017165018A1 (en) * | 2016-03-22 | 2017-09-28 | Nec Laboratories America, Inc. | Automated event id field analysis on heterogeneous logs |
CN107506414A (zh) * | 2017-08-11 | 2017-12-22 | 武汉大学 | 一种基于长短期记忆网络的代码推荐方法 |
CN107885642A (zh) * | 2017-11-29 | 2018-04-06 | 小花互联网金融服务(深圳)有限公司 | 基于机器学习的业务监控方法及系统 |
-
2018
- 2018-07-24 CN CN201810822108.7A patent/CN109086186B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103337113A (zh) * | 2013-07-17 | 2013-10-02 | 广州广电运通金融电子股份有限公司 | 电子流水日志智能分析方法、装置及处理器 |
WO2017165018A1 (en) * | 2016-03-22 | 2017-09-28 | Nec Laboratories America, Inc. | Automated event id field analysis on heterogeneous logs |
CN107506414A (zh) * | 2017-08-11 | 2017-12-22 | 武汉大学 | 一种基于长短期记忆网络的代码推荐方法 |
CN107885642A (zh) * | 2017-11-29 | 2018-04-06 | 小花互联网金融服务(深圳)有限公司 | 基于机器学习的业务监控方法及系统 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111949480A (zh) * | 2020-08-10 | 2020-11-17 | 重庆大学 | 一种基于组件感知的日志异常检测方法 |
CN111949480B (zh) * | 2020-08-10 | 2023-08-11 | 重庆大学 | 一种基于组件感知的日志异常检测方法 |
CN112883004A (zh) * | 2021-02-24 | 2021-06-01 | 上海浦东发展银行股份有限公司 | 一种基于日志聚合的日志知识库与健康度获取方法及系统 |
CN115794465A (zh) * | 2022-11-10 | 2023-03-14 | 上海鼎茂信息技术有限公司 | 一种日志异常检测方法及系统 |
CN115794465B (zh) * | 2022-11-10 | 2023-12-19 | 上海鼎茂信息技术有限公司 | 一种日志异常检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109086186B (zh) | 2022-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108090567B (zh) | 电力通信系统故障诊断方法及装置 | |
CN112436968B (zh) | 一种网络流量的监测方法、装置、设备及存储介质 | |
CN112884092B (zh) | Ai模型生成方法、电子设备及存储介质 | |
CN111459700A (zh) | 设备故障的诊断方法、诊断装置、诊断设备及存储介质 | |
CN109086186A (zh) | 日志检测方法及装置 | |
JP2001318804A (ja) | 確率的な診断システム | |
CN101706749B (zh) | 基于软件安全缺陷检测的综合处理方法 | |
KR102270347B1 (ko) | 딥러닝 앙상블 모델을 이용한 이상 상황 탐지 장치 및 그 방법 | |
CN109308225B (zh) | 一种虚拟机异常检测方法、装置、设备及存储介质 | |
CN113589230B (zh) | 一种基于联合优化网络的目标声源定位方法及系统 | |
CN111752833B (zh) | 一种软件质量体系准出方法、装置、服务器及存储介质 | |
CN103218277A (zh) | 服务器环境的自动检测方法与装置 | |
KR20050061358A (ko) | 네트워크 진단 방법, 네트워크 진단을 수행하는 코드를포함하는 컴퓨터 판독 가능 매체 및 시스템 | |
CN113902457B (zh) | 房源信息可靠性的评估方法、装置、电子设备及存储介质 | |
CN110515758A (zh) | 一种故障定位方法、装置、计算机设备及存储介质 | |
CN115659271A (zh) | 传感器异常检测方法、模型训练方法、系统、设备及介质 | |
CN113505039A (zh) | 一种通信故障分析方法、设备及系统 | |
CN112711530A (zh) | 一种基于机器学习的代码风险预测方法及系统 | |
CN110783007A (zh) | 一种反应堆控制室系统 | |
CN113551156B (zh) | 基于深度学习的管道状态监测方法、装置及存储介质 | |
CN111160454B (zh) | 一种速变信号检测方法和装置 | |
CN115617023B (zh) | 航天器姿控系统异常定位方法和装置 | |
CN109474445B (zh) | 一种分布式系统根源故障定位方法及装置 | |
Goel et al. | Investigating of high and low impact faults in object-oriented projects | |
CN116627700A (zh) | 内存故障检测及处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |