CN111767957A - 一种日志异常的检测方法、装置、存储介质及电子设备 - Google Patents

一种日志异常的检测方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111767957A
CN111767957A CN202010621811.9A CN202010621811A CN111767957A CN 111767957 A CN111767957 A CN 111767957A CN 202010621811 A CN202010621811 A CN 202010621811A CN 111767957 A CN111767957 A CN 111767957A
Authority
CN
China
Prior art keywords
log file
normal
training
information data
normal log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010621811.9A
Other languages
English (en)
Other versions
CN111767957B (zh
Inventor
祝捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202010621811.9A priority Critical patent/CN111767957B/zh
Publication of CN111767957A publication Critical patent/CN111767957A/zh
Application granted granted Critical
Publication of CN111767957B publication Critical patent/CN111767957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Technology Law (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供了一种日志异常的检测方法、装置、存储介质及电子设备，涉及计算机技术领域。其中，该方法包括：获取正常的日志文件的信息数据和时间戳；利用所述信息数据和时间戳训练得到RNN模型；利用所述RNN模型确定下一时刻的日志文件是否出现异常。利用该方法能够更加准确的区分出异常日志。

Description

一种日志异常的检测方法、装置、存储介质及电子设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种日志异常的检测方法、装置、存储介质及电子设备。
背景技术
在检测银行后台异常数据时，通常会定位于硬件故障、应用程序故障或外部入侵等，可以通过检测银行的服务器的日志是否发生异常来定位异常昌数据。
目前的银行系统的日志异常检测方法，使用银行的服务器历史异常日志进行深度学习，得到异常日志文件的分类模型。然后利用该分类模型对待检测的日志文件进行异常检测，当存在异常时进行预警。
但是由于银行系统具有高度稳定性，系统运行时通常只会产生极少量的异常日志，而现有的深度学习分类模型必须要有足够的异常日志作为负样本进行训练，因此目前训练出的分类模型分类效果不理想，不足以区分出异常日志。
发明内容
为了解决现有技术存在的上述技术问题，本申请提供了一种日志异常的检测方法、装置、存储介质及电子设备，能够更加准确的区分出异常日志。
第一方面，本申请提供了一种日志异常的检测方法，应用于银行系统，所述方法包括：
获取正常的日志文件的信息数据和时间戳；
利用所述信息数据和时间戳训练得到RNN模型；
利用所述RNN模型确定下一时刻的日志文件是否出现异常。
可选的，所述利用所述信息数据和时间戳训练得到RNN模型，具体包括：
获取所述正常的日志文件并将所述正常的日志文件转换为数组；
将所述数组进行标准化处理；
利用所述标准化处理后的数组以及所述时间戳训练得到所述RNN模型。
可选的，所述获取正常的日志文件的信息数据和时间戳，具体包括：
根据所述正常的日志文件的类型确定获取所述正常的日志文件时的时间步长，不同类型的正常的日志文件对应的时间步长不同；
按照所述时间步长获取对应类型的正常的日志文件的信息数据和时间戳。
可选的，所述方法还包括：
确定正常的日志文件的生成数量与时间所满足的分布函数；
所述时间步长与所述分布函数成负相关。
可选的，所述日志文件的类型至少包括以下中的一种：
JSON日志文件、文本日志文件和标签模式的日志文件。
第二方面，本申请还提供了一种日志异常的预测装置，应用于银行系统，所述装置包括：获取单元、训练单元和检测单元；
所述获取单元，用于获取正常的日志文件的信息数据和时间戳；
所述训练单元，用于利用所述信息数据和时间戳训练得到RNN模型；
所述检测单元，用于利用所述RNN模型确定下一时刻的日志文件是否出现异常。
可选的，所述训练单元，具体用于：
获取所述正常的日志文件并将所述正常的日志文件转换为数组；
将所述数组进行标准化处理；
利用所述标准化处理后的数组以及所述时间戳训练得到所述RNN模型。
可选的，所述获取单元，具体用于：
根据所述正常的日志文件的类型确定获取所述正常的日志文件时的时间步长，不同类型的正常的日志文件对应的时间步长不同；
按照所述时间步长获取对应类型的正常的日志文件的信息数据和时间戳。
可选的，所述装置还包括确定单元；
所述确定单元，用于确定正常的日志文件的生成数量与时间所满足的分布函数；
所述时间步长与所述分布函数成负相关。
第三方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所述的日志异常的检测方法。
第四方面，本申请还提供了一种电子设备，所述电子设备用于运行程序，其中，所述程序运行时执行以上所述的日志异常的检测方法。
本申请提供的技术方案至少具有以下有益效果：
本申请提供的方法首先获取正常的日志文件的信息数据和时间戳，对于银行系统而言，其在运行时会产生大量的正常的日志文件，因此利用了充足的训练样本，然后利用所述信息数据和时间戳训练得到RNN模型，再利用所述RNN模型确定待检测的日志文件是否出现日常。由于RNN模型输出不仅与输入有关还和上一时刻自身的状态有关，即RNN具有对时间敏感的特性。通过大量带有时间戳的正常的日志文件作为训练样本训练出检测模型，该训练模型能够学习到正常的日志文件的活动规律，以该检测模型检测下一时刻的日志文件是否异常，能够更加准确的区分出异常日志。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种日志异常的检测方法的流程图；
图2为本申请实施例提供的一种日志异常的检测装置的示意图；
图3为本申请实施例提供的另一种日志异常的检测装置的示意图；
图4为本申请实施例提供的一种电子设备的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一：
本申请实施例提供了一种日志异常的检测方法，下面结合附图具体说明。
参见图1，该图为本申请实施例提供的一种日志异常的检测方法的流程图。
本申请实施例所述方法可以应用于银行系统，以及其它具有高稳定性并可以产生大量正常的日志文件的系统，该方法包括以下步骤：
S101：获取正常的日志文件的信息数据和时间戳。
本申请实施例提供的方法在进行模型训练时利用的样本数据对应正常的日志文件，这是因为通常银行系统的稳定性较高，产生的异常的日志文件的数量较少，若利用异常的日志文件作为训练样本，会出现训练样本不足的情况，导致训练结果不够准确。
而利用银行系统运行产生的正常的日志文件，则能够提供充足的训练样本，进而使得训练结果更加准确。
其中，日志文件的信息数据可用于理解系统的活动和诊断问题的跟踪。时间戳用于反映日志文件的时间信息。对于银行系统，通常日志的每一行都有一个时间戳。
S102：利用信息数据和时间戳训练得到RNN模型。
RNN(Recurrent Neural Network，循环神经网络)模型是一类以序列(sequence)数据为输入，在序列的演进方向进行递归(recursion)且所有节点(循环单元)按链式连接的递归神经网络(recursive neural network)。RNN模型具有记忆性、参数共享并且图灵完备(Turing completeness)。
本申请实施例利用了RNN模型的输出不仅与输入有关还和上一时刻自身的状态有关的特性，即RNN具有对时间敏感的特性，因此本申请还获取了大量的正常的日志文件的时间戳作为训练样本。
本申请实施例中的日志文件的类型可以为JSON日志文件、文本日志文件和标签模式的日志文件等，本申请实施例不作具体限定。
本申请提供的方法在训练样本收集时，需要确定时间步长以确定系统中正常的日志文件的读取规模，具体可以包括以下步骤：
根据所述正常的日志文件的类型确定获取所述正常的日志文件时的时间步长，不同类型的正常的日志文件对应的时间步长不同；
按照所述时间步长获取对应类型的正常的日志文件的信息数据和时间戳。
这是因为不同类型的日志文件在银行系统中的生成数量、生成时间以及错误率等均存在差异，因此需要对不同类型的日志文件按照不同的时间步长分别进行选择，进而能够使训练得到的RNN模型更加准确。
在获取正常的日志文件的信息数据和时间戳后，将信息数据和时间戳转换为数组，即对信息数据和时间戳进行矢量化。
然后对矢量化后得到的数组进行标准化(Standardization)处理，将数据按比例缩放，使之落入一个特定区间，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。
再利用所述标准化处理后的数组以及所述时间戳训练得到所述RNN模型。其中，RNN模型的具体训练方案为目前较为成熟的现有技术，本申请实施例在此不再赘述。
下面说明时间步长的确定方式：
确定正常的日志文件的生成数量与时间所满足的分布函数；
所述时间步长与所述分布函数成负相关。
由于应用于银行系统，其在运行过程中，日志文件的生成数量随时间的分布可能受到银行业务情况的影响，例如在业务高峰时期产生的日志文件的数量较多，可能出现的错误日志的概率也较大，因此本申请实施例的方法在确定时间步长时，首先确定正常的日志文件的生成数量与时间所满足的分布函数，该分布函数的函数值越大，表征该时间对应的正常的日志文件的生成数量越高，时由于步长与分布函数满足负相关，即时间步长越小，因此可以再日志文件生成数量较多的时间段内获取更多的正常的日志文件的信息数据和时间戳作为训练样本，是训练得到的RNN模型更加适用于银行系统。
S103：利用RNN模型确定下一时刻的日志文件是否出现异常。
获得训练模型之后，将下一时刻产生的日志文件(在一些实施例中，可以为下一个相邻的日志文件)的特征活动(包括信息数据和时间戳)和利用RNN模型预测得到的日志文件的特征活动(预测得到的信息数据和时间戳)进行比较，当两者时间的误差大于预设阈值时，确定下一时刻产生的日志文件为异常日志。
在一种可能的实现方式中，可以对应于每一类型的日志文件分别训练生成一个RNN模型，然后首先判断下一时刻的日志文件的类型，再将其与对应的RNN模型的预测结果进行相比较。
本申请提供的方法首先获取正常的日志文件的信息数据和时间戳，对于银行系统而言，其在运行时会产生大量的正常的日志文件，因此利用了了充足的训练样本，然后利用所述信息数据和时间戳训练得到RNN模型，再利用所述RNN模型确定待检测的日志文件是否出现日常。由于RNN模型输出不仅与输入有关还和上一时刻自身的状态有关，即RNN具有对时间敏感的特性。通过大量带有时间戳的正常的日志文件作为训练样本训练出检测模型，该训练模型能够学习到正常的日志文件的活动规律，以该检测模型检测下一时刻的日志文件是否异常，能够更加准确的区分出异常日志。
实施例二：
基于上述实施例提供的日志异常的检测方法，本申请实施例二还提供了一种日志异常的检测装置，下面结合附图具体说明。
参见图2，该图为本申请实施例提供的一种日志异常的检测装置的示意图。
本申请实施例所述装置包括：获取单元201、训练单元202和检测单元203。
获取单元201用于获取正常的日志文件的信息数据和时间戳。
可选的，所述获取单元201具体用于：根据所述正常的日志文件的类型确定获取所述正常的日志文件时的时间步长，不同类型的正常的日志文件对应的时间步长不同；
按照所述时间步长获取对应类型的正常的日志文件的信息数据和时间戳。
其中，日志文件的类型可以为JSON日志文件、文本日志文件和标签模式的日志文件等中的一种或多种。
训练单元202用于利用信息数据和时间戳训练得到RNN模型。
可选的，训练单元202具体用于：
获取所述正常的日志文件并将所述正常的日志文件转换为数组；
将所述数组进行标准化处理；
利用所述标准化处理后的数组以及所述时间戳训练得到所述RNN模型。
检测单元203用于利用RNN模型确定下一时刻的日志文件是否出现异常。
参见图3，该图为本申请实施例提供的另一种日志异常的检测装置的示意图。
该图与图2所示的装置的区别在于：还包括了确定单元204。
该确定单元204定正常的日志文件的生成数量与时间所满足的分布函数。其中，时间步长与分布函数成负相关。确定单元通过获取所述分布函数，进而确定出时间步长的规模。
综上所述，本申请实施例提供的装置通过获取单元获取正常的日志文件的信息数据和时间戳，对于银行系统而言，其在运行时会产生大量的正常的日志文件，因此提供了充足的训练样本；通过训练单元利用所述信息数据和时间戳训练得到RNN模型，再由检测单元利用所述RNN模型确定待检测的日志文件是否出现日常。由于RNN模型输出不仅与输入有关还和上一时刻自身的状态有关，即RNN具有对时间敏感的特性。通过大量带有时间戳的正常的日志文件作为训练样本训练出检测模型，该训练模型能够学习到正常的日志文件的活动规律，以该检测模型检测下一时刻的日志文件是否异常，能够更加准确的区分出异常日志。
所述日志异常的检测装置包括处理器和存储器，上述获取单元、训练单元和检测单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现以上实施例所述的日志异常的检测方法。
本申请实施例还提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现以上实施例所述的日志异常的检测方法。
本申请实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行以上实施例所述的日志异常的检测方法。
本申请实施例还提供了一种电子设备，下面结合附图具体说明。
参见图4，该图为本申请实施例提供的一种电子设备的示意图。
该电子设备30包括至少一个处理器301、以及与处理器301连接的至少一个存储器302、总线303。
其中，处理器301、存储器302通过总线303完成相互间的通信；处理器301用于调用存储器中的程序指令，以执行上述的日志异常的检测方法。本申请实施例中的电子设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
获取正常的日志文件的信息数据和时间戳；
利用所述信息数据和时间戳训练得到RNN模型；
利用所述RNN模型确定下一时刻的日志文件是否出现异常。
可选的，具体包括：
获取所述正常的日志文件并将所述正常的日志文件转换为数组；
将所述数组进行标准化处理；
利用所述标准化处理后的数组以及所述时间戳训练得到所述RNN模型。
可选的，所述获取正常的日志文件的信息数据和时间戳，具体包括：
根据所述正常的日志文件的类型确定获取所述正常的日志文件时的时间步长，不同类型的正常的日志文件对应的时间步长不同；
按照所述时间步长获取对应类型的正常的日志文件的信息数据和时间戳。
可选的，所述方法还包括：
确定正常的日志文件的生成数量与时间所满足的分布函数；
所述时间步长与所述分布函数成负相关。
可选的，所述日志文件的类型至少包括以下中的一种：
JSON日志文件、文本日志文件和标签模式的日志文件。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种日志异常的检测方法，其特征在于，应用于银行系统，所述方法包括：
获取正常的日志文件的信息数据和时间戳；
利用所述信息数据和时间戳训练得到RNN模型；
利用所述RNN模型确定下一时刻的日志文件是否出现异常。
2.根据权利要求1所述的方法，其特征在于，所述利用所述信息数据和时间戳训练得到RNN模型，具体包括：
获取所述正常的日志文件并将所述正常的日志文件转换为数组；
将所述数组进行标准化处理；
利用所述标准化处理后的数组以及所述时间戳训练得到所述RNN模型。
3.根据权利要求1所述的方法，其特征在于，所述获取正常的日志文件的信息数据和时间戳，具体包括：
根据所述正常的日志文件的类型确定获取所述正常的日志文件时的时间步长，不同类型的正常的日志文件对应的时间步长不同；
按照所述时间步长获取对应类型的正常的日志文件的信息数据和时间戳。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
确定正常的日志文件的生成数量与时间所满足的分布函数；
所述时间步长与所述分布函数成负相关。
5.根据权利要求1-4中任意一项所述的方法，其特征在于，所述日志文件的类型至少包括以下中的一种：
JSON日志文件、文本日志文件和标签模式的日志文件。
6.一种日志异常的预测装置，其特征在于，应用于银行系统，所述装置包括：获取单元、训练单元和检测单元；
所述获取单元，用于获取正常的日志文件的信息数据和时间戳；
所述训练单元，用于利用所述信息数据和时间戳训练得到RNN模型；
所述检测单元，用于利用所述RNN模型确定下一时刻的日志文件是否出现异常。
7.根据权利要求7所述的装置，其特征在于，所述训练单元，具体用于：
获取所述正常的日志文件并将所述正常的日志文件转换为数组；
将所述数组进行标准化处理；
利用所述标准化处理后的数组以及所述时间戳训练得到所述RNN模型。
8.根据权利要求7所述的装置，其特征在于，所述获取单元，具体用于：
根据所述正常的日志文件的类型确定获取所述正常的日志文件时的时间步长，不同类型的正常的日志文件对应的时间步长不同；
按照所述时间步长获取对应类型的正常的日志文件的信息数据和时间戳。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-5中任意一项所述的日志异常的检测方法。
10.一种电子设备，其特征在于，所述电子设备用于运行程序，其中，所述程序运行时执行权利要求1-5中任意一项所述的日志异常的检测方法。
CN202010621811.9A 2020-07-01 2020-07-01 一种日志异常的检测方法、装置、存储介质及电子设备 Active CN111767957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010621811.9A CN111767957B (zh) 2020-07-01 2020-07-01 一种日志异常的检测方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010621811.9A CN111767957B (zh) 2020-07-01 2020-07-01 一种日志异常的检测方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111767957A true CN111767957A (zh) 2020-10-13
CN111767957B CN111767957B (zh) 2024-03-05

Family

ID=72724462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010621811.9A Active CN111767957B (zh) 2020-07-01 2020-07-01 一种日志异常的检测方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111767957B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113535454A (zh) * 2021-07-15 2021-10-22 上海上讯信息技术股份有限公司 一种日志数据异常检测的方法及设备
CN114138578A (zh) * 2021-11-29 2022-03-04 苏州浪潮智能科技有限公司 一种服务器测试方法和装置
CN115982703A (zh) * 2023-03-22 2023-04-18 新兴际华集团财务有限公司 用户行为数据处理方法、装置、电子设备和计算机可读介质
WO2023111742A1 (en) * 2021-12-13 2023-06-22 International Business Machines Corporation Revealing rare and anomalous events in system automation logs

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033135A (zh) * 2019-04-15 2019-07-19 北京交通大学 多变量时间序列特征加强的列车制动系统故障预测方法
WO2019172848A1 (en) * 2018-03-06 2019-09-12 Agency For Science, Technology And Research Method and apparatus for predicting occurrence of an event to facilitate asset maintenance
CN110245491A (zh) * 2019-06-11 2019-09-17 合肥宜拾惠网络科技有限公司 网络攻击类型的确定方法、装置以及存储器和处理器
CN110347547A (zh) * 2019-05-27 2019-10-18 中国平安人寿保险股份有限公司 基于深度学习的日志异常检测方法、装置、终端及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019172848A1 (en) * 2018-03-06 2019-09-12 Agency For Science, Technology And Research Method and apparatus for predicting occurrence of an event to facilitate asset maintenance
CN110033135A (zh) * 2019-04-15 2019-07-19 北京交通大学 多变量时间序列特征加强的列车制动系统故障预测方法
CN110347547A (zh) * 2019-05-27 2019-10-18 中国平安人寿保险股份有限公司 基于深度学习的日志异常检测方法、装置、终端及介质
CN110245491A (zh) * 2019-06-11 2019-09-17 合肥宜拾惠网络科技有限公司 网络攻击类型的确定方法、装置以及存储器和处理器

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113535454A (zh) * 2021-07-15 2021-10-22 上海上讯信息技术股份有限公司 一种日志数据异常检测的方法及设备
CN113535454B (zh) * 2021-07-15 2023-05-30 上海上讯信息技术股份有限公司 一种日志数据异常检测的方法及设备
CN114138578A (zh) * 2021-11-29 2022-03-04 苏州浪潮智能科技有限公司 一种服务器测试方法和装置
CN114138578B (zh) * 2021-11-29 2024-01-12 苏州浪潮智能科技有限公司 一种服务器测试方法和装置
WO2023111742A1 (en) * 2021-12-13 2023-06-22 International Business Machines Corporation Revealing rare and anomalous events in system automation logs
CN115982703A (zh) * 2023-03-22 2023-04-18 新兴际华集团财务有限公司 用户行为数据处理方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
CN111767957B (zh) 2024-03-05

Similar Documents

Publication Publication Date Title
CN111767957B (zh) 一种日志异常的检测方法、装置、存储介质及电子设备
CN112115024A (zh) 一种用于故障预测神经网络模型的训练方法与设备
CN113535454B (zh) 一种日志数据异常检测的方法及设备
CN111897705B (zh) 服务状态处理、模型训练方法、装置、设备和存储介质
Zeng et al. Estimation of software defects fix effort using neural networks
CN112926636A (zh) 牵引变流器柜体温度异常检测方法和装置
CN114726581B (zh) 一种异常检测方法、装置、电子设备及存储介质
CN111241214A (zh) 用于水利工程的水质远程在线检测方法、装置及电子设备
CN112583944B (zh) 一种更新域名证书的处理方法和装置
CN111949496B (zh) 一种数据检测方法及装置
CN110188793B (zh) 数据异常分析方法及装置
CN112131078B (zh) 一种监控磁盘容量的方法及设备
CN113123955B (zh) 柱塞泵异常检测方法、装置、存储介质及电子设备
CN116204648A (zh) 样本确定方法、装置、计算机设备及计算机可读存储介质
CN116482460A (zh) 电网设备故障诊断方法及相关设备
CN116521871A (zh) 文件的检测方法、装置、处理器以及电子设备
CN116089891A (zh) 一种诊断桩基结构的安全状况的方法及系统
CN113157992B (zh) 风机传感器数据重构方法、装置与计算机可读存储介质
CN114330569A (zh) 一种检测风机组部件故障的方法、设备及存储介质
CN113539352A (zh) 一种固态硬盘隐性故障检测方法及相关设备
CN114938339A (zh) 一种数据处理方法和相关装置
CN110163470B (zh) 事件评估方法及装置
CN117633778A (zh) 一种安全服务监测方法及装置
CN114579848A (zh) 数据分析方法与装置
CN116051262A (zh) 风险预测模型的训练方法、风险预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant