CN113760645A - 系统操作日志监控方法和装置、电子设备和存储介质 - Google Patents
系统操作日志监控方法和装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113760645A CN113760645A CN202110262303.0A CN202110262303A CN113760645A CN 113760645 A CN113760645 A CN 113760645A CN 202110262303 A CN202110262303 A CN 202110262303A CN 113760645 A CN113760645 A CN 113760645A
- Authority
- CN
- China
- Prior art keywords
- system operation
- template
- operation log
- log
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 133
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims description 23
- 230000005856 abnormality Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013139 quantization Methods 0.000 claims description 6
- 238000013501 data transformation Methods 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 13
- 238000011835 investigation Methods 0.000 abstract description 4
- 230000008859 change Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 230000002159 abnormal effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000011002 quantification Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例提供一种系统操作日志监控方法和装置、电子设备和存储介质，其中，所述方法包括：基于标签树模型，将输入的系统操作日志的实时数据转化为日志模板；将日志模板量化成模板特征工程；将模板特征工程输入到系统操作日志监控模型，实现对系统操作日志的监控；其中，标签树模型是基于系统操作日志样本数据以及预先确定的日志模板标签进行训练后得到；系统操作日志监控模型是基于模板特征工程样本数据以及预先确定的系统操作日志识别结果标签进行训练后得到。本发明通过基于标签树的线上实时匹配的方式，主动发现危险命令操作，可以智能化更新日志模板库，模板覆盖度广，基于标签树的实时匹配算法时效性高，减少人工排查的工作量。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种系统操作日志监控方法和装置、电子设备和存储介质。
背景技术
目前，是通过规则脚本和人工排查的方法来排查是否存在用户危险命令操作。该方法是运维工程师根据经验编写规则脚本，面对海量系统操作日志(每天达到亿级)，经验覆盖度会存在遗漏，并且现有技术没有实时命中日志的基线监控，只能得到正则匹配到的对应的系统操作日志的条数，正则匹配不具备预测功能，不能与过去的系统操作日志表现做比对，只能是某种危险操作带来了某种影响，或者运维工程师主动排查问题，发现问题时间长，并且面对亿级日志，正则匹配时间长，影响到发现用户危险命令的速度。对于未匹配到的系统日志，不能自动生成新的正则表达式，只能靠人工梳理。
现有技术不能主动发现用户危险命令操作，也没有用户危险命令操作日志的量化指标，运维工程师只能根据经验总结的可能存在的危险命令进行正则匹配，危险命令种类覆盖度可能不够全面，不能实时洞察每个用户危险命令触发的条数，也不能与历史危险命令表现对比，运维工作比较被动，不能提前发现危险问题。
发明内容
本发明提供一种系统操作日志监控方法和装置、电子设备和存储介质，用以解决现有技术中存在的技术缺陷。
本发明提供一种系统操作日志监控方法，包括：
基于标签树模型，将输入的系统操作日志的实时数据转化为日志模板；
将所述日志模板量化成模板特征工程；
将所述模板特征工程输入到系统操作日志监控模型，实现对所述系统操作日志的监控；
其中，所述标签树模型是基于系统操作日志样本数据以及预先确定的日志模板标签进行训练后得到；
所述系统操作日志监控模型是基于模板特征工程样本数据以及预先确定的系统操作日志识别结果标签进行训练后得到。
根据本发明提供的系统操作日志监控方法，所述基于标签树模型，将输入的系统操作日志的实时数据转化为日志模板包括：
将输入的系统操作日志的实时数据与该系统操作日志的实时数据所属的标签树对应的危险命令模板子集进行实时匹配；
判断是否与所述危险命令模板子集相匹配，若是，将输入的系统操作日志的实时数据转化为日志模板。
所述将所述模板特征工程输入到系统操作日志监控模型，实现对所述系统操作日志的监控包括：
将所述模板特征工程输入到智能基线监控模型，基于自回归原理，将上一时刻的真实值作为当前时刻的智能基线特征输入到智能基线监控模型，进行时间序列预测，所述时间序列用于异常识别。
根据本发明提供的系统操作日志监控方法，所述将所述模板特征工程输入到系统操作日志监控模型，实现对所述系统操作日志的监控包括：
将所述模板特征工程输入到异常检测模型，从均值变化、方差变化、检测峰谷及在预设时间段内下降幅度超过阈值对所述系统操作日志对应的模板特征工程进行自身形态的异常识别。
本发明还提供了一种系统操作日志监控装置，包括：
实时数据转化模块，用于基于标签树模型，将输入的系统操作日志的实时数据转化为日志模板；
日志模板量化模块，用于将所述日志模板量化成模板特征工程；
操作日志监控模块，用于将所述模板特征工程输入到系统操作日志监控模型，实现对所述系统操作日志的监控；
其中，所述标签树模型是基于系统操作日志样本数据以及预先确定的日志模板标签进行训练后得到；
所述系统操作日志监控模型是基于模板特征工程样本数据以及预先确定的系统操作日志识别结果标签进行训练后得到。
根据本发明提供的系统操作日志监控装置，所述实时数据转化模块包括：
实时匹配单元，用于将输入的系统操作日志的实时数据与该系统操作日志的实时数据所属的标签树对应的危险命令模板子集进行实时匹配；
转化单元，用于判断是否与所述危险命令模板子集相匹配，若是，将输入的系统操作日志的实时数据转化为日志模板。
根据本发明提供的系统操作日志监控装置，所述系统操作日志监控模型包括：
智能基线监控模型，用于基于自回归原理，将上一时刻的真实值作为当前时刻的智能基线特征输入到智能基线监控模型，进行时间序列预测，所述时间序列用于异常识别。
根据本发明提供的系统操作日志监控装置，所述系统操作日志监控模型包括：
异常检测模型，用于从均值变化、方差变化、检测峰谷及在预设时间段内下降幅度超过阈值对所述系统操作日志对应的模板特征工程进行自身形态的异常识别。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述系统操作日志监控方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述系统操作日志监控方法的步骤。
本发明通过基于标签树的线上实时匹配的方式，将系统操作日志转化成日志模板，进而量化成模板特征工程，智能监控重要的用户危险命令操作，实现了智能全量日志模板提取，覆盖全量用户危险命令操作，并对日志模板进行量化，通过系统操作日志监控模型实现对系统操作日志的实时监控，主动发现危险命令操作，改变被动排查危险命令的方式，可以提前发现问题，快速减少损失。本发明不仅可以对全量日志进行模板训练，生成覆盖度广的日志模板，实现系统操作日志量化的智能监控；还可以对未匹配到的系统操作日志进行智能模板训练，智能化更新日志模板库，模板覆盖度广，基于标签树的实时匹配算法时效性高于正则，并且模板聚类的方式可以实现对海量系统操作日志的聚合分析，减少人工排查的工作量。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的系统操作日志监控方法的流程示意图之一；
图2是本发明提供的系统操作日志监控方法的流程示意图之二；
图3是本发明提供的系统操作日志监控装置的示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种系统操作日志监控方法，参见图1，包括：
S1：基于标签树模型，将输入的系统操作日志的实时数据转化为日志模板。
本步骤中，可以实现操作系统日志的快速聚类，通过基于标签树模型，将实时操作系统日志映射到对应的模板类别，及时发现用户认证类、COMMAND类、sftp类等重要危险命令操作，及时规避风险。此方法相比于正则匹配具有超强时效性，并且匹配准确度高于正则匹配。
具体的，S1包括：
将输入的系统操作日志的实时数据与该系统操作日志的实时数据所属的标签树对应的危险命令模板子集进行实时匹配；
具体地，判断所述输入的系统操作日志的实时数据是否与所述危险命令模板子集相匹配具体，是指判断系统操作日志的实时数据是否在危险命令模板子集中，若在危险命令模板子集中，则将输入的系统操作日志的实时数据转化为日志模板，若不在危险命令模板子集中，则不需要考虑。
标签树模型就是应用标签树逻辑的模型，是基于系统操作日志样本数据以及预先确定的日志模板标签进行训练后得到的。具体的训练过程是：
将输入的系统操作日志样本数据与该系统操作日志样本数据所属的标签树对应的危险命令模板子集进行实时匹配；
判断所述输入的系统操作日志的实时数据是否与所述危险命令模板子集相匹配，若是，将基于输入的系统操作日志样本数据及其对应的预先确定的日志模板标签，将输入的系统操作日志样本数据转化为日志模板。
其中，标签树表示系统操作日志中的危险操作日志所属的类型，每个标签树对应于一个危险命令模板子集，每个危险命令模板子集中包含多个危险命令模板，是否与所述危险命令模板子集相匹配具体是指，判断系统操作日志样本数据是否在危险命令模板子集中，若是，则将输入的系统操作日志样本数据转化为日志模板，若不在危险命令模板子集中或其对应的预先确定的日志模板标签不属于日志模板，则不需要考虑，直接丢弃系统操作日志样本数据即可。
S2：将所述日志模板量化成模板特征工程；
其中，特征工程包含文本特征、时序特征等。量化的意思是:将日志与模板匹配，将日志映射成模板计数，也就是模板特征工程指标。模板是日志中保留常量，用星号替代变量后得到的固定模式，每一类模板就是一棵标签树。
S3：将所述模板特征工程输入到系统操作日志监控模型，实现对所述系统操作日志的监控；
标签树模型的训练过程中，根据标注的部分模板标签学习模板的上下文语境，对全量模板抽取标签，系统操作日志样本数据主要采用用户危险操作日志，首先对日志切词，进行无效词过滤，计算词频率，然后对日志模板正序排列，对异常模板进行标注，再通过BiLSTM-CRF标签抽取，进行离线日志-模板匹配，丢弃非危险模板。
本申请中的标签树优选为，通过训练得到的模板覆盖重点监控的7个类别：登录密码错误、登录成功(密码+key)、从非允许ip登录、修改密码、无效用户登录、COMMAND危险操作类和sftp类。COMMAND危险操作类和sftp类属于模板的大类别。
所述系统操作日志监控模型是基于模板特征工程样本数据以及预先确定的系统操作日志识别结果标签进行训练后得到。
所述将所述模板特征工程输入到系统操作日志监控模型，实现对所述系统操作日志的监控包括：
基于自回归原理，将上一时刻的真实值作为当前时刻的智能基线特征输入到智能基线监控模型，进行时间序列预测，所述时间序列用于异常识别。
本发明实施例对于重点监控的日志模板量化成特征工程后配置智能基线监控模型(DeepAR)，用于基于自回归原理，将上一时刻的真实值作为当前时刻的智能基线特征输入到智能基线监控模型，进行时间序列预测，所述时间序列用于异常识别。通过计算SMAPE对DeepAR算法效果进行评估，用5min的时间序列数据预测2min的时间序列数据，评估效果显示DeepAR算法适用于用户危险命令操作日志量化指标后的智能基线预测。并对重点监控模板量化后的指标(也就是模板特征工程)配置智能基线监控模型，实现了实时的用户危险命令操作监控，做到了通过日志主动发现用户危险命令操作。
本发明实施例给用户危险命令操作日志量化指标后的智能基线适配了上下限，基于假设检验和预测值，计算的上限和下限，真实值超过上限或者低于下限即判定为异常，并根据模型使用过程中上下限变化趋势相反的问题，修正上下限计算方式，从而减少局部方差波动的影响，能更好的对用户危险命令操作日志进行异常识别。
进一步的，所述将所述模板特征工程输入到系统操作日志监控模型，实现对所述系统操作日志的监控包括：
将所述模板特征工程输入到异常检测模型，从均值变化、方差(抖动频率)变化、检测峰谷(尖峰、深谷)及在预设时间段内下降幅度超过阈值，对所述系统操作日志对应的模板特征工程进行自身形态的异常识别。
在系统操作日志监控方法的应用过程中，标签树模型、系统操作日志监控模型可以通过学习不断优化。
为了进一步地理解本实施例的方法，在一个具体实例中，本实施例的系统操作日志监控方法包括：
步骤200：基于标签树模型，将输入的系统操作日志的实时数据转化为日志模板；其中，所述标签树模型是基于系统操作日志样本数据以及预先确定的日志模板标签进行训练后得到；实现操作系统日志的快速聚类，通过基于标签树模型，将实时操作系统日志映射到对应的模板类别，及时发现用户认证类、COMMAND类、sftp类等重要危险命令操作，及时规避风险。此方法相比于正则匹配具有超强时效性，并且匹配准确度高于正则匹配。
标签树模型的训练过程中，根据标注的部分模板标签学习模板的上下文语境，对全量模板抽取标签，系统操作日志样本数据主要采用用户危险操作日志，首先对日志切词，进行无效词过滤，计算词频率，然后对日志模板正序排列，对异常模板进行标注，再通过BiLSTM-CRF标签抽取，进行离线日志-模板匹配，丢弃非危险模板。
也就是说，在步骤200中，如果输入的系统操作日志的实时数据，非危险模板与该系统操作日志的实时数据所属的标签树对应的危险命令模板子集进行实时匹配；如果匹配失败，则表明不在危险命令模板子集中，则不需要考虑，此时可以直接丢弃。该匹配过程实际上也是标签树模型的训练过程，仅保留危险命令模板。
步骤200具体包括：
步骤201：将输入的系统操作日志的实时数据与该系统操作日志的实时数据所属的标签树对应的危险命令模板子集进行实时匹配；本申请中的标签树优选为，通过训练得到的模板覆盖重点监控的7个类别：登录密码错误、登录成功(密码+key)、从非允许ip登录、修改密码、无效用户登录、COMMAND危险操作类和sftp类。
步骤202：判断所述输入的系统操作日志的实时数据是否与所述危险命令模板子集相匹配，若是，将输入的系统操作日志的实时数据转化为日志模板。
步骤203：将所述日志模板量化成模板特征工程；
步骤204：将所述模板特征工程输入到系统操作日志监控模型，实现对所述系统操作日志的监控；所述系统操作日志监控模型是基于模板特征工程样本数据以及预先确定的系统操作日志识别结果标签进行训练后得到。
具体的，所述将所述模板特征工程输入到系统操作日志监控模型，实现对所述系统操作日志的监控包括：
基于自回归原理，将上一时刻的真实值作为当前时刻的智能基线特征输入到智能基线监控模型，进行时间序列预测，所述时间序列用于异常识别。
同时，将所述模板特征工程输入到异常检测模型，从均值变化、方差变化、检测峰谷及在预设时间段内下降幅度超过阈值，对所述系统操作日志对应的模板特征工程进行自身形态的异常识别。以上输入到智能基线监控模型、输入到异常检测模型是同步执行的，任何一个模型识别出异常都判断为异常。
在以上实施例所述的系统操作日志监控方法的应用过程中，标签树模型、系统操作日志监控模型可以通过学习不断优化。
本发明实施例对于重点监控的日志模板量化成特征工程后配置智能基线监控模型(DeepAR)，用于基于自回归原理，将上一时刻的真实值作为当前时刻的智能基线特征输入到智能基线监控模型，进行时间序列预测，所述时间序列用于异常识别。通过计算SMAPE对DeepAR算法效果进行评估，用5min的时间序列数据预测2min的时间序列数据，评估效果显示DeepAR算法适用于用户危险命令操作日志量化指标后的智能基线预测。并对重点监控模板量化后的指标(也就是模板特征工程)配置智能基线监控模型，实现了实时的用户危险命令操作监控，做到了通过日志主动发现用户危险命令操作。也就是说，根据历史几天模板数量的变化，预测未来一段时间的时间序列数据，并根据假设检验求解答上下限，通过比较实时真实的模板对应的日志数量，与基线上下限进行比对，超过上下限即为异常。
本发明实施例给用户危险命令操作日志量化指标后的智能基线适配了上下限，并根据模型使用过程中上下限变化趋势相反的问题，修正上下限计算方式，从而减少局部方差波动的影响，能更好的对用户危险命令操作日志进行异常识别。
本发明实施例通过基于标签树的线上实时匹配的方式，将系统操作日志转化成日志模板，进而量化成模板特征工程，智能监控重要的用户危险命令操作，实现了智能全量日志模板提取，覆盖全量用户危险命令操作，并对日志模板进行量化，通过系统操作日志监控模型实现对系统操作日志的实时监控，主动发现危险命令操作，改变被动排查危险命令的方式，可以提前发现问题，快速减少损失。本发明不仅可以对全量日志进行模板训练，生成覆盖度广的日志模板，实现系统操作日志量化的智能监控；还可以对未匹配到的系统操作日志进行智能模板训练，智能化更新日志模板库，模板覆盖度广，基于标签树的实时匹配算法时效性高于正则，并且模板聚类的方式可以实现对海量系统操作日志的聚合分析，减少人工排查的工作量。
下面对本发明提供的系统操作日志监控装置进行描述，下文描述的系统操作日志监控装置与上文描述的系统操作日志监控方法可相互对应参照。
本发明实施例公开了一种系统操作日志监控装置，参见图3，包括：
实时数据转化模块10，用于基于标签树模型，将输入的系统操作日志的实时数据转化为日志模板；
实时数据转化模块10实现操作系统日志的快速聚类，通过基于标签树模型，将实时操作系统日志映射到对应的模板类别，及时发现用户认证类、COMMAND类、sftp类等重要危险命令操作，及时规避风险。相比于正则匹配具有超强时效性，并且匹配准确度高于正则匹配。
具体的，实时数据转化模块10用于：
将输入的系统操作日志的实时数据与该系统操作日志的实时数据所属的标签树对应的危险命令模板子集进行实时匹配；
判断所述输入的系统操作日志的实时数据是否与所述危险命令模板子集相匹配，若是，将输入的系统操作日志的实时数据转化为日志模板。标签树表示系统操作日志中的危险操作日志所属的类型，每个标签树对应于一个危险命令模板子集，每个危险命令模板子集中包含多个危险命令模板，输入的系统操作日志的实时数据是否与所述危险命令模板子集相匹配具体是指，判断系统操作日志的实时数据是否在危险命令模板子集中，若是，则将输入的系统操作日志的实时数据转化为日志模板，若不在危险命令模板子集中，则不需要考虑。
日志模板量化模块20，用于将所述日志模板量化成模板特征工程；
其中，特征工程包含文本特征、时序特征等。
操作日志监控模块30，用于将所述模板特征工程输入到系统操作日志监控模型，实现对所述系统操作日志的监控；
其中，所述标签树模型是基于系统操作日志样本数据以及预先确定的日志模板标签进行训练后得到；
标签树模型的训练过程中，根据标注的部分模板标签学习模板的上下文语境，对全量模板抽取标签，系统操作日志样本数据主要采用用户危险操作日志，首先对日志切词，进行无效词过滤，计算词频率，然后对日志模板正序排列，对异常模板进行标注，再通过BiLSTM-CRF标签抽取，进行离线日志-模板匹配，丢弃非危险模板。
本申请中的标签树优选为，通过训练得到的模板覆盖重点监控的8个类别：登录密码错误、登录成功(密码+key)、从非允许ip登录、修改密码、无效用户登录、COMMAND危险操作类和sftp类。
所述系统操作日志监控模型是基于模板特征工程样本数据以及预先确定的系统操作日志识别结果标签进行训练后得到。
本发明实施例对于重点监控的日志模板量化成特征工程后配置智能基线监控模型(DeepAR)，用于基于自回归原理，将上一时刻的真实值作为当前时刻的智能基线特征输入到智能基线监控模型，进行时间序列预测，所述时间序列用于异常识别。通过计算SMAPE对DeepAR算法效果进行评估，用5min的时间序列数据预测2min的时间序列数据，评估效果显示DeepAR算法适用于用户危险命令操作日志量化指标后的智能基线预测。并对重点监控模板量化后的指标(也就是模板特征工程)配置智能基线监控模型，实现了实时的用户危险命令操作监控，做到了通过日志主动发现用户危险命令操作。
进一步的，所述实时数据转化模块包括：
实时匹配单元，用于将输入的系统操作日志的实时数据与该系统操作日志的实时数据所属的标签树对应的危险命令模板子集进行实时匹配；
转化单元，用于判断是否与所述危险命令模板子集相匹配，若是，将输入的系统操作日志的实时数据转化为日志模板。
根据本发明提供的系统操作日志监控装置，所述系统操作日志监控模型包括：
智能基线监控模型，用于基于自回归原理，将上一时刻的真实值作为当前时刻的智能基线特征输入到智能基线监控模型，进行时间序列预测，所述时间序列用于异常识别。
根据本发明提供的系统操作日志监控装置，所述系统操作日志监控模型包括：
异常检测模型，用于从均值变化、方差变化、检测峰谷及在预设时间段内下降幅度超过阈值对所述系统操作日志对应的模板特征工程进行自身形态的异常识别。
本发明实施例给用户危险命令操作日志量化指标后的智能基线适配了上下限，并根据模型使用过程中上下限变化趋势相反的问题，修正上下限计算方式，从而减少局部方差波动的影响，能更好的对用户危险命令操作日志进行异常识别。
所述系统操作日志监控模型包括：
异常检测模型，用于从均值变化、方差(抖动频率)变化、检测峰谷(尖峰、深谷)及在预设时间段内下降幅度超过阈值，对所述系统操作日志对应的模板特征工程进行自身形态的异常识别。异常检测模型包含多层无监督异常检测模型、多层有监督异常检测模型等，属于现有模型，异常检测模型按照其数据样本的分布可以分为无监督模型、半监督模型和有监督模型。当已标记数据量充足的情况下，优先选用有监督学习，效果一般不错；当只有少数黑样本的情况下，例如有成熟安全团队的二线互联网厂商应该有一些积累，可以考虑半监督学习；当遇到一个新的安全场景，没有样本数据或是以往积累的样本失效的情况下，只有先采用无监督学习来解决异常检测问题，当捕获到异常并人工审核积累样本到一定量后，可以转化为半监督学习，之后就是有监督学习。
在系统操作日志监控方法的应用过程中，标签树模型、系统操作日志监控模型可以通过学习不断优化。
本发明通过基于标签树的线上实时匹配的方式，将系统操作日志转化成日志模板，进而量化成模板特征工程，智能监控重要的用户危险命令操作，实现了智能全量日志模板提取，覆盖全量用户危险命令操作，并对日志模板进行量化，通过系统操作日志监控模型实现对系统操作日志的实时监控，主动发现危险命令操作，改变被动排查危险命令的方式，可以提前发现问题，快速减少损失。本发明不仅可以对全量日志进行模板训练，生成覆盖度广的日志模板，实现系统操作日志量化的智能监控；还可以对未匹配到的系统操作日志进行智能模板训练，智能化更新日志模板库，模板覆盖度广，基于标签树的实时匹配算法时效性高于正则，并且模板聚类的方式可以实现对海量系统操作日志的聚合分析，减少人工排查的工作量。
图4示例了一种电子设备的实体结构示意图，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，该方法包括：
S1：基于标签树模型，将输入的系统操作日志的实时数据转化为日志模板；
S2：将所述日志模板量化成模板特征工程；
S3：将所述模板特征工程输入到系统操作日志监控模型，实现对所述系统操作日志的监控；
其中，所述标签树模型是基于系统操作日志样本数据以及预先确定的日志模板标签进行训练后得到；
所述系统操作日志监控模型是基于模板特征工程样本数据以及预先确定的系统操作日志识别结果标签进行训练后得到。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行一种系统操作日志监控方法，该方法包括：
S1：基于标签树模型，将输入的系统操作日志的实时数据转化为日志模板；
S2：将所述日志模板量化成模板特征工程；
S3：将所述模板特征工程输入到系统操作日志监控模型，实现对所述系统操作日志的监控；
其中，所述标签树模型是基于系统操作日志样本数据以及预先确定的日志模板标签进行训练后得到；
所述系统操作日志监控模型是基于模板特征工程样本数据以及预先确定的系统操作日志识别结果标签进行训练后得到。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行一种系统操作日志监控方法，该方法包括：
S1：基于标签树模型，将输入的系统操作日志的实时数据转化为日志模板；
S2：将所述日志模板量化成模板特征工程；
S3：将所述模板特征工程输入到系统操作日志监控模型，实现对所述系统操作日志的监控；
其中，所述标签树模型是基于系统操作日志样本数据以及预先确定的日志模板标签进行训练后得到；
所述系统操作日志监控模型是基于模板特征工程样本数据以及预先确定的系统操作日志识别结果标签进行训练后得到。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种系统操作日志监控方法，其特征在于，包括：
基于标签树模型，将输入的系统操作日志的实时数据转化为日志模板；
将所述日志模板量化成模板特征工程；
将所述模板特征工程输入到系统操作日志监控模型，实现对所述系统操作日志的监控；
其中，所述标签树模型是基于系统操作日志样本数据以及预先确定的日志模板标签进行训练后得到；
所述系统操作日志监控模型是基于模板特征工程样本数据以及预先确定的系统操作日志识别结果标签进行训练后得到。
2.根据权利要求1所述的系统操作日志监控方法，其特征在于，所述基于标签树模型，将输入的系统操作日志的实时数据转化为日志模板包括：
将输入的系统操作日志的实时数据与该系统操作日志的实时数据所属的标签树对应的危险命令模板子集进行实时匹配；
判断是否与所述危险命令模板子集相匹配，若是，将输入的系统操作日志的实时数据转化为日志模板。
3.根据权利要求1所述的系统操作日志监控方法，其特征在于，所述将所述模板特征工程输入到系统操作日志监控模型，实现对所述系统操作日志的监控包括：
将所述模板特征工程输入到智能基线监控模型，基于自回归原理，将上一时刻的真实值作为当前时刻的智能基线特征输入到智能基线监控模型，进行时间序列预测，所述时间序列用于异常识别。
4.根据权利要求3所述的系统操作日志监控方法，其特征在于，所述将所述模板特征工程输入到系统操作日志监控模型，实现对所述系统操作日志的监控包括：
将所述模板特征工程输入到异常检测模型，从均值变化、方差变化、检测峰谷及在预设时间段内下降幅度超过阈值对所述系统操作日志对应的模板特征工程进行自身形态的异常识别。
5.一种系统操作日志监控装置，其特征在于，包括：
实时数据转化模块，用于基于标签树模型，将输入的系统操作日志的实时数据转化为日志模板；
日志模板量化模块，用于将所述日志模板量化成模板特征工程；
操作日志监控模块，用于将所述模板特征工程输入到系统操作日志监控模型，实现对所述系统操作日志的监控；
其中，所述标签树模型是基于系统操作日志样本数据以及预先确定的日志模板标签进行训练后得到；
所述系统操作日志监控模型是基于模板特征工程样本数据以及预先确定的系统操作日志识别结果标签进行训练后得到。
6.根据权利要求5所述的系统操作日志监控装置，其特征在于，所述实时数据转化模块包括：
实时匹配单元，用于将输入的系统操作日志的实时数据与该系统操作日志的实时数据所属的标签树对应的危险命令模板子集进行实时匹配；
转化单元，用于判断是否与所述危险命令模板子集相匹配，若是，将输入的系统操作日志的实时数据转化为日志模板。
7.根据权利要求5所述的系统操作日志监控装置，其特征在于，所述系统操作日志监控模型包括：
智能基线监控模型，用于基于自回归原理，将上一时刻的真实值作为当前时刻的智能基线特征输入到智能基线监控模型，进行时间序列预测，所述时间序列用于异常识别。
8.根据权利要求7所述的系统操作日志监控装置，其特征在于，所述系统操作日志监控模型包括：
异常检测模型，用于从均值变化、方差变化、检测峰谷及在预设时间段内下降幅度超过阈值所述系统操作日志对应的模板特征工程进行自身形态的异常识别。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述的系统操作日志监控方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述的系统操作日志监控方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110262303.0A CN113760645A (zh) | 2021-03-10 | 2021-03-10 | 系统操作日志监控方法和装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110262303.0A CN113760645A (zh) | 2021-03-10 | 2021-03-10 | 系统操作日志监控方法和装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113760645A true CN113760645A (zh) | 2021-12-07 |
Family
ID=78786810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110262303.0A Pending CN113760645A (zh) | 2021-03-10 | 2021-03-10 | 系统操作日志监控方法和装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113760645A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111221702A (zh) * | 2019-11-18 | 2020-06-02 | 上海维谛信息科技有限公司 | 基于日志分析的异常处理方法、系统、终端及介质 |
| CN111368980A (zh) * | 2020-03-06 | 2020-07-03 | 京东数字科技控股有限公司 | 状态检测方法、装置、设备及存储介质 |
| US20200336398A1 (en) * | 2019-04-18 | 2020-10-22 | International Business Machines Corporation | Dynamic network management based on user, device, application, and network characteristics |
| CN112039907A (zh) * | 2020-09-03 | 2020-12-04 | 重庆邮电大学 | 一种基于物联网终端评测平台的自动测试方法及系统 |
-
2021
- 2021-03-10 CN CN202110262303.0A patent/CN113760645A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200336398A1 (en) * | 2019-04-18 | 2020-10-22 | International Business Machines Corporation | Dynamic network management based on user, device, application, and network characteristics |
| CN111221702A (zh) * | 2019-11-18 | 2020-06-02 | 上海维谛信息科技有限公司 | 基于日志分析的异常处理方法、系统、终端及介质 |
| CN111368980A (zh) * | 2020-03-06 | 2020-07-03 | 京东数字科技控股有限公司 | 状态检测方法、装置、设备及存储介质 |
| CN112039907A (zh) * | 2020-09-03 | 2020-12-04 | 重庆邮电大学 | 一种基于物联网终端评测平台的自动测试方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110097037A (zh) | 智能监测方法、装置、存储介质及电子设备 | |
| CN109544399B (zh) | 基于多源异构数据的输电设备状态评价方法及装置 | |
| CN112990656B (zh) | 一种it设备监测数据的健康评价系统及健康评价方法 | |
| CN114723285B (zh) | 一种电网设备安全性评估预测方法 | |
| CN113822421A (zh) | 基于神经网络的异常定位方法、系统、设备及存储介质 | |
| CN113824682A (zh) | 一种模块化的scada安全态势感知系统架构 | |
| CN112995161A (zh) | 一种基于人工智能的网络安全态势预测系统 | |
| CN114185760A (zh) | 系统风险评估方法及装置、充电设备运维检测方法 | |
| CN116010886B (zh) | 安全监测方法、装置、电子设备和存储介质 | |
| CN115344416A (zh) | 异常日志筛查方法、系统、装置及计算机可读存储设备 | |
| EP4038557A1 (en) | Method and system for continuous estimation and representation of risk | |
| CN116089218A (zh) | 基于Kubernetes的历史数据和趋势分析的动态基线告警方法及系统 | |
| KR102328842B1 (ko) | 설비 관리 방법 및 이를 실행하는 장치 | |
| CN114647558A (zh) | 一种日志异常检测的方法和装置 | |
| CN115526241A (zh) | 一种航空液压泵站实时异常检测方法、装置、设备及介质 | |
| CN115858794A (zh) | 用于网络运行安全监测的异常日志数据识别方法 | |
| CN106850293A (zh) | 一种企业安全运营中心Bot | |
| CN116956282B (zh) | 基于网络资产内存时间序列多特征数据的异常检测系统 | |
| CN111934903B (zh) | 一种基于时序演化基因的Docker容器故障智能预测方法 | |
| CN113760645A (zh) | 系统操作日志监控方法和装置、电子设备和存储介质 | |
| CN113194080A (zh) | 一种基于云计算和人工智能的网络安全系统 | |
| KR20190081691A (ko) | 머신러닝 알고리즘을 이용한 공정 이상 감지 시스템 및 그 방법 | |
| JP7062505B2 (ja) | 設備管理支援システム | |
| CN115600695B (zh) | 一种计量设备的故障诊断方法 | |
| CN117217625B (zh) | 一种基于数据分析的企业安全监管方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |