CN113360313B - 一种基于海量系统日志的行为分析方法 - Google Patents

Abstract

本发明公开了一种基于海量系统日志的行为分析方法，包括：获取海量系统日志内的编码信息，并将编码信息与唯一分析目标相对应；提取编码信息对应的全部日志信息，并按照时间节点进行排列；根据日志信息的属性特征进行聚类，其中，聚类后的日志信息依旧按照时间节点进行排列；将聚类后的日志信息进行时间迭代分析，得出分析结果，达到了监测日志故障信息、预测风险及趋势的目的，从而解决了现有技术中日志分析无法准确、高效地进行多元化日志结果分析的技术问题，同时确定行为信息与近似行为信息可以得到准确的故障判断结果、风险评估结果、趋势预测结果，通过日志分析输出多元化分析结果。

Description

一种基于海量系统日志的行为分析方法

技术领域

本发明属于大数据领域，涉及行为分析技术，具体是一种基于海量系统日志的行为分析方法。

背景技术

随着云计算、移动互联网、物联网的崛起与发展，大数据的时代已经来临。各种系统、程序、运维、交易等的日志作为系统恢复、错误跟踪、安全检测等操作的重要依据，变得越来越重要。因此，在海量日志中快速的寻找到有用的信息，也变得十分重要；

例如，入侵监测、漏洞扫描、审计等系统作为安全监测系统，能够完成对安全构成威胁的任何一个行为进行报警，即生成操作日志；当某一个操作持续进行时，就会发出相同的操作日志；管理员每天重复的看这些日志，难免会将一些有用的信息淹没在这海量的日志中，从而无法从海量日志中定位目标日志，同时，在进行日志分析时，通常会在终端利用固有的日志分析程序对本地所存储的数据进行日志分析，并得到日志分析结果数据，这样过程的日志分析结果很片面，分析速度和效率不高，无法做到通过日志分析输出多元化分析结果的技术目的。

发明内容

本发明的目的在于提供一种基于海量系统日志的行为分析方法，用于解决在进行日志分析时，通常会在终端利用固有的日志分析程序对本地所存储的数据进行日志分析，并得到日志分析结果数据，这样过程的日志分析结果很片面，分析速度和效率不高，无法做到通过日志分析输出多元化分析结果的技术目的的问题。

本发明的目的可以通过以下技术方案实现：

一种基于海量系统日志的行为分析方法，包括：

获取海量系统日志内的编码信息，并将编码信息与唯一分析目标相对应；

提取编码信息对应的全部日志信息，并按照时间节点进行排列；

根据日志信息的属性特征进行聚类，其中，聚类后的日志信息依旧按照时间节点进行排列；

将聚类后的日志信息进行时间迭代分析，得出分析结果；

其中，时间迭代分析包括：

获取唯一分析目标聚类后的日志信息，按照时间节点将其排列得出目标日志信息；

获取唯一分析目标的近属分析目标，获取近属分析目标的近属日志信息，当相同节点下目标日志信息与近属日志信息均存在相同聚类的日志信息，则将相同聚类的日志信息标记为确定行为信息；

当相同节点下目标日志信息与近属日志信息存在不同聚类但日志信息相同，标记此类日志信息为近似行为信息。

进一步的，所述获取唯一分析目标聚类后的日志信息，按照时间节点将其排列得出目标日志信息，包括：

所述时间节点包括24个子时间节点，其中，每一个子时间节点的间隔为一小时，共获得23个时间区间；

将聚类后的日志信息按照时间节点进行填充，得出目标日志信息，其中，每一个时间区间内均包含全部的聚类分类，若聚类分类中不存在日志信息，则标记对应聚类分类为剔除分类；若聚类分类中存在日志信息，则标记对应聚类分类为保留分类；

每一个时间区间内的保留分类组成时区日志信息，将全部时区日志信息按照时间节点排列后得出目标日志信息。

进一步的，所述获取唯一分析目标的近属分析目标，包括：

获取唯一分析目标的编码信息，并将编码信息分割为大类、中类及低类；

大类对应编码信息的最大分类范围，中类对应编码信息的细化分类范围，低类对应编码信息的相似分类范围；

其中，近属分析目标对应的大类、中类及低类中至少一个分类范围与唯一分析目标的分类范围相同。

进一步的，所述获取海量系统日志内的编码信息之前还包括：

根据编码信息获取唯一分析目标的日志数据，并进行实时采集，并生成日志数据；

若干日志数据组成海量系统日志。

进一步的，所述获取海量系统日志内的编码信息，并将编码信息与唯一分析目标相对应，包括：

预先设置编码信息对应的特征形式，通过对海量系统日志内进行特征形式筛选，符合筛选条件的即为编码信息。

与现有技术相比，本发明的有益效果是：

采用获取海量系统日志内的编码信息，并将编码信息与唯一分析目标相对应；提取编码信息对应的全部日志信息，并按照时间节点进行排列；根据日志信息的属性特征进行聚类，其中，聚类后的日志信息依旧按照时间节点进行排列；将聚类后的日志信息进行时间迭代分析，得出分析结果，达到了监测日志故障信息、预测风险及趋势的目的，从而解决了现有技术中日志分析无法准确、高效地进行多元化日志结果分析的技术问题；

通过确定行为信息与近似行为信息可以得到准确的故障判断结果、风险评估结果、趋势预测结果，其中，故障判断结果可以包括是否存在故障，故障发生的时间以及故障程度等信息，风险评估结果可以包括发生故障的风险指数高低，趋势预测结果可以对目标的日志在以后可能出现各种稳定和不稳定情况的趋势进行评估。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明流程图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

因此，在下述附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。

传统的，入侵监测、漏洞扫描、审计等系统作为安全监测系统，能够完成对安全构成威胁的任何一个行为进行报警，即生成操作日志。当某一个操作持续进行时，就会发出相同的操作日志，假设一个黑客使用暴力破解软件进行一个主机的密码操作时，这台主机就会不停的报出密码错误的操作日志。如果管理员每天的看这些日志，就难免会将一些有用的信息淹没在这海量的日志中，从而无法从海量日志中定位目标日志，同时，在进行日志分析时，通常会在终端利用固有的日志分析程序对本地所存储的数据进行日志分析，并得到日志分析结果数据，这样过程的日志分析结果很片面，分析速度和效率不高，无法做到通过日志分析输出多元化分析结果的技术目的。

基于上述描述，本发明实施例提出一种如图1所示的一种基于海量系统日志的行为分析方法，包括：

根据编码信息获取唯一分析目标的日志数据，并进行实时采集，并生成日志数据；若干日志数据组成海量系统日志。

获取海量系统日志内的编码信息，并将编码信息与唯一分析目标相对应，具体的说，预先设置编码信息对应的特征形式，通过对海量系统日志内进行特征形式筛选，符合筛选条件的即为编码信息。

提取编码信息对应的全部日志信息，并按照时间节点进行排列；

根据日志信息的属性特征进行聚类，其中，聚类后的日志信息依旧按照时间节点进行排列；

将聚类后的日志信息进行时间迭代分析，得出分析结果；

其中，时间迭代分析包括：

获取唯一分析目标聚类后的日志信息，按照时间节点将其排列得出目标日志信息；具体的，时间节点包括24个子时间节点，其中，每一个子时间节点的间隔为一小时，共获得23个时间区间；

将聚类后的日志信息按照时间节点进行填充，得出目标日志信息，其中，每一个时间区间内均包含全部的聚类分类，若聚类分类中不存在日志信息，则标记对应聚类分类为剔除分类；若聚类分类中存在日志信息，则标记对应聚类分类为保留分类；

每一个时间区间内的保留分类组成时区日志信息，将全部时区日志信息按照时间节点排列后得出目标日志信息；

获取唯一分析目标的近属分析目标，获取近属分析目标的近属日志信息，当相同节点下目标日志信息与近属日志信息均存在相同聚类的日志信息，则将相同聚类的日志信息标记为确定行为信息；

当相同节点下目标日志信息与近属日志信息存在不同聚类但日志信息相同，标记此类日志信息为近似行为信息；

上述近属分析目标通过以下方法选取，具体的，获取唯一分析目标的编码信息，并将编码信息分割为大类、中类及低类；

大类对应编码信息的最大分类范围，中类对应编码信息的细化分类范围，低类对应编码信息的相似分类范围；

其中，近属分析目标对应的大类、中类及低类中至少一个分类范围与唯一分析目标的分类范围相同。

下面结合具体实施例对本方案进行详细阐述；

根据编码信息获取唯一分析目标的日志数据，并进行实时采集，并生成日志数据；若干日志数据组成海量系统日志，具体的来说，目标的日志数据可以是用户正在使用的、待分析的日志记录数据集合，该日志分析可以是基于ELK进行的，以下举例说明，例如ELK中的Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。他是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用(如，搜索)。日志分析是运维工程师解决系统故障，发现问题的主要手段。日志包含多种类型，包括程序日志，系统日志以及安全日志等。通过对日志分析，预发故障的发生，又可以在故障发生时，寻找到蛛丝马迹，快速定位故障点。及时解决。具体到本发明实施例，海量系统日志可以是在需要收集日志的所有服务上部署logstash，作为logstash agent用于监控并过滤收集日志，将过滤后的内容发送到Redis，然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch，可以用ElasticSearch进行自定义搜索通过Kibana来结合自定义搜索进行页面展示。

获取海量系统日志内的编码信息，并将编码信息与唯一分析目标相对应，包括：

预先设置编码信息对应的特征形式，通过对海量系统日志内进行特征形式筛选，符合筛选条件的即为编码信息，具体的，在得到目标的日志数据之后需要通过处理器对日志的数据进行分析，其中，对于目标的日志数据可以采用实时采集和存储器存储的方式来汇总目标日志数据，并在一定的预设周期之内将日志数据进行传输和分析，以提高整体目标日志数据分析的效率和统一性。

将目标的日志数据进行特征形式分类，得到特征形式；根据特征形式，通过预设规则进行筛选得到编码信息。

具体的，由于从目标设备软件平台获取的目标日志数据是复杂的，多类的，因此需要对获取到的目标日志数据进行分类操作，将目标日志数据中的不同种类的数据进行相应种类的标签的标的，以下举例说明，例如，目标的日志文件中存在缓存释放记录数据，那么该缓存释放记录数据属于缓存标签，因此在进行目标日志数据分类的时候，需要将缓存释放记录数据标以“缓存”标签，同时将所有带有“缓存”标签的日志数据进行归类，统一地集合在一起，构成“缓存”集合。

需要说明的是，预设规则可以是在处理器中根据用户对日志数据需求预先设置好的规则矩阵，用于将目标日志数据的分类结果进行输入，并根据分类结果的数据内容得到相应的运算结果。例如，在分类结果缓存集合中，通过预设规则矩阵进行分析之后得到分析结果“缓存释放正常”；

随后，提取编码信息对应的全部日志信息，并按照时间节点进行排列；

具体的来说，时间节点包括24个子时间节点，其中，每一个子时间节点的间隔为一小时，共获得23个时间区间；

将编码信息对应的全部日志信息按照时间节点进行填充，便完成按照时间节点进行排列；

将聚类后的日志信息进行时间迭代分析，得出分析结果；

其中，时间迭代分析包括：

获取唯一分析目标聚类后的日志信息，按照时间节点将其排列得出目标日志信息；

其中，所述时间节点包括24个子时间节点，其中，每一个子时间节点的间隔为一小时，共获得23个时间区间；

将聚类后的日志信息按照时间节点进行填充，得出目标日志信息，其中，每一个时间区间内均包含全部的聚类分类，若聚类分类中不存在日志信息，则标记对应聚类分类为剔除分类；若聚类分类中存在日志信息，则标记对应聚类分类为保留分类；

每一个时间区间内的保留分类组成时区日志信息，将全部时区日志信息按照时间节点排列后得出目标日志信息；

例如，唯一分析目标聚类后的日志信息是“缓存”集合，那么获取“缓存”集合在海量系统日志内的全部日志；

并更具“缓存”集合的生成时间节点，排列在每一个时间区间内，得出目标日志信息；

获取唯一分析目标的近属分析目标，获取近属分析目标的近属日志信息，当相同节点下目标日志信息与近属日志信息均存在相同聚类的日志信息，则将相同聚类的日志信息标记为确定行为信息；

当相同节点下目标日志信息与近属日志信息存在不同聚类但日志信息相同，标记此类日志信息为近似行为信息；

具体的，获取唯一分析目标的编码信息，并将编码信息分割为大类、中类及低类；

大类对应编码信息的最大分类范围，中类对应编码信息的细化分类范围，低类对应编码信息的相似分类范围；其中，近属分析目标对应的大类、中类及低类中至少一个分类范围与唯一分析目标的分类范围相同。

例如：“缓存”集合对应的大类为存储数据；中类为缓存数据；低类为具体设备的缓存；

对应的近属分析目标对应的大类、中类及低类中至少一个分类范围与唯一分析目标的分类范围相同，而具体是至少几个相同，则需根据选取近似数据的范围去挑选，但需要更多的近属分析目标对决策进行支撑是，则挑选大类相同即可，但需要精准的更高时，则挑选大类、中类及低类中任意两个相同即可。

通过获取唯一分析目标的近属分析目标，获取近属分析目标的近属日志信息，当相同节点下目标日志信息与近属日志信息均存在相同聚类的日志信息，则将相同聚类的日志信息标记为确定行为信息；当相同节点下目标日志信息与近属日志信息存在不同聚类但日志信息相同，标记此类日志信息为近似行为信息；

通过确定行为信息与近似行为信息可以得到准确的故障判断结果、风险评估结果、趋势预测结果，其中，故障判断结果可以包括是否存在故障，故障发生的时间以及故障程度等信息，风险评估结果可以包括发生故障的风险指数有多少，趋势预测结果可以是对目标的日志在以后可能出现各种稳定和不稳定情况的趋势是怎样的。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (5)

1.一种基于海量系统日志的行为分析方法，其特征在于，包括：

获取海量系统日志内的编码信息，并将编码信息与唯一分析目标相对应；

提取编码信息对应的全部日志信息，并按照时间节点进行排列；

根据日志信息的属性特征进行聚类，其中，聚类后的日志信息依旧按照时间节点进行排列；

将聚类后的日志信息进行时间迭代分析，得出分析结果；

其中，时间迭代分析包括：

获取唯一分析目标聚类后的日志信息，按照时间节点将其排列得出目标日志信息；

获取唯一分析目标的近属分析目标，获取近属分析目标的近属日志信息，当相同所述时间节点下目标日志信息与近属日志信息均存在相同聚类的日志信息，则将相同聚类的日志信息标记为确定行为信息；

当相同所述时间节点下目标日志信息与近属日志信息存在不同聚类但日志信息相同，标记此类日志信息为近似行为信息；

所述获取唯一分析目标的近属分析目标，包括：

获取唯一分析目标的编码信息，并将编码信息分割为大类、中类及低类；

大类对应编码信息的最大分类范围，中类对应编码信息的细化分类范围，低类对应编码信息的相似分类范围；

所述近属分析目标对应的大类、中类及低类中至少一个分类范围与唯一分析目标的分类范围相同。

2.根据权利要求1所述的一种基于海量系统日志的行为分析方法，其特征在于，所述获取唯一分析目标聚类后的日志信息，按照时间节点将其排列得出目标日志信息，包括：

将聚类后的日志信息按照时间节点进行填充，得出目标日志信息，其中，每一个时间区间内均包含全部的聚类分类，若聚类分类中不存在日志信息，则标记对应聚类分类为剔除分类；若聚类分类中存在日志信息，则标记对应聚类分类为保留分类；

每一个时间区间内的保留分类组成时区日志信息，将全部时区日志信息按照时间节点排列后得出目标日志信息。

3.根据权利要求2所述的一种基于海量系统日志的行为分析方法，其特征在于，所述时间节点包括24个子时间节点，其中，每一个子时间节点的间隔为一小时，共获得23个时间区间。

4.根据权利要求3所述的一种基于海量系统日志的行为分析方法，其特征在于，所述获取海量系统日志内的编码信息之前还包括：

根据编码信息获取唯一分析目标的日志数据，并进行实时采集，并生成日志数据；

若干日志数据组成海量系统日志。

5.根据权利要求4所述的一种基于海量系统日志的行为分析方法，其特征在于，所述获取海量系统日志内的编码信息，并将编码信息与唯一分析目标相对应，包括：

预先设置编码信息对应的特征形式，通过对海量系统日志内进行特征形式筛选，符合筛选条件的即为编码信息。

Images