CN115801367A - 一种记录主机日志和操作记录审查系统 - Google Patents

Abstract

本发明公开了一种记录主机日志和操作记录审查系统，属于日志分析技术领域，包括日志采集模块、日志消息队列模块、日志分析模块、风险告警模块、数据可视化模块以及聚合查询算子分析模块；本发明可以实现对各类系统日志信息进行采集，减少了需要带多种设备到现场对不同系统进行采集，给现场采集数据带来便利性，同时节省了购买多种不同采集设备的成本，能够实现无需相关专业知识也可进行日志数据分析，而且不用每次收集日志都进行配置操作，节省了现场实施时间，可以实现日志信息告警的全方位、快速地展示并发现问题根源，在减少分析时间的同时减少日志分析展示的工作量，大大缩短客户现场等待时间。

Description

一种记录主机日志和操作记录审查系统

技术领域

本发明涉及日志分析技术领域，尤其涉及一种记录主机日志和操作记录审查系统。

背景技术

目前随着大数据和各类安全设备的快速发展，网络流量海量化、复杂化成为常态，如何识别、监测、分析网络流量成为重要研究方向和企业重点关注方向。同时移动互联网流量大规模增长，这些流量成为各种威胁载体，致使攻防对抗形态逐渐成为局势且愈演愈烈。目前很多主机日志与操作记录审查缺少对第三方设备/系统接口对接能力、剧本编排能力以及任务管理能力，无法对不同类型的安全事件实现自动化响应，无法较好的实现企业的安全运营流程数字化管理，降低安全事件响应效率；

以往的信息系统日志分析仅仅按照时间序列排列实际的事件而掌握了系统人员的行动，但未具体公开通过怎样的规则检测出怎样的不正当行为。此外在攻击者入侵信息系统后，仅靠单纯的日志数据非常难以精确回放攻击者的具体的操作行为，无法实现日志信息告警的全方位、快速地展示并发现问题根源；为此，我们提出一种记录主机日志和操作记录审查系统。

发明内容

本发明的目的是为了解决现有技术中存在的缺陷，而提出的一种记录主机日志和操作记录审查系统。

为了实现上述目的，本发明采用了如下技术方案：

一种记录主机日志和操作记录审查系统，包括日志采集模块、日志消息队列模块、日志分析模块、风险告警模块、数据可视化模块以及聚合查询算子分析模块；

其中，所述日志采集模块用于采集各组日志信息以记录用户在服务器所有行为活动；

所述日志消息队列模块用于对由日志采集模块传输的日志信息进行处理存储；

所述日志分析模块用于对存储的系统日志数据进行分析判断；

所述风险告警模块用于对日志分析结果进行告警判断；

所述数据可视化模块用于对告警信息进行分类分级的展示；

所述聚合查询算子分析模块用于对所存储的日志数据的时间局部性与空间局部性的两种策略进行优化查询。

2、根据权利要求1所述的一种记录主机日志和操作记录审查系统，其特征在于，所述日志采集模块具体记录步骤如下：

步骤一：日志采集模块在不同的服务器部署相关的日志采集插件或者通过syslog服务器获取不同设备中所记录的日志信息，其中，日志信息具体包括监控信息系统日志以及应用系统日志；

步骤二：采集各组日志信息中用户在系统中的各类活动，并记录用户在服务器所有行为活动。

3、根据权利要求2所述的一种记录主机日志和操作记录审查系统，其特征在于，所述日志消息队列模块日志信息处理存储具体步骤如下：

步骤(1)：日志消息队列模块使用logstash选择出满足工作人员预先设定的条件要求的日志信息；

步骤(2)：将满足要求的日志信息处理为统一格式的日志信息，再将处理过后的日志信息发送至kafka进行存储。

4、根据权利要求3所述的一种记录主机日志和操作记录审查系统，其特征在于，所述日志分析模块分析判断具体步骤如下：

步骤Ⅰ：日志分析模块对日志消息队列模块存储在kafka中的系统日志数据进行提取，并顺序地对检测地日志数据执行相关处理操作；

步骤Ⅱ：之后将日志数据中记录地用户操作行为与攻击者行为特征进行匹配，并将匹配结果进行输出。

5、根据权利要求4所述的一种记录主机日志和操作记录审查系统，其特征在于，所述风险告警模块告警判断具体步骤如下：

第一步：风险告警模块用于接收日志分析模块的分析结果并进行判断，若同一设备的日志分析结果满足多个预设告警条件，或同一设备的多条日志分析结果共同满足统一预设告警条件,则进行风险告警；

第二步：之后风险告警模块生成相对应的告警信息，同时对该条告警的风险分数进行计算，并将计算结果进行输出。

6、根据权利要求5所述的一种记录主机日志和操作记录审查系统，其特征在于，所述风险分数具体计算公式如下：

依据公式(1)计算出规则影响系数X_i后，计算该所有命中规则的平均影响系数，其具体计算公式如下：

之后对该资产的告警风险系数进行计算，其具体计算公式如下：

将公式(1)和(2)带入公式(3)中可得如下公式：

上述公式(1)-(4)中，X_i代表规则影响系数，R_i代表规则重要程度，R_m代表规则历史命中次数，R_n代表命中规则数，M代表命中规则的平均影响系数，S代表告警风险系数，A_S代表资产重要性，V_i代表漏洞严重程度。

相比于现有技术，本发明的有益效果在于：

本发明相较于以往记录审查系统，该系统通过日志采集模块在不同的服务器部署日志采集插件或通过syslog服务器获取不同设备中所记录的日志信息，可以实现对各类系统日志信息进行采集，减少了需要带多种设备到现场对不同系统进行采集，给现场采集数据带来便利性，同时节省了购买多种不同采集设备的成本，之后对与采集到的各组日志数据，通过日志分析模块对日志消息队列模块存储在kafka中的系统日志数据进行提取，并顺序地对检测地日志数据执行相关处理操作，再将日志数据中记录地用户操作行为与攻击者行为特征进行匹配，并将匹配结果进行输出，能够实现无需相关专业知识也可进行日志数据分析，而且不用每次收集日志都进行配置操作，节省了现场实施时间，同时，数据可视化模块可以实现日志信息告警的全方位展示，快速展示、发现问题根源，在减少分析时间的同时减少日志分析展示的工作量，大大缩短客户现场等待时间。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明提出的一种记录主机日志和操作记录审查系统的系统框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参照图1，一种记录主机日志和操作记录审查系统，包括日志采集模块、日志消息队列模块、日志分析模块、风险告警模块、数据可视化模块以及聚合查询算子分析模块。

日志采集模块用于采集各组日志信息以记录用户在服务器所有行为活动。

具体的，日志采集模块在不同的服务器部署相关的日志采集插件或者通过syslog服务器获取不同设备中所记录的日志信息，其中，日志信息具体包括监控信息系统日志以及应用系统日志，之后采集各组日志信息中用户在系统中的各类活动，并记录用户在服务器所有行为活动。

日志消息队列模块用于对由日志采集模块传输的日志信息进行处理存储。

具体的，日志消息队列模块使用logstash选择出满足工作人员预先设定的条件要求的日志信息，之后将满足要求的日志信息处理为统一格式的日志信息，再将处理过后的日志信息发送至kafka进行存储。

日志分析模块用于对存储的系统日志数据进行分析判断。

具体的，日志分析模块对日志消息队列模块存储在kafka中的系统日志数据进行提取，并顺序地对检测地日志数据执行相关处理操作，之后将日志数据中记录地用户操作行为与攻击者行为特征进行匹配，并将匹配结果进行输出。

风险告警模块用于对日志分析结果进行告警判断。

具体的，风险告警模块用于接收日志分析模块的分析结果并进行判断，若同一设备的日志分析结果满足多个预设告警条件，或同一设备的多条日志分析结果共同满足统一预设告警条件,则进行风险告警，之后风险告警模块生成相对应的告警信息，同时对该条告警的风险分数进行计算，并将计算结果进行输出。

此外，本实施例中，告警信息包括对应的日志原始信息，同时记录日志分析结果、匹配规则、风险等级、日志原始信息之间的对应关系，以便再次分析处理。

需要进一步说明的是，风险分数具体计算公式如下：

依据公式(1)计算出规则影响系数X_i后，计算该所有命中规则的平均影响系数，其具体计算公式如下：

之后对该资产的告警风险系数进行计算，其具体计算公式如下：

将公式(1)和(2)带入公式(3)中可得如下公式：

上述公式(1)-(4)中，X_i代表规则影响系数，R_i代表规则重要程度，R_m代表规则历史命中次数，R_n代表命中规则数，M代表命中规则的平均影响系数，S代表告警风险系数，A_S代表资产重要性，V_i代表漏洞严重程度。

此外，需要进一步说明的是，告警的资产重要性、告警规则历史命中次数、规则命中准确率、规则重要程度、漏洞修复时间、漏洞严重程度具体评分标准如表：

资产重要性A_S：

资产重要性	得分
		非常重要	5
比较重要	4
		一般重要	3
一般	2
		普通	1

规则历史命中次数R_m：

规则历史命中次数	得分
		>100	5
50-100	4
		20-50	3
10-20	2
		1-10	1

规则准确率R_l：

规则重要程度R_i：

规则重要程度	得分
		非常重要	5
比较重要	4
		一般重要	3
一般	2
		普通	1

漏洞严重程度V_i：

漏洞严重程度	得分
		紧急	5
高危	4
		中危	3
低危	2
		无危险	1

命中规则数R_n：

此外，在具体的实施中，所预设告警条件与规则可以进行人为动态调整，根据实际情况进行灵活设置，只需告警规则可满足实际实用需求即可。

数据可视化模块用于对告警信息进行分类分级的展示。

聚合查询算子分析模块用于对所存储的日志数据的时间局部性与空间局部性的两种策略进行优化查询。

本实施例中，时间局部性优化具体为：若一条已经被多种查询条件所限制得到的日志数据被用户所查询，则判断该日志数据在未来较短时间内仍会被用户所再次访问，并将该日志数据存在缓存中以加快访问速度；

空间局部性优化具体为：若一条已经被多种查询条件所限制得到的日志数据被用户查询，则判断与其相似的查询条件的数据也会在较短时间内被访问，则将该部分数据一起进行加载计算，之后通过多次不同的计算，将多次访问的查询条件与多次访问的日志数据存储在访问速度快一些的存储器中，将访问量少且不经使用到的查询条件与日志数据放置在访问速度慢但空间大的存储器中，加快数据的联合查询效率与数据的多维度计算。

Claims (6)

1.一种记录主机日志和操作记录审查系统，其特征在于，包括日志采集模块、日志消息队列模块、日志分析模块、风险告警模块、数据可视化模块以及聚合查询算子分析模块；

其中，所述日志采集模块用于采集各组日志信息以记录用户在服务器所有行为活动；

所述日志消息队列模块用于对由日志采集模块传输的日志信息进行处理存储；

所述日志分析模块用于对存储的系统日志数据进行分析判断；

所述风险告警模块用于对日志分析结果进行告警判断；

所述数据可视化模块用于对告警信息进行分类分级的展示；

所述聚合查询算子分析模块用于对所存储的日志数据的时间局部性与空间局部性的两种策略进行优化查询。

2.根据权利要求1所述的一种记录主机日志和操作记录审查系统，其特征在于，所述日志采集模块具体记录步骤如下：

步骤一：日志采集模块在不同的服务器部署相关的日志采集插件或者通过syslog服务器获取不同设备中所记录的日志信息，其中，日志信息具体包括监控信息系统日志以及应用系统日志；

步骤二：采集各组日志信息中用户在系统中的各类活动，并记录用户在服务器所有行为活动。

3.根据权利要求2所述的一种记录主机日志和操作记录审查系统，其特征在于，所述日志消息队列模块日志信息处理存储具体步骤如下：

步骤(1)：日志消息队列模块使用logstash选择出满足工作人员预先设定的条件要求的日志信息；

步骤(2)：将满足要求的日志信息处理为统一格式的日志信息，再将处理过后的日志信息发送至kafka进行存储。

4.根据权利要求3所述的一种记录主机日志和操作记录审查系统，其特征在于，所述日志分析模块分析判断具体步骤如下：

步骤Ⅰ：日志分析模块对日志消息队列模块存储在kafka中的系统日志数据进行提取，并顺序地对检测地日志数据执行相关处理操作；

步骤Ⅱ：之后将日志数据中记录地用户操作行为与攻击者行为特征进行匹配，并将匹配结果进行输出。

5.根据权利要求4所述的一种记录主机日志和操作记录审查系统，其特征在于，所述风险告警模块告警判断具体步骤如下：

第一步：风险告警模块用于接收日志分析模块的分析结果并进行判断，若同一设备的日志分析结果满足多个预设告警条件，或同一设备的多条日志分析结果共同满足统一预设告警条件,则进行风险告警；

第二步：之后风险告警模块生成相对应的告警信息，同时对该条告警的风险分数进行计算，并将计算结果进行输出。

6.根据权利要求5所述的一种记录主机日志和操作记录审查系统，其特征在于，所述风险分数具体计算公式如下：

依据公式(1)计算出规则影响系数X_i后，计算该所有命中规则的平均影响系数，其具体计算公式如下：

之后对该资产的告警风险系数进行计算，其具体计算公式如下：

将公式(1)和(2)带入公式(3)中可得如下公式：

上述公式(1)-(4)中，X_i代表规则影响系数，R_i代表规则重要程度，R_m代表规则历史命中次数，R_n代表命中规则数，M代表命中规则的平均影响系数，S代表告警风险系数，A_S代表资产重要性，V_i代表漏洞严重程度。

Images