CN117149733B - 一种基于大数据的多平台日志审计分析系统及方法 - Google Patents
一种基于大数据的多平台日志审计分析系统及方法 Download PDFInfo
- Publication number
- CN117149733B CN117149733B CN202311395439.4A CN202311395439A CN117149733B CN 117149733 B CN117149733 B CN 117149733B CN 202311395439 A CN202311395439 A CN 202311395439A CN 117149733 B CN117149733 B CN 117149733B
- Authority
- CN
- China
- Prior art keywords
- log
- cleaning
- period
- platform
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 88
- 238000012550 audit Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000004140 cleaning Methods 0.000 claims abstract description 294
- 238000012544 monitoring process Methods 0.000 claims abstract description 41
- 230000004044 response Effects 0.000 claims abstract description 32
- 238000010224 classification analysis Methods 0.000 claims abstract description 15
- 230000002159 abnormal effect Effects 0.000 claims description 22
- 238000013210 evaluation model Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 230000002155 anti-virotic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010252 digital analysis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/122—File system administration, e.g. details of archiving or snapshots using management policies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1737—Details of further file system functions for reducing power consumption or coping with limited storage space, e.g. in mobile devices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及日志审计技术领域,具体为一种基于大数据的多平台日志审计分析系统及方法,包括日志清理事件存储模块、唯一性判断模块、清理周期分类分析模块和实时监测预警模块;日志清理事件存储模块用于基于设置日志自动清理周期的日志审计系统,提取日志审计系统存储记录的日志清理事件;唯一性判断模块用于判断日志审计系统中每一类型日志清理事件中包含目标平台的唯一性;清理周期分类分析模块基于唯一性判断模块的判断结果对日志自动清理周期进行分类分析;实时监测预警模块用于获取监测状态下的实际清理周期,并基于步骤S2和步骤S3的分析结果进行实际清理周期的预警响应。
Description
技术领域
本发明涉及日志审计技术领域,具体为一种基于大数据的多平台日志审计分析系统及方法。
背景技术
现有技术记录的日志审计系统可以收集网络中的各种网络设备、安全设备(包括但不限于防火墙、IDS系统、VPN和防病毒系统)、主机系统(即Windows和Unix/Linux)、应用服务(包括但不限于mail服务、web服务、FTP服务和DNS服务)等产生的大量日志数据,进行集中管理和全面、有效的综合统计,为用户提供了一个方便、高效、直观的日志安全审计平台,能够帮助用户及时发现网络中存在的安全风险、准确地进行事后取证,进而可以更加有效地保障自身网络的安全运行;
但是当在日志审计系统中需要对日志文件进行定期清理时,往往是通过人工基于经验或者系统需求进行时长的设置,人为影响因素大且耗费人力较大,如对系统中存储超过六个月时间的日志文件进行清除;同时这种时长的设置并不能智能化依据系统中记录多平台的数据特性进行周期的缩短,来实现高精度日志清理周期的分析、提高系统的存储空间以及节省人力资源的利用。
发明内容
本发明的目的在于提供一种基于大数据的多平台日志审计分析系统及方法,以解决上述背景技术中提出的问题。
为了解决上述技术问题,本发明提供如下技术方案:一种基于大数据的多平台日志审计分析方法,包括以下分析步骤:
步骤S1:基于设置日志自动清理周期的日志审计系统,提取日志审计系统存储记录的日志清理事件,且每一类日志清理事件记录的日志自动清理周期相同;判断日志审计系统中每一类型日志清理事件中包含目标平台的唯一性;
步骤S2:在步骤S1的判断结果为唯一时,对历史设置的日志自动清理周期进行校验;
步骤S3:在步骤S1的判断结果为不唯一时,调用日志清理事件记录的日志响应数据,构建日志清理事件所包含每一平台的周期评估模型;
步骤S4:获取监测状态下的实际清理周期,以上一清理事件结束为实时监测的起始节点,设置实时监测节点为查询节点,并基于步骤S2和步骤S3的分析结果进行实际清理周期的预警响应。
进一步的,步骤S1中判断日志审计系统中每一类型日志清理事件中包含目标平台的唯一性包括以下分析步骤:
标记每一类型日志清理事件中存在日志文件生成的平台为待分析日志平台;
提取待分析日志平台在日志清理事件中记录的最大调用周期,最大调用周期是指日志清理事件记录对应待分析日志平台的异常事件所需调用的日志文件跨度时长,跨度时长是指异常事件发生时的日志文件与所需调用分析的日志文件的存储间隔时长;
将各待分析日志平台按照最大调用周期的数值进行由大到小的排序,提取序列第一的待分析日志平台为目标平台;
分析目标平台是为了在包含多平台的系统确定清理周期时以目标平台进行最大限度的分析可以提高分析效率,使得最大限度的满足各平台的日志调用需求;
提取每一类型日志清理事件包含独立日志清理事件的目标平台,若同一类型日志清理事件中独立日志清理事件的目标平台均相同且不同类型日志清理事件间的目标平台不相同,则输出判断结果为唯一;除此之外,输出判断结果为不唯一。
进一步的,步骤S2包括:
步骤S21:获取日志审计系统历史记录的最大日志存储容量,以及最大日志存储容量对应的连续存储时长,最大日志存储容量是指不存在日志清理事件下系统提醒因剩余容量达到预警容量时的日志存储容量的最大值;连续存储时长是指由上一日志清理事件时刻到系统提醒因剩余容量达到预警容量时刻的间隔时长;
步骤S22:提取每一类型日志清理事件的日志自动清理周期T和最大日志存储容量对应的连续存储时长L,当存在日志自动清理周期T>连续存储时长L的日志清理事件时,对日志清理事件的日志自动清理周期校验为时长为L的日志自动清理周期;当日志清理事件的日志自动清理周期T≤连续存储时长L,继续监测,并将目标平台与对应校验后的日志自动清理周期以数据对的形式进行存储。
当日志清理事件满足唯一性时,说明历史记录的每一类型清理事件对应一平台的日志处理需求,所以在分析时长上不需调整,只需满足系统存储的容量问题进行调整即可。
进一步的,步骤S3包括以下分析步骤:
步骤S31:将每一种目标平台对应记录不同日志自动清理周期的日志清理事件进行归类存储生成平台分析集合;提取平台分析集合中各日志清理事件记录的日志响应数据;日志响应数据是指日志清理事件中记录调用最大周期对应异常事件的特征数据,特征数据包括特征指标和指标值;
步骤S32:将每一平台分析集合中第i类日志清理事件的特征指标构成特征集合Ui,Ui={ui1,ui2,...,uin},其中ui1,ui2,...,uin表示第i类日志清理事件中第1、2、......、n个特征指标,n表示特征指标的个数;比较同一平台分析集合中的d个特征集合,d表示平台分析集合中包含日志清理事件的种类个数,i≤d;输出比较结果A,A=U1∩U2∩......∩Ud;
步骤S33:提取比较结果A中特征指标在第i类日志清理事件中的平均指标值Xi和对应的日志自动清理周期Ti,平均指标值是指在同一平台分析集合中存在相同日志自动清理周期的日志清理事件个数大于等于二时对应特征指标的指标值取均值;
生成第i类日志清理事件的序列对Ri,Ri=[Xi,Ti];并构建平台分析集合对应的周期评估模型Y;
Y=ɑ0+ɑ1*x1+...+ɑm*xm+ε;
代入d类日志清理事件对应的序列对R1、R2、...、Rd,计算得到平台分析集合对应的线性回归系数ɑ0、ɑ1、...ɑm和误差项ε;
序列对中平均指标值Xi为周期评估模型的自变量xm,日志自动清理周期Ti为周期评估模型的因变量Y;当序列对中特征指标的个数小于二时,m=1,建立的周期评估模型为Y=ɑ0+ɑ1*x1+ε;当序列对中特征指标的个数大于等于二时,m等于比较结果A中特征指标的个数;
每一目标平台对应唯一周期评估模型。
进一步的,步骤S4包括以下分析过程:
实时目标平台是指在起始节点和查询节点间的时段内存在异常事件时,异常事件记录的最大调用周期对应的平台为实时目标平台;当起始节点和查询节点间的时段不存在异常事件时,提取日志审计系统记录的日志文件存储量最大值对应的关联平台为实时目标平台;关联平台是指日志审计系统存储日志文件对应的平台;
当步骤S1中的判断结果唯一时,提取实时目标平台相应数据对中记录的日志自动清理周期,当日志自动清理周期与实际清理周期的差值大于等于差值阈值时,传输预警信号给日志审计系统;当日志自动清理周期与实际清理周期的差值小于差值阈值时,继续监测;
当步骤S1中的判断结果不唯一时,提取起始节点到查询节点间隔时长内的实时日志响应数据,查询节点是指日志审计系统记录的日志自动清理周期最小值对应起始节点的终止节点,且日志自动清理周期最小值小于实际清理周期;实时响应数据是指满足实时目标平台对应的特征指标和指标值;
将实时响应数据代入实时目标平台对应的周期评估模型Y得到实时预估周期Y0,若实时预估周期Y0小于日志自动清理周期最小值时,传输预警信号给日志审计系统;若实时预估周期Y0大于等于日志自动清理周期最小值时,继续监测;
且间隔单位清理周期更新实时响应数据,并代入周期评估模型得到实时更新预估周期,直到日志自动清理周期最小值+k个单位清理周期=实际清理周期时停止更新;
若更新过程中存在实时更新预估周期<日志自动清理周期最小值+单位清理周期时,传输预警信号给日志审计系统,否则继续监测保持实际清理周期;单位清理周期是指历史记录的清理周期的最小变化量;预警信号是指提醒日志审计管理人员对日志清理周期进行缩小预警调整。
缩小预警调整是为了节约系统中日志文件占用的存储空间,当存在可以缩短设置的清理周期情况时,有效的调整可以提高日志文件的清除合理性,且在不同平台记录日志文件的审计系统中,对目标平台进行审计分析可以合理的提高整体系统设置清除时长的预警精确度,使得清理周期的设置不再随着人为因素的改变而发生波动,数据合理且有效;同时不分析增大日志清理时长是因为增加存储时长会一定程度的增加存储压力,且在实际运用中,若日志清理时长需要增加的前提是存在调用更远时间日志的需求,所以在运行过程中人为会存在对时长增加的响应改变。
多平台日志审计分析系统,包括日志清理事件存储模块、唯一性判断模块、清理周期分类分析模块和实时监测预警模块;
日志清理事件存储模用于基于设置日志自动清理周期的日志审计系统,提取日志审计系统存储记录的日志清理事件;
唯一性判断模块用于判断日志审计系统中每一类型日志清理事件中包含目标平台的唯一性;
清理周期分类分析模块用于基于唯一性判断模块的判断结果对日志自动清理周期进行分类分析;
实时监测预警模块用于获取监测状态下的实际清理周期,以上一清理事件结束为实时监测的起始节点,设置实时监测节点为查询节点,并基于步骤S2和步骤S3的分析结果进行实际清理周期的预警响应。
进一步的,唯一性判断模块包括平台标记单元、最大调用周期提取单元、目标平台确定单元和判断分析单元;
平台标记单元用于标记每一类型日志清理事件中存在日志文件生成的平台为待分析日志平台;
最大调用周期提取单元用于提取待分析日志平台在日志清理事件中记录的最大调用周期;
目标平台确定单元用于将各待分析日志平台按照最大调用周期的数值进行由大到小的排序,提取序列第一的待分析日志平台为目标平台;
判断分析单元用于比较同一类型日志清理事件中独立日志清理事件的目标平台在不同类型清理事件中的关系,输出判断结果。
进一步的,清理周期分类分析模块包括唯一特征分析单元和不唯一特征分析单元;
唯一特征分析单元用于对日志自动清理周期按照历史记录的最大日志存储容量对应的连续存储时长进行校验分析;
不唯一特征分析单元用于建立周期评估模型对日志自动清理周期进行分析。
进一步的,实时监测预警模块包括实时目标平台选取单元、分类比较单元和预警调整单元;
实时目标平台选取单元用于在起始节点和查询节点间的时段内存在异常事件时或不存在异常事件时确定对应目标平台;
分类比较单元用于基于判断结果唯一和判断结果不唯一时进行分类分析预警监测方式;
预警调整单元用于在满足预警需求时进行预警信号的传输。
与现有技术相比,本发明所达到的有益效果是:本申请通过对日志审计系统中记录的日志清理事件进行分析,判别日志审计系统在处理多平台日志生成状态下的清理周期设定的合理性,将合理的周期进行校验,不合理的周期进行更新预警,以实现对实时监测多平台日志生成数据时的数字化分析;除此之外,本申请还在实时监测分析过程中将众多平台单一化选取可以最大限度代表设置清理周期需求的目标平台,节省了共同分析多平台日志数据的数字算力,并且智能化提高了清理周期设置的实用性、合理性和精确度,节省了系统对日志文件的存储空间以及系统所需的人力成本。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明一种基于大数据的多平台日志审计分析系统的结构示意图;
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明提供技术方案:一种基于大数据的多平台日志审计分析方法,包括以下分析步骤:
步骤S1:基于设置日志自动清理周期的日志审计系统,提取日志审计系统存储记录的日志清理事件,且每一类日志清理事件记录的日志自动清理周期相同;判断日志审计系统中每一类型日志清理事件中包含目标平台的唯一性;
步骤S2:在步骤S1的判断结果为唯一时,对历史设置的日志自动清理周期进行校验;
步骤S3:在步骤S1的判断结果为不唯一时,调用日志清理事件记录的日志响应数据,构建日志清理事件所包含每一平台的周期评估模型;
步骤S4:获取监测状态下的实际清理周期,以上一清理事件结束为实时监测的起始节点,设置实时监测节点为查询节点,并基于步骤S2和步骤S3的分析结果进行实际清理周期的预警响应。
步骤S1中判断日志审计系统中每一类型日志清理事件中包含目标平台的唯一性包括以下分析步骤:
标记每一类型日志清理事件中存在日志文件生成的平台为待分析日志平台;
提取待分析日志平台在日志清理事件中记录的最大调用周期,最大调用周期是指日志清理事件记录对应待分析日志平台的异常事件所需调用的日志文件跨度时长,跨度时长是指异常事件发生时的日志文件与所需调用分析的日志文件的存储间隔时长;
将各待分析日志平台按照最大调用周期的数值进行由大到小的排序,提取序列第一的待分析日志平台为目标平台;
分析目标平台是为了在包含多平台的系统确定清理周期时以目标平台进行最大限度的分析可以提高分析效率,使得最大限度的满足各平台的日志调用需求;
提取每一类型日志清理事件包含独立日志清理事件的目标平台,若同一类型日志清理事件中独立日志清理事件的目标平台均相同且不同类型日志清理事件间的目标平台不相同,则输出判断结果为唯一;除此之外,输出判断结果为不唯一。
步骤S2包括:
步骤S21:获取日志审计系统历史记录的最大日志存储容量,以及最大日志存储容量对应的连续存储时长,最大日志存储容量是指不存在日志清理事件下系统提醒因剩余容量达到预警容量时的日志存储容量的最大值;连续存储时长是指由上一日志清理事件时刻到系统提醒因剩余容量达到预警容量时刻的间隔时长;
步骤S22:提取每一类型日志清理事件的日志自动清理周期T和最大日志存储容量对应的连续存储时长L,当存在日志自动清理周期T>连续存储时长L的日志清理事件时,对日志清理事件的日志自动清理周期校验为时长为L的日志自动清理周期;当日志清理事件的日志自动清理周期T≤连续存储时长L,继续监测,并将目标平台与对应校验后的日志自动清理周期以数据对的形式进行存储。
当日志清理事件满足唯一性时,说明历史记录的每一类型清理事件对应一平台的日志处理需求,所以在分析时长上不需调整,只需满足系统存储的容量问题进行调整即可。
步骤S3包括以下分析步骤:
步骤S31:将每一种目标平台对应记录不同日志自动清理周期的日志清理事件进行归类存储生成平台分析集合;提取平台分析集合中各日志清理事件记录的日志响应数据;日志响应数据是指日志清理事件中记录调用最大周期对应异常事件的特征数据,特征数据包括特征指标和指标值;
步骤S32:将每一平台分析集合中第i类日志清理事件的特征指标构成特征集合Ui,Ui={ui1,ui2,...,uin},其中ui1,ui2,...,uin表示第i类日志清理事件中第1、2、......、n个特征指标,n表示特征指标的个数;比较同一平台分析集合中的d个特征集合,d表示平台分析集合中包含日志清理事件的种类个数,i≤d;输出比较结果A,A=U1∩U2∩......∩Ud;
步骤S33:提取比较结果A中特征指标在第i类日志清理事件中的平均指标值Xi和对应的日志自动清理周期Ti,平均指标值是指在同一平台分析集合中存在相同日志自动清理周期的日志清理事件个数大于等于二时对应特征指标的指标值取均值;
生成第i类日志清理事件的序列对Ri,Ri=[Xi,Ti];并构建平台分析集合对应的周期评估模型Y;
Y=ɑ0+ɑ1*x1+...+ɑm*xm+ε;
代入d类日志清理事件对应的序列对R1、R2、...、Rd,计算得到平台分析集合对应的线性回归系数ɑ0、ɑ1、...ɑm和误差项ε;
序列对中平均指标值Xi为周期评估模型的自变量xm,日志自动清理周期Ti为周期评估模型的因变量Y;当序列对中特征指标的个数小于二时,m=1,建立的周期评估模型为Y=ɑ0+ɑ1*x1+ε;当序列对中特征指标的个数大于等于二时,m等于比较结果A中特征指标的个数;
每一目标平台对应唯一周期评估模型。
上述的周期评估模型在不同平台分析集合中所计算出的回归系数和误差项都是可能存在差异的,因为代入序列对中每一特征指标可能不同,以及特征指标对应的指标值也可能不同;且在特征指标的个数大于平台分析集合中日志清理事件的种类数时,可以代入相同日志自动清理周期对应的日志清理事件相关的数值,不取平均值,以实现对回归系数和误差项的计算;
如存在目标平台甲,记录日志清理事件如下:
日志清理事件1:日志自动清理周期为6个月;特征指标:日志调用时间范围5个月、异常事件相邻调用间隔时长10d;
日志清理事件2:日志自动清理周期为4个月;特征指标:日志调用时间范围1.5、单次调用日志比例1/10;
日志清理事件3:日志自动清理周期为6个月;特征指标:日志调用时间范围4、单次调用日志比例1/7;
则将日志清理事件1、2、3存储至平台分析集合;提取日志清理事件比较后的特征指标为日志调用时间范围;且对应日志自动清理周期为6个月时特征指标的指标值平均值为4.5;则构成序列对为[4.5,6]和[1.5,4];
因为特征指标的个数为1,则建立周期评估模型为Y=ɑ0+ɑ1*x1+ε;计算得到ɑ0、ɑ1和ε。
步骤S4包括以下分析过程:
实时目标平台是指在起始节点和查询节点间的时段内存在异常事件时,异常事件记录的最大调用周期对应的平台为实时目标平台;当起始节点和查询节点间的时段不存在异常事件时,提取日志审计系统记录的日志文件存储量最大值对应的关联平台为实时目标平台;关联平台是指日志审计系统存储日志文件对应的平台;
当步骤S1中的判断结果唯一时,提取实时目标平台相应数据对中记录的日志自动清理周期,当日志自动清理周期与实际清理周期的差值大于等于差值阈值时,传输预警信号给日志审计系统;当日志自动清理周期与实际清理周期的差值小于差值阈值时,继续监测;
当步骤S1中的判断结果不唯一时,提取起始节点到查询节点间隔时长内的实时日志响应数据,查询节点是指日志审计系统记录的日志自动清理周期最小值对应起始节点的终止节点,且日志自动清理周期最小值小于实际清理周期;实时响应数据是指满足实时目标平台对应的特征指标和指标值;
将实时响应数据代入实时目标平台对应的周期评估模型Y得到实时预估周期Y0,若实时预估周期Y0小于日志自动清理周期最小值时,传输预警信号给日志审计系统;若实时预估周期Y0大于等于日志自动清理周期最小值时,继续监测;
且间隔单位清理周期更新实时响应数据,并代入周期评估模型得到实时更新预估周期,直到日志自动清理周期最小值+k个单位清理周期=实际清理周期时停止更新;
若更新过程中存在实时更新预估周期<日志自动清理周期最小值+单位清理周期时,传输预警信号给日志审计系统,否则继续监测保持实际清理周期;单位清理周期是指历史记录的清理周期的最小变化量;预警信号是指提醒日志审计管理人员对日志清理周期进行缩小预警调整。
缩小预警调整是为了节约系统中日志文件占用的存储空间,当存在可以缩短设置的清理周期情况时,有效的调整可以提高日志文件的清除合理性,且在不同平台记录日志文件的审计系统中,对目标平台进行审计分析可以合理的提高整体系统设置清除时长的预警精确度,使得清理周期的设置不再随着人为因素的改变而发生波动,数据合理且有效;同时不分析增大日志清理时长是因为增加存储时长会一定程度的增加存储压力,且在实际运用中,若日志清理时长需要增加的前提是存在调用更远时间日志的需求,所以在运行过程中人为会存在对时长增加的响应改变。
多平台日志审计分析系统,包括日志清理事件存储模块、唯一性判断模块、清理周期分类分析模块和实时监测预警模块;
日志清理事件存储模用于基于设置日志自动清理周期的日志审计系统,提取日志审计系统存储记录的日志清理事件;
唯一性判断模块用于判断日志审计系统中每一类型日志清理事件中包含目标平台的唯一性;
清理周期分类分析模块用于基于唯一性判断模块的判断结果对日志自动清理周期进行分类分析;
实时监测预警模块用于获取监测状态下的实际清理周期,以上一清理事件结束为实时监测的起始节点,设置实时监测节点为查询节点,并基于步骤S2和步骤S3的分析结果进行实际清理周期的预警响应。
唯一性判断模块包括平台标记单元、最大调用周期提取单元、目标平台确定单元和判断分析单元;
平台标记单元用于标记每一类型日志清理事件中存在日志文件生成的平台为待分析日志平台;
最大调用周期提取单元用于提取待分析日志平台在日志清理事件中记录的最大调用周期;
目标平台确定单元用于将各待分析日志平台按照最大调用周期的数值进行由大到小的排序,提取序列第一的待分析日志平台为目标平台;
判断分析单元用于比较同一类型日志清理事件中独立日志清理事件的目标平台在不同类型清理事件中的关系,输出判断结果。
清理周期分类分析模块包括唯一特征分析单元和不唯一特征分析单元;
唯一特征分析单元用于对日志自动清理周期按照历史记录的最大日志存储容量对应的连续存储时长进行校验分析;
不唯一特征分析单元用于建立周期评估模型对日志自动清理周期进行分析。
实时监测预警模块包括实时目标平台选取单元、分类比较单元和预警调整单元;
实时目标平台选取单元用于在起始节点和查询节点间的时段内存在异常事件时或不存在异常事件时确定对应目标平台;
分类比较单元用于基于判断结果唯一和判断结果不唯一时进行分类分析预警监测方式;
预警调整单元用于在满足预警需求时进行预警信号的传输。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于大数据的多平台日志审计分析方法,其特征在于,包括以下分析步骤:
步骤S1:基于设置日志自动清理周期的日志审计系统,提取日志审计系统存储记录的日志清理事件,且每一类日志清理事件记录的日志自动清理周期相同;判断日志审计系统中每一类型日志清理事件中包含目标平台的唯一性;
所述步骤S1中判断日志审计系统中每一类型日志清理事件中包含目标平台的唯一性包括以下分析步骤:
标记每一类型日志清理事件中存在日志文件生成的平台为待分析日志平台;
提取待分析日志平台在所述日志清理事件中记录的最大调用周期,所述最大调用周期是指日志清理事件记录对应待分析日志平台的异常事件所需调用的日志文件跨度时长,所述跨度时长是指异常事件发生时的日志文件与所需调用分析的日志文件的存储间隔时长;
将各待分析日志平台按照最大调用周期的数值进行由大到小的排序,提取序列第一的待分析日志平台为目标平台;
提取每一类型日志清理事件包含独立日志清理事件的目标平台,若同一类型日志清理事件中独立日志清理事件的目标平台均相同且不同类型日志清理事件间的目标平台不相同,则输出判断结果为唯一;除此之外,输出判断结果为不唯一;
步骤S2:在步骤S1的判断结果为唯一时,对历史设置的日志自动清理周期进行校验;
步骤S3:在步骤S1的判断结果为不唯一时,调用日志清理事件记录的日志响应数据,构建日志清理事件所包含每一平台的周期评估模型;
步骤S4:获取监测状态下的实际清理周期,以上一清理事件结束为实时监测的起始节点,设置实时监测节点为查询节点,并基于步骤S2和步骤S3的分析结果进行实际清理周期的预警响应。
2.根据权利要求1所述的一种基于大数据的多平台日志审计分析方法,其特征在于;所述步骤S2包括:
步骤S21:获取日志审计系统历史记录的最大日志存储容量,以及最大日志存储容量对应的连续存储时长,所述最大日志存储容量是指不存在日志清理事件下系统提醒因剩余容量达到预警容量时的日志存储容量的最大值;所述连续存储时长是指由上一日志清理事件时刻到系统提醒因剩余容量达到预警容量时刻的间隔时长;
步骤S22:提取每一类型日志清理事件的日志自动清理周期T和最大日志存储容量对应的连续存储时长L,当存在日志自动清理周期T>连续存储时长L的日志清理事件时,对所述日志清理事件的日志自动清理周期校验为时长为L的日志自动清理周期;当日志清理事件的日志自动清理周期T≤连续存储时长L,继续监测,并将目标平台与对应校验后的日志自动清理周期以数据对的形式进行存储。
3.根据权利要求2所述的一种基于大数据的多平台日志审计分析方法,其特征在于:所述步骤S3包括以下分析步骤:
步骤S31:将每一种目标平台对应记录不同日志自动清理周期的日志清理事件进行归类存储生成平台分析集合;提取平台分析集合中各日志清理事件记录的日志响应数据;所述日志响应数据是指日志清理事件中记录调用最大周期对应异常事件的特征数据,所述特征数据包括特征指标和指标值;
步骤S32:将每一平台分析集合中第i类日志清理事件的特征指标构成特征集合Ui,Ui={ui1,ui2,...,uin},其中ui1,ui2,...,uin表示第i类日志清理事件中第1、2、......、n个特征指标,n表示特征指标的个数;比较同一平台分析集合中的d个特征集合,d表示平台分析集合中包含日志清理事件的种类个数,i≤d;输出比较结果A,A=U1∩U2∩......∩Ud;
步骤S33:提取比较结果A中特征指标在第i类日志清理事件中的平均指标值Xi和对应的日志自动清理周期Ti,所述平均指标值是指在同一平台分析集合中存在相同日志自动清理周期的日志清理事件个数大于等于二时对应特征指标的指标值取均值;
生成第i类日志清理事件的序列对Ri,Ri=[Xi,Ti];并构建平台分析集合对应的周期评估模型Y;
Y=ɑ0+ɑ1*x1+...+ɑm*xm+ε;
代入d类日志清理事件对应的序列对R1、R2、...、Rd,计算得到平台分析集合对应的线性回归系数ɑ0、ɑ1、...ɑm和误差项ε;
所述序列对中平均指标值Xi为周期评估模型的自变量xm,日志自动清理周期Ti为周期评估模型的因变量Y;当序列对中特征指标的个数小于二时,m=1,建立的周期评估模型为Y=ɑ0+ɑ1*x1+ε;当序列对中特征指标的个数大于等于二时,m等于比较结果A中特征指标的个数;
每一目标平台对应唯一周期评估模型。
4.根据权利要求3所述的一种基于大数据的多平台日志审计分析方法,其特征在于:所述步骤S4包括以下分析过程:
实时目标平台是指在起始节点和查询节点间的时段内存在异常事件时,异常事件记录的最大调用周期对应的平台为实时目标平台;当起始节点和查询节点间的时段不存在异常事件时,提取日志审计系统记录的日志文件存储量最大值对应的关联平台为实时目标平台;所述关联平台是指日志审计系统存储日志文件对应的平台;
当步骤S1中的判断结果唯一时,提取实时目标平台相应数据对中记录的日志自动清理周期,当日志自动清理周期与实际清理周期的差值大于等于差值阈值时,传输预警信号给日志审计系统;当日志自动清理周期与实际清理周期的差值小于差值阈值时,继续监测;
当步骤S1中的判断结果不唯一时,提取起始节点到查询节点间隔时长内的实时日志响应数据,所述查询节点是指日志审计系统记录的日志自动清理周期最小值对应起始节点的终止节点,且所述日志自动清理周期最小值小于实际清理周期;实时日志响应数据是指满足实时目标平台对应的特征指标和指标值;
将实时日志响应数据代入实时目标平台对应的周期评估模型Y得到实时预估周期Y0,若实时预估周期Y0小于日志自动清理周期最小值时,传输预警信号给日志审计系统;若实时预估周期Y0大于等于日志自动清理周期最小值时,继续监测;
且间隔单位清理周期更新实时日志响应数据,并代入周期评估模型得到实时更新预估周期,直到日志自动清理周期最小值+k个单位清理周期=实际清理周期时停止更新;
若更新过程中存在实时更新预估周期<日志自动清理周期最小值+单位清理周期时,传输预警信号给日志审计系统,否则继续监测保持实际清理周期;所述单位清理周期是指历史记录的清理周期的最小变化量;所述预警信号是指提醒日志审计管理人员对日志清理周期进行缩小预警调整。
5.一种基于大数据的多平台日志审计分析系统,该系统应用权利要求1-4中任一项所述的一种基于大数据的多平台日志审计分析方法,其特征在于,包括日志清理事件存储模块、唯一性判断模块、清理周期分类分析模块和实时监测预警模块;
所述日志清理事件存储模用于基于设置日志自动清理周期的日志审计系统,提取日志审计系统存储记录的日志清理事件;
所述唯一性判断模块用于判断日志审计系统中每一类型日志清理事件中包含目标平台的唯一性;
所述清理周期分类分析模块用于基于唯一性判断模块的判断结果对日志自动清理周期进行分类分析;
所述实时监测预警模块用于获取监测状态下的实际清理周期,以上一清理事件结束为实时监测的起始节点,设置实时监测节点为查询节点,并基于步骤S2和步骤S3的分析结果进行实际清理周期的预警响应。
6.根据权利要求5所述的一种基于大数据的多平台日志审计分析系统,其特征在于:所述唯一性判断模块包括平台标记单元、最大调用周期提取单元、目标平台确定单元和判断分析单元;
所述平台标记单元用于标记每一类型日志清理事件中存在日志文件生成的平台为待分析日志平台;
所述最大调用周期提取单元用于提取待分析日志平台在所述日志清理事件中记录的最大调用周期;
所述目标平台确定单元用于将各待分析日志平台按照最大调用周期的数值进行由大到小的排序,提取序列第一的待分析日志平台为目标平台;
所述判断分析单元用于比较同一类型日志清理事件中独立日志清理事件的目标平台在不同类型清理事件中的关系,输出判断结果。
7.根据权利要求6所述的一种基于大数据的多平台日志审计分析系统,其特征在于:所述清理周期分类分析模块包括唯一特征分析单元和不唯一特征分析单元;
所述唯一特征分析单元用于对日志自动清理周期按照历史记录的最大日志存储容量对应的连续存储时长进行校验分析;
所述不唯一特征分析单元用于建立周期评估模型对日志自动清理周期进行分析。
8.根据权利要求7所述的一种基于大数据的多平台日志审计分析系统,其特征在于:所述实时监测预警模块包括实时目标平台选取单元、分类比较单元和预警调整单元;
所述实时目标平台选取单元用于在起始节点和查询节点间的时段内存在异常事件时或不存在异常事件时确定对应目标平台;
所述分类比较单元用于基于判断结果唯一和判断结果不唯一时进行分类分析预警监测方式;
所述预警调整单元用于在满足预警需求时进行预警信号的传输。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311395439.4A CN117149733B (zh) | 2023-10-26 | 2023-10-26 | 一种基于大数据的多平台日志审计分析系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311395439.4A CN117149733B (zh) | 2023-10-26 | 2023-10-26 | 一种基于大数据的多平台日志审计分析系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117149733A CN117149733A (zh) | 2023-12-01 |
CN117149733B true CN117149733B (zh) | 2024-01-09 |
Family
ID=88912354
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311395439.4A Active CN117149733B (zh) | 2023-10-26 | 2023-10-26 | 一种基于大数据的多平台日志审计分析系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117149733B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117892333B (zh) * | 2024-03-14 | 2024-05-14 | 快页信息技术有限公司 | 一种基于区块链的信息安全监管系统及方法 |
CN118395423B (zh) * | 2024-04-03 | 2024-10-08 | 成都理工大学 | 一种软件应用数据处理方法、系统及可存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112395262A (zh) * | 2020-11-17 | 2021-02-23 | 江苏普旭软件信息技术有限公司 | 一种基于大数据平台审计日志的用户行为分析方法及系统 |
CN116010368A (zh) * | 2023-02-24 | 2023-04-25 | 内蒙古智慧青城科技有限公司 | 基于多元日志数据分析的日志审计方法和系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11354301B2 (en) * | 2017-11-13 | 2022-06-07 | LendingClub Bank, National Association | Multi-system operation audit log |
-
2023
- 2023-10-26 CN CN202311395439.4A patent/CN117149733B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112395262A (zh) * | 2020-11-17 | 2021-02-23 | 江苏普旭软件信息技术有限公司 | 一种基于大数据平台审计日志的用户行为分析方法及系统 |
CN116010368A (zh) * | 2023-02-24 | 2023-04-25 | 内蒙古智慧青城科技有限公司 | 基于多元日志数据分析的日志审计方法和系统 |
Non-Patent Citations (1)
Title |
---|
基于多元日志分析的智能安全感知研究;吴丽琼;黄晓波;唐乐;肖建毅;唐亮亮;;机电工程技术(第07期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117149733A (zh) | 2023-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117149733B (zh) | 一种基于大数据的多平台日志审计分析系统及方法 | |
CN110839016B (zh) | 异常流量监测方法、装置、设备及存储介质 | |
CN110428018A (zh) | 一种全链路监控系统中的异常预测方法及装置 | |
CN115497272A (zh) | 一种基于数字化建造的工期智能化预警系统及方法 | |
CN117439827B (zh) | 一种网络流量大数据分析方法 | |
WO2024066331A1 (zh) | 网络异常检测方法、装置、电子设备及存储介质 | |
CN117498958A (zh) | 一种基于大数据的通信传输设备数据监管方法及系统 | |
CN117556359A (zh) | 配电设备健康状态评估系统及方法 | |
CN117094563B (zh) | 一种基于大数据的液体废物泄漏智能监测系统及方法 | |
CN117439822B (zh) | 一种基于物联网的网络安全数据管理系统及方法 | |
CN117667585B (zh) | 一种基于运维质量管理数据库的运维效率评估方法及系统 | |
CN106357445B (zh) | 一种用户体验监控方法及监控服务器 | |
CN116128690B (zh) | 一种碳排放量成本值计算方法、装置、设备及介质 | |
CN118051863A (zh) | 一种基于数字计量技术的健康数据采集系统及方法 | |
CN118118212A (zh) | 边缘智能的工业互联网入侵检测预警系统 | |
CN110602070A (zh) | 一种网络安全的自动配置管理系统及方法 | |
CN115952030A (zh) | 一种数据追溯方法及其系统 | |
CN107783942B (zh) | 一种异常行为检测方法及装置 | |
Hood et al. | Beyond thresholds: an alternative method for extracting information from network measurements | |
CN114997560B (zh) | 一种用户视频质差根因分析方法和电子设备和存储介质 | |
CN116599782B (zh) | 一种基于数据分析的多维度语音话单数据过滤系统 | |
CN112486096A (zh) | 一种机床运行状态的监控方法 | |
Kaszowska et al. | Assessment of Available Measurement Data, Data Breaks and Estimation of Missing Data from AMI Meters | |
CN118378791B (zh) | 基于人工智能的智能设备数据信息管理系统及方法 | |
CN117035692B (zh) | 一种基于多维度数据的智能评议管理系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |