CN116339645A - 一种防火墙磁盘防溢出的方法、装置、设备及介质 - Google Patents

一种防火墙磁盘防溢出的方法、装置、设备及介质 Download PDF

Info

Publication number
CN116339645A
CN116339645A CN202310605882.3A CN202310605882A CN116339645A CN 116339645 A CN116339645 A CN 116339645A CN 202310605882 A CN202310605882 A CN 202310605882A CN 116339645 A CN116339645 A CN 116339645A
Authority
CN
China
Prior art keywords
log
target
disk
percentage
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310605882.3A
Other languages
English (en)
Other versions
CN116339645B (zh
Inventor
房志鹏
陈英辉
毛庆威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zhongdian Anke Modern Technology Co ltd
Original Assignee
Hangzhou Zhongdian Anke Modern Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zhongdian Anke Modern Technology Co ltd filed Critical Hangzhou Zhongdian Anke Modern Technology Co ltd
Priority to CN202310605882.3A priority Critical patent/CN116339645B/zh
Publication of CN116339645A publication Critical patent/CN116339645A/zh
Application granted granted Critical
Publication of CN116339645B publication Critical patent/CN116339645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/004Error avoidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3037Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a memory, e.g. virtual memory, cache
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3055Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608Saving storage space on storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0643Management of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653Monitoring storage devices or systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0673Single storage device
    • G06F3/0674Disk device
    • G06F3/0676Magnetic disk device
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及电数字数据处理技术领域,特别是涉及一种防火墙磁盘防溢出的方法、装置、设备及介质。该方法包括:获取当前采集时刻日志占用目标防火墙磁盘的百分比;如果当前采集时刻日志占用目标防火墙磁盘的百分比大于等于预设的第一百分比,则获取目标时间段内的日志增长趋势最大值;根据所述目标时间段内的日志增长趋势最大值,确定出当前采集时刻所需的目标磁盘占用百分比;如果当前采集时刻所需的目标磁盘占用百分比大于等于预设的第二百分比,则执行预设的第一日志压缩和转存步骤;否则,执行预设的第二日志压缩和转存步骤。本发明能够防止防火墙磁盘的溢出。

Description

一种防火墙磁盘防溢出的方法、装置、设备及介质
技术领域
本发明涉及电数字数据处理技术领域,特别是涉及一种防火墙磁盘防溢出的方法、装置、设备及介质。
背景技术
存储空间较小的防火墙磁盘具有价格便宜的优点,但是,对于这些存储空间较小的防火墙磁盘,如8G、16G、32G和64G的防火墙磁盘,由于其存储空间较小,实际应用场景中可能会出现磁盘溢出的情况。如何防止防火墙磁盘的溢出,是亟待解决的技术问题。
发明内容
本发明目的在于,提供一种防火墙磁盘防溢出的方法、装置、设备及介质,以防止防火墙磁盘的溢出。
根据本发明的第一方面,提供了一种防火墙磁盘防溢出的方法,包括以下步骤:
获取当前采集时刻日志占用目标防火墙磁盘的百分比。
如果所述当前采集时刻日志占用目标防火墙磁盘的百分比大于等于预设的第一百分比,则获取目标时间段内的日志增长趋势最大值;所述目标时间段为位于当前采集时刻之前且距离当前采集时刻不超过预设的第一时间阈值的时间构成的时间段。
根据所述目标时间段内的日志增长趋势最大值,确定出当前采集时刻所需的目标磁盘占用百分比。
如果所述当前采集时刻所需的目标磁盘占用百分比大于等于预设的第二百分比,则执行预设的第一日志压缩和转存步骤;否则,执行预设的第二日志压缩和转存步骤;所述预设的第一日志压缩和转存步骤包括在压缩和转存的过程中断开写入目标磁盘中数据库的连接,所述预设的第二日志压缩和转存步骤包括在压缩和转存的过程中不断开写入目标磁盘中数据库的连接。
根据本发明的第二方面,提供了一种防火墙磁盘防溢出的装置,所述装置包括:
第一获取模块,用于获取当前采集时刻日志占用目标防火墙磁盘的百分比。
第二获取模块,用于如果所述当前采集时刻日志占用目标防火墙磁盘的百分比大于等于预设的第一百分比,则获取目标时间段内的日志增长趋势最大值;所述目标时间段为位于当前采集时刻之前且距离当前采集时刻不超过预设的第一时间阈值的时间构成的时间段。
第一确定模块,用于根据所述目标时间段内的日志增长趋势最大值,确定出当前采集时刻所需的目标磁盘占用百分比。
第一执行模块,用于如果所述当前采集时刻所需的目标磁盘占用百分比大于等于预设的第二百分比,则执行预设的第一日志压缩和转存步骤;否则,执行预设的第二日志压缩和转存步骤;所述预设的第一日志压缩和转存步骤包括在压缩和转存的过程中断开写入目标磁盘中数据库的连接,所述预设的第二日志压缩和转存步骤包括在压缩和转存的过程中不断开写入目标磁盘中数据库的连接。
根据本发明的第三方面,提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的防火墙磁盘防溢出的方法。
根据本发明的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的防火墙磁盘防溢出的方法。
本发明与现有技术相比至少具有以下有益效果:
本发明在当前采集时刻日志占用目标防火墙磁盘的百分比大于等于预设的第一百分比的情况下,基于目标时间段内的日志增长趋势最大值确定了当前采集时刻所需的目标磁盘占用百分比,当前采集时刻所需的目标磁盘占用百分比用于表征从当前采集时刻开始压缩所需的目标磁盘占用百分比;如果当前采集时刻所需的目标磁盘占用百分比大于等于预设的第二百分比,说明从当前采集时刻开始压缩所需的目标磁盘占用百分比较大,则执行在压缩和转存的过程中断开写入目标磁盘中数据库的连接的第一日志压缩和转存步骤,以避免在压缩和转存的过程中出现磁盘溢出的问题;如果当前采集时刻所需的目标磁盘占用百分比小于预设的第二百分比,说明从当前采集时刻开始压缩所需的目标磁盘占用百分比较小,则执行在压缩和转存的过程中不断开写入目标磁盘中数据库的连接的第二日志压缩和转存步骤,以记录压缩和转存的过程中的日志,避免在压缩和转存的过程中丢失日志的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的防火墙磁盘防溢出的方法的流程图;
图2为本发明实施例一提供的S100步骤之前的步骤的流程图;
图3为本发明实施例一提供的S200步骤的流程图;
图4为本发明实施例一提供的S300步骤的流程图;
图5为本发明实施例一提供的S320步骤的流程图;
图6为本发明实施例一提供的S330步骤的流程图;
图7为本发明实施例一提供的确定预设的第一百分比的方法的流程图;
图8为本发明实施例二提供的防火墙磁盘防溢出的装置的示意图;
图9为本发明实施例二提供的预判断模块的示意图;
图10为本发明实施例二提供的200模块的示意图;
图11为本发明实施例二提供的300模块的示意图;
图12为本发明实施例二提供的320模块的示意图;
图13为本发明实施例二提供的330模块的示意图;
图14为本发明实施例二提供的确定预设的第一百分比模块的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
如图1所示,本实施例一提供了一种防火墙磁盘防溢出的方法,包括以下步骤:
S100,获取当前采集时刻日志占用目标防火墙磁盘的百分比。
可选的,本实施例中防火墙磁盘的存储空间小于等于64G。
具体的,将日志压缩过程中产生的日志占用目标磁盘的百分比记为β。
优选的,在S100之前还包括以下步骤,如图2所示:
S001,获取测试阶段中目标磁盘的占用百分比达到预设的目标磁盘的最大占用百分比时所需的时间。
具体的,将测试阶段中目标磁盘的占用百分比达到预设的目标磁盘的最大占用百分比时所需的时间记为t,t=max(t1,t2,…,ti,…,tP),ti为测试阶段中第i轮次测试中目标磁盘的占用百分比达到预设的目标磁盘的最大占用百分比时所需的时间,i的取值范围为1到P,P为测试阶段包括的测试轮次。
测试阶段的目的在于获取目标磁盘的占用百分比达到β1时所需的时间,以对应用场景中目标磁盘的占用百分比达到β1时所需的时间进行预测,可选的,测试阶段为将目标磁盘至于应用场景中的最早的一段预设时间。
具体的,将预设的目标磁盘的最大占用百分比记为β1,90%≤β1<100%;可选的,β1=95%。
S002,如果所述测试阶段中目标磁盘的占用百分比达到预设的目标磁盘的最大占用百分比时所需的时间小于预设的第二时间阈值,则执行S100;否则,不执行S100。
根据本发明,第二时间阈值为经验值。
根据本实施例,磁盘的应用场景不同时日志的增长速度不同,那么具有相同存储空间的磁盘的占用百分比达到β1时所需的时间就不同;本实施例结合目标磁盘的应用场景,根据测试阶段目标磁盘的占用百分比达到β1时所需的时间的大小对目标磁盘是否需要执行S100及后续的步骤进行了判断,在所需的时间小于预设的第二时间阈值的情况下执行S100及后续的步骤,避免磁盘在相对较短的时间内就出现溢出情况;在所需的时间大于等于预设的第二时间阈值的情况下不执行S100及后续的步骤,以减少处理器的总任务线程,提高处理器的运行效率。
S200,如果所述当前采集时刻日志占用目标防火墙磁盘的百分比大于等于预设的第一百分比,则获取目标时间段内的日志增长趋势最大值;所述目标时间段为位于当前采集时刻之前且距离当前采集时刻不超过预设的第一时间阈值的时间构成的时间段。
本发明中预设的第一百分比为β0,可选的,β0为经验值。
可选的,第一时间阈值为5min。
具体的,S200中获取目标时间段内的日志增长趋势最大值包括如下步骤,如图3所示:
S210,获取日志增长趋势值列表,所述日志增长趋势值列表包括目标时间段中各采集时刻对应的日志增长趋势值;每一采集时刻对应的日志增长趋势值为对应采集时刻的上一采集时刻至所述对应采集时刻的时间段中日志占用目标磁盘的百分比的增长量。
具体的,日志增长趋势值列表为(d1,d2,…,dm,…,dM),dm为目标时间段中按照时间先后顺序获取的第m个采集时刻对应的日志增长趋势值,m的取值范围为1到M,M为目标时间段包括的采集时刻的数量,dm=em-em-1,em为目标时间段中按照时间先后顺序获取的第m-1个采集时刻至第m个采集时刻的时间段中日志占用目标磁盘的百分比的增长量,em-1为目标时间段中按照时间先后顺序获取的第m-2个采集时刻至第m-1个采集时刻的时间段中日志占用目标磁盘的百分比的增长量。
S220,获取所述日志增长趋势值列表包括的目标时间段中各采集时刻对应的日志增长趋势值的最大值。
具体的,目标时间段内的日志增长趋势最大值为D,D=max(d1,d2,…,dm,…,dM),max( )为取最大值。
S300,根据所述目标时间段内的日志增长趋势最大值,确定出当前采集时刻所需的目标磁盘占用百分比。
具体的,S300步骤中还包括如下步骤,如图4所示:
S310,获取日志压缩比。
具体的,日志压缩比记为c,日志压缩比为日志压缩之后的压缩包占用目标磁盘的百分比与日志未压缩之前占用目标磁盘的百分比之比。
S320,根据所述目标时间段内的日志增长趋势最大值,确定出日志压缩过程中产生的日志占用目标磁盘的百分比。
具体的,S320步骤中还包括如下步骤,如图5所示:
S321,获取当前采集时刻的上一采集时刻至当前采集时刻的时间段中日志占用目标磁盘的百分比的增长量。
具体的,将当前采集时刻的上一采集时刻至当前采集时刻的时间段中日志占用目标磁盘的百分比的增长量记为a’。
S322,获取压缩时间比。
具体的,将压缩时间比记为k1,压缩时间比为压缩所需时间与日志未压缩之前占用目标磁盘的百分比之比。
S323,获取两个相邻的采集时刻之间的时间差。
具体的,将两个相邻的采集时刻之间的时间差记为T0,本发明中任意两个相邻的采集时刻之间的时间差均为T0。可选的,T0=10s。
S324,根据所述目标时间段内的日志增长趋势最大值、所述当前采集时刻的上一采集时刻至当前采集时刻的时间段中日志占用目标磁盘的百分比的增长量、所述压缩时间比、所述两个相邻的采集时刻之间的时间差和所述当前采集时刻日志占用目标防火墙磁盘的百分比,确定出日志压缩过程中产生的日志占用目标磁盘的百分比。
具体的,压缩过程中产生的日志占用目标磁盘的百分比为(D+a’)/T0)×(β×k1)。
S330,根据当前采集时刻日志占用目标防火墙磁盘的百分比、所述日志压缩比和日志压缩过程中产生的日志占用目标磁盘的百分比,确定出当前采集时刻所需的目标磁盘占用百分比。
具体的,S330步骤中还包括如下步骤,如图6所示:
S331,获取目标防火墙磁盘的出厂文件占用目标磁盘的百分比。
具体的,将目标防火墙磁盘的出厂文件占用目标磁盘的百分比记为β2。出厂文件占用目标磁盘的百分比为目标磁盘的属性参数,可直接获取。
S332,根据所述目标防火墙磁盘的出厂文件占用目标磁盘的百分比、所述当前采集时刻日志占用目标防火墙磁盘的百分比、所述日志压缩比和日志压缩过程中产生的日志占用目标磁盘的百分比,确定出当前采集时刻所需的目标磁盘占用百分比。
具体的,当前采集时刻所需的目标磁盘占用百分比为α,α=β2+((D+a’)/T0)×(β×k1)+β(1+c)。
S400,如果所述当前采集时刻所需的目标磁盘占用百分比大于等于预设的第二百分比,则执行预设的第一日志压缩和转存步骤;否则,执行预设的第二日志压缩和转存步骤;所述预设的第一日志压缩和转存步骤包括在压缩和转存的过程中断开写入目标磁盘中数据库的连接,所述预设的第二日志压缩和转存步骤包括在压缩和转存的过程中不断开写入目标磁盘中数据库的连接。
优选的,预设的第二百分比为100%。将100%作为当前采集时刻所需的目标磁盘占用百分比α的比较对象,更加符合当目标磁盘的占比达到100%时才会真正出现溢出的情况,有效提高了执行第二日志压缩和转存步骤的概率,减少了压缩和转存的过程中日志的丢失。
可选的,进行压缩的日志为除系统日志和操作日志以外的日志,包括事件关联日志、ip黑名单日志、异常事件日志和安全防护日志等。
本领域技术人员知悉,日志压缩和转存的过程为现有技术,此处不再赘述。优选的,日志压缩过程中采用 9级压缩,并对9级压缩后的数据进一步进行加密压缩,以提高日志的安全性;将加密压缩后的文件通过简单文件传输协议(tftp)发送到日志服务器,在发送成功后将文件进行删除,对磁盘中数据库表进行清理以释放磁盘空间。
本发明在当前采集时刻日志占用目标防火墙磁盘的百分比大于等于预设的第一百分比的情况下,基于目标时间段内的日志增长趋势最大值确定了当前采集时刻所需的目标磁盘占用百分比,当前采集时刻所需的目标磁盘占用百分比用于表征从当前采集时刻开始压缩所需的目标磁盘占用百分比;如果当前采集时刻所需的目标磁盘占用百分比大于等于预设的第二百分比,说明从当前采集时刻开始压缩所需的目标磁盘占用百分比较大,则执行在压缩和转存的过程中断开写入目标磁盘中数据库的连接的第一日志压缩和转存步骤,以避免在压缩和转存的过程中出现磁盘溢出的问题;如果当前采集时刻所需的目标磁盘占用百分比小于预设的第二百分比,说明从当前采集时刻开始压缩所需的目标磁盘占用百分比较小,则执行在压缩和转存的过程中不断开写入目标磁盘中数据库的连接的第二日志压缩和转存步骤,以记录压缩和转存的过程中的日志,避免在压缩和转存的过程中丢失日志的问题。
如图7所示,优选的β0的获取方法包括:
S201,获取历史时间段内的日志增长趋势最大值。
具体的,将历史时间段内的日志增长趋势最大值记为A;当历史时间段的时长T’小于7个自然日时,A=max(a1,a2,…,an,…,aN),an为历史时间段中距离当前采集时刻最近的24小时中按照时间先后顺序获取的第n个采集时刻对应的日志增长趋势值,n的取值范围为1到N,N为24小时包括的采集时刻的数量,an=bn-bn-1,bn为历史时间段中距离当前采集时刻最近的24小时中按照时间先后顺序获取的第n-1个采集时刻至第n个采集时刻的时间段中日志占用目标磁盘的百分比的增长量,bn-1为历史时间段中距离当前采集时刻最近的24小时中按照时间先后顺序获取的第n-2个采集时刻至第n-1个采集时刻的时间段中日志占用目标磁盘的百分比的增长量。
应当理解的是,当bn-bn-1<0时,an<0,表示日志增长趋势值为负,即日志处于负增长趋势。
优选的,当历史时间段的时长T’大于等于7个自然日且小于14个自然日时,A=max(max(a1,a2,…,an,…,aN),max(h1,h2,…,hn,…,hN)),hn为历史时间段中同一天中按照时间先后顺序获取的第n个采集时刻对应的日志增长趋势值,hn=rn-rn-1,rn为历史时间段中同一天中按照时间先后顺序获取的第n-1个采集时刻至第n个采集时刻的时间段中日志占用目标磁盘的百分比的增长量,rn-1为历史时间段中同一天中按照时间先后顺序获取的第n-2个采集时刻至第n-1个采集时刻的时间段中日志占用目标磁盘的百分比的增长量。
本发明在历史时间段的时长T’大于等于7个自然日且小于14个自然日的情况下,结合了历史时间段中距离当前采集时刻最近的24小时和历史时间段中同一天中各采集时刻的日志占用目标磁盘的百分比,其中历史时间段中距离当前采集时刻最近的24小时可用于表征最近的日志占用目标磁盘的百分比变化情况,历史时间段中同一天可用于表征具有星期规律(即同为星期一/二/三/四/五/六/七的自然日之间日志占用目标磁盘的百分比变化情况较为相似)的日志占用目标磁盘的百分比变化情况,本发明中A=max(max(a1,a2,…,an,…,aN),max(h1,h2,…,hn,…,hN)),可以更好地满足目标磁盘在日志压缩过程中不至于溢出的需求。
应当理解的是,如果当前采集时刻属于星期一,那么历史时间段中同一天指的是历史阶段中的星期一;如果当前采集时刻属于星期二,那么历史时间段中同一天指的是历史阶段中的星期二,以次类推。
优选的,当历史时间段的时长T’大于等于14个自然日时,A=max(max(h1 1,h1 2,…,h1 n,…,h1 N),max(h2 1,h2 2,…,h2 n,…,h2 N),…,max(hq 1,hq 2,…,hq n,…,hq N),…,max(hQ 1,hQ 2,…,hQ n,…,hQ N)),hq n为历史时间段中按照时间先后顺序获取的第q个同一天中第n个采集时刻对应的日志增长量,hq n=rq n-rq n-1,rq n为历史时间段中按照时间先后顺序获取的第q个同一天中第n-1个采集时刻至第n个采集时刻的时间段中日志占用目标磁盘的百分比的增长量,rn-1为历史时间段中按照时间先后顺序获取的第q个同一天中第n-2个采集时刻至第n-1个采集时刻的时间段中日志占用目标磁盘的百分比的增长量,q的取值范围为1到Q,Q为历史时间段包括的整周数量。
本发明在历史时间段的时长大于14个自然日的情况下,结合了历史时间段中各同一天中各采集时刻的日志占用目标磁盘的百分比,充分考虑了日志占用目标磁盘的百分比的变化的星期规律(即同为星期一/二/三/四/五/六/七的自然日之间日志占用目标磁盘的百分比变化情况较为相似),本发明中A=max(max(h1 1,h1 2,…,h1 n,…,h1 N),max(h2 1,h2 2,…,h2 n,…,h2 N),…,max(hq 1,hq 2,…,hq n,…,hq N),…,max(hQ 1,hQ 2,…,hQ n,…,hQ N)),可以更好地满足目标磁盘在日志压缩过程中不至于溢出的需求。
应当理解的是,如果当前采集时刻属于星期一,那么历史时间段中同一天指的是历史阶段中的星期一,历史时间段中按照时间先后顺序获取的第q个同一天指的是历史时间段中按照时间先后顺序获取的第q个星期一;如果当前采集时刻属于星期二,那么历史时间段中同一天指的是历史阶段中的星期二,历史时间段中按照时间先后顺序获取的第q个同一天指的是历史时间段中按照时间先后顺序获取的第q个星期二;以次类推。
S202,根据所述历史时间段内的日志增长趋势最大值、所述压缩时间比、所述日志压缩比和所述出厂文件占用目标磁盘的百分比,确定出预设的第一百分比。
具体的,β0=|β2+(β12)/(1+c+k1×A/T0)|。
本发明提供了一种优选的β0的获取方法,其中,获取了历史时间段内的日志增长趋势最大值A,还获取了压缩时间比k1、日志压缩比c和出厂文件占用的百分比β2,并基于这些参数获取了β0的取值;该β0的取值以历史时间段内的日志增长趋势最大值A为基准预测了日志压缩过程中新增日志占用目标磁盘的百分比,还考虑了出厂文件占用目标磁盘的百分比和日志压缩后占用目标磁盘的百分比,使得β0的取值一方面可以满足目标磁盘在日志压缩过程中不至于溢出的需求,另一方面β0的取值也不至于较小,避免出现频繁进行日志压缩和转存的情况;且本发明将预设的目标磁盘的最大占用百分比β1(0.9≤β1<1)作为获取β0时目标磁盘溢出的参考值,进一步减小了日志压缩过程中目标磁盘溢出的概率,进一步避免了目标磁盘在日志压缩过程中不至于溢出的问题。
实施例二
如图8所示,本实施例二提供了一种防火墙磁盘防溢出的装置,包括:
第一获取模块100,用于获取当前采集时刻日志占用目标防火墙磁盘的百分比。
可选的,本实施例中防火墙磁盘的存储空间小于等于64G。
具体的,将日志压缩过程中产生的日志占用目标磁盘的百分比记为β。
优选的,防火墙磁盘防溢出的装置还包括预判断模块,预判断模块设置在第一获取模块100之前,用于判断是否进入第一获取模块100;如图9所示,预判断模块包括:
预获取模块001,用于获取测试阶段中目标磁盘的占用百分比达到预设的目标磁盘的最大占用百分比时所需的时间。
具体的,将测试阶段中目标磁盘的占用百分比达到预设的目标磁盘的最大占用百分比时所需的时间记为t,t=max(t1,t2,…,ti,…,tP),ti为测试阶段中第i轮次测试中目标磁盘的占用百分比达到预设的目标磁盘的最大占用百分比时所需的时间,i的取值范围为1到P,P为测试阶段包括的测试轮次。
测试阶段的目的在于获取目标磁盘的占用百分比达到β1时所需的时间,以对应用场景中目标磁盘的占用百分比达到β1时所需的时间进行预测,可选的,测试阶段为将目标磁盘至于应用场景中的最早的一段预设时间。
具体的,将预设的目标磁盘的最大占用百分比记为β1,90%≤β1<100%;可选的,β1=95%。
预执行模块002,用于如果所述测试阶段中目标磁盘的占用百分比达到预设的目标磁盘的最大占用百分比时所需的时间小于预设的第二时间阈值,则进入第一获取模块100;否则,不进入第一获取模块100。
根据本发明,第二时间阈值为经验值。
根据本实施例,磁盘的应用场景不同时日志的增长速度不同,那么具有相同存储空间的磁盘的占用百分比达到β1时所需的时间就不同;本实施例结合目标磁盘的应用场景,根据测试阶段目标磁盘的占用百分比达到β1时所需的时间的大小对目标磁盘是否需要进入后续的模块进行了判断,在所需的时间小于预设的第二时间阈值的情况下进入后续的模块,避免磁盘在相对较短的时间内就出现溢出情况;在所需的时间大于等于预设的第二时间阈值的情况下不进入后续的模块,以减少处理器的总任务线程,提高处理器的运行效率。
第二获取模块200,用于如果所述当前采集时刻日志占用目标防火墙磁盘的百分比大于等于预设的第一百分比,则获取目标时间段内的日志增长趋势最大值;所述目标时间段为位于当前采集时刻之前且距离当前采集时刻不超过预设的第一时间阈值的时间构成的时间段。
本发明中预设的第一百分比为β0,可选的,β0为经验值。
可选的,第一时间阈值为5min。
具体的,第二获取模块获取目标时间段内的日志增长趋势最大值包括如下步骤,如图10所示:
第八获取模块210,用于获取日志增长趋势值列表,所述日志增长趋势值列表包括目标时间段中各采集时刻对应的日志增长趋势值;每一采集时刻对应的日志增长趋势值为对应采集时刻的上一采集时刻至所述对应采集时刻的时间段中日志占用目标磁盘的百分比的增长量。
具体的,日志增长趋势值列表为(d1,d2,…,dm,…,dM),dm为目标时间段中按照时间先后顺序获取的第m个采集时刻对应的日志增长趋势值,m的取值范围为1到M,M为目标时间段包括的采集时刻的数量,dm=em-em-1,em为目标时间段中按照时间先后顺序获取的第m-1个采集时刻至第m个采集时刻的时间段中日志占用目标磁盘的百分比的增长量,em-1为目标时间段中按照时间先后顺序获取的第m-2个采集时刻至第m-1个采集时刻的时间段中日志占用目标磁盘的百分比的增长量。
第九获取模块220,用于获取所述日志增长趋势值列表包括的目标时间段中各采集时刻对应的日志增长趋势值的最大值。
具体的,目标时间段内的日志增长趋势最大值为D,D=max(d1,d2,…,dm,…,dM),max( )为取最大值。
第一确定模块300,用于根据所述目标时间段内的日志增长趋势最大值,确定出当前采集时刻所需的目标磁盘占用百分比。
具体的,如图11所示,第一确定模块300:
第三获取模块310,用于获取日志压缩比。
具体的,日志压缩比记为c,日志压缩比为日志压缩之后的压缩包占用目标磁盘的百分比与日志未压缩之前占用目标磁盘的百分比之比。
第二确定模块320,用于根据所述目标时间段内的日志增长趋势最大值,确定出日志压缩过程中产生的日志占用目标磁盘的百分比。
具体的,如图12所示,第二确定模块320包括:
第四获取模块321,用于获取当前采集时刻的上一采集时刻至当前采集时刻的时间段中日志占用目标磁盘的百分比的增长量。
具体的,将当前采集时刻的上一采集时刻至当前采集时刻的时间段中日志占用目标磁盘的百分比的增长量记为a’。
第五获取模块322,用于获取压缩时间比。
具体的,将压缩时间比记为k1,压缩时间比为压缩所需时间与日志未压缩之前占用目标磁盘的百分比之比。
第六获取模块323,用于获取两个相邻的采集时刻之间的时间差。
具体的,将两个相邻的采集时刻之间的时间差记为T0,本发明中任意两个相邻的采集时刻之间的时间差均为T0。可选的,T0=10s。
第四确定模块324,用于根据所述目标时间段内的日志增长趋势最大值、所述当前采集时刻的上一采集时刻至当前采集时刻的时间段中日志占用目标磁盘的百分比的增长量、所述压缩时间比、所述两个相邻的采集时刻之间的时间差和所述当前采集时刻日志占用目标防火墙磁盘的百分比,确定出日志压缩过程中产生的日志占用目标磁盘的百分比。
具体的,日志压缩过程中产生的日志占用目标磁盘的百分比为(D+a’)/T0)×(β×k1)。
第三确定模块330,用于根据当前采集时刻日志占用目标防火墙磁盘的百分比、所述日志压缩比和日志压缩过程中产生的日志占用目标磁盘的百分比,确定出当前采集时刻所需的目标磁盘占用百分比。
具体的,如图13所示,第三确定模块330包括:
第七获取模块331,用于获取目标防火墙磁盘的出厂文件占用目标磁盘的百分比。
具体的,将目标防火墙磁盘的出厂文件占用目标磁盘的百分比记为β2。出厂文件占用目标磁盘的百分比为目标磁盘的属性参数,可直接获取。
第五确定模块332,用于根据所述目标防火墙磁盘的出厂文件占用目标磁盘的百分比、所述当前采集时刻日志占用目标防火墙磁盘的百分比、所述日志压缩比和日志压缩过程中产生的日志占用目标磁盘的百分比,确定出当前采集时刻所需的目标磁盘占用百分比。
具体的,当前采集时刻所需的目标磁盘占用百分比为α,α=β2+((D+a’)/T0)×(β×k1)+β(1+c)。
第一执行模块400,用于如果所述当前采集时刻所需的目标磁盘占用百分比大于等于预设的第二百分比,则执行预设的第一日志压缩和转存步骤;否则,执行预设的第二日志压缩和转存步骤;所述预设的第一日志压缩和转存步骤包括在压缩和转存的过程中断开写入目标磁盘中数据库的连接,所述预设的第二日志压缩和转存步骤包括在压缩和转存的过程中不断开写入目标磁盘中数据库的连接。
优选的,预设的第二百分比为100%。将100%作为当前采集时刻所需的目标磁盘占用百分比α的比较对象,更加符合当目标磁盘的占比达到100%时才会真正出现溢出的情况,有效提高了执行第二日志压缩和转存步骤的概率,减少了压缩和转存的过程中日志的丢失。
可选的,进行压缩的日志为除系统日志和操作日志以外的日志,包括事件关联日志、ip黑名单日志、异常事件日志和安全防护日志等。
本领域技术人员知悉,日志压缩和转存的过程为现有技术,此处不再赘述。优选的,日志压缩过程中采用 9级压缩,并对9级压缩后的数据进一步进行加密压缩,以提高日志的安全性;将加密压缩后的文件通过简单文件传输协议(tftp)发送到日志服务器,在发送成功后将文件进行删除,对磁盘中数据库表进行清理以释放磁盘空间。
本发明在当前采集时刻日志占用目标防火墙磁盘的百分比大于等于预设的第一百分比的情况下,基于目标时间段内的日志增长趋势最大值确定了当前采集时刻所需的目标磁盘占用百分比,当前采集时刻所需的目标磁盘占用百分比用于表征从当前采集时刻开始压缩所需的目标磁盘占用百分比;如果当前采集时刻所需的目标磁盘占用百分比大于等于预设的第二百分比,说明从当前采集时刻开始压缩所需的目标磁盘占用百分比较大,则执行在压缩和转存的过程中断开写入目标磁盘中数据库的连接的第一日志压缩和转存步骤,以避免在压缩和转存的过程中出现磁盘溢出的问题;如果当前采集时刻所需的目标磁盘占用百分比小于预设的第二百分比,说明从当前采集时刻开始压缩所需的目标磁盘占用百分比较小,则执行在压缩和转存的过程中不断开写入目标磁盘中数据库的连接的第二日志压缩和转存步骤,以记录压缩和转存的过程中的日志,避免在压缩和转存的过程中丢失日志的问题。
如图14所示,优选的,所述防火墙磁盘防溢出的装置还包括确定预设的第一百分比模块,用于确定预设的第一百分比,所述确定预设的第一百分比模块包括:
第十获取模块201,用于获取历史时间段内的日志增长趋势最大值。
具体的,将历史时间段内的日志增长趋势最大值记为A;当历史时间段的时长T’小于7个自然日时,A=max(a1,a2,…,an,…,aN),an为历史时间段中距离当前采集时刻最近的24小时中按照时间先后顺序获取的第n个采集时刻对应的日志增长趋势值,n的取值范围为1到N,N为24小时包括的采集时刻的数量,an=bn-bn-1,bn为历史时间段中距离当前采集时刻最近的24小时中按照时间先后顺序获取的第n-1个采集时刻至第n个采集时刻的时间段中日志占用目标磁盘的百分比的增长量,bn-1为历史时间段中距离当前采集时刻最近的24小时中按照时间先后顺序获取的第n-2个采集时刻至第n-1个采集时刻的时间段中日志占用目标磁盘的百分比的增长量。
应当理解的是,当bn-bn-1<0时,an<0,表示日志增长趋势值为负,即日志处于负增长趋势。
优选的,当历史时间段的时长T’大于等于7个自然日且小于14个自然日时,A=max(max(a1,a2,…,an,…,aN),max(h1,h2,…,hn,…,hN)),hn为历史时间段中同一天中按照时间先后顺序获取的第n个采集时刻对应的日志增长趋势值,hn=rn-rn-1,rn为历史时间段中同一天中按照时间先后顺序获取的第n-1个采集时刻至第n个采集时刻的时间段中日志占用目标磁盘的百分比的增长量,rn-1为历史时间段中同一天中按照时间先后顺序获取的第n-2个采集时刻至第n-1个采集时刻的时间段中日志占用目标磁盘的百分比的增长量。
本发明在历史时间段的时长T’大于等于7个自然日且小于14个自然日的情况下,结合了历史时间段中距离当前采集时刻最近的24小时和历史时间段中同一天中各采集时刻的日志占用目标磁盘的百分比,其中历史时间段中距离当前采集时刻最近的24小时可用于表征最近的日志占用目标磁盘的百分比变化情况,历史时间段中同一天可用于表征具有星期规律(即同为星期一/二/三/四/五/六/七的自然日之间日志占用目标磁盘的百分比变化情况较为相似)的日志占用目标磁盘的百分比变化情况,本发明中A=max(max(a1,a2,…,an,…,aN),max(h1,h2,…,hn,…,hN)),可以更好地满足目标磁盘在日志压缩过程中不至于溢出的需求。
应当理解的是,如果当前采集时刻属于星期一,那么历史时间段中同一天指的是历史阶段中的星期一;如果当前采集时刻属于星期二,那么历史时间段中同一天指的是历史阶段中的星期二,以次类推。
优选的,当历史时间段的时长T’大于等于14个自然日时,A=max(max(h1 1,h1 2,…,h1 n,…,h1 N),max(h2 1,h2 2,…,h2 n,…,h2 N),…,max(hq 1,hq 2,…,hq n,…,hq N),…,max(hQ 1,hQ 2,…,hQ n,…,hQ N)),hq n为历史时间段中按照时间先后顺序获取的第q个同一天中第n个采集时刻对应的日志增长量,hq n=rq n-rq n-1,rq n为历史时间段中按照时间先后顺序获取的第q个同一天中第n-1个采集时刻至第n个采集时刻的时间段中日志占用目标磁盘的百分比的增长量,rn-1为历史时间段中按照时间先后顺序获取的第q个同一天中第n-2个采集时刻至第n-1个采集时刻的时间段中日志占用目标磁盘的百分比的增长量,q的取值范围为1到Q,Q为历史时间段包括的整周数量。
本发明在历史时间段的时长大于14个自然日的情况下,结合了历史时间段中各同一天中各采集时刻的日志占用目标磁盘的百分比,充分考虑了日志占用目标磁盘的百分比的变化的星期规律(即同为星期一/二/三/四/五/六/七的自然日之间日志占用目标磁盘的百分比变化情况较为相似),本发明中A=max(max(h1 1,h1 2,…,h1 n,…,h1 N),max(h2 1,h2 2,…,h2 n,…,h2 N),…,max(hq 1,hq 2,…,hq n,…,hq N),…,max(hQ 1,hQ 2,…,hQ n,…,hQ N)),可以更好地满足目标磁盘在日志压缩过程中不至于溢出的需求。
应当理解的是,如果当前采集时刻属于星期一,那么历史时间段中同一天指的是历史阶段中的星期一,历史时间段中按照时间先后顺序获取的第q个同一天指的是历史时间段中按照时间先后顺序获取的第q个星期一;如果当前采集时刻属于星期二,那么历史时间段中同一天指的是历史阶段中的星期二,历史时间段中按照时间先后顺序获取的第q个同一天指的是历史时间段中按照时间先后顺序获取的第q个星期二;以次类推。
第六确定模块202,用于根据所述历史时间段内的日志增长趋势最大值、所述压缩时间比、所述日志压缩比和所述出厂文件占用目标磁盘的百分比,确定出预设的第一百分比。
具体的,β0=|β2+(β12)/(1+c+k1×A/T0)|。
本发明提供了一种优选的β0的获取方法,其中,获取了历史时间段内的日志增长趋势最大值A,还获取了压缩时间比k1、日志压缩比c和出厂文件占用的百分比β2,并基于这些参数获取了β0的取值;该β0的取值以历史时间段内的日志增长趋势最大值A为基准预测了日志压缩过程中新增日志占用目标磁盘的百分比,还考虑了出厂文件占用目标磁盘的百分比和日志压缩后占用目标磁盘的百分比,使得β0的取值一方面可以满足目标磁盘在日志压缩过程中不至于溢出的需求,另一方面β0的取值也不至于较小,避免出现频繁进行日志压缩和转存的情况;且本发明将预设的目标磁盘的最大占用百分比β1(0.9≤β1<1)作为获取β0时目标磁盘溢出的参考值,进一步减小了日志压缩过程中目标磁盘溢出的概率,进一步避免了目标磁盘在日志压缩过程中不至于溢出的问题。
实施例三
本实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
获取当前采集时刻日志占用目标防火墙磁盘的百分比。
如果所述当前采集时刻日志占用目标防火墙磁盘的百分比大于等于预设的第一百分比,则获取目标时间段内的日志增长趋势最大值;所述目标时间段为距离当前采集时刻不超过预设的第一时间阈值的时间构成的时间段。
根据所述目标时间段内的日志增长趋势最大值,确定出当前采集时刻所需的目标磁盘占用百分比。
如果所述当前采集时刻所需的目标磁盘占用百分比大于等于预设的第二百分比,则执行预设的第一日志压缩和转存步骤;否则,执行预设的第二日志压缩和转存步骤;所述预设的第一日志压缩和转存步骤包括在压缩和转存的过程中断开写入目标磁盘中数据库的连接,所述预设的第二日志压缩和转存步骤包括在压缩和转存的过程中不断开写入目标磁盘中数据库的连接。
实施例四
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取当前采集时刻日志占用目标防火墙磁盘的百分比。
如果所述当前采集时刻日志占用目标防火墙磁盘的百分比大于等于预设的第一百分比,则获取目标时间段内的日志增长趋势最大值;所述目标时间段为距离当前采集时刻不超过预设的第一时间阈值的时间构成的时间段。
根据所述目标时间段内的日志增长趋势最大值,确定出当前采集时刻所需的目标磁盘占用百分比。
如果所述当前采集时刻所需的目标磁盘占用百分比大于等于预设的第二百分比,则执行预设的第一日志压缩和转存步骤;否则,执行预设的第二日志压缩和转存步骤;所述预设的第一日志压缩和转存步骤包括在压缩和转存的过程中断开写入目标磁盘中数据库的连接,所述预设的第二日志压缩和转存步骤包括在压缩和转存的过程中不断开写入目标磁盘中数据库的连接。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员还应理解,可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明的范围由所附权利要求来限定。

Claims (12)

1.一种防火墙磁盘防溢出的方法,其特征在于,包括以下步骤:
获取当前采集时刻日志占用目标防火墙磁盘的百分比;
如果所述当前采集时刻日志占用目标防火墙磁盘的百分比大于等于预设的第一百分比,则获取目标时间段内的日志增长趋势最大值;所述目标时间段为位于当前采集时刻之前且距离当前采集时刻不超过预设的第一时间阈值的时间构成的时间段;
根据所述目标时间段内的日志增长趋势最大值,确定出当前采集时刻所需的目标磁盘占用百分比;
如果所述当前采集时刻所需的目标磁盘占用百分比大于等于预设的第二百分比,则执行预设的第一日志压缩和转存步骤;否则,执行预设的第二日志压缩和转存步骤;所述预设的第一日志压缩和转存步骤包括在压缩和转存的过程中断开写入目标磁盘中数据库的连接,所述预设的第二日志压缩和转存步骤包括在压缩和转存的过程中不断开写入目标磁盘中数据库的连接。
2.根据权利要求1所述的防火墙磁盘防溢出的方法,其特征在于,根据所述目标时间段内的日志增长趋势最大值,确定出当前采集时刻所需的目标磁盘占用百分比,包括以下步骤:
获取日志压缩比;
根据所述目标时间段内的日志增长趋势最大值,确定出日志压缩过程中产生的日志占用目标磁盘的百分比;
根据当前采集时刻日志占用目标防火墙磁盘的百分比、所述日志压缩比和日志压缩过程中产生的日志占用目标磁盘的百分比,确定出当前采集时刻所需的目标磁盘占用百分比。
3.根据权利要求2所述的防火墙磁盘防溢出的方法,其特征在于,根据所述目标时间段内的日志增长趋势最大值,确定出日志压缩过程中产生的日志占用目标磁盘的百分比,包括以下步骤:
获取当前采集时刻的上一采集时刻至当前采集时刻的时间段中日志占用目标磁盘的百分比的增长量;
获取压缩时间比;
获取两个相邻的采集时刻之间的时间差;
根据所述目标时间段内的日志增长趋势最大值、所述当前采集时刻的上一采集时刻至当前采集时刻的时间段中日志占用目标磁盘的百分比的增长量、所述压缩时间比、所述两个相邻的采集时刻之间的时间差和所述当前采集时刻日志占用目标防火墙磁盘的百分比,确定出日志压缩过程中产生的日志占用目标磁盘的百分比。
4.根据权利要求2所述的防火墙磁盘防溢出的方法,其特征在于,根据当前采集时刻日志占用目标防火墙磁盘的百分比、所述日志压缩比和日志压缩过程中产生的日志占用目标磁盘的百分比,确定出当前采集时刻所需的目标磁盘占用百分比,包括以下步骤:
获取目标防火墙磁盘的出厂文件占用目标磁盘的百分比;
根据所述目标防火墙磁盘的出厂文件占用目标磁盘的百分比、所述当前采集时刻日志占用目标防火墙磁盘的百分比、所述日志压缩比和日志压缩过程中产生的日志占用目标磁盘的百分比,确定出当前采集时刻所需的目标磁盘占用百分比。
5.根据权利要求1所述的防火墙磁盘防溢出的方法,其特征在于,获取目标时间段内的日志增长趋势最大值包括如下步骤:
获取日志增长趋势值列表,所述日志增长趋势值列表包括目标时间段中各采集时刻对应的日志增长趋势值;每一采集时刻对应的日志增长趋势值为对应采集时刻的上一采集时刻至所述对应采集时刻的时间段中日志占用目标磁盘的百分比的增长量;
获取所述日志增长趋势值列表包括的目标时间段中各采集时刻对应的日志增长趋势值的最大值。
6.一种防火墙磁盘防溢出的装置,其特征在于,所述装置包括:
第一获取模块,用于获取当前采集时刻日志占用目标防火墙磁盘的百分比;
第二获取模块,用于如果所述当前采集时刻日志占用目标防火墙磁盘的百分比大于等于预设的第一百分比,则获取目标时间段内的日志增长趋势最大值;所述目标时间段为位于当前采集时刻之前且距离当前采集时刻不超过预设的第一时间阈值的时间构成的时间段;
第一确定模块,用于根据所述目标时间段内的日志增长趋势最大值,确定出当前采集时刻所需的目标磁盘占用百分比;
第一执行模块,用于如果所述当前采集时刻所需的目标磁盘占用百分比大于等于预设的第二百分比,则执行预设的第一日志压缩和转存步骤;否则,执行预设的第二日志压缩和转存步骤;所述预设的第一日志压缩和转存步骤包括在压缩和转存的过程中断开写入目标磁盘中数据库的连接,所述预设的第二日志压缩和转存步骤包括在压缩和转存的过程中不断开写入目标磁盘中数据库的连接。
7.根据权利要求6所述的防火墙磁盘防溢出的装置,其特征在于,所述第一确定模块包括:
第三获取模块,用于获取日志压缩比;
第二确定模块,用于根据所述目标时间段内的日志增长趋势最大值,确定出日志压缩过程中产生的日志占用目标磁盘的百分比;
第三确定模块,用于根据当前采集时刻日志占用目标防火墙磁盘的百分比、所述日志压缩比和日志压缩过程中产生的日志占用目标磁盘的百分比,确定出当前采集时刻所需的目标磁盘占用百分比。
8.根据权利要求7所述的防火墙磁盘防溢出的装置,其特征在于,所述第二确定模块包括:
第四获取模块,用于获取当前采集时刻的上一采集时刻至当前采集时刻的时间段中日志占用目标磁盘的百分比的增长量;
第五获取模块,用于获取压缩时间比;
第六获取模块,用于获取两个相邻的采集时刻之间的时间差;
第四确定模块,用于根据所述目标时间段内的日志增长趋势最大值、所述当前采集时刻的上一采集时刻至当前采集时刻的时间段中日志占用目标磁盘的百分比的增长量、所述压缩时间比、所述两个相邻的采集时刻之间的时间差和所述当前采集时刻日志占用目标防火墙磁盘的百分比,确定出日志压缩过程中产生的日志占用目标磁盘的百分比。
9.根据权利要求7所述的防火墙磁盘防溢出的装置,其特征在于,所述第三确定模块包括:
第七获取模块,用于获取目标防火墙磁盘的出厂文件占用目标磁盘的百分比;
第五确定模块,用于根据所述目标防火墙磁盘的出厂文件占用目标磁盘的百分比、所述当前采集时刻日志占用目标防火墙磁盘的百分比、所述日志压缩比和日志压缩过程中产生的日志占用目标磁盘的百分比,确定出当前采集时刻所需的目标磁盘占用百分比。
10.根据权利要求6所述的防火墙磁盘防溢出的装置,其特征在于,所述第二获取模块包括:
第八获取模块,用于获取日志增长趋势值列表,所述日志增长趋势值列表包括目标时间段中各采集时刻对应的日志增长趋势值;每一采集时刻对应的日志增长趋势值为对应采集时刻的上一采集时刻至所述对应采集时刻的时间段中日志占用目标磁盘的百分比的增长量;
第九获取模块,用于获取所述日志增长趋势值列表包括的目标时间段中各采集时刻对应的日志增长趋势值的最大值。
11.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5中任意一项所述的防火墙磁盘防溢出的方法。
12.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5中任意一项所述的防火墙磁盘防溢出的方法。
CN202310605882.3A 2023-05-26 2023-05-26 一种防火墙磁盘防溢出的方法、装置、设备及介质 Active CN116339645B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310605882.3A CN116339645B (zh) 2023-05-26 2023-05-26 一种防火墙磁盘防溢出的方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310605882.3A CN116339645B (zh) 2023-05-26 2023-05-26 一种防火墙磁盘防溢出的方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN116339645A true CN116339645A (zh) 2023-06-27
CN116339645B CN116339645B (zh) 2023-08-11

Family

ID=86889781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310605882.3A Active CN116339645B (zh) 2023-05-26 2023-05-26 一种防火墙磁盘防溢出的方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116339645B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0863294A (ja) * 1994-05-11 1996-03-08 Internatl Business Mach Corp <Ibm> データ記憶システム及びその操作方法
US20060236386A1 (en) * 2005-03-31 2006-10-19 Popkin Laird A Method and apparatus for cooperative file distribution in the presence of firewalls
US20070136395A1 (en) * 2005-12-09 2007-06-14 Microsoft Corporation Protecting storage volumes with mock replication
CN101610264A (zh) * 2009-07-24 2009-12-23 深圳市永达电子股份有限公司 一种防火墙系统、安全服务平台及防火墙系统的管理方法
CN108932241A (zh) * 2017-05-24 2018-12-04 腾讯科技(深圳)有限公司 日志数据统计方法、装置及节点
CN110489062A (zh) * 2019-08-27 2019-11-22 浪潮云信息技术有限公司 一种基于OpenStack环境的磁盘扩容方法及系统
CN113900906A (zh) * 2021-10-28 2022-01-07 北京达佳互联信息技术有限公司 日志容量确定方法、装置、电子设备及存储介质
US20220058068A1 (en) * 2020-08-24 2022-02-24 Vmware, Inc. Methods and systems that efficiently cache log/event messages in a distributed log-analytics system
CN115391161A (zh) * 2022-10-28 2022-11-25 荣耀终端有限公司 日志传输方法、设备、系统及存储介质
CN115437572A (zh) * 2022-09-21 2022-12-06 杭州安恒信息技术股份有限公司 一种数据落盘方法、装置、设备及介质
CN115712391A (zh) * 2022-11-14 2023-02-24 广州文远知行科技有限公司 一种车载日志数据的异步存储方法、装置、设备和介质
CN115914409A (zh) * 2022-11-14 2023-04-04 中盈优创资讯科技有限公司 一种waf安全防护日志实现高效传输、存储的方法及装置
WO2023071701A1 (zh) * 2021-10-26 2023-05-04 苏州浪潮智能科技有限公司 一种日志记录方法、装置及电子设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0863294A (ja) * 1994-05-11 1996-03-08 Internatl Business Mach Corp <Ibm> データ記憶システム及びその操作方法
US20060236386A1 (en) * 2005-03-31 2006-10-19 Popkin Laird A Method and apparatus for cooperative file distribution in the presence of firewalls
US20070136395A1 (en) * 2005-12-09 2007-06-14 Microsoft Corporation Protecting storage volumes with mock replication
CN101610264A (zh) * 2009-07-24 2009-12-23 深圳市永达电子股份有限公司 一种防火墙系统、安全服务平台及防火墙系统的管理方法
CN108932241A (zh) * 2017-05-24 2018-12-04 腾讯科技(深圳)有限公司 日志数据统计方法、装置及节点
CN110489062A (zh) * 2019-08-27 2019-11-22 浪潮云信息技术有限公司 一种基于OpenStack环境的磁盘扩容方法及系统
US20220058068A1 (en) * 2020-08-24 2022-02-24 Vmware, Inc. Methods and systems that efficiently cache log/event messages in a distributed log-analytics system
WO2023071701A1 (zh) * 2021-10-26 2023-05-04 苏州浪潮智能科技有限公司 一种日志记录方法、装置及电子设备
CN113900906A (zh) * 2021-10-28 2022-01-07 北京达佳互联信息技术有限公司 日志容量确定方法、装置、电子设备及存储介质
CN115437572A (zh) * 2022-09-21 2022-12-06 杭州安恒信息技术股份有限公司 一种数据落盘方法、装置、设备及介质
CN115391161A (zh) * 2022-10-28 2022-11-25 荣耀终端有限公司 日志传输方法、设备、系统及存储介质
CN115712391A (zh) * 2022-11-14 2023-02-24 广州文远知行科技有限公司 一种车载日志数据的异步存储方法、装置、设备和介质
CN115914409A (zh) * 2022-11-14 2023-04-04 中盈优创资讯科技有限公司 一种waf安全防护日志实现高效传输、存储的方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KEERTHI JAYAN等: "Sys-log classifier for Complex Event Processing system in network security", IEEE *
朱大维;张文宾;梁旭东;顾洪家;: "日立RS90服务器磁盘溢出控制对策", 宝钢技术, no. 04 *
甄成, 张跃, 张衍胜, 梁金千: "一种基于日志结构的自动压缩/解压缩文件系统的实现方案", 计算机工程与应用, no. 08 *
胡鸣, 周敬利, 余胜生: "NAS设备的磁盘调度模型分析", 小型微型计算机系统, no. 09 *
陈麟;李焕洲;吴贞东;: "防火墙通信日志处理技术研究", 微计算机信息, no. 30 *

Also Published As

Publication number Publication date
CN116339645B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN108509323A (zh) 基于日志分析的业务处理方法、装置及计算机设备
CN111324303B (zh) Ssd垃圾回收方法、装置、计算机设备及存储介质
CN110851415A (zh) 一种车载系统的日志数据处理方法和装置
WO2018006721A1 (zh) 日志文件的存储方法及装置
CN111010303A (zh) 一种服务器控制方法及装置
CN116339645B (zh) 一种防火墙磁盘防溢出的方法、装置、设备及介质
CN113489653A (zh) 报文发送方法、装置以及计算机设备
CN108376553B (zh) 一种视频服务器的磁盘的监控方法及系统
CN107357686A (zh) 一种日志删除方法及装置
CN116827898A (zh) 一种ota升级消息推送方法、装置、计算机设备和存储介质
CN114083987B (zh) 电池监测参数的修正方法、装置和计算机设备
CN113905092B (zh) 一种确定可复用代理队列的方法、装置、终端及存储介质
CN113884889A (zh) 一种电池安全预警的方法、装置、存储介质及电子设备
CN114090409A (zh) 一种消息处理方法及装置
CN116662277A (zh) 一种防止磁盘溢出的方法
CN112749142B (zh) 句柄管理方法和系统
CN114942824A (zh) FaaS平台函数预热方法、系统、电子设备及存储介质
CN108234342B (zh) 基于设备指纹的Nginx动态主动限流方法及系统
CN113609178A (zh) 数据推送方法、装置、设备以及存储介质
CN112395037B (zh) 一种动态封面的选取方法、装置、电子设备及存储介质
CN107844370B (zh) 一种实时任务调度方法及装置
CN115081233B (zh) 一种流程仿真方法及电子设备
CN110008179B (zh) 文件存储方法、行车记录仪及可读存储介质
CN117591301B (zh) 一种监控云资源分配优化方法及系统
CN117522349B (zh) 一种多源数据业务的自动化处理方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant