CN113485965A - 基于文件大小动态清理日志文件方法、装置、服务器 - Google Patents
基于文件大小动态清理日志文件方法、装置、服务器 Download PDFInfo
- Publication number
- CN113485965A CN113485965A CN202110692793.8A CN202110692793A CN113485965A CN 113485965 A CN113485965 A CN 113485965A CN 202110692793 A CN202110692793 A CN 202110692793A CN 113485965 A CN113485965 A CN 113485965A
- Authority
- CN
- China
- Prior art keywords
- log
- log files
- files
- directory
- sizes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000004140 cleaning Methods 0.000 title claims abstract description 41
- 230000008859 change Effects 0.000 claims abstract description 19
- 238000012217 deletion Methods 0.000 claims abstract description 12
- 230000037430 deletion Effects 0.000 claims abstract description 12
- 238000004880 explosion Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005201 scrubbing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了基于文件大小动态清理日志文件方法、装置、服务器，方法包括：扫描整个系统中包含特定日志字符的文件夹目录；判断包含日志文件的同一目录内所有日志文件大小总和是否超过预定阈值；当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数等于1，则删除该日志文件中首先记录的前面指定行数的过期日记内容；当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数大于1，则找出日志文件中改变时间早于预定天数前的日志文件删除。通过本发明可以及时对过期日志进行清理，可避免出画因磁盘爆满带来的服务宕机故障，提高了系统的稳定性。
Description
技术领域
本发明涉及日志文件清理技术领域，尤其涉及的是一种基于文件大小动态清理日志文件方法、装置、服务器及存储介质。
背景技术
微服务架构是一项在云中部署应用和服务的新技术。大部分围绕微服务的争论都集中在容器或其他技术是否能很好的实施微服务。
微服务可以在“自己的程序”中运行，并通过“轻量级设备与HTTP型API进行沟通”。关键在于该服务可以在自己的程序中运行。通过这一点就可以将服务公开与微服务架构(在现有系统中分布一个API)区分开来。在服务公开中，许多服务都可以被内部独立进程所限制。如果其中任何一个服务需要增加某种功能，那么就必须缩小进程范围。在微服务架构中，只需要在特定的某种服务中增加所需功能，而不影响整体进程的架构。
现有技术中，在微服务架构盛行的时代，享受着微服务带来的耦合性低、开发敏捷、易扩容等诸多好处，与此同时也存在着一些痛点，如在运维时日志文件清理的不便。在采用传统的单体应用时，运维人员只需考虑几个到十几个的日志清理工作，可以通过人工手动清理或编写脚本定期清理，足以应对。
切换到微服务架构后，几十甚至成百上千个微服务的日志文件写入，也急速加剧了磁盘空间的使用，若不能及时对过期日志进行清理，则会大大提高因磁盘爆满带来的服务宕机故障，降低系统的稳定性。
因此，现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于文件大小动态清理日志文件方法、装置、服务器及存储介质，本发明解决了满足保留一定量日志，方便问题追踪的同时保证日志文件不会占用过大磁盘空间的问题。通过本发明可以及时对过期日志进行清理，可避免出画因磁盘爆满带来的服务宕机故障，提高了系统的稳定性。
本发明解决问题所采用的技术方案如下：
一种基于文件大小动态清理日志文件方法，其中，所述方法包括：
扫描整个系统中包含特定日志字符的文件夹目录、并统计每个文件夹目录占用磁盘空间大小、以及统计每个文件夹目录包含特定日志字符的日志文件个数；
判断包含日志文件的同一目录内所有日志文件大小总和是否超过预定阈值，以及判断每个目录内日志文件的个数；
当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数等于1，则删除该日志文件中首先记录的前面指定行数的过期日记内容；
当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数大于1，则找出日志文件中改变时间早于预定天数前的日志文件删除。
所述的基于文件大小动态清理日志文件方法，其中，所述扫描整个系统中包含特定日志字符的文件夹目录、并统计每个文件夹目录占用磁盘空间大小、以及统计每个文件夹目录包含特定日志字符的日志文件个数的步骤之前包括：
每隔预定时间扫描整个系统中包含特定日志字符的文件夹目录、并统计每个文件夹目录占用磁盘空间大小、以及统计每个文件夹目录包含特定日志字符的日志文件个数。
所述的基于文件大小动态清理日志文件方法，其中，所述特定日志字符为.log字符。
所述的基于文件大小动态清理日志文件方法，其中，所述判断包含日志文件的同一目录内所有日志文件大小总和是否超过预定阈值，以及判断每个目录内日志文件的个数的步骤包括：
判断包含日志文件的同一目录内所有日志文件大小总和是否超过预定阈值；
当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，则再次判断每个包含日志文件的目录内日志文件的个数是否大于1。
所述的基于文件大小动态清理日志文件方法，其中，所述当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数等于1，则删除该日志文件中首先记录的前面指定行数的过期日记内容的步骤包括：
当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数等于1，则控制删除该日志文件中首先记录的前面指定行数的过期日记内容，其中所述指定行数为该日志文件的总行数*0.5，结果取整。
所述的基于文件大小动态清理日志文件方法，其中，所述当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数大于1，则找出日志文件中改变时间早于预定天数前的日志文件删除的步骤包括：
当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数大于1，则找出日志文件中改变时间早于7天前的日志文件删除。
所述的基于文件大小动态清理日志文件方法，其中，所述预定阈值为128MB，所述超过预定阈值包括大于128MB*120％。
一种基于文件大小动态清理日志文件装置，其中，所述装置包括：
扫描模块，用于扫描整个系统中包含特定日志字符的文件夹目录、并统计每个文件夹目录占用磁盘空间大小、以及统计每个文件夹目录包含特定日志字符的日志文件个数；
判断模块，用于判断包含日志文件的同一目录内所有日志文件大小总和是否超过预定阈值，以及判断每个目录内日志文件的个数；
第一清理模块，用于当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数等于1，则删除该日志文件中首先记录的前面指定行数的过期日记内容；
第二清理模块，用于当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数大于1，则找出日志文件中改变时间早于预定天数前的日志文件删除。
一种服务器，其中，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序时，实现任意一项所述的方法的步骤。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行任意一项所述的方法。
本发明的有益效果：本发明基于对整个服务器系统中日志文件包含特定名称的文件目录总大小和日志文件个数动态统计，判定目录超过指定大小时清理过期日志，使单个日志文件大小动态维持在不超过指定阈值的120％、多日志文件保留七天的方法，解决满足保留一定量日志，方便问题追踪的同时保证日志文件不会占用磁盘空间过大问题。通过本发明可以及时对过期日志进行清理，可避免出画因磁盘爆满带来的服务宕机故障，提高了系统的稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的基于文件大小动态清理日志文件方法的流程示意图。
图2是本发明实施例二提供的基于文件大小动态清理日志文件方法的流程示意图。
图3是本发明实施例提供的基于文件大小动态清理日志文件装置的原理框图。
图4是本发明实施例提供的服务器的内部结构原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
微服务架构是一项在云中部署应用和服务的新技术。大部分围绕微服务的争论都集中在容器或其他技术是否能很好的实施微服务。
微服务可以在“自己的程序”中运行，并通过“轻量级设备与HTTP型API进行沟通”。关键在于该服务可以在自己的程序中运行。通过这一点就可以将服务公开与微服务架构(在现有系统中分布一个API)区分开来。在服务公开中，许多服务都可以被内部独立进程所限制。如果其中任何一个服务需要增加某种功能，那么就必须缩小进程范围。在微服务架构中，只需要在特定的某种服务中增加所需功能，而不影响整体进程的架构。
现有技术中，在微服务架构盛行的时代，享受着微服务带来的耦合性低、开发敏捷、易扩容等诸多好处，与此同时也存在着一些痛点，如在运维时日志文件清理的不便。在采用传统的单体应用时，运维人员只需考虑几个到十几个的日志清理工作，可以通过人工手动清理或编写脚本定期清理，足以应对。
切换到微服务架构后，几十甚至成百上千个微服务的日志文件写入，也急速加剧了磁盘空间的使用，若不能及时对过期日志进行清理，则会大大提高因磁盘爆满带来的服务宕机故障，降低系统的稳定性。。
服务生成日志文件一般会分为两种情况：①在单个文件中不断追加日志记录；②根据日期或大小生成多个文件。由于不同服务程序所产生的日志文件路径和名称不同，但几乎所有日志文件名称中都包含“.log”字符(也可是指定特定字符)。为了解决现有技术的问题，本发明提供一种基于文件大小动态清理日志文件方法，在发明实施例中，基于对整个服务器系统中日志文件包含特定名称的文件目录总大小和日志文件个数动态统计，判定目录超过指定大小时清理过期日志，使单个日志文件大小动态维持在不超过指定阈值的120％、多日志文件保留七天的方法，解决满足保留一定量日志，方便问题追踪的同时保证日志文件不会占用磁盘空间过大问题。
示例性方法
实施例一
如图1中所示，本发明实施例提供一种基于文件大小动态清理日志文件方法，所述基于文件大小动态清理日志文件方法可以应用于服务器。在本发明实施例中，所述方法包括如下步骤：
步骤S100、扫描整个系统中包含特定日志字符的文件夹目录、并统计每个文件夹目录占用磁盘空间大小、以及统计每个文件夹目录包含特定日志字符的日志文件个数；
本发明中，根据服务器服务生成日志文件一般会分为两种情况：一种是在单个文件中不断追加日志记录；另一种是根据日期或大小生成多个文件。由于不同服务程序所产生的日志文件路径和名称不同，但几乎所有日志文件名称中都包含“.log”字符(也可是指定特定字符)，本发明是通过识别文件名称中是否包含“.log”字符的特定字符来判断是否是日志文件。
本发明，在具体实施时，会扫描整个系统中包含特定日志字符的文件夹目录、并统计每个文件夹目录占用磁盘空间大小、以及统计每个文件夹目录包含特定日志字符的日志文件个数。
具体地，例如每隔预定时间(例如3小时)扫描整个系统中包含特定日志字符(例如包含“.log”字符)的文件夹目录、并统计每个文件夹目录占用磁盘空间大小，例如占用多少M空间、以及统计每个文件夹目录包含特定日志字符的日志文件个数，以方便后面进行是否清理的判断。
所述的基于文件大小动态清理日志文件方法，其中，所述特定日志字符为.log字符。
步骤S200、判断包含日志文件的同一目录内所有日志文件大小总和是否超过预定阈值，以及判断每个目录内日志文件的个数；
本发明实施例中，会判断包含日志文件的同一目录内所有日志文件大小总和是否超过预定阈值，以及判断每个目录内日志文件的个数；即本发明实施例中，在对日志文件是否清理的判断前，需要判断每个包含“.log”字符日志文件的目录内所有日志文件大小总和是否超过预定阈值，并且还判断每个目录内日志文件的个数。
具体实施时，判断包含日志文件的同一目录内所有日志文件大小总和是否超过预定阈值；当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，则再次判断每个包含日志文件的目录内日志文件的个数是否大于1。
本发明实施例中，所述预定阈值为128MB，所述超过预定阈值包括大于128MB*120％。则本发明实施时，会判断包含日志文件的同一目录内所有日志文件大小总和是否大于128MB*120％；当包含日志文件的同一目录内所有日志文件大小总和大于128MB*120％，则再次判断每个包含日志文件的目录内日志文件的个数是否大于1。
步骤S300、当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数等于1，则删除该日志文件中首先记录的前面指定行数的过期日记内容。
本发明实施例中，当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数等于1，则删除该日志文件中首先记录的前面指定行数的过期日记内容。
即本发明实施例中，当包含日志文件的同一目录内所有日志文件大小总和已经超过预定阈值(即超过指定阈值128MB的120％)，并且同一目录下日志文件个数等于1(即只有一个日志文件)，则控制删除该日志文件中首先记录的前面指定行数的过期日记内容，其中所述指定行数为该日志文件的总行数*0.5，结果取整。
即当同一目录文件内的所有日志文件大小总和已经超过预定阈值(即超过指定阈值128MB的120％)，并且同一目录下日志文件个数等于1(即只有一个日志文件)，则删除该日志文件的前(总行数*0.5，结果取整)行内容。例如该超预定阈值的日志文件，有10000行，则对该超预定阈值的日志文件前面10000*0.5(即前5000)行的内容删除，以方便及时清理不需要的日志，并且后面再检测到超过预定阈值还会继续动态清理，可以有效避免磁盘空间满，提高系统的稳定性。
步骤S400、当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数大于1，则找出日志文件中改变时间早于预定天数前的日志文件删除。
即本步骤中，当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数大于1，则找出日志文件中改变时间早于预定天数前的日志文件删除。
具体的，当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值(即超过指定阈值128MB的120％)，并且同一目录下日志文件个数大于1(即有多个日志文件)，则找出日志文件中改变时间早于7天前的日志文件删除。则本发明会把多个日志文件中改变时间早于7天前的日志文件删除。即把7天前都没动的没改的日志文件删除。
由上可见，本发明可以实现对过期日志文件进行及时清理，可以避免因磁盘爆满带来的服务宕机故障，提高系统的稳定性。实现对日志的动态清理，提高了系统的运行效率。
方法实施例二
服务生成日志文件一般会分为两种情况：
①在单个文件中不断追加日志记录；
②根据日期或大小生成多个文件。
由于不同服务程序所产生的日志文件路径和名称不同，但几乎所有日志文件名称中都包含“.log”字符(也可是指定特定字符)。
基于对整个服务器系统中日志文件包含特定名称的文件目录总大小和日志文件个数动态统计，判定目录超过指定大小时清理过期日志，使单个日志文件大小动态维持在不超过指定阈值的120％、多日志文件保留七天的方法，解决满足保留一定量日志，方便问题追踪的同时保证日志文件不会占用磁盘空间过大问题。
如图2所示，本发明实施例二提供一种基于文件大小动态清理日志文件方法，包括如下步骤：
步骤S1、开始，并进入步骤S2；
步骤S2、统计包含特定字符文件名的目录，并统计每个目录占用的磁盘空间，包含文件个数；然后进入步骤S3；
即本发明实施例中，会遍历整个系统包含特定日志字符的文件夹目录、相应目录占用磁盘空间大小、相应目录文件个数；
步骤S3、判读同一目录下的日志文件占用空间是否大于阈值大小的1.2倍，当是进入步骤S4,当否返回步骤S3，当系统关闭则不再动太清理日志则进入步骤S7结束。
即本发明中迭代遍历的目录结果，则判断目录大小是否超过指定阈值(例128MB)大小的1.2倍；
步骤S4.判断同一目录下文件个数是否＝1，当是进入步骤S5，当否进入步骤S6；
即本发明中，若判定结果为真，则判断此目录文件个数，否则迭代下一个目录；
步骤S5、删除日志文件的前(日志内容总行数*0.5，结果取整)行的内容。
即本发明中，若同一目录下日志文件个数等于1，则删除该日志文件的前(总行数*0.5，结果取整)行内容；删除清理后返回步骤S3继续监测。
步骤S6、查找日志文件改变时间早于7天前的文件并删除；
即本发明中若同一目录下日志文件个数不等于1(至少有一个以上日志文件)，则找出文件改变时间早于7天前的文件并删除。删除清理完成并返回S3继续监测。
由上可见，通过本发明可以及时对过期日志进行清理，可避免出画因磁盘爆满带来的服务宕机故障，提高了系统的稳定性。
示例性设备
如图3中所示，本发明实施例提供一种基于文件大小动态清理日志文件装置，该装置包括：
扫描模块310，用于扫描整个系统中包含特定日志字符的文件夹目录、并统计每个文件夹目录占用磁盘空间大小、以及统计每个文件夹目录包含特定日志字符的日志文件个数；
判断模块320，用于判断包含日志文件的同一目录内所有日志文件大小总和是否超过预定阈值，以及判断每个目录内日志文件的个数；
第一清理模块330，用于当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数等于1，则删除该日志文件中首先记录的前面指定行数的过期日记内容；
第二清理模块340，用于当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数大于1，则找出日志文件中改变时间早于预定天数前的日志文件删除。
基于上述实施例，本发明还提供了一种服务器，其原理框图可以如图4所示。该服务器包括通过系统总线连接的处理器、存储器、网络接口、显示屏、麦克风。其中，该服务器的处理器用于提供计算和控制能力。该服务器的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该服务器的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于文件大小动态清理日志文件方法。该服务器的显示屏可以是液晶显示屏或者电子墨水显示屏，该服务器的麦克风是预先在服务器内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图4中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的服务器的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种服务器，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
扫描整个系统中包含特定日志字符的文件夹目录、并统计每个文件夹目录占用磁盘空间大小、以及统计每个文件夹目录包含特定日志字符的日志文件个数；
判断包含日志文件的同一目录内所有日志文件大小总和是否超过预定阈值，以及判断每个目录内日志文件的个数；
当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数等于1，则删除该日志文件中首先记录的前面指定行数的过期日记内容；
当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数大于1，则找出日志文件中改变时间早于预定天数前的日志文件删除。
其中，所述扫描整个系统中包含特定日志字符的文件夹目录、并统计每个文件夹目录占用磁盘空间大小、以及统计每个文件夹目录包含特定日志字符的日志文件个数的步骤之前包括：
每隔预定时间扫描整个系统中包含特定日志字符的文件夹目录、并统计每个文件夹目录占用磁盘空间大小、以及统计每个文件夹目录包含特定日志字符的日志文件个数。
其中，所述特定日志字符为.log字符。
其中，所述判断包含日志文件的同一目录内所有日志文件大小总和是否超过预定阈值，以及判断每个目录内日志文件的个数的步骤包括：
判断包含日志文件的同一目录内所有日志文件大小总和是否超过预定阈值；
当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，则再次判断每个包含日志文件的目录内日志文件的个数是否大于1。
其中，所述当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数等于1，则删除该日志文件中首先记录的前面指定行数的过期日记内容的步骤包括：
当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数等于1，则控制删除该日志文件中首先记录的前面指定行数的过期日记内容，其中所述指定行数为该日志文件的总行数*0.5，结果取整。
其中，所述当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数大于1，则找出日志文件中改变时间早于预定天数前的日志文件删除的步骤包括：
当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数大于1，则找出日志文件中改变时间早于7天前的日志文件删除。
其中，所述预定阈值为128MB，所述超过预定阈值包括大于128MB*120％。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了一种基于文件大小动态清理日志文件方法、装置、服务器及存储介质，本发明基于对整个服务器系统中日志文件包含特定名称的文件目录总大小和日志文件个数动态统计，判定目录超过指定大小时清理过期日志，使单个日志文件大小动态维持在不超过指定阈值的120％、多日志文件保留七天的方法，解决满足保留一定量日志，方便问题追踪的同时保证日志文件不会占用磁盘空间过大问题。通过本发明可以及时对过期日志进行清理，可避免出画因磁盘爆满带来的服务宕机故障，提高了系统的稳定性。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于文件大小动态清理日志文件方法，其特征在于，所述方法包括：
扫描整个系统中包含特定日志字符的文件夹目录、并统计每个文件夹目录占用磁盘空间大小、以及统计每个文件夹目录包含特定日志字符的日志文件个数；
判断包含日志文件的同一目录内所有日志文件大小总和是否超过预定阈值，以及判断每个目录内日志文件的个数；
当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数等于1，则删除该日志文件中首先记录的前面指定行数的过期日记内容；
当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数大于1，则找出日志文件中改变时间早于预定天数前的日志文件删除。
2.根据权利要求1所述的基于文件大小动态清理日志文件方法，其特征在于，所述扫描整个系统中包含特定日志字符的文件夹目录、并统计每个文件夹目录占用磁盘空间大小、以及统计每个文件夹目录包含特定日志字符的日志文件个数的步骤之前包括：
每隔预定时间扫描整个系统中包含特定日志字符的文件夹目录、并统计每个文件夹目录占用磁盘空间大小、以及统计每个文件夹目录包含特定日志字符的日志文件个数。
3.根据权利要求1所述的基于文件大小动态清理日志文件方法，其特征在于，所述特定日志字符为.log字符。
4.根据权利要求1所述的基于文件大小动态清理日志文件方法，其特征在于，所述判断包含日志文件的同一目录内所有日志文件大小总和是否超过预定阈值，以及判断每个目录内日志文件的个数的步骤包括：
判断包含日志文件的同一目录内所有日志文件大小总和是否超过预定阈值；
当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，则再次判断每个包含日志文件的目录内日志文件的个数是否大于1。
5.根据权利要求1所述的基于文件大小动态清理日志文件方法，其特征在于，所述当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数等于1，则删除该日志文件中首先记录的前面指定行数的过期日记内容的步骤包括：
当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数等于1，则控制删除该日志文件中首先记录的前面指定行数的过期日记内容，其中所述指定行数为该日志文件的总行数*0.5，结果取整。
6.根据权利要求1所述的基于文件大小动态清理日志文件方法，其特征在于，所述当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数大于1，则找出日志文件中改变时间早于预定天数前的日志文件删除的步骤包括：
当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数大于1，则找出日志文件中改变时间早于7天前的日志文件删除。
7.根据权利要求1所述的基于文件大小动态清理日志文件方法，其特征在于，所述预定阈值为128MB，所述超过预定阈值包括大于128MB*120％。
8.一种基于文件大小动态清理日志文件装置，其特征在于，所述装置包括：
扫描模块，用于扫描整个系统中包含特定日志字符的文件夹目录、并统计每个文件夹目录占用磁盘空间大小、以及统计每个文件夹目录包含特定日志字符的日志文件个数；
判断模块，用于判断包含日志文件的同一目录内所有日志文件大小总和是否超过预定阈值，以及判断每个目录内日志文件的个数；
第一清理模块，用于当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数等于1，则删除该日志文件中首先记录的前面指定行数的过期日记内容；
第二清理模块，用于当包含日志文件的同一目录内所有日志文件大小总和超过预定阈值，并且同一目录下日志文件个数大于1，则找出日志文件中改变时间早于预定天数前的日志文件删除。
9.一种服务器，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序时，实现如权利要求1-7中任意一项所述的方法的步骤。
10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-7中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110692793.8A CN113485965A (zh) | 2021-06-22 | 2021-06-22 | 基于文件大小动态清理日志文件方法、装置、服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110692793.8A CN113485965A (zh) | 2021-06-22 | 2021-06-22 | 基于文件大小动态清理日志文件方法、装置、服务器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113485965A true CN113485965A (zh) | 2021-10-08 |
Family
ID=77935841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110692793.8A Pending CN113485965A (zh) | 2021-06-22 | 2021-06-22 | 基于文件大小动态清理日志文件方法、装置、服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113485965A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114706826A (zh) * | 2022-06-02 | 2022-07-05 | 建信金融科技有限责任公司 | 清理文件的方法、装置、设备和计算机可读介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101677445A (zh) * | 2008-09-16 | 2010-03-24 | 中兴通讯股份有限公司 | 一种业务系统日志文件的清理方法及系统 |
| CN109086098A (zh) * | 2018-07-23 | 2018-12-25 | 郑州云海信息技术有限公司 | 一种日志文件清理方法及相关装置 |
| US10210162B1 (en) * | 2010-03-29 | 2019-02-19 | Carbonite, Inc. | Log file management |
| CN109885539A (zh) * | 2019-01-28 | 2019-06-14 | 南京邮电大学 | 一种日志文件管理方法 |
| CN110716903A (zh) * | 2019-09-29 | 2020-01-21 | 中信百信银行股份有限公司 | 一种日志文件清理方法及装置 |
| CN111026728A (zh) * | 2019-11-19 | 2020-04-17 | 山东中创软件商用中间件股份有限公司 | 一种日志数据处理方法及相关装置 |
| CN111488320A (zh) * | 2020-04-17 | 2020-08-04 | 上海思询信息科技有限公司 | 一种清理Kubernetes中业务应用程序日志的方法 |
| CN111597158A (zh) * | 2020-04-23 | 2020-08-28 | 远光软件股份有限公司 | 日志文件的滚存方法、装置、存储介质及终端 |
| CN111984601A (zh) * | 2020-08-31 | 2020-11-24 | 深圳壹账通智能科技有限公司 | 日志文件删除方法、装置、电子设备及存储介质 |
-
2021
- 2021-06-22 CN CN202110692793.8A patent/CN113485965A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101677445A (zh) * | 2008-09-16 | 2010-03-24 | 中兴通讯股份有限公司 | 一种业务系统日志文件的清理方法及系统 |
| US10210162B1 (en) * | 2010-03-29 | 2019-02-19 | Carbonite, Inc. | Log file management |
| CN109086098A (zh) * | 2018-07-23 | 2018-12-25 | 郑州云海信息技术有限公司 | 一种日志文件清理方法及相关装置 |
| CN109885539A (zh) * | 2019-01-28 | 2019-06-14 | 南京邮电大学 | 一种日志文件管理方法 |
| CN110716903A (zh) * | 2019-09-29 | 2020-01-21 | 中信百信银行股份有限公司 | 一种日志文件清理方法及装置 |
| CN111026728A (zh) * | 2019-11-19 | 2020-04-17 | 山东中创软件商用中间件股份有限公司 | 一种日志数据处理方法及相关装置 |
| CN111488320A (zh) * | 2020-04-17 | 2020-08-04 | 上海思询信息科技有限公司 | 一种清理Kubernetes中业务应用程序日志的方法 |
| CN111597158A (zh) * | 2020-04-23 | 2020-08-28 | 远光软件股份有限公司 | 日志文件的滚存方法、装置、存储介质及终端 |
| CN111984601A (zh) * | 2020-08-31 | 2020-11-24 | 深圳壹账通智能科技有限公司 | 日志文件删除方法、装置、电子设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114706826A (zh) * | 2022-06-02 | 2022-07-05 | 建信金融科技有限责任公司 | 清理文件的方法、装置、设备和计算机可读介质 |
| CN114706826B (zh) * | 2022-06-02 | 2022-09-27 | 建信金融科技有限责任公司 | 清理文件的方法、装置、设备和计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10157109B2 (en) | Method for restoring files from a continuous recovery system | |
| EP3098715A1 (en) | System and method for object-based continuous data protection | |
| CN108733306B (zh) | 一种文件合并方法及装置 | |
| US9256498B1 (en) | System and method for generating backups of a protected system from a recovery system | |
| CN106126374B (zh) | 数据写入方法、数据读取方法及装置 | |
| CN111198856B (zh) | 文件管理方法、装置、计算机设备和存储介质 | |
| CN106874145A (zh) | 一种基于消息队列的异步数据备份方法 | |
| CN106302609A (zh) | 一种访问方法及装置 | |
| CN115840731A (zh) | 文件处理方法、计算设备及计算机存储介质 | |
| CN113485965A (zh) | 基于文件大小动态清理日志文件方法、装置、服务器 | |
| CN113448946B (zh) | 数据迁移方法及装置、电子设备 | |
| CN113239012B (zh) | 一种数据库迁移方法、装置、电子设备和存储介质 | |
| CN114327270A (zh) | 一种请求处理方法、装置、设备及可读存储介质 | |
| CN108646987A (zh) | 一种文件卷的管理方法、装置、存储介质及终端 | |
| US7752405B2 (en) | Data recording apparatus, program product, and data recording method | |
| CN112395296B (zh) | 一种大数据归档方法、装置、设备及存储介质 | |
| CN115168307A (zh) | 支持断点续传的数据同步方法、系统、设备及存储介质 | |
| CN114189530A (zh) | 基于互联网的资源协同方法及系统 | |
| CN111078643B (zh) | 一种批量删除文件的方法、装置及电子设备 | |
| CN110471623B (zh) | 硬盘文件写入方法、装置、计算机设备和存储介质 | |
| CN113901018A (zh) | 一种待迁移文件识别方法、装置、计算机设备及存储介质 | |
| US6728854B2 (en) | System and method for providing transaction management for a data storage space | |
| CN111625506A (zh) | 一种基于删除队列的分布式数据删除方法、装置及设备 | |
| CN113468105A (zh) | 数据快照的数据结构、相关数据处理方法及装置和系统 | |
| CN117499485A (zh) | 一种日志数据上传处理方法、装置、智能终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |