CN106815124A - 日志文件处理方法和装置 - Google Patents

日志文件处理方法和装置 Download PDF

Info

Publication number
CN106815124A
CN106815124A CN201510869092.1A CN201510869092A CN106815124A CN 106815124 A CN106815124 A CN 106815124A CN 201510869092 A CN201510869092 A CN 201510869092A CN 106815124 A CN106815124 A CN 106815124A
Authority
CN
China
Prior art keywords
journal file
occupancy
threshold value
predetermined threshold
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510869092.1A
Other languages
English (en)
Inventor
石岱曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201510869092.1A priority Critical patent/CN106815124A/zh
Publication of CN106815124A publication Critical patent/CN106815124A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种日志文件处理方法和装置。其中,该方法包括:按照预设周期检测第一日志文件对数据存储空间的占用量,其中,第一日志文件用于存储对数据库的操作记录;判断占用量是否达到第一预设阈值;以及在判断出占用量达到第一预设阈值时,生成第二日志文件,第二日志文件为用于存储对数据库的操作记录的新的日志文件。本申请解决了现有技术中由于日志文件越来越大造成对日志文件的查看和移动不方便的技术问题。

Description

日志文件处理方法和装置
技术领域
本申请涉及数据处理领域,具体而言,涉及一种日志文件处理方法和装置。
背景技术
数据库系统中通常会有用于记录对数据库操作的日志文件,随着时间的推移,对数据库的操作次数越来越多,这就使得日志文件越来越大,即日志文件所占的数据存储空间越来越大,而日志文件通常是单个文件,当日志文件越来越大时,这将不利于日志文件的查看和移动,甚至有撑爆磁盘空间的危险。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种日志文件处理方法和装置,以至少解决现有技术中由于日志文件越来越大造成对日志文件的查看和移动不方便的技术问题。
根据本申请实施例的一个方面,提供了一种日志文件处理方法,包括:按照预设周期检测第一日志文件对数据存储空间的占用量,其中,所述第一日志文件用于存储对数据库的操作记录;判断所述占用量是否达到第一预设阈值;以及在判断出所述占用量达到所述第一预设阈值时,生成第二日志文件,所述第二日志文件为用于存储对所述数据库的操作记录的新的日志文件。
进一步地,所述数据库为分布式数据库,所述第一日志文件为多个,每个所述第一日志文件用于存储所述分布式数据库中对应的服务器上的操作记录,其中,按照预设周期检测第一日志文件对数据存储空间的占用量包括:按照所述预设周期检测所述分布式数据库中每个服务器上的所述第一日志文件对数据存储空间的占用量;判断所述占用量是否达到第一预设阈值包括:判断每个服务器上的所述第一日志文件对数据存储空间的占用量是否达到所述第一预设阈值。
进一步地,所述方法还包括:在按照预设周期检测第一日志文件对数据存储空间的占用量的同时,检测所述第一日志文件所在的服务器上磁盘的剩余空间;在判断所述占用量是否达到第一预设阈值同时,判断所述剩余空间是否低于第二预设阈值;其中,在判断出所述占用量达到所述第一预设阈值时或者判断出所述剩余空间低于第二预设阈值时,生成所述第二日志文件。
进一步地,在判断出所述剩余空间低于第二预设阈值时,生成所述第二日志文件之后,所述方法还包括:将所述第一日志文件移动到预设地址对应的位置。
进一步地,按照所述预设周期检测所述分布式数据库中每个服务器上的所述第一日志文件对数据存储空间的占用量包括:按照所述预设周期读取配置文件中的IP地址,其中,所述IP地址为所述分布式数据库中的服务器对应的地址;依次连接所述IP地址,读取所述IP地址对应的服务器上的所述第一日志文件对数据存储空间的占用量。
根据本申请实施例的另一方面,还提供了一种日志文件处理装置,包括:检测单元,用于按照预设周期检测第一日志文件对数据存储空间的占用量,其中,所述第一日志文件用于存储对数据库的操作记录;判断单元,用于判断所述占用量是否达到第一预设阈值;以及生成单元,用于在判断出所述占用量达到所述第一预设阈值时,生成第二日志文件,所述第二日志文件为用于存储对所述数据库的操作记录的新的日志文件。
进一步地,所述数据库为分布式数据库,所述第一日志文件为多个,每个所述第一日志文件用于存储所述分布式数据库中对应的服务器上的操作记录,其中,所述检测单元具体用于按照所述预设周期检测所述分布式数据库中每个服务器上的所述第一日志文件对数据存储空间的占用量;所述判断单元具体用于判断每个服务器上的所述第一日志文件对数据存储空间的占用量是否达到所述第一预设阈值。
进一步地,所述检测单元还用于在按照预设周期检测第一日志文件对数据存储空间的占用量的同时,检测所述第一日志文件所在的服务器上磁盘的剩余空间;所述判断单元还用于在判断所述占用量是否达到第一预设阈值同时,判断所述剩余空间是否低于第二预设阈值;其中,所述生成单元具体用于在判断出所述占用量达到所述第一预设阈值时或者判断出所述剩余空间低于第二预设阈值时,生成所述第二日志文件。
进一步地,所述装置还包括:移动单元,用于在判断出所述剩余空间低于第二预设阈值时,生成所述第二日志文件之后,将所述第一日志文件移动到预设地址对应的位置。
进一步地,所述检测单元包括:第一读取单元,用于按照所述预设周期读取配置文件中的IP地址,其中,所述IP地址为所述分布式数据库中的服务器对应的地址;第二读取单元,用于依次连接所述IP地址,读取所述IP地址对应的服务器上的所述第一日志文件对数据存储空间的占用量。
根据本申请实施例,通过检测第一日志文件对数据存储空间的占用量,在该占用量达到第一预设阈值时,生成第二日志文件即新的日志文件来存储对数据库的操作记录,这样,相对于现有技术中以一个日志文件来记录所有的操作记录而言,本申请实施例中通过不断生成新的日志文件来存储对数据库的操作记录,控制每个日志文件的数据量,即用多个日志文件来存储这些数据,大大方便了日志文件的查看和移动,解决了现有技术中由于日志文件越来越大造成对日志文件的查看和移动不方便的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的日志文件处理方法的流程图;
图2是根据本申请实施例的日志文件处理装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例,提供了一种日志文件处理方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本申请实施例的日志文件处理方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,按照预设周期检测第一日志文件对数据存储空间的占用量,其中,第一日志文件用于存储对数据库的操作记录。
第一日志文件对数据存储空间的占用量也即是该第一日志文件的大小,例如500Mb、1Tb等。按照预设周期检测第一日志文件的对数据存储空间的占用量可以是每隔预设周期检测第一日志文件的占用量,即定期地检测日志文件的大小。
其中,数据库可以是分布式数据库系统中的分布式数据库,当数据库为分布式数据库时,分布式数据库系统中每个服务器上的数据库对应一个第一日志文件。预设周期可以根据需求进行设置。
步骤S104,判断占用量是否达到第一预设阈值。
步骤S106,在判断出占用量达到第一预设阈值时,生成第二日志文件,第二日志文件为用于存储对数据库的操作记录的新的日志文件。在未达到第一预设阈值时,则可以不作处理,等待下次检测。
本申请实施例中的第一预设阈值用于控制日志文件的大小,该阈值可以根据需求来设置。其中判断占用量是否达到第一预设阈值,即,判断日志文件是否过大,在日志文件过大时则生成新的日志文件,即第二日志文件,用于存储后续对数据库的操作记录。也即是说,当生成第二日志文件之后,所有对数据库的操作记录都存储在该第二日志文件中。
需要说明的是,本申请实施例中所说的第一日志文件具体是指当前用于存储操作记录日志的文件,第二日志文件是指生成的新的日志文件。当使用该新的日志文件存储日志时,该新的日志文件则成为上述第一日志文件,如果后续周期性地检测到其大小达到第一预设阈值时,则再生成一个新的日志文件,来存储操作日志。
根据本申请实施例,通过检测第一日志文件对数据存储空间的占用量,在该占用量达到第一预设阈值时,生成第二日志文件即新的日志文件来存储对数据库的操作记录,这样,相对于现有技术中以一个日志文件来记录所有的操作记录而言,本申请实施例中通过不断生成新的日志文件来存储对数据库的操作记录,控制每个日志文件的数据量,即用多个日志文件来存储这些数据,大大方便了日志文件的查看和移动,解决了现有技术中由于日志文件越来越大造成对日志文件的查看和移动不方便的技术问题。
优选地,数据库为分布式数据库,第一日志文件为多个,每个第一日志文件用于存储分布式数据库中对应的服务器上的操作记录,其中,按照预设周期检测第一日志文件对数据存储空间的占用量包括:按照预设周期检测分布式数据库中每个服务器上的第一日志文件对数据存储空间的占用量;判断占用量是否达到第一预设阈值包括:判断每个服务器上的第一日志文件对数据存储空间的占用量是否达到第一预设阈值。
本实施例中,数据库为分布式数据库,分布式数据库里的数据部分在集群服务器上,其中每个节点的服务器上均有其对应的日志文件,用于记录该服务器上的操作记录。本实施例中的分布式数据库可以使MongoDB,其中,MongoDB是一种目前流行的分布式存储数据库系统,MongoDB不会创建新日志文件。由于分布式数据库的操作会非常频繁,因此,其日志文件的空间占用量会随着分布式数据库的操作次数而急速增大。
本实施例中,每隔预设周期检测每个服务器上的日志文件的对数据存储空间的占用量,即日志文件的大小,并判断其是否达到第一预设阈值,当某些服务器上的日志文件的占用量超过第一预设阈值时,则在这些服务器上均生成新的日志文件。例如,当集群服务器包括服务器a、服务器b、服务器c、服务器d和服务器e,每隔12小时检测这些服务器上的日志文件是否达到500Mb。当在某次检测时,检测出服务器c、服务器d和服务器e上的日志文件已经达到500Mb,则在服务器c、服务器d和服务器e上分别生成一个新的日志文件,用于存储后面的日志数据。
根据本申请实施例,将自动生成新的日志文件的方案应用在分布式数据库上,由于分布式数据库的对数据库的操作记录等日志数据增长的会比较快,因此,可以对预设周期进行调整,从而可以方便控制每一个日志文件的大小。
进一步地,可以在分布式数据库的每一个服务器上部署日志控制程序,由该日志控制程序周期性的检测其对应的服务器上的日志文件的大小,以及生成新的日志文件。
可选地,还可以是在集群服务器中的监控服务器上部署日志控制程序,通过该日志控制程序来检测所有节点服务器上的日志文件的大小。具体地,可以是将需要检测的节点服务器的IP地址写入到该监控服务器上对应的配置文件上,以便于日志控制程序从该配置文件中读取IP地址对相应的服务器的日志文件进行检测。其中,按照预设周期检测分布式数据库中每个服务器上的第一日志文件对数据存储空间的占用量包括:按照预设周期读取配置文件中的IP地址,其中,IP地址为分布式数据库中的服务器对应的地址;依次连接IP地址,读取IP地址对应的服务器上的第一日志文件对数据存储空间的占用量。
本实施例中,日志控制程序每隔预设周期启动一次,读取配置文件中的IP地址,并连接到相应的节点服务器,读取每个节点服务器上的日志文件的大小,判断其是否达到第一预设阈值,当达到第一预设阈值时,则在控制该节点服务器生成新的日志文件。
优选地,方法还包括:在按照预设周期检测第一日志文件对数据存储空间的占用量的同时,检测第一日志文件所在的服务器上磁盘的剩余空间;在判断占用量是否达到第一预设阈值同时,判断剩余空间是否低于第二预设阈值;其中,在判断出占用量达到第一预设阈值时或者判断出剩余空间低于第二预设阈值时,生成第二日志文件。
本实施例中,在检测第一日志文件的占用量的同时,还对该第一日志文件所在的服务器的磁盘剩余空间进行检测,然后,判断日志文件的占用量是否达到第一预设阈值,并且判断该剩余空间是否低于第二预设阈值,当满足占用量达到第一预设阈值和剩余空间低于第二预设阈值中任意一个条件时,生成新的日志文件。
在判断出剩余空间低于第二预设阈值,生成第二日志文件之后,方法还包括:将第一日志文件移动到预设地址对应的位置。
当磁盘的剩余空间低于第二预设阈值时,可以将原来的旧的日志文件即第一日志文件移动到指定位置,从而释放出磁盘空间。
根据本申请实施例,通过检测磁盘的剩余空间,保证了日志文件的大小不会因为人为的疏忽或遗忘而撑爆磁盘甚至丢失。
下面结合分布式数据库系统MongoDB为例来对本申请实施例的一种可选实施方式进行描述。具体包括:
(1)在任意一台能够连接到MongoDB集群中所有节点的服务器上部署日志控制程序。
(2)设定日志控制程序所要连接的MongoDB节点的IP地址,将集群中需要控制的节点IP地址添加进配置文件中。
(3)设定日志控制程序的启动周期即预设周期,使程序按照指定的周期启动。
(3)设定每个节点触发logRotate命令的磁盘阈值threshold1即第二预设阈值,如磁盘使用空间占总空间的比例,或者是磁盘剩余空间的绝对大小。其中,logRotate命令为MongoDB中用于新建一个新的日志文件的命令。
(4)设定每个节点触发logRotate命令的日志文件大小的阈值threthold2即第一预设阈值。
(5)设定日志文件移动的目的地址。
(6)程序启动后,会依次连接列表中的所有IP,读取所在IP的MongoDB服务对应的日志文件所在的磁盘情况,并读取最新日志文件的大小,当磁盘容量达到了threthold1或者日志文件大小达到了threshold2时,会触发该IP地址对应的节点的logRotate命令,产生新的日志文件。
(7)如果设定了日志文件移动的目的地址,会将旧的日志文件移动到指定的位置。
本申请实施例实现了通过部署日志控制程序来监测每个节点所有磁盘的磁盘空间和日志文件大小,当磁盘大小达到规定的空间,或者日志文件大小达规定的大小,会自动调用logRotate命令,并将老的日志文件移动到指定位置。
本申请实施例还提供了一种日志文件处理装置,该装置可以用于执行本申请实施例的日志文件处理方法,如图2所示,该装置包括:检测单元10、判断单元20和生成单元30。
检测单元10用于按照预设周期检测第一日志文件对数据存储空间的占用量,其中,第一日志文件用于存储对数据库的操作记录。
第一日志文件对数据存储空间的占用量也即是该第一日志文件的大小,例如500Mb、1Tb等。按照预设周期检测第一日志文件的对数据存储空间的占用量可以是每隔预设周期检测第一日志文件的占用量,即定期地检测日志文件的大小。
其中,数据库可以是分布式数据库系统中的分布式数据库,当数据库为分布式数据库时,分布式数据库系统中每个服务器上的数据库对应一个第一日志文件。预设周期可以根据需求进行设置。
判断单元20用于判断占用量是否达到第一预设阈值。
生成单元30用于在判断出占用量达到第一预设阈值时,生成第二日志文件,第二日志文件为用于存储对数据库的操作记录的新的日志文件。
本申请实施例中的第一预设阈值用于控制日志文件的大小,该阈值可以根据需求来设置。其中判断占用量是否达到第一预设阈值,即,判断日志文件是否过大,在日志文件过大时则生成新的日志文件,即第二日志文件,用于存储后续对数据库的操作记录。也即是说,当生成第二日志文件之后,所有对数据库的操作记录都存储在该第二日志文件中。
需要说明的是,本申请实施例中所说的第一日志文件具体是指当前用于存储操作记录日志的文件,第二日志文件是指生成的新的日志文件。当使用该新的日志文件存储日志时,该新的日志文件则成为上述第一日志文件,如果后续周期性地检测到其大小达到第一预设阈值时,则再生成一个新的日志文件,来存储操作日志。
根据本申请实施例,通过检测第一日志文件对数据存储空间的占用量,在该占用量达到第一预设阈值时,生成第二日志文件即新的日志文件来存储对数据库的操作记录,这样,相对于现有技术中以一个日志文件来记录所有的操作记录而言,本申请实施例中通过不断生成新的日志文件来存储对数据库的操作记录,控制每个日志文件的数据量,即用多个日志文件来存储这些数据,大大方便了日志文件的查看和移动,解决了现有技术中由于日志文件越来越大造成对日志文件的查看和移动不方便的技术问题。
优选地,数据库为分布式数据库,第一日志文件为多个,每个第一日志文件用于存储分布式数据库中对应的服务器上的操作记录,其中,检测单元具体用于按照预设周期检测分布式数据库中每个服务器上的第一日志文件对数据存储空间的占用量;判断单元具体用于判断每个服务器上的第一日志文件对数据存储空间的占用量是否达到第一预设阈值。
本实施例中,数据库为分布式数据库,分布式数据库里的数据部分在集群服务器上,其中每个节点的服务器上均有其对应的日志文件,用于记录该服务器上的操作记录。本实施例中的分布式数据库可以使MongoDB,其中,MongoDB是一种目前流行的分布式存储数据库系统,MongoDB不会创建新日志文件。由于分布式数据库的操作会非常频繁,因此,其日志文件的空间占用量会随着分布式数据库的操作次数而急速增大。
本实施例中,每隔预设周期检测每个服务器上的日志文件的对数据存储空间的占用量,即日志文件的大小,并判断其是否达到第一预设阈值,当某些服务器上的日志文件的占用量超过第一预设阈值时,则在这些服务器上均生成新的日志文件。例如,当集群服务器包括服务器a、服务器b、服务器c、服务器d和服务器e,每隔12小时检测这些服务器上的日志文件是否达到500Mb。当在某次检测时,检测出服务器c、服务器d和服务器e上的日志文件已经达到500Mb,则在服务器c、服务器d和服务器e上分别生成一个新的日志文件,用于存储后面的日志数据。
根据本申请实施例,将自动生成新的日志文件的方案应用在分布式数据库上,由于分布式数据库的对数据库的操作记录等日志数据增长的会比较快,因此,可以对预设周期进行调整,从而可以方便控制每一个日志文件的大小。
进一步地,可以在分布式数据库的每一个服务器上部署日志控制程序,由该日志控制程序周期性的检测其对应的服务器上的日志文件的大小,以及生成新的日志文件。
可选地,还可以是在集群服务器中的监控服务器上部署日志控制程序,通过该日志控制程序来检测所有节点服务器上的日志文件的大小。具体地,可以是将需要检测的节点服务器的IP地址写入到该监控服务器上对应的配置文件上,以便于日志控制程序从该配置文件中读取IP地址对相应的服务器的日志文件进行检测。其中,检测单元包括:第一读取单元,用于按照预设周期读取配置文件中的IP地址,其中,IP地址为分布式数据库中的服务器对应的地址;第二读取单元,用于依次连接IP地址,读取IP地址对应的服务器上的第一日志文件对数据存储空间的占用量。
本实施例中,日志控制程序每隔预设周期启动一次,读取配置文件中的IP地址,并连接到相应的节点服务器,读取每个节点服务器上的日志文件的大小,判断其是否达到第一预设阈值,当达到第一预设阈值时,则在控制该节点服务器生成新的日志文件。
优选地,检测单元还用于在按照预设周期检测第一日志文件对数据存储空间的占用量的同时,检测第一日志文件所在的服务器上磁盘的剩余空间;判断单元还用于在判断占用量是否达到第一预设阈值同时,判断剩余空间是否低于第二预设阈值;其中,生成单元具体用于在判断出占用量达到第一预设阈值时或者判断出剩余空间低于第二预设阈值时,生成第二日志文件。
本实施例中,在检测第一日志文件的占用量的同时,还对该第一日志文件所在的服务器的磁盘剩余空间进行检测,然后,判断日志文件的占用量是否达到第一预设阈值,并且判断该剩余空间是否低于第二预设阈值,当满足占用量达到第一预设阈值和剩余空间低于第二预设阈值中任意一个条件时,生成新的日志文件。
进一步地,装置还包括:移动单元,用于在判断出剩余空间低于第二预设阈值时,生成第二日志文件之后,将第一日志文件移动到预设地址对应的位置。
当磁盘的剩余空间低于第二预设阈值时,可以将原来的旧的日志文件即第一日志文件移动到指定位置,从而释放出磁盘空间。
根据本申请实施例,通过检测磁盘的剩余空间,保证了日志文件的大小不会因为人为的疏忽或遗忘而撑爆磁盘甚至丢失。
所述日志文件处理装置包括处理器和存储器,上述检测单元10、判断单元20和生成单元30等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元。上述第一预设阈值和第二预设阈值都可以存储在存储器中。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来检测日志文件的大小,并在日志文件过大时生成新的日志文件。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本申请还提供了一种计算机程序产品的实施例,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序代码:按照预设周期检测第一日志文件对数据存储空间的占用量,其中,第一日志文件用于存储对数据库的操作记录;判断占用量是否达到第一预设阈值;在判断出占用量达到第一预设阈值时,生成第二日志文件,第二日志文件为用于存储对数据库的操作记录的新的日志文件。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种日志文件处理方法,其特征在于,包括:
按照预设周期检测第一日志文件对数据存储空间的占用量,其中,所述第一日志文件用于存储对数据库的操作记录;
判断所述占用量是否达到第一预设阈值;以及
在判断出所述占用量达到所述第一预设阈值时,生成第二日志文件,所述第二日志文件为用于存储对所述数据库的操作记录的新的日志文件。
2.根据权利要求1所述的方法,其特征在于,所述数据库为分布式数据库,所述第一日志文件为多个,每个所述第一日志文件用于存储所述分布式数据库中对应的服务器上的操作记录,其中,
按照预设周期检测第一日志文件对数据存储空间的占用量包括:按照所述预设周期检测所述分布式数据库中每个服务器上的所述第一日志文件对数据存储空间的占用量;
判断所述占用量是否达到第一预设阈值包括:判断每个服务器上的所述第一日志文件对数据存储空间的占用量是否达到所述第一预设阈值。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
在按照预设周期检测第一日志文件对数据存储空间的占用量的同时,检测所述第一日志文件所在的服务器上磁盘的剩余空间;
在判断所述占用量是否达到第一预设阈值同时,判断所述剩余空间是否低于第二预设阈值;
其中,在判断出所述占用量达到所述第一预设阈值时或者判断出所述剩余空间低于第二预设阈值时,生成所述第二日志文件。
4.根据权利要求3所述的方法,其特征在于,在判断出所述剩余空间低于第二预设阈值时,生成所述第二日志文件之后,所述方法还包括:
将所述第一日志文件移动到预设地址对应的位置。
5.根据权利要求2所述的方法,其特征在于,按照所述预设周期检测所述分布式数据库中每个服务器上的所述第一日志文件对数据存储空间的占用量包括:
按照所述预设周期读取配置文件中的IP地址,其中,所述IP地址为所述分布式数据库中的服务器对应的地址;
依次连接所述IP地址,读取所述IP地址对应的服务器上的所述第一日志文件对数据存储空间的占用量。
6.一种日志文件处理装置,其特征在于,包括:
检测单元,用于按照预设周期检测第一日志文件对数据存储空间的占用量,其中,所述第一日志文件用于存储对数据库的操作记录;
判断单元,用于判断所述占用量是否达到第一预设阈值;以及
生成单元,用于在判断出所述占用量达到所述第一预设阈值时,生成第二日志文件,所述第二日志文件为用于存储对所述数据库的操作记录的新的日志文件。
7.根据权利要求6所述的装置,其特征在于,所述数据库为分布式数据库,所述第一日志文件为多个,每个所述第一日志文件用于存储所述分布式数据库中对应的服务器上的操作记录,其中,
所述检测单元具体用于按照所述预设周期检测所述分布式数据库中每个服务器上的所述第一日志文件对数据存储空间的占用量;
所述判断单元具体用于判断每个服务器上的所述第一日志文件对数据存储空间的占用量是否达到所述第一预设阈值。
8.根据权利要求6或7所述的装置,其特征在于,
所述检测单元还用于在按照预设周期检测第一日志文件对数据存储空间的占用量的同时,检测所述第一日志文件所在的服务器上磁盘的剩余空间;
所述判断单元还用于在判断所述占用量是否达到第一预设阈值同时,判断所述剩余空间是否低于第二预设阈值;
其中,所述生成单元具体用于在判断出所述占用量达到所述第一预设阈值时或者判断出所述剩余空间低于第二预设阈值时,生成所述第二日志文件。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
移动单元,用于在判断出所述剩余空间低于第二预设阈值时,生成所述第二日志文件之后,将所述第一日志文件移动到预设地址对应的位置。
10.根据权利要求7所述的装置,其特征在于,所述检测单元包括:
第一读取单元,用于按照所述预设周期读取配置文件中的IP地址,其中,所述IP地址为所述分布式数据库中的服务器对应的地址;
第二读取单元,用于依次连接所述IP地址,读取所述IP地址对应的服务器上的所述第一日志文件对数据存储空间的占用量。
CN201510869092.1A 2015-12-01 2015-12-01 日志文件处理方法和装置 Pending CN106815124A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510869092.1A CN106815124A (zh) 2015-12-01 2015-12-01 日志文件处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510869092.1A CN106815124A (zh) 2015-12-01 2015-12-01 日志文件处理方法和装置

Publications (1)

Publication Number Publication Date
CN106815124A true CN106815124A (zh) 2017-06-09

Family

ID=59109006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510869092.1A Pending CN106815124A (zh) 2015-12-01 2015-12-01 日志文件处理方法和装置

Country Status (1)

Country Link
CN (1) CN106815124A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763454A (zh) * 2018-05-28 2018-11-06 郑州云海信息技术有限公司 分布式文件系统日志更新方法、系统、装置及存储介质
CN109086098A (zh) * 2018-07-23 2018-12-25 郑州云海信息技术有限公司 一种日志文件清理方法及相关装置
CN109309579A (zh) * 2018-01-30 2019-02-05 深圳壹账通智能科技有限公司 日志记录处理方法、装置、计算机设备和存储介质
CN110442489A (zh) * 2018-05-02 2019-11-12 阿里巴巴集团控股有限公司 数据处理的方法和存储介质
CN112445431A (zh) * 2020-11-16 2021-03-05 深圳市元征科技股份有限公司 数据存储方法、装置、设备及介质
CN113407503A (zh) * 2020-03-16 2021-09-17 北京金山云网络技术有限公司 一种日志空间管理方法、装置、电子设备及介质
US11169901B2 (en) 2019-05-06 2021-11-09 Red Hat, Inc. Storage-based log file management

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1477822A (zh) * 2003-07-31 2004-02-25 北京港湾网络有限公司 日志信息的扩展保存方法
CN1648867A (zh) * 2004-01-30 2005-08-03 株式会社日立制作所 数据处理系统
CN1794646A (zh) * 2005-04-27 2006-06-28 华为技术有限公司 一种网络管理服务器从网元设备获取日志信息的方法
CN101645031A (zh) * 2009-06-30 2010-02-10 卡斯柯信号有限公司 一种动态按时间输出日志文件的方法
CN102447633A (zh) * 2011-12-29 2012-05-09 北京亿赞普网络技术有限公司 一种日志传输的方法和系统
CN103532754A (zh) * 2013-10-12 2014-01-22 北京首信科技股份有限公司 一种通过高速内存、分布式处理海量日志的系统及方法
CN103645984A (zh) * 2013-12-24 2014-03-19 山东中创软件工程股份有限公司 日志处理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1477822A (zh) * 2003-07-31 2004-02-25 北京港湾网络有限公司 日志信息的扩展保存方法
CN1648867A (zh) * 2004-01-30 2005-08-03 株式会社日立制作所 数据处理系统
CN1794646A (zh) * 2005-04-27 2006-06-28 华为技术有限公司 一种网络管理服务器从网元设备获取日志信息的方法
CN101645031A (zh) * 2009-06-30 2010-02-10 卡斯柯信号有限公司 一种动态按时间输出日志文件的方法
CN102447633A (zh) * 2011-12-29 2012-05-09 北京亿赞普网络技术有限公司 一种日志传输的方法和系统
CN103532754A (zh) * 2013-10-12 2014-01-22 北京首信科技股份有限公司 一种通过高速内存、分布式处理海量日志的系统及方法
CN103645984A (zh) * 2013-12-24 2014-03-19 山东中创软件工程股份有限公司 日志处理方法及装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109309579A (zh) * 2018-01-30 2019-02-05 深圳壹账通智能科技有限公司 日志记录处理方法、装置、计算机设备和存储介质
CN109309579B (zh) * 2018-01-30 2021-09-14 深圳壹账通智能科技有限公司 日志记录处理方法、装置、计算机设备和存储介质
CN110442489A (zh) * 2018-05-02 2019-11-12 阿里巴巴集团控股有限公司 数据处理的方法和存储介质
CN110442489B (zh) * 2018-05-02 2024-03-01 阿里巴巴集团控股有限公司 数据处理的方法和存储介质
CN108763454A (zh) * 2018-05-28 2018-11-06 郑州云海信息技术有限公司 分布式文件系统日志更新方法、系统、装置及存储介质
CN109086098A (zh) * 2018-07-23 2018-12-25 郑州云海信息技术有限公司 一种日志文件清理方法及相关装置
US11169901B2 (en) 2019-05-06 2021-11-09 Red Hat, Inc. Storage-based log file management
US11714740B2 (en) 2019-05-06 2023-08-01 Red Hat, Inc. Storage-based log file management
CN113407503A (zh) * 2020-03-16 2021-09-17 北京金山云网络技术有限公司 一种日志空间管理方法、装置、电子设备及介质
CN112445431A (zh) * 2020-11-16 2021-03-05 深圳市元征科技股份有限公司 数据存储方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN106815124A (zh) 日志文件处理方法和装置
CN104166561B (zh) 电子设备系统启动方法和电子设备
CN109408328A (zh) 一种硬盘健康状态的监测方法、装置以及设备
CN104811931B (zh) 一种移动终端唯一标识分配系统和方法
CN104133641A (zh) 一种外部存储设备文件清除方法以及装置
CN104915306B (zh) 一种数据操作控制方法及设备管理器
CN104158858A (zh) 一种访问分布式集群文件系统方法及系统
CN106293782A (zh) 一种系统升级方法及终端
CN101375252A (zh) 补丁应用装置和程序
CN108304112B (zh) 数据处理方法和装置
CN104166694A (zh) 一种图像分类存储方法和电子设备
CN109412875B (zh) zookeeper集群自动维护方法及装置
CN105868056B (zh) 获取Windows虚拟机中已删除文件的方法、装置及安全虚拟机
CN105912424A (zh) 一种基于云架构的终端程序快速备份及恢复方法
CN108519923A (zh) 一种卡顿检测方法及装置和电子设备
CN106033322A (zh) 一种数据存储方法及装置
CN107958166A (zh) 一种数据检测方法及检测设备
CN106776891A (zh) 一种文件存储的方法和装置
CN102419753A (zh) 信息处理设备、信息处理方法和信息处理系统
CN106201346B (zh) 一种数据处理方法及存储设备
CN102025758A (zh) 分布式系统中数据副本的恢复方法、装置和系统
US20160267096A1 (en) File transmitting system and method
CN105260140A (zh) 磁盘容量监控方法及装置
CN104834549B (zh) 移动终端的应用程序文件更新方法及装置
CN108228752A (zh) 数据全量导出方法、数据分配装置及数据导出节点

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Applicant after: Beijing Guoshuang Technology Co.,Ltd.

Address before: 100086 Cuigong Hotel, 76 Zhichun Road, Shuangyushu District, Haidian District, Beijing

Applicant before: Beijing Guoshuang Technology Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170609