CN102622407B - 日志文件操作系统及日志文件管理方法 - Google Patents

日志文件操作系统及日志文件管理方法 Download PDF

Info

Publication number
CN102622407B
CN102622407B CN201210020239.6A CN201210020239A CN102622407B CN 102622407 B CN102622407 B CN 102622407B CN 201210020239 A CN201210020239 A CN 201210020239A CN 102622407 B CN102622407 B CN 102622407B
Authority
CN
China
Prior art keywords
file
unit
journal
read
data content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210020239.6A
Other languages
English (en)
Other versions
CN102622407A (zh
Inventor
叶耀荣
贾玉海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yunbiao Bureau Network Technology Co.,Ltd.
Original Assignee
GUANGZHOU ONECLOUD INFORMATION TECHNOLOGY Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGZHOU ONECLOUD INFORMATION TECHNOLOGY Inc filed Critical GUANGZHOU ONECLOUD INFORMATION TECHNOLOGY Inc
Priority to CN201210020239.6A priority Critical patent/CN102622407B/zh
Publication of CN102622407A publication Critical patent/CN102622407A/zh
Application granted granted Critical
Publication of CN102622407B publication Critical patent/CN102622407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种日志文件操作系统,包括:文件写入池单元,存放多个文件写单元,文件索引单元,文件读取池单元,存放多个文件读单元,文件合并单元,文件配置单元,文件操作管理单元;文件操作管理单元用于对文件写入池单元、文件索引单元、文件合并单元、文件读取池单元及文件配置单元进行管理。针对上述日志文件操作系统本发明还提供了一种日志文件管理方法,通过对文件写单元生成日志文件,在用户需要获取日志文件时,由文件读单元读取该日志文件,并经文件合并单元进行合并操作,因此本发明中的系统及方法能够实现日志文件的高效写入,统一备份,统一编号,统一存储。

Description

日志文件操作系统及日志文件管理方法
技术领域
本发明涉及支持将大量数据内容同时添加到大量文件尾部的文件应用系统技术领域,特别适合在云计算平台中将大量数据写入日志系统的环境,具体涉及日志文件操作系统及日志文件管理方法。
背景技术
在企业发展不断加速的今天,企业信息化系统 (Enterprises informatization)、网站应用系统等众多应用系统不断丰富着我们的工作和生活,而这些应用平台的稳定、方便和快捷离不开系统文件操作或者日志系统操作的支持,例如:该系统可能是事务日志系统,操作日志系统或者是持久化日志系统等等,特别是在云计算管理平台更离不开这样的日志操作系统。虽然在行业中有个别一些日志系统可以实现系统日志的操作,比如:Log4j等,但是这样的日志不具有通用性,比如每个需要使用日志系统的类为了不和别的类冲突就必须定义自己的Log4j配置, 每个日志文件单独存在系统中,这样又不能统一管理。图1示出了现有技术的日志操作系统对日志管理的方法流程图,从该图中可以看出,该应用系统启动后直接简单的生成了文件记录,而这种文件记录并没有经过编号、排列的过程,因此在后期的输出过程中存在着不方便管理的问题,而且上面也提到了这种文件记录不具有通用性。
发明内容
本发明提供一种日志文件操作系统,能够将大量数据写入日志系统的环境,并对日志文件进行统一管理。
本发明提供一种日志文件操作系统,用于接收外部调用模块的数据内容并将该数据内容生成日志文件以供数据内容处理模块读取,包括:
文件写入池单元,存放多个文件写单元,用于根据文件操作管理单元的调用请求为外部调用模块提供文件写单元;所述文件写单元用于存放外部调用模块写入的数据内容并将该数据内容生成为日志文件;
文件索引单元,用于向文件写单元中的日志文件提供索引编号;
文件读取池单元,存放多个文件读单元,所述文件读单元用于读取文件写单元中的日志文件;
文件合并单元,用于对文件读单元中的日志文件进行合并操作;判断合并点文件是否存在;如果是,则打开文件合并点文件,查找最后一条合并点记录,分析合并点记录,计算每个日志文件对应文件读单元编号和最后指针位置,然后执行初始化文件读取池单元;如果否,则直接执行初始化文件读取池单元;
初始化文件读单元并打开文件读单元对应的日志文件;
重新定位每个文件读单元中文件指针位置为合并点对应的文件读单元对应的文件指针位置;
分别读取日志文件中的下一条数据内容;
取出文件读取池单元中第一条数据内容并由文件读单元读取下一条数据内容;
将读出的数据内容以参数的形式发送给数据内容处理模块;
找到传递数据内容给数据内容处理模块的文件读单元,并由该文件读单元继续读入下一条数据;
判断文件读单元是否还有数据可读;如果是,则返回到分别读取数据日志文件中的下一条数据内容的步骤;如果否,则记录下文件读取池单元中每个文件读单元的指针位置,将所有文件指针位置组织成合并点记录并将该合并点记录写入到合并点文件中;
文件配置单元,用于根据应用服务器性能和/或外部调用模块的请求数量对日志文件存储信息进行配置;
文件操作管理单元,用于对文件写入池单元、文件索引单元、文件合并单元、文件读取池单元及文件配置单元进行管理。
优选地,本发明的日志文件操作系统还包括文件异地备份单元,所述文件异地备份单元用于根据文件操作管理单元的调用请求向文件写单元提供异地备份的地址及调用接口。
优选地,所述日志文件存储信息包括日志文件的文件路径、文件名称及名称数量。
针对上述日志文件操作系统,本发明还提供了一种日志文件管理方法,包括步骤:
对系统进行初始化设置;
文件操作管理单元根据外部调用模块的请求将数据内容写入池单元中的文件写单元提供给外部调用模块进行数据内容写入操作,并生成日志文件;
判断系统是否需要读取日志文件:如果是,则由文件读取池单元中的文件读单元读取文件写单元中的日志文件,并启动文件合并单元,由文件合并单元对日志文件进行合并操作以供数据内容管理模块读取;如果否,则系统结束操作;
所述启动文件合并单元的步骤包括:
判断合并点文件是否存在;如果是,则打开文件合并点文件,查找最后一条合并点记录,分析合并点记录,计算每个日志文件对应文件读单元编号和最后指针位置,然后执行初始化文件读取池单元;如果否,则直接执行初始化文件读取池单元;
初始化文件读单元并打开文件读单元对应的日志文件;
重新定位每个文件读单元中文件指针位置为合并点对应的文件读单元对应的文件指针位置;
分别读取日志文件中的下一条数据内容;
取出文件读取池单元中第一条数据内容并由文件读单元读取下一条数据内容;
将读出的数据内容以参数的形式发送给数据内容处理单元;
找到传递数据内容给数据内容处理模块的文件读单元,并由该文件读单元继续读入下一条数据;
判断文件读单元是否还有数据可读;如果是,则返回到分别读取数据日志文件中的下一条数据内容的步骤;如果否,则记录下文件读取池单元中每个文件读单元的指针位置,将所有文件指针位置组织成合并点记录并将该合并点记录写入到合并点文件中。
优选地,所述对系统进行初始化设置的步骤之前还包括:对系统参数进行配置。
优选地,所述对系统进行初始化的步骤包括:文件操作管理单元读取文件配置单元内的配置信息;初始化日志文件操作系统;判断操作的日志文件是否存在:如果存在,则定位文件指针到文件尾;如果不存在,则创建日志文件。
优选地,所述初始化日志文件操作系统包括初始化日志文件异地备份地址。
优选地,所述文件操作管理单元根据外部调用模块的请求将数据内容写入池单元中的文件写单元提供给外部调用模块进行数据内容写入操作,并生成日志文件的步骤包括:
判断日志文件大小是否已经达到文件配置单元中文件大小限制;如果是,则文件操作管理单元通过文件索引单元向文件写单元提供新的索引编号,文件写单元重新命名正在操作的日志文件,并创建新的日志文件,然后文件操作管理单元对已经换页的文件写单元的编号进行登记,执行将数据内容写入到文件写单元生成日志文件,并归还文件写单元到文件写入池单元;如果否,则直接执行将数据内容写入到文件写入单元生成日志文件,并归还文件写单元到文件写入池单元。
优选地,所述启动文件合并单元的步骤之前还包括:文件操作管理单元接收文件写单元发送的换页编号并进行登记;判断登记的换页编号与当前的日志文件的个数是否相同;如果是,则启动文件合并单元;如果否,则暂不启动文件合并单元,并继续执行将数据内容写入到文件写单元。
上述技术方案可以看出,由于本发明实施例中日志文件操作系统采用文件写入池单元、文件读取池单元、文件索引单元及文件合并单元相结合由文件操作管理单元进行管控,因此系统可以实现日志文件的高效写入,统一备份,统一编号,统一存储,为了方便用户使用已经写入文件的数据内容,本系统提供了系统运行过程中向用户接口提供数据内容即动态合并的功能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是现有技术中日志文件管理方法的流程图;
图2本发明实施例1中日志文件操作系统的结构示意图;
图3是本发明实施例2中日志文件管理方法的流程图;
图4是本发明实施例2的日志文件管理方法中对日志文件操作系统进行系统配置的流程图;
图5是本发明实施例2的日志文件管理方法中由文件写单元写入日志文件并生成日志文件的流程图;
图6是本发明实施例2的日志文件管理方法中启动文件合并单元的流程图;
图7是本发明实施例2的日志文件管理方法中文件合并单元合并文件的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例1:
如图2所示,本发明实施例提供一种日志文件操作系统,用于接收外部调用模块的数据内容并将该数据内容生成日志文件以供数据内容处理模块读取,包括:
文件写入池单元,存放多个文件写单元,用于根据文件操作管理单元的调用请求为外部调用模块提供文件写单元;所述文件写单元用于存放外部调用模块写入的数据内容并将该数据内容生成为日志文件;
文件索引单元,用于向文件写单元中的日志文件提供索引编号;
文件读取池单元,存放多个文件读单元,所述文件读单元用于读取文件写单元中的日志文件;
文件合并单元,用于对文件读单元中的日志文件进行合并操作;
文件配置单元,用于根据应用服务器性能和/或外部调用模块的请求数量对日志文件存储信息进行配置;
文件操作管理单元,用于对日志文件操作系统、文件索引单元、文件合并单元、文件读取池单元及文件配置单元进行管控。
为了提高系统的稳定性与安全性,本发明实施例中的日志文件操作系统还包括文件异地备份单元,所述文件异地备份单元用于根据文件操作管理单元的调用请求向文件写单元提供异地备份的地址及调用接口,在文件写单元进行本地写入用户的数据内容后再通过异地备份单元提供的远程调用接口以同样的方式,即通过远程调用接口中提供的文件操作管理单元获取文件写单元将数据内容发送到远程日志文件系统,其中远程日志文件系统是本发明实施例中日志文件操作系统的备份系统。
具体地,所述日志文件存储信息包括日志文件的文件路径、文件名称及名称数量,当然根据需要日志文件存储信息还可以增加更多的内容信息,如文件大小、文件级别等内容,此处不再一一赘述。
文件写入池单元该单元中主要是存放了一定数量的文件写单元,具体文件写单元的数量由文件操作池配置单元设定,文件写入池单元提供了获取文件写单元的操作方法和归还文件写单元的操作方法;而文件写单元主要用于将用户的数据内容写入对应的目标文件中,即将用户的数据内容写入到文件写单元中建立的目标文件,并将该目标文件生成日志文件。
文件索引单元主要用于根据不同的操作文件名称产生下一个文件编号,此处的文件编号即为索引编号,即根据不同的日志文件名称产生一个新的索引编号,当文件写单元中的日志文件发生换页时,文件写单元通过文件操作管理单元向文件索引单元获取索引编号。
文件读取池单元同样存放了一定数量的文件读单元,具体的文件读单元的数量由文件配置单元设定,文件读单元则对应着文件写单元,如果用户需要对日志文件进行读取,那么则由文件读单元将文件写单元中的日志读取出来,再由数据内容处理模块从该文件读单元获取日志文件。
文件合并单元由文件操作管理单元进行管控,当用户需要获取本系统中文件写入单元中的日志文件时,系统根据文件操作管理单元所登记的日志文件换页编号与日志文件数量的比对结果,决定是否启动文件合并单元,启动文件合并单元能够使本日志文件操作系统对多页日志文件进行统一编号和统一管理,需要说明的是,文件合并单元可以将文件索引单元提供索引编号的日志文件进行合并,文件合并单元并不负责对日志文件进行统一编号,统一编号是由文件索引单元负责,统一管理是由文件合并单元在合并完日志文件后统一压缩为zip文件并命名为文件配置单元中指定的压缩备份文件名称,文件合并完成后输出给用户提供的数据内容合并接口,可以理解的是该数据内容合并接口可以是用户提供的数据内容处理模块中的组成部分。
文件配置单元是系统中设定相关参数的重要单元,里面存储了对系统设定的参数数据,系统在进行数据内容写入的过程中,首先会调取文件配置单元中的参数数据,并根据该参数数据对整个系统进行配置,具体配置的内容主要有以下几项:
INIT_SIZE:指定日志文件操作系统在初始化时首先应该初始化的文件个数,每个文件将由日志文件操作系统中的每个文件操作对象进行文件读或写操作;
STEP_LENGTH:日志文件操作系统在使用中如果发现现有的文件操作对象已经不能满足外部请求时,将会自动增加STEP_LENGTH个文件写单元到日志文件操作系统中;准确的说,当日志文件操作系统中的文件写入池单元中的文件写入单元个数为0时,文件操作管理单元会自动生成STEP_LENGTH个文件写入单元并将这些文件写入单元放入文件写入池单元,以供外部调用模块使用。
MAX_SIZE:指定日志文件操作系统中最大的文件操作对象个数,当日志文件操作系统中文件操作对象个数达到这个界限时,将不再增加新的文件操作对象到日志文件操作系统中;
LOG_SIZE:在日志文件操作系统中的每个文件操作对象发现自己操作的文件大小已经达到这个限制的时候将会创建新的文件继续操作,并将现有文件另存为具有编号的文件;
       LOG_PATH:文件操作池中每个文件操作对象操作的日志文件存放路径;
LOG_NAME:文件操作池中每个文件操作对象操作的日志文件名称;
MERGE_POINT_PATH:合并文件存放路径;
所谓合并是在外部调用模块将数据内容顺序写入日志文件系统后,可能因为业务需要,需要将写入的内容顺序读出到用户提供的数据内容接口中,这一过程可能是间歇性进行的,那么对于每次间歇性写入的内容进行整合即为合并,这样就需要记录每次合并后的位置,该位置即为合并点。
MERGE_POINT_NAME:合并点文件名称;
MERGE_BACKUP_PATH:合并后文件压缩备份路径;
MERGE_BACKUP_NAME:合并后文件压缩备份的名称。
文件操作管理单元在本系统中具有全局管控的作用,文件操作管理单元对文件写入池单元、文件索引单元、文件合并单元、文件读取池单元及文件配置单元进行管控,所谓管控即通过调用或者命令请求的方式控制各个单元进行相关的功能动作。本发明实施例中的文件异地备份单元同样受文件操作管理单元的管控,当文件写单元中的日志文件需要备份时,由文件操作管理单元调用文件异地备份单元,并由文件异地备份单元提供异地备份的地址及调用接口,实现日志文件的异地备份,保证系统内的数据更加安全稳定。
本发明实施例中,外部调用模块和文件处理模块均有用户提供,并与本日志文件操作系统相连,进行数据传输,当用户需要将数据内容写入本系统中的文件写单元时,首先由用户提供的外部调用模块向本系统的文件操作管理单元发出写入请求,通过写入请求后,外部调用模块再将数据内容写入到本系统的文件写单元内并生成日志文件,供用户随时获取,而用户提供的数据内容处理模块能够接收本系统中经过文件索引单元统一编号且经过合并的日志文件内容,方便用户对日志文件的处理。
实施例2:
针对上述日志文件操作系统,本发明实施例还提供了一种日志文件管理方法,如图3所示,包括步骤:
101:对系统参数进行配置;
系统在启动时首先文件操作管理单元读取文件配置单元中的配置信息,具体配置信息已于上述实施例1中进行了描述,那么此处不再进行赘述。因此本步骤中需要对系统参数进行配置,将系统配置参数存储于文件配置单元中。
102:对系统进行初始化设置;
本步骤中对于系统进行初始化设置主要包括对文件写入池单元进行初始化设置,当然就包括了对文件写入单元的初始化设置,当然也包括初始化文件异地备份地址,即对异地文件备份单元进行初始化设置,同时还有对文件操作管理单元、文件合并单元的初始化设置,初始化文件操作管理单元时首先初始化一个用于登记所有日志文件换页的索引编号的Map容器(比如Java编程语言中的Map接口中的HashMap类或其他任意实现类),并初始化文件合并单元,具体对文件写入池单元的初始化设置内容结合图4进行详细介绍。
如图4所示,所述对系统进行初始化的步骤包括:
1021:文件操作管理单元读取文件配置单元内的配置信息;
本步骤中文件配置单元内的配置信息即为系统配置参数,可以理解的是,本系统配置参数可以在系统启动时进行设置,也可以在系统启动之前事先将配置参数存于文件配置单元内。当然,该系统配置参数还应当包括文件配置单元根据应用服务器性能和/或外部调用模块的请求数量对日志文件进行配置的存储信息,即根据服务器硬盘的存储空间及响应速度等因素和/或根据向本系统申请数据内容写入的外部请求模块的数量来对日志文件进行配置的存储信息,所述日志文件存储信息包括日志文件的文件路径、文件名称及名称数量。
1022:初始化文件池单元;文件写入池单元需要根据文件操作配置单元中的INIT_SIZE字段初始化文件写单元,并为每个文件写单元设置相应的编号,然后将编号以参数的形式传入文件写单元;在初始化文件写单元时,文件写单元首先判断本单元编号对应目标操作文件是否存在,如果不存在则创建新的文件,如果目标操作文件存在则重新打开目标文件,并将文件指针定位到目标文件尾部;这样文件操作管理单元初始化结束。
1023:判断操作的日志文件是否存在:
如果存在,则执行1024:定位文件指针到文件尾;
如果不存在,则执行1025:创建日志文件。
至此完成了对系统初始化的设置,对于对日志文件异地备份地址的初始化设置可以与文件池单元的初始化设置同时进行。
103:文件操作管理单元根据外部调用模块的请求将数据内容写入池单元中的文件写单元提供给外部调用模块进行数据内容写入操作,并生成日志文件;
本步骤中外部调用模块会先向文件操作管理单元发送数据内容写入请求,请求通过后,文件操作处理单元会调用文件写入池单元中的文件写单元,外部调用模块再将数据内容写入到文件写单元中,对于写入的具体操作结合图5进行详细描述。
如图5所示,所述文件操作管理单元根据外部调用模块的请求将数据内容写入池单元中的文件写单元提供给外部调用模块进行数据内容写入操作,并生成日志文件的步骤包括:
1031:判断日志文件大小是否已经达到文件配置单元中文件大小限制;
本步骤中文件配置单元中的文件大小限制是指文件配置单元中对于每个日志文件是否需要换页的设置,如果日志文件需要进行换页则该日志文件则必定超出了文件配置单元中的文件大小限制,则进一步说明日志文件已经发生换页动作。
如果是,则执行1032:文件操作管理单元通过文件索引单元向文件写单元提供新的索引编号,重新命名正在操作的日志文件,并创建新的日志文件,然后文件操作管理单元对已经换页的文件写单元的编号进行登记,并执行1033:将数据内容写入到文件写单元生成日志文件,并归还文件写单元到文件写入池单元;
如果否,则直接执行1033:将数据内容写入到文件写入单元生成日志文件,并归还文件写单元到文件写入池单元。
至此,数据内容写入操作结束。
104:判断系统是否需要读取日志文件;
本步骤中系统是否需要读取日志的判断是由用户来决定的,如果用户想要获取本系统中的日志文件,那么用户可以通过其数据内容处理模块向本系统发出获取请求,请求通过后,本系统进入读取日志文件的步骤中。
因此,如果用户需要获取日志文件(即系统需要读取日志),则执行105:由文件读取池单元中的文件读单元读取文件写单元中的日志文件,并启动文件合并单元,由文件合并单元对日志文件进行合并操作以供数据内容管理模块读取;如果用户不需要获取日志文件,则执行106:系统结束操作。
在步骤105中,日志文件的读取涉及到合并的动作,对于合并的解释已经在上述实施例1中做出了具体描述,此处不再赘述。
本发明实施例中在所述启动文件合并单元的步骤之前还包括了一个判断的步骤,即对于是否启动文件合并单元的判断,具体步骤请参见图6所示:
1041:文件操作管理单元接收文件写单元发送的日志文件换页编号并进行登记;
1042:判断登记的换页编号与当前的日志文件的个数是否相同;
如果是,则执行1043:启动文件合并单元;如果否,则执行1044:暂不启动文件合并单元,并继续执行将数据内容写入到文件写单元。
那么这一对于是否启动文件合并单元的判断步骤的加入可以使整个系统更加有效的运行。
对于所述启动文件合并单元的具体操作步骤请参见图7所示:
1051:判断合并点文件是否存在;
如果是,则执行1052:打开文件合并点文件,查找最后一条合并点记录,分析合并点记录,计算每个日志文件对应文件读单元编号和最后指针位置,然后执行1053:初始化文件读取池单元;
如果否,则直接执行1053:初始化文件读取池单元;
文件读取池单元初始化完成后执行1054:初始化文件读单元并打开文件读单元对应的日志文件;
 1055:重新定位每个文件读单元中文件指针位置为合并点对应的文件读单元对应的文件指针位置;
1056:分别读取日志文件中的下一条数据内容;
由于上一步骤1055中将文件指针位置重新定位到了合并点对应的文件指针位置,因此在此步骤中会读取到合并点处日志文件的下一条数据内容。
1057:取出文件读取池单元中第一条数据内容并由文件读单元读取下一条数据内容;此处是一个重复的动作过程,在取出文件读取池单元中的第一条数据内容后,由文件读单元读取下一条数据内容,这时候被读取的下一条数据内容就成了读取池单元中的第一条数据内容,进而不断的重复执行,直到读出所有的数据内容。
1058:将读出的数据内容以参数的形式发送给数据内容处理模块;
1059:找到传递数据内容给数据内容处理模块的文件读单元,并由该文件读单元继续读入下一条数据;
1060:判断文件读单元是否还有数据可读;
如果是,则返回1056:返回到分别读取数据日志文件中的下一条数据内容的步骤;
如果否,则执行1061:记录下文件读取池单元中每个文件读单元的指针位置,将所有文件指针位置组织成合并点记录并该合并点记录写入到合并点文件中,并将已经读取过的日志文件统一压缩为zip文件,备份文件名称和备份文件路径由文件配置管理单元中的备份文件名称和备份文件路径提供。
本发明实施例中所采用的方法将用户需要写入的数据内容由文件索引单元进行分配编号,并生成日志文件,而在对日志文件的读取过程中有文件合并单元对多页日志文件进行合并操作,从而实现了对日志文件的统一编号、统一管理和统一备份的目的。
需要说明的是,上述模块和系统内的各单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
以上对本发明实施例所提供的日志文件操作系统及日志文件管理方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (9)

1.日志文件操作系统,用于接收外部调用模块的数据内容并将该数据内容生成日志文件以供数据内容处理模块读取,其特征在于,包括:
文件写入池单元,存放多个文件写单元,用于根据文件操作管理单元的调用请求为外部调用模块提供文件写单元;所述文件写单元用于存放外部调用模块写入的数据内容并将该数据内容生成为日志文件;
文件索引单元,用于向文件写单元中的日志文件提供索引编号;
文件读取池单元,存放多个文件读单元,所述文件读单元用于读取文件写单元中的日志文件;
文件合并单元,用于对文件读单元中的日志文件进行合并操作;判断合并点文件是否存在;如果是,则打开文件合并点文件,查找最后一条合并点记录,分析合并点记录,计算每个日志文件对应文件读单元编号和最后指针位置,然后执行初始化文件读取池单元;如果否,则直接执行初始化文件读取池单元;
初始化文件读单元并打开文件读单元对应的日志文件;
重新定位每个文件读单元中文件指针位置为合并点对应的文件读单元对应的文件指针位置;
分别读取日志文件中的下一条数据内容;
取出文件读取池单元中第一条数据内容并由文件读单元读取下一条数据内容;
将读出的数据内容以参数的形式发送给数据内容处理模块;
找到传递数据内容给数据内容处理模块的文件读单元,并由该文件读单元继续读入下一条数据;
判断文件读单元是否还有数据可读;如果是,则返回到分别读取数据日志文件中的下一条数据内容的步骤;如果否,则记录下文件读取池单元中每个文件读单元的指针位置,将所有文件指针位置组织成合并点记录并将该合并点记录写入到合并点文件中;
文件配置单元,用于根据应用服务器性能和/或外部调用模块的请求数量对日志文件存储信息进行配置;
文件操作管理单元,用于对文件写入池单元、文件索引单元、文件合并单元、文件读取池单元及文件配置单元进行管理。
2.如权利要求1所述的日志文件操作系统,其特征在于:还包括文件异地备份单元,所述文件异地备份单元用于根据文件操作管理单元的调用请求向文件写单元提供异地备份的地址及调用接口。
3.如权利要求1或2所述的日志文件操作系统,其特征在于:所述日志文件存储信息包括日志文件的文件路径、文件名称及名称数量。
4.日志文件管理方法,其特征在于,包括步骤:
对系统进行初始化设置;
文件操作管理单元根据外部调用模块的请求将数据内容写入池单元中的文件写单元提供给外部调用模块进行数据内容写入操作,并生成日志文件;
判断系统是否需要读取日志文件:如果是,则由文件读取池单元中的文件读单元读取文件写单元中的日志文件,并启动文件合并单元,由文件合并单元对日志文件进行合并操作以供数据内容管理模块读取;如果否,则系统结束操作;
所述启动文件合并单元的步骤包括:
判断合并点文件是否存在;如果是,则打开文件合并点文件,查找最后一条合并点记录,分析合并点记录,计算每个日志文件对应文件读单元编号和最后指针位置,然后执行初始化文件读取池单元;如果否,则直接执行初始化文件读取池单元;
初始化文件读单元并打开文件读单元对应的日志文件;
重新定位每个文件读单元中文件指针位置为合并点对应的文件读单元对应的文件指针位置;
分别读取日志文件中的下一条数据内容;
取出文件读取池单元中第一条数据内容并由文件读单元读取下一条数据内容;
将读出的数据内容以参数的形式发送给数据内容处理模块;
找到传递数据内容给数据内容处理模块的文件读单元,并由该文件读单元继续读入下一条数据;
判断文件读单元是否还有数据可读;如果是,则返回到分别读取数据日志文件中的下一条数据内容的步骤;如果否,则记录下文件读取池单元中每个文件读单元的指针位置,将所有文件指针位置组织成合并点记录并将该合并点记录写入到合并点文件中。
5.如权利要求4所述的日志文件管理方法,其特征在于,所述对系统进行初始化设置的步骤之前还包括:
对系统参数进行配置。
6.如权利要求4或5所述的日志文件管理方法,其特征在于,所述对系统进行初始化的步骤包括:
文件操作管理单元读取文件配置单元内的配置信息;
初始化日志文件操作系统;
判断操作的日志文件是否存在;如果存在,则定位文件指针到文件尾;如果不存在,则创建日志文件。
7.如权利要求4或5所述的日志文件管理方法,其特征在于:所述对系统进行初始化设置包括初始化日志文件异地备份地址。
8.如权利要求4或5所述的日志文件管理方法,其特征在于,所述文件操作管理单元根据外部调用模块的请求将数据内容写入池单元中的文件写单元提供给外部调用模块进行数据内容写入操作,并生成日志文件的步骤包括:
判断日志文件大小是否已经达到文件配置单元中文件大小限制;如果是,则文件操作管理单元通过文件索引单元向文件写单元提供新的索引编号,重新命名正在操作的日志文件,并创建新的日志文件,然后文件操作管理单元对已经换页的文件写单元的编号进行登记,执行将数据内容写入到文件写单元生成日志文件,并归还文件写单元到文件写入池单元;如果否,则直接执行将数据内容写入到文件写入单元生成日志文件,并归还文件写单元到文件写入池单元。
9.如权利要求4或5所述的日志文件管理方法,其特征在于,所述启动文件合并单元的步骤之前还包括:
文件操作管理单元接收文件写单元发送的日志文件换页编号并进行登记;
判断登记的换页编号与当前的日志文件的个数是否相同;如果是,则启动文件合并单元;如果否,则暂不启动文件合并单元,并继续执行将数据内容写入到文件写单元。
CN201210020239.6A 2012-01-29 2012-01-29 日志文件操作系统及日志文件管理方法 Active CN102622407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210020239.6A CN102622407B (zh) 2012-01-29 2012-01-29 日志文件操作系统及日志文件管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210020239.6A CN102622407B (zh) 2012-01-29 2012-01-29 日志文件操作系统及日志文件管理方法

Publications (2)

Publication Number Publication Date
CN102622407A CN102622407A (zh) 2012-08-01
CN102622407B true CN102622407B (zh) 2014-03-26

Family

ID=46562326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210020239.6A Active CN102622407B (zh) 2012-01-29 2012-01-29 日志文件操作系统及日志文件管理方法

Country Status (1)

Country Link
CN (1) CN102622407B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970158B (zh) * 2012-11-05 2017-02-08 广东睿江云计算股份有限公司 日志存储与处理的方法及日志服务器
CN103856354A (zh) * 2014-03-07 2014-06-11 浪潮电子信息产业股份有限公司 一种集群存储系统日志统一管理实现方法
CN105488085A (zh) * 2014-12-27 2016-04-13 北京安天电子设备有限公司 通过日志定位文件的方法及系统
CN106503250B (zh) * 2016-11-10 2019-09-27 广东浪潮大数据研究有限公司 一种日志跟踪方法和装置
CN114677145A (zh) * 2016-12-09 2022-06-28 创新先进技术有限公司 客户系统、信息处理方法和读写方法及装置
CN107515827B (zh) * 2017-08-21 2021-07-27 湖南国科微电子股份有限公司 Pcie ssd自定义日志的存储方法、装置及ssd
CN109669621B (zh) * 2017-10-13 2021-05-25 杭州海康威视系统技术有限公司 一种文件管理方法、文件管理系统、电子设备及存储介质
CN108984686B (zh) * 2018-07-02 2021-03-30 中国电子科技集团公司第五十二研究所 一种基于日志合并的分布式文件系统索引方法和装置
CN111930702A (zh) * 2020-08-14 2020-11-13 工银科技有限公司 日志处理方法、装置、系统及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197700A (zh) * 2006-12-05 2008-06-11 阿里巴巴公司 提供日志服务的方法及系统
CN101707633A (zh) * 2009-11-27 2010-05-12 山东中创软件商用中间件股份有限公司 一种基于文件系统的消息中间件持久消息的存储方法
CN101888405A (zh) * 2010-06-07 2010-11-17 北京高森明晨信息科技有限公司 一种云计算的文件系统和数据处理方法
CN102289476A (zh) * 2011-07-29 2011-12-21 河南辉煌科技股份有限公司 事务日志的记录方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8443134B2 (en) * 2006-12-06 2013-05-14 Fusion-Io, Inc. Apparatus, system, and method for graceful cache device degradation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197700A (zh) * 2006-12-05 2008-06-11 阿里巴巴公司 提供日志服务的方法及系统
CN101707633A (zh) * 2009-11-27 2010-05-12 山东中创软件商用中间件股份有限公司 一种基于文件系统的消息中间件持久消息的存储方法
CN101888405A (zh) * 2010-06-07 2010-11-17 北京高森明晨信息科技有限公司 一种云计算的文件系统和数据处理方法
CN102289476A (zh) * 2011-07-29 2011-12-21 河南辉煌科技股份有限公司 事务日志的记录方法

Also Published As

Publication number Publication date
CN102622407A (zh) 2012-08-01

Similar Documents

Publication Publication Date Title
CN102622407B (zh) 日志文件操作系统及日志文件管理方法
CN102591982B (zh) 执行增量sql服务器数据库备份的方法和系统
KR100359670B1 (ko) 파일의내부구조구성방법및시스템
US10140461B2 (en) Reducing resource consumption associated with storage and operation of containers
CN100583832C (zh) 数据管理方法及系统
CN100468402C (zh) 一种数据存储及查询方法
US20070185879A1 (en) Systems and methods for archiving and retrieving digital assets
CN109643302A (zh) 针对文件的存储虚拟化
CN101005486A (zh) 一种资源访问控制方法及系统
CN103544156A (zh) 文件存储方法及装置
CN106648442A (zh) 一种元数据节点的内存镜像方法、装置
CN100405310C (zh) 一种快照系统及方法
CN105955845A (zh) 一种数据恢复方法及装置
CN107679420A (zh) 一种基于分布式文件系统的权限设置方法及系统
CN105227672A (zh) 数据存储及访问的方法和系统
CN105005517B (zh) 呼叫中心录音文件的存储备份系统及方法
CN103942301A (zh) 一种面向多数据类型访问应用的分布式文件系统
CN105763604A (zh) 轻量级分布式文件系统及恢复下载文件原名的方法
JP2007287147A (ja) 高速ファイル属性検索
JP2002049637A5 (zh)
CN110399248A (zh) 一种镜像文件创建、获取方法、装置及服务器
CN107786670A (zh) 一种本地存储数据和云存储结合运用的系统和方法
CN102081920B (zh) 一种控制图片显示的方法及装置
CN110489060A (zh) 一种基于fuse技术的混合文件构建方法及其系统
US7546526B2 (en) Efficient extensible markup language namespace parsing for editing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 510260, Guangdong, Haizhuqu District, Xingang West Road, No. 135 in the science and technology building, B, block 705-714, room

Patentee after: GUANGZHOU ONECLOUD INFORMATION TECHNOLOGY CO.,LTD.

Address before: 510600, room 119, No. 402, Guangzhou Avenue, Yuexiu District, Guangdong, Guangzhou

Patentee before: ONECLOUD, Inc.

CP03 Change of name, title or address
TR01 Transfer of patent right

Effective date of registration: 20230602

Address after: Room 715, Building B, Zhongda Science and Technology Park, Building 705, West District, Yuanyuan, No. 135 Xingang West Road, Haizhu District, Guangzhou City, Guangdong Province, 510000 (for office only)

Patentee after: Guangzhou Yunbiao Bureau Network Technology Co.,Ltd.

Address before: Room 705-714, block B, Zhongda science and technology complex building, 135 Xingang West Road, Haizhu District, Guangzhou, Guangdong 510260

Patentee before: GUANGZHOU ONECLOUD INFORMATION TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right