CN103490923A - 日志文件的读写方法、装置及系统 - Google Patents

日志文件的读写方法、装置及系统 Download PDF

Info

Publication number
CN103490923A
CN103490923A CN201310412290.6A CN201310412290A CN103490923A CN 103490923 A CN103490923 A CN 103490923A CN 201310412290 A CN201310412290 A CN 201310412290A CN 103490923 A CN103490923 A CN 103490923A
Authority
CN
China
Prior art keywords
journal file
node
log recording
cloud memory
control node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310412290.6A
Other languages
English (en)
Other versions
CN103490923B (zh
Inventor
郭强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN201310412290.6A priority Critical patent/CN103490923B/zh
Publication of CN103490923A publication Critical patent/CN103490923A/zh
Application granted granted Critical
Publication of CN103490923B publication Critical patent/CN103490923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种日志文件读写方法、装置及系统,其中,日志文件写入方法包括:云日志文件系统中的控制节点接收日志文件写入指令,所述写入指令包括待写入的日志文件;所述控制节点查询云存储节点状态信息表,将所述日志文件中的日志记录分配给所述云日志文件系统中的至少两个空闲的云存储节点,以使所述至少两个空闲的云存储节点中的各云存储节点将分配的日志记录写入各自的数据库中;所述控制节点接收所述至少两个空闲的云存储节点分别返回的日志记录的列范围,并生成所述日志文件的存储信息,所述存储信息包括所述至少两个空闲的云存储节点的标识及对应的日志记录的列范围。本发明的技术方案,提高了日志文件写入数据库的效率。

Description

日志文件的读写方法、装置及系统
技术领域
本发明涉及通信技术领域,尤其涉及一种日志文件的读写方法、装置及系统。
背景技术
日志文件是应用系统操作事件的记录文件或文件集合,包含整个应用系统的运行日志、故障日志等,由多条日志记录构成,日志文件的记录及读取对于应用系统的维护及问题的检测至关重要。
目前,用于对日志文件进行读写的系统为单服务器系统,对日志文件进行写入(记录)及读取(查询)的效率低下,特别是在日志文件较大时,容易造成读写任务严重排队、系统瘫痪等问题,进而影响日志文件的写入及读取。
发明内容
本发明提供一种日志文件的读写方法、装置及系统。
本发明提供一种日志文件的写入方法,具体包括:
云日志文件系统中的控制节点接收日志文件写入指令,所述写入指令包括待写入的日志文件;
所述控制节点查询云存储节点状态信息表,将所述日志文件中的日志记录分配给所述云日志文件系统中的至少两个空闲的云存储节点,以使所述至少两个空闲的云存储节点中的各云存储节点将分配的日志记录写入各自的数据库中;
所述控制节点接收所述至少两个空闲的云存储节点分别返回的日志记录的列范围,并生成所述日志文件的存储信息,所述存储信息包括所述至少两个空闲的云存储节点的标识及对应的日志记录的列范围。
本发明提供一种日志文件的读取方法,包括:
云日志文件系统中的控制节点接收用户输入的日志文件读取指令;
所述控制节点根据所述读取指令中的检索信息,检索到待读取的日志文件的存储信息,所述日志文件的存储信息中包括将所述日志文件写入的至少两个云存储节点的标识及对应的数据库中写入的所述日志文件的日志记录的列范围;
所述控制节点根据所述日志文件的存储信息,向所述至少两个云存储节点发送日志记录读取指令,以使所述至少两个云存储节点中的各云存储节点从各自的数据库中提取写入的所述日志文件的日志记录并返回给所述控制节点;
所述控制节点汇总所述至少两个云存储节点中的各云存储节点返回的所述日志文件的日志记录,得到所述日志文件并显示给用户。
本发明提供一种日志文件的写入装置,包括:
接收模块,用于接收日志文件写入指令,所述写入指令包括待写入的日志文件;
查询模块,用于查询云存储节点状态信息表;
第一分配模块,用于将所述日志文件中的日志记录分配给所述云日志文件系统中的至少两个空闲的云存储节点,以使所述至少两个空闲的云存储节点中的各云存储节点将分配的日志记录写入各自的数据库中;还用于接收所述至少两个空闲的云存储节点分别返回的日志记录的列范围,并生成所述日志文件的存储信息,所述存储信息包括所述至少两个空闲的云存储节点的标识及对应的日志记录的列范围。
本发明提供一种日志文件的读取装置,包括:
接收模块,用于接收用户输入的日志文件读取指令;
检索模块,用于根据所述读取指令中的检索信息,检索到待读取的日志文件的存储信息,所述日志文件的存储信息中包括将所述日志文件写入的至少两个云存储节点的标识及对应的数据库中写入的所述日志文件的日志记录的列范围;
第一发送模块,用于根据所述日志文件的存储信息,向所述至少两个云存储节点发送日志记录读取指令,以使所述至少两个云存储节点中的各云存储节点从各自的数据库中提取写入的所述日志文件的日志记录并返回给所述第一发送模块;还用于汇总所述至少两个云存储节点中的各云存储节点返回的所述日志文件的日志记录,得到所述日志文件并显示给用户。
本发明提高一种云日志文件系统,包括:
主控制节点,包括上述的云日志文件的写入装置和读取装置,用于接收日志文件写入指令并为至少两个云存储节点分配日志文件的日志记录;
所述至少两个云存储节点,用于分配的日志记录写入各云存储节点的数据库中;
所述控制节点还用于接收日志文件读取指令,根据待读取的日志文件的存储信息,向所述至少两个云存储节点发送日志记录读取指令,以使所述至少两个云存储节点中的各云存储节点从各自的数据库中提取写入的所述日志文件的日志记录并返回;汇总各云存储节点返回的所述日志文件的日志记录,得到所述日志文件并显示给用户。
相应地,所述至少两个云存储节点还用于接收日志记录读取指令,从各云存储节点的数据库中提取写入的所述日志文件的日志记录并返回给所述控制节点。
本发明的技术方案,在日志文件写入或读取过程中,通过至少两个云存储节点并行处理,提高了日志文件写入或读取的效率,减轻了单个节点的工作负担,进一步降低了系统出现故障的概率。
附图说明
图1为本发明日志文件的写入方法实施例一的流程图;
图2为本发明日志文件的读取方法实施例一的流程图;
图3为本发明日志文件的写入装置实施例一的结构示意图;
图4为本发明日志文件的读取装置实施例一的结构示意图。
具体实施方式
图1为本发明日志文件的写入方法实施例一的流程图,参见图1,本实施例的方法具体包括:
步骤101:云日志文件系统中的控制节点接收日志文件写入指令,所述写入指令包括待写入的日志文件;
所述云日志文件系统用于管理云日志文件,用于对云日志文件进行写入及读取,所述写入指令由生成日志文件的操作系统发送给云日志文件系统中的所述控制节点。
步骤102:所述控制节点查询云存储节点状态信息表,将所述日志文件中的日志记录分配给所述云日志文件系统中的至少两个空闲的云存储节点,以使所述至少两个空闲的云存储节点中的各云存储节点将分配的日志记录写入各自的数据库中;
所述云存储节点状态信息表包括:各云存储节点的名称(node name)、各云存储节点目前的状态(node state,包括三个类型的状态:空闲、忙碌、故障)、各云存储节点的IP地址。其中,各云存储节点目前的状态通过控制节点对各个云存储节点的当前计算量(并发处理任务数)进行监测得到;或者通过各云存储节点向所述控制节点返回各自的当前计算量得到,优选地,在本实施例中,当云存储节点目前计算量大于等于该云存储节点最大计算量的三分之二时,该云存储节点的状态为忙碌,小于或等于时为空闲状态,当存在故障时,该云存储节点的状态为故障。
所述日志文件中包括多条日志记录,所述控制节点将日志文件写入任务分配给根据通过云存储节点状态信息表查询到的至少两个空闲云存储节点,优选地,本实施例中日志文件写入任务按日志记录来分配,为各云存储节点分配不同的日志记录,各云存储节点将分配的日志记录写入各自的数据库。
步骤103:所述控制节点接收所述至少两个空闲的云存储节点分别返回的日志记录的列范围,并生成所述日志文件的存储信息,所述存储信息包括所述至少两个空闲的云存储节点的标识及对应的日志记录的列范围。
本实施例中,各云存储节点在将分配的日志记录写入各自的数据库之后,还将写入的日志记录在其数据库中所在的列范围返回给所述控制节点。
存储信息中的云存储节点的标识可以为云存储节点的名称或IP地址。
优先地,本实施例中控制节点将存储信息中对应将各云存储节点的顺序,与各存储节点写入的日志记录在日志文件中的顺序相对应,以便读取时对日志文件的恢复。
本实施例的方法,通过主控制节点将日志文件写入任务分配给至少两个空闲的云存储节点进行并行写入,提高了日志文件写入数据库的效率,减轻了单个节点的工作负担,降低了云日志文件系统出现故障的概率。
在上述实施例中,为便于后续日志文件的读取,进一步地,在所述控制节点接收日志文件写入指令之后,还包括:
所述控制节点生成所述日志文件的时间戳;
相应的,所述控制节点生成的存储信息中还包括所述时间戳;
进一步地,所述生成所述日志文件的存储信息之后,还包括:
所述控制节点将所述日志文件的存储信息与所述日志文件的属性相关联,所述日志文件的属性为所述日志文件中的日志记录的类型。
具体地,生成日志文件的操作系统根据日志记录的类型生成不同的日志文件,例如,根据故障类的日志记录(宕机故障记录、数据丢失记录等)生成属性为故障类的日志文件、根据系统业务类的日志记录生成属性为业务类的日志文件等,进一步方便了后续日志文件的检索读取。
进一步地,在上述的实施例中,为减弱单个节点出现故障时对日志文件写入的影响、进一步提高写入效率,所述控制节点包括第一控制节点和第二控制节点;
若第一控制节点和所述第二控制节点均不存在故障时,所述日志文件写入指令由所述第一控制节点接收;
所述将所述日志文件中的日志记录分配给所述云日志文件系统中的至少两个空闲的云存储节点,具体包括:
所述第一控制节点将所述日志文件中的日志记录分配给所述第一控制节点和所述第二控制节点,第一控制节点和第二控制节点分配的日志记录无重合;
所述第一控制节点及所述第二控制节点各自将分配的日志记录分配给至少一个云存储节点,以使各云存储节点将分配的日志记录写入各自的数据库中;
本实施中,第一控制节点和第二控制节点分配写入任务的云存储节点不重合,将日志记录分配给云存储节点之后,还包括第一控制节点和第二控制节点向分配的各云存储节点发送写入指令的步骤,以使各云存储节点将分配的日志记录写入各自的数据库中,通过两个控制节点同时向不同的云存储节点发送写入指令,提高了日志文件写入的效率。
相应地,所述控制节点接收所述至少两个空闲的云存储节点分别返回的日志记录的列范围,并生成所述日志文件的存储信息,具体包括:
所述第一控制节点及所述第二控制节点分别接收各自分配的日志记录的列范围;
所述第一控制节点汇总所述第一控制节点及所述第二控制节点接收的所述日志记录的列范围,生成所述日志文件的存储信息并存储,并将所述日志文件的存储信息发送给第二控制节点。
第一控制节点和第二控制节点均存储日志文件的存储信息,减小了由于某一节点出现故障而丢失所述日志文件的存储信息的概率。
优选地,在本实施例中,所述第一控制节点和所述第二控制节点均与各个云存储节点连接,若所述第一控制节点发生故障,由所述第二控制节点接替所述第一控制节点的工作。
图2为本发明日志文件的读取方法实施例一的流程图,参见图3,本实施例的方法具体包括:
步骤201:云日志文件系统中的控制节点接收用户输入的日志文件读取指令;
步骤202:所述控制节点根据所述读取指令中的检索信息,检索到待读取的日志文件的存储信息,所述日志文件的存储信息中包括将所述日志文件写入的至少两个云存储节点的标识及对应的数据库中写入的所述日志文件的日志记录的列范围;
步骤203:所述控制节点根据所述日志文件的存储信息,向所述至少两个云存储节点发送日志记录读取指令,以使所述至少两个云存储节点中的各云存储节点从各自的数据库中提取写入的所述日志文件的日志记录并返回给所述控制节点;
本实施例中,控制节点根据日志文件的存储信息查找到将日志文件写入的各云存储节点,各云存储节点根据所述日志文件的存储信息中的日志记录的列范围,从各自的数据库中提取写入的日志记录。
步骤204:所述控制节点汇总所述至少两个云存储节点中的各云存储节点返回的所述日志文件的日志记录,得到所述日志文件并显示给用户。
优先地,在本实施例中,所述控制节点按照各云存储节点在存储信息中的顺序,对各云存储节点返回的日志记录进行汇总得到所述日志文件。
本实施例的方法,在读取日志文件时,将读取任务分配给至少两个云存储节点进行并行读取,提高了日志文件的读取效率,降低了单个节点的工作负担,进一步降低了云日志文件系统出现故障的概率。
进一步地,在上述实施例中,为进一步提高日志文件的读取效率、降低由于节点的故障影响日志文件读取的概率,所述控制节点包括第一控制节点和第二控制节点;
若第一控制节点和第二控制节点均正常、不存在故障时,所述控制节点根据所述日志文件的存储信息,向所述至少两个云存储节点发送日志记录读取指令,具体包括:
所述第一控制节点将所述至少两个云存储节点对应的读取任务分配给第一控制节点和第二控制节点,其中,一个云存储节点对应一个读取任务;
分配后,所述第一控制节点和第二控制节点分别分配至少一个读取任务,所述第一控制节点与所述第二控制节点分配的读取任务所对应的云存储节点不重合。
所述第一控制节点和所述第二控制节点向各自分配的读取任务所对应的云存储节点分别发送日志记录读取指令,以使各云存储节点向对应的控制节点返回从各自的数据库中提取的日志记录;
所述日志记录读取指令包括存储信息中与当前云存储节点对应的日志记录的列范围。
所述控制节点汇总所述至少两个云存储节点中的各云存储节点返回的所述日志文件的日志记录,得到所述日志文件,具体包括:
所述第一控制节点汇总所述第一控制节点及所述第二控制节点接收的由各自控制的云存储节点返回的日志记录,得到所述日志文件。
进一步地,在上述实施例中,若所述第一控制节点发生故障,则由所述第二控制节点接替所述第一控制节点的工作;
所述日志文件的存储信息中还包括日志文件的时间戳,所述日志文件的存储信息与所述日志文件的属性相关联,所述日志文件的属性为所述日志文件中的日志记录的类型;
对应的,所述检索信息包括所述日志文件的时间戳或所述日志文件的属性信息;通过日志文件的时间戳可以检索待读取的唯一的日志文件的存储信息,当所述检索信息中包括的是日志文件属性信息时,还可以通过提示用户通过选择时间段来缩小检索范围。
图3为本发明日志文件的写入装置实施例一的结构示意图,参见图3,本实施例的装置包括:
接收模块31,用于接收日志文件写入指令,所述写入指令包括待写入的日志文件;
查询模块32,用于查询云存储节点状态信息表;
第一分配模块33,用于将所述日志文件中的日志记录分配给所述云日志文件系统中的至少两个空闲的云存储节点,以使所述至少两个空闲的云存储节点中的各云存储节点将分配的日志记录写入各自的数据库中;还用于接收所述至少两个空闲的云存储节点分别返回的日志记录的列范围,并生成所述日志文件的存储信息,所述存储信息包括所述至少两个空闲的云存储节点的标识及对应的日志记录的列范围。
本实施例的装置设置在云日志文件系统中控制节点上,可以用于执行图1所示的方法实施例一的方法,其实现原理及技术效果类似,在此不再赘述。
进一步地,在上述实施例中,所述第一分配模块33还用于在所述接收模块31接收日志文件写入指令之后,生成所述日志文件的时间戳;
相应的,所述第一分配模块33生成的存储信息中还包括所述时间戳;
所述第一分配模块33还用于在生成所述日志文件的存储信息之后,将所述日志文件的存储信息与所述日志文件的属性相关联,所述日志文件的属性为所述日志文件中的日志记录的类型。
进一步地,上述实施例中,所述装置还包括第二分配模块34、存储模块35;
所述第一分配模块33具体用于:将所述日志文件中的日志记录分配给所述第一分配模块33和所述第二分配模块34;
所述第一分配模33及所述第二分配模块34还用于:
各自将分配的日志记录分配给至少一个云存储节点,以使各云存储节点将分配的日志记录写入各自的数据库中;
分别接收各自分配的日志记录的列范围;
所述第一分配模块33还用于汇总所述第一分配模块33及所述第二分配模块34接收的所述日志记录的列范围,生成所述日志文件的存储信息并存储,并将所述日志文件的存储信息发送给所述存储模块35。
优先地,在本实施例中,所述控制节点包括第一控制节点及第二控制节点,上述接收模块31、查询模块32和第一分配模块33包含在所述第一控制节点中,所述第二分配模块34,、存储模块35设置在所述第二控制节点中,为保证在第一控制节点出现故障时日志文件的正常写入,所述第二控制节点还包括第一接替模块,用于在第一控制节点存在故障时,接替本实施例中所述第一控制节点中的各个模块的工作,从而实现当第一控制节点出现故障时,第二控制节点独自控制各云存储节点完成日志文件的写入。
图4为本发明日志文件的读取装置实施例一的结构示意图,参见图4,本实施例的装置包括:
接收模块41,用于接收用户输入的日志文件读取指令;
检索模块42,用于根据所述读取指令中的检索信息,检索到待读取的日志文件的存储信息,所述日志文件的存储信息中包括将所述日志文件写入的至少两个云存储节点的标识及对应的数据库中写入的所述日志文件的日志记录的列范围;
第一发送模块43,用于根据所述日志文件的存储信息,向所述至少两个云存储节点发送日志记录读取指令,以使所述至少两个云存储节点中的各云存储节点从各自的数据库中提取写入的所述日志文件的日志记录并返回给所述第一发送模块43;还用于汇总所述至少两个云存储节点中的各云存储节点返回的所述日志文件的日志记录,得到所述日志文件并显示给用户。
本实施例的装置设置在云日志文件系统中的控制节点中,可以用于执行图2所示的实施例的方法,其实现原理及技术效果类似,在此不再赘述。
进一步地,在上述实施例中,所述装置还包括第二发送模块44;
所述第一发送模块43具体用于将所述至少两个云存储节点对应的读取任务分配给自身和所述第二发送模块控制,其中,一个云存储节点对应一个读取任务;
所述第一发送模块43和所述第二发送模块44还用于向各自分配的读取任务所对应的的云存储节点分别发送日志记录读取指令,以使各云存储节点向对应的发送模块返回从各自的数据库中提取的日志记录;
所述第一发送模块43还用于汇总所述第一发送模块43及所述第二发送模块44接收的由各自控制的云存储节点返回的日志记录,得到所述日志文件。
优选地,本实施例中,所述控制节点包括第一控制节点和第二控制节点,上述接收模块41、检索模块42及第一发送模块43设置在所述第一控制节点中,所述第二发送模块44设置在所述第二控制节点中,为保证在第一控制节点存在故障时日志文件的正常读取,所述第二控制节点中还包括第二接替模块,用于在第一控制节点存在故障时,接替本实施例中第一控制节点中的各个模块的工作,从而实现由第二控制节点独自控制各云存储节点完成日志文件的读取。
本发明还提供云日志文件系统实施例一,本实施例的系统包括:
主控制节点,包括权利要求图3所示的装置和图4所示的装置;
所述主控制节点用于接收日志文件写入指令并为至少两个云存储节点分配日志文件的日志记录;
所述至少两个云存储节点,用于分配的日志记录写入各云存储节点的数据库中;
所述控制节点还用于接收日志文件读取指令,根据待读取的日志文件的存储信息,向所述至少两个云存储节点发送日志记录读取指令,以使所述至少两个云存储节点中的各云存储节点从各自的数据库中提取写入的所述日志文件的日志记录并返回;汇总各云存储节点返回的所述日志文件的日志记录,得到所述日志文件并显示给用户。
相应地,所述至少两个云存储节点还用于接收日志记录读取指令,从各云存储节点的数据库中提取写入的所述日志文件的日志记录并返回给所述控制节点。
本实施例的系统,实现了通过多个节点进行日志文件的写入和读取,提高了云日志文件写入和读取的效率。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (13)

1.一种日志文件的写入方法,其特征在于,包括:
云日志文件系统中的控制节点接收日志文件写入指令,所述写入指令包括待写入的日志文件;
所述控制节点查询云存储节点状态信息表,将所述日志文件中的日志记录分配给所述云日志文件系统中的至少两个空闲的云存储节点,以使所述至少两个空闲的云存储节点中的各云存储节点将分配的日志记录写入各自的数据库中;
所述控制节点接收所述至少两个空闲的云存储节点分别返回的日志记录的列范围,并生成所述日志文件的存储信息,所述存储信息包括所述至少两个空闲的云存储节点的标识及对应的日志记录的列范围。
2.如权利要求1所述的方法,其特征在于,所述控制节点接收日志文件写入指令之后,还包括:
所述控制节点生成所述日志文件的时间戳;
相应的,所述控制节点生成的存储信息中还包括所述时间戳;
所述生成所述日志文件的存储信息之后,还包括:
所述控制节点将所述日志文件的存储信息与所述日志文件的属性相关联,所述日志文件的属性为所述日志文件中的日志记录的类型。
3.如权利要求1或2所述的方法,其特征在于,所述控制节点包括第一控制节点和第二控制节点;
所述将所述日志文件中的日志记录分配给所述云日志文件系统中的至少两个空闲的云存储节点,具体包括:
所述第一控制节点将所述日志文件中的日志记录分配给所述第一控制节点和所述第二控制节点;
所述第一控制节点及所述第二控制节点各自将分配的日志记录分配给至少一个云存储节点,以使各云存储节点将分配的日志记录写入各自的数据库中;
所述控制节点接收所述至少两个空闲的云存储节点分别返回的日志记录的列范围,并生成所述日志文件的存储信息,具体包括:
所述第一控制节点及所述第二控制节点分别接收各自分配的日志记录的列范围;
所述第一控制节点汇总所述第一控制节点及所述第二控制节点接收的所述日志记录的列范围,生成所述日志文件的存储信息并存储,并将所述日志文件的存储信息发送给第二控制节点。
4.如权利要求3所述的方法,其特征在于,还包括:
若所述第一控制节点发生故障,由所述第二控制节点接替所述第一控制节点的工作。
5.一种日志文件的读取方法,其特征在于,包括:
云日志文件系统中的控制节点接收用户输入的日志文件读取指令;
所述控制节点根据所述读取指令中的检索信息,检索到待读取的日志文件的存储信息,所述日志文件的存储信息中包括将所述日志文件写入的至少两个云存储节点的标识及对应的数据库中写入的所述日志文件的日志记录的列范围;
所述控制节点根据所述日志文件的存储信息,向所述至少两个云存储节点发送日志记录读取指令,以使所述至少两个云存储节点中的各云存储节点从各自的数据库中提取写入的所述日志文件的日志记录并返回给所述控制节点;
所述控制节点汇总所述至少两个云存储节点中的各云存储节点返回的所述日志文件的日志记录,得到所述日志文件并显示给用户。
6.如权利要求5所述的方法,其特征在于,所述控制节点包括第一控制节点和第二控制节点;
所述控制节点根据所述日志文件的存储信息,向所述至少两个云存储节点发送日志记录读取指令具体包括:
所述第一控制节点将所述至少两个云存储节点对应的读取任务分配给第一控制节点和第二控制节点,其中一个云存储节点对应一个读取任务;
所述第一控制节点和所述第二控制节点向各自分配的读取任务所对应的云存储节点分别发送日志记录读取指令,以使各云存储节点向对应的控制节点返回从各自的数据库中提取的日志记录;
所述控制节点汇总所述至少两个云存储节点中的各云存储节点返回的所述日志文件的日志记录,得到所述日志文件,具体包括:
所述第一控制节点汇总所述第一控制节点及所述第二控制节点接收的由各自控制的云存储节点返回的日志记录,得到所述日志文件。
7.如权利要求6所述的方法,其特征在于,若所述第一控制节点发生故障,由所述第二控制节点接替所述第一控制节点的工作;
所述日志文件的存储信息中还包括日志文件的时间戳,所述日志文件的存储信息与所述日志文件的属性相关联,所述日志文件的属性为所述日志文件中的日志记录的类型;
对应的,所述检索信息包括所述日志文件的时间戳或所述日志文件的属性信息。
8.一种日志文件的写入装置,其特征在于,包括:
接收模块,用于接收日志文件写入指令,所述写入指令包括待写入的日志文件;
查询模块,用于查询云存储节点状态信息表;
第一分配模块,用于将所述日志文件中的日志记录分配给所述云日志文件系统中的至少两个空闲的云存储节点,以使所述至少两个空闲的云存储节点中的各云存储节点将分配的日志记录写入各自的数据库中;还用于接收所述至少两个空闲的云存储节点分别返回的日志记录的列范围,并生成所述日志文件的存储信息,所述存储信息包括所述至少两个空闲的云存储节点的标识及对应的日志记录的列范围。
9.如权利要求8所述的装置,其特征在于,所述第一分配模块还用于在所述接收模块接收日志文件写入指令之后,生成所述日志文件的时间戳;
相应的,所述第一分配模块生成的存储信息中还包括所述时间戳;
所述第一分配模块还用于在生成所述日志文件的存储信息之后,将所述日志文件的存储信息与所述日志文件的属性相关联,所述日志文件的属性为所述日志文件中的日志记录的类型。
10.如权利要求8或9所述的装置,其特征在于,所述装置还包括第二分配模块、存储模块;
所述第一分配模块具体用于:将所述日志文件中的日志记录分配给所述第一分配模块和所述第二分配模块;
所述第一分配模块及所述第二分配模块还用于:
各自将分配的日志记录分配给至少一个云存储节点,以使各云存储节点将分配的日志记录写入各自的数据库中;
分别接收各自分配的日志记录的列范围;
所述第一分配模块还用于汇总所述第一分配模块及所述第二分配模块接收的所述日志记录的列范围,生成所述日志文件的存储信息并存储,并将所述日志文件的存储信息发送给所述存储模块。
11.一种日志文件的读取装置,其特征在于,包括:
接收模块,用于接收用户输入的日志文件读取指令;
检索模块,用于根据所述读取指令中的检索信息,检索到待读取的日志文件的存储信息,所述日志文件的存储信息中包括将所述日志文件写入的至少两个云存储节点的标识及对应的数据库中写入的所述日志文件的日志记录的列范围;
第一发送模块,用于根据所述日志文件的存储信息,向所述至少两个云存储节点发送日志记录读取指令,以使所述至少两个云存储节点中的各云存储节点从各自的数据库中提取写入的所述日志文件的日志记录并返回给所述第一发送模块;还用于汇总所述至少两个云存储节点中的各云存储节点返回的所述日志文件的日志记录,得到所述日志文件并显示给用户。
12.如权利要求11所述的装置,其特征在于,所述装置还包括第二发送模块;
所述第一发送模块具体用于将所述至少两个云存储节点对应的读取任务分配给自身和所述第二发送模块控制;
所述第一发送模块和所述第二发送模块还用于向各分配的读取任务所对应的云存储节点分别发送日志记录读取指令,以使各云存储节点向对应的发送模块返回从各自的数据库中提取的日志记录;
所述第一发送模块还用于汇总所述第一发送模块及所述第二发送模块接收的由各自控制的云存储节点返回的日志记录,得到所述日志文件。
13.一种云日志文件系统,其特征在于,包括:
主控制节点,包括权利要求8-10中任一项所述的装置和权利要求11或12所述的装置,用于接收日志文件写入指令并为至少两个云存储节点分配日志文件的日志记录;
所述至少两个云存储节点,用于分配的日志记录写入各云存储节点的数据库中;
所述控制节点还用于接收日志文件读取指令,根据待读取的日志文件的存储信息,向所述至少两个云存储节点发送日志记录读取指令,以使所述至少两个云存储节点中的各云存储节点从各自的数据库中提取写入的所述日志文件的日志记录并返回;汇总各云存储节点返回的所述日志文件的日志记录,得到所述日志文件并显示给用户。
相应地,所述至少两个云存储节点还用于接收日志记录读取指令,从各云存储节点的数据库中提取写入的所述日志文件的日志记录并返回给所述控制节点。
CN201310412290.6A 2013-09-11 2013-09-11 日志文件的读写方法、装置及系统 Active CN103490923B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310412290.6A CN103490923B (zh) 2013-09-11 2013-09-11 日志文件的读写方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310412290.6A CN103490923B (zh) 2013-09-11 2013-09-11 日志文件的读写方法、装置及系统

Publications (2)

Publication Number Publication Date
CN103490923A true CN103490923A (zh) 2014-01-01
CN103490923B CN103490923B (zh) 2016-09-14

Family

ID=49830895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310412290.6A Active CN103490923B (zh) 2013-09-11 2013-09-11 日志文件的读写方法、装置及系统

Country Status (1)

Country Link
CN (1) CN103490923B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760398A (zh) * 2014-12-18 2016-07-13 中兴通讯股份有限公司 一种日志记录系统及日志记录操作方法
CN106406771A (zh) * 2016-10-20 2017-02-15 福建天泉教育科技有限公司 日志记录方法及日志记录器
CN110209727A (zh) * 2019-04-04 2019-09-06 特斯联(北京)科技有限公司 一种数据存储方法、终端设备及介质
CN111290355A (zh) * 2020-02-27 2020-06-16 中电九天智能科技有限公司 记录及查找log的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997929A (zh) * 2010-11-29 2011-03-30 北京卓微天成科技咨询有限公司 一种云存储的数据存取的方法、装置及系统
US20110276538A1 (en) * 2010-05-06 2011-11-10 The Go Daddy Group, Inc. Cloud storage solution for reading and writing files
CN102307221A (zh) * 2011-03-25 2012-01-04 国云科技股份有限公司 一种云存储系统及其实现方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110276538A1 (en) * 2010-05-06 2011-11-10 The Go Daddy Group, Inc. Cloud storage solution for reading and writing files
CN101997929A (zh) * 2010-11-29 2011-03-30 北京卓微天成科技咨询有限公司 一种云存储的数据存取的方法、装置及系统
CN102307221A (zh) * 2011-03-25 2012-01-04 国云科技股份有限公司 一种云存储系统及其实现方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760398A (zh) * 2014-12-18 2016-07-13 中兴通讯股份有限公司 一种日志记录系统及日志记录操作方法
CN106406771A (zh) * 2016-10-20 2017-02-15 福建天泉教育科技有限公司 日志记录方法及日志记录器
CN106406771B (zh) * 2016-10-20 2019-10-11 福建天泉教育科技有限公司 日志记录方法及日志记录器
CN110209727A (zh) * 2019-04-04 2019-09-06 特斯联(北京)科技有限公司 一种数据存储方法、终端设备及介质
CN110209727B (zh) * 2019-04-04 2020-08-11 特斯联(北京)科技有限公司 一种数据存储方法、终端设备及介质
CN111290355A (zh) * 2020-02-27 2020-06-16 中电九天智能科技有限公司 记录及查找log的方法
CN111290355B (zh) * 2020-02-27 2021-06-22 中电九天智能科技有限公司 记录及查找log的方法

Also Published As

Publication number Publication date
CN103490923B (zh) 2016-09-14

Similar Documents

Publication Publication Date Title
KR101259557B1 (ko) 클러스터 데이터 관리 시스템 및 클러스터 데이터 관리 시스템에서 병렬 처리를 이용한 데이터 복구 방법
CN103106249B (zh) 一种基于Cassandra的数据并行处理系统
US10838830B1 (en) Distributed log collector and report generation
CN103617287A (zh) 一种分布式环境下的日志管理方法和装置
CN103605778B (zh) 一种视频文件的定位方法、装置及系统
CN102375853A (zh) 分布式数据库系统、在其中建立索引的方法和查询方法
CN102779138B (zh) 实时数据的硬盘存取方法
CN104408111A (zh) 一种删除重复数据的方法及装置
CN103905311A (zh) 流表匹配方法和装置以及交换机
CN103049390A (zh) 应用元数据的数据处理方法及存储系统
CN105630847A (zh) 数据存储方法、数据查询方法、装置及系统
CN103177127A (zh) 基于光盘库的数据库存储系统及利用该系统的方法
CN103490923A (zh) 日志文件的读写方法、装置及系统
CN101330431B (zh) 一种即时信息存储方法和系统
CN102708158A (zh) 一种PostgreSQL云存储归档调度系统
CN104184812A (zh) 一种基于私有云的多点数据传输方法
CN103885887A (zh) 用户数据存储方法、读取方法及系统
CN105516284A (zh) 一种集群数据库分布式存储的方法和装置
CN111258978A (zh) 一种数据存储的方法
CN106570163A (zh) 一种面向不可靠环境的审计日志读写管理方法以及系统
CN103778120A (zh) 全局文件标识生成方法、生成装置及相应的分布式文件系统
US11829377B2 (en) Efficient storage method for time series data
CN105159925A (zh) 一种数据库集群数据分配方法及系统
CN102724301B (zh) 云数据库系统以及云数据读写处理方法、设备
CN113553306A (zh) 数据处理方法及数据存储管理系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant