CN115374074A - 日志处理方法、装置、存储介质及电子设备 - Google Patents

日志处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN115374074A
CN115374074A CN202110552396.0A CN202110552396A CN115374074A CN 115374074 A CN115374074 A CN 115374074A CN 202110552396 A CN202110552396 A CN 202110552396A CN 115374074 A CN115374074 A CN 115374074A
Authority
CN
China
Prior art keywords
log
log file
instruction
memory
address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110552396.0A
Other languages
English (en)
Inventor
张建雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Bozhilin Robot Co Ltd
Original Assignee
Guangdong Bozhilin Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Bozhilin Robot Co Ltd filed Critical Guangdong Bozhilin Robot Co Ltd
Priority to CN202110552396.0A priority Critical patent/CN115374074A/zh
Publication of CN115374074A publication Critical patent/CN115374074A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种日志处理方法、装置、存储介质及电子设备。通过将日志文件映射到逻辑地址空间,得到日志文件对应的进程逻辑地址,然后接收日志文件的读取指令,执行所述读取指令,其中,所述接收日志文件的读取指令之后、所述执行所述读取指令之前,还包括:若所述读取指令对应的日志文件不存在内存中,则根据所述日志文件的进程逻辑地址确定对应的物理地址,基于所述物理地址将所述日志文件拷贝至所述内存。通过文件映射的方式写入日志,降低了写日志到存储日志过程所有需要执行的系统调用,提升了日志处理效率,对于需要记录高频日志信息并且性能要求较高的场景,实用性高。

Description

日志处理方法、装置、存储介质及电子设备
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种日志处理方法、装置、存储介质及电子设备。
背景技术
在软件开发和调试的过程中,开发者有时候需要去监控程序当前的运作状态。或者当程序运行产生一些预料之外的状况时,开发者需要去定位异常发生的原因。而在计算机软件领域,所有的数据都以二进制的形式体现,存在于内存当中,这些数据往往是开发很难直接看到,也是很难理解的。这个时候,我们需要把这些信息转换成为文字或者图片类型的格式,这些方法就是计算机术语中的日志。
目前主流的日志都是通过将日志以文本的形式存储到文件,并且可以将这些信息直接显示到终端,这个过程产生了大量的系统调用,磁盘读写加上打印,影响软件的实时性和性能。
发明内容
本发明实施例提供一种日志处理方法、装置、存储介质及电子设备,以采用数据存取机制和地址转换方法进行日志处理,提升软件在日志处理时的实时性和性能。
第一方面,本发明实施例提供了一种日志处理方法,包括:
将日志文件映射到逻辑地址空间,得到所述日志文件对应的进程逻辑地址;
接收日志文件的读取指令,执行所述读取指令;
其中,所述接收日志文件的读取指令之后、所述执行所述读取指令之前,还包括:
若所述读取指令对应的日志文件不存在内存中,则根据所述日志文件的进程逻辑地址确定对应的物理地址,基于所述物理地址将所述日志文件拷贝至所述内存。
第二方面,本发明实施例还提供了一种日志处理装置,包括:
日志文件映射模块,用于将日志文件映射到逻辑地址空间,得到日志文件对应的进程逻辑地址;
日志读取模块,用于接收日志文件的读取指令,执行所述读取指令;
日志写入模块,用于在所述接收日志文件的读取指令之后、所述执行所述读取指令之前,若所述读取指令对应的日志文件不存在内存中,则根据所述日志文件的进程逻辑地址确定对应的物理地址,基于所述物理地址将所述日志文件拷贝至所述内存。
第三方面,本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明任一实施例提供的日志处理方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任一实施例提供的日志处理方法。
本发明实施例的技术方案,通过将磁盘中的日志文件映射到逻辑地址空间,得到日志文件对应的进程逻辑地址,然后接收日志文件的读取指令,若内存中不存在所述读取指令对应的日志文件,则确定所述逻辑地址空间确定待读取的日志文件的进程逻辑地址,随后确定所述进程逻辑地址对应的物理地址,基于所述物理地址将所述待读取的日志文件从所述磁盘中拷贝至所述内存,并对拷贝至内存中的日志文件进行读取。通过文件映射的方式写入日志,降低了写日志到存储日志过程所有需要执行的系统调用,大大提升了日志处理效率,对于需要记录高频日志信息并且性能要求较高的场景,实用性非常高。
附图说明
图1为本发明实施例一提供的一种日志处理方法的流程示意图;
图2为本发明实施例一提供的一种日志处理方法示例图;
图3为本发明实施例二提供的一种日志处理方法的流程示意图;
图4为本发明实施例二提供的一种日志检索条件分布图;
图5为本发明实施例三提供的一种日志处理装置的结构示意图;
图6为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种日志处理方法的流程示意图,本实施例可适用于对磁盘中的日志文件写入内存的情况,该方法可以由本发明实施例提供的日志处理装置来执行,该装置可通过软件和/或硬件的方式实现,该装置可集成在诸如计算机或者服务器等的电子设备上。该方法具体包括如下步骤:
S110、将日志文件映射到逻辑地址空间,得到日志文件对应的进程逻辑地址。
本实施例中,磁盘中的日志文件是用于记录系统操作事件的记录文件或文件集合,可分为事件日志和消息日志。具有处理历史数据、诊断问题的追踪以及理解系统的活动等重要作用。
磁盘中的日志文件通过写入内存,便于对日志文件进行存储以及后续对日志文件进行查询、读取和打印等处理操作,实现通过日志对设备以及系统的记录与诊断等。
可选的,通过内存映射(Memory-mapped,mmap)的方式,将磁盘中的日志文件映射到逻辑地址空间,获得日志文件对应的进程逻辑地址。其中,逻辑地址空间是指一个源程序在编译或者连接装配后指令和数据所用的所有相对地址的空间。逻辑地址空间是作业进入内存,其程序、数据在内存中定位的参数。
示例性的,系统启动时,通过mmap将日志文件映射到逻辑地址空间,实现日志文件在磁盘的地址和逻辑地址空间中进程逻辑地址的一一映射关系。实现这样的映射关系时,并未产生数据的拷贝,为后续读取指令的执行提供了方便。
S120、接收日志文件的读取指令,若所述读取指令对应的日志文件不存在内存中,则根据所述日志文件的进程逻辑地址确定对应的物理地址,基于所述物理地址将所述日志文件拷贝至所述内存,并执行读取指令。
本实施例中,物理内存用于存储写入的日志文件,接收外部输入的读取指令,该读取指令中可以是包括待读取日志文件的标识信息,该标识信息可以是待读取日志文件的文件名称或者预设字符串等,对此不作限定,同时读取指令可以是针对一个日志文件的读取指令,还可以是针对包括该日志文件在内的多个日志文件的读取指令,在一下实施例中,读取指令还可以是查询指令。基于接收的读取指令在物理内存中进行日志文件的匹配,确定当前的物理内存中是否存储有该待读取日志文件。例如可以是通过待读取日志文件的标识信息进行匹配,物理内存中各物理地址中存储的日志文件对应存储有标识信息。
若接收到的读取指令对应的日志文件存在于内存中,则直接执行读取指令;若内存中不存在所述读取指令对应的日志文件,则确定当前的物理内存中未写入该待读取日志文件,通过内存映射方式确定的日志文件在磁盘的地址和逻辑地址空间中进程逻辑地址的一一映射关系,将待读取日志文件写入物理内存。通过在日志文件需求时,写入所需求的日志文件,替代了将全部日志文件无选择性的写入内存的情况,减少了日志文件的写入频率,且根据需求针对性写入,提高了内存的高效利用率。
对应需写入的待读取日志文件,确定逻辑地址空间中待读取的日志文件的进程逻辑地址,以及确定进程逻辑地址在内存中对应的物理地址。从而建立起日志文件在磁盘与物理内存之间的对应关系,使得系统进行读取操作时,将待读取的日志文件从所述磁盘中拷贝至内存。
可选的,通过内存管理单元(Memory Management Unit,MMU)将进程逻辑地址转化为内存中对应的物理地址,当执行读取指令时,将待读取的日志文件从磁盘中拷贝至物理地址对应的物理内存。其中,进程逻辑地址到物理地址的转换是通过页表来实现的,而页表就是存储在内存中的表,它的每一行都是进程逻辑地址以及对应的物理地址,而每一行就叫做地址变换条目。
示例性的,图2为本发明实施例一提供的一种日志处理方法示例图。如图2所示,系统启动时,通过mmap将日志文件映射到逻辑地址空间,实现日志文件在磁盘的地址和逻辑地址空间中进程逻辑地址的一一映射关系,通过MMU将进程逻辑地址转化为内存中对应的物理地址。系统开始执行读取指令,进行读取内存中的数据,此时将利用之前日志文件在磁盘和物理内存之间建立的关系,进行数据拷贝。通过文件映射的方式写入日志,跳过对文件的I/O过程,降低了写日志到存储日志这个过程所有需要执行的系统调用。效率上有数十倍的提升,对于需要记录高频日志信息并且性能要求较高的场景,实用性高。
在一些可选实施例中,所述确定所述进程逻辑地址对应的物理地址,包括:获取所述内存中的系统参数,所述系统参数包括当前存储地址;基于所述当前存储地址确定所述进程逻辑地址对应的物理地址。
其中,当前存储地址为已存储有日志文件的物理地址,本实施例中,通过设置系统参数,在系统参数中记录各已存储有日志文件的物理地址,便于对各物理地址进行管理。系统参数可以是设置在物理内存的预设存储位置,例如位于日志存储区域的起始位置,方便指令的调用,通过读取预设存储位置的系统参数,得到当前存储地址。
具体的,基于当前存储地址确定进程逻辑地址在内存中对应的物理地址,例如,遍历当前存储地址,若当前存储地址中任一地址的下一地址为可用地址,则将该可用地址确定为进程逻辑地址对应的物理地址,用于写入待读取日志文件。需要说明的是,进行待读取日志文件的写入时,基于写入待读取日志文件的的物理地址更新当前存储地址,便于下一日志文件写入时准确确定对应的物理地址。
可选的,在获取所述内存中的系统参数之前,还包括:判断所述内存是否为首次启动,若是,则初始化系统参数,若否,则执行获取所述内存中的系统参数的步骤。
具体的,本实施例通过日志文件的存在与否和大小,判断是否为首次启动,例如,内存中不包括任何日志文件,或者日志文件的大小为0,表明内存为首次启动,即表明未设置系统参数,通过初始化系统参数,存储在日志文件起始的位置,便于后续进行读取。若内存中包括至少一项日志文件,或日志文件大小不为0,则表明内存非首次启动,即内存中已设置有系统参数,可从日志文件起始的位置载入相关的系统参数,无需二次设置。
在一些可选的实施例中,所述系统参数中还包括写索引标识,写索引标识为预设时间间隔内更新的物理地址,或该更新的物理地址的标识信息,其中,预设时间间隔可以根据用户需求设置,例如1秒、5秒或者10秒等,即写索引标识可以是基于距离当前时刻5秒前更新的物理地址设置。
所述基于所述当前存储地址确定所述进程逻辑地址对应的物理地址,包括:基于所述写索引标识确定初始索引的当前存储地址,基于所述初始索引的当前存储地址进行可用物理地址的搜索,确定所述进程逻辑地址对应的物理地址。
索引是为了加速对表中数据行的检索而创建的一种分散的存储结构。本实施例中通过设置写索引标识,基于写索引标识确定初始索引的当前存储地址,利用基于所述初始索引的当前存储地址进行可用物理地址的搜索,即将写索引标识对应的物理地址作为搜索的第一个物理地址,确定下一物理地址是否为可用物理地址,最终确定所述进程逻辑地址对应的物理地址,无需遍历当前存储地址中全部的物理地址,减少了进行搜索的当前存储地址的数量,提高了物理地址的确定的速度,为实现高速日志文件读取提供了保障。
在一些可选的实施例中,在将所述待读取的日志文件从所述磁盘中拷贝至所述内存之后,所述方法还包括:设置各所述日志文件的原子标志,可选的,该原子标志可作为原子锁。
本实施例中设置的原子标志具有原子锁机制的内存可提供原子操作,原子操作为不可被中断的一个或一系列操作,当多个线程执行一个操作时,其中任何一个线程要么完全执行完此操作,要么没有执行此操作的任何步骤。
示例性的,系统之后每次写日志,通过存储在头部的系统参数中的原子锁,申请到一块内存区域,然后直接将要写入的日志直接输入到对应的区域。虽然各个进程有自己的独立的逻辑空间,但是其对应的是同一块物理内存。对于多进程的竞争问题,也可通过原子锁来保证进程安全。多进程和多线程访问日志时,通过原子锁技术来保证安全,可提供比互斥锁更加高的性能,并且没有额外通信开销。
本发明实施例提供了一种日志处理方法,通过将磁盘中的日志文件映射到逻辑地址空间,得到日志文件对应的进程逻辑地址,然后接收日志文件的读取指令,若内存中不存在所述读取指令对应的日志文件,则确定所述逻辑地址空间确定待读取的日志文件的进程逻辑地址,随后确定所述进程逻辑地址对应的物理地址,基于所述物理地址将所述待读取的日志文件从所述磁盘中拷贝至所述内存,并对拷贝至内存中的日志文件进行读取。通过文件映射的方式写入日志,降低了写日志到存储日志过程所有需要执行的系统调用。提升了日志处理效率,对于需要记录高频日志信息并且性能要求较高的场景,实用性高。
实施例二
图3是本发明实施例提供的一种日志处理方法的流程示意图,在上述实施例的基础上进行了优化,可选的,在基于所述物理地址将所述待读取的日志文件从所述磁盘中拷贝至所述内存之后,所述方法还包括:设置各所述日志文件的至少一项日志检索信息,其中,所述日志检索信息包括时间信息、级别信息、所述模块信息和索引信息。
该方法具体包括:
S210、将日志文件映射到逻辑地址空间,得到日志文件对应的进程逻辑地址。
S220、接收日志文件的读取指令,若所述读取指令对应的日志文件不存在内存中,则根据所述日志文件的进程逻辑地址确定对应的物理地址,基于所述物理地址将所述日志文件拷贝至所述内存,设置各所述日志文件的至少一项日志检索信息。
本实施例中,在写入日志文件后,将该写入的日志文件的日志检索信息写入该日志文件的特定位置,便于快速读取日志检索信息。日志检索信息可以是预先设置的,也可以是根据对日志文件的写入操作生成的,其中,不同类型的检索信息的生成方式不同。
图4为本发明实施例二提供的一种日志检索条件分布图。其中,日志检索信息包括时间信息、级别信息、模块信息和索引信息。时间信息可以为日志文件产生的时间、写入时间、日志文件被读取的时间、日志文件被查看的时间中的一项或多项,级别信息是根据日志消息的级别进行划分的,可以是包括紧急、警告、严重、错误、提醒等,还可以是包括一级、二级、三级等重要等级。模块信息可以是生成日志文件的系统模块信息或者业务模块信息等,示例性的,模块信息可以是支付模块、搜索模块等。上述索引信息的设置方便了索引进行监控及相应的处理。
S230、执行读取指令。
本实施例基于所述物理地址将所述待读取的日志文件从所述磁盘中拷贝至所述内存,设置各所述日志文件的时间信息、级别信息、模块信息和索引信息等日志检索信息,对拷贝至内存中的日志文件进行读取。
S240、接收日志文件的查询指令,所述查询指令中包括至少一项日志检索信息,基于所述查询指令的至少一项日志检索信息在已存储的各所述日志文件的日志检索信息中进行匹配,确定所述查询指令对应的日志文件。
具体的,如图4所示,日志文件的查询指令是系统提供的一个专门用于查看日志文件的指令。此指令中可以携带需要查看的日志模块名字、级别、日志产生时间范围等日志检索信息中的一项多多项。基于查询指令的日志检索信息在已存储的日志文件的日志检索信息中进行匹配,将匹配成功的日志文件确定为查询指令对应的日志文件。
示例性的,在多进程的场景下,日志的存储位置顺序并不能严格代表其日志产生的顺序,因此系统自动添加了日志时间,精准到微秒,以保证用户在这种情况下验证顺序。每一个日志存储区除了记录日志内容,还会包含本条日志产生的时间、级别、模块名字、索引等日志检索信息。利用日志检索信息在已存储的日志文件的日志检索信息中进行匹配,将匹配成功的日志文件确定为查询指令对应的日志文件。
本发明实施例提供的日志处理方法,通过对写入的日志文件设置日志检索信息,并在接收到日志文件的查询指令时,基于查询指令中的至少一项日志检索信息在已存储的各所述日志文件的日志检索信息中进行匹配,确定所述查询指令对应的日志文件。实现了只需要引入对应的日志检索信息即可确定对应的日志文件,简化了日志文件的查询过程,最大限度地减小进程在日志读写过程的消耗。
在上述实施例的基础上,所述方法还包括:接收日志文件的打印指令,所述打印指令中包括打印过滤条件,所述打印过滤条件包括至少一项日志检索信息;基于所述打印指令中的打印过滤条件在已存储的各所述日志文件的日志检索信息中进行匹配,对匹配成功的日志文件进行打印处理。
具体的,系统通过接收日志文件的打印指令,实现对符合条件的日志进行打印。其中,打印指令中包括打印过滤条件,所述打印过滤条件包括至少一项日志检索信息,打印过滤条件可以为需要查看的日志模块名字、级别、日志产生时间范围。然后通过打印指令中的打印过滤条件在已存储的各所述日志文件的日志检索信息中进行匹配,对匹配成功的日志文件进行打印处理。
示例性的,系统打印指令对应的程序每次执行时,先读取系统参数,得到当前存储地址,从而得到目前系统已经存储的日志的总数,然后根据过滤参数打印符合条件的日志。
需要说明的是,本实施例中对日志文件的拷贝操作不存在对打印操作的触发信号,因此,在将日志文件拷贝至内存后,不存在对日志文件的打印操作,减少了无效的打印过程,提高了日志文件的读写效率。在接收到打印指令时,通过匹配符合打印过滤条件的日志文件,针对用户需求进行打印,提高了打印出的日志文件的有效性,无需用户在大量日志文件中进行人为查询,便于用户快速浏览所需日志文件。
可选的,所述打印指令包括持续监听参数,持续监听参数用于阻塞打印指令,保持打印指令的有效性,实现对日志文件的持续性监听,直到接收到停止打印指令。该持续监听参数可以是设置在打印指令的预设字段,示例性的,若该字段中参数为1,则持续监听生效,若该字段中参数为0,则该打印指令为一次性打印指令。
所述基于所述打印指令中的打印过滤条件在已存储的各所述日志文件的日志检索信息中进行匹配,包括:若监测到新的日志文件写入所述内存,将所述打印指令中的打印过滤条件与所述新的日志文件的日志检索信息中进行匹配,若匹配成功,则将所述新的日志文件进行打印。
示例性的,若输入的打印指令包括持续监听的参数,则程序会阻塞,并且不断轮询系统参数中的写索引,监听最新写入的日志,经过过滤器过滤之后,将符合条件的日志,实现对写入的日志文件实时监听的效果。
可选的,在接收日志文件的打印指令之后,所述方法还包括:创建新的进程,基于所述新的进程执行所述打印指令。
本实施例中,在接收日志文件的打印指令之后,系统可以创建新的进程。打印指令不会影响到日志写入进程的性能。
具体的,日志系统采用读写分离的方式,将写日志和打印日志的两个过程分开,只有用户需要查看的时候,才会有打印的操作,并且将打印的过程转移到另外一个进程中,使用者可以通过日志系统提供的专门指令来查看日志,最大限度地减小用户进程在日志读写过程的消耗。
实施例三
图5是本发明实施例三提供的一种日志处理装置的结构示意图,该装置包括:
日志文件映射模块310,用于将日志文件映射到逻辑地址空间,得到日志文件对应的进程逻辑地址;
日志读取模块320,用于接收日志文件的读取指令,执行所述读取指令;
日志写入模块330,用于在所述接收日志文件的读取指令之后、所述执行所述读取指令之前,若所述读取指令对应的日志文件不存在内存中,则根据所述日志文件的进程逻辑地址确定对应的物理地址,基于所述物理地址将所述日志文件拷贝至所述内存。
在上述实施例的基础上,日志写入模块330包括:
系统参数获取模块,用于获取所述内存中的系统参数,所述系统参数包括当前存储地址;
物理地址确定模块,用于基于所述当前存储地址确定所述进程逻辑地址对应的物理地址。
在上述实施例的基础上,日志写入模块330还包括:
系统参数初始化模块,用于获取所述内存中的系统参数之前,判断所述内存是否为首次启动,若是,则初始化系统参数。
在上述实施例的基础上,所述系统参数中还包括写索引标识;
可选的,物理地址确定模块用于:
基于所述写索引标识确定初始索引的当前存储地址,基于所述初始索引的当前存储地址进行可用物理地址的搜索,确定所述进程逻辑地址对应的物理地址。
在上述实施例的基础上,日志写入模块330还包括:
日志检索信息设置单元,用于在将所述待读取的日志文件从所述磁盘中拷贝至所述物理地址之后,设置各所述日志文件的至少一项日志检索信息,其中,所述日志检索信息包括时间信息、级别信息、所述模块信息和索引信息。
在上述实施例的基础上,该装置还包括:
查询指令接收模块,用于接收日志文件的查询指令,所述查询指令中包括至少一项日志检索信息;
日志文件查询模块,用于基于所述查询指令的至少一项日志检索信息在已存储的各所述日志文件的日志检索信息中进行匹配,确定所述查询指令对应的日志文件。
在上述实施例的基础上,该装置还包括:
打印指令接收模块,用于接收日志文件的打印指令,所述打印指令中包括打印过滤条件;
打印模块,用于基于所述打印指令中的打印过滤条件在已存储的各所述日志文件的日志检索信息中进行匹配,对匹配成功的日志文件进行打印处理。
可选的,所述打印指令包括持续监听参数;
打印模块用于:
若监测到新的日志文件写入所述内存,将所述打印指令中的打印过滤条件与所述新的日志文件的日志检索信息中进行匹配,若匹配成功,则将所述新的日志文件进行打印。
可选的,打印模块还用于:
在接收日志文件的打印指令之后,创建新的进程,基于所述新的进程执行所述打印指令。
在上述实施例的基础上,日志写入模块330还包括:
原子标志设置单元,用于将所述待读取的日志文件从所述磁盘中拷贝至所述物理地址之后,设置各所述日志文件的原子标志。
上述产品可执行本发明任意实施例所提供的方法,具备执行方法相应的功能模块和有益效果。
实施例四
图6为本发明实施例四提供的一种电子设备的结构示意图。图6示出了适于用来实现本发明实施方式的电子设备12的框图。图6显示的电子设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。设备12典型的是承担图像分类功能的电子设备。
如图6所示,电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于:一个或者多个处理器16,存储装置28,连接不同系统组件(包括存储装置28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture,ISA)总线,微通道体系结构(Micro Channel Architecture,MCA)总线,增强型ISA总线、视频电子标准协会(Video Electronics Standards Association,VESA)局域总线以及外围组件互连(Peripheral Component Interconnect,PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储装置28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory,RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory,CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory,DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一项程序产品,该程序产品具有一组(例如至少一项)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一项)程序模块40的程序42,可以存储在例如存储装置28中,这样的程序模块40包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网关环境的实现。程序模块40通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、摄像头、显示器24等)通信,还可与一个或者多个使得用户能与该电子设备12交互的设备通信,和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,电子设备12还可以通过网关适配器20与一个或者多个网关(例如局域网(Local Area Network,LAN),广域网Wide Area Network,WAN)和/或公共网关,例如因特网)通信。如图所示,网关适配器20通过总线18与电子设备12的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks,RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储装置28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明上述实施例所提供的日志处理方法。
实施例五
本发明实施例五提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所提供的日志处理方法。
当然,本发明实施例所提供的一种计算机可读存储介质,其上存储的计算机程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的日志处理方法。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的源代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的源代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机源代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。源代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网关——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种日志处理方法,其特征在于,包括:
将日志文件映射到逻辑地址空间,得到所述日志文件对应的进程逻辑地址;
接收日志文件的读取指令,执行所述读取指令;
其中,所述接收日志文件的读取指令之后、所述执行所述读取指令之前,还包括:
若所述读取指令对应的日志文件不存在内存中,则根据所述日志文件的进程逻辑地址确定对应的物理地址,基于所述物理地址将所述日志文件拷贝至所述内存。
2.根据权利要求1所述的方法,其特征在于,所述根据所述日志文件的进程逻辑地址确定对应的物理地址,包括:
获取所述内存中的系统参数,所述系统参数包括当前存储地址;
基于所述当前存储地址确定所述进程逻辑地址对应的物理地址。
3.根据权利要求2所述的方法,其特征在于,在获取所述内存中的系统参数之前,还包括:
判断所述内存是否为首次启动,若是,则初始化系统参数。
4.根据权利要求2所述的方法,其特征在于,所述系统参数中还包括写索引标识;
所述基于所述当前存储地址确定所述进程逻辑地址对应的物理地址,包括:
基于所述写索引标识确定初始索引的当前存储地址,基于所述初始索引的当前存储地址进行可用物理地址的搜索,确定所述进程逻辑地址对应的物理地址。
5.根据权利要求1所述的方法,其特征在于,在基于所述物理地址将所述日志文件拷贝至所述内存之后,所述方法还包括:
设置所述日志文件的至少一项日志检索信息,其中,所述日志检索信息包括时间信息、级别信息、模块信息和索引信息。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
接收日志文件的查询指令,所述查询指令中包括至少一项日志检索信息;
基于所述查询指令的至少一项日志检索信息在已存储的各所述日志文件的日志检索信息中进行匹配,确定所述查询指令对应的日志文件。
7.根据权利要求5所述的方法,其特征在于,所述方法还包括:
接收日志文件的打印指令,所述打印指令中包括打印过滤条件;
基于所述打印指令中的打印过滤条件在已存储的各所述日志文件的日志检索信息中进行匹配,对匹配成功的日志文件进行打印处理。
8.根据权利要求7所述的方法,其特征在于,所述打印指令包括持续监听参数;
所述基于所述打印指令中的打印过滤条件在已存储的各所述日志文件的日志检索信息中进行匹配,包括:
若监测到新的日志文件写入所述内存,将所述打印指令中的打印过滤条件与所述新的日志文件的日志检索信息中进行匹配,若匹配成功,则将所述新的日志文件进行打印。
9.根据权利要求7所述的方法,其特征在于,在接收日志文件的打印指令之后,所述方法还包括:
创建新的进程,基于所述新的进程执行所述打印指令。
10.根据权利要求1所述的方法,其特征在于,在基于所述物理地址将所述日志文件拷贝至所述内存之后,所述方法还包括:
设置各所述日志文件的原子标志。
11.一种日志处理装置,其特征在于,包括:
日志文件映射模块,用于将日志文件映射到逻辑地址空间,得到日志文件对应的进程逻辑地址;
日志读取模块,用于接收日志文件的读取指令,执行所述读取指令;
日志写入模块,用于在所述接收日志文件的读取指令之后、所述执行所述读取指令之前,若所述读取指令对应的日志文件不存在内存中,则根据所述日志文件的进程逻辑地址确定对应的物理地址,基于所述物理地址将所述日志文件拷贝至所述内存。
12.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-10中任一所述的日志处理方法。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-10中任一所述的日志处理方法。
CN202110552396.0A 2021-05-20 2021-05-20 日志处理方法、装置、存储介质及电子设备 Pending CN115374074A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110552396.0A CN115374074A (zh) 2021-05-20 2021-05-20 日志处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110552396.0A CN115374074A (zh) 2021-05-20 2021-05-20 日志处理方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN115374074A true CN115374074A (zh) 2022-11-22

Family

ID=84059128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110552396.0A Pending CN115374074A (zh) 2021-05-20 2021-05-20 日志处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN115374074A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117687892A (zh) * 2024-02-04 2024-03-12 麒麟软件有限公司 适用于嵌入式系统的综合日志获取方法、装置及存储介质
CN117687892B (zh) * 2024-02-04 2024-06-07 麒麟软件有限公司 适用于嵌入式系统的综合日志获取方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117687892A (zh) * 2024-02-04 2024-03-12 麒麟软件有限公司 适用于嵌入式系统的综合日志获取方法、装置及存储介质
CN117687892B (zh) * 2024-02-04 2024-06-07 麒麟软件有限公司 适用于嵌入式系统的综合日志获取方法、装置及存储介质

Similar Documents

Publication Publication Date Title
WO2019140828A1 (zh) 电子装置、分布式系统日志查询方法及存储介质
CN109471851B (zh) 数据处理方法、装置、服务器和存储介质
CN109471634B (zh) 源代码格式的检查方法及设备
CN110489310B (zh) 一种记录用户操作的方法、装置、存储介质及计算机设备
CN110659210A (zh) 一种信息获取方法、装置、电子设备及存储介质
CN110727476B (zh) 一种授权配置文件的生成方法、装置、设备及存储介质
CN111913922B (zh) 二进制结构化日志的生成方法、装置、设备及存储介质
CN110990346A (zh) 基于区块链的文件数据处理方法、装置、设备及存储介质
CN113010208B (zh) 一种版本信息的生成方法、装置、设备及存储介质
CN110716804A (zh) 无用资源的自动删除方法、装置、存储介质及电子设备
CN113760894A (zh) 数据调取方法、装置、电子设备及存储介质
US10997057B2 (en) Debugging asynchronous functions
CN112069158A (zh) 一种数据修复方法、装置、设备和存储介质
CN112506490A (zh) 一种接口生成方法、装置、电子设备及存储介质
US7657664B2 (en) Method and system for tracking device driver requests
CN108197041B (zh) 一种确定子进程的父进程的方法、设备及其存储介质
CN111290881A (zh) 一种数据恢复方法、装置、设备及存储介质
CN115374074A (zh) 日志处理方法、装置、存储介质及电子设备
CN112748930B (zh) 编译检测方法、装置、设备及存储介质
CN112306694B (zh) 内存分析方法和装置、计算机可读存储介质、电子设备
CN112162954B (zh) 用户操作日志生成、路径的定位方法、装置、设备及介质
CN110647527B (zh) 基于大数据的无效标签清除方法及装置、设备与可读介质
CN112632211A (zh) 用于移动机器人的语义信息处理方法与设备
CN113760696A (zh) 一种程序问题定位方法、装置、电子设备和存储介质
CN111682991B (zh) 总线错误消息的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination