CN108062323A - 一种日志读取方法及装置 - Google Patents

Abstract

本发明公开了一种日志读取方法及装置，涉及计算机技术领域，主要目的是提高日志的读取效率。所述方法包括：获取读取指针指向日志记录的第一时间点，当读取指针指向日志记录的第二时间点时，判断预置文件夹中是否存在最后修改时间介于所述第一时间点与所述第二时间点之间的日志文件，所述预置文件夹中保存有同一文件路径下日志记录生成的日志文件，所述第二时间点晚于所述第一时间点，若存在，则更新所述读取指针指向日志记录的状态标识。本发明主要用于日志的读取。

Description

一种日志读取方法及装置

技术领域

本发明涉及计算机技术领域，尤其是一种日志读取方法及装置。

背景技术

日志是用于记录系统操作事件的记录文件或者文件集合，如操作系统有操作系统日志文件，数据库系统有数据库系统日志文件，由于不同的服务器，不同日志的读取方式也不一样，如对于IIS日志是每小时写一个新的文件，若当前日志写在20160701.log文件中，下一个小时则会写在20160702.log文件中，所以读取指针指向的是当前最新生成的日志文件，而对于Nginx日志是始终写在一个access.log文件中，每隔一个小时后把access.log文件中的日志拷贝出来生成access_20160701.log文件，下一个小时在从access.log文件中的新写的日志拷贝出来生成access_20160702.log文件，所以读取指针指向的是写操作对应的access.log文件。

由于两种日志的读取指针对应的并不是同一类型的日志，而从Nginx日志读取指针指向日志对应的最后修改时间无法判断是否有新生成的日志文件，使得服务器无法同时对两种日志进行读取操作，需要分别进行读取，导致日志读取效率较低。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种日志读取方法及装置，能够提高日志的读取效率。

一方面，本发明提供了一种日志读取方法，包括：

获取读取指针指向日志记录的第一时间点；

当读取指针指向日志记录的第二时间点时，判断预置文件夹中是否存在最后修改时间介于所述第一时间点与所述第二时间点之间的日志文件，所述预置文件夹中保存有同一文件路径下日志记录生成的日志文件，所述第二时间点晚于所述第一时间点；

若存在，则更新所述读取指针指向日志记录的状态标识。

另一方面，本发明提供一种日志读取装置，包括：

获取单元，用于获取读取指针指向日志记录的第一时间点；

判断单元，用于当读取指针指向日志记录的第二时间点时，判断预置文件夹中是否存在最后修改时间介于所述第一时间点与所述第二时间点之间的日志文件，所述预置文件夹中保存有同一文件路径下日志记录生成的日志文件，所述第二时间点晚于所述第一时间点；

更新单元，用于若预置文件夹中存在最后修改时间晚于所述第一时间点并且早于所述第二时间点的日志文件，则更新所述读取指针指向日志记录的状态标识。

借由上述技术方案，本发明提供的一种日志读取方法及装置，首先获取读取指针指向日志记录的第一时间点，当读取指针指向日志记录的第二时间点时，判断预置文件夹中是否存在最后修改时间介于第一时间点与第二时间点之间的日志文件，这里的预置文件夹中保存有同一文件路径下日志记录生成的日志文件，同时第二时间点晚于第一时间点，这里最后修改时间指的是日志记录生成日志文件的时间点，若存在日志文件，则说明有新的日志文件生成，进而更新读取指针指向日志记录的状态标识。相对于现有的日志读取方法相比，本发明通过判断预置文件夹中是否存在最后修改时间晚于第一时间点并且早于第二时间点的日志文件，能够判断出是否有新生成的日志文件，进一步将最后修改时间对应的日志记录的状态标识更新为已读状态，无需服务器分别对两种不同类型的日志进行读取操作，提高了日志的读取效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种日志读取方法流程示意图；

图2示出了本发明实施例提供的另一种日志读取方法流程示意图；

图3示出了本发明实施例提供的一种日志读取装置结构示意图；

图4示出了本发明实施例提供的另一种日志读取装置结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种日志读取方法，如图1所示，该方法应用于日志读取操作中，进一步实现同时对两种不同类型的日志进行读取操作，具体步骤包括：

101、获取读取指针指向日志记录的第一时间点。

对于本发明实施例，这里的日志记录可以为IIS日志，也可以是Nginx日志。IIS日志为服务器日志，通常是记录各种搜索引擎蜘蛛来访并爬取网站行为的状态码并以文件的方式生成IIS日志；Nginx日志通常是记录访问相关日志和报错日志。当读取日志记录的时候，获取当前读取指针指向日志记录的第一时间点，其中，第一时间点为正在读取日志记录的最后修改时间，例如当前读取到日志记录的第4行，则该行记录的修改时间点为8点10分，此时日志记录的第一时间点为8点10分。

102、当读取指针指向日志记录的第二时间点时，判断预置文件夹中是否存在最后修改时间介于第一时间点与第二时间点之间的日志文件。

随着读取指针指向日志记录的行数不断增加，读取指针指向日志记录的时间点也随之增加，当读取指针指向日志记录的第二时间点时，这里的第二时间点同样为正在读取日志记录的最后修改时间，当前读取到日志记录的第50行，该行记录的修改时间为8点40分，此时日志记录的第二时间点为8点40分，需要说明的是，这里的第二时间点晚于第一时间点，但本发明是实施例对第一时间点与第二时间点之间的时间间隔不做限定，为了方便判断是否有新生成的日志文件，优选为时间间隔较短，如间隔为10分钟。

当网站量访问量大后，日志数据就会越来越多，有必要对日志数据进行切割，进而生成日志文件保存至预置文件夹中，因此，这里的预置文件夹中为保存有同一文件路径下日志记录生成的日志文件。对于IIS日志当日志记录的按照预设时间间隔会生成日志文件，读取指针指向的日志记录始终是当前新生成的日志文件，而对于Ngnix日志的读取指针指向的日志记录始终是一个写入日志对应的日志文件，但是并非是按照预设时间间隔切割后新生成的日志文件。

进一步地，判断预置文件夹中是否存在最后修改时间是否介于第一时间点与第二时间点之间的日志文件，若存在，则说明介于第一时间点与第二时间点之间有新生成的日志文件，若不存在，则说明没有新生成的日志文件。

103、若预置文件夹中存在最后修改时间介于第一时间点与第二时间点之间的日志文件，更新读取指针指向日志记录的状态标识。

对于本发明实施例，若预置文件夹中存在最后修改时间介于第一时间点与第二时间点之间的日志文件，说明预置文件夹中该最后修改时间对应的日志文件为新生成的，进一步在读取指针对应的位置进行标注，说明该日志记录的时间点为新生成日志文件的最后修改时间。

结合上述的实现方式可以看出，本发明实施例提供的一种日志读取方法，首先获取读取指针指向日志记录的第一时间点，当读取指针指向日志记录的第二时间点时，判断预置文件夹中是否存在最后修改时间介于第一时间点与第二时间点之间的日志文件，这里的预置文件夹中保存有同一文件路径下日志记录生成的日志文件，同时第二时间点晚于第一时间点，这里最后修改时间指的是日志记录生成日志文件的时间点，若存在日志文件，则说明有新的日志文件生成，进而更新读取指针指向日志记录的状态标识。相对于现有的日志读取方法相比，本发明通过判断预置文件夹中是否存在最后修改时间晚于第一时间点并且早于第二时间点的日志文件，能够判断出是否有新生成的日志文件，进一步将最后修改时间对应的日志记录的状态标识更新为已读状态，无需服务器分别对两种不同类型的日志进行读取操作，提高了日志的读取效率。

本发明实施例还提供了另一种日志读取方法，如图2所示，该方法的具体步骤包括：

201、根据读取指针指向日志记录对应的时间戳获取日志记录的第一时间点。

这里的时间戳是一种时间表示方式，通常是一个字符序列，用于标记日志记录的修改时刻。本发明实施例通过在日志记录中插入时间戳的功能，进一步获取日志记录的第一时间点。

当时间戳功能打开时，日志记录中会标识该行记录生成的日期和时间，这里的第一时间点为该行日志记录的最后修改时间，即生成的时间，进一步通过日志记录能够获取第一时间点，例如，当前日志记录的时间戳为1404965472，代表该行日志记录的时间为2014年7月10日12时11分12秒。需要说明的是，本发明实施例对日志时间戳配置的方式不做限定。

202、按照预置时间间隔根据日志记录生成日志文件，将日志文件存储至预置文件夹中。

由于日志收集系统访问日志会非常多，时间一长文件变得很大，所以通常要按时间段将日志切分，例如每天或者每小时切分一个日志。为了效果更明显，可以每间隔一个小时切分日志记录，生成日志文件。需要说明的是，本发明实施例对预置时间间隔不做限定，为了保证切分效果更好，优选为1～2个小时。

进一步地，将切片后生成的日志文件存储至预置文件夹中，这里的预置文件夹中保存有同一文件路径下日志记录生成的日志文件以及日志文件的最后修改时间，该最后修改时间为当日志文件有变化的话，系统记录的日志文件的修改的时间，若日志文件在生成后没有变化，则最后修改时间为日志文件生成的时间。

203、启动线程扫描预置文件夹中日志文件的最后修改时间。

本步骤中，在服务器侧启动线程，用于扫描预置文件夹中日志文件的最后修改时间，由于随着日志记录的不断增加，预置文件夹中生成的日志文件数量也会变多，当读取指针指向日志记录的第二时间点时，进一步通过启动线程扫描预置文件夹中日志文件的最后修改时间，这里的第二时间点同样为该行日志记录的最后修改时间，只不过是相对于第一时间点要晚的时间点。

204、当读取指针指向日志记录的第二时间点时，判断预置文件夹中是否存在最后修改时间介于第一时间点与第二时间点之间的日志文件。

对于本发明实施例，若预置文件夹中存在最后修改时间介于第一时间点与第二时间点之间的日志文件，并且该日志文件的修改时间对应日志文件的生成时间，进一步说明在第一时间点与第二时间点之间有新生成的日志文件。

需要说明的是，第二时间点晚于第一时间点，本发明是实施例对第一时间点与第二时间点之间的时间间隔不做限定，为了方便判断是否有新生成的日志文件，优选为时间间隔较短，如间隔为10分钟。。

205、若预置文件夹中存在最后修改时间介于第一时间点与第二时间点之间的日志文件，更新读取指针指向日志记录的状态标识。

若判断出有新生成的日志文件，该日志文件的最后修改时间即为日志的生成时间，首先获取读取指针指向日志文件最后修改时间对应的日志记录，然后将该日志记录的状态标识更新为已读状态，进一步说明该日志记录为新生成日志文件的最后一行的日志记录。

本发明实施例的具体步骤可以包括但不限制于下述实现方式：对于IIS日志和Ngnix日志，首先根据读取指针指向日志记录的时间戳获取到日志记录的时间点为2012年5月12日8时11分1秒，随着日志记录的增多，按照间隔1小时根据日志记录生成日志文件，进一步将日志文件存储至与预置文件夹中，并且启动线程扫描预置文件夹中日志文件的最后修改时间，当读取指针指向日志记录的时间点为2012年5月12日9点20分1秒时，判断预置文件夹中是否存在最后修改时间介于2012年5月12日8时11分1秒和2012年5月12日9点20分1秒的日志文件，若存在有日志文件的最后修改时间为2012年5月12日8时40分20秒，则说明该日志文件为新生成的日志文件，进一步获取读取指针指向最后修改时间对应的日志记录，进而更新该日志记录的状态标识为已读状态。

现有技术当用户在读取日志文件时，由于IIS日志和Ngnix日志并非是同一类型的日志，而它们读取指针指向的并非都是当前最新生成的日志文件，对于IIS日志读取指针指向的最后修改时间对应的是新生成的日志文件，而对于Ngnix日志仅根据读取指针指向的最后修改时间无法判断是否有新生成的日志文件，因此，本发明实施例中通过启动线程扫面预置文件夹中生成日志文件的最后修改时间，进一步判断是否存在最后修改时间介于第一时间点与第二时间点之间的日志文件，若存在，则说明有新生成的日志文件，这样服务器无需对两种不同类型的日志分别读取，提高了日志读取效率。

进一步地，作为图1所示方法的具体实现，本发明实施例提供一种日志读取装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置不在对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容，如图3所示，所述装置包括：获取单元31、判断单元32、更新单元33；

获取单元31，用于获取读取指针指向日志记录的第一时间点；

判断单元32，用于当读取指针指向日志记录的第二时间点时，判断预置文件夹中是否存在最后修改时间介于第一时间点与第二时间点之间的日志文件，该预置文件夹中保存有同一文件路径下日志记录生成的日志文件，并且第二时间点晚于第一时间点；

更新单元33，用于若预置文件夹中存在最后修改时间晚于第一时间点并且早于第二时间点的日志文件，则更新读取指针指向日志记录的状态标识。

本发明实施例提供的一种日志读取装置，首先获取读取指针指向日志记录的第一时间点，当读取指针指向日志记录的第二时间点时，判断预置文件夹中是否存在最后修改时间介于第一时间点与第二时间点之间的日志文件，这里的预置文件夹中保存有同一文件路径下日志记录生成的日志文件，同时第二时间点晚于第一时间点，这里最后修改时间指的是日志记录生成日志文件的时间点，若存在日志文件，则说明有新的日志文件生成，进而更新读取指针指向日志记录的状态标识。相对于现有的日志读取方法相比，本发明通过判断预置文件夹中是否存在最后修改时间晚于第一时间点并且早于第二时间点的日志文件，能够判断出是否有新生成的日志文件，进一步将最后修改时间对应的日志记录的状态标识更新为已读状态，无需服务器分别对两种不同类型的日志进行读取操作，提高了日志的读取效率。

进一步地，作为图2所示方法的具体实现，本发明实施例提供另一种日志读取装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置不在对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容，如图4所示，所述装置包括：获取单元41、生成单元42、扫描单元43、判断单元44、更新单元45；

获取单元41，用于获取读取指针指向日志记录的第一时间点；

生成单元42，用于按照预置时间间隔根据日志记录生成日志文件，将日志文件存储至预置文件夹中；

扫描单元43，用于启动线程扫描预置文件夹中日志文件的最后修改时间，该预置文件夹中保存有同一文件路径下日志记录生成的日志文件；

判断单元44，用于当读取指针指向日志记录的第二时间点时，判断预置文件夹中是否存在最后修改时间介于所述第一时间点与所述第二时间点之间的日志文件，，所述第二时间点晚于所述第一时间点；

更新单元45，用于若预置文件夹中存在最后修改时间晚于所述第一时间点并且早于所述第二时间点的日志文件，则更新所述读取指针指向日志记录的状态标识。

进一步地，获取单元41，具体用于根据读取指针指向日志记录对应的时间戳获取日志记录的第一时间点。

进一步地，更新单元45包括：

获取模块451，用于获取读取指针指向最后修改时间对应的日志记录；

更新模块452，用于将最后修改时间对应的日志记录的状态标识更新为已读状态。

本发明实施例提供的另一种日志读取装置，通过启动线程扫面预置文件夹中生成日志文件的最后修改时间，进一步判断是否存在最后修改时间介于第一时间点与第二时间点之间的日志文件，若存在，则说明有新生成的日志文件，这样服务器无需对两种不同类型的日志分别读取，提高了日志读取效率。

所述日志读取装置包括处理器和存储器，上述获取单元31、判断单元32和更新单元33等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来节省人力，实现自动化裁判文书中的金额提取，并且提高了提取金额的正确度。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)，存储器包括至少一个存储芯片。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：获取用户历史检索关键词数据；根据所述用户历史检索关键词数据建立转义字符的倒排索引；响应于用户输入的检索请求，在所述倒排索引中查找与所述检索请求中携带的检索字符串相匹配的检索关键词；按照预定规则选取若干检索关键词作为输出的提示关键词。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种日志读取方法，其特征在于，包括：

获取读取指针指向日志记录的第一时间点；

当读取指针指向日志记录的第二时间点时，判断预置文件夹中是否存在最后修改时间介于所述第一时间点与所述第二时间点之间的日志文件，所述预置文件夹中保存有同一文件路径下日志记录生成的日志文件，所述第二时间点晚于所述第一时间点；

若存在，则更新所述读取指针指向日志记录的状态标识。

2.根据权利要求1所述的方法，其特征在于，所述获取读取指针指向日志记录的第一时间点包括：

根据所述读取指针指向日志记录对应的时间戳获取所述日志记录的第一时间点。

3.根据权利要求1所述的方法，其特征在于，在所述判断预置文件夹中是否存在最后修改时间介于所述第一时间点与所述第二时间点之间的日志文件之前，所述方法还包括：

启动线程扫描所述预置文件夹中日志文件的最后修改时间。

4.根据权利要求1所述的方法，其特征在于，所述更新所述读取指针指向日志记录的状态标识包括：

获取读取指针指向所述最后修改时间对应的日志记录；

将所述最后修改时间对应的日志记录的状态标识更新为已读状态。

5.根据权利要求1-4中任一项所述的方法，在所述判断预置文件夹中是否存在最后修改时间介于所述第一时间点与所述第二时间点之间的日志文件之前，所述方法还包括：

按照预置时间间隔根据所述日志记录生成日志文件，将所述日志文件存储至预置文件夹中。

6.一种日志读取装置，其特征在于，包括：

获取单元，用于获取读取指针指向日志记录的第一时间点；

判断单元，用于当读取指针指向日志记录的第二时间点时，判断预置文件夹中是否存在最后修改时间介于所述第一时间点与所述第二时间点之间的日志文件，所述预置文件夹中保存有同一文件路径下日志记录生成的日志文件，所述第二时间点晚于所述第一时间点；

更新单元，用于若预置文件夹中存在最后修改时间晚于所述第一时间点并且早于所述第二时间点的日志文件，则更新所述读取指针指向日志记录的状态标识。

7.根据权利要求6所述的装置，其特征在于，

所述获取单元，具体用于根据所述读取指针指向日志记录对应的时间戳获取所述日志记录的第一时间点。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

扫描单元，用于启动线程扫描所述预置文件夹中日志文件的最后修改时间。

9.根据权利要求6所述的装置，其特征在于，所述更新单元包括：

获取模块，用于获取读取指针指向所述最后修改时间对应的日志记录；

更新模块，用于将所述最后修改时间对应的日志记录的状态标识更新为已读状态。

10.根据权利要求6-9中任一项所述的装置，其特征在于，所述装置还包括：

生成单元，用于按照预置时间间隔根据所述日志记录生成日志文件，将所述日志文件存储至预置文件夹中。