CN110515803A - 针对日志消息的处理方法、装置以及电子设备 - Google Patents

Abstract

本公开提供了一种针对日志消息的处理方法，包括：获取待写入的日志消息，其中，待写入的日志消息包含指定消息内容，待写入的日志消息产生于第一时刻；检测已被写入的日志消息中是否存在指定消息内容；若存在指定消息内容，则检测在已被写入的日志消息中指定消息内容被写入的第二时刻与第一时刻之间是否未超过预设时间长度；若未超过预设时间长度，则确定待写入的日志消息为重复日志消息，并基于待写入的日志消息，生成目标日志消息；将目标日志消息写入目标日志文件和/或目标数据库；以及更新已被写入的日志消息中指定消息内容被写入的第二时刻为第一时刻。另外，本公开还提供了一种针对日志消息的处理装置和电子设备。

Description

针对日志消息的处理方法、装置以及电子设备

技术领域

本公开涉及一种针对日志消息的处理方法及其装置、电子设备和介质。

背景技术

系统日志是记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。系统日志可以让用户充分了解环境，了解故障或袭击发生之前的所有事件，因此是非常关键的组件。良好的系统日志可以防止从错误的角度分析问题，避免浪费宝贵的排除时间。

目前的系统日志消息，经常会出现大量的重复消息，包括但不限于服务的错误信息、基于某种需求进行的检测消息。重复出现的大量消息导致日志量剧增，甚至会导致重要的日志消息被淹没，同时大量的重复日志消息占用大量的磁盘空间，降低日志消息的写入性能。

发明内容

本公开的一个方面提供了一种针对日志消息的处理方法，包括：获取待写入的日志消息，其中，上述待写入的日志消息包含指定消息内容，上述待写入的日志消息产生于第一时刻，检测已被写入的日志消息中是否存在上述指定消息内容，若存在上述指定消息内容，则检测在上述已被写入的日志消息中上述指定消息内容被写入的第二时刻与上述第一时刻之间是否未超过预设时间长度，若未超过上述预设时间长度，则确定上述待写入的日志消息为重复日志消息，并基于上述待写入的日志消息，生成目标日志消息，将上述目标日志消息写入目标日志文件和/或目标数据库，以及更新上述已被写入的日志消息中上述指定消息内容被写入的第二时刻为上述第一时刻。

可选地，上述目标日志消息包括：上述重复日志消息开始重复的时刻，其中，上述开始重复的时刻为上述已被写入的日志消息中上述指定消息内容被写入的最早时刻，上述重复日志消息的最新重复的时刻，其中，上述最新重复的时刻为上述已被写入的日志消息中上述指定消息内容被写入的最晚时刻，上述重复日志消息的重复次数，以及上述重复日志消息的消息内容。

可选地，上述方法还包括：若不存在上述指定消息内容，则将上述待写入的日志消息写入上述目标日志文件和/或上述目标数据库。

可选地，上述方法还包括：若已超过上述预设时间长度，则将上述待写入的日志消息写入上述目标日志文件和/或上述目标数据库。

可选地，上述方法还包括：响应于针对上述目标日志消息的查询请求，获取上述查询请求中的查询开始时刻和查询结束时刻，获取上述目标日志消息在上述已被写入的日志消息中被写入的第三时刻和开始重复的第四时刻，检测上述第三时刻是否晚于上述查询结束时刻，若上述第三时刻晚于上述查询结束时刻，则检测上述第四时刻是否早于上述查询结束时刻，以及若上述第四时刻早于上述查询结束时刻，则返回在上述第四时刻和上述查询结束时刻之间查询到的上述目标日志消息。

可选地，上述方法还包括：检测上述第三时刻是否早于上述查询开始时刻，以及若上述第三时刻早于上述查询开始时刻，则确定在上述查询开始时刻和上述查询结束时刻之间未查询到上述目标日志消息。

可选地，上述方法还包括：若上述第四时刻晚于上述查询结束时刻，则确定在上述查询开始时刻和上述查询结束时刻之间未查询到上述目标日志消息。

可选地，上述方法还包括：检测上述第三时刻是否在上述查询开始时刻和上述查询结束时刻之间，以及若上述第三时刻在上述查询开始时刻和上述查询结束时刻之间，则返回在上述查询开始时刻和上述查询结束时刻之间查询到的上述目标日志消息。

本公开的另一个方面提供了一种针对日志消息的处理装置，包括：第一获取模块，被配置为获取待写入的日志消息，其中，上述待写入的日志消息包含指定消息内容，上述待写入的日志消息产生于第一时刻，第一检测模块，被配置为检测已被写入的日志消息中是否存在上述指定消息内容，第二检测模块，被配置为若存在上述指定消息内容，则检测在上述已被写入的日志消息中上述指定消息内容被写入的第二时刻与上述第一时刻之间是否未超过预设时间长度，生成模块，被配置为若未超过上述预设时间长度，则确定上述待写入的日志消息为重复日志消息，并基于上述待写入的日志消息，生成目标日志消息，写入模块，被配置为将上述目标日志消息写入目标日志文件和/或目标数据库，以及更新模块，被配置为更新上述已被写入的日志消息中上述指定消息内容被写入的第二时刻为上述第一时刻。

可选地，上述目标日志消息包括：上述重复日志消息开始重复的时刻，其中，上述开始重复的时刻为上述已被写入的日志消息中上述指定消息内容被写入的最早时刻，上述重复日志消息的最新重复的时刻，其中，上述最新重复的时刻为上述已被写入的日志消息中上述指定消息内容被写入的最晚时刻，上述重复日志消息的重复次数，以及上述重复日志消息的消息内容。

可选地，上述写入模块还被配置为：若不存在上述指定消息内容，则将上述待写入的日志消息写入上述目标日志文件和/或上述目标数据库。

可选地，上述写入模块还被配置为：若已超过上述预设时间长度，则将上述待写入的日志消息写入上述目标日志文件和/或上述目标数据库。

可选地，上述装置还包括：第二获取模块，被配置为响应于针对上述目标日志消息的查询请求，获取上述查询请求中的查询开始时刻和查询结束时刻，第三获取模块，被配置为获取上述目标日志消息在上述已被写入的日志消息中被写入的第三时刻和开始重复的第四时刻，第三检测模块，被配置为检测上述第三时刻是否晚于上述查询结束时刻，第四检测模块，被配置为若上述第三时刻晚于上述查询结束时刻，则检测上述第四时刻是否早于上述查询结束时刻，以及返回模块，被配置为若上述第四时刻早于上述查询结束时刻，则返回在上述第四时刻和上述查询结束时刻之间查询到的上述目标日志消息。

可选地，上述装置还包括：第五检测模块，被配置为检测上述第三时刻是否早于上述查询开始时刻，以及第一确定模块，被配置为若上述第三时刻早于上述查询开始时刻，则确定在上述查询开始时刻和上述查询结束时刻之间未查询到上述目标日志消息。

可选地，上述装置还包括：第二确定模块，被配置为若上述第四时刻晚于上述查询结束时刻，则确定在上述查询开始时刻和上述查询结束时刻之间未查询到上述目标日志消息。

可选地，上述装置还包括：第六检测模块，被配置为检测上述第三时刻是否在上述查询开始时刻和上述查询结束时刻之间，以及第二返回模块，被配置为若上述第三时刻在上述查询开始时刻和上述查询结束时刻之间，则返回在上述查询开始时刻和上述查询结束时刻之间查询到的上述目标日志消息。

本公开的另一个方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述任一所述的方法。

本公开的另一个方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令被执行时用于实现上述任一所述的方法。

通过本公开的实施例，在已被写入的日志消息中存在待写入的日志消息的指定消息内容的情况下，根据在已被写入的日志消息中该指定消息内容被写入的第二时刻与待写入的日志消息产生的第一时刻之间是否未超过预设时间长度，判断待写入的日志消息是否为重复的日志消息，在确定为重复的日志消息的情况下，将基于待写入的日志消息，生成的目标日志消息写入目标日志文件和/或目标数据库，同时更新已被写入的日志消息中该指定消息内容被写入的第二时刻为第一时刻，可以避免记录大量重复的日志消息，降低对系统资源的占用，达到节省磁盘存储空间，提升日志存取性能的技术效果。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了根据本公开实施例的针对日志消息的处理方法的系统架构；

图2示意性示出了根据本公开实施例的针对日志消息的处理方法的流程图；

图3示意性示出了可以应用本公开实施例的针对日志消息的处理方法的应用场景一；

图4示意性示出了可以应用本公开实施例的针对日志消息的处理方法的应用场景二；

图5示意性示出了根据本公开另一实施例的针对日志消息的处理方法的流程图；

图6示意性示出了根据本公开另一实施例的针对日志消息的处理方法的流程图；

图7示意性示出了根据本公开另一实施例的针对日志消息的处理方法的流程图；

图8示意性示出了根据本公开实施例的针对日志消息的处理装置的框图；

图9示意性示出了根据本公开另一实施例的针对日志消息的处理装置的框图；以及

图10示意性示出了适用于执行本公开实施例的针对日志消息的处理方法的电子设备的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程信息处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

系统日志消息，经常会出现大量的重复消息，包括但不限于服务的错误信息、基于某种需求进行的检测消息。重复出现的大量消息导致日志量剧增，甚至会导致重要的日志消息被淹没，同时大量的重复日志消息占用大量的磁盘空间，降低日志消息的写入性能。

基于此，本公开提供了一种针对日志消息的处理方法，包括：首先，获取待写入的日志消息，其中，待写入的日志消息包含指定消息内容，待写入的日志消息产生于第一时刻。然后，检测已被写入的日志消息中是否存在指定消息内容。若存在指定消息内容，则检测在已被写入的日志消息中指定消息内容被写入的第二时刻与第一时刻之间是否未超过预设时间长度。若未超过预设时间长度，则确定待写入的日志消息为重复日志消息，并基于待写入的日志消息，生成目标日志消息。接着，将目标日志消息写入目标日志文件和/或目标数据库。最后，更新已被写入的日志消息中指定消息内容被写入的第二时刻为第一时刻。

图1示意性示出了根据本公开实施例的针对日志消息的处理方法的系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的应用场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和日志服务器105。网络104用以在终端设备101、102、103和日志服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与日志服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

日志服务器105可以是提供日志记录等各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的针对日志消息的处理方法一般可以由日志服务器105执行。相应地，本公开实施例所提供的针对日志消息的处理装置一般可以设置于日志服务器105中。本公开实施例所提供的针对日志消息的处理方法也可以由不同于日志服务器105且能够与终端设备101、102、103和/或日志服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的针对日志消息的处理装置也可以设置于不同于日志服务器105且能够与终端设备101、102、103和/或日志服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本公开实施例的针对日志消息的处理方法的流程图。

如图2所示，该方法可以包括操作S210～操作S260。

在操作S210，获取待写入的日志消息，待写入的日志消息包含指定消息内容，待写入的日志消息产生于第一时刻。

在操作S220，检测已被写入的日志消息中是否存在指定消息内容。

作为一种可选的实施例，若不存在指定消息内容，则将待写入的日志消息写入目标日志文件和/或目标数据库。

在操作S230，若存在指定消息内容，则检测在已被写入的日志消息中指定消息内容被写入的第二时刻与第一时刻之间是否未超过预设时间长度。

在操作S240，若未超过预设时间长度，则确定待写入的日志消息为重复日志消息，并基于待写入的日志消息，生成目标日志消息。

作为一种可选的实施例，若已超过预设时间长度，则将待写入的日志消息写入目标日志文件和/或目标数据库。

需要说明的是，在确定待写入的日志消息为重复的日志消息的情况下，需要将待写入的日志消息进行重写封装，以便于重写更新至日志文件或数据库。

作为一种可选的实施例，目标日志消息包括：重复日志消息开始重复的时刻，其中，开始重复的时刻为已被写入的日志消息中指定消息内容被写入的最早时刻；重复日志消息的最新重复的时刻，其中，最新重复的时刻为已被写入的日志消息中指定消息内容被写入的最晚时刻；重复日志消息的重复次数；以及重复日志消息的消息内容。

以下以集中日志平台某条日志消息为例，示例将待写入的日志消息进行重写封装生成目标日志消息的过程。

待写入的日志消息产出于第一时刻为2018-11-15T09:32:33.682Z，对应于本地时刻2018-11-15 17:32:33.68Z。待写入的日志消息包含指定消息内容为<163>node-12neutron-openvswitch-agent：2018-11-15 17:32:3368Z 2217583 ERRORneutron.agent.linux.ovsbd_monitor[req-1d6fea86-a62a-4201-9dd9-0d3f934881c4......」interface monitor is not active。

若已被写入的日志消息中存在上述指定消息内容，且在已被写入的日志消息中上述指定消息内容被写入的第二时刻为2018-11-15T09:32:33.682Z，对应于本地时刻2018-11-15 17:32:33.68Z。

则可以基于上述待写入的日志消息，生成目标日志消息，该目标日志消息可以包括但不限于：日志消息重复的开始时间(该消息产生的时间，取当前@timestamp的时间)，日志消息的重复次数(Repeat_times)，最新日志消息的发生时间，原始日志消息体(消息模板中存储的消息内容)以及重复标识(repeat flag)以标识重复的日志消息。具体地，当确定待写入的日志消息为重复日志消息时，该重复标识为true。否则，该重复标识为false。

在操作S250，将目标日志消息写入目标日志文件和/或目标数据库。

在操作S260，更新已被写入的日志消息中指定消息内容被写入的第二时刻为第一时刻。

通过本公开的实施例，在已被写入的日志消息中存在待写入的日志消息的指定消息内容的情况下，根据在已被写入的日志消息中该指定消息内容被写入的第二时刻与待写入的日志消息产生的第一时刻之间是否未超过预设时间长度，判断待写入的日志消息是否为重复的日志消息，可以防止日志消息的丢失。

进一步地，通过本公开的实施例，在确定为重复的日志消息的情况下，将基于待写入的日志消息，生成的目标日志消息写入目标日志文件和/或目标数据库，同时更新已被写入的日志消息中该指定消息内容被写入的第二时刻为第一时刻，可以避免记录大量重复的日志消息，降低对系统资源的占用，达到节省磁盘存储空间，提升日志存取性能的技术效果。

需要说明的是，本公开提供的针对日志消息的处理方法可以应用在日志消息生成以存储的阶段，也可以应用在日志消息生成之后，对其进行处理的阶段。本公开提供的针对日志消息的处理方法可以由图3和图4中的记录模块340、匹配模块350和重写模块360实现。

记录模块340：可以记录消息模板，可以记录日志消息最近出现的具体时间，由匹配模块350进行查询和维护。

匹配模块350：负责与记录模块340交互，负责对原始日志消息进行匹配，若该原始日志消息曾在一段时间内(例如，30分钟)出现过，即消息内容完全匹配，且时间跨度不超过30分钟，则记录该原始日志消息为重复消息，更新记录模块360中记录的日志消息时间(用于后续判断时间跨度)，更新数据库/storage中该原始日志消息记录的时间；若未匹配到或匹配到原始日志消息超过设定的30min，则将该原始日志消息写入/更新到记录模块，并作为正常无重复消息写入数据库。

重写模块360：根据匹配模块350的匹配结果，对原始日志消息重新封装，并更新到日志文件或存储数据库storage中。

相应地，本公开提供的针对日志消息的处理方法同时适用于现有的如图3所示的应用场景一(日志通用架构)和如图4所示的应用场景二(日志采集处理架构)。

图3示意性示出了可以应用本公开实施例的针对日志消息的处理方法的应用场景一。

如图3所示，本公开提供的针对日志消息的处理方法可以应用在日志通用架构的应用场景一300中，该应用场景300可以包括日志产生模块310、日志处理模块320和日志写入/存储模块330。

可以理解，日志产生模块310，用于基于一定的逻辑进行日志的生成。日志处理模块320，用于为进程/服务提供用于进行日志记录的方法或工具。日志写入/存储模块330，生成的日志信息按照配置，用于写入日志文件或数据库。

根据本公开提供的针对日志消息的处理方法可以应用在日志消息产生到存储的应用场景，与现有的日志通用架构无缝衔接，可以在日志生成阶段提高写入日志消息的效率。

图4示意性示出了可以应用本公开实施例的针对日志消息的处理方法的应用场景二。

如图4所示，本公开提供的针对日志消息的处理方法可以应用在日志采集处理架构的应用场景二400中，该应用场景400可以包括agent410、formatting420和storage430。

可以理解，agent(代理)部分：负责对日志信息进行采集。formatting(处理)部分：负责对日志消息进行格式化和结构化处理。storage(存储)部分：负责提供处理后日志的存储和查询功能。

根据本公开提供的针对日志消息的处理方法可以应用在日志消息产生到存储的应用场景，与现有的日志采集处理架构无缝衔接，可以在日志采集处理阶段提高写入日志消息的效率。图5示意性示出了根据本公开另一实施例的针对日志消息的处理方法的流程图。

如图5所示，该方法可以包括操作S510～操作S550。

在操作S510，采集日志消息内容。

在操作S520，与记录模块中记录的消息内容进行匹配，检测内容是否匹配？若是，则执行操作S530。若否，则执行操作S550。匹配模块将采集agent410采集到的日志消息与记录模块340中的日志记录进行匹配，如匹配成功则继续执行操作S530，否则判定记录模块340无对应消息的记录，转至操作S550将该消息写入记录模块340。

在操作S530，日志时间与记录时间的间隔是否小于30min(分钟)？若是，则执行操作S540。若否，则更新时间，执行操作S550。日志消息与记录模块340匹配成功后，匹配模块350进一步对比日志消息中的时间与记录模块340中消息的时间，如时间差值小于某设定值如30min则继续执行操作S540，否则判定该日志消息曾经出现过，不过此日志消息不属于之前出现日志消息的重复，为新日志消息，跳转至操作S550，将新日志消息写入记录模块340(时间更新)。可以理解，日志时间与记录时间的间隔可以根据实际情况自行设定，并不限定30分钟。

在操作S540，重写日志，并更新日志存储对应条目，根据日志中时间，更新记录时间。操作S530中日志消息与记录模块340中模板消息时间差小于某设定值，则判断该日志消息为重复的日志消息，将日志消息按照“Update到storage的重复日志格式”重写更新至storage430中，然后跳转至操作S550更新记录模块340中该日志消息的记录时间。

在操作S550，写记录。根据操作S520～操作S540的判断结果，写入/更新记录模块340中消息的内容及消息的记录时间。可以理解的是，由于对大量重复的日志消息进行了处理，使得之前的海量重复数据只通过一条消息展示。相应地，对日志消息的检索查询流程也相应增加处理方法。

图6示意性示出了根据本公开另一实施例的针对日志消息的处理方法的流程图。

该方法除了可以包括前述操作S210～操作S260之外，还可以包括如图6所示的操作S610～操作S650。

在操作S610，响应于针对目标日志消息的查询请求，获取查询请求中的查询开始时刻和查询结束时刻。

需要说明的是，在本公开中，查询请求中的查询开始时刻和查询结束时刻可以确定出查询时间段。查询请求中的查询开始时刻，后续简称为query_start。查询请求中的查询结束时刻，后续简称为query_end。

在操作S620，获取目标日志消息在已被写入的日志消息中被写入的第三时刻和开始重复的第四时刻。

需要说明的是，在本公开中，目标日志消息在已被写入的日志消息中被写入的第三时刻可以是更新过的@timestamp，后续简称update_time。目标日志消息开始重复的第四时刻，后续简称为start_time。

可以理解，查询时间段内可以存在重复的日志消息，也可以不存在重复的日志消息。因此，根据查询时间段所确定的查询开始时刻和查询结束时刻，与消息重复开始的时刻和被写入的时刻之间的早晚关系，可以获得不同的检索查询结果。

在操作S630，检测第三时刻是否晚于查询结束时刻。

在操作S640，若第三时刻晚于查询结束时刻，则检测第四时刻是否早于查询结束时刻。

在操作S650，若第四时刻早于查询结束时刻，则返回在第四时刻和查询结束时刻之间查询到的目标日志消息。

作为一种可选的实施例，方法还包括：若第四时刻晚于查询结束时刻，则确定在查询开始时刻和查询结束时刻之间未查询到目标日志消息。

例如，若start_time＞query_end，则证明请求时间段内无该类消息出现，则不返回结果。

作为一种可选的实施例，方法还包括：检测第三时刻是否早于查询开始时刻；以及若第三时刻早于查询开始时刻，则确定在查询开始时刻和查询结束时刻之间未查询到目标日志消息。

例如，若update_time＜query_start，则证明请求时间段内无该类消息出现，则不返回结果。作为一种可选的实施例，方法还包括：检测第三时刻是否在查询开始时刻和查询结束时刻之间；以及若第三时刻在查询开始时刻和查询结束时刻之间，则返回在查询开始时刻和查询结束时刻之间查询到的目标日志消息。

例如，若query_start＜Update_time＜query_end，则该条记录随检索结果返回。

图7示意性示出了根据本公开另一实施例的针对日志消息的处理方法的流程图。

如图7所示，该方法可以包括操作S710～操作S760。

在操作S710，接收到检索请求后，按时间段进行检索，包含该时间段内的重复消息记录：query_start＜Update_time＜query_end(左侧分支的正常检索流程，包含了update在该时间段内的重复数据记录)。

在操作S720，过滤出所有重复消息Repeat_flag＝true。

在操作S730，根据时间判断update_time是否大于请求的结束时间query_end。

在操作S740，如果结果为是，进一步判断重复的开始时间start_time是否小于请求的结束时间query_end。

在操作S750，如果判断结果为是则该重复消息在请求的时间段内曾经出现过，则返回重复消息。

在操作S760，与正常检索结果(左侧分支)合并返回。

通过本公开的实施例，除正常的检索流程(左侧分支，包含了日志消息在检索的时间段内的重复数据记录)外，还增加了对重复消息的查询，尤其是更新时间不在检索的查询请求所确定的查询时间段内的日志消息的数据，提高检索结果的准确性。

图8示意性示出了根据本公开实施例的针对日志消息的处理装置的框图。

如图8，该处理装置800可以包括第一获取模块810、第一检测模块820、第二检测模块830、生成模块840、写入模块850和更新模块860。

第一获取模块810，被配置为例如执行前述操作S210，获取待写入的日志消息，其中，待写入的日志消息包含指定消息内容，待写入的日志消息产生于第一时刻。

第一检测模块820，被配置为例如执行前述操作S220，检测已被写入的日志消息中是否存在指定消息内容。

第二检测模块830，被配置为例如执行前述操作S230，若存在指定消息内容，则检测在已被写入的日志消息中指定消息内容被写入的第二时刻与第一时刻之间是否未超过预设时间长度。

生成模块840，被配置为例如执行前述操作S240，若未超过预设时间长度，则确定待写入的日志消息为重复日志消息，并基于待写入的日志消息，生成目标日志消息。

写入模块850，被配置为例如执行前述操作S250，将目标日志消息写入目标日志文件和/或目标数据库。

更新模块860，被配置为例如执行前述操作S260，更新已被写入的日志消息中指定消息内容被写入的第二时刻为第一时刻。

作为一种可选的实施例，目标日志消息包括：重复日志消息开始重复的时刻，其中，开始重复的时刻为已被写入的日志消息中指定消息内容被写入的最早时刻，重复日志消息的最新重复的时刻，其中，最新重复的时刻为已被写入的日志消息中指定消息内容被写入的最晚时刻，重复日志消息的重复次数，以及重复日志消息的消息内容。

作为一种可选的实施例，前述写入模块850还被配置为：若不存在指定消息内容，则将待写入的日志消息写入目标日志文件和/或目标数据库。

作为一种可选的实施例，前述写入模块850还被配置为：若已超过预设时间长度，则将待写入的日志消息写入目标日志文件和/或目标数据库。

通过本公开的实施例，在已被写入的日志消息中存在待写入的日志消息的指定消息内容的情况下，根据在已被写入的日志消息中该指定消息内容被写入的第二时刻与待写入的日志消息产生的第一时刻之间是否未超过预设时间长度，判断待写入的日志消息是否为重复的日志消息，可以防止日志消息的丢失。

进一步地，通过本公开的实施例，在确定为重复的日志消息的情况下，将基于待写入的日志消息，生成的目标日志消息写入目标日志文件和/或目标数据库，同时更新已被写入的日志消息中该指定消息内容被写入的第二时刻为第一时刻，可以避免记录大量重复的日志消息，降低对系统资源的占用，达到节省磁盘存储空间，提升日志存取性能的技术效果。

图9示意性示出了根据本公开另一实施例的针对日志消息的处理装置的框图。

根据本公开的实施例，该处理装置900除了可以包括前述第一获取模块810、第一检测模块820、第二检测模块830、生成模块840、写入模块850和更新模块860之外，还可以包括如图9所示的第二获取模块910、第三获取模块920、第三检测模块930、第四检测模块940和第一返回模块950。

第二获取模块910，被配置为例如执行前述操作S610，响应于针对目标日志消息的查询请求，获取查询请求中的查询开始时刻和查询结束时刻。

第三获取模块920，被配置为例如执行前述操作S620，获取目标日志消息在已被写入的日志消息中被写入的第三时刻和开始重复的第四时刻。

第三检测模块930，被配置为例如执行前述操作S630，检测第三时刻是否晚于查询结束时刻。

第四检测模块940，被配置为例如执行前述操作S640，若第三时刻晚于查询结束时刻，则检测第四时刻是否早于查询结束时刻。

第一返回模块950，被配置为例如执行前述操作S650，若第四时刻早于查询结束时刻，则返回在第四时刻和查询结束时刻之间查询到的目标日志消息。

作为一种可选的实施例，该处理装置900还包括：第五检测模块，被配置为检测第三时刻是否早于查询开始时刻，以及第一确定模块，被配置为若第三时刻早于查询开始时刻，则确定在查询开始时刻和查询结束时刻之间未查询到目标日志消息。

作为一种可选的实施例，该处理装置900还包括：第二确定模块，被配置为若第四时刻晚于查询结束时刻，则确定在查询开始时刻和查询结束时刻之间未查询到目标日志消息。

作为一种可选的实施例，该处理装置900还包括：第六检测模块，被配置为检测第三时刻是否在查询开始时刻和查询结束时刻之间，以及第二返回模块，被配置为若第三时刻在查询开始时刻和查询结束时刻之间，则返回在查询开始时刻和查询结束时刻之间查询到的目标日志消息。

通过本公开的实施例，除正常的检索流程(左侧分支，包含了日志消息在检索的时间段内的重复数据记录)外，还增加了对重复消息的查询，尤其是更新时间不在检索的查询请求所确定的查询时间段内的日志消息的数据，提高检索结果的准确性。

根据本公开的实施例的模块中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，第一获取模块810、第一检测模块820、第二检测模块830、生成模块840、写入模块850、更新模块860、第二获取模块910、第三获取模块920、第三检测模块930、第四检测模块940、第一返回模块950、第五检测模块、第一确定模块、第二确定模块、第六检测模块和第二返回模块中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一获取模块810、第一检测模块820、第二检测模块830、生成模块840、写入模块850、更新模块860、第二获取模块910、第三获取模块920、第三检测模块930、第四检测模块940、第一返回模块950、第五检测模块、第一确定模块、第二确定模块、第六检测模块和第二返回模块中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一获取模块810、第一检测模块820、第二检测模块830、生成模块840、写入模块850、更新模块860、第二获取模块910、第三获取模块920、第三检测模块930、第四检测模块940、第一返回模块950、第五检测模块、第一确定模块、第二确定模块、第六检测模块和第二返回模块中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图10示意性示出了根据本公开实施例的计算机系统的框图。图10示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示，计算机系统1000包括处理器1010以及计算机可读存储介质1020。该计算机系统1000可以执行根据本公开实施例的方法。

具体地，处理器1010例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1010还可以包括用于缓存用途的板载存储器。处理器1010可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质1020，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；等等。

计算机可读存储介质1020可以包括计算机程序1021，该计算机程序1021可以包括代码/计算机可执行指令，其在由处理器1010执行时使得处理器1010执行根据本公开实施例的方法或其任何变形。

计算机程序1021可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序1021中的代码可以包括一个或多个程序模块，例如包括1021A、模块1021B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器1010执行时，使得处理器1010可以执行根据本公开实施例的方法或其任何变形。

根据本发明的实施例，第一获取模块810、第一检测模块820、第二检测模块830、生成模块840、写入模块850、更新模块860、第二获取模块910、第三获取模块920、第三检测模块930、第四检测模块940、第一返回模块950、第五检测模块、第一确定模块、第二确定模块、第六检测模块和第二返回模块中的至少一个可以实现为参考图10描述的计算机程序模块，其在被处理器1010执行时，可以实现上面描述的相应操作。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种针对日志消息的处理方法，包括：

获取待写入的日志消息，其中，所述待写入的日志消息包含指定消息内容，所述待写入的日志消息产生于第一时刻；

检测已被写入的日志消息中是否存在所述指定消息内容；

若存在所述指定消息内容，则检测在所述已被写入的日志消息中所述指定消息内容被写入的第二时刻与所述第一时刻之间是否未超过预设时间长度；

若未超过所述预设时间长度，则确定所述待写入的日志消息为重复日志消息，并基于所述待写入的日志消息，生成目标日志消息；

将所述目标日志消息写入目标日志文件和/或目标数据库；以及

更新所述已被写入的日志消息中所述指定消息内容被写入的第二时刻为所述第一时刻。

2.根据权利要求1所述的方法，其中，所述目标日志消息包括：

所述重复日志消息开始重复的时刻，其中，所述开始重复的时刻为所述已被写入的日志消息中所述指定消息内容被写入的最早时刻；

所述重复日志消息的最新重复的时刻，其中，所述最新重复的时刻为所述已被写入的日志消息中所述指定消息内容被写入的最晚时刻；

所述重复日志消息的重复次数；以及

所述重复日志消息的消息内容。

3.根据权利要求1所述的方法，其中，所述方法还包括：

若不存在所述指定消息内容，则将所述待写入的日志消息写入所述目标日志文件和/或所述目标数据库。

4.根据权利要求1所述的方法，其中，所述方法还包括：

若已超过所述预设时间长度，则将所述待写入的日志消息写入所述目标日志文件和/或所述目标数据库。

5.根据权利要求1所述的方法，其中，所述方法还包括：

响应于针对所述目标日志消息的查询请求，获取所述查询请求中的查询开始时刻和查询结束时刻；

获取所述目标日志消息在所述已被写入的日志消息中被写入的第三时刻和开始重复的第四时刻；

检测所述第三时刻是否晚于所述查询结束时刻；

若所述第三时刻晚于所述查询结束时刻，则检测所述第四时刻是否早于所述查询结束时刻；以及

若所述第四时刻早于所述查询结束时刻，则返回在所述第四时刻和所述查询结束时刻之间查询到的所述目标日志消息。

6.根据权利要求5所述的方法，其中，所述方法还包括：

检测所述第三时刻是否早于所述查询开始时刻；以及

若所述第三时刻早于所述查询开始时刻，则确定在所述查询开始时刻和所述查询结束时刻之间未查询到所述目标日志消息。

7.根据权利要求5所述的方法，其中，所述方法还包括：

若所述第四时刻晚于所述查询结束时刻，则确定在所述查询开始时刻和所述查询结束时刻之间未查询到所述目标日志消息。

8.根据权利要求5所述的方法，其中，所述方法还包括：

检测所述第三时刻是否在所述查询开始时刻和所述查询结束时刻之间；以及

若所述第三时刻在所述查询开始时刻和所述查询结束时刻之间，则返回在所述查询开始时刻和所述查询结束时刻之间查询到的所述目标日志消息。

9.一种针对日志消息的处理装置，包括：

第一获取模块，被配置为获取待写入的日志消息，其中，所述待写入的日志消息包含指定消息内容，所述待写入的日志消息产生于第一时刻；

第一检测模块，被配置为检测已被写入的日志消息中是否存在所述指定消息内容；

第二检测模块，被配置为若存在所述指定消息内容，则检测在所述已被写入的日志消息中所述指定消息内容被写入的第二时刻与所述第一时刻之间是否未超过预设时间长度；

生成模块，被配置为若未超过所述预设时间长度，则确定所述待写入的日志消息为重复日志消息，并基于所述待写入的日志消息，生成目标日志消息；

写入模块，被配置为将所述目标日志消息写入目标日志文件和/或目标数据库；以及

更新模块，被配置为更新所述已被写入的日志消息中所述指定消息内容被写入的第二时刻为所述第一时刻。

10.一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至8中任一项所述的方法。