CN115964348A - 日志数据处理方法及装置、存储介质及电子终端 - Google Patents

Abstract

本公开涉及计算机技术领域，具体涉及一种日志数据处理方法及装置、存储介质以及电子终端。所述方法由日志服务器执行，所述方法包括：统计各日志文件的目标属性值；在目标日志文件的目标属性值达到预设滚动阈值的情况下，根据所述目标日志文件生成中间文件，以使所述中间文件中的日志数据可被日志采集组件采集；将满足压缩条件的中间文件进行压缩处理，得到压缩格式的日志数据以进行持久化存储。本公开的方法能够在中间文件生成的一段时间之后才进行压缩处理，保留一定的空档期，从而可以留有充分的时间进行日志数据的采集，避免最终生成的压缩文件中日志数据不完整的情况。

Description

日志数据处理方法及装置、存储介质及电子终端

背景技术

由于服务器的存储空间有限，对于日志数据来说，一般会采取对日志数据进行压缩的方式来节约存储空间。一般来说，目前大多采用日志采集工具采集日志数据，但目前的日志采集工具都不能支持对zip格式压缩数据包的直接采集。这就导致日志数据如果在未被日志采集工具采集完成之前就被压缩，会造成日志数据采集不完整的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种日志数据处理方法、一种日志数据处理装置、一种存储介质以及一种电子终端，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种日志数据处理方法，包括：统计各日志文件的目标属性值；在目标日志文件的目标属性值达到预设滚动阈值的情况下，根据所述目标日志文件生成中间文件，以使所述中间文件中的日志数据可被日志采集组件采集；将满足压缩条件的中间文件进行压缩处理，得到压缩格式的日志数据以进行持久化存储。

在本公开的一种示例性实施例中，所述统计各日志文件的目标属性值，包括：响应于日志处理指令，读取预设配置信息；其中，所述预设配置信息包括：若干个指定的文件类型；根据所述预设配置信息扫描目标文件夹，筛选出与各指定的文件类型相匹配的日志文件，并对筛选出的日志文件进行目标属性值的统计。

在本公开的一种示例性实施例中，所述方法还包括：将筛选出的所述日志文件保存至预设缓存区，并在所述预设缓存区内对所述日志文件进行统计。

在本公开的一种示例性实施例中，所述在目标日志文件的目标属性值达到预设滚动阈值的情况下，根据所述目标日志文件生成中间文件，包括：在目标日志文件的目标属性值达到预设滚动阈值时，将所述目标日志文件修改为中间文件；该方法还包括：根据各中间文件的文件修改时间以及当前时间，确定满足压缩条件的中间文件。

在本公开的一种示例性实施例中，所述将所述目标日志文件修改为中间文件，包括：将目标日志文件的文件格式修改为临时文件格式，并在目标日志文件的文件名中添加文件修改时间。

在本公开的一种示例性实施例中，所述根据各中间文件的文件修改时间以及当前时间，确定满足压缩条件的中间文件，包括：根据各中间文件的文件类型确定各中间文件的延迟压缩时间；若一个中间文件的文件修改时间与当前时间的差值不小于该中间文件的延迟压缩时间，则将该中间文件确定为满足压缩条件的中间文件。

在本公开的一种示例性实施例中，所述根据所述目标日志文件生成中间文件，包括：利用第一线程，根据所述日志文件生成中间文件；所述将满足压缩条件的中间文件进行压缩处理，包括：利用第二线程对各日志文件所在的目录进行循环扫描，判断扫描到的中间文件是否满足压缩条件，是则进行压缩处理；所述第一线程与所述第二线程是异步线程。

在本公开的一种示例性实施例中，所述方法还包括：基于所述中间文件创建带有延迟压缩时间的延迟压缩任务，将所述延迟压缩任务放入延迟队列；所述将满足压缩条件的中间文件进行压缩处理，包括：将所述延迟队列中已到期的延迟压缩任务所对应的中间文件，作为满足压缩条件的中间文件进行压缩处理。

根据本公开的第二方面，提供一种日志数据处理装置，包括：

统计模块，用于统计各日志文件的目标属性值；

中间文件生成模块，用于在目标日志文件的目标属性值达到预设滚动阈值的情况下，根据所述目标日志文件生成中间文件，以使所述中间文件中的日志数据可被日志采集组件采集；

压缩文件生成模块，用于将满足压缩条件的中间文件进行压缩处理，得到压缩格式的日志数据以进行持久化存储。

根据本公开的第三方面，提供一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的日志数据处理方法。

根据本公开的第四方面，提供一种电子终端，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行上述的日志数据处理方法。

本公开的一种实施例所提供的日志数据处理方法中，通过对日志文件进行统计，并在日志文件的目标属性值达到预设滚动阈值时首先将日志文件生成中间文件；并在判断中间文件满足压缩条件时，再进行压缩处理，得到压缩格式的日志数据；从而可以使中间文件在满足一定的压缩条件后才进行压缩处理，避免最终生成的压缩文件中日志数据不完整的情况；并能实现对日志数据进行持久化存储。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出本公开示例性实施例中一种日志数据处理方法的流程示意图；

图2示意性示出本公开示例性实施例中一种对日志数据进行统计的方法流程示意图；

图3示意性示出本公开示例性实施例中一种日志数据处理装置组成示意图；

图4示意性示出本公开示例性实施例中一种电子设备的组成示意图；

图5示意性示出本公开示例性实施例中一种程序产品的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

在相关技术中，由于服务器硬盘有限，一般定义日志滚动的时候都会将日志压缩成zip格式文件，如：日志文件为app.log，如果按天切分日志，那么在12点时app.log会被压缩为app.2020-11-10.0.zip，并生成一个空白的app.log文件继续写新的日志。并且，现有的日志采集工具，例如Filebeat软件、Flume软件、Logagent软件等等，都不支持对zip格式数据包的直接采集；并且，当使用日志采集工具日志进行采集的时候往往会有一定延迟，例如，应用程序最新的日志行数已经到了n+m行时，日志采集可能还在处理第n行，从而使得日志文件被压缩为zip格式文件，仅处理到第n行数据，而后续的m行数据并没有采集完成；造成日志不全的情况，并可能会对业务定位问题带来风险和资损。

面对上述问题，本示例实施方式中首先提供了一种日志数据处理方法，通过设置一定的压缩策略，避免日志数据采集不全的问题；并能实现日志数据的持久化存储。参考图1中所示，上述的日志数据处理方法可以包括以下步骤：

步骤S11，统计各日志文件的目标属性值；

步骤S12，在目标日志文件的目标属性值达到预设滚动阈值的情况下，根据所述目标日志文件生成中间文件，以使所述中间文件中的日志数据可被日志采集组件采集；

步骤S13，将满足压缩条件的中间文件进行压缩处理，得到压缩格式的日志数据以进行持久化存储。

本示例实施方式所提供的日志数据处理方法，一方面，通过对日志文件进行统计，在日志文件的目标属性值达到预设滚动阈值时首先将日志文件生成中间文件，便于中间文件被采集；另一方面，通过预先对中间文件配置压缩判断条件，通过对中间文件进行监控，从而可以使得中间文件在生成一段时间之后，并满足压缩条件时才进行压缩处理，从而可以在该时间段内持续对中间文件进行日志数据的采集，进而能够在压缩后的压缩日志中保证日志数据的完整性，避免压缩后的日志数据不完整的情况。

下面，将结合附图及实施例对本示例实施方式中的日志数据处理方法中各个步骤进行更详细的说明。

在步骤S11中，统计各日志文件的目标属性值。

本示例实施方式中，上述的日志数据处理方法可以应用于用户终端或者服务器端；或者由终端和服务器端协作完成。例如，终端设备可以将生成的日志数据进行一级压缩后生成日志文件并发送至日志服务器，再由日志服务器对接收的来自终端的日志文件进行解析和统计。或者，对于终端设备而言，可以在本地采集系统或应用程序的日志数据，并对当前已采集的日志数据进行统计。

本示例实施方式中，参考图2所示，上述的步骤S11可以包括：

步骤S111，响应于日志处理指令，读取预设配置信息；其中，所述预设配置信息包括：若干个指定的文件类型；

步骤S112，根据所述预设配置信息扫描目标文件夹，筛选出与各指定的文件类型相匹配的日志文件，并对筛选出的日志文件进行目标属性值的统计。

具体来说，上述的日志处理指令可以是系统的定时任务，或者是用户在终端触发的日志处理指令，或者是服务器端向终端下发的日志数据处理指令。其中，指令中可以包含配置信息；配置信息可以包含日志数据的起始时间、应用程序信息，以及文件路径、文件类型等等。在确定指令中的配置信息后，便可以根据配置信息对指定的路径进行扫描，并筛选指定格式的日志文件，并对筛选的日志文件数量进行统计。

举例来说，日志处理指令中可以包含针对多个应用程序的日志数据的处理指令，各指令其中可以包含不同应用程序对应的文件路径，以及不同的日志文件类型，等等。此时，便可以创建多个线程，利用各线程分别执行日志处理任务，从而可以分别对各应用程序对应的日志文件进行扫描、筛选和统计；例如，配置文件中可以包含文件名称为app.log，路径为/data/logs，等等。此外，配置信息中还可以包含日志数据的起始和/或截止时间，从而可以筛选指定时间段内的日志文件。

本示例实施方式中，在终端或者服务器端，还可以配置一独立的缓存区域，用于将筛选的日志文件写入预设缓存区内。

具体来说，可以首先根据配置信息筛选相匹配的日志文件，再将筛选后的日志文件保存至缓存区域中，并在该缓存中对日志文件进行统计。若存在多个同时统计的应用程序，则可以将缓存区域划分为多个子区域，在各子区域内分别对其中的日志文件进行统计。通过在缓存区内对日志文件进行数据统计，能够对日志文件进行准确的统计。并能够在搜索到新的日志文件时，也添加到该缓存区中，便于后续的压缩处理。

在步骤S12中，在目标日志文件的目标属性值达到预设滚动阈值的情况下，根据所述目标日志文件生成中间文件，以使所述中间文件中的日志数据可被日志采集组件采集。

本示例实施方式中，在对日志文件进行统计时，可以根据日志文件的指定的属性值进行统计。例如，上述的目标属性值可以是日志文件的数量，例如，当文件内的数据条数达到第n行时，便判断为达到滚动阈值。或者，在文件数量达到预设值时，判定为达到滚动阈值。或者，也可以是对日志文件进行特征提取，在提取到指定的特征字段或内容时，判断为达到滚动阈值。

或者，在一些示例性实施方式中，日志文件的目标属性也可以是文件的创建时长。

本示例实施方式中，在目标日志文件的目标属性值达到预设滚动阈值时，将所述目标日志文件修改为中间文件。具体的，可以将目标日志文件的文件格式修改为临时文件格式，并在目标日志文件的文件名中添加文件修改时间。

举例来说，在判断目标日志文件的目标属性值达到预设滚动阈值时，便可以对目标文件的文件名进行修改。例如，将日志文件的文件名修改为：文件名+时间戳.tmp，从而生成指定格式的中间文件。举例来说，目标日志文件为app.log；对其进行修改为app.日期.index.log时间戳.tmp。同时，对于该应用程序来说，还可以生成新的app.log文件。例如，可以将app.log修改为app.2010-11-10.0.log.318854238574384.tmp。

在生成中间文件之后，还可以将其保存至指定的文件夹中，创建对应的路径。

此外，在生成中间文件之前，还可以对日志文件进行预处理，例如对日志文件进行排序、分块，以及创建索引等。

在步骤S13中，将满足压缩条件的中间文件进行压缩处理，得到压缩格式的日志数据以进行持久化存储。

本示例实施方式中，上述的压缩条件可以是时长条件。具体来说，在进行压缩条件判断时，可以根据各中间文件的文件修改时间以及当前时间，确定满足压缩条件的中间文件。

本示例实施方式中，对于不同的应用程序，不同类型的目标日志文件，或者不同文件类型的中间文件，可以预先配置不同的延时压缩时间。

具体来说，上述方法可以包括：根据各中间文件的文件类型确定各中间文件的延迟压缩时间；

若一个中间文件的文件修改时间与当前时间的差值不小于该中间文件的延迟压缩时间，则将该中间文件确定为满足压缩条件的中间文件。

举例来说，可以根据中间文件的文件名来获取文件修改时间，在当前时间与文件修改时间的差值大于或等于预设的延迟压缩时间时，便可以判定该中间文件当前已满足预设的压缩条件，可以对其执行压缩操作。

或者，在一些示例性实施方式中，上述的方法还可以包括：基于所述中间文件创建带有延迟压缩时间的延迟压缩任务，将所述延迟压缩任务放入延迟队列；所述将满足压缩条件的中间文件进行压缩处理，包括：将所述延迟队列中已到期的延迟压缩任务所对应的中间文件，作为满足压缩条件的中间文件进行压缩处理。

具体而言，对于中间文件，还可以创建对应的延迟压缩任务，各延迟压缩任务可以根据应用程序或者日志文件的类型配置对应的延迟压缩时间。具体的，可以预先配置一延迟队列。对于当前生成的中间文件，可以创建对应的延迟压缩任务，并写入该延迟压缩任务队列中。在该延迟压缩任务队列中，可以为各延迟压缩任务配置对应的定时器。对于不同应用程序生成的中间文件对应的延迟压缩任务，可以配置不同时长的定时器。在定时器到达预定的计时时长，即延迟压缩任务已到期，便可以对相应的中间文件进行压缩，得到压缩后的压缩日志。或者，用户也可以自定义延迟压缩时间，或者，也可以根据应用程序对应的日志数据的特性来定义延时时间的长短。例如，延时压缩时间可以定义为5分钟，或者30秒等时长。

本示例实施方式中，在延迟压缩任务未到达指定的时间时，或者中间文件的修改时间与当前时间的差值小于第一时间阈值时，依然可以执行扫描、筛选日志数据的任务，并将新的日志数据写入中间文件中。这样，在该段时间空档内，便可以保持持续的采集日志数据，确保日志数据能够被完整的采集。进而能够使得最终被压缩的压缩日志文件中能够包含完整的数据内容。

或者，在一些示例性实施方式中，上述根据所述目标日志文件生成中间文件可以包括：利用第一线程，根据所述日志文件生成中间文件；所述将满足压缩条件的中间文件进行压缩处理，包括：利用第二线程对各日志文件所在的目录进行循环扫描，判断扫描到的中间文件是否满足压缩条件，是则进行压缩处理；所述第一线程与所述第二线程是异步线程。

具体来说，可以预先配置第一线程和第二线程。其中，第一线程可以用于对目标日志文件进行处理，生成对应的中间文件。生成的中间文件不是生成全新的文件，而是对原目标日志文件的修改，这样可以使文件句柄不变，日志采集组件就可以继续从中间文件采集日志。第二线程可以用于对中间的目录进行循环扫描，判断扫描到的中间文件是否满足压缩条件，是则进行压缩处理。举例来说，循环扫描时，压缩条件可以被配置为中间文件的大小，或者日志数据的数量，或者是中间文件的创建时长等。

举例来说，当第二线程开始扫描中间文件时，应用程序仅将日志数据写到第n行，在生成中间文件时，应用程序依然在输出日志数据；当达到预设时间阈值时，应用程序将日志数据写到第n+m行，且该些日志数据都被写入缓存中，并由第一线程修改为中间文件。这样，便可以将包含n+m行数据的中间文件压缩为压缩日志。

本示例实施方式中，对于延迟队列来说，在队列中监控各任务的中间文件的创建时间和当前时间的时间差值。

另外，在本公开的其他示例性实施方式中，在对中间文件进行压缩时，还可以对中间文件进行解析，以提取对应的特征信息，并根据特征信息来确定对应的压缩算法。举例来说，可以根据日志文件的数据类型确定对应的压缩算法，或者根据对日志文件的解析速度来确定对应的压缩算法。或者，根据日志文件的大小对应的压缩算法。

本公开所提供的日志数据处理方法，通过为目标日志文件生成对应的中间文件，并对中间文件进行延迟压缩；而并不立即执行压缩；这样从tmp格式文件到zip格式文件有了一定空档期，可以让日志采集程序有充分的时间可以完成日志数据的采集，并将采集的数据写入到中间文件中。从而解决当前采集日志丢失问题。并且，日志压缩率可以实现在5％-10％，进而使得压缩日志数据的方式可以有效的保证磁盘容量。

需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，参考图3所示，本示例的实施方式中还提供了一种日志数据处理装置30，包括：统计模块301、中间文件生成模块302和压缩文件生成模块303。其中：

所述统计模块301可以用于统计各日志文件的目标属性值。

所述中间文件生成模块302可以用于在目标日志文件的目标属性值达到预设滚动阈值的情况下，根据所述目标日志文件生成中间文件，以使所述中间文件中的日志数据可被日志采集组件采集。

所述压缩文件生成模块303可以用于将满足压缩条件的中间文件进行压缩处理，得到压缩格式的日志数据以进行持久化存储。

本示例实施方式中，所述统计模块301可以包括：指令响应单元、统计单元。其中：

所述指令响应单元可以用于响应于日志处理指令，读取预设配置信息；其中，所述预设配置信息包括：若干个指定的文件类型。

所述统计单元可以用于根据所述预设配置信息扫描目标文件夹，筛选出与各指定的文件类型相匹配的日志文件，并对筛选出的日志文件进行目标属性值的统计。

本示例实施方式中，所述统计单元还可以用于将筛选出的所述日志文件保存至预设缓存区，并在所述预设缓存区内对所述日志文件进行统计。

本示例实施方式中，所述中间文件生成模块302可以用于在目标日志文件的目标属性值达到预设滚动阈值时，将所述目标日志文件修改为中间文件。

所述压缩文件生成模块303可以用于根据各中间文件的文件修改时间以及当前时间，确定满足压缩条件的中间文件。

本示例实施方式中，所述中间文件生成模块302可以用于将目标日志文件的文件格式修改为临时文件格式，并在目标日志文件的文件名中添加文件修改时间。

本示例实施方式中，所述压缩文件生成模块303可以用于根据各中间文件的文件类型确定各中间文件的延迟压缩时间；若一个中间文件的文件修改时间与当前时间的差值不小于该中间文件的延迟压缩时间，则将该中间文件确定为满足压缩条件的中间文件。

本示例实施方式中，所述中间文件生成模块302可以包括：利用第一线程，根据所述日志文件生成中间文件。

所述压缩文件生成模块303可以包括利用第二线程对各日志文件所在的目录进行循环扫描，判断扫描到的中间文件是否满足压缩条件，是则进行压缩处理。

所述第一线程与所述第二线程是异步线程。

本示例实施方式中，所述装置还可以包括：延迟压缩任务配置模块。所述延迟压缩任务配置模块可以用于基于所述中间文件创建带有延迟压缩时间的延迟压缩任务，将所述延迟压缩任务放入延迟队列。

所述压缩文件生成模块303还可以用于将所述延迟队列中已到期的延迟压缩任务所对应的中间文件，作为满足压缩条件的中间文件进行压缩处理。

上述的日志数据处理装置30中各模块的具体细节已经在对应的日志数据处理方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

在本公开的示例性实施例中，还提供了一种能够实现上述日志数据处理方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图4来描述根据本发明的这种实施方式的电子设备500。图4显示的电子设备500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于：上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元510执行，使得所述处理单元510执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元510可以执行如图1中所示的日志数据处理方法。

存储单元520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)5201和/或高速缓存存储单元5202，还可以进一步包括只读存储单元(ROM)5203。

存储单元520还可以包括具有一组(至少一个)程序模块5205的程序/实用工具5204，这样的程序模块5205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备500也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。并且，电子设备500还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器560通过总线530与电子设备500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

参考图5所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (11)

1.一种日志数据处理方法，其特征在于，由日志服务器执行，所述方法包括：

统计各日志文件的目标属性值；

在目标日志文件的目标属性值达到预设滚动阈值的情况下，根据所述目标日志文件生成中间文件，以使所述中间文件中的日志数据可被日志采集组件采集；

将满足压缩条件的中间文件进行压缩处理，得到压缩格式的日志数据以进行持久化存储。

2.根据权利要求1所述的日志数据处理方法，其特征在于，所述统计各日志文件的目标属性值，包括：

响应于日志处理指令，读取预设配置信息；其中，所述预设配置信息包括：若干个指定的文件类型；

根据所述预设配置信息扫描目标文件夹，筛选出与各指定的文件类型相匹配的日志文件，并对筛选出的日志文件进行目标属性值的统计。

3.根据权利要求2所述的日志数据处理方法，其特征在于，所述方法还包括：

将筛选出的所述日志文件保存至预设缓存区，并在所述预设缓存区内对所述日志文件进行统计。

4.根据权利要求1所述的日志数据处理方法，其特征在于，所述在目标日志文件的目标属性值达到预设滚动阈值的情况下，根据所述目标日志文件生成中间文件，包括：

在目标日志文件的目标属性值达到预设滚动阈值时，将所述目标日志文件修改为中间文件；

该方法还包括：根据各中间文件的文件修改时间以及当前时间，确定满足压缩条件的中间文件。

5.根据权利要求4所述的日志数据处理方法，其特征在于，所述将所述目标日志文件修改为中间文件，包括：

将目标日志文件的文件格式修改为临时文件格式，并在目标日志文件的文件名中添加文件修改时间。

6.根据权利要求4所述的日志数据处理方法，其特征在于，所述根据各中间文件的文件修改时间以及当前时间，确定满足压缩条件的中间文件，包括：

根据各中间文件的文件类型确定各中间文件的延迟压缩时间；

若一个中间文件的文件修改时间与当前时间的差值不小于该中间文件的延迟压缩时间，则将该中间文件确定为满足压缩条件的中间文件。

7.根据权利要求1所述的日志数据处理方法，其特征在于，所述根据所述目标日志文件生成中间文件，包括：

利用第一线程，根据所述日志文件生成中间文件；

所述将满足压缩条件的中间文件进行压缩处理，包括：

利用第二线程对各日志文件所在的目录进行循环扫描，判断扫描到的中间文件是否满足压缩条件，是则进行压缩处理；

所述第一线程与所述第二线程是异步线程。

8.根据权利要求1所述的日志数据处理方法，其特征在于，所述方法还包括：

基于所述中间文件创建带有延迟压缩时间的延迟压缩任务，将所述延迟压缩任务放入延迟队列；

所述将满足压缩条件的中间文件进行压缩处理，包括：

将所述延迟队列中已到期的延迟压缩任务所对应的中间文件，作为满足压缩条件的中间文件进行压缩处理。

9.一种日志数据处理装置，其特征在于，应用于日志服务器，包括：

统计模块，用于统计各日志文件的目标属性值；

中间文件生成模块，用于在目标日志文件的目标属性值达到预设滚动阈值的情况下，根据所述目标日志文件生成中间文件，以使所述中间文件中的日志数据可被日志采集组件采集；

压缩文件生成模块，用于将满足压缩条件的中间文件进行压缩处理，得到压缩格式的日志数据以进行持久化存储。

10.一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至8中任一项所述的日志数据处理方法。

11.一种电子终端，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行如权利要求1至8中任一项所述的日志数据处理方法。

Images