CN108733543A - 一种日志分析的方法、装置、电子设备和可读存储介质 - Google Patents

Abstract

本发明提供一种日志分析的方法、装置、电子设备和可读存储介质，能够解决日志系统不能提供更多或更复杂的日志信息的问题。该方法包括：获取日志文件，读取日志文件的目录以获取应用信息；根据预先记录的关键日志项信息从应用信息中确定出日志信息；将日志信息写入到用于统计用户行为的全局变量中，从而确定出用户行为日志。

Description

一种日志分析的方法、装置、电子设备和可读存储介质

技术领域

本发明涉及计算机领域，尤其涉及一种日志分析的方法、装置、电子设备和可读存储介质。

背景技术

系统日志是记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。应用程序通常会做日志记录，并提供日志查询系统，从而，用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

日志查询系统仅能提供简单的日志信息，不能提供更多、更复杂的日志信息。

发明内容

有鉴于此，本发明实施例提供一种日志分析的方法、装置、电子设备和可读存储介质，能够解决不能提供更多或更复杂的日志信息的问题。

为实现上述目的，根据本发明的一个方面，提供了一种日志分析的方法。

本发明实施例的一种日志分析的方法包括：获取日志文件，读取日志文件的目录以获取应用信息；根据预先记录的关键日志项信息从应用信息中确定出日志信息；将日志信息写入到用于统计用户行为的全局变量中，从而确定出用户行为日志。

可选地，关键日志项信息包括：用户ID；写入日志时的时间戳；以及，在执行方法时包含的请求参数状态、读取参数状态和返回值状态。

可选地，在确定出用户行为日志之后，还包括：遍历全局变量，以获取包含读取参数状态和返回值状态的第一日志信息；将第一日志信息写入到用于统计方法调用时间的变量中，从而确定出读取时间和返回值时间；将读取时间与返回值时间的时间差值写入到用于调用时间的multimap变量中；根据multimap变量输出的排序结果确定出方法执行时间日志。

可选地，在确定出用户行为日志之后，还包括：遍历全局变量，以获取包含请求参数状态的第二日志信息；将第二日志信息写入到根据全局变量生成的请求参数变量中，并筛选出最外层请求方法；将日志信息写入到根据全局变量生成的方法调用关系分析变量中，然后遍历方法调用关系分析变量，以最外层请求方法为入口进行循环递归，将递归的结果作为方法调用关系日志。

为实现上述目的，根据本发明实施例的另一方面，提供了一种日志分析的装置。

本发明实施例的一种日志分析的装置包括：获取模块，用于获取日志文件，读取日志文件的目录以获取应用信息；第一确定模块，用于根据预先记录的关键日志项信息从应用信息中确定出日志信息；第二确定模块，用于将日志信息写入到用于统计用户行为的全局变量中，从而确定出用户行为日志。

可选地，关键日志项信息包括：用户ID；写入日志时的时间戳；以及，在执行方法时包含的请求参数状态、读取参数状态和返回值状态。

可选地，第二确定模块在确定出用户行为日志之后，还用于：遍历全局变量，以获取包含读取参数状态和返回值状态的第一日志信息；将第一日志信息写入到用于统计方法调用时间的变量中，从而确定出读取时间和返回值时间；将读取时间与返回值时间的时间差值写入到用于调用时间的multimap变量中；根据multimap变量输出的排序结果确定出方法执行时间日志。

可选地，第二确定模块在确定出用户行为日志之后，还用于：遍历全局变量，以获取包含请求参数状态的第二日志信息；将第二日志信息写入到根据全局变量生成的请求参数变量中，并筛选出最外层请求方法；将日志信息写入到根据全局变量生成的方法调用关系分析变量中，然后遍历方法调用关系分析变量，以最外层请求方法为入口进行循环递归，将递归的结果作为方法调用关系日志。

为实现上述目的，根据本发明实施例的再一方面，提供了一种实现日志分析的方法的电子设备。

本发明实施例的一种电子设备包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本发明实施例的日志分析的方法。

为实现上述目的，根据本发明实施例的又一方面，提供了一种计算机可读存储介质。

本发明实施例的一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令用于使计算机执行本发明实施例的日志分析的方法。

上述发明中的一个实施例具有如下优点或有益效果：因为采用将包含关键日志项信息的日志信息进行整合和分析技术手段，所以克服了现有技术中不能提供更多或更复杂的日志信息的技术问题，进而达到可以提供更多、更复杂的日志信息的技术效果，有利于后续根据这些复杂的日志信息的内容，进一步进行回归测试、问题定位、数据回滚、程序mock等扩展操作；通过预先定义关键日志项信息，高效的处理历史日志并进行分析得到结果；采用map变量和multimap变量来处理日志结构，减化了日志分析程序的开发难度，同时提高了日志分析程序的复用性；利用多线程、multimap变量的重复时间戳自动排序、大大提高了日志分析程序的运行时间，减少内存占用。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的日志分析的方法的主要步骤的示意图；

图2是根据本发明实施例的日志分析的方法的具体步骤的示意图；

图3是根据本发明实施例的获取日志信息的具体步骤的示意图；

图4是根据本发明实施例的日志分析的装置的主要模块的示意图；

图5是用来实现本发明实施例的日志分析的方法的电子设备的硬件结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

正如本发明背景技术中所述，现有技术中只提供原始的日志查询，缺少自动化的日志分析和专项统计，导致缺少用户行为或方法调用分析的连续性，单一查询效率低等问题；另外，每个日志都有时间戳记录顺序，多应用、多实例、多线程、不同日志的时间戳合并在一起就会导致时间上的错乱，而现有系统一般不能排序，给日志分析带来困难。因此，本发明的实施例利用多线程、map变量以及multimap变量的特点，对日志信息进行整合和分析，从而提供更多、更复杂的日志信息，以解决现有技术因不能提供更多、更复杂的日志信息而导致的诸多问题。

图1是根据本发明实施例的日志分析的方法的主要步骤的示意图。

如图1所示，本发明实施例的一种日志分析的方法主要包括如下步骤：

步骤S11：获取日志文件，读取日志文件的目录以获取应用信息。本步骤中可以利用多线程来获取不同时期的历史日志文件，并对日志文件分别进行处理，即通过日志文件的目录以获取应用信息。

步骤S12：根据预先记录的关键日志项信息从应用信息中确定出日志信息。其中，关键日志项信息包括：用户ID；写入日志时的时间戳；以及，在执行方法时包含的请求参数状态、读取参数状态和返回值状态。利用关键日志项信息从应用信息中确定出包含上述信息的日志信息，对于不包含上述信息的日志信息也可以丢弃。

步骤S13：将日志信息写入到用于统计用户行为的全局变量中，从而确定出用户行为日志。通过本步骤确定出的用户行为日志，是包含步骤S12中关键日志项信息的日志，当然，根据使用场景的不同，可以对其中的一些信息进行排序，也可以对所有的信息进行排序。

进一步的，在确定出用户行为日志之后，还包括：遍历全局变量，以获取包含读取参数状态和返回值状态的第一日志信息；将第一日志信息写入到用于统计方法调用时间的变量中，从而确定出读取时间和返回值时间；将读取时间与返回值时间的时间差值写入到用于调用时间的multimap变量中；根据multimap变量输出的排序结果确定出方法执行时间日志。

此外，在确定出用户行为日志之后，还包括：遍历全局变量，以获取包含请求参数状态的第二日志信息；将第二日志信息写入到根据全局变量生成的请求参数变量中，并筛选出最外层请求方法；将日志信息写入到根据全局变量生成的方法调用关系分析变量中，然后遍历方法调用关系分析变量，以最外层请求方法为入口进行循环递归，将递归的结果作为方法调用关系日志。

图2是根据本发明实施例的日志分析的方法的具体步骤的示意图。

由图2可以看出，本发明实施例的技术方案首先需要初始化全局变量，在此之前还需要在接入系统中记录需要抽取的关键日志项信息，主要包括：

用户ID：标识不同调用请求的用户，具有唯一性；

写入日志时的时间戳记录；

执行的方法的完整名称；

执行方法时记录的关键状态:初始化、请求参数，读取参数、返回值、其它；

当关键状态为请求参数时指定完整的请求方法名称；

当关键状态为读取参数时指定完整的方法名称；

主要参数值，用于表示参数属性中唯一的参数标识符的值，如key,id等，用于相同方法不同参数间的日志区别；

参数列表：参数属性的名称与参数值的键值对；

日志中的其它信息。日志分析时不做处理，只当普通字符串显示输出。

主线程全局变量map的数据结构：map<用户标识ID，mutimap<时间戳,日志行，升序排序规则>>

具体获取日志信息的步骤如图3所述，首先利用多线程获得不同的历史日志文件，根据读取日志目录可以获得日志所属的应用信息；根据关键日志项信息对于应用信息中的非关键日志内容可以丢弃；如果日志信息中未给出用户标识，系统会给一个默认值用于区分没有用户标识的日志；将获得的日志信息项写入指定对象中(这里是从系统内存转存到其他存储空间的一种方式，例如从一个内存写入到另一个内存中)，对于超大型的日志分析，可以对中间结果以文本文件形式进行保存，然后再用其它进程读入，到达了不需要依赖其它第三方数据库和运行环境便可运行的效果；加线程锁写入统计用户行为的全局变量中，直到所有日志线程均已读完并写入到全局变量中结束，完成日志的归并操作。以下为执行步骤的伪代码示意：

Loginfo loginfo；//用于存放一行日志的信息。

//写入loginfo的属性信息。

static map<string,multimap<long,Loginfo,less<long>>>logmap；//统计用户行为。

logmap.lock()；//加锁。

logmap[loginfo.userid].insert(make_pair(loginfo.timestamp,loginfo))；//写入统计用户行为的全局变量中。

需要注意的是，在确定出用户行为日志之后，还可以根据用户行为日志进一步确定出方法执行时间日志。首先，重新循环遍历统计用户行为的全局变量，将读取参数和返回值这两个关键状态的日志抽取并写入到统计方法调用时间的map变量中。

伪代码示意：

map<string,map<string,long>>calltimemap；

multimap<long,string,greater<long>>calltimemmap；//greater<long>表示按long的降序排序。

然后，将调用时间的map变量中的返回值时间与读取时间相减的时间差写入到调用时间的multimap变量中。

伪代码示意：

最后，循环输出调用时间的multimap变量。即得到按执行时间从多到少排序后的方法时间排序。

伪代码示意：

另外，在确定出用户行为日志之后，根据用户行为日志进一步确定出方法调用关系日志。首先，根据统计用户行为的全局变量生成方法调用关系分析的全局map变量和请求参数map变量，具体为：

map<string,map<string,multimap<long,Loginfo>>>callmap；//方法调用关系分析的全局map变量。

map<string,Loginfo>requestmethodmap；//请求参数map变量。

然后，逐一遍历统计用户行为的全局变量，将执行方法时记录的关键状态“请求参数”的日志信息存入请求参数map变量中。将日志信息根据方法名称和主参数信息为key，存入到方法调用关系分析的全局map变量中。

具体执行步骤的伪代码示意：

其次，筛选出最外层请求方法。如果一个方法没有被其它方法请求过则认为是最外层请求；如果请求参数中关键状态中的请求方法在请求参数map中存在，则删除该key值，最后剩下的即是最外层请求。

最后，循环递归遍历方法调用关系分析的全局map变量，从最外层请求参数做为入口得到完整的方法调用关系。具体实现方法包括以下步骤：

1)遍历调用关系分析map。

2)如果当前方法不是最外层请求方法则忽略该方法，继续遍历下一个方法

3)遍历该最外层方法下所有的主参数请求(嵌套的第二层map)，输出日志信息(为调用关系的一部分)。

4)如果当前输出的日志信息的执行方法时记录的关键状态“请求参数”，则尝试获得待请求方法的日志信息。

5)根据日志信息中的请求方法和主参数在调用关系分析map中寻找符合条件的日志信息，输出日志信息(为调用关系的一部分)。

6)如果当前输出的日志信息的执行方法时记录的关键状态“请求参数”，则尝试获得待请求方法的日志信息。重复步骤5，直到没有“请求参数”状态为止，退出递归。

7)最终所有输出日志信息的依次输出即为方法调用关系分析的最终结果。

根据本发明实施例的日志分析的方法可以看出，因为采用将包含关键日志项信息的日志信息进行整合和分析技术手段，所以克服了现有技术中不能提供更多或更复杂的日志信息的技术问题，进而达到可以提供更多、更复杂的日志信息的技术效果，有利于后续根据这些复杂的日志信息的内容，进一步进行回归测试、问题定位、数据回滚、程序mock等扩展操作；通过预先定义关键日志项信息，高效的处理历史日志并进行分析得到结果；采用map变量和multimap变量来处理日志结构，减化了日志分析程序的开发难度，同时提高了日志分析程序的复用性；利用多线程、multimap变量的重复时间戳自动排序、大大提高了日志分析程序的运行时间，减少内存占用。

图4是根据本发明实施例的日志分析的装置的主要模块的示意图。

如图4所示，本发明实施例的日志分析的装置50主要包括：

获取模块51、第一确定模块52以及第二确定模块53。其中：

获取模块51，用于获取日志文件，读取日志文件的目录以获取应用信息；第一确定模块52，用于根据预先记录的关键日志项信息从应用信息中确定出日志信息；第二确定模块53，用于将日志信息写入到用于统计用户行为的全局变量中，从而确定出用户行为日志。

此外，关键日志项信息包括：用户ID；写入日志时的时间戳；以及，在执行方法时包含的请求参数状态、读取参数状态和返回值状态。

需要说明的是，第二确定模块在确定出用户行为日志之后，还用于：遍历全局变量，以获取包含读取参数状态和返回值状态的第一日志信息；将第一日志信息写入到用于统计方法调用时间的变量中，从而确定出读取时间和返回值时间；将读取时间与返回值时间的时间差值写入到用于调用时间的multimap变量中；根据multimap变量输出的排序结果确定出方法执行时间日志。

需要说明的是，第二确定模块在确定出用户行为日志之后，还用于：遍历全局变量，以获取包含请求参数状态的第二日志信息；将第二日志信息写入到根据全局变量生成的请求参数变量中，并筛选出最外层请求方法；将日志信息写入到根据全局变量生成的方法调用关系分析变量中，然后遍历方法调用关系分析变量，以最外层请求方法为入口进行循环递归，将递归的结果作为方法调用关系日志。

从以上描述可以看出，因为采用将包含关键日志项信息的日志信息进行整合和分析技术手段，所以克服了现有技术中不能提供更多或更复杂的日志信息的技术问题，进而达到可以提供更多、更复杂的日志信息的技术效果，有利于后续根据这些复杂的日志信息的内容，进一步进行回归测试、问题定位、数据回滚、程序mock等扩展操作；通过预先定义关键日志项信息，高效的处理历史日志并进行分析得到结果；采用map变量和multimap变量来处理日志结构，减化了日志分析程序的开发难度，同时提高了日志分析程序的复用性；利用多线程、multimap变量的重复时间戳自动排序、大大提高了日志分析程序的运行时间，减少内存占用。

根据本发明的实施例，本发明还提供了一种电子设备和一种可读存储介质。

本发明的电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行本发明所提供的日志分析的方法。

本发明的计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行本发明所提供的日志分析的方法。

如图5所示，是根据本发明实施例的日志分析的方法的电子设备的硬件结构示意图。如图5，该电子设备包括：一个或多个处理器51以及存储器52，图5中以一个处理器51为例。其中，存储器52即为本发明所提供的计算机可读存储介质。

日志分析的方法的电子设备还可以包括：输入装置53和输出装置54。

处理器51、存储器52、输入装置53和输出装置54可以通过总线或者其他方式连接，图5中以通过总线连接为例。

存储器52作为一种计算机可读存储介质，可用于存储软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的日志分析的方法对应的程序指令/模块(例如，附图4所示的获取模块51、第一确定模块52以及第二确定模块53)。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的日志分析的方法。

存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据日志分析的装置的使用所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至日志分析的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置53可接收输入的数字或字符信息，以及产生与日志分析的装置的用户设置以及功能控制有关的键信号输入。输出装置54可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器52中，当被所述一个或者多个处理器51执行时，执行上述任意方法实施例中的日志分析的方法。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

根据本发明实施例的技术方案，因为采用将包含关键日志项信息的日志信息进行整合和分析技术手段，所以克服了现有技术中不能提供更多或更复杂的日志信息的技术问题，进而达到可以提供更多、更复杂的日志信息的技术效果，有利于后续根据这些复杂的日志信息的内容，进一步进行回归测试、问题定位、数据回滚、程序mock等扩展操作；通过预先定义关键日志项信息，高效的处理历史日志并进行分析得到结果；采用map变量和multimap变量来处理日志结构，减化了日志分析程序的开发难度，同时提高了日志分析程序的复用性；利用多线程、multimap变量的重复时间戳自动排序、大大提高了日志分析程序的运行时间，减少内存占用。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种日志分析的方法，其特征在于，包括：

获取日志文件，读取所述日志文件的目录以获取应用信息；

根据预先记录的关键日志项信息从所述应用信息中确定出日志信息；

将所述日志信息写入到用于统计用户行为的全局变量中，从而确定出用户行为日志。

2.根据权利要求1所述的方法，其特征在于，所述关键日志项信息包括：

用户ID；

写入日志时的时间戳；以及，

在执行方法时包含的请求参数状态、读取参数状态和返回值状态。

3.根据权利要求1所述的方法，其特征在于，在确定出所述用户行为日志之后，还包括：

遍历所述全局变量，以获取包含所述读取参数状态和所述返回值状态的第一日志信息；

将所述第一日志信息写入到用于统计方法调用时间的变量中，从而确定出读取时间和返回值时间；

将所述读取时间与所述返回值时间的时间差值写入到用于调用时间的multimap变量中；

根据所述multimap变量输出的排序结果确定出方法执行时间日志。

4.根据权利要求1所述的方法，其特征在于，在确定出所述用户行为日志之后，还包括：

遍历所述全局变量，以获取包含所述请求参数状态的第二日志信息；

将所述第二日志信息写入到根据所述全局变量生成的请求参数变量中，并筛选出最外层请求方法；

将所述日志信息写入到根据所述全局变量生成的方法调用关系分析变量中，然后遍历所述方法调用关系分析变量，以所述最外层请求方法为入口进行循环递归，将递归的结果作为方法调用关系日志。

5.一种日志分析的装置，其特征在于，包括：

获取模块，用于获取日志文件，然后读取所述日志文件的目录以获取应用信息；

第一确定模块，用于根据预先记录的关键日志项信息从所述应用信息中确定出日志信息；

第二确定模块，用于将所述日志信息写入到用于统计用户行为的全局变量中，从而确定出用户行为日志。

6.根据权利要求5所述的装置，其特征在于，所述关键日志项信息包括：

用户ID；

写入日志时的时间戳；以及，

在执行方法时包含的请求参数状态、读取参数状态和返回值状态。

7.根据权利要求5所述的装置，其特征在于，所述第二确定模块在确定出所述用户行为日志之后，还用于：

遍历所述全局变量，以获取包含所述读取参数状态和所述返回值状态的第一日志信息；

将所述第一日志信息写入到用于统计方法调用时间的变量中，从而确定出读取时间和返回值时间；

将所述读取时间与所述返回值时间的时间差值写入到用于调用时间的multimap变量中；

根据所述multimap变量输出的排序结果确定出方法执行时间日志。

8.根据权利要求5所述的装置，其特征在于，所述第二确定模块在确定出所述用户行为日志之后，还用于：

遍历所述全局变量，以获取包含所述请求参数状态的第二日志信息；

将所述第二日志信息写入到根据所述全局变量生成的请求参数变量中，并筛选出最外层请求方法；

将所述日志信息写入到根据所述全局变量生成的方法调用关系分析变量中，然后遍历所述方法调用关系分析变量，以所述最外层请求方法为入口进行循环递归，将递归的结果作为方法调用关系日志。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的方法。