CN108958850A

CN108958850A - 一种日志优化方法、装置、设备及计算机可读存储介质

Info

Publication number: CN108958850A
Application number: CN201810699178.8A
Authority: CN
Inventors: 王小梅
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2018-06-29
Filing date: 2018-06-29
Publication date: 2018-12-07

Abstract

本申请公开了一种日志优化方法，包括根据接收的操作请求确定待执行的基础操作；根据所述基础操作确定执行所述基础操作时需要调用的函数；为所述基础操作以及执行所述基础操作时需要调用的函数附加相同的ID信息；调用附加上所述ID信息的函数，执行附加上所述ID信息的基础操作，生成所述函数对应的日志信息。该日志优化方法对日志进行了优化升级，有效简化了日志分析，提高了日志的可读性，进一步提升了用户定位问题的效率。本申请还公开了一种日志优化装置、设备及计算机可读存储介质，均具有上述有益效果。

Description

一种日志优化方法、装置、设备及计算机可读存储介质

技术领域

本申请涉及文件系统技术领域，特别涉及一种日志优化方法，还涉及一种日志优化的装置、设备及计算机可读存储介质。

背景技术

日志主要是用于负责记录系统中软硬件的问题信息以及监控系统中发生的事件，当系统中有出现异常时，用户往往是通过查看日志来定位问题，即确定异常问题出现的位置。但是，常规的日志中仅能提供时间、线程等基础信息，例如，在文件系统中，一个基础操作往往会触发十几甚至几十个函数调用发生，而在一个文件系统中往往又是很多个基础操作同时进行，因此，执行不同的基础操作却调用到相同函数的问题不可避免，如此一来整个日志的展示将会变得极其复杂，即便用户可根据日志确定出现异常问题的函数，但却无法确定该出现异常问题的函数属于哪个基础操作。

例如，在一个文件系统中需要执行一个基础操作A和一个基础操作B，执行基础操作A时需要调用a，b，c，d这四个函数，执行基础操作B时需要调用a，b，c，d，e这五个函数；对应的，基础操作A在执行完毕后会展示其调用的四个函数对应的四条日志，基础操作B在执行完毕后会展示其调用的五个函数对应的五条日志，共计九条日志。基于以上情况，如果这九条日志中有一条日志显示调用的函数b出现异常，那么则无法判定该出现异常的b函数是在执行基础操作A的过程中发生的还是在执行基础操作B的过程中发生的。进一步，如果在一个系统中同时执行大量的基础操作，对应的可能会调用许多相同的函数，日志量也会非常庞大，由此，将会对定位问题带来巨大的工作量。

因此，如何对日志进行优化升级，简化日志分析，有效提高日志的可读性，进一步提升用户定位问题的效率是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种日志优化方法，该日志优化方法对日志进行了优化升级，有效简化了日志分析，提高了日志的可读性，进一步提升了用户定位问题的效率；本申请的另一目的是提供一种日志优化装置、设备及计算机可读存储介质，均具有上述有益效果。

为解决上述技术问题，本申请提供了一种日志优化方法，所述日志优化方法包括：

根据接收的操作请求确定待执行的基础操作；

根据所述基础操作确定执行所述基础操作时需要调用的函数；

为所述基础操作以及执行所述基础操作时需要调用的函数附加相同的ID信息；

调用附加上所述ID信息的函数，执行附加上所述ID信息的基础操作，生成所述函数对应的日志信息。

优选的，所述为所述基础操作以及执行所述基础操作时需要调用的函数附加相同的ID信息，包括：

基于Linux线程私有数据，采用一键多值技术为所述基础操作以及执行所述基础操作时需要调用的函数附加相同的ID信息。

优选的，所述基于Linux线程私有数据，采用一键多值技术为所述基础操作以及执行所述基础操作时需要调用的函数附加相同的ID信息，包括：

当进程启动时，通过函数接口pthread_key_create创建键值；

通过函数接口pthread_setspecific为所述键值设置ID信息；

通过函数接口pthread_getspecific读取所述键值的ID信息，并将所述ID信息附加在所述键值对应的基础操作以及执行所述基础操作时需要调用的函数上。

优选的，还包括：

当所述线程结束时，通过函数接口pthread_key_delete删除所述键值。

优选的，所述日志优化方法还包括：

根据所述ID信息对所述日志信息进行分析，确定执行所述基础操作时出错的位置。

为解决上述技术问题，本申请还提供了一种日志优化装置，所述日志优化装置包括：

第一确定模块，用于根据接收的操作请求确定待执行的基础操作；

第二确定模块，用于根据所述基础操作确定执行所述基础操作时需要调用的函数；

信息附加模块，用于为所述基础操作以及执行所述基础操作时需要调用的函数附加相同的ID信息；

日志生成模块，用于调用附加上所述ID信息的函数，执行附加上所述ID信息的基础操作，生成所述函数对应的日志信息。

优选的，所述信息附加模块具体用于基于Linux线程私有数据，采用一键多值技术为所述基础操作以及执行所述基础操作时需要调用的函数附加相同的ID信息。

为解决上述技术问题，本申请还提供了一种日志优化设备，所述日志优化设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任意一种所述的日志优化方法的步骤。

为解决上述技术问题，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种所述的日志优化方法的步骤。

本申请所提供的一种日志优化方法，包括根据接收的操作请求确定待执行的基础操作；根据所述基础操作确定执行所述基础操作时需要调用的函数；为所述基础操作以及执行所述基础操作时需要调用的函数附加相同的ID信息；调用附加上所述ID信息的函数，执行附加上所述ID信息的基础操作，生成所述函数对应的日志信息。

可见，本申请所提供的技术方案，通过为每个需要执行的基础操作设置属于其自身的ID信息对日志进行了优化升级，同时，由该基础操作触发的所有调用关系也都拥有该ID信息，因此，用户仅需要知道待执行的基础操作的ID信息，即可根据该ID信息查看其相关的所有调用关系；进一步，由于同一个函数在每次调用时所附加的ID信息均不相同，当用户发现某个调用的函数出现异常时，即可根据该函数中包含的ID信息确定所属的基础操作，以此定位出现异常的基础操作。因此，该日志优化方法有效简化了日志分析，在很大程度上提高了日志的可读性，提升了用户定位问题的效率，具有非常大的应用前景和设计意义。

本申请所提供的一种日志优化装置、设备及计算机可读存储介质，均具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请所提供的一种日志优化方法的流程示意图；

图2为本申请所提供的一种ID信息附加方法的流程示意图；

图3为本申请所提供的一种日志优化装置的示意图；

图4为本申请所提供的另一种日志优化装置的示意图；

图5为本申请所提供的一种日志优化设备的示意图。

具体实施方式

本申请的核心是提供一种日志优化方法，该日志优化方法对日志进行了优化升级，有效简化了日志分析，提高了日志的可读性，进一步提升了用户定位问题的效率；本申请的另一核心是提供一种日志优化装置、设备及计算机可读存储介质，均具有上述有益效果。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

请参考图1，图1为本申请所提供的一种日志优化方法的流程示意图，该日志优化方法可以包括：

S101：根据接收的操作请求确定待执行的基础操作；

具体的，当用户需要对一个基础操作进行处理时，可通过客户端向处理器发送该基础操作对应的操作请求，相应的，处理器则可以根据接收到的操作请求确定用户需要处理的基础操作。其中，该操作请求中可存储有对应的基础操作的相关信息，以便于处理器可根据操作请求中的相关信息确定待执行的基础操作，并对其进行后续处理。

S102：根据基础操作确定执行基础操作时需要调用的函数；

具体的，不同的基础操作在执行过程中可能需要调用不同的函数，因此，处理器在确定待执行的基础操作后，即可根据该基础操作确定其在执行过程中需要调用的相关函数。其中，每个基础操作在执行过程中所需要调用函数的数量可能有所不同，有些基础操作可能仅需要调用一个函数，而有些基础操作则可能需要调用多个函数，其具体调用函数数量的多少均可根据待执行的基础操作进行确定。

S103：为基础操作以及执行基础操作时需要调用的函数附加相同的ID信息；

具体的，处理器在确定待执行的基础操作及其在执行过程中需要调用的相关函数后，即可为该基础操作附加上一个只属于其自身的ID信息，以此来确定其身份，同时也将该ID信息附加于其所需调用的函数上，由此，该基础操作以及执行该基础操作触发的所有函数调用关系都将拥有一个相同的身份，即上述ID信息。进一步，用户只需要知道一个基础操作的ID信息，即可获知该基础操作所有相关的函数调用关系。

可选的，上述为基础操作以及执行基础操作时需要调用的函数附加相同的ID信息可以包括：基于Linux线程私有数据，采用一键多值技术为基础操作以及执行基础操作时需要调用的函数附加相同的ID信息。

具体的，在Linux系统的一个进程内，其所有的线程共享该进程的数据空间，因此全局变量为所有线程所共有，但有时一个线程也需要保存自己的私有数据，此时即可创建线程私有数据(Thread-specific Date，TSD)来解决该问题。在创建线程私有数据后，在一个线程内部，私有数据可以被各个函数访问，但对其他线程是屏蔽的。

其中，在使用线程私有数据时，首先可以为各个线程数据创建一个相关联的键，那么在各个线程内部，都将使用这个公用的键来指代线程数据，但是在不同的线程中，这个键代表的数据是不同的，此即为一键多值技术，即一个键对应多个数值，进一步，即可通过键值来实现对不同线程中各类数据的访问，由此，在对不同线程中的同一个变量进行访问时，实际上访问的是不同的数据。因此，在本技术方案中，可采用Linux线程私有数据中的一键多值技术实现上述基础操作及其调用函数上ID信息的附加。

可选的，请参考图2，图2为本申请所提供的一种ID信息附加方法的流程示意图；上述基于Linux线程私有数据，采用一键多值技术为基础操作以及执行基础操作时需要调用的函数附加相同的ID信息可以包括：

S301：当进程启动时，通过函数接口pthread_key_create创建键值；

S302：通过函数接口pthread_setspecific为键值设置ID信息；

S303：通过函数接口pthread_getspecific读取键值的ID信息，并将ID信息附加在键值对应的基础操作以及执行基础操作时需要调用的函数上。

具体的，在对基础操作及其调用的函数进行ID信息附加的过程中，可通过相应的函数接口实现。当进程启动时，可通过函数接口pthread_key_create创建一个键值key，键值key一旦被创建，整个进程中的所有线程均可以对其进行访问；进一步，即可通过函数接口pthread_setspecific为键值key设置ID信息：trace id，该ID信息为相互独立且各不相同，即相当于提供了一个同名不同值的全局变量，实现了一键多值；此后，当需要执行一个基础操作时，即可通过函数接口pthread_getspecific读取上述键值的ID信息，以实现将读取的ID信息附加于该基础操作及其执行过程中所需调用的函数上。

其中，在本申请中，可设置上述trace id，即ID信息为一个17位的十进制数字，也就是说一轮trace id可以记录近十亿亿个基础操作；同时，还可设置trace id为一个循环记录，即当trace id为99999999999999999后，下一个trace id则为00000000000000001，并以此继续循环。

需要说明的是，上述trace id的设置方式仅为本申请所提供的一种实施方式，并不唯一，用户可根据实际情况自行设定。

优选的，同样参考图2，上述过程ID信息的附加还可以包括：

S304：当线程结束时，通过函数接口pthread_key_delete删除键值。

具体的，当线程结束时，还可进一步通过函数接口pthread_key_delete删除上述键值key，由此，该键值key所占用的内存将被释放。

S104：调用附加上ID信息的函数，执行附加上ID信息的基础操作，生成函数对应的日志信息。

具体的，当待执行的基础操作及其执行过程中需要被调用的相关函数附加上相同的ID信息后，则可以调用其相关函数，以执行对应的基础操作，在该基础操作执行完毕后，即可生成其相关调用函数对应的日志信息。

可选的，该日志优化方法还可以包括：根据ID信息对日志信息进行分析，确定执行基础操作时出错的位置。

具体的，如果在执行一个基础操作的过程中出现异常，则可以在获得日志信息后根据该基础操作所附加的ID信息对其进行分析，以定位异常，即确定执行上述基础操作时出错的位置。

例如，在一个文件系统中需要执行一个基础操作C和一个基础操作D，执行基础操作C时需要调用a，b，c这三个函数，执行基础操作D时需要调用a，b，d，e这四个函数；对应的，假设基础操作C先于基础操作D被执行，且基础操作D被执行时基础操作C还未被执行完毕，那么，处理器在先执行基础操作C时，会为其附加一个trace id：00000000000000001，与此同时，也会为该基础操作C在执行过程中调用的a，b，c这三个函数附加上相同的trace id：00000000000000001；进一步，处理器在后执行基础操作D时，则会为其附加另一个traceid：00000000000000002，与此同时，也会为该基础操作D在执行过程中调用的a，b，d，e这四个函数附加上相同的trace id：00000000000000002。最后，基础操作C在执行完毕后会展示其调用的三个函数对应的三条日志，基础操作D在执行完毕后会展示其调用的四个函数对应的四条日志，共计七条日志。基于以上情况，如果这七条日志中有一条日志显示调用的函数b出现异常，那么用户即可根据该出现异常的函数b中的ID信息判定该函数是在执行基础操作C的过程中发生的还是在执行基础操作D的过程中发生的。

此外，如果在基础操作C和基础操作D执行完毕之前，又需要执行一次基础操作C，此时，即可为该基础操作C及其调用的a，b，c这三个函数附加上相同的trace id：00000000000000003，以此实现对基础操作在执行过程中出现异常问题的定位。

进一步，如果在一个系统中同时执行大量的基础操作，对应的可能会调用许多相同的函数，日志量也会非常庞大，由于每个基础操作及其对应的调用函数均附加有仅属于自身的ID信息，用户即可根据该ID信息轻易的分析出每个基础操作的函数调用情况，为日志分析、定位问题带来了极大的便利。

本申请所提供的日志优化方法，通过为每个需要执行的基础操作设置属于其自身的ID信息对日志进行了优化升级，同时，由该基础操作触发的所有调用关系也都拥有该ID信息，因此，用户仅需要知道待执行的基础操作的ID信息，即可根据该ID信息查看其相关的所有调用关系；进一步，由于同一个函数在每次调用时所附加的ID信息均不相同，当用户发现某个调用的函数出现异常时，即可根据该函数中包含的ID信息确定所属的基础操作，以此定位获得出现异常的基础操作。因此，该日志优化方法有效简化了日志分析，在很大程度上提高了日志的可读性，提升了用户定位问题的效率，具有非常大的应用前景和设计意义。

为解决上述问题，请参考图3，图3为本申请所提供的一种日志优化装置的示意图，该日志优化装置可以包括：

第一确定模块10，用于根据接收的操作请求确定待执行的基础操作；

第二确定模块20，用于根据基础操作确定执行基础操作时需要调用的函数；

信息附加模块30，用于为基础操作以及执行基础操作时需要调用的函数附加相同的ID信息；

日志生成模块40，用于调用附加上ID信息的函数，执行附加上ID信息的基础操作，生成函数对应的日志信息。

作为一种优选实施例，上述信息附加模块30可具体用于基于Linux线程私有数据，采用一键多值技术为基础操作以及执行基础操作时需要调用的函数附加相同的ID信息。

在上述各实施例的基础上，请参考图4，图4为本申请所提供的另一种日志优化装置的示意图。

作为一种优选实施例，上述信息附加模块30可以包括：

键值创建子模块31，用于当进程启动时，通过函数接口pthread_key_create创建键值；

信息设置子模块32，用于通过函数接口pthread_setspecific为键值设置ID信息；

信息附加子模块33，用于通过函数接口pthread_getspecific读取键值的ID信息，并将ID信息附加在键值对应的基础操作以及执行基础操作时需要调用的函数上。

作为一种优选实施例，上述信息附加模块30还可以包括：

键值删除子模块34，用于当线程结束时，通过函数接口pthread_key_delete删除键值。

作为一种优选实施例，该日志优化装置还可以包括：

错误定位模块50，用于根据ID信息对日志信息进行分析，确定执行基础操作时出错的位置。

对于本申请提供的装置的介绍请参照上述方法实施例，本申请在此不做赘述。

为解决上述问题，请参考图5，图5为本申请所提供的一种日志优化设备的示意图，该日志优化设备可包括：

存储器1，用于存储计算机程序；

处理器2，用于执行计算机程序时可实现如下步骤：

根据接收的操作请求确定待执行的基础操作；根据基础操作确定执行基础操作时需要调用的函数；为基础操作以及执行基础操作时需要调用的函数附加相同的ID信息；调用附加上ID信息的函数，执行附加上ID信息的基础操作，生成函数对应的日志信息。

对于本申请提供的设备的介绍请参照上述方法实施例，本申请在此不做赘述。

为解决上述问题，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

对于本申请提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的日志优化方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围要素。

Claims

1.一种日志优化方法，其特征在于，包括：

根据接收的操作请求确定待执行的基础操作；

2.如权利要求1所述的日志优化方法，其特征在于，所述为所述基础操作以及执行所述基础操作时需要调用的函数附加相同的ID信息，包括：

3.如权利要求2所述的日志优化方法，其特征在于，所述基于Linux线程私有数据，采用一键多值技术为所述基础操作以及执行所述基础操作时需要调用的函数附加相同的ID信息，包括：

当进程启动时，通过函数接口pthread_key_create创建键值；

通过函数接口pthread_setspecific为所述键值设置ID信息；

4.如权利要求3所述的日志优化方法，其特征在于，还包括：

5.如权利要求1至4任意一项所述的日志优化方法，其特征在于，还包括：

6.一种日志优化装置，其特征在于，包括：

7.如权利要求6所述的装置，其特征在于，所述信息附加模块具体用于基于Linux线程私有数据，采用一键多值技术为所述基础操作以及执行所述基础操作时需要调用的函数附加相同的ID信息。

8.如权利要求7所述的装置，其特征在于，还包括：

错误定位模块，用于根据所述ID信息对所述日志信息进行分析，确定执行所述基础操作时出错的位置。

9.一种日志优化设备，其特征在于，所述设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任意一项所述的文件系统中的日志优化方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任意一项所述的日志优化方法的步骤。