CN113704203A - 一种日志文件的处理方法及装置 - Google Patents

Abstract

本发明公开了一种日志文件的处理方法及装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取业务请求；根据预设的SDK文件，采集所述业务请求对应的日志文件，所述SDK文件包括至少一个特征点，以使所述日志文件中包括至少一个特征点节点；根据所述业务请求的业务类型，生成所述业务请求对应的聚合根；根据所述聚合根和所述至少一个特征点节点，生成所述日志文件对应的日志调用链路；按照所述日志调用链路对所述日志文件进行存储。该实施方式能够准确定位所需分析的日志内容，提高日志内容查询的效率和准确率，进而便于对日志内容进行分析等处理，使得日志内容的后处理效率提高。

Description

一种日志文件的处理方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种日志文件的处理方法及装置。

背景技术

在系统运行过程中会持续记录各种日志，高效地对各种日志管理对提高系统性能具有重要影响。

现有技术中一般仅将各种日志简单地进行堆叠存储，在需要对系统的问题进行分析时，需要对这些堆叠存储的日志进行全量扫描，以对问题相关的日志进行查询和定位。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

基于文件全量扫描的方式来进行日志的查询和定位，效率较低，并且定位的准确性也不高。

发明内容

有鉴于此，本发明实施例提供一种日志文件的处理方法及装置，能够准确定位所需分析的日志内容，提高日志内容查询的效率和准确率，进而便于对日志内容进行分析等处理，使得日志内容的后处理效率提高。

为实现上述目的，根据本发明实施例的一个方面，提供了一种日志文件的处理方法。

本发明实施例的一种日志文件的处理方法包括：

获取业务请求；

根据预设的SDK文件，采集所述业务请求对应的日志文件，所述SDK文件包括至少一个特征点，以使所述日志文件中包括至少一个特征点节点；

根据所述业务请求的业务类型，生成所述业务请求对应的聚合根；

根据所述聚合根和所述至少一个特征点节点，生成所述日志文件对应的日志调用链路；

按照所述日志调用链路对所述日志文件进行存储。

可选地，所述采集所述业务请求对应的日志文件，包括：

通过至少一个线程采集所述至少一个特征点节点对应的日志数据，并生成每一个所述线程对应的会话标识；

根据所述会话标识，将所述至少一个特征点节点的对应的日志数据按序写入所述日志文件。

可选地，在存在异步执行的多个线程的情况下，所述生成每一个所述线程对应的会话标识，包括：

确定当前线程是否存在父线程，如果是，将所述父线程的会话标识附加至当前线程的会话标识，并将附加后的会话标识作为所述当前线程的会话标识。

可选地，所述SDK文件中还包括：抽样策略；所述按照所述日志调用链路对所述日志文件进行存储，包括：

通过日志抓取服务根据所述聚合根和/或所述会话标识对本地存储的所述日志文件进行抓取；

在被抓取的所述日志数据满足所述抽样策略的情况下，将被抓取的所述日志数据发送给所述远程数据库，以使所述远程数据库存储所述日志数据。

可选地，所述SDK文件中还包括：聚合根指令；所述根据所述业务请求的业务类型，生成所述业务请求对应的聚合根，包括：

根据所述业务请求的获取接口的类型，确定所述业务请求的业务类型；

根据所述聚合根指令，生成所述业务类型对应的聚合根。

可选地，所述根据所述业务请求的业务类型，生成所述业务请求对应的聚合根，包括：

根据预配置的多个业务类型与多个聚合根的对应关系，生成所述业务请求对应的聚合根。

可选地，所述SDK文件部署于多个系统实例中，根据所述多个系统实例中的SDK文件分别采集所述日志文件；还包括：

对所述多个系统实例所采集的所述日志文件进行去重，根据去重后的日志文件，生成所述日志调用链路。

可选地，还包括：

根据所述日志调用链路，对处理所述业务请求的业务系统进行测试。

可选地，所述特征点包括以下任意一个或多个：与所述业务请求对应的调用函数的出参、入参、关键字、预配置的关键点标签以及时间戳。

为实现上述目的，根据本发明实施例的又一方面，提供了一种日志文件的处理装置。

本发明实施例的一种日志文件的处理装置包括：

获取模块，用于获取业务请求；

采集模块，用于根据预设的SDK文件，采集所述业务请求对应的日志文件，所述SDK文件包括至少一个特征点，以使所述日志文件中包括至少一个特征点节点；

第一生成模块，用于根据所述业务请求的业务类型，生成所述业务请求对应的聚合根；

第二生成模块，用于根据所述聚合根和所述至少一个特征点节点，生成所述日志文件对应的日志调用链路；

存储模块，用于按照所述日志调用链路对所述日志文件进行存储。

为实现上述目的，根据本发明实施例的又一方面，提供了一种日志文件的处理电子设备。

本发明实施例的一种日志文件的处理电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种日志文件的处理方法。

为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读存储介质。

本发明实施例的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种日志文件的处理方法。

上述发明中的一个实施例具有如下优点或有益效果：因为采用根据SDK确定特征点，获得包括特征点节点的日志文件；基于标定或者自定义的聚合根、特征点节点确定日志调用链路，进而根据日志调用链路抓取日志文件中的关键日志数据生成日志文档并存储至需要的远程数据库技术手段，所以克服了现有的日志查询和定位方法效率较低，并且定位的准确性也不高的技术问题，进而达到能够在采集日志文件时，根据SDK文件中设置的特征点获取包括特征点节点的日志文件，可以获取系统性的、有序的日志文件，进而便于后期对日志文件的处理；根据聚合根和特征点节点确定日志调用链路，进一步定义了日志文档的文档结构，并利用日志调用链路，抓取并保存关键日志数据生成日志文档，可以筛选后续查询分析等流程需要的日志数据，排除无效/重复/无用日志数据的干扰，极大地降低了日志文档所需存储空间；在后徐流程中，根据日志调用链路的关键字等进行查询，可以准确定位所需分析的日志内容，提高日志内容查询的效率和准确率，进而便于对日志内容进行分析等处理，使得日志内容的后处理效率提高的技术效果。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的日志文件的处理方法的主要步骤的示意图；

图2是根据本发明实施例的日志文件的采集方法的主要步骤的示意图；

图3是根据本发明第一个实施例的聚合根的确定方法的主要步骤的示意图；

图4是根据本发明第二个实施例的聚合根的确定方法的主要步骤的示意图；

图5是根据本发明实施例的日志文档的生成方法的主要步骤的示意图；

图6是根据本发明实施例的日志文件的处理装置的主要模块的示意图；

图7是根据本发明实施例的日志文件的处理系统的示意图；

图8是根据本发明实施例的日志文件的处理系统的应用的示意图一；

图9是根据本发明实施例的日志文件的处理系统的应用的示意图二；

图10是本发明实施例可以应用于其中的示例性系统架构图；

图11是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要指出的是，在不冲突的情况下，本发明的实施例以及实施例中的技术特征可以相互结合。

SDK(Software Development Kit)：即软件开发工具包，是指软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。

AOP(Aspect Oriented Programming)：即面向切面编程，是指通过预编译方式和运行期间动态代理实现程序功能的统一维护的一种技术，可以在不修改源代码的情况下给程序动态统一添加某种特定功能。

ES集群：ES全称Elasticsearch，是一种面向搜索的数据库。

图1是根据本发明实施例的日志文件的处理方法的主要步骤的示意图，如图1所示，本发明实施例的日志文件的处理方法主要包括以下步骤：

步骤S101：获取业务请求。

在本发明实施例中，业务请求可以是查询订单请求、下单请求、支付请求、获取虚拟资源请求等。

步骤S102：根据预设的SDK文件，采集所述业务请求对应的日志文件，所述SDK文件包括至少一个特征点，以使所述日志文件中包括至少一个特征点节点。

在本发明实施例中，业务请求与SDK文件相对应，使得SDK文件可以处理对应的业务请求。SDK文件中的特征点与对应的日志文件中的特征点节点对应。SDK文件中包括一个或多个调用函数，调用函数可以是嵌套式结构。

在本发明实施例中，SDK文件部署于多个系统实例中，根据多个系统实例中的SDK文件分别采集日志文件。

在本发明实施例中，SDK文件包括多种类型的指令，比如，关键字指令、关键点标签指令等。其中，SDK文件通过在调用函数中预配置关键字指令，可以根据关键字指令识别出关键字；SDK文件通过在调用函数中预配置关键点标签指令，可以根据关键点标签指令识别出关键点标签。

在本发明实施例中，日志文件的特征点节点指示了SDK文件通过调用函数处理业务请求时，日志文件中与SDK文件的特征点对应的节点。

在本发明实施例中，SDK文件可以通过AOP、拦截器或标准指令等工具确定特征点以及对应的处理过程及结果，使得采集的日志文件可以规范化。

在本发明实施例中，如图2所示，本发明的日志文件的采集方法包括如下步骤：

步骤S201，通过至少一个线程采集至少一个特征点节点对应的日志数据，并生成每一个线程对应的会话标识。

在本发明实施例中，通过SDK文件处理业务请求时，创建至少一个线程采集日志数据，在线程开启时生成会话标识。

步骤S202，判断是否存在异步执行的多个线程，如果是，转至步骤S203；如果否，转至步骤S205。

步骤S203，确定当前线程是否存在父线程，如果是，转至步骤S204；如果否，转至步骤S205。

步骤S204，将父线程的会话标识附加至当前线程的会话标识，并将附加后的会话标识作为当前线程的会话标识。

步骤S205，将与每一个线程对应的会话标识作为当前线程的会话标识。

步骤S206，根据当前线程的会话标识，将至少一个特征点节点的对应的日志数据按序写入日志文件。

在本发明实施例中，通过本发明的日志文件的采集方法，根据会话标识按序写入日志文件，可以保证日志文件的完整性，相较于现有的零散的日志文件，可以提高日志文件的有序性，进而便于后续对日志数据的抽取。

步骤S103：根据所述业务请求的业务类型，生成所述业务请求对应的聚合根。

在本发明实施例中，聚合根的类型包括自然聚合根和标定聚合根。

在本发明实施例中，SDK文件还包括聚合根指令。如图3所示，本发明的第一个实施例的聚合根的确定方法包括如下步骤：

步骤S301，根据业务请求的获取接口的类型，确定业务请求的业务类型。

在本发明实施例中，获取接口与业务类型相对应，不同的获取接口对应不同的业务类型，不同的业务类型对应不同的SDK文件。

步骤S302，根据聚合根指令，生成业务类型对应的聚合根。

在本发明实施例中，聚合根指令可以是SDK文件调用函数的起止端函数，相应地，聚合根为自然聚合根。

比如，F1、F2、……、Fn为自然聚合根，具体地，

①F1–入参–[关键字]–时间；

②Fn–入参–[关键字]–时间；

③Fn–出参–[关键字]–时间；

④F2–出参–[关键字]–时间；

⑤F1–出参–[关键字]–时间。

在本发明实施例中，SDK文件还包括标注指令。如图4所示，本发明的第二个实施例的聚合根的确定方法包括如下步骤：

步骤S401，根据标注指令，确定多个业务类型与多个聚合根的对应关系。

在本发明实施例中，为了便于对日志数据后续的分析等处理，可以根据需要分析的日志数据，自定义日志数据的聚合根，从而可以根据聚合根抽取需要分析等处理的日志数据。比如，通过标注指令，标注SDK文件调用函数中的一个或多个子节点为聚合根，相应地，标定聚合根为自定义聚合根。

步骤S402，根据预配置的业务类型与聚合根的对应关系，生成业务请求对应的聚合根。

比如，F2为标定聚合根，具体地，

⑥F2–入参–[关键字]–时间–[聚合根标注]。

在本发明实施例中，通过本发明的聚合根的确定方法，确定日志文件中的聚合根，进而可以根据聚合根抽取需要的日志数据进行后处理，可以提高日志数据的定位的效率和准确率，并且，可以根据聚合根保存需要的日志数据，避免现有的日志由于时间或者存储空间的限制被删除，无法获取需要的日志数据，提高日志的有效利用率。

步骤S104：根据所述聚合根和所述至少一个特征点节点，生成所述日志文件对应的日志调用链路。

在本发明实施例中，日志调用链路在调用函数的基础上，融合聚合根、日志文件的特征点节点，确定便于后续处理的日志数据的文档结构。比如，基于聚合根自动创建一个文档，日志文件中的与特征点出参、入参、关键字、预配置的关键点标签以及时间戳对应的特征点节点的相关信息可以组合成日志调用链路的文档结构。

进一步地，采集日志文件之后，对多个系统实例所采集的日志文件进行去重，根据去重后的日志文件，生成日志调用链路。

步骤S105：按照所述日志调用链路对所述日志文件进行存储。

在本发明实施例中，通过日志抓取服务，根据日志调用链路，对本地存储的日志文件中与日志调用链路对应的日志数据进行抓取。比如，在抓取日志数据时，通过拦截器抓取调用函数的出参、入参，从而获得函数的全量参数。其中，日志抓取服务可以包括多个进程。

在本发明实施例中，如图5所示，本发明的日志文档的生成方法包括如下步骤：

步骤S501：根据聚合根和/或会话标识，确定日志文件以及其中与聚合根对应的日志数据部分。

步骤S502：根据日志调用链路，抓取日志文件对应的日志数据。

在本发明实施例中，可以根据日志文件中的聚合根、与特征点出参、入参、关键字、预配置的关键点标签以及时间戳对应的特征点节点，抓取日志文件中关键的日志数据。

进一步地，与日志调用链路中的关键字对应的相关信息，作为日志文件中关键的日志数据，可以作为后续处理的搜索字段。

在本发明实施例中，在抓取日志数据的过程中，可以对日志数据进行去重处理。比如，可以对重复异常信息进行去重处理：

在SDK文件处理业务请求时，可能在一定时期内连接不上数据源，相应的日志文件可能存在大量的重复异常日志数据，对此类大量的重复异常日志数据进行去重处理，可以进一步缓解巨大数据量产生的压力，并且便于后续日志数据的处理，提高后续处理的效率。

步骤S503：将抓取的日志数据组合成对应的日志文档。

步骤S504：将日志文档发送给远程数据库，使得远程数据库存储日志文档。

在本发明实施例中，可以通过网络协议投递(比如，TCP/HTTP等)将日志文档发送给远程数据库，使得远程数据库存储日志文档。进一步地，远程数据库可以是ES集群或者其它数据库，可以根据实际的应用场景和数据量大小确定数据库，日志文档也可以发送至不同数据库。

在本发明实施例中，通过本发明的日志文档的生成方法，抓取日志文件中的关键的日志数据，无需保存无用或者无效的日志数据，在保存时即针对性地对日志数据进行了初步筛选及清理，在为后续处理提供需要的日志数据的同时极大地节省了日志存储空间。

在本发明实施例中，在将日志文档发送给远程数据库之前，可以通过收集服务，对日志文档进行处理，获得满足实际需求的日志文档集，便于后续处理。其中，收集服务可以包括多个进程。

比如，通过收集服务对批量接收的日志文档进行初步解析，将日志文档归类为不同的日志文档集并缓存，在后续处理需要时按照指定频率将日志文档集发送给远程数据库。

进一步地，在收集日志文档的过程中，可以对日志文档进行去重处理，以排除不同的系统实例或SDK文件处理业务请求的过程中可能存在的重复异常信息。

通过收集服务，可以满足实际的处理需求，比如，不同数据库存储与业务请求对应的不同类型的日志文档，或者，日志文档需要独立或者集中存储至不同的数据库，或者，抽样日志文档需要独立存储等各式需求。

在本发明实施例中，抓取服务可以通过部署的独立容器的进程实现，也可以通过嵌入后续处理流程的模块实现。

在本发明实施例中，SDK文件还包括抽样策略，在抓取日志数据时，将满足抽样策略的日志数据发送给远程数据库，以使远程数据库存储日志数据。进一步地，将满足抽样策略的日志数据组合成对应的日志文档，并发送给远程数据库，以使远程数据库存储日志文档。

在本发明实施例中，根据抽样策略，确定当前日志文档是否发送给远程数据库。比如，抽样策略可以是，随机抽样10％的20210710的下单业务请求的日志文档。

通过抽样策略，可以确定抽样的日志文档，从而满足实际环境的需求，比如，抽样一个或多个日志文档，用于在生产环境中对应用健康状态自动巡检、分析和预警。

在本发明实施例中，在通过收集服务获得日志文档集之后，可以通过存储服务，将日志文档集发送给指定的远程数据库。与收集服务中的缓存不同，存储服务可以对收集服务获得的全部日志文档集进行保存，并按需将日志文档集提供给指定的远程数据库。其中，存储服务可以包括多个进程，收集服务的任一进程可以与存储服务的任一进程对应，存储服务可以对应多个远程数据库。

进一步地，存储服务可以根据远程数据库的不同索引形式及要求，事务性的批次将日志文档集存入远程数据库。

通过多个进程的存储服务与多个进程的收集服务，实现存储服务与收集服务松散的耦合关系，即使其中一个进程崩溃，也可以及时调整为其他进程，防止集中收集服务对应集中存储服务其中一个崩溃就会导致系统服务崩溃的问题，在遇到规模瓶颈时，可以通过服务降级、业务迁移等手段支撑服务，保证服务能力和服务质量；并且，存储服务可以对应多个远程数据库，甚至是不同的日志系统数据库，比如，按功能划分的日志系统或者指定业务域的日志系统，进一步提高了本发明的日志文件的处理方法的适用性，提高日志的利用效率。

在本发明实施例中，存储服务还可以将日志文档集发送至流式数据消息系统，比如，Apache Kafka消息系统，使得消息系统接收订阅的日志数据，进而实时分析日志数据，用于及时发现问题、预警等。Kafka消息系统可以通过FLink组件对流式日志数据进行分析，确定业务系统的运行状况，从而及时发现业务系统问题，还可以自动触发修复服务或者生成预警信息。

通过流式数据消息系统，通过路由对日志数据进行引流，可以及时发现问题，并作出响应，进一步保证了系统的稳定性和安全性，提高业务处理效率。

在本发明实施例中，在存储服务将日志文档集发送至ES集群时，日志文档的文档结构可以是：

1.F1–入参–[关键字]–时间；

2.[关键字OR关键点]；

3.F2–入参–[关键字]–时间；

4.[关键字OR关键点]；

5.F2–出参–[关键字]–时间–[聚合根标注]；

6.[关键字OR关键点]；

7.F1–出参–[关键字]–时间。

其中，F1、F2为聚合根，基于聚合根F1自动创建一个独立的MAP(表)，日志文件特征点节点可以组合成日志调用链路的文档结构。

在本发明实施例中，可以通过一个统一的配置中心，配置SDK文件、抓取服务、收集服务、存储服务的对应关系，并且，几者之间的对应关系可以通过配置中心动态调整，比如，配置中心可以实时地改变抓取服务对应的收集服务。

在本发明实施例中，根据日志调用链路，对处理业务请求的业务系统进行测试。其中，测试可以是查询、分析等。

在测试环境/灰度环境时，根据指定聚合根、和/或指定会话标识、和/或指定日志调用链路，对日志数据进行查询和分析，从而发现问题、分析需求等，以实现测试环境下的自动测试和回归测试，或者灰度环境下发现系统的潜在风险。

进一步地，根据日志调用链路，在测试阶段可以在不同的层级快速地分析出功能是否贴合需求，结合测试用例，还可以高效地自动分析功能预期。

在生产环境时，可以结合现场的反馈情况，根据指定聚合根的日志调用链路，对日志数据进行查询，快速定位问题点，以实现生产环境下的问题及时发现及预警，提高问题的解决效率和应用的可用率。

在本发明实施例中，可以将关键字作为搜索字段，查找需要的日志数据。

在本发明实施例中，用户可以通过功能页面查询系统的日志文档，并自定义分析的日志数据，比如指定聚合根下完整日志调用链路的日志数据、关键字日志数据、关键点标签日志数据等。还可以通过拉取接口拉取特定聚合根下的日志数据，对其进行分析等处理。

在本发明实施例中，为了应对可能产生的突发需求，可以通过抽取服务，搭建抽取接口抽取日志数据，以便于处理突发需求，自动测试、自动分析和校验抽取的日志数据，以便于尽早地发现异常情况。

现有的日志文件在保存时，通常是零散地将各个日志文件堆叠存储，并不存在统一的保存标准/保存格式。一方面，堆叠存储的日志文件缺乏整体性，对堆叠存储的日志文件进行全量扫描，查询和定位日志数据时效率低下，并且定位准确性也差，进而很难对日志数据中的问题进行分析，无法直达问题核心，即使梳理整个程序逻辑，分析出其中的问题原因，通常也并不准确，需要反复数次的修复与测试才可以解决问题，甚至反复数次也无法解决；另一方面，堆叠存储的日志文件较难进行二次加工，无法提炼有价值的信息；再一方面，堆叠存储的日志文件杂乱无章，对其进行监控更是无从谈起。

通过本发明的日志文件的处理方法，根据日志调用链路针对性地抓取日志文件中的日志数据，并决策性地保存日志数据，充分地保证了关键日志数据的完整性，而且日志数据有序，条理性强，可以快速查找和定位日志数据，进而快速分析可能存在的问题并针对性修复，极大地提高了日志数据的查询和定位效率，精准定位可能存在的问题并及时修复，保证了系统的稳定性；根据聚合根、会话标识、关键字、关键点等能精准提取日志数据，并提炼有价值信息，进一步提高了日志数据的利用率，且为实际生产提供了更多参考；根据日志调用链路对日志数据进行监控，从而可以快速响应系统问题，及时修复，保证系统安全。

现有的日志文件通常的清理方式是：在日志文件达到预设文件大小后，日志输出中间件会创建新的日志文件，并启动新线程异步删除原来的日志文件；或者，在服务器上部署一个监控服务，实时监控磁盘空间的占比，当磁盘空间占比达到预设存储空间阈值时，自动清理部分或者全部日志文件；或者，对日志文件进行压缩存储，并按时间进行删除等。现有的日志文件清理中，当系统业务量突增时，日志文件数量随之暴增，系统会频繁触发日志清理机制，日志文件的保存时间缩短，当保存时间缩短至较短时，某些业务场景即使发生问题，也无法基于日志重现，使得业务场景直接崩溃。

通过本发明的日志文件的处理方法，抓取日志文件中的关键的日志数据并保存，无需保存无用或者无效的日志数据，极大地提高了存储空间的利用率，在保存时即对日志数据进行了初步筛选及清理；可以根据需要的业务场景、分析需求等自定义保存需要的日志文件中的日志数据，从而为后续的分析、复盘等提供数据基础，防止了由于日志数据杂乱的清理方式而导致的系统崩溃等问题，提升了系统的安全性和稳定性。

针对业务量突增导致的日志数据丢失的情况，可以根据实际需求确定远程数据库的规模规模和日志文档的生命周期，保证日志策略的平稳健康运行。

在本发明实施例中，通过获取业务请求；根据预设的SDK文件，采集所述业务请求对应的日志文件，所述SDK文件包括至少一个特征点，以使所述日志文件中包括至少一个特征点节点；根据所述业务请求的业务类型，生成所述业务请求对应的聚合根；根据所述聚合根和所述至少一个特征点节点，生成所述日志文件对应的日志调用链路；按照所述日志调用链路对所述日志文件进行存储等步骤，能够针对性地保存日志数据(包括日志数据的来源和存储)，可以为后续的问题查询和分析提供极大的便利，并且，可以为实际业务流程的学习和分析提供参考，尤其可以根据日志调用链路进行抽样监控与分析，进一步提高了日志数据的利用率。

图6是根据本发明实施例的日志文件的处理装置的主要模块的示意图，如图6所示，本发明实施例的日志文件的处理装置600包括：获取模块601、采集模块602、第一生成模块603、第二生成模块604和存储模块605，其中：

获取模块601，用于获取业务请求。

在本发明实施例中，所述获取模块601获取的业务请求可以是查询订单请求、下单请求、支付请求、获取虚拟资源请求等。

采集模块602，用于根据预设的SDK文件，采集所述业务请求对应的日志文件，所述SDK文件包括至少一个特征点，以使所述日志文件中包括至少一个特征点节点。

在本发明实施例中，业务请求与SDK文件相对应，使得SDK文件可以处理对应的业务请求。SDK文件中的特征点与对应的日志文件中的特征点节点对应。SDK文件中包括一个或多个调用函数，调用函数可以是嵌套式结构。

在本发明实施例中，特征点包括以下任意一个或多个：与业务请求对应的调用函数的出参、入参、关键字、预配置的关键点标签以及时间戳。其中，时间戳即SDK文件处理业务请求时的系统时间。

在本发明实施例中，SDK文件部署于多个系统实例中，所述采集模块602根据多个系统实例中的SDK文件分别采集日志文件。

在本发明实施例中，SDK文件包括多种类型的指令，比如，关键字指令、关键点标签指令等。其中，SDK文件通过在调用函数中预配置关键字指令，可以根据关键字指令识别出关键字；SDK文件通过在调用函数中预配置关键点标签指令，可以根据关键点标签指令识别出关键点标签。

在本发明实施例中，日志文件的特征点节点指示了SDK文件通过调用函数处理业务请求时，日志文件中与SDK文件的特征点对应的节点。

在本发明实施例中，SDK文件可以通过AOP、拦截器或标准指令等工具确定特征点以及对应的处理过程及结果，使得采集的日志文件可以规范化。

聚合根生成模块603，用于根据所述业务请求的业务类型，生成所述业务请求对应的聚合根。

在本发明实施例中，所述聚合根生成模块603根据业务请求的业务类型生成聚合根。聚合根的类型包括自然聚合根和标定聚合根。

链路生成模块604，用于

在本发明实施例中，所述链路生成模块604根据聚合根和特征点节点，生成日志文件对应的日志调用链路。日志调用链路在调用函数的基础上，融合聚合根、日志文件的特征点节点，确定便于后续处理的日志数据的文档结构。比如，基于聚合根自动创建一个文档，日志文件中的与特征点出参、入参、关键字、预配置的关键点标签以及时间戳对应的特征点节点的相关信息可以组合成日志调用链路的文档结构。

进一步地，所述采集模块602采集日志文件之后，链路生成模块604对多个系统实例所采集的日志文件进行去重，根据去重后的日志文件，生成日志调用链路。

存储模块605，用于按照所述日志调用链路对所述日志文件进行存储。

在本发明实施例中，通过日志抓取服务，根据日志调用链路，对本地存储的日志文件中与日志调用链路对应的日志数据进行抓取。比如，在抓取日志数据时，通过拦截器抓取调用函数的出参、入参，从而获得函数的全量参数。其中，日志抓取服务可以包括多个进程。

在本发明实施例中，根据聚合根和/或会话标识，确定日志文件以及其中与聚合根对应的日志数据部分；通过日志抓取服务，根据日志调用链路，抓取日志文件对应的日志数据；将抓取的日志数据组合成对应的日志文档；所述存储模块605将日志文档发送给远程数据库，使得远程数据库存储日志文档。

在本发明实施例中，通过本发明的日志文件的处理装置，能够准确定位所需分析的日志内容，提高日志内容查询的效率和准确率，进而便于对日志内容进行分析等处理，使得日志内容的后处理效率提高。

图7是根据本发明实施例的日志文件的处理系统的示意图，如图7所示，本发明实施例的日志文件的处理系统包括：

根据预设的SDK文件，采集业务请求对应的日志文件，SDK文件包括特征点，以使日志文件中包括特征点节点。特征点包括以下任意一个或多个：与业务请求对应的调用函数的出参、入参、关键字、预配置的关键点标签以及时间戳。日志文件的特征点节点指示了SDK文件通过调用函数处理业务请求时，日志文件中与SDK文件的特征点对应的节点。

通过抓取服务，根据日志调用链路，抓取日志文件对应的日志数据，将抓取的日志数据组合成对应的日志文档并发送。

通过收集服务，对日志文档进行处理，获得满足实际需求的日志文档集。

通过存储服务，将日志文档集发送给指定的远程数据库，比如，ES集群或者ApacheKafka消息系统。其中：

ES集群可以提供查询服务，并且，为了应对可能产生的突发需求，可以通过抽取服务，搭建抽取接口抽取需要的日志数据，以便于处理突发需求。

在将日志文档集发送给Apache Kafka消息系统，可以通过消息的形式发布，Kafka消息系统可以通过FLink组件对流式日志数据进行分析。

在本发明实施例中，通过本发明的日志文件的处理系统，能够准确定位所需分析的日志内容，提高日志内容查询的效率和准确率，进而便于对日志内容进行分析等处理，使得日志内容的后处理效率提高。

图8是根据本发明实施例的日志文件的处理系统的应用的示意图一，如图8所示，本发明实施例的日志文件的处理系统的应用包括：边缘域和核心域，其中：

边缘域包括SDK文件、抓取服务，核心域包括收集服务、存储服务、ES集群，其中，ES集群可以提供多种服务，比如，查询分析功能、数据接口、自动测试及业务分析服务等。

在本发明实施例中，如图9所示，本发明实施例的日志文件的处理系统的应用包括：

边缘域对应于目标系统，核心域对应于日志系统。

通过SDK文件对目标系统A、目标系统B、目标系统C中的实例进行日志采集，形成日志文件。通过抓取服务，基于聚合根和/或会话标识确定日志文件，根据日志调用链路抓取日志数据，形成日志文档，每一个抓取服务经过去重处理后，通过网络协议将日志文档投递给核心域的收集服务。收集服务接收到边缘域投递的日志文档后，对日志文档进行去重区里，滤掉多个边缘域之间可能存在的重复日志文件。通过存储服务将日志文档存储至ES集群。其中，日志系统中的各个实例可以包括目标系统的各个实例的部分或者全部日志数据，比如，日志系统的实例1包括目标系统A中的实例A1和实例A2的日志数据；日志系统的实例2包括目标系统B中的实例B1、实例B2和实例B3的日志数据；日志系统的实例3包括目标系统C中的实例C4的日志数据；日志系统的实例4包括目标系统C中的实例C1、实例C2、实例C3和实例C4的日志数据。

在本发明实施例中，通过本发明的日志文件的处理系统的应用，能够准确定位所需分析的日志内容，提高日志内容查询的效率和准确率，进而便于对日志内容进行分析等处理，使得日志内容的后处理效率提高。

图10示出了可以应用本发明实施例的日志文件的处理方法或日志文件的处理装置的示例性系统架构1000。

如图10所示，系统架构1000可以包括终端设备1001、1002、1003，网络1004和服务器1005。网络1004用以在终端设备1001、1002、1003和服务器1005之间提供通信链路的介质。网络1004可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备1001、1002、1003通过网络1004与服务器1005交互，以接收或发送消息等。终端设备1001、1002、1003上可以安装有各种通讯客户端应用，例如业务类应用、购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备1001、1002、1003可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器1005可以是提供各种服务的服务器，例如对用户利用终端设备1001、1002、1003所浏览的业务类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的业务处理请求等数据进行分析等处理，并将处理结果(例如业务日志)反馈给终端设备。

需要说明的是，本发明实施例所提供的日志文件的处理方法一般由服务器1005执行，相应地，日志文件的处理装置一般设置于服务器1005中。

应该理解，图10中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图11，其示出了适于用来实现本发明实施例的终端设备的计算机系统1100的结构示意图。图11示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图11所示，计算机系统1100包括中央处理单元(CPU)1101，其可以根据存储在只读存储器(ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理。在RAM 1103中，还存储有系统1100操作所需的各种程序和数据。CPU 1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。

以下部件连接至I/O接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(CPU)1101执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块、采集模块、聚合根生成模块、链路生成模块和存储模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，聚合根生成模块还可以被描述为“用于根据业务请求的业务类型生成业务请求对应的聚合根的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取业务请求；根据预设的SDK文件，采集所述业务请求对应的日志文件，所述SDK文件包括至少一个特征点，以使所述日志文件中包括至少一个特征点节点；根据所述业务请求的业务类型，生成所述业务请求对应的聚合根；根据所述聚合根和所述至少一个特征点节点，生成所述日志文件对应的日志调用链路；按照所述日志调用链路对所述日志文件进行存储。

根据本发明实施例的技术方案，能够准确定位所需分析的日志内容，提高日志内容查询的效率和准确率，进而便于对日志内容进行分析等处理，使得日志内容的后处理效率提高。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (12)

1.一种日志文件的处理方法，其特征在于，包括：

获取业务请求；

根据预设的SDK文件，采集所述业务请求对应的日志文件，所述SDK文件包括至少一个特征点，以使所述日志文件中包括至少一个特征点节点；

根据所述业务请求的业务类型，生成所述业务请求对应的聚合根；

根据所述聚合根和所述至少一个特征点节点，生成所述日志文件对应的日志调用链路；

按照所述日志调用链路对所述日志文件进行存储。

2.根据权利要求1所述的方法，其特征在于，所述采集所述业务请求对应的日志文件，包括：

通过至少一个线程采集所述至少一个特征点节点对应的日志数据，并生成每一个所述线程对应的会话标识；

根据所述会话标识，将所述至少一个特征点节点的对应的日志数据按序写入所述日志文件。

3.根据权利要求2所述的方法，其特征在于，在存在异步执行的多个线程的情况下，所述生成每一个所述线程对应的会话标识，包括：

确定当前线程是否存在父线程，如果是，将所述父线程的会话标识附加至当前线程的会话标识，并将附加后的会话标识作为所述当前线程的会话标识。

4.根据权利要求2所述的方法，其特征在于，所述SDK文件中还包括：抽样策略；所述按照所述日志调用链路对所述日志文件进行存储，包括：

通过日志抓取服务根据所述聚合根和/或所述会话标识对本地存储的所述日志文件进行抓取；

在被抓取的所述日志数据满足所述抽样策略的情况下，将被抓取的所述日志数据发送给所述远程数据库，以使所述远程数据库存储所述日志数据。

5.根据权利要求1所述的方法，其特征在于，所述SDK文件中还包括：聚合根指令；所述根据所述业务请求的业务类型，生成所述业务请求对应的聚合根，包括：

根据所述业务请求的获取接口的类型，确定所述业务请求的业务类型；

根据所述聚合根指令，生成所述业务类型对应的聚合根。

6.根据权利要求1所述的方法，其特征在于，所述根据所述业务请求的业务类型，生成所述业务请求对应的聚合根，包括：

根据预配置的多个业务类型与多个聚合根的对应关系，生成所述业务请求对应的聚合根。

7.根据权利要求1所述的方法，其特征在于，所述SDK文件部署于多个系统实例中，根据所述多个系统实例中的SDK文件分别采集所述日志文件；还包括：

对所述多个系统实例所采集的所述日志文件进行去重，根据去重后的日志文件，生成所述日志调用链路。

8.根据权利要求1所述的方法，其特征在于，还包括：

根据所述日志调用链路，对处理所述业务请求的业务系统进行测试。

9.根据权利要求1至8任一所述的方法，其特征在于，

所述特征点包括以下任意一个或多个：与所述业务请求对应的调用函数的出参、入参、关键字、预配置的关键点标签以及时间戳。

10.一种日志文件的处理装置，其特征在于，包括：

获取模块，用于获取业务请求；

采集模块，用于根据预设的SDK文件，采集所述业务请求对应的日志文件，所述SDK文件包括至少一个特征点，以使所述日志文件中包括至少一个特征点节点；

第一生成模块，用于根据所述业务请求的业务类型，生成所述业务请求对应的聚合根；

第二生成模块，用于根据所述聚合根和所述至少一个特征点节点，生成所述日志文件对应的日志调用链路；

存储模块，用于按照所述日志调用链路对所述日志文件进行存储。

11.一种日志文件的处理电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。

Images