CN116431459B - 分布式日志链路跟踪数据处理方法及装置 - Google Patents

Abstract

本发明提供一种分布式日志链路跟踪数据处理方法及装置，包括：获取不同业务单元所对应的第一日志，根据预设的逻辑链路、日志跟踪ID对所有的第一日志归类筛选得到多个第一日志集合；根据第一日志集合内第一日志与业务单元的对应关系、生成时间对第一日志进行筛选、排序，生成与第一日志集合所对应的第一链路；提取第一链路中最后一个业务单元的第一日志以及第二关联链路中第一个业务单元的第二关联日志；将第一链路与第二链路合并得到第三组合链路，根据第一日志集合和第二关联日志集合得到第三组合日志集合；对第三组合链路所对应第三组合日志集合分析得到分布式日志的数据处理结果，若数据处理结果不满足要求则输出相应的提醒信息。

Description

分布式日志链路跟踪数据处理方法及装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种分布式日志链路跟踪数据处理方法及装置。

背景技术

分布式系统（distributed system）是建立在网络之上的软件系统。分布式系统中可以具有多个服务器节点，服务器节点可以对应相同或不同的业务单元，不同的业务单元往往具有不同的数据处理功能。

在一个分布式的软件系统中，多个业务单元之间可能会具有一定的服务逻辑，在对分布式的软件系统进行分析时，如果需要多个业务单元之间所形成的业务处理流程进行分析，需要对多个业务单元分别对应的日志进行统计并生成相对应的日志链路，结合日志链路进行综合分析。

由于当前的应用场景越来越多、越来越复杂，导致多个业务单元之间协同服务的情况越来越多，现有技术并无法对不同业务单元所产生的日志进行快速、准确的日志链路的生成和分析，导致得到分析结果的效率较低。

发明内容

本发明实施例提供一种分布式日志链路跟踪数据处理方法及装置，能够对不同业务单元所产生的日志进行快速、准确的日志链路的生成和分析，提高分布式系统的分析效率。

本发明实施例的第一方面，提供一种分布式日志链路跟踪数据处理方法，包括：

日志管理系统获取不同业务单元所对应的第一日志，根据预设的逻辑链路、日志跟踪ID对所有的第一日志归类筛选得到多个第一日志集合，每个逻辑链路包括多个预设逻辑顺序关系的业务单元；

根据第一日志集合内每个第一日志与业务单元的对应关系、生成时间对第一日志进行筛选、排序，生成与第一日志集合所对应的第一链路，保存满足链路筛选逻辑的第一日志集合；

确定与第一链路相关联的第二关联链路，提取第一链路中最后一个业务单元的第一日志以及第二关联链路中第一个业务单元的第二关联日志；

若第一日志和第二关联日志满足预设要求则将第一链路与第二链路合并得到第三组合链路，以及根据第一日志集合和第二关联日志集合得到第三组合日志集合；

对所述第三组合链路所对应第三组合日志集合进行分析得到分布式日志的数据处理结果，若数据处理结果不满足要求则输出相应的提醒信息。

可选地，在第一方面的一种可能实现方式中，所述日志管理系统获取不同业务单元所对应的第一日志，根据预设的逻辑链路、日志跟踪ID对所有的第一日志归类筛选得到多个第一日志集合，每个逻辑链路包括多个预设逻辑顺序关系的业务单元，包括：

日志管理系统获取不同业务单元所对应的第一日志，基于所述日志跟踪ID对所有的第一日志归类得到待筛选集合，每个待筛选集合与相应的日志跟踪ID对应；

根据不同业务单元确定每个业务单元所对应预设的逻辑链路，生成与每个逻辑链路所对应的日志集合；

确定逻辑链路中每个业务单元所对应的业务节点，根据所述业务节点将相应第一日志由待筛选集合复制挑选至相对应的日志集合内得到第一日志集合。

可选地，在第一方面的一种可能实现方式中，所述确定逻辑链路中每个业务单元所对应的业务节点，根据所述业务节点将相应第一日志由待筛选集合复制挑选至相对应的日志集合内得到第一日志集合，包括：

确定逻辑链路中每个业务单元所对应的业务节点，生成与每个业务节点所对应的日志存储单元；

挑选待筛选集合内与每个业务节点所对应的第一日志，并填充至与相应业务节点的日志存储单元内，根据每个逻辑链路的日志存储单元内的第一日志得到第一日志集合。

可选地，在第一方面的一种可能实现方式中，所述根据第一日志集合内每个第一日志与业务单元的对应关系、生成时间对第一日志进行筛选、排序，生成与第一日志集合所对应的第一链路，保存满足链路筛选逻辑的第一日志集合，包括：

若日志存储单元内第一日志数量为多个，则基于相应日志存储单元所对应相邻业务节点的日志存储单元进行筛选，得到一个第一日志；

提取逻辑链路中业务节点的节点顺序关系，以及根据每个日志存储单元内第一日志的生成时间对相应进行业务节点排序得到时间顺序关系；

若所述节点顺序关系与所述时间顺序关系相对应且具有第一日志的日志存储单元满足要求，则根据第一日志的时间顺序关系生成与第一日志集合所对应的第一链路。

可选地，在第一方面的一种可能实现方式中，所述若日志存储单元内第一日志数量为多个，则基于相应日志存储单元所对应相邻业务节点的日志存储单元进行筛选，得到一个第一日志，包括：

若日志存储单元内第一日志数量为多个，则将相应日志存储单元作为第一日志存储单元，确定逻辑链路中与第一日志存储单元对应的业务节点为第一业务节点，以及相应多个第一日志的第一生成时间；

提取逻辑链路中所述第一业务节点的前一个业务节点作为第二业务节点，提取第二业务节点中第一日志所对应的时间为第二生成时间；

提取逻辑链路中所述第一业务节点的后一个业务节点作为第三业务节点，提取第三业务节点中第一日志所对应的时间为第三生成时间；

根据第二生成时间、第三生成时间对多个第一日志的第一生成时间校验筛选，得到一个第一日志。

可选地，在第一方面的一种可能实现方式中，所述根据第二生成时间、第三生成时间对多个第一日志的第一生成时间校验筛选，得到一个第一日志，包括：

根据第二生成时间、第三生成时间生成相对应的校验时间段；

将位于校验时间段内的第一日志作为待确定的第一日志，将不位于校验时间段内的第一日志作为待剔除的第一日志，将待剔除的第一日志由相应的日志存储单元内剔除；

若判断待确定的第一日志为多个，则对多个第一日志合并得到更新后的第一日志，将多个待确定的第一日志的平均第一生成时间作为更新后的第一日志的第一生成时间。

可选地，在第一方面的一种可能实现方式中，所述若所述节点顺序关系与所述时间顺序关系相对应且具有第一日志的日志存储单元满足要求，则根据第一日志的时间顺序关系生成与第一日志集合所对应的第一链路，包括：

若节点顺序关系与所述时间顺序关系不相对应，则将相应的第一日志集合和逻辑链路删除；

若节点顺序关系与所述时间顺序关系相对应，则获取具有第一日志的日志存储单元；

确定第一日志的日志存储单元中最近时间的第一日志和最远时间的第一日志，根据最近时间的第一日志和最远时间的第一日志对逻辑链路进行截取得到相对应的截取链路；

获取所有截取链路所对应业务节点的日志存储单元，若判断任意一个日志存储单元内存在的第一日志为0，则判断截取链路的日志存储单元不满足要求，将相应的第一日志集合和逻辑链路删除；

若判断所有日志存储单元内存在的第一日志为1，则根据第一日志的时间顺序关系生成与第一日志集合所对应的第一链路。

可选地，在第一方面的一种可能实现方式中，所述若第一日志和第二关联日志满足预设要求则将第一链路与第二链路合并得到第三组合链路，以及根据第一日志集合和第二关联日志集合得到第三组合日志集合，包括：

将所述第一链路和第二链路分别与预设关联表比对，确定预设要求相应的关联条件，所述预设关联表内具有不同链路组合模式对应的关联条件；

若所述第一日志和第二关联日志的当前信息满足所述关联条件则将第一链路与第二链路合并得到第三组合链路，根据第一日志集合和第二关联日志集合得到第三组合日志集合。

可选地，在第一方面的一种可能实现方式中，所述对所述第三组合链路所对应第三组合日志集合进行分析得到分布式日志的数据处理结果，若数据处理结果不满足要求则输出相应的提醒信息，包括：

接收用户对第三组合链路、第三组合日志集合所配置的分析目标，根据所述分析目标确定相应的日志分析目标和日志提取信息；

根据所述日志分析目标选择第三组合日志集合内相应的日志，基于所述日志提取信息对相应第三组合日志集合内的日志信息提取，得到日志属性信息；

根据多个日志的日志属性信息得到数据处理结果，若数据处理结果不满足要求则输出相应的提醒信息。

本发明实施例的第二方面，提供一种分布式日志链路跟踪数据处理装置，包括：

获取模块，用于使日志管理系统获取不同业务单元所对应的第一日志，根据预设的逻辑链路、日志跟踪ID对所有的第一日志归类筛选得到多个第一日志集合，每个逻辑链路包括多个预设逻辑顺序关系的业务单元；

生成模块，用于根据第一日志集合内每个第一日志与业务单元的对应关系、生成时间对第一日志进行筛选、排序，生成与第一日志集合所对应的第一链路，保存满足链路筛选逻辑的第一日志集合；

确定模块，用于确定与第一链路相关联的第二关联链路，提取第一链路中最后一个业务单元的第一日志以及第二关联链路中第一个业务单元的第二关联日志；

合并模块，用于若第一日志和第二关联日志满足预设要求则将第一链路与第二链路合并得到第三组合链路，以及根据第一日志集合和第二关联日志集合得到第三组合日志集合；

分析模块，用于对所述第三组合链路所对应第三组合日志集合进行分析得到分布式日志的数据处理结果，若数据处理结果不满足要求则输出相应的提醒信息。

本发明实施例的第三方面，提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能设计的所述方法。

本发明提供的一种分布式日志链路跟踪数据处理方法及装置，会根据跟日志跟踪ID对所有不同业务单元所对应的第一日志进行统计，并得到相应的第一日志集合，使得本发明在对第一日志的统计时都能够按照相应业务逻辑所对应的业务单元进行统计。并且本发明会对每个业务单元所对应的第一日志进行筛选、排序，使得每个逻辑链路会只保存满足要求的第一日志，进而使得后续在对第一链路进行筛选时更加准确，本发明会对具有融合可能的第一链路、第二关联链路进行关联并进行综合分析，使得本发明能够根据业务服务的不同具有针对性的形成相应的日志链路，相较于传统的日志链路的生成具有更高的准确性、适应性，降低人为匹配生成日志链路的任务量，提高日志链路生成的准确率和效率。本发明会根据用户所需要的分析维度针对第三组合链路进行分析和提醒，使得用户能够根据需求以业务服务为单位进行业务单元的优化。

本发明在进行第一日志的筛选时，会结合每个业务节点的上下游节点之间的逻辑关系进行综合分析，剔除不符合逻辑的第一日志，并且在相应的第一日志为多个时，本发明会针对多个第一日志进行组合处理，使得每个逻辑链路内的业务节点的第一日志都是单独的，方便后面形成基于日志所组成的第一链路。并且，本发明在对第一日志集合进行筛选时，会判断所有日志所形成的截取链路是否符合客观逻辑，如果不符合相应的客观逻辑，则证明用户并没有进行相应的操作，本发明可以直接将相应的第一日志集合和逻辑链路删除，以实现对第一日志集合、逻辑链路的精简，使得后期能够生成准确的第一链路。

本发明在得到第一链路之后，会结合第一链路和其他第二链路之间的关系进行分析，在判断第一链路和其他第二链路能够结合时，则本发明会基于预设关联表将第一链路和第二链路进行组合得到相对应的第三组合链路，使得本发明能够对分体的业务服务、组合的业务服务分别进行分析，所得到的日志链路更加贴合相应的应用场景，保障后期分析结果所对应的服务业务更加准确。

附图说明

图1为分布式日志链路跟踪数据处理方法的第一种实施方式的流程图；

图2为分布式日志链路跟踪数据处理方法的第二种实施方式的流程图；

图3为分布式日志链路跟踪数据处理装置的第一种实施方式的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。

应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。

取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

本发明提供一种分布式日志链路跟踪数据处理方法，如图1所示，包括：

步骤S110、日志管理系统获取不同业务单元所对应的第一日志，根据预设的逻辑链路、日志跟踪ID对所有的第一日志归类筛选得到多个第一日志集合，每个逻辑链路包括多个预设逻辑顺序关系的业务单元。本发明提供的技术方案，日志管理系统会获取不同业务单元所对应的第一日志，不同的第一日志可能对应不同的主体，本发明会根据预设的逻辑链路、日志跟踪ID对所有的第一日志归类筛选得到多个第一日志集合。逻辑链路可以是根据多个业务单元之间的协作预先设置的，例如一个注册认证服务，包括了手机号码注册、人脸认证等业务流程，手机号码注册对应一个业务单元、人脸认证对应一个业务单元，注册认证服务所对应的逻辑链路即包括了多个预设逻辑顺序关系的业务单元，注册认证服务的逻辑链路的预设逻辑顺序即为手机号码注册在前、人脸认证在后。此时，注册认证服务的逻辑链路所包括的预设逻辑顺序关系即为手机号码注册对应的业务单元在前、人脸认证对应的业务单元在后，手机号码注册对应的业务单元的顺序编码可以是1、人脸认证对应的业务单元可以是2。

本发明提供的技术方案，在一个可能的实施方式中，如图2所示，步骤S110包括：

步骤S1101、日志管理系统获取不同业务单元所对应的第一日志，基于所述日志跟踪ID对所有的第一日志归类得到待筛选集合，每个待筛选集合与相应的日志跟踪ID对应。本发明中，日志管理系统获取不同业务单元所对应的第一日志，所获取的第一日志可以是实时获取的，也可以是预设时间段内的第一日志，对于第一日志的获取方式本发明不做限定，本发明会根据日志跟踪ID对所有的第一日志归类得到待筛选集合，每个待筛选集合与相应的日志跟踪ID对应，需要说明的是待筛选集合内每个第一日志的日志跟踪ID是相同的。

步骤S1102、根据不同业务单元确定每个业务单元所对应预设的逻辑链路，生成与每个逻辑链路所对应的日志集合。本发明会将每个业务单元与所有的逻辑链路进行比对，每个逻辑链路可以是由多个业务单元构建，一个业务单元可能会对应多个预设的逻辑链路，例如一个业务单元时人脸识别，多个逻辑链路分别为用户登录所形成的逻辑链路、用户支付所形成的逻辑链路，两个链路都分别需要通过人脸识别的业务单元进行处理。所以本发明会分别生成与不同逻辑链路所对应的日志集合，即在不同业务单元进行操作时所对应的行为信息进行监测，得到相对应的日志。

步骤S1103、确定逻辑链路中每个业务单元所对应的业务节点，根据所述业务节点将相应第一日志由待筛选集合复制挑选至相对应的日志集合内得到第一日志集合。逻辑链路中会包括多个业务节点，不同的业务节点对应不同的业务单元，本发明会根据业务节点将相应第一日志由待筛选集合复制挑选至相对应的日志集合内得到第一日志集合，该种方式使得本发明能够对不同逻辑链路的服务所生成的日志进行统计。

本发明提供的技术方案，在一个可能的实施方式中，所述确定逻辑链路中每个业务单元所对应的业务节点，根据所述业务节点将相应第一日志由待筛选集合复制挑选至相对应的日志集合内得到第一日志集合，包括：

确定逻辑链路中每个业务单元所对应的业务节点，生成与每个业务节点所对应的日志存储单元。本发明会确定每个业务单元所对应的业务节点，并建立相对应的日志存储单元，通过日志存储单元可以对相应逻辑链路中的业务节点的第一日志进行分类存储。

挑选待筛选集合内与每个业务节点所对应的第一日志，并填充至与相应业务节点的日志存储单元内，根据每个逻辑链路的日志存储单元内的第一日志得到第一日志集合。本发明会对每个业务节点的第一日志进行归类，然后对每个逻辑链路所对应日志存储单元内的第一日志再次进行统计，得到相对应的第一日志集合，该种方式所得到的第一日志集合内的第一日志，都是以相应逻辑链路内的业务节点为单位进行统计的，保障了第一日志集合内相应第一日志的准确性。

步骤S120、根据第一日志集合内每个第一日志与业务单元的对应关系、生成时间对第一日志进行筛选、排序，生成与第一日志集合所对应的第一链路，保存满足链路筛选逻辑的第一日志集合。本发明会根据第一日志与业务单元的对应关系、生成时间等多个维度，对第一日志进行筛选和排序，得到与第一日志集合所对应的第一链路，此时的第一链路即为与逻辑链路中业务单元顺序所对应的日志链路。

本发明提供的技术方案，在一个可能的实施方式中，步骤S120包括：

若日志存储单元内第一日志数量为多个，则基于相应日志存储单元所对应相邻业务节点的日志存储单元进行筛选，得到一个第一日志。在正常的场景下，一个日志跟踪ID所对应主体在一个逻辑链路中的操作生成相对应的一个第一日志，但是在一个日志跟踪ID所对应主体完成具有同一个业务单元的多个逻辑链路时，则会造成一个业务单元对应多个第一日志的情况，此时的多个第一日志所对应的逻辑链路是不同的，所以本发明会要根据不同逻辑链路的业务节点所对应的日志存储单元进行筛选，得到一个第一日志。

本发明提供的技术方案，在一个可能的实施方式中，所述若日志存储单元内第一日志数量为多个，则基于相应日志存储单元所对应相邻业务节点的日志存储单元进行筛选，得到一个第一日志，包括：

若日志存储单元内第一日志数量为多个，则将相应日志存储单元作为第一日志存储单元，确定逻辑链路中与第一日志存储单元对应的业务节点为第一业务节点，以及相应多个第一日志的第一生成时间。在判断一个日志存储单元内第一日志数量为多个时，本发明会对相应的日志存储单元进行标记作为第一日志存储单元，同时本发明会确定逻辑链路中相应的业务节点为第一业务节点，此时本发明会得到相应第一日志存储单元内多个第一日志的第一生成时间。

提取逻辑链路中所述第一业务节点的前一个业务节点作为第二业务节点，提取第二业务节点中第一日志所对应的时间为第二生成时间。本发明会得到前一个业务节点作的第二生成时间，第二生成时间会在相应第一日志的第一生成时间之前，因为在相应的逻辑链路中，先进行业务处理的业务单元的日志所对应的操作数据会早于后进行业务处理的业务单元的日志。

提取逻辑链路中所述第一业务节点的后一个业务节点作为第三业务节点，提取第三业务节点中第一日志所对应的时间为第三生成时间。同样的，本发明会得到后一个业务节点作的第三生成时间，第三生成时间会在相应第一日志的第一生成时间之后，因为在相应的逻辑链路中，后进行业务处理的业务单元的日志所对应的操作数据会晚于后进行业务处理的业务单元的日志。

根据第二生成时间、第三生成时间对多个第一日志的第一生成时间校验筛选，得到一个第一日志。本发明会集合第二生成时间、第三生成时间对第一日志的第一生成时间校验，如果第一日志的第一生成时间满足第二生成时间、第三生成时间的校验，则证明此时不同链路节点所生成日志的顺序是符合逻辑链路的处理逻辑的。

本发明提供的技术方案，在一个可能的实施方式中，所述根据第二生成时间、第三生成时间对多个第一日志的第一生成时间校验筛选，得到一个第一日志，包括：

根据第二生成时间、第三生成时间生成相对应的校验时间段。本发明提供的技术方案，会根据第二生成时间、第三生成时间得到校验时间段，例如第二生成时间2022年5月24日20:40:35、第三生成时间为2023年5月24日20:40:55，则校验时间段即为2022年5月24日20:40:35至2023年5月24日20:40:55。

将位于校验时间段内的第一日志作为待确定的第一日志，将不位于校验时间段内的第一日志作为待剔除的第一日志，将待剔除的第一日志由相应的日志存储单元内剔除。本发明会将处于校验时间段内的第一日志作为待确定的第一日志，待确定的第一日志即为符合相应逻辑链路的第一日志，不位于校验时间段内的第一日志即为不符合相应逻辑链路所对应逻辑的第一日志，此时本发明会将相应的第一日志剔除。使得不符合相应逻辑链路的处理逻辑的第一日志能够被有效的筛查、剔除。

若判断待确定的第一日志为多个，则对多个第一日志合并得到更新后的第一日志，将多个待确定的第一日志的平均第一生成时间作为更新后的第一日志的第一生成时间。在某些特殊场景下，符合要求的待确定的第一日志可能为多个，此时本发明多个第一日志合并得到更新后的第一日志，合并方式可以是将两个第一日志不同的信息合并。例如两个第一日志对应一个人的不同操作，此时本发明会将多个待确定的第一日志的平均第一生成时间作为更新后的第一日志的第一生成时间，使得更新后的第一日志的时间是综合多个更新前的第一日志的。

提取逻辑链路中业务节点的节点顺序关系，以及根据每个日志存储单元内第一日志的生成时间对相应进行业务节点排序得到时间顺序关系。本发明会对逻辑链路中业务节点的节点顺序关系进行提取，通过节点顺序关系能够反映出逻辑链路内业务节点的预设顺序，通过日志存储单元内第一日志的生成时间得到的业务节点排序可以看作是用户操作时的实际顺序。

若所述节点顺序关系与所述时间顺序关系相对应且具有第一日志的日志存储单元满足要求，则根据第一日志的时间顺序关系生成与第一日志集合所对应的第一链路。在节点顺序关系与所述时间顺序关系相对应时，则证明相应的预设顺序与用户实际操作的实际顺序是相对应的，此时的顺序关系可以看作是符合要求的。然后本发明会判断具有第一日志的日志存储单元是否满足要求，在第一日志的日志存储单元满足要求后，本发明会根据第一日志的时间顺序关系生成与第一日志集合所对应的第一链路，通过第一链路能够反映出用户的实际操作，以及相应第一链路所对应的业务服务。

本发明提供的技术方案，在一个可能的实施方式中，所述若所述节点顺序关系与所述时间顺序关系相对应且具有第一日志的日志存储单元满足要求，则根据第一日志的时间顺序关系生成与第一日志集合所对应的第一链路，包括：

若节点顺序关系与所述时间顺序关系不相对应，则将相应的第一日志集合和逻辑链路删除。此时相应的预设顺序与用户实际操作的实际顺序是不相对应的，所以此时可以看作用户并没有进行与逻辑链路所对应的业务服务，所以此时可以看作相应的第一日志集合和逻辑链路并不是用户的操作行为正确对应的，所以本发明会将第一日志集合和逻辑链路删除。

若节点顺序关系与所述时间顺序关系相对应，则获取具有第一日志的日志存储单元。此时则相应的逻辑链路是用户所进行实际操作的实际链路。

确定第一日志的日志存储单元中最近时间的第一日志和最远时间的第一日志，根据最近时间的第一日志和最远时间的第一日志对逻辑链路进行截取得到相对应的截取链路。本发明会确定第一日志的日志存储单元中最近时间的第一日志和最远时间的第一日志，在某些应用场景下，例如认证服务中一共3个节点，用户可能完成了前两个节点，此时第三个节点并没有操作，所以此时本发明需要在确定日志存储单元中最近时间的第一日志和最远时间的第一日志，根据最近时间的第一日志和最远时间的第一日志对逻辑链路进行截取，截取链路可以看作是用户进行实际操作的业务节点所形成的链路。

获取所有截取链路所对应业务节点的日志存储单元，若判断任意一个日志存储单元内存在的第一日志为0，则判断截取链路的日志存储单元不满足要求，将相应的第一日志集合和逻辑链路删除。本发明会得到截取链路所对应业务节点的日志存储单元，如果其中一个日志存储单元内存在的第一日志为0时，则证明相应截取链路中存在跳着操作的行为，例如在完成一个业务服务时，所需要经过的逻辑链路为业务节点A→业务节点B→业务节点C，此时业务节点B内的第一日志为0，业务节点A和业务节点C的第一日志不为0，则此时相对于业务节点A→业务节点B→业务节点C的逻辑链路可以看作是跳着完成的，并不符合正确的业务逻辑，所以此时截取链路的日志存储单元不满足要求，即将相应的第一日志集合和逻辑链路删除。

若判断所有日志存储单元内存在的第一日志为1，则根据第一日志的时间顺序关系生成与第一日志集合所对应的第一链路。在所有日志存储单元内存在的第一日志为1时，则证明相应逻辑链路内的第一日志都是由记录相应操作的，此时本发明会根据第一日志的时间顺序关系生成与第一日志集合所对应的第一链路。此时的第一链路会具有多个第一日志的顺序及多个日志的信息。

步骤S130、确定与第一链路相关联的第二关联链路，提取第一链路中最后一个业务单元的第一日志以及第二关联链路中第一个业务单元的第二关联日志。在某些应用场景下，不同的第一链路和第二链路之间可能是相关联的，例如注册认证服务和绑定认证服务，注册认证服务可以看作是用户进行身份注册，绑定认证服务可以是在用户进行注册认证服务后进行相关银行卡的绑定，第一链路和第二关联链路可以是分体存在的、分体完成的，也可以是先后完成的，在第一链路和第二关联链路先后完成的时，可以对其进行结合分析，即本发明会确定与第一链路相关联的第二关联链路，并对第一链路和第二关联链路中相对应的日志进行提取。

步骤S140、若第一日志和第二关联日志满足预设要求则将第一链路与第二链路合并得到第三组合链路，以及根据第一日志集合和第二关联日志集合得到第三组合日志集合。在第一日志和第二关联日志满足预设要求时，本发明会将第一日志和第二关联日志合并，此时本发明会得到第三组合链路，并且本发明会对第一日志集合和第二关联日志集合进行融合统计，得到相对应的第三组合日志集合。

本发明提供的技术方案，在一个可能的实施方式中，所述若第一日志和第二关联日志满足预设要求则将第一链路与第二链路合并得到第三组合链路，以及根据第一日志集合和第二关联日志集合得到第三组合日志集合，包括：

将所述第一链路和第二链路分别与预设关联表比对，确定预设要求相应的关联条件，所述预设关联表内具有不同链路组合模式对应的关联条件。本发明会具有预先设置的预设关联表，通过预设关联表可以得到所有不同逻辑链路的日志之间的结合关系，关联条件例如为第一链路中必须存在业务单元C的第一日志，以及第二链路中必须存在业务单元D的第一日志。

若所述第一日志和第二关联日志的当前信息满足所述关联条件则将第一链路与第二链路合并得到第三组合链路，根据第一日志集合和第二关联日志集合得到第三组合日志集合。在第一链路中存在业务单元C的第一日志、以及第二链路中存在业务单元D的第一日志时，则认为第一日志和第二关联日志的当前信息满足关联条件，此时本发明会将第一链路与第二链路合并得到第三组合链路。例如第一链路为日志A→日志B→日志C，第二链路为日志D→日志E→日志F，则此时的第三组合链路即为日志A→日志B→日志C→日志D→日志E→日志F，本发明会根据第一日志集合和第二关联日志集合得到第三组合日志集合。

步骤S150、对所述第三组合链路所对应第三组合日志集合进行分析得到分布式日志的数据处理结果，若数据处理结果不满足要求则输出相应的提醒信息。本发明会在得到第三组合链路后，对第三组合日志集合进行分析得到分布式日志的数据处理结果，分析可以是多个维度、多样化的，可以根据不同业务类型的第三组合链路进行分析，得到不同维度的数据处理结果，在数据处理结果不满足要求时本发明则会输出相应的提醒信息，对用户进行提醒。

本发明提供的技术方案，在一个可能的实施方式中，步骤S150包括：

接收用户对第三组合链路、第三组合日志集合所配置的分析目标，根据所述分析目标确定相应的日志分析目标和日志提取信息。本发明会得到第三组合链路、第三组合日志集合所配置的分析目标，日志分析目标可以是处理时间、数据处理量等等，不同的处理目标会对应日志不同的提取信息，例如分析目标是相应业务的处理时间，则此时的日志提取信息即为时间信息。

根据所述日志分析目标选择第三组合日志集合内相应的日志，基于所述日志提取信息对相应第三组合日志集合内的日志信息提取，得到日志属性信息。本发明会选择第三组合日志集合内相应的日志，如果是分析总时间，则可以提取排名第1的日志和最后的日志的时间，得到为时间的日志属性信息。

根据多个日志的日志属性信息得到数据处理结果，若数据处理结果不满足要求则输出相应的提醒信息。本发明会根据日志属性信息进行分析得到数据处理结果，例如排名第1的日志和最后的日志的时间的时间间隔为10分钟，分发明会将10分钟与预设时间3分钟比对，如果时间间隔大于了预设时间，则此时本发明会确认相应的数据处理结果不满足要求则输出相应的提醒信息，提醒用户需要对相应逻辑链路所对应的业务服务进行优化处理，通过以上方方式按照生个业务服务逻辑对日志链路进行分析，高效提供服务的同时，提高服务的满意率。需要说明是的，以上针对时间维度进行分析的方式仅仅是本发明提供技术方案的其中一种应用场景。

为了实现本发明提供的一种分布式日志链路跟踪数据处理方法，本发明还提供一种分布式日志链路跟踪数据处理装置，如图3所示，包括：

获取模块，用于使日志管理系统获取不同业务单元所对应的第一日志，根据预设的逻辑链路、日志跟踪ID对所有的第一日志归类筛选得到多个第一日志集合，每个逻辑链路包括多个预设逻辑顺序关系的业务单元；

生成模块，用于根据第一日志集合内每个第一日志与业务单元的对应关系、生成时间对第一日志进行筛选、排序，生成与第一日志集合所对应的第一链路，保存满足链路筛选逻辑的第一日志集合；

确定模块，用于确定与第一链路相关联的第二关联链路，提取第一链路中最后一个业务单元的第一日志以及第二关联链路中第一个业务单元的第二关联日志；

合并模块，用于若第一日志和第二关联日志满足预设要求则将第一链路与第二链路合并得到第三组合链路，以及根据第一日志集合和第二关联日志集合得到第三组合日志集合；

分析模块，用于对所述第三组合链路所对应第三组合日志集合进行分析得到分布式日志的数据处理结果，若数据处理结果不满足要求则输出相应的提醒信息。

本发明还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。

其中，存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。存储介质可以是只读存储器（ROM）、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在存储介质中。设备的至少一个处理器可以从存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。

在上述终端或者服务器的实施例中，应理解，处理器可以是中央处理单元（英文：Central Processing Unit，简称：CPU），还可以是其他通用处理器、数字信号处理器（英文：Digital Signal Processor，简称：DSP）、专用集成电路（英文：Application SpecificIntegrated Circuit，简称：ASIC）等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.分布式日志链路跟踪数据处理方法，其特征在于，包括：

日志管理系统获取不同业务单元所对应的第一日志，根据预设的逻辑链路、日志跟踪ID对所有的第一日志归类筛选得到多个第一日志集合，每个逻辑链路包括多个预设逻辑顺序关系的业务单元；

日志管理系统获取不同业务单元所对应的第一日志，基于所述日志跟踪ID对所有的第一日志归类得到待筛选集合，每个待筛选集合与相应的日志跟踪ID对应；

根据不同业务单元确定每个业务单元所对应预设的逻辑链路，生成与每个逻辑链路所对应的日志集合；

确定逻辑链路中每个业务单元所对应的业务节点，根据所述业务节点将相应第一日志由待筛选集合复制挑选至相对应的日志集合内得到第一日志集合；

确定逻辑链路中每个业务单元所对应的业务节点，生成与每个业务节点所对应的日志存储单元；

挑选待筛选集合内与每个业务节点所对应的第一日志，并填充至与相应业务节点的日志存储单元内，根据每个逻辑链路的日志存储单元内的第一日志得到第一日志集合；

若日志存储单元内第一日志数量为多个，则基于相应日志存储单元所对应相邻业务节点的日志存储单元进行筛选，得到一个第一日志；

提取逻辑链路中业务节点的节点顺序关系，以及根据每个日志存储单元内第一日志的生成时间对相应进行业务节点排序得到时间顺序关系；

若所述节点顺序关系与所述时间顺序关系相对应且具有第一日志的日志存储单元满足要求，则根据第一日志的时间顺序关系生成与第一日志集合所对应的第一链路；

根据第一日志集合内每个第一日志与业务单元的对应关系、生成时间对第一日志进行筛选、排序，生成与第一日志集合所对应的第一链路，保存满足链路筛选逻辑的第一日志集合；

确定与第一链路相关联的第二关联链路，提取第一链路中最后一个业务单元的第一日志以及第二关联链路中第一个业务单元的第二关联日志；

若第一日志和第二关联日志满足预设要求则将第一链路与第二链路合并得到第三组合链路，以及根据第一日志集合和第二关联日志集合得到第三组合日志集合；

对所述第三组合链路所对应第三组合日志集合进行分析得到分布式日志的数据处理结果，若数据处理结果不满足要求则输出相应的提醒信息。

2.根据权利要求1所述的分布式日志链路跟踪数据处理方法，其特征在于，

所述若日志存储单元内第一日志数量为多个，则基于相应日志存储单元所对应相邻业务节点的日志存储单元进行筛选，得到一个第一日志，包括：

若日志存储单元内第一日志数量为多个，则将相应日志存储单元作为第一日志存储单元，确定逻辑链路中与第一日志存储单元对应的业务节点为第一业务节点，以及相应多个第一日志的第一生成时间；

提取逻辑链路中所述第一业务节点的前一个业务节点作为第二业务节点，提取第二业务节点中第一日志所对应的时间为第二生成时间；

提取逻辑链路中所述第一业务节点的后一个业务节点作为第三业务节点，提取第三业务节点中第一日志所对应的时间为第三生成时间；

根据第二生成时间、第三生成时间对多个第一日志的第一生成时间校验筛选，得到一个第一日志。

3.根据权利要求2所述的分布式日志链路跟踪数据处理方法，其特征在于，

所述根据第二生成时间、第三生成时间对多个第一日志的第一生成时间校验筛选，得到一个第一日志，包括：

根据第二生成时间、第三生成时间生成相对应的校验时间段；

将位于校验时间段内的第一日志作为待确定的第一日志，将不位于校验时间段内的第一日志作为待剔除的第一日志，将待剔除的第一日志由相应的日志存储单元内剔除；

若判断待确定的第一日志为多个，则对多个第一日志合并得到更新后的第一日志，将多个待确定的第一日志的平均第一生成时间作为更新后的第一日志的第一生成时间。

4.根据权利要求1所述的分布式日志链路跟踪数据处理方法，其特征在于，

所述若所述节点顺序关系与所述时间顺序关系相对应且具有第一日志的日志存储单元满足要求，则根据第一日志的时间顺序关系生成与第一日志集合所对应的第一链路，包括：

若节点顺序关系与所述时间顺序关系不相对应，则将相应的第一日志集合和逻辑链路删除；

若节点顺序关系与所述时间顺序关系相对应，则获取具有第一日志的日志存储单元；

确定第一日志的日志存储单元中最近时间的第一日志和最远时间的第一日志，根据最近时间的第一日志和最远时间的第一日志对逻辑链路进行截取得到相对应的截取链路；

获取所有截取链路所对应业务节点的日志存储单元，若判断任意一个日志存储单元内存在的第一日志为0，则判断截取链路的日志存储单元不满足要求，将相应的第一日志集合和逻辑链路删除；

若判断所有日志存储单元内存在的第一日志为1，则根据第一日志的时间顺序关系生成与第一日志集合所对应的第一链路。

5.根据权利要求4所述的分布式日志链路跟踪数据处理方法，其特征在于，

所述若第一日志和第二关联日志满足预设要求则将第一链路与第二链路合并得到第三组合链路，以及根据第一日志集合和第二关联日志集合得到第三组合日志集合，包括：

将所述第一链路和第二链路分别与预设关联表比对，确定预设要求相应的关联条件，所述预设关联表内具有不同链路组合模式对应的关联条件；

若所述第一日志和第二关联日志的当前信息满足所述关联条件则将第一链路与第二链路合并得到第三组合链路，根据第一日志集合和第二关联日志集合得到第三组合日志集合。

6.根据权利要求5所述的分布式日志链路跟踪数据处理方法，其特征在于，

所述对所述第三组合链路所对应第三组合日志集合进行分析得到分布式日志的数据处理结果，若数据处理结果不满足要求则输出相应的提醒信息，包括：

接收用户对第三组合链路、第三组合日志集合所配置的分析目标，根据所述分析目标确定相应的日志分析目标和日志提取信息；

根据所述日志分析目标选择第三组合日志集合内相应的日志，基于所述日志提取信息对相应第三组合日志集合内的日志信息提取，得到日志属性信息；

根据多个日志的日志属性信息得到数据处理结果，若数据处理结果不满足要求则输出相应的提醒信息。

7.分布式日志链路跟踪数据处理装置，其特征在于，包括：

获取模块，用于使日志管理系统获取不同业务单元所对应的第一日志，根据预设的逻辑链路、日志跟踪ID对所有的第一日志归类筛选得到多个第一日志集合，每个逻辑链路包括多个预设逻辑顺序关系的业务单元；

日志管理系统获取不同业务单元所对应的第一日志，基于所述日志跟踪ID对所有的第一日志归类得到待筛选集合，每个待筛选集合与相应的日志跟踪ID对应；

根据不同业务单元确定每个业务单元所对应预设的逻辑链路，生成与每个逻辑链路所对应的日志集合；

确定逻辑链路中每个业务单元所对应的业务节点，根据所述业务节点将相应第一日志由待筛选集合复制挑选至相对应的日志集合内得到第一日志集合；

确定逻辑链路中每个业务单元所对应的业务节点，生成与每个业务节点所对应的日志存储单元；

挑选待筛选集合内与每个业务节点所对应的第一日志，并填充至与相应业务节点的日志存储单元内，根据每个逻辑链路的日志存储单元内的第一日志得到第一日志集合；

若日志存储单元内第一日志数量为多个，则基于相应日志存储单元所对应相邻业务节点的日志存储单元进行筛选，得到一个第一日志；

提取逻辑链路中业务节点的节点顺序关系，以及根据每个日志存储单元内第一日志的生成时间对相应进行业务节点排序得到时间顺序关系；

若所述节点顺序关系与所述时间顺序关系相对应且具有第一日志的日志存储单元满足要求，则根据第一日志的时间顺序关系生成与第一日志集合所对应的第一链路；

生成模块，用于根据第一日志集合内每个第一日志与业务单元的对应关系、生成时间对第一日志进行筛选、排序，生成与第一日志集合所对应的第一链路，保存满足链路筛选逻辑的第一日志集合；

确定模块，用于确定与第一链路相关联的第二关联链路，提取第一链路中最后一个业务单元的第一日志以及第二关联链路中第一个业务单元的第二关联日志；

合并模块，用于若第一日志和第二关联日志满足预设要求则将第一链路与第二链路合并得到第三组合链路，以及根据第一日志集合和第二关联日志集合得到第三组合日志集合；

分析模块，用于对所述第三组合链路所对应第三组合日志集合进行分析得到分布式日志的数据处理结果，若数据处理结果不满足要求则输出相应的提醒信息。