CN110191026A - 一种分布式业务链路监控方法及装置 - Google Patents

Abstract

本申请提供的一种分布式业务链路监控方法及装置，其中方法包括：当检测到业务调用信息被调用时，获取业务调用信息的参数；根据业务调用信息的参数，判断业务调用信息对应的业务接口是否属于业务发起调用接口，若是，则将业务调用信息的参数和业务调用信息对应的业务信息存入第二存储集群，若否，根据业务调用信息的参数和预置在第一存储集群中的调用信息与业务信息的对应关系，匹配与业务调用信息对应的业务信息，并将业务调用信息的参数和业务信息存入第二存储集群。本申请通过采用在数据获取处理环节上将所有的业务调用信息进行业务信息匹配，无需进行二次转换处理，解决了现有的分布式业务链路监控、分析工作的执行效率低的技术问题。

Description

一种分布式业务链路监控方法及装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种分布式业务链路监控方法及装置。

背景技术

随着互联网架构的扩张，分布式系统变得日趋复杂，越来越多的组件开始走向分布式化，如微服务、消息收发、分布式数据库、分布式缓存、分布式对象存储、跨域调用，这些组件共同构成了繁杂的分布式网络。

然而，传统的分布式链路监控方法虽然可以记录每一次业务链路调用时经过的环节，但是，这些数据无法直接提供给工作人员进行分析或使用，必须由工作人员另外将需要使用的数据进行二次转换处理之后才能得到人员可读的业务信息，严重影响到分布式业务链路监控、分析工作的执行效率。

发明内容

本申请提供了一种分布式业务链路监控方法及装置，用于解决传统的分布式链路监控方法虽然可以记录每一次业务链路调用时经过的环节，但是，这些数据无法直接提供给工作人员进行分析或使用，必须由工作人员另外将需要使用的数据进行二次转换处理之后才能得到人员可读的业务信息，导致的分布式业务链路监控、分析工作的执行效率低的技术问题。

有鉴于此，本申请第一方面提供了一种分布式业务链路监控方法，包括：

当检测到业务调用信息被调用时，获取所述业务调用信息的参数；

根据所述业务调用信息的参数，判断所述业务调用信息对应的业务接口是否属于业务发起调用接口，若是，则将所述业务调用信息的参数和所述业务调用信息对应的业务信息存入第二存储集群，若否，根据所述业务调用信息的参数和预置在第一存储集群中的调用信息与业务信息的对应关系，匹配与所述业务调用信息对应的业务信息，并将所述业务调用信息的参数和所述业务信息存入所述第二存储集群。

优选地，所述根据所述业务调用信息的参数和预置在第一存储集群中的调用信息与业务信息的对应关系，匹配与所述业务调用信息对应的业务信息之后还包括：

若匹配不成功，则将所述业务调用信息存入缓存模块，并记录所述业务调用信息的匹配次数。

优选地，所述若匹配不成功，则将所述业务调用信息存入缓存模块，并记录所述业务调用信息的匹配次数之后还包括：

定时对所述缓存模块中的业务调用信息进行业务信息匹配，若匹配成功，则将所述业务调用信息的参数和所述业务信息存入所述第二存储集群，若匹配不成功，则判断所述业务调用信息的匹配次数是否大于预设的阈值，若是，则从所述缓存模块中移除所述业务调用信息，若否，则更新所述业务调用信息的匹配次数。

优选地，所述缓存模块具体包括：第一缓存子模块和第二缓存子模块；

所述第一缓存子模块具体用于存储首次业务信息匹配不成功的业务调用信息；

所述第二缓存子模块具体用于存储业务信息匹配不成功且匹配次数大于1的业务调用信息。

优选地，所述根据所述业务调用信息的参数和预置在第一存储集群中的调用信息与业务信息的对应关系，匹配与所述业务调用信息对应的业务信息具体包括：

以所述业务调用信息的参数中的业务调用请求ID作为匹配键值，与预置在第一存储集群中的调用信息与业务信息的对应关系进行匹配，通过匹配得到与所述业务调用信息对应的业务信息。

本申请第二方面提供了一种分布式业务链路监控装置，包括：

参数获取单元，用于当检测到业务调用信息被调用时，获取所述业务调用信息的参数；

业务匹配单元，用于根据所述业务调用信息的参数，判断所述业务调用信息对应的业务接口是否属于业务发起调用接口，若是，则将所述业务调用信息的参数和所述业务调用信息对应的业务信息存入第二存储集群，若否，根据所述业务调用信息的参数和预置在第一存储集群中的调用信息与业务信息的对应关系，匹配与所述业务调用信息对应的业务信息，并将所述业务调用信息的参数和所述业务信息存入所述第二存储集群。

优选地，还包括：

缓存写入单元，用于若匹配不成功，则将所述业务调用信息存入缓存模块，并记录所述业务调用信息的匹配次数。

优选地，还包括：

二次匹配单元，用于定时对所述缓存模块中的业务调用信息进行业务信息匹配，若匹配成功，则将所述业务调用信息的参数和所述业务信息存入所述第二存储集群，若匹配不成功，则判断所述业务调用信息的匹配次数是否大于预设的阈值，若是，则从所述缓存模块中移除所述业务调用信息，若否，则更新所述业务调用信息的匹配次数。

优选地，所述缓存模块具体包括：第一缓存子模块和第二缓存子模块；

所述第一缓存子模块具体用于存储首次业务信息匹配不成功的业务调用信息；

所述第二缓存子模块具体用于存储业务信息匹配不成功且匹配次数大于1的业务调用信息。

优选地，所述根据所述业务调用信息的参数和预置在第一存储集群中的调用信息与业务信息的对应关系，匹配与所述业务调用信息对应的业务信息具体包括：

以所述业务调用信息的参数中的业务调用请求ID作为匹配键值，与预置在第一存储集群中的调用信息与业务信息的对应关系进行匹配，通过匹配得到与所述业务调用信息对应的业务信息。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供的一种分布式业务链路监控方法，包括：当检测到业务调用信息被调用时，获取所述业务调用信息的参数；根据所述业务调用信息的参数，判断所述业务调用信息对应的业务接口是否属于业务发起调用接口，若是，则将所述业务调用信息的参数和所述业务调用信息对应的业务信息存入第二存储集群，若否，根据所述业务调用信息的参数和预置在第一存储集群中的调用信息与业务信息的对应关系，匹配与所述业务调用信息对应的业务信息，并将所述业务调用信息的参数和所述业务信息存入所述第二存储集群。

本申请通过采用在数据获取处理环节上将所有的业务调用信息进行业务信息匹配，并将匹配到的业务信息和业务调用信息一并存储到第二存储集群中。在进行业务分析时，只需要输入相应的业务信息就可以提取该业务经过的所有环节的数据指标，无需进行二次转换处理，解决了现有的分布式业务链路监控、分析工作的执行效率低的技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请提供的一种分布式业务链路监控方法的第一个实施例的流程示意图；

图2为本申请提供的一种分布式业务链路监控方法的第二个实施例的流程示意图；

图3为本申请提供的一种分布式业务链路监控装置的第一个实施例的结构示意图。

具体实施方式

本申请实施例提供了一种分布式业务链路监控方法及装置，用于解决传统的分布式链路监控方法虽然可以记录每一次业务链路调用时经过的环节，但是，这些数据无法直接提供给工作人员进行分析或使用，必须由工作人员另外将需要使用的数据进行二次转换处理之后才能得到人员可读的业务信息，导致的分布式业务链路监控、分析工作的执行效率低的技术问题。

为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

请参阅图1，本实施例提供了一种分布式业务链路监控方法，包括：

步骤101、当检测到业务调用信息被调用时，获取业务调用信息的参数；

在本申请实施例中，当检测到业务调用信息被调用时，实时获取该业务调用信息的参数。

步骤102、根据业务调用信息的参数，判断业务调用信息对应的业务接口是否属于业务发起调用接口，若是，则执行步骤103，若否，则执行步骤104；

在本申请实施例中，在获取到业务调用信息的参数后，根据业务调用信息的参数，判断业务调用信息对应的业务接口是否属于业务发起调用接口，若是，则执行步骤103，若否，则执行步骤104。

步骤103、将业务调用信息的参数和业务调用信息对应的业务信息存入第二存储集群；

根据步骤102的判断结果，若该业务调用信息对应的业务接口为业务发起调用接口，从该业务接口本地获取该业务调用信息对应的业务信息，将业务调用信息的参数和业务调用信息对应的业务信息存入第二存储集群，以便后续的数据调用。

步骤104、根据业务调用信息的参数和预置在第一存储集群中的调用信息与业务信息的对应关系，匹配与业务调用信息对应的业务信息，并将业务调用信息的参数和业务信息存入第二存储集群。

根据步骤102的判断结果，若该业务调用信息对应的业务接口为非业务发起调用接口，即业务响应调用接口，由于该业务接口的本地未保存有该业务调用信息对应的业务信息，因此需要根据业务调用信息的参数和预置在第一存储集群中的调用信息与业务信息的对应关系，匹配与业务调用信息对应的业务信息，再将业务调用信息的参数和业务信息存入第二存储集群，以便后续的数据调用。

本申请实施例通过采用在数据获取处理环节上将所有的业务调用信息进行业务信息匹配，并将匹配到的业务信息和业务调用信息一并存储到第二存储集群中。在进行业务分析时，只需要输入相应的业务信息就可以提取该业务经过的所有环节的数据指标，无需进行二次转换处理，解决了现有的分布式业务链路监控、分析工作的执行效率低的技术问题。

以上为本申请提供的一种分布式业务链路监控方法的第一个实施例的详细说明，下面为本申请提供的一种分布式业务链路监控方法的第二个实施例的详细说明。

请参阅图2，本实施例提供了一种分布式业务链路监控方法，包括：

步骤201、当检测到业务调用信息被调用时，获取业务调用信息的参数；

在本申请实施例中，当检测到业务调用信息被调用时，实时获取该业务调用信息的参数。

其中，业务调用信息的参数具体包括：业务调用请求ID，开始时间、结束时间、耗时、状态、调用方法名称、父节点ID、当前节点ID。其中，业务调用请求ID只在业务发起的调用接口新建，之后通过参数传递的方式将请求ID传递到下一个接口上。非业务发起调用接口的可以直接从接收到的业务调用信息参数上获取该ID。

步骤202、根据业务调用信息的参数，判断业务调用信息对应的业务接口是否属于业务发起调用接口，若是，则执行步骤203，若否，则执行步骤204；

在本申请实施例中，在获取到业务调用信息的参数后，根据业务调用信息的参数，判断业务调用信息对应的业务接口是否属于业务发起调用接口，具体的步骤包括对数据进行格式化，提取业务调用请求ID，开始时间、结束时间、耗时、状态、调用方法名称、父节点ID、当前节点ID等关键字段，并匹配调用方法名称是否为业务发起方法，若是，则执行步骤203，若否，则执行步骤204。

步骤203、将业务调用信息的参数和业务调用信息对应的业务信息存入第二存储集群。

根据步骤202的判断结果，若该业务调用信息对应的业务接口为业务发起调用接口，从该业务接口本地获取该业务调用信息对应的业务信息，将业务调用信息的参数和业务调用信息对应的业务信息存入第二存储集群，以便后续的数据调用。

其中，本实施例的第二存储集群优选采用Elasticsearch集群。

本实施例的业务信息包括：业务名称、业务量、成功数、失败数以及平均时延中的一项或多项。

步骤204、根据业务调用信息的参数和预置在第一存储集群中的调用信息与业务信息的对应关系，匹配与业务调用信息对应的业务信息，若匹配成功，则执行步骤205，若匹配不成功，则执行步骤206。

在本申请实施例中，根据步骤202的判断结果，若该业务调用信息对应的业务接口为非业务发起调用接口，即业务响应调用接口，由于该业务接口的本地未保存有该业务调用信息对应的业务信息，因此需要根据业务调用信息的参数和预置在第一存储集群中的调用信息与业务信息的对应关系，在第一存储集群进行查询，匹配与业务调用信息对应的业务信息，再将业务调用信息的参数和业务信息存入第二存储集群，以便后续的数据调用。

其中，本实施例的第一存储集群优选采用Redis集群。

步骤205、将业务调用信息的参数和匹配到的业务信息存入第二存储集群。

步骤206、将业务调用信息存入缓存模块，并记录业务调用信息的匹配次数。

但在第一存储集群中无法匹配到业务信息时，将这条业务调用信息缓存到缓存模块中。

步骤207、定时对缓存模块中的业务调用信息进行业务信息匹配，若匹配成功，则执行步骤205，若匹配不成功，则执行步骤208。

步骤208、判断判断业务调用信息的匹配次数是否大于预设的阈值，若是，则执行步骤209，若否，则执行步骤210。

步骤209、从缓存模块中移除该业务调用信息。

步骤210、更新该业务调用信息的匹配次数。

更具体地，缓存模块具体包括：第一缓存子模块和第二缓存子模块；

第一缓存子模块具体用于存储首次业务信息匹配不成功的业务调用信息；

第二缓存子模块具体用于存储业务信息匹配不成功且匹配次数大于1的业务调用信息。

当缓存模块中的第一缓存子模块或第二缓存子模块为非空时，定时对缓存模块中的业务调用信息进行业务信息匹配，定时将第一缓存子模块和第二缓存子模块的数据读取出来，将业务调用请求ID做key值，在Redis集群进行查询，获取该ID对应的业务名称，当获取到业务名称时，将业务名称作为字段值，一并写入到Elasticsearch集群中，但在Redis集群中无法匹配到业务信息时，将这条数据继续缓存到第二缓存子模块中。并记录匹配次数加1等待下一次调度时候再进行匹配。

在定时调度任务中，每次只获取第一缓存子模块中的80％的数据及第二缓存子模块的所有数据进行匹配操作，确保越早进来的数据匹配得越及时。对于匹配次数超过10次依旧没有匹配到业务名称的则将该条数据丢弃，保障缓存模块中的数据不会无限增长。

最后，前端系统可以通过输入业务流程名称及时间片，在第二存储集群中进行数据查询，将业务所经过的所环节进行展示，每个环节单独展示业务量、成功数、失败数、平均时延。用于对系统优化提供强有力的数据支撑。

本申请实施例通过采用在数据获取处理环节上将所有的业务调用信息进行业务信息匹配，并将匹配到的业务信息和业务调用信息一并存储到第二存储集群中。在进行业务分析时，只需要输入相应的业务信息就可以提取该业务经过的所有环节的数据指标，无需进行二次转换处理，解决了现有的分布式业务链路监控、分析工作的执行效率低的技术问题。

以上为本申请提供的一种分布式业务链路监控方法的第二个实施例的详细说明，下面为本申请提供的一种分布式业务链路监控装置的第一个实施例的详细说明。

请参阅图3，本申请实施例提供了一种分布式业务链路监控装置，包括：

参数获取单元301，用于当检测到业务调用信息被调用时，获取业务调用信息的参数；

业务匹配单元302，用于根据业务调用信息的参数，判断业务调用信息对应的业务接口是否属于业务发起调用接口，若是，则将业务调用信息的参数和业务调用信息对应的业务信息存入第二存储集群，若否，根据业务调用信息的参数和预置在第一存储集群中的调用信息与业务信息的对应关系，匹配与业务调用信息对应的业务信息，并将业务调用信息的参数和业务信息存入第二存储集群。

更具体地，还包括：

缓存写入单元303，用于若匹配不成功，则将业务调用信息存入缓存模块，并记录业务调用信息的匹配次数。

更具体地，还包括：

二次匹配单元304，用于定时对缓存模块中的业务调用信息进行业务信息匹配，若匹配成功，则将业务调用信息的参数和业务信息存入第二存储集群，若匹配不成功，则判断业务调用信息的匹配次数是否大于预设的阈值，若是，则从缓存模块中移除业务调用信息，若否，则更新业务调用信息的匹配次数。

更具体地，缓存模块具体包括：第一缓存子模块和第二缓存子模块；

第一缓存子模块具体用于存储首次业务信息匹配不成功的业务调用信息；

第二缓存子模块具体用于存储业务信息匹配不成功且匹配次数大于1的业务调用信息。

更具体地，根据业务调用信息的参数和预置在第一存储集群中的调用信息与业务信息的对应关系，匹配与业务调用信息对应的业务信息具体包括：

以业务调用信息的参数中的业务调用请求ID作为匹配键值，与预置在第一存储集群中的调用信息与业务信息的对应关系进行匹配，通过匹配得到与所述业务调用信息对应的业务信息。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种分布式业务链路监控方法，其特征在于，包括：

当检测到业务调用信息被调用时，获取所述业务调用信息的参数；

根据所述业务调用信息的参数，判断所述业务调用信息对应的业务接口是否属于业务发起调用接口，若是，则将所述业务调用信息的参数和所述业务调用信息对应的业务信息存入第二存储集群，若否，根据所述业务调用信息的参数和预置在第一存储集群中的调用信息与业务信息的对应关系，匹配与所述业务调用信息对应的业务信息，并将所述业务调用信息的参数和所述业务信息存入所述第二存储集群。

2.根据权利要求1所述的方法，其特征在于，所述根据所述业务调用信息的参数和预置在第一存储集群中的调用信息与业务信息的对应关系，匹配与所述业务调用信息对应的业务信息之后还包括：

若匹配不成功，则将所述业务调用信息存入缓存模块，并记录所述业务调用信息的匹配次数。

3.根据权利要求2所述的方法，其特征在于，所述若匹配不成功，则将所述业务调用信息存入缓存模块，并记录所述业务调用信息的匹配次数之后还包括：

定时对所述缓存模块中的业务调用信息进行业务信息匹配，若匹配成功，则将所述业务调用信息的参数和所述业务信息存入所述第二存储集群，若匹配不成功，则判断所述业务调用信息的匹配次数是否大于预设的阈值，若是，则从所述缓存模块中移除所述业务调用信息，若否，则更新所述业务调用信息的匹配次数。

4.根据权利要求3所述的方法，其特征在于，所述缓存模块具体包括：第一缓存子模块和第二缓存子模块；

所述第一缓存子模块具体用于存储首次业务信息匹配不成功的业务调用信息；

所述第二缓存子模块具体用于存储业务信息匹配不成功且匹配次数大于1的业务调用信息。

5.根据权利要求1所述的方法，其特征在于，所述根据所述业务调用信息的参数和预置在第一存储集群中的调用信息与业务信息的对应关系，匹配与所述业务调用信息对应的业务信息具体包括：

以所述业务调用信息的参数中的业务调用请求ID作为匹配键值，与预置在第一存储集群中的调用信息与业务信息的对应关系进行匹配，通过匹配得到与所述业务调用信息对应的业务信息。

6.一种分布式业务链路监控装置，其特征在于，包括：

参数获取单元，用于当检测到业务调用信息被调用时，获取所述业务调用信息的参数；

业务匹配单元，用于根据所述业务调用信息的参数，判断所述业务调用信息对应的业务接口是否属于业务发起调用接口，若是，则将所述业务调用信息的参数和所述业务调用信息对应的业务信息存入第二存储集群，若否，根据所述业务调用信息的参数和预置在第一存储集群中的调用信息与业务信息的对应关系，匹配与所述业务调用信息对应的业务信息，并将所述业务调用信息的参数和所述业务信息存入所述第二存储集群。

7.根据权利要求6所述的装置，其特征在于，还包括：

缓存写入单元，用于若匹配不成功，则将所述业务调用信息存入缓存模块，并记录所述业务调用信息的匹配次数。

8.根据权利要求7所述的装置，其特征在于，还包括：

二次匹配单元，用于定时对所述缓存模块中的业务调用信息进行业务信息匹配，若匹配成功，则将所述业务调用信息的参数和所述业务信息存入所述第二存储集群，若匹配不成功，则判断所述业务调用信息的匹配次数是否大于预设的阈值，若是，则从所述缓存模块中移除所述业务调用信息，若否，则更新所述业务调用信息的匹配次数。

9.根据权利要求8所述的装置，其特征在于，所述缓存模块具体包括：第一缓存子模块和第二缓存子模块；

所述第一缓存子模块具体用于存储首次业务信息匹配不成功的业务调用信息；

所述第二缓存子模块具体用于存储业务信息匹配不成功且匹配次数大于1的业务调用信息。

10.根据权利要求6所述的装置，其特征在于，所述根据所述业务调用信息的参数和预置在第一存储集群中的调用信息与业务信息的对应关系，匹配与所述业务调用信息对应的业务信息具体包括：

以所述业务调用信息的参数中的业务调用请求ID作为匹配键值，与预置在第一存储集群中的调用信息与业务信息的对应关系进行匹配，通过匹配得到与所述业务调用信息对应的业务信息。