CN110457337A - 链路聚合方法、系统和设备 - Google Patents

Abstract

本申请提供了一种链路聚合方法、系统和设备，其中，该方法包括：实时获取目标交易的链路数据；确定是否存在以所述链路数据的标识信息为键值的交易记录；在确定存在以所述链路数据的标识信息为键值的交易记录的情况下，将所述链路数据作为一条交易数据增加至所述交易记录的值中；确定以所述的链路数据的标识信息为键值的交易记录的创建时间点与当前时间点之间的差值是否达到预设时间阈值，在确定达到所述预设时间阈值的情况下，将以所述链路数据的标识信息为键值的交易记录的值进行聚合得到对应于所述目标交易的交易链路数据。在本申请实施例中，可以实时对获取的链路数据进行聚合得到完整的交易链路数据以进行流量分析、实时绘制系统拓扑图等。

Description

链路聚合方法、系统和设备

技术领域

本申请涉及数据处理技术领域，特别涉及一种链路聚合方法、系统和设备。

背景技术

随着微服务架构的出现和普及，使得一个大型复杂软件应用可以由一个或多个微服务组成，通常一个完整的交易流程需要调用多个微服务进行消息通信才最终闭环。从而使得分布式集群在承载了更大规模的并发量的同时，调用链路也更加错综复杂，实时聚合各个链路环节形成完整的交易链路，对于流量分析和拓扑分析是至关重要的。

现有的链路聚合方法通常是将当天产生的多个链路数据统一存储到预设数据库中之后，再在预设时间(例如：每天晚上10点)从预设数据库中查询出当天记录的所有链路数据，将技术交易流水号相同的链路数据串联起来得到完整的交易链路，从而通过批量的方式进行链路聚合，进而可以根据聚合结果确定当天记录的各链路的流量信息。由于在预设时间通过批量的方式进行链路聚合，通常当天的流量信息需要第二天才能确定，时效性较差。因而，采用现有的链路聚合方法无法实时对当前产生的链路数据进行聚合从而获取完整的交易链路以进行流量分析、实时绘制系统拓扑图等。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种链路聚合方法、系统和设备，以解决现有技术中无法实时对当前产生的链路数据进行聚合从而获取完整的交易链路以进行流量分析、实时绘制系统拓扑图等。

本申请实施例提供了一种链路聚合方法，包括：实时获取目标交易的链路数据；确定是否存在以所述链路数据的标识信息为键值的交易记录；在确定存在以所述链路数据的标识信息为键值的交易记录的情况下，将所述链路数据作为一条交易数据增加至所述交易记录的值中；确定以所述的链路数据的标识信息为键值的交易记录的创建时间点与当前时间点之间的差值是否达到预设时间阈值，在确定达到所述预设时间阈值的情况下，将以所述链路数据的标识信息为键值的交易记录的值进行聚合得到对应于所述目标交易的交易链路数据。

在一个实施例中，在确定是否存在以所述链路数据的标识信息为键值的交易记录之后，还包括：在确定不存在以所述链路数据的标识信息为键值的交易记录的情况下，创建以所述链路数据的标识信息为键值的交易记录，并将所述链路数据作为所述交易记录的值。

在一个实施例中，在完成所述目标交易需要调用多个应用节点的情况下，实时获取目标交易的链路数据，包括：实时获取所述多个应用节点中各应用节点记录的链路数据；将所述多个应用节点中各应用节点记录的链路数据，作为所述目标交易的实时的链路数据。

在一个实施例中，在创建以所述目标交易的标识信息为键值的交易记录，并将所述链路数据作为所述交易记录的值之后，还包括：将创建的以所述链路数据的标识信息为键值的交易记录存储在缓存中；相应的，在将以所述链路数据的标识信息为键值的交易记录的值进行聚合得到对应于所述目标交易的交易链路数据之后，还包括：从缓存中删除以所述链路数据的标识信息为键值的交易记录。

本申请实施例还提供了一种链路聚合系统，包括：应用节点，用于完成目标交易；链路数据采集器，与所述应用节点进行通信连接，用于实时采集所述应用节点记录的目标交易的链路数据；链路聚合器，与所述链路数据采集器进行通信连接，用于在接收到所述链路数据采集器采集的所述目标交易的链路数据之后，在确定存在以所述链路数据的标识信息为键值的交易记录的情况下，将所述链路数据作为一条交易数据增加至所述交易记录的值中；确定以所述的链路数据的标识信息为键值的交易记录的创建时间点与当前时间点之间的差值是否达到预设时间阈值，在确定达到所述预设时间阈值的情况下，将以所述链路数据的标识信息为键值的交易记录的值进行聚合得到对应于所述目标交易的交易链路数据。

在一个实施例中，包括：多个应用节点、多个链路数据采集器和多个链路聚合器，其中：应用节点和链路数据采集器二者之间是一一对应的关系。

在一个实施例中，还包括：链路数据分发器，与所述多个链路数据采集器和所述多个链路聚合器相连，用于根据链路数据的标识信息将链路数据采集器采集的链路数据分发至对应的链路聚合器。

在一个实施例中，所述链路聚合器，包括：记录建立器，与所述链路聚合器进行通信连接，用于在确定不存在以所述链路数据的标识信息为键值的交易记录的情况下，创建以所述链路数据的标识信息为键值的交易记录，并将所述链路数据作为所述交易记录的值。

在一个实施例中，所述链路聚合器，还包括：缓存器，用于存储以所述链路数据的标识信息为键值的交易记录。

在一个实施例中，所述链路聚合器，还包括：计时器，用于从创建以所述链路数据的标识信息为键值的交易记录的时间点开始计时，计时时长为所述预设时间阈值。

本申请实施例还提供了一种链路聚合设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现所述链路聚合方法的步骤。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现所述链路聚合方法的步骤。

本申请实施例提供了一种链路聚合方法，通过实时获取目标交易的链路数据，从而可以对目标交易的链路数据进行实时的聚合处理。进一步的，可以确定是否存在以上述链路数据的标识信息为键值的交易记录，在确定存在以上述链路数据的标识信息为键值的交易记录的情况下，将该链路数据作为一条交易数据增加至上述交易记录的值中。可以将以所述的链路数据的标识信息为键值的交易记录的创建时间点与当前时间点之间的差值是否达到预设时间阈值作为判断条件，确定以链路数据的标识信息为键值的交易记录的值是否为完整的交易链路数据，在确定达到预设时间阈值的情况下，将以链路数据的标识信息为键值的交易记录的值进行聚合得到对应于所述目标交易的交易链路数据，从而可以实时对获取的链路数据进行聚合得到完整的交易链路数据以进行流量分析、实时绘制系统拓扑图等。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，并不构成对本申请的限定。在附图中：

图1是根据本申请实施例提供的场景示例示意图；

图2是根据本申请实施例提供的链路聚合方法的步骤示意图；

图3是根据本申请实施例提供的链路聚合系统的结构示意图；

图4是根据本申请具体实施例提供的链路数据采集示意图；

图5是根据本申请实施例提供的链路数据聚合示意图；

图6是根据本申请实施例提供的链路聚合设备的结构示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请，而并非以任何方式限制本申请的范围。相反，提供这些实施方式是为了使本申请公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域的技术人员知道，本申请的实施方式可以实现为一种系统、装置设备、方法或计算机程序产品。因此，本申请公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

请参阅图1，在一个具体的场景示例中可以包括客户端、银行服务器和多个应用程序。用户可以通过客户端在银行系统中发起交易请求，银行服务器可以响应于客户端的交易请求，调用多个应用程序以完成用户请求的交易操作，并实时采集调用各应用程序时记录的交易链路数据，进行链路聚合从而得到完整的交易链路。

在本场景示例中，用户可以通过客户端在银行系统中发起交易请求，以使银行服务器可以响应于客户端的交易请求，调用多个应用程序以完成用户请求的交易操作。本场景示例中，上述客户端可以是用户操作使用的终端设备或者软件。具体的，客户端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能手表、ATM机或者其它可穿戴设备等终端设备，也可以是机器人设备等等。当然，客户端也可以是能运行于上述终端设备中的软件。例如：银行系统应用、支付应用、浏览器等应用软件。

在本场景示例中，用户通过客户端在银行系统中发起的交易请求可以包括但不限于一下至少之一：查询银行卡余额、存款、取款、转账、购买银行理财产品。在本场景示例中，上述银行服务器可以是单一的服务器，也可以是服务器集群，也可以是具备一个强大的银行交易数据库的服务器。

在本场景示例中，用户可以在浏览器中输入网址以打开银行系统交易界面，在银行系统交易界面点击转账业务按钮以发起交易请求，银行服务器响应于转账业务请求调用应用1，其中，应用1为用户身份验证。在银行服务器成功调用应用1的情况下，相应的浏览器界面可以进行跳转，在跳转的界面上用户可以输入用于转账的银行卡号和银行卡密码以进行用户身份验证。

在本场景示例中，在用户身份验证成功的情况下，完成对应用1的调用，应用1端可以实时将记录的交易链路数据1上送给银行服务器，从而银行服务器可以实时采集记录的交易链路数据1，由于每个交易链路数据均含有一个技术交易流水号，同一个交易调用的各链路环节的技术交易流水号往下透传。因此，可以根据交易链路数据1的技术交易流水号和交易链路数据1创建一个键值对，并将该键值对进行缓存。

在本场景示例中，在完成对应用1的调用后，紧接着可以调用应用2，其中，应用2为转账信息确认。在成功调用应用2的情况下，相应的浏览器界面可以进行跳转，在跳转的界面上用户可以输入被转账户的银行卡号和转账金额，在转账信息确认成功的情况下，完成对应用2的调用，应用2端可以实时将记录的交易链路数据2上送给银行服务器，从而银行服务器可以实时采集交易链路数据2。在本场景示例中，银行服务器可以解析上述交易链路数据2的技术交易流水号，并确定缓存的键值对中是否存在key值为该技术交易流水号的键值对，在确定存在的情况下，可以将交易链路数据2按序添加至上述缓存的键值对的value值中，并对键值对进行更新。

在本场景示例中，在完成对应用2的调用后，可以调用应用3，其中，应用3为转账。应用3可以根据用户确认的被转账户的银行卡号、转账金额和用户用于转账的银行卡号完成转账业务，并向用户反馈转账成功的信息。在转账成功的情况下，完成对应用3的调用，应用3端可以实时将记录的交易链路数据3上送给银行服务器，从而银行服务器可以实时采集交易链路数据3。在本场景示例中，银行服务器可以解析上述交易链路数据3的技术交易流水号，并从缓存的键值对中确定是否存在key值为该技术交易流水号的键值对，在确定存在的情况下，可以将交易链路数据3按序添加至上述缓存的键值对的value值中，并对键值对进行更新。

在本场景示例中，银行服务器可以预先根据当前网络情况以及用户请求的交易复杂度等信息评估该交易完成的时间阈值，以确保在大于等于该时间阈值内完成链路聚合的交易链路是完整的，对于转账交易的时间阈值可以确定为10分钟。

在本场景示例中，银行服务器可以在创建上述键值对的时候，同时记录创建该键值对的时间戳，银行服务器可以获取当前时间，在当前时间与上述时间戳之间的时间间隔大于等于10分钟的情况下，可以确定聚合的链路数据是完整的。在本场景示例中，可以及时将确定的完整的交易链路输出，发送给银行相关的技术人员或者存储至对应的数据库中以便于后续的流量分析和实时绘制系统拓扑图等。

考虑到现有的链路聚合方法通常是将当天产生的多个链路数据统一存储到预设数据库中之后，再在预设时间(例如：每天晚上10点)从预设数据库中查询出当天记录的所有链路数据，将技术交易流水号相同的链路数据串联起来得到完整的交易链路，从而通过批量的方式进行链路聚合，进而可以根据聚合结果确定当天记录的各链路的流量信息。由于在预设时间通过批量的方式进行链路聚合，通常当天的流量信息需要第二天才能确定，时效性较差。进一步的，在将链路数据存储至预设数据库中时需要将数据转换为数据库可识别的数据格式，并且受数据库的数据传输速率的限制，需要花费较多不必要的时间。因而，采用现有的链路聚合方法无法实时对当前产生的链路数据进行聚合从而获取完整的交易链路以进行流量分析、实时绘制系统拓扑图等。

基于以上问题，本申请实施例提供了一种链路聚合方法，如图2所示，可以包括以下步骤：

S201：实时获取目标交易的链路数据。

考虑到完成目标交易通常需要调用多个应用节点，而在调用完每个应用节点时，各应用节点均会记录一条链路数据，为了提高数据处理效率，可以采用异步上送的方式获取目标交易的链路数据，即不必等待目标交易完成后再获取目标交易调用的多个节点中各节点记录的链路数据，可以在目标交易调用完某一应用节点后就实时地获取该应用节点记录的目标交易的链路数据，并且可以将该应用节点记录的目标交易的链路数据作为目标交易的实时的链路数据。

由于一条完整的交易链路通常包括多个链路数据，因此，目标交易包括的每条链路数据中均包含其对应的标识信息，根据上述标识信息可以唯一标识每条链路数据，可以理解的是，一条完整的交易链路包括的多个链路数据中各个链路数据的标识信息均是相同的。在一个实施例中，上述标识信息可以为：技术交易流水号。

S202：确定是否存在以链路数据的标识信息为键值的交易记录。

在获取到获取目标交易的链路数据之后，可以解析该链路数据以确定该链路数据的标识信息，并根据该链路数据的标识信息确定是否存在以链路数据的标识信息为键值的交易记录。在一个实施例中，可以将交易记录存储在缓存中，对应的，可以根据该链路数据的标识信息在缓存中确定是否存在以链路数据的标识信息为键值的交易记录。

S203：在确定存在以链路数据的标识信息为键值的交易记录的情况下，将链路数据作为一条交易数据增加至交易记录的值中。

在确定存在以链路数据的标识信息为键值的交易记录的情况下，可以将链路数据作为一条交易数据追加至上述交易记录的值中。在确定不存在以该链路数据的标识信息为键值的交易记录的情况下，可以创建一条以该链路数据的标识信息为键值的交易记录，并将该链路数据作为该交易记录的值。进一步的，可以将以该链路数据的标识信息为键值的交易记录存储在缓存中，以便对该交易记录进行查询。

S204：确定以链路数据的标识信息为键值的交易记录的创建时间点与当前时间点之间的差值是否达到预设时间阈值，在确定达到预设时间阈值的情况下，将以链路数据的标识信息为键值的交易记录的值进行聚合得到对应于目标交易的交易链路数据。

在创建以链路数据的标识信息为键值的交易记录的同时，可以同时创建一个时间戳，该时间戳可以记录上述交易记录创建的时间点。由于完成不同的交易所需要的时间也是不同的，所以可以预先根据异步上送的时间间隔、当前网络条件下的数据传输速率以及业务复杂度评估后设定目标交易的时间阈值。上述预设阈值可以用于判断交易记录的值中所包括的链路数据是否是完整的，即对于以链路数据的标识信息为键值的交易记录的创建时间点与当前时间点之间的差值大于等于预设时间阈值的情况下，可以确定该交易记录的值中的链路数据包括了目标交易调用的多个应用节点中各应用节点记录的链路数据。

因此，在确定达到预设时间阈值的情况下，可以将以链路数据的标识信息为键值的交易记录的值进行聚合，得到对应于目标交易的交易链路数据。由于目标交易调用的多个应用节点中各应用节点记录的链路数据中均可以包含一个父子关系号，根据该父子关系号可以确定一条完整的交易链路中包括的多个链路数据对应的应用节点之间的调用关系，从而可以确定各个链路数据之间的顺序。在进行链路聚合时可以根据各链路数据的父子关系号，按序将交易记录的值中包括的多个链路数据进行聚合，得到一条完整的目标交易链路。在一个实施例中，在得到一条完整的目标交易链路之后，可以从缓存中删除以上述链路数据的标识信息为键值的交易记录，以避免缓存中存储过多的冗余信息。

从以上的描述中，可以看出，本申请实施例实现了如下技术效果：通过实时获取目标交易的链路数据，从而可以对目标交易的链路数据进行实时的聚合处理。进一步的，可以确定是否存在以上述链路数据的标识信息为键值的交易记录，在确定存在以上述链路数据的标识信息为键值的交易记录的情况下，将该链路数据作为一条交易数据增加至上述交易记录的值中。可以将以链路数据的标识信息为键值的交易记录的创建时间点与当前时间点之间的差值是否达到预设时间阈值作为判断条件，确定以链路数据的标识信息为键值的交易记录的值是否为完整的交易链路数据，在确定达到预设时间阈值的情况下，将以链路数据的标识信息为键值的交易记录的值进行聚合得到对应于目标交易的交易链路数据，从而可以实时对获取的链路数据进行聚合得到完整的交易链路数据。

本发明实施例提供了一种链路聚合系统，如图3所示，可以包括：应用节点31、链路数据采集器32和链路聚合器33，下面对该链路聚合系统的3个组成部分分别进行相应的描述：

1)应用节点31，用于完成目标交易。

在一个实施例中，由于完成目标交易需要调用多个应用节点，因此，链路聚合系统中可以包括多个应用节点31，目标交易在调用完多个应用节点中的某一应用节点时，该应用节点可以实时的记录一条链路数据。可以理解的是，目标交易在调用完多个应用节点后，该目标交易的完整的交易链路中包括多个链路数据。为了标识目标交易的交易链路包括的各个链路数据，每个链路数据中均可以包含一个唯一的标识信息，并且同一交易链路包括的各个链路数据的标识信息是相同的。在一个实施例中，上述标识信息可以为目标交易的交易技术流水号。

2)链路数据采集器32，与应用节点31进行通信连接，用于实时采集应用节点31记录的目标交易的链路数据。

上述链路数据采集器32可以设置在上述应用节点31上，在链路聚合系统中包括多个应用节点31的情况下，对应的链路聚合系统中还可以包括多个链路数据采集器，其中，应用节点与链路数据采集器二者之间是一一对应的关系，从而链路数据采集器32可实时的采集应用节点31中记录的链路数据。进一步的，链路数据采集器32可以将采集的目标交易的链路数据按照异步上送规则发送给链路聚合器33。

在一个实施例中，上述链路聚合系统中还可以包括链路数据分发器，上述链路数据分发器可以与上述链路数据采集器32相连，进而链路数据采集器32可以将采集的目标交易的链路数据按照异步上送规则发送给数据分发器。在一个实施例中，上述链路聚合系统中还可以包括多个链路数据分发器，可以预先为多个链路数据分发器分配其需要处理的标识信息的范围，上述链路采集器32可以根据各个链路数据分发器需要处理的标识信息的范围，将采集的目标交易的链路数据分发给对应的链路数据分发器，以实现负载均衡，从而提高数据处理效率。

3)链路聚合器33，与链路数据采集器32进行通信连接，用于在接收到链路数据采集器32获取的目标交易的链路数据之后，在确定存在以链路数据的标识信息为键值的交易记录的情况下，将链路数据作为一条交易数据增加至交易记录的值中；确定以的链路数据的标识信息为键值的交易记录的创建时间点与当前时间点之间的差值是否达到预设时间阈值，在确定达到预设时间阈值的情况下，将以链路数据的标识信息为键值的交易记录的值进行聚合得到对应于目标交易的交易链路数据。

为了提高数据处理效率，上述链路聚合系统中可以设置多个链路聚合器。在上述链路聚合系统中还包括链路数据分发器的情况下，上述链路数据分发器在接收到上述链路采集器32发送的目标交易的链路数据之后，可以解析得到上述目标交易的链路数据的标识信息，并根据链路数据的标识信息将上述目标交易的链路数据发送至对应的链路聚合器。

在一个实施例中，上述链路数据分发器可以采用一致性哈希算法对解析到的链路数据的标识信息进行运算得到一个哈希值，采用一致性哈希算法可以保证相同的标识信息运算出的结果是一致的。对应的，可以预先设置上述多个链路聚合器中各个链路聚合器需要处理的哈希值的范围，从而链路数据分发器可以根据运算得到的哈希值将上述目标交易的链路数据发送给对应的链路聚合器，进而保证了链路分发模块可以将标识信息相同的链路数据分发给相同的链路聚合器。

上述链路聚合器33在接收到链路数据分发器分发的上述目标交易的链路数据之后，可以确定是否存在以上述目标交易的链路数据的标识信息为键值的交易记录，在确定存在以上述目标交易的链路数据的标识信息为键值的交易记录的情况下，可以将上述目标交易的链路数据作为一条交易数据增加至交易记录的值中。在一个实施例中，上述链路聚合器33中可以包括缓存器，缓存器可以用于存储以链路数据的标识信息为键值的交易记录，对应的，上述链路聚合器33可以从缓存器中存储的多条交易记录中确定是否存在以链路数据的标识信息为键值的交易记录。

进一步的，在确定不存在以上述目标交易的链路数据的标识信息为键值的交易记录情况下，可以在系统中创建一条以上述目标交易的链路数据的标识信息为键值的交易记录，并将上述目标交易的链路数据作为交易记录的值。在一个实施例中，上述链路聚合器33中可以包括记录建立器，记录建立器可以在确定不存在以上述目标交易的链路数据的标识信息为键值的交易记录情况下，创建一条以上述目标交易的链路数据的标识信息为键值的交易记录，并将上述目标交易的链路数据作为交易记录的值。在一个实施例中，在上述链路聚合器33中包括缓存器的情况下，可以在上述记录建立器创建了一条以上述目标交易的链路数据的标识信息为键值的交易记录之后，将上述交易记录存储至缓存器中。

由于不同的交易完成需要的时间是各不相同的，因此，可以针对不同的交易可以预先设定不同的阈值。上述预设阈值可以根据部署在应用节点31的链路数据采集器32异步上送的时间间隔、网络情况以及业务复杂度评估后设定，其中，网络情况可以包括当前网络条件下的数据传输速率。上述预设阈值一般为分钟级，在一般情况下可以设置为10分钟。

为了能够及时确定缓存器中缓存的各个交易记录的值是否为完整的交易链路，可以在每个链路聚合器中设立一个计时器，该计时器可以在检测到链路聚合器33中创建以上述目标交易的链路数据的标识信息为键值的交易记录的情况下，从创建以上述目标交易的链路数据的标识信息为键值的交易记录的时间点开始计时，计时时长为目标交易的预设时间阈值。上述记录建立器在创建以上述目标交易的链路数据的标识信息为键值的交易记录时，可以同时记录交易记录的创建时间戳，计时器可以根据该时间戳确定交易记录的创建时间点。

在计时器的计时时长达到上述预设时间阈值的情况下，可以认为以上述目标交易的链路数据的标识信息为键值的交易记录的值中交易链路是完整的，因此，可以将上述交易记录的值聚合成一条完整的目标交易的交易链路数据后输出。在上述链路聚合器33中包括缓存器的情况下，可以在输出上述完整的目标交易的交易链路数据之后，将缓存器中存储的以上述目标交易的链路数据的标识信息为键值的交易记录删除。

在一个实施例中，上述目标交易的链路数据中还可以包含父子关系号，其中，根据该父子关系号可以确定一条完整的交易链路中包括的多个链路数据对应的各个应用节点之间的调用关系，从而可以确定各个链路数据之间的聚合顺序。因此，可以在计时器的计时时长达到上述预设时间阈值的情况下，解析得到以上述目标交易的链路数据的标识信息为键值的交易记录的值中包括的多个链路数据的父子关系号，并根据解析得到的多个链路数据的父子关系号，将多个链路数据按照顺序串联起来进行聚合，从而输出一条完整、有序的交易链路。在一个实施例中，还可以在将链路数据增加到交易记录的值中时，解析该链路数据的父子关系号，并根据解析得到的父子关系号确定该链路数据与交易记录的值中已有的交易链路数据之间的顺序，按照顺序添加到以该技术交易流水号为主键的记录的值中。

下面结合一个具体实施例对上述方法进行说明，然而，值得注意的是，该具体实施例仅是为了更好地说明本申请，并不构成对本申请的不当限定。

本发明实施提供了一种链路聚合方法，如图4和图5所示，可以包括：

步骤1：各个链路采集客户端按照预定的时间间隔将当前节点的采集到的链路环节数据发送给消息中间件。

一个业务交易链路通常包含多个服务调用环节，为达到负载均衡的目的，可以在不同应用节点上部署相同的服务实例。如图4中所示：应用A有节点1和节点2，对于同一个服务A，在应用A节点1和应用A节点2上共存在两个服务实例。对于一个交易请求，若使用到服务A，则通过负载均衡算法随机将任务分配到应用A节点1或应用A节点2的服务实例上。如图4中所示，交易A调用了应用A节点1中的服务A、应用B节点2中的服务E、应用C节点1中的服务K、应用C节点2中的服务H，共有4条链路环节：链路环节A1、链路环节A2、链路环节A3、和链路环节A4；交易B调用了应用A节点2中的服务C、应用B节点2中的服务F、应用B节点1中的服务E，共有3条链路环节：链路环节B1、链路环节B2和链路环节B3。

在每个应用节点上均部署一个链路采集客户端，在调用到各链路采集客户端负责的节点的所有服务时，实时记录相关的调用信息及特征值，生成对应的链路环节数据。进一步的，各个链路采集客户端按照预定的时间间隔将当前节点的采集到的链路环节数据发送给消息中间件。其中，调用信息主要包括：服务消费者和服务提供者的IP地址，调用时间点等；特征值主要包括：调用的服务名、方法名、URL等。

步骤2：通过分区的方式消费各个链路采集客户端上送至消息中间件中的链路环节数据。

链路聚合装置可以设置于消息中间件中，如图5中所示，链路聚合装置可以包括：链路环节分发模块和链路聚合模块，其中，上述链路分发模块包括多个分区，上述链路聚合模块包括多个链路环节聚合器，每个链路环节聚合器包括聚合处理节点和缓存节点。

由于每个链路环节数据中均包括一个唯一的技术交易流水号，同一个交易链路上的链路环节的技术交易流水号往下透传，保持一致。因此，可以预先将需要处理的技术交易流水号平均分配给多个分区。例如：在技术交易流水号包括1-60、分区数量为6的情况下，将技术交易流水号1-10分配给分区1处理、技术交易流水号11-20分配分区2处理，以此类推进行技术交易流水号的分配，当然还可以采用其他方式对各分区处理的技术交易流水号进行分配，本申请对此不作限定。

从而采用分区的方式保证了负载均衡与高可用，各分区可以比较均衡的处理海量的链路环节数据。任何一个分区因故障宕机后，剩余节点可平摊压力，可以随时横向扩展分区数量以适应链路环节数据流量的变化。其中，负载均衡(又称为负载分担)是将负载(工作任务)进行平衡、分摊到多个操作单元上进行执行，例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等，从而共同完成工作任务。

进一步的，各分区在接收到链路环节数据之后，可以解析链路环节数据的技术交易流水号，并通过一致性哈希算法对解析到的链路环节数据的技术交易流水号进行运算，采用一致性哈希算法可以保证同样的技术交易流水号算出的结果一致，根据运算得到的哈希值将链路环节数据按照预设的映射规则委派给链路聚合模块中的对应链路环节聚合器处理。其中，上述预设的映射规则为：为每个链路环节聚合器预先分配职责范围内的对技术交易流水号运算得到的哈希值，以使各分区可以根据运算得到的哈希值进行链路环节数据的分发，将运算得到的哈希值相同的链路环节数据委派给相同的链路环节聚合器处理。

步骤3：链路环节聚合器缓存链路环节数据。

链路环节聚合器同样采用负载均衡与高可用机制，做到可横向扩展，可随时替换，每个链路环节聚合器均可以包括：聚合处理节点和缓存节点。链路环节聚合器中的聚合处理节点在接收到分区发送的链路环节数据时，解析出该链路环节数据的技术交易流水号，并根据解析得到的技术交易流水号在对应的缓存节点中查询，确定缓存节点是否已存在以该技术交易流水号为主键的记录。如果确定不存在，则在缓存节点中新建一条主键为该技术交易流水号、值为该链路环节数据的记录，同时记录该记录的创建时间戳；如果确定存在，则将链路环节数据追加到值中，并更新以该技术交易流水号为主键的记录的值。可以借助缓存的高效读写性能，实现链路环节的聚合。

步骤4：读取缓存中记录的创建时间戳与当前时间间隔超过预设阈值的记录，聚合成一条完整的链路后输出。

由于不同的交易完成需要的时间是各不相同的，上述预设阈值可以根据部署在应用节点的采集构件的异步上送规则、交易进行时的网络情况以及业务复杂度评估后设定，针对不同的交易可以设定不同的阈值。上述异步上送规则中包括异步上送的时间间隔，网络情况可以包括当前网络条件下的数据传输速率。上述预设阈值一般为分钟级，在一般情况下可以设置为10分钟。可以认为创建时间戳与当前时间间隔超过预设阈值的记录的值中包括的多个链路环节是完整的，因此，聚合处理节点可以将记录的创建时间戳与当前时间间隔超过预设阈值的记录的值聚合成一条完整的交易链路后输出，并将缓存节点中缓存的该条记录删除。

进一步的，链路环节数据中同时还包含了父子关系号，其中，根据该父子关系号可以确定一条完整的交易链路中包括的多个链路环节对应的各个应用节点之间的调用关系，从而可以确定各个链路环节数据之间的顺序。因此，可以根据创建时间戳与当前时间间隔超过预设阈值的记录的值中包括的多个链路环节数据的父子关系号，将多个链路环节数据按照调用顺序串联起来进行聚合，从而输出一条完整、有序的交易链路。在一个实施例中，还可以在将链路环节数据追加到值中时，解析该链路环节数据的父子关系号，并根据该父子关系号按照调用顺序将链路环节数据添加到以该技术交易流水号为主键的记录的值中。从而实现了通过准实时的方式，对外输出完成的完整的交易链路，以用于后续进一步的流量分析、拓扑分析等。

本申请实施方式还提供了一种电子设备，具体可以参阅图6所示的基于本申请实施例提供的链路聚合方法的电子设备组成结构示意图，电子设备具体可以包括输入设备61、处理器62、存储器63。其中，输入设备61具体可以用于输入目标交易的链路数据。处理器62具体可以用于确定是否存在以链路数据的标识信息为键值的交易记录；在确定存在以链路数据的标识信息为键值的交易记录的情况下，将链路数据作为一条交易数据增加至交易记录的值中；确定以的链路数据的标识信息为键值的交易记录的创建时间点与当前时间点之间的差值是否达到预设时间阈值，在确定达到预设时间阈值的情况下，将以链路数据的标识信息为键值的交易记录的值进行聚合得到对应于目标交易的交易链路数据。存储器63具体可以用于存储目标交易的链路数据、以的链路数据的标识信息为键值的交易记录的创建时间点、预设时间阈值、目标交易的交易链路数据等参数。

在本实施方式中，所述输入设备具体可以是用户和计算机系统之间进行信息交换的主要装置之一。所述输入设备可以包括键盘、鼠标、摄像头、扫描仪、光笔、手写输入板、语音输入装置等；输入设备用于把原始数据和处理这些数的程序输入到计算机中。所述输入设备还可以获取接收其他模块、单元、设备传输过来的数据。所述处理器可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。所述存储器具体可以是现代信息技术中用于保存信息的记忆设备。所述存储器可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、TF卡等。

在本实施方式中，该电子设备具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。

本申请实施方式中还提供了一种基于链路聚合方法的计算机存储介质，计算机存储介质存储有计算机程序指令，在计算机程序指令被执行时可以实现：实时获取目标交易的链路数据；确定是否存在以链路数据的标识信息为键值的交易记录；在确定存在以链路数据的标识信息为键值的交易记录的情况下，将链路数据作为一条交易数据增加至交易记录的值中；确定以的链路数据的标识信息为键值的交易记录的创建时间点与当前时间点之间的差值是否达到预设时间阈值，在确定达到预设时间阈值的情况下，将以链路数据的标识信息为键值的交易记录的值进行聚合得到对应于目标交易的交易链路数据。

在本实施方式中，上述存储介质包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。

在本实施方式中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。

显然，本领域的技术人员应该明白，上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请实施例不限制于任何特定的硬件和软件结合。

虽然本申请提供了如上述实施例或流程图所述的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述的方法的在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

应该理解，以上描述是为了进行图示说明而不是为了进行限制。通过阅读上述描述，在所提供的示例之外的许多实施方式和许多应用对本领域技术人员来说都将是显而易见的。因此，本申请的范围不应该参照上述描述来确定，而是应该参照前述权利要求以及这些权利要求所拥有的等价物的全部范围来确定。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请实施例可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种链路聚合方法，其特征在于，包括：

实时获取目标交易的链路数据；

确定是否存在以所述链路数据的标识信息为键值的交易记录；

在确定存在以所述链路数据的标识信息为键值的交易记录的情况下，将所述链路数据作为一条交易数据增加至所述交易记录的值中；

确定以所述的链路数据的标识信息为键值的交易记录的创建时间点与当前时间点之间的差值是否达到预设时间阈值，在确定达到所述预设时间阈值的情况下，将以所述链路数据的标识信息为键值的交易记录的值进行聚合得到对应于所述目标交易的交易链路数据。

2.根据权利要求1所述的方法，其特征在于，在确定是否存在以所述链路数据的标识信息为键值的交易记录之后，还包括：

在确定不存在以所述链路数据的标识信息为键值的交易记录的情况下，创建以所述链路数据的标识信息为键值的交易记录，并将所述链路数据作为所述交易记录的值。

3.根据权利要求1所述的方法，其特征在于，在完成所述目标交易需要调用多个应用节点的情况下，实时获取目标交易的链路数据，包括：

实时获取所述多个应用节点中各应用节点记录的链路数据；

将所述多个应用节点中各应用节点记录的链路数据，作为所述目标交易的实时的链路数据。

4.根据权利要求2所述的方法，其特征在于，在创建以所述目标交易的标识信息为键值的交易记录，并将所述链路数据作为所述交易记录的值之后，还包括：

将创建的以所述链路数据的标识信息为键值的交易记录存储在缓存中；

相应的，在将以所述链路数据的标识信息为键值的交易记录的值进行聚合得到对应于所述目标交易的交易链路数据之后，还包括：

从缓存中删除以所述链路数据的标识信息为键值的交易记录。

5.一种链路聚合系统，其特征在于，包括：

应用节点，用于完成目标交易；

链路数据采集器，与所述应用节点进行通信连接，用于实时采集所述应用节点记录的目标交易的链路数据；

链路聚合器，与所述链路数据采集器进行通信连接，用于在接收到所述链路数据采集器采集的所述目标交易的链路数据之后，在确定存在以所述链路数据的标识信息为键值的交易记录的情况下，将所述链路数据作为一条交易数据增加至所述交易记录的值中；确定以所述的链路数据的标识信息为键值的交易记录的创建时间点与当前时间点之间的差值是否达到预设时间阈值，在确定达到所述预设时间阈值的情况下，将以所述链路数据的标识信息为键值的交易记录的值进行聚合得到对应于所述目标交易的交易链路数据。

6.根据权利要求5所述的链路聚合系统，其特征在于，包括：多个应用节点、多个链路数据采集器和多个链路聚合器，其中：

应用节点和链路数据采集器二者之间是一一对应的关系。

7.根据权利要求6所述的链路聚合系统，其特征在于，还包括：链路数据分发器，与所述多个链路数据采集器和所述多个链路聚合器相连，用于根据链路数据的标识信息将链路数据采集器采集的链路数据分发至对应的链路聚合器。

8.根据权利要求5所述的链路聚合系统，其特征在于，所述链路聚合器，包括：

记录建立器，与所述链路聚合器进行通信连接，用于在确定不存在以所述链路数据的标识信息为键值的交易记录的情况下，创建以所述链路数据的标识信息为键值的交易记录，并将所述链路数据作为所述交易记录的值。

9.根据权利要求8所述的链路聚合系统，其特征在于，所述链路聚合器，还包括：

缓存器，用于存储以所述链路数据的标识信息为键值的交易记录。

10.根据权利要求8所述的链路聚合系统，其特征在于，所述链路聚合器，还包括：

计时器，用于从创建以所述链路数据的标识信息为键值的交易记录的时间点开始计时，计时时长为所述预设时间阈值。

11.一种链路聚合设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1至4中任一项所述方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现权利要求1至4中任一项所述方法的步骤。