CN114726759B - 一种本机或远程通信请求延迟异常监控方法和装置 - Google Patents

Abstract

本申请公开了一种本机或远程通信请求延迟异常监控方法和装置，其中，该方法包括：识别通信请求在网络通信中的各类缓冲区，并根据各类缓冲区创建缓冲区序列模型；基于缓冲区序列模型判断是否发生请求延迟异常，并定位请求延迟异常发生的位置，以实现对请求延迟异常的监控。本申请能够解决覆盖不完整和粒度不一致问题。

Description

一种本机或远程通信请求延迟异常监控方法和装置

技术领域

本申请涉及据中心网络、远程通信请求、延迟监控技术领域，尤其涉及一种本机或远程通信请求延迟异常监控方法和装置。

背景技术

随着云原生、分布式云应用的发展，单服务器内或服务期之间的通信请求(如RPC、HTTP、RESTful API等)成为用于云计算通信的核心组件。由于服务器处理缓慢、交换机拥塞等种种原因，请求可能会遭遇延迟问题(Request Latency Anomaly，RLA)，即请求完成时间超出预期，进而会影响通信性能和应用性能。因此，准确诊断RLA问题对于保障云计算应用性能至关重要。具体来说，一个优秀的RLA诊断工具应当具备三个特点。能够全面覆盖请求的全流程；诊断数据应聚合为请求级别；诊断工具仅带来少量的性能开销。

已有的请求延迟异常诊断工具可主要分为以下三类：

应用层的tracing工具：Google的Dapper、Uber的Jaeger、Twitter的Zipkin，阿里的鹰眼系统均是针对分布式系统的tracing工具。此类工具能够在整个分布式系统中跟踪一个用户请求的过程，包括数据采集、数据传输、数据存储、数据分析和数据可视化，捕获此类跟踪可以构建用户交互背后的整个调用链。协议栈的监控工具：Dapper通过分析数据包统计信息，来推断TCP性能事件，例如，有无积压、拥塞、ACK迟到等；Trumpet利用终端主机上的触发器来监视网络范围的事件，例如，流量微突发、大流量、拥塞等。底层网络的监控工具：阿里云的网络可视化工具利用事件驱动原理来监视流(Flow)级网络异常事件，例如，丢包、拥塞、换路等。

已有的请求延迟异常诊断工具有两大局限性：

覆盖不完整：现有的监控系统要么聚焦于应用层，要么只负责协议栈/传输层监控，要么只针对物理网络进行监控。目前没有监控系统能够在RPC的端到端生命周期中捕获所有RLA相关的异常事件。粒度不一致：由于遵循互联网分层结构，不同层监控的粒度不同。物理网络监控粒度为IP数据流，而应用和租户关心的是RPC请求级别的事件。就算把多个不同层的系统组合起来，由于粒度不一致，管理员仍然无法准确关联不同层面的异常事件。

申请内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的目的在于提出一种本机或远程通信请求延迟异常监控方法，实现全覆盖、请求级粒度、低开销的请求延迟异常诊断，本申请将请求端到端流程建模为缓冲区序列(Buffer Chain)模型。通过监控各缓冲区中的异常事件，精准定位请求性能问题发生的位置，为RLA诊断提供充足信息。

本申请的另一个目的在于提出一种本机或远程通信请求延迟异常监控装置。

为达上述目的，本申请一方面提出了本机或远程通信请求延迟异常监控方法，包括以下步骤：

识别通信请求在网络通信中的各类缓冲区，并根据所述各类缓冲区创建缓冲区序列模型；基于所述缓冲区序列模型判断是否发生请求延迟异常，并定位所述请求延迟异常发生的位置，以实现对所述请求延迟异常的监控。

本申请实施例的本机或远程通信请求延迟异常监控方法，有能力覆盖请求的全流程，并诊断任意环节出现的延时异常。并且确保各个环节都具有同样的监控粒度，确保各环节数据采集粒度一致，便于后续数据关联和分析。

另外，根据本申请上述实施例的本机或远程通信请求延迟异常监控方法还可以具有以下附加的技术特征：

进一步地，在本申请的一个实施例中，所述方法还包括：定义所述各类缓冲区的不同类型的异常事件并对所述异常事件进行信息采集，以诊断所述请求延迟异常。

进一步地，在本申请的一个实施例中，所述方法还包括：在所述网络通信中的各个层次和管理域中为所述通信请求进行语义注入，以统一监控粒度进行信息采集。

进一步地，在本申请的一个实施例中，所述方法还包括：通过软件或处理器，实现对所述异常事件的信息采集和上报。

进一步地，在本申请的一个实施例中，所述各类缓冲区包括：应用层缓冲区、协议栈缓冲区、网卡缓冲区、交换机或路由器缓冲区中的多种。

进一步地，在本申请的一个实施例中，在对所述异常事件的信息采集之后，对所述请求延迟异常的根因进行数据分析；其中，所述数据分析包括：数据挖掘、大数据处理、数据统计中的多种。

进一步地，在本申请的一个实施例中，根据优先级感知、顺序敏感和入队机制三个关键属性，以定义所述各类缓冲区的不同类型的异常事件。

进一步地，在本申请的一个实施例中，所述语义注入的方式包括：将所述网络通信中的各个层次或管理域通过独立的接口从相邻层次或管理域之间获取语义信息；由所述网络通信中的上游层次或管理域将语义信息插入数据流中，携带至下游层次或管理域；以及，从集中式的语义分配中心获取统一的语义信息。

进一步地，在本申请的一个实施例中，所述处理器包括：CPU、FPGA、DSP和ASIC中的一种。

为达到上述目的，本申请另一方面提出了一种本机或远程通信请求延迟异常监控装置，包括：

模型创建模块，用于识别通信请求在网络通信中的各类缓冲区，并根据所述各类缓冲区创建缓冲区序列模型；异常监控模块，用于基于所述缓冲区序列模型判断是否发生请求延迟异常，并定位所述请求延迟异常发生的位置，以实现对所述请求延迟异常的监控。

本申请实施例的本机或远程通信请求延迟异常监控装置，实现全覆盖、请求级粒度、低开销的请求延迟异常诊断，本申请将请求端到端流程建模为缓冲区序列(BufferChain)模型。通过监控各缓冲区中的异常事件，精准定位请求性能问题发生的位置，为RLA诊断提供充足信息。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本申请实施例的本机或远程通信请求延迟异常监控方法流程图；

图2为根据本申请实施例的BufScope系统架构图；

图3为根据本申请实施例的请求的缓冲区序列模型示意图；

图4为根据本申请实施例的语义注入机制示意图；

图5为根据本申请实施例的本机或远程通信请求延迟异常监控装置的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

下面参照附图描述根据本申请实施例提出的本机或远程通信请求延迟异常监控方法及装置，首先将参照附图描述根据本申请实施例提出的本机或远程通信请求延迟异常监控方法。

下列是对专业术语的解释：

RPC：Remote Process Call，远程过程调用。

请求：Request，是一种常规的应用层通信原语，比如RPC，HTTP request，RESTfulAPI。

请求延迟：指从发送端应用层发送到接收端应用层接收的时间间隔，跨越了请求的端到端数据路径(包括应用程序、终端主机网络栈和底层网络)。

Buffer：缓冲区，用来暂存并处理数据，在服务器和网络中都广泛存在。

RLA：Request latency anomaly，请求延迟异常；指的是导致请求延迟超出预期的多种异常事件。

本申请的BufScope架构适用于各类应用层(如RPC、HTTP、自定义等)请求或其他层次的请求，以及各类传输层(如TCP、UDP、ICMP、自定义等)载体。识别并建模应用层、协议栈、网卡、物理网络交换机中的缓冲区，通过监控缓冲区，诊断RLA。注意，对于单机内请求，可能不存在物理网络的缓冲区；对于包含其余类型组件的设备(如FPGA、DSP、ASIC等)，可能存在更多类型的缓冲区。对于上述场景，无论其包含缓冲区数量多少、类型有哪些异同，均可用BufScope的思路进行诊断。BufScope的系统架构如图2所示。

图1是本申请一个实施例的本机或远程通信请求延迟异常监控方法的流程图。

如图1所示，该本机或远程通信请求延迟异常监控方法包括：

步骤S1,识别通信请求在网络通信中的各类缓冲区，并根据各类缓冲区创建缓冲区序列模型。

可以理解的是，BufScope识别请求全流程中的缓冲区，并创建端到端缓冲区序列模型。缓冲区位于相邻数据处理单元之间，提供数据暂存功能，起到匹配上下游数据处理速率的作用。数据在缓冲区中的暂存是请求延迟上升的重要原因。为此，忽略数据处理单元的复杂性，而是通过关注缓冲区中的信息，判断是否发生了RLA，以及定位RLA发生的位置。

作为一种示例，如图3所示，将请求的端到端全流程抽象成一个缓冲区序列。可能存在的缓冲区包括但不限于：应用层缓冲区(如消息队列)、协议栈缓冲区(如TCP缓冲区)、网卡缓冲区、交换机或路由器缓冲区等。

步骤S2,基于缓冲区序列模型判断是否发生请求延迟异常，并定位请求延迟异常发生的位置，以实现对请求延迟异常的监控。

具体的，通过监控各缓冲区中的异常事件，精准定位请求性能问题发生的位置，为RLA诊断提供充足信息。

进一步地，本申请还可以进行异常事件定义，BufScope为各类缓冲区定义可能发生的异常事件类型，通过采集这些异常事件诊断RLA。

作为一种示例，虽然存在各种类型的缓冲区，但它们可以根据三个关键属性进行分类，即优先级感知、顺序敏感和入队机制。

是否配置优先级：是具有多个队列的缓冲区的属性。如果严格的优先级或调度权重在不同的队列中保持，低优先级队列中的包将不得不等待高优先级队列的耗尽。否则，数据包脱离队列遵循FIFO原则(即不知道优先级)。

是否保序：指的是缓冲区在将到达的数据包取出进行后续处理之前，是否维护了它们的强顺序。对于保序缓冲区，序列号在前的数据一定要先到，否则后面的数据即使提前到达了，也需等待。

是否有损：队列接近满时，后续报文会被丢弃(有损)，还是会通知上游缓发数据，不丢数据(无损)。

根据上述三种属性定义了5中缓冲区中可能发生的异常事件，如表1所示。同时，列举了不同类型事件的触发条件，以及对应需要采集的事件信息。

表1

值得注意的是，除表1中列举的异常事件外，还可能存在其他类型缓冲区的其他类型事件。此类缓冲区了异常事件也均可进行抽象，作为BufScope监控的目标。此外，表1中列举的事件可供用户灵活定义，如拥塞阈值等，作为BufScope监控的标准。

由此通过定义异常事件，在运行过程中仅采集缓冲区异常事件，而不需要采集缓冲区的所有信息，可以减少缓冲区数据采集开销。

进一步地，本申请还可以进行一致语义注入，BufScope在请求端到端各个环节，确保都具有同样的监控粒度，该粒度包括但不限于请求身份标识符(如RPC ID)，确保各环节数据采集粒度一致。

可以理解的是，网络通信往往遵循分层架构，请求端到端会跨越多层(如应用层、传输层、网络层等)以及多个管理域(如应用域、网卡域、网络域等)。不同层次和管理域收集信息的粒度可能不同(如应用层可能收集请求身份标识符级信息，网络层可能收集IP级信息)，导致不同层次或管理域之间的信息无法有效关键，进而难以准确判断请求延迟异常发生的位置。

为解决此问题，BufScope提出，在各个层次和管理域中，为请求注入一致语义(包括但不限于请求身份标识符)。可能的语义注入方式包括：

各层次或管理域可以通过独立的接口从相邻层次或管理域之间获取语义信息；

也可以由上游层次或管理域将语义信息插入数据流中，携带至下游层次或管理域；

也可以从一个集中式的语义分配中心获取统一的语义信息。

作为一种示例，如图4所示，图4介绍了一种一致语义注入的示例机制，上游层次为应用层，包含请求级语义；下游层次为传输层，包含IP级语义。该示例遵循上述第二类语义注入方式。一致语义为请求身份标识符(ID)。需要注意，单个请求可能会被分拆到多个IP报文中，多个请求也可能会由同一个IP报文承载。在此，将IP报文中包含的第一个请求的身份标识符(ID#1)和字节序号(Offset)，插入到IP报文(Header)和报文负载(Payload)之间。通过这种方式，可以将请求身份标识符语义插入数据流中，供下游缓存进行解析。值得注意的是，如单个IP报文承载了多个请求，下游缓存可以在解析完IP报文中包含的第一个请求后，迭代解析后续请求。该方式仅带来0.7％的额外带宽开销。

由此通过请求语义注入，可以将各个环节的数据进行统一化，便于后续分析和处理。

需要说明的是，BufScope不规定缓冲区信息收集到后，如何进行RLA的根因分析过程，可能的分析过程包括但不限于：数据挖掘、大数据处理、统计等。

进一步地，本申请还可以进行高效数据采集和上报，BufScope允许将数据采集、上报功能实现在软件或者硬件处理器上，确保系统实现的低开销。

可以理解的是，为实现高效性，BufScope支持将一致语义注入、缓存数据采集和上报过程实现在软件或硬件处理器中，处理器包括但不限于：CPU、FPGA、DSP、ASIC等。如算法1所示描述了一致语义注入功能实现在FPGA网卡中的一种可能方法示例。

算法1

如算法1所示，对于每个IP报文，首先插入IP报文中包含的第一个请求起始身份标识符(ID#1)和字节序号(Offset)(第1-5行)。然后，存在三种可能的条件分支。

条件1：IP报文包含的第一个请求为完整请求(9-10行)

条件2：IP报文包含的第一个请求为不完整请求(即仅包含一个请求的部分数据)，第二个请求为完整请求(11-14行)

条件3：IP报文不包含任何一个完整请求(15-17行)

对于条件3，无需更新后续请求的身份标识符和字节序号。对于条件1和2，记录IP数据报文中的最后一个请求的身份标识符(18-19行)，该身份标识符可能成为下一个IP数据包中包含的第一个请求的身份标识符。

该示例基于FPGA网卡，实现了一致语义注入功能，相比CPU实现能够降低开销。由此可以以任意灵活的方式，实现缓冲区数据的采集。

通过本申请实施例的本申请实施例的本机或远程通信请求延迟异常监控方法，实现全覆盖、请求级粒度、低开销的请求延迟异常诊断，本申请将请求端到端流程建模为缓冲区序列(Buffer Chain)模型。通过监控各缓冲区中的异常事件，精准定位请求性能问题发生的位置，为RLA诊断提供充足信息。

为了实现上述实施例，如图5所示，本实施例中还提供了一种本机或远程通信请求延迟异常监控装置10，该装置10包括：模型创建模块100和异常监控模块200。

模型创建模块100，用于识别通信请求在网络通信中的各类缓冲区，并根据各类缓冲区创建缓冲区序列模型；

异常监控模块200，用于基于缓冲区序列模型判断是否发生请求延迟异常，并定位请求延迟异常发生的位置，以实现对请求延迟异常的监控。

通过本申请实施例的本申请实施例的本机或远程通信请求延迟异常监控装置，实现全覆盖、请求级粒度、低开销的请求延迟异常诊断，本申请将请求端到端流程建模为缓冲区序列(Buffer Chain)模型。通过监控各缓冲区中的异常事件，精准定位请求性能问题发生的位置，为RLA诊断提供充足信息。

需要说明的是，前述对本机或远程通信请求延迟异常监控方法实施例的解释说明也适用于该实施例的本机或远程通信请求延迟异常监控装置，此处不再赘述。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种本机或远程通信请求延迟异常监控方法，其特征在于，包括以下步骤：

识别通信请求在网络通信中的各类缓冲区，并根据所述各类缓冲区创建缓冲区序列模型；

基于所述缓冲区序列模型判断是否发生请求延迟异常，并定位所述请求延迟异常发生的位置，以实现对所述请求延迟异常的监控；

所述方法还包括：定义所述各类缓冲区的不同类型的异常事件并对所述异常事件进行信息采集，以诊断所述请求延迟异常；

在对所述异常事件的信息采集之后，对所述请求延迟异常的根因进行数据分析；其中，所述数据分析包括：数据挖掘、大数据处理、数据统计中的多种。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述网络通信中的各个层次和管理域中为所述通信请求进行语义注入，以统一监控粒度进行信息采集。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过软件或处理器，实现对所述异常事件的信息采集和上报。

4.根据权利要求1所述的方法，其特征在于，所述各类缓冲区包括：应用层缓冲区、协议栈缓冲区、网卡缓冲区、交换机或路由器缓冲区中的多种。

5.根据权利要求1所述的方法，其特征在于，根据优先级感知、顺序敏感和入队机制三个关键属性，以定义所述各类缓冲区的不同类型的异常事件。

6.根据权利要求2所述的方法，其特征在于，所述语义注入的方式包括：

将所述网络通信中的各个层次或管理域通过独立的接口从相邻层次或管理域之间获取语义信息；

由所述网络通信中的上游层次或管理域将语义信息插入数据流中，携带至下游层次或管理域；以及，

从集中式的语义分配中心获取统一的语义信息。

7.根据权利要求3所述的方法，其特征在于，所述处理器包括：CPU、FPGA、DSP和ASIC中的一种。

8.一种本机或远程通信请求延迟异常监控装置，其特征在于，包括：

模型创建模块，用于识别通信请求在网络通信中的各类缓冲区，并根据所述各类缓冲区创建缓冲区序列模型；

异常监控模块，用于基于所述缓冲区序列模型判断是否发生请求延迟异常，并定位所述请求延迟异常发生的位置，以实现对所述请求延迟异常的监控；

所述异常监控模块，还用于定义所述各类缓冲区的不同类型的异常事件并对所述异常事件进行信息采集，以诊断所述请求延迟异常；

在对所述异常事件的信息采集之后，对所述请求延迟异常的根因进行数据分析；其中，所述数据分析包括：数据挖掘、大数据处理、数据统计中的多种。