CN109672591B

CN109672591B - 实时可编程的抽样带内网络遥测的方法

Info

Publication number: CN109672591B
Application number: CN201910052756.3A
Authority: CN
Inventors: 朱祖勍; 唐绍飞
Original assignee: University of Science and Technology of China USTC
Current assignee: University of Science and Technology of China USTC
Priority date: 2019-01-21
Filing date: 2019-01-21
Publication date: 2022-05-17
Anticipated expiration: 2039-01-21
Also published as: CN109672591A

Abstract

本发明公开了一种实时可编程的抽样带内网络遥测的方法，该方法不仅能在POF交换机运行时更改INT监控策略、抽样率，还能保证POF交换机的性能不会下降，并能保持较高的网络监控准确性。

Description

实时可编程的抽样带内网络遥测的方法

技术领域

本发明涉及通信技术领域，尤其涉及一种实时可编程的抽样带内网络遥测的方法。

背景技术

传统网络主要为分布式网络，配置繁琐且不易集中管理，网络流量的转发和控制都由数据面决定。这增加了数据面的处理负担，同时使网络管理困难。一种软件定义网络(SDN，Software Defined Network)的新型网络架构被提出。软件定义网络是将网络的控制平面和数据平面分离。SDN控制器集中管理网络；数据面只负责数据包的转发。

协议无感知转发协议(POF，Protocol Oblivious Forwarding)是SDN架构下的南向协议之一，它是根据偏移量和偏移长度来描述网络协议的任一匹配字段，并定义了通用的指令集。

随着网络的快速发展，网络设备和网络服务爆发式增长，这也使得网络可能在任何时间、任何位置出现故障或问题。传统的网络监控方法基于服务器-客户端模型来获取数据面的交换机状态信息。这些方法采用带外模式，会产生如下问题：1)带外模式会产生额外的流量来传递统计信息；2)统计信息需要消耗交换机的CPU资源，降低交换机性能；3)交换机信息无法保证实时性和端到端状态。这使得使用传统的网络监控方式仍不能有效、快速地定位网络故障。

目前，带内网络遥测(INT，In-band Network Telemetry)被提出。该方案通过数据包将交换机的状态信息实时地带出，它是基于每个数据包都执行INT操作的策略，且大多运用于高性能硬件交换机上。然而，面对虚拟网络等场景下，这种策略并不适用于软件交换机，它会使软件交换机的性能严重下降，甚至无法正常服务。同时，目前的INT方案大多基于可编程的协议无关数据包处理器(P4，Programming Protocol-independent PacketProcessors)的硬件交换机，它存在着无法在运行时调整数据面的流水线操作，即无法任意更改INT数据类型的问题。

综上，面向每一个数据包的INT方案并不适用于软件交换机，包括POF软件交换机。实现能实时编程的抽样带内网络遥测(Sel-INT，Selective In-band NetworkTelemetry)，同时保证软件交换机的性能和网络数据平面信息的准确性、实时性是十分必要的。

发明内容

本发明的目的是提供一种实时可编程的抽样带内网络遥测的方法。

本发明的目的是通过以下技术方案实现的：

一种实时可编程的抽样带内网络遥测的方法，包括：

对网络中的POF交换机进行功能扩展，使其支持对接收的数据包进行带内网络遥测INT操作；

由POF交换机接收POF控制器下发的包含了指示POF交换机执行INT操作的抽样率、监控数据类型以及INT头部起始插入位置的消息体，并基于POF交换机的加权组表，来实现实时可编程的抽样INT策略，最终的INT数据包，将复制一份转发给数据解析器，同时，最终的INT数据包需要将INT头部删除再发送给用户；

所述数据解析器对INT数据包进行解析，同时，提供可调用接口给POF控制器，使得POF控制器能够查询历史记录，并根据当前网络的实时状态来设置与更新网络策略，从而实现闭环控制。

由上述本发明提供的技术方案可以看出，不仅能在POF交换机运行时更改INT监控策略、抽样率，还能保证POF交换机的性能不会下降，并能保持较高的网络监控准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的INT头部设计示意图；

图2为本发明实施例提供的INT数据包处理流程图；

图3为本发明实施例提供的一种实时可编程的抽样带内网络遥测的方法的设计架构图；

图4为本发明实施例提供的一种实时可编程的抽样带内网络遥测的方法的实现架构图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

目前已有的INT方案中，大多基于P4，不能实时更改数据平面的带内网络遥测的策略，比如更改监控数据面的状态信息类型。并且，由于POF能支持任意协议的处理，不需要固定的协议，当前的INT方案并不能直接用于POF软件交换机中。本发明提出一种实时可编程的抽样带内网络遥测的方法，不仅能在交换机运行时更改INT监控策略、抽样率，还能保证POF软件交换机的性能不会下降，并能保持较高的网络监控准确性。

本发明实施例提供一种实时可编程的抽样带内网络遥测的方法，其主要包括

为了便于理解，下面针对上述方案的各个部分做详细的介绍。

一、对POF交换机的功能扩展。

本发明实施例中，

对网络中的POF交换机进行功能扩展，使其支持对接收的数据包进行带内网络遥测INT操作，具体来说：在POF交换机内开辟一段内存空间来存储POF交换机的实时状态信息，使用位图(bitmap)来表示INT数据类型，称为MapInfo字段，并能通过POF控制器来定义INT头部的起始插入位置。

POF交换机进行功能扩展后，获取INT数据和删除INT头部的步骤如下：

1)数据包进入POF软件交换机。

2)数据包匹配上插入INT数据的流表，使用POF交换机扩展指令add_int_field动作，将交换机的实时状态信息插入到数据包中；该扩展指令add_int_field动作能够定义INT头部的插入位置以及插入数据类型；

3)数据包在最后一跳转发给用户前，需要将INT头部删除，使用POF交换机的扩展指令delete_int_field动作，动态识别INT头部的实际长度，并删除。

如图1所示，为INT头部设计示意图；INT头部被插入IP头部后。但由于控制器使用POF协议能够设置INT头部插入的起始位置，因此INT头部的位置并不仅限于IP头部后。

如图1所示，所述INT头部包括：Type字段，其占2字节，通过设置相应内容(例如，设置0x0908)来表示数据包为INT数据包；Length字段占1字节，表示INT头部中Metadata(元数据)的个数；MapInfo字段占1字节，采用了位图的思想，最低6位比特依次对应图中的INT数据类型，最高2位比特暂时保留，表示所加的INT的数据类型，当某一位比特设置为1时，则表示交换机应该向INT数据包中插入相应类型的INT数据；Metadata字段根据类型的不同，其长度从1字节到8字节。根据Length字段和MapInfo字段来计算出整个INT头部的实际长度。

二、实现实时可编程的抽样INT策略。

本发明实施例中，实现抽样的机制是基于POF的加权组表(SGT，Select GroupTable)，组表内包含不同指令集的桶(bucket)，每个bucket都有不同的权重值。这里的权重值与传统SDN协议中的不同，它不再是用来作为倍数，而是为bucket执行的比例。本发明实施例中，将SGT配置在源节点上，其中一部分bucket执行INT操作，另外一部分bucket正常地转发数据包。本发明实施例中，通过控制bucket的权重值来实现在源节点处抽样加上INT头部。

本发明实施例中，实现实时可编程的抽样INT策略的步骤包括：

1)源节点处的POF交换机配置加权组表，POF控制器通过GroupMod消息体，实时更改源节点处的POF交换机添加INT头部的抽样率、数据类型以及插入位置。

2)在中间节点处的POF交换机，配置匹配INT头部的流表来执行INT操作；中间节点处的POF交换机直接读取数据包中的INT头部中的数据类型字段，然后使用扩展指令add_int_field动作在INT头部后插入相对的交换机的实时状态信息；POF控制器也能够通过下发FlowMod消息体，使某些中间节点处的POF交换机不做INT操作。

3)在目的节点处，最终的INT数据包，将被复制一份传递给数据解析器进行解析；同时，还执行扩展指令delete_int_field动作，删除INT数据包的INT头部后，再转发给用户。

如图2的(a)～(c)三个部分分别对应于源节点、中间节点、目的节点处POF交换机的INT数据包处理流程。

1)在源节点处，POF控制器下发GroupMod消息来设置加权组表，如图4的(a)部分。在该加权组表中实时通过设置两个bucket的权重m和n来改变做INT的比例，其比例为

其中，bucket0执行INT操作，指令集解释如下：add_int_field指令将向数据包中插入INT头部，参数272b表示INT头部的可调的起始插入位置，MapInfo参数以位图形式表示需要插入的INT数据类型；modify_field指令将把INT头部的Length字段加1，参数<偏移量＝288b，长度＝8b>表示Length字段，参数1表示增加量；output指令将数据包转发给下一跳。bucket1执行正常的数据包转发操作。Sel-INT的抽样率、插入类型、起始插入位置是在源节点处设置好的。

2)在中间节点处，POF控制器下发FlowMod消息来设置流表，如图4的(b)部分。中间节点直接匹配INT头部，然后从INT数据包中读取MapInfo字段，交换机会翻译出该字段的含义并在INT头部后插入相应的INT数据。其中，匹配项<偏移量＝272b，长度＝16b>表示INT头部的Type字段；指令add_int_field动作将向数据包中插入INT头部，offset表示这时不需要任何参数，其插入位置为INT头部的MapInfo字段后，MapInfo＝0xff表示控制器不再给定MapInfo字段的值，该值应该由数据面的交换机从INT数据包中的MapInfo字段中去读取。

3)在目的节点处，POF控制器下发GroupMod消息来设置all组表，如图4的(c)部分。目的节点仍然直接匹配INT头部，并会将INT数据包复制一份，分别执行各个bucket里的指令集。其中，bucket0执行INT操作并转发给数据解析器，其指令集解释同前文一致。bucket1将INT头部删除后再将数据包转发给用户，其指令集解释如下：del_int_field指令会根据INT数据包的Length字段和MapInfo字段来计算出数据包中INT头部的实际长度，然后再删除变长的INT头部字段，参数<偏移量＝272b>表示删除字段的起始位置，该值需要跟INT头部起始插入位置保持一致；output指令将数据包转发给用户，此时的数据包为原始的数据包。

三、实现INT数据包解析，并能与控制器实现交互。

本发明实施例中，数据解析器能够解析INT数据包，并存储相关记录；能够与控制器进行交互，从而实现网络的闭环控制。具体来说：所述数据解析器对INT数据包进行解析之前，还判断INT数据包是否为包含INT数据的有效数据包，如果是，则先执行过滤操作，过滤重复的INT记录，再进行解析操作；同时，提供可调用接口给POF控制器，使得POF控制器能够查询历史记录，并根据当前网络的实时状态来设置与更新网络策略，从而实现闭环控制。

如图3所示，为本发明提供的一种实时可编程的抽样带内网络遥测的方法的设计架构。图3中的POF交换机为支持INT操作的软件交换机，它能够匹配上做INT操作的流表，并将交换机的状态信息插入到用户的数据包中。如图2所示，POF控制器会下发GroupMod或FlowMod消息体给路径上的交换机，这些消息体里包含了指示POF交换机执行INT操作的抽样率、监控数据类型以及INT头部起始插入位置。在源节点处设置抽样率，即SW1；中间节点处，即SW2、SW3、SW5，会直接匹配INT头部字段，并读取INT头部的MapInfo字段，翻译为具体类型的INT数据后，插入到INT头部后；在目的节点处，即SW6，会复制一份INT数据包给数据分析器，原INT数据包会在删除INT头部后再转发给用户。数据解析器会对INT数据包进行解析，并过滤重复结果后记录；它可以与POF控制器进行交互，实时地根据网络当前状态来制定网络策略。

如图4所示，为本发明提供的一种实时可编程的抽样带内网络遥测的方法的设计架构与实现架构。POF交换机实现了对INT操作的支持，能够将INT数据存储在Metadata空间中；在POF交换机中，通过POF指令集(POF-FIS，POF Forwarding Instruction Set)流水线来实现匹配INT头部、插入INT数据到数据包中的操作；因本方案采用SGT组表来实现抽样性，为保证交换机能够的性能不会大幅降低，需要使用快速路径验证模块，主动让bucket中的流表失效再切换到另外一个bucket去执行动作。数据分析器内包括INT解析器模块和数据库模块，INT解析器模块用来解析INT数据包，数据库模块用来存储解析并过滤后的INT记录。控制器通过POF协议与POF交换机交互，并能从数据解析器获取数据面网络的实时状态信息，从而实现对网络的闭环控制。网络管理者对网络具有全局的视野，能够根据不同的需求和网络状态来制定不同的网络策略。

本发明实施例上述方案相对于传统方案主要具有如下优点：

1)本发明能在不中断数据平面服务的情况下，实时地通过POF协议来更改数据面执行INT操作的抽样率、抽样数据类型、INT头部起始插入位置。抽样率的实时调整能够降低POF软件交换机的处理性能；同时，面临可能的网络故障，调整抽样率能够快速、精准地定位到故障所在。针对网络的实际情况，监控不同类型的INT数据，提高了普适性。INT头部起始插入位置的可动态调整性，使该方案并不限于某一固定的网络协议，满足了协议无感知的特性。

2)本发明使用位图的思想来表示INT数据类型，即MapInfo字段，数据面能够翻译该字段并向数据包中插入相应类型的INT数据。位图的使用增加了INT数据类型的组合数，同时节省了INT头部的长度。该方法也降低了POF软件交换机翻译难度。

3)本发明扩展了加权组表的运行机制，使加权组表里的bucket能够被遍历执行，从而实现抽样机制。通过调整bucket的权重值来更改执行的比例，这样的抽样模式，能够严格地控制抽样率，这与传统的随机抽样不同。该加权组表使得能对同一条流执行多种不同的网络策略，这是SDN概念中的加权组表所不能做到的。

4)本发明提出了高性能的INT数据分析服务器功能。它能够在记录INT解析结果前执行过滤操作，略去重复结果，这节省了数据写入的I/O操作。同时，它提供了可调用接口给控制器，使整个网络能处于闭环状态。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种实时可编程的抽样带内网络遥测的方法，其特征在于，包括：

对网络中的POF交换机进行功能扩展，使其支持对接收的数据包进行带内网络遥测INT操作，包括：在POF交换机内开辟一段内存空间来存储POF交换机的实时状态信息，使用位图来表示INT数据类型，称为MapInfo字段，并能通过POF控制器来定义INT头部的起始插入位置；POF交换机进行功能扩展后，获取INT数据和删除INT头部的步骤如下：数据包进入POF软件交换机；数据包匹配上插入INT数据的流表，使用POF交换机扩展指令add_int_field动作，将交换机的实时状态信息插入到数据包中；该扩展指令add_int_field动作能够定义INT头部的插入位置以及插入数据类型；数据包在最后一跳转发给用户前，需要将INT头部删除，使用POF交换机的扩展指令delete_int_field动作，动态识别INT头部的实际长度，并删除；

2.根据权利要求1所述的一种实时可编程的抽样带内网络遥测的方法，其特征在于，所述由POF交换机接收POF控制器下发的包含了指示POF交换机执行INT操作的抽样率、监控数据类型以及INT头部起始插入位置的消息体，并基于POF交换机的加权组表，来实现实时可编程的抽样INT策略包括：

POF交换机的加权组表内包含不同指令集的桶，每个桶都有不同的权重值；将加权组表配置在源节点处的POF交换机上，其中一部分桶执行INT操作，另外一部分桶正常地转发数据包；实现实时可编程的抽样INT策略的步骤包括：

源节点处的POF交换机配置加权组表，POF控制器通过GroupMod消息体，实时更改源节点处的POF交换机添加INT头部的抽样率、数据类型以及插入位置；

在中间节点处的POF交换机，配置匹配INT头部的流表来执行INT操作；中间节点处的POF交换机直接读取数据包中的INT头部中的数据类型字段，然后使用扩展指令add_int_field动作在INT头部后插入相对的交换机的实时状态信息；POF控制器也能够通过下发FlowMod消息体，使某些中间节点处的POF交换机不做INT操作；

在目的节点处，最终的INT数据包，将被复制一份传递给数据解析器进行解析；同时，还执行扩展指令delete_int_field动作，删除INT数据包的INT头部后，再转发给用户。

3.根据权利要求1所述的一种实时可编程的抽样带内网络遥测的方法，其特征在于，

所述INT头部包括：Type字段，其占2字节，通过设置相应内容来表示数据包为INT数据包；Length字段占1字节，表示INT头部中Metadata的个数；MapInfo字段占1字节，采用了位图的思想，最低6位比特依次对应图中的INT数据类型，最高2位比特暂时保留，表示所加的INT的数据类型，当某一位比特设置为1时，则表示交换机应该向INT数据包中插入相应类型的INT数据；Metadata字段根据类型的不同，其长度从1字节到8字节；

根据Length字段和MapInfo字段来计算出整个INT头部的实际长度。

4.根据权利要求1所述的一种实时可编程的抽样带内网络遥测的方法，其特征在于，所述数据解析器对INT数据包进行解析之前，还判断INT数据包是否为包含INT数据的有效数据包，如果是，则先执行过滤操作，过滤重复的INT记录，再进行解析操作。