CN115442275A - 基于分级可信流的混合遥测方法和系统 - Google Patents

Abstract

本发明提供一种基于分级可信流的混合遥测方法和系统，所述方法包括：由控制器基于上层应用下发的遥测需求确定路径需求，并根据路径需求和分级可信流集合中的流量特性查找所述分级可信流集合中是否存在能够承载遥测任务的可信流；若确定在分级可信流集合中存在能够承载遥测任务的可信流，则选取用于承载遥测任务的可信流，以利用选取的可信流进行被动遥测；若确定在分级可信流集合中不存在能够承载遥测任务的可信流，则进行主动遥测，在所述主动遥测过程中所述控制器构造段路由遥测报文并下发至数据平面；接收来自数据平面的遥测信息。

Description

基于分级可信流的混合遥测方法和系统

技术领域

本发明涉及网络遥测技术领域，尤其涉及一种基于分级可信流的混合遥测方法和系统。

背景技术

网络测量是网络管控的基础手段和数据来源。网络测量技术实际上已经诞生已久，存在很多分类及功能，如按照测量方式的不同，可以分为主动测量和被动测量。主动测量是通过向网络中主动发送探测信息，根据探测信息受网络状态的变化来分析网络行为。被动测量是通过捕获流经测量点的流量来测量网络状态、流量特征和性能参数。

遥测(Telemetry)是一种网络测量方法，体现为测量网络的数据并需要远程上报服务器，遥测亦可分为主动遥测和被动遥测。被动遥测为数据平面网络会自动上报遥测信息至服务器，主动遥测为服务器会主动向数据平面网络下发遥测任务并收取遥测信息，在主动遥测方法中，有研究者利用了段路由技术，该技术可用于自主规划测量路径。

带内网络遥测(In-band Network Telemetry，INT)是网络测量的主要研究方向之一，通过路径中间交换节点对数据包依次插入元数据(Metadata)的方式完成网络状态采集。相较于传统网络测量方案，带内测量能够对网络拓扑、网络性能和网络流量实现更细粒度的测量。带内网络遥测于2015年被提出，是一种不需要网络控制平面干预，网络数据平面收集和报告网络状态的框架。在带内网络遥测架构中，交换设备转发处理携带遥测指令的数据包，当遥测数据包经过该设备时，这些遥测指令告诉具备网络遥测功能的网络设备应该收集并写入何种网络状态信息。如图1所示，带内网络遥测系统由遥测服务器和具备带内网络遥测功能的交换机组成。

带内网络遥测的数据包处理流程如下：

1.普通数据报文到达带内网络遥测系统的第一个交换节点时，带内网络遥测模块通过在交换机上设置的采样方式匹配并镜像出该报文，根据遥测任务的需要在报文中插入INT头部，将INT头部所指定的遥测信息封装成元数据(MetaData，MD)插入到INT头部之后；

2.报文转发到中间节点时，设备匹配INT头部后插入MD；

3.报文转发到带内网络遥测系统最后一跳时，交换设备匹配INT头部插入最后一个MD并提取全部遥测信息并通过gRPC等方式转发到遥测服务器；

4.遥测服务器解析遥测报文内的遥测信息，上报给上层遥测应用程序。

上述的INT流程属于被动遥测，即数据平面会向服务器上送遥测信息，除去被动遥测外，还有服务器主动向数据平面发送探测包的主动遥测，在主动遥测方法中，有研究者利用了段路由技术进行自主路径规划。

段路由(Segment Routing，SR)是基于松散源路由的概念。概括地讲，节点可以在数据包包头中包括一个有序的指令列表，这些指令沿着数据包在网络中的路径控制报文的转发和处理。单个指令称为段(segment)，一个指令序列可以称为段列表(segment list)或SR策略(SR Policy)。每个segment可以实施一个具体的要求，例如通过一个节点或者在报文上执行一个操作。术语segment指的是，通过添加中间路径点，可以将通往目的地的网络路径分割成段。网络便是基于SR的这种概念来自主规划从源节点到目的节点的路径。

图2是一个由三个段(S1，S2，S3)组成的SR路径的简单示例图。P＝<S1,S2,S3>是SR策略，段列表将会由策略中的源节点插入到数据包包头中，它将指示数据包通过节点S1，然后再通过节点S2，最终到达目的节点S3。SR域(SR domain)指的是参与源路由的所有节点所形成的节点集。

SR架构中的控制平面可以基于分布式、集中式或混合式体系结构，这里的控制平面并不会局限于特定的某一种，只要是具备SR相关功能的控制平面，就满足SR架构的需求。SR架构的实现也需要一个数据平面，它能够携带数据包头中的段列表并正确地处理它们，目前，段路由能够运行在MPLS或者IPv6的数据平面上。

INTO基于多目标优化选择合适的业务流承载遥测任务，以覆盖所有必要的交换机和端口，在一定程度上降低网络开销和提高遥测信息的新鲜度。但是，INTO是一种被动测量方式，只能依靠网络上现有的业务流进行测量。对于没有业务流经过的交换机端口，INTO无法获取这些端口的相关信息，即不能真正地实现全局网络测量，而这些端口的相关信息只能通过主动测量的方式获取。此外，由于整个网络所需的遥测项目是固定的，INTO不能根据用户需求实时动态地生成相应的遥测实例，每次使用业务流采集所有必要的交换机端口信息。如果用户只需要某个交换机的状态信息，INTO也不会专门制定合理的遥测策略，还是使用业务流获取固定的遥测信息，即使只需要其中的某条流就可以完成用户需求，这往往造成了过多冗余信息，增大网络开销，不能真正实现用户的按需测量。

相较于被动遥测，基于P4的主动网络遥测机制NetVision不仅能够覆盖全网，还可以自定探测指令和探测路径进行探测任务，更好的满足了网络管理所需的高灵活性、全局化和精细化的要求，具备更好的可扩展性。但是在主动遥测机制中，主动下发的遥测报文会在数据平面形成遥测流量，这注定会在一定程度上对正常流量造成影响，例如多流量容易造成链路拥堵或时延增大等问题。另外，主动遥测机制的探测指令和探测路径都是由网络管理员定义的，这意味着主动遥测很大程度上依赖着网络管理员对网络状态和测量任务的主观认知，这将容易产生测量误差，进而降低主动遥测机制的测量准确性，降低网络测量和网络管理的效率。

当前网络规模发展迅速、业务种类越来越多，流量带宽逐年增大，用户数量不断增长，整体呈现出“高速率、大规模、多接入、不可预期”的特点。传统网络管控方式和手段已经难以解决现有网络和未来网络的挑战。

因此，对于网络管理者而言，其迫切需要颠覆传统网络监测及故障排除方法，提出能够应对网络状态测量、网络失效检测、故障定位与恢复等场景用例的实时灵活的测量解决方案。

发明内容

鉴于此，本发明实施例提供了基于分级可信流的混合遥测方法和系统，将被动遥测与主动遥测相结合，改善了单独使用被动遥测所带来的开销及可扩展性差的问题，也改善了单独使用主动遥测在影响正常流量和测量误差方面的不足。

本发明的一个方面提供了一种基于分级可信流的混合遥测方法，该方法包括以下步骤：

由控制器基于上层应用下发的遥测需求确定路径需求，并根据路径需求和分级可信流集合中的流量特性查找所述分级可信流集合中是否存在能够承载遥测任务的可信流；

若确定在分级可信流集合中存在能够承载遥测任务的可信流，则选取用于承载遥测任务的可信流，以利用选取的可信流进行被动遥测；

若确定在分级可信流集合中不存在能够承载遥测任务的可信流，则进行主动遥测，在所述主动遥测过程中所述控制器构造段路由遥测报文并下发至数据平面；

接收来自数据平面的遥测信息。

在本发明的一些实施例中，所述由控制器基于上层应用下发的遥测需求确定路径需求，并根据路径需求和预先存储的分级可信流集合中的流量特性查找所述分级可信流集合中是否存在能够承载遥测任务的可信流，包括：

由控制器基于上层应用下发的遥测需求确定要探测的网络节点集合；

基于所述网络节点集合确定符合所述遥测需求的路径需求；

基于所述路径需求从分级可信流集合中查找能够承载遥测任务的可信流，获得可信流集合；

基于阈值概率要求从所述可信流集合中选取用于承载遥测任务的可信流。

在本发明的一些实施例中，所述方法还包括分级可信流集合的动态维护步骤，该分级可信流集合的动态维护步骤包括：

基于数据包首部字段，由交换机对数据包进行解析并提取其数据包标识信息，并将所述数据包标识信息插入对应流表的流条目中，并由交换机更新该流条目中的数据；

基于更新后的流条目，当属于同一流条目的数据再次进入交换机中，交换机将查询所述数据包对应的流条目，同时记录数据包的相关信息，进行流表数据的维护；以使控制器周期性地获取交换机维护的流表信息，并对所述信息进行统计分析，获取每条数据流的路径，更新流持续的时间长度，维护可信流集合。

在本发明的一些实施例中，所述数据标识信息为5元组信息，包括源IP地址、目的IP地址、源端口、目的端口和传输层协议号。

在本发明的一些实施例中，所述主动遥测过程包括以下步骤：

由控制平面主动向数据平面发送段路由遥测报文，并采用段路由技术将段路由标签栈引入报文用以控制报文的转发路径；

将遥测标签栈引入数据包用以告知数据平面交换机需要上报的遥测信息类型。

在本发明的一些实施例中，所述方法还包括对于满足阈值概率要求的可信流集合，采用二级选取规则选取最优可信流集合作为测量实例。

在本发明的一些实施例中，所述阈值概率要求为：

其中，J表示网络节点集合，S为可信流集合，j表示为网络节点集合中的节点，P(S_j)表示为可信流集合下节点j的置信概率，p为阈值概率；

所述可信流集合下节点j的置信概率的计算公式为：

其中，I表示网络中所有可信流集合，

取值为1代表当下网络节点集合第i条可信流被选中进入可信流集合，取值为0代表没有被选中；x_i,j取值为1代表被选中的第i条流经过节点j，取值为零代表不经过节点j；α_i代表第i条流所处优先级对应的故障概率。

在本发明的一些实施例中，所述方法还包括当所有满足置信概率的可信流集合被筛选完毕后，需要基于筛选出的多个可信流集合生成测量实例，所述测量实例的生成过程包括以下步骤：

基于筛选出的多个可信流集合，形成对应的多个节点集，并计算节点集的基数；

基于计算的基数来判断是否存在唯一的基数最小节点集，若存在唯一的基数最小节点集，则选取该基数最小节点集，并选取该节点集对应的可信流集合，生成测量实例；若不存在唯一的基数最小节点集，则在所有满足基数最小条件的节点集中随机选取一个节点集，并选取该节点集对应的可信流集合，生成测量实例。

在本发明的一些实施例中，所述数据平面中存在的流量包括正常的业务数据流量和执行遥测任务的遥测流量。

本发明的另一方面提供了一种基于分级可信流的混合遥测系统，所述系统包括控制器和交换机，所述控制器作为控制平面，所述交换机作为数据平面，控制器执行以下步骤：

基于上层应用下发的遥测需求确定路径需求，并根据路径需求和分级可信流集合中的流量特性查找所述分级可信流集合中是否存在能够承载遥测任务的可信流；

若确定在分级可信流集合中存在能够承载遥测任务的可信流，则选取用于承载遥测任务的可信流，以利用选取的可信流进行被动遥测；

若确定在分级可信流集合中不存在能够承载遥测任务的可信流，则进行主动遥测，在所述主动遥测过程中所述控制器构造段路由遥测报文并下发至数据平面；

接收来自数据平面的遥测信息。

本发明提供了一种基于分级可信流的混合遥测方法和系统，能够将被动遥测和主动遥测相结合，改善了单独使用被动遥测所带来的开销及可扩展性差的问题，也改善了单独使用主动遥测在影响正常流量和测量误差方面的不足；并采用控制器动态维护分级可信流集合，利用可信流集合中的稳定流量来承载部分用户的测量需求，能够有效地避免主动构造探测数据包造成的网络带宽占用，造成链路堵塞或时延增大等问题。本发明既有主动遥测的可扩展性高和灵活性高的优点，也有被动遥测的网络负载小和测量准确性的优点。

本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。

本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为带内网络遥测工作流程图。

图2为SR策略简单示例图。

图3为本发明一实施例中基于分级可信流的混合遥测框架的整体架构图。

图4为本发明一实施例中基于分级可信流的混合遥测方法示意流程图。

图5为本发明一实施例中分级可信流集合的动态维护流程图。

图6为本发明一实施例中网络探测流选取流程图。

图7为本发明一实施例中生成测量实例的示意流程图。

图8为NetVision遥测平台系统架构和工作流程图。

图9为本发明一实施例中网络遥测承载流示意图。

图10为本发明一实施例中数据包格式图。

图11为本发明一实施例中基于分级可信流的混合遥测系统流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。

在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

针对现有被动遥测以及主动遥测机制的不足，单独使用主动遥测容易带来测量误差，网络中遥测流量的增加也容易对已有的业务流量造成影响，被动遥测的测量准确性高，同时不给现有网络中增加额外流量，降低了测量带来的网络负载，但单独使用被动遥测存在测量范围有限和降低通信开销的局限性。因此，本发明提出了一种基于分级可信流的混合遥测方法和系统，将被动遥测与主动遥测相结合，改善了单独使用被动遥测所带来的开销及可扩展性差的问题，也改善了单独使用主动遥测在影响正常流量和测量误差方面的不足。

在本发明一实施例中，基于分级可信流的混合遥测框架的整体架构图如图3所示，整体由控制平面和数据平面组成，使用可编程交换机实现数据平面，使用控制器作为控制平面。控制器可以向交换机下发遥测指令并回收和处理遥测数据，交换机则会根据控制器的指令进行具体的遥测任务。在数据平面中存在众多流量，其中包括正常的业务数据流量，也包括执行遥测任务的遥测流量。系统运行后当新数据流经交换机时，交换机会对流进行识别统计，控制器定期获取交换机上为每条流所维护的相关信息，动态维护分级可信流集合，即可信流集合。根据用户的测量需求，控制器根据可信流集合，采用主动测量与被动测量相结合的方式，生成相应的测量实例，向交换机下发相应的表项，以采集相关的网络状态信息。

图4为本发明一实施例中基于分级可信流的混合遥测方法示意流程图，如图4，基于分级可信流的混合遥测方法包括以下步骤：

步骤S110，由控制器基于上层应用下发的遥测需求确定路径需求，并根据路径需求和分级可信流集合中的流量特性查找所述分级可信流集合中是否存在能够承载遥测任务的可信流。

在本步骤中，控制器的上层应用向控制器下发遥测需求，控制器根据检测到的遥测需求确定要探测的网络节点集合，基于网络节点集合确定符合遥测需求的路径需求，然后根据路径需求从分级可信流集合中查找能够承载遥测任务的可信流，获得可信流集合，以确保选中的分级可信流集合中的可信流经过网络节点集合中的所有节点为目标，生成符合探测需求的可信流集合，即基于阈值概率要求从可信流集合中选取用于承载遥测任务的可信流；并且控制器定期获取交换机上为每条流所维护的相关信息，动态维护分级可信流集合。

在本发明实施例中，控制器定期对分级可信流集合进行动态维护流程，如图5所示，数据包进入交换机之后，交换机依据数据包首部字段进行解析，提取流的5元组信息——源IP地址、目的IP地址、源端口、目的端口和传输层协议号(图中flow_id用数字1、2、3、4来示例，本发明不仅限于此)，作为流的唯一标识，在相应的流表中插入流条目，并更新流条目中的数据。当属于同一条流的数据包再次进入交换机中，交换机找到数据包对应的流条目，并更新流条目中的数据。经过一段时间后，流表中会记录该时间段内流经交换机的全部数据流，以及数据流的相关信息。控制器以时间间隔T为单位周期性地获取每个交换机维护的流表信息，并对这些信息进行统计分析，获取每条数据流的路径，更新流持续的时间长度，维护可信流集合。

例如，交换机维护一个流表，记录数据流的状态，其流表包括flow_id，flow_type，flow_size，ingress_port，egress_port，last_modify_since，initial_time七个字段。当交换机收到数据包时，对数据包进行解析，提取数据包的5元组作为flow_id。如果流表中没有对应的流记录，则向流表中插入一条流记录，并以flow_id作为流条目的标识。通过IP首部中的Length字段计算并更新flow_size的大小；flow_type用来标识该流是否为长流，有两种类型，默认值为0，当交换机流表中对应流条目的flow_size>100K时，flow_type置位为1；通过交换机的元数据信息，将ingress_port，egress_port，last_modify_since，initial_time更新为数据包入端口号、出端口号、出交换机的时间戳、流条目建立时的时间戳。如果流表中有数据包所属流的流条目，更新该行数据，并且为流表中每个流条目设置过期时间，如果交换机在一段时间内没有收到流的任何数据包，则从流表中删除该流条目，以减少交换机的存储开销。

控制器以时间间隔T为单位周期性地获取交换机维护流表中的数据，并更新全局流表中的数据。控制器通过packet_out消息向所有的交换机发送查询命令，交换机通过packet_in消息将相应的数据发送给控制器。控制器即可获得全局交换机维护的流表信息，并维护一个全局流表，作为维护控制器中的可信流集合的依据。控制器维护的全局流表包括flow_id、flow_type、flow_size、TCP/UDP、stream_last_time(ms)、last_modify_since(ms)、path七个字段。通过所有交换机维护的流表信息，在控制器全局流表中插入以flow_id为主键的流条目，更新全局流表的flow_type和flow_size，通过flow_id得到流量类型—TCP或UDP。stream_last_time字段由所有交换机流表上的last_modify_since，initial_time字段(这两个字段的值是以毫秒为单位的时间戳)得到，即该流在全局流表中对应流条目的last_modify_since字段值减去所有交换机流表中相应flow_id所标识流条目的最小initial_time，例如，若控制器全局流表想要(周期性)更新flow_id＝6的流条目中stream_last_time字段值，控制器可以根据从交换机中采集到的流表信息，在每个流表中查找flow_id＝6的流条目，并计算这些flow_id＝6的流条目中initial_time字段的最小值，然后用该flow_id在全局流表中对应流条目的last_modify_since字段值减去最小值，就可以得到flow_id＝6的流条目中stream_last_time字段值。last_modify_since字段更新为所有交换机流表中对应flow_id所标识流条目的最大last_modify_since。path字段根据控制器维护的全局网络视图，根据每个交换机维护的流表计算该流路径，即该流经过的交换机以及入/出端口号，并以“sw1_1-sw1_4-sw2_1-sw2_4-sw1_4-sw2_1”的形式标识路径。如果全局流表中的流条目超过一段时间没有更新，则从全局流表中删除这条流条目。交换机中的流表只能维护流在交换机中的局部信息，比如流的入/出端口(ingress_port/egress_port)、流中数据包经过该交换机时的时间戳(last_modify_since，该时间戳随流中数据包经过而不断更新)、流中第一个数据包经过该交换机的时间戳(initial_time)。全局流表中的信息通过对所有交换机流表进行分析计算而得到的，能更好地表示该流在全网中的状态，比如流在全网中的持续时间(stream_last_time)、流中数据包经过该交换机时的最大时间戳即流的新鲜度(last_modify_since)、流在全网中的路径(path)。该全局流表是生成分级可信流集合的来源，此外，该全局流表也可供其他应用使用。在本发明中，字段类型以及临界值是不能灵活变化的。

根据控制器维护的全局流表，周期性地动态更新分级可信流集合。例如图5所示，可信流集合分为4个等级：1级可信流集合、2级可信流集合、3级可信流集合和4级可信流集合，每一条流用5元组作为唯一标识。等级越小代表流越稳定，可信性越高。当全局流表周期性更新完毕后，对每个流条目的等级进行计算，为该流指定在可信流集合中的相应等级，对于每一条流条目，如果TCP、flow_size>100K、flow_type＝1、now_timestamp-last_modify_from<X、stream_last_time>Y，该流flow_id在可信流集合中的等级为1；如果UDP、flow_size>100K、flow_type＝1、now_timestamp-last_modify_from<X、stream_last_time>Y，该流flow_id在可信流集合中的等级为2；如果TCP、flow_size>100K、flow_type＝1、X＝<now_timestamp-last_modify_from<2X、stream_last_time>Y，该流flow_id在可信流集合中的等级为3；如果TCP、flow_size>100K、flow_type＝1、now_timestamp-last_modify_from>＝2X、stream_last_time>Y，该流flow_id在可信流集合中的等级为4。其中，X表示一个数值，以对流的新鲜度进行判断，比如now_timestamp-last_modify_from<X代表在时间戳区间[now_timestamp-X，now_timestamp]中该流在网络中出现，now_timestamp-last_modify_from>＝2X代表流已经超过2X的时间没有出现；Y也表示一个数值，表示只有当流的持续时间超过Y之后才是稳定的流，才能承载遥测任务。依据真实数据中心的情况，X取值范围在99s-101s，Y取值范围在99ms-101ms。并且TCP流会建立连接，是一种可靠的传输协议，而长流一般使用TCP协议进行传输；所以UDP相对于TCP，等级较低。由于数据中心中长短流符合“二八分布”定律，而且长流是稳定的，所以，分级的意义在于为下一步探测流选取规则作为依据，选出稳定的长流形成可信流集合，其中等级越低的流越稳定可信，即如果不同等级的流都能承载遥测需求，那么优先选择等级低的流，控制器依据全局流表周期性地动态维护可信流集合。

为了使承载流的路径能经过所要求测量的网络交换机，保证网络流的有效性，需要选取网络探测流，如图6所示，基于接收到的网络遥测需求，确定当下网络中的可信流集合中能否生成符合探测路径需求的可信流集合S；若不能生成多个符合探测路径需求的可信流集合S，则利用SR策略构造主动探测流，生成网络遥测方案；若能生成多个符合探测路径需求的可信流集合S，则计算每个可信流集合S的置信概率，根据计算出的置信概率筛选出满足概率阈值p的可信流集合S，基于筛选出的多个可信流集合S生成测量实例，进而生成网络遥测方案，若不能根据计算出的置信概率筛选出满足概率阈值p的可信流集合S，则利用SR策略构造主动探测流，生成网络遥测方案。例如：现有遥测任务指定需要对节点a、节点b、节点c和节点d进行测量，那么就需要可信流集合中的流量必须包含以上4个节点才会被判断为存在可信流能够用于承载遥测任务；若整个可信流集合中的流量为：a-b-e，a-c-b，b-c-f-g，a-c-e-g，则此时可信流集合中不包含节点d，因此此时可信流被判断为无法承载遥测任务。

在本发明实施例中，对生成的多个可信流集合S采用遍历的方式来一一验证其网络节点集合J中的每个节点j是否均能满足阈值概率的要求，即

可信流集合S下节点j的置信概率P(S_j)的计算公式为

其中，I表示网络中所有可信流集合，

取值为1代表当下网络可信流集合第i条可信流被选中进入可信流集合S，取值为0代表没有被选中；x_i,j取值为1代表被选中的第i条流经过节点j，取值为零代表不经过节点j；α_i代表第i条流所处优先级对应的故障概率，网络中可信流集合在维护时根据可信流的特性为不同种类的可信流设定了4种不同的优先级，存活时间更长、更稳定的网络流优先级更高，网络故障概率越低，即α₄<α₃<α₂<α₁。

在得到筛选出的多个可信流集合S的基础上，进一步生成测量实例，测量实例生成过程如图7所示，基于筛选出的多个可信流集合S，形成对应的多个节点集A_i，并计算多个节点集A_i的基数，判断所计算的基数中是否存在唯一的基数最小节点集，若存在唯一的基数最小节点集，则选取该基数最小节点集，并选取所述节点集对应的可信流集合，生成测量实例；若不存在唯一的基数最小节点集，则在满足基数最小条件的节点集中随机选取一个节点集，并选取该节点集对应的可信流集合，生成测量实例。

基于上述测量实例的生成，本发明还提出了一个二级选取方案，用于从多个可信流集合S中选取一个可信流集合作为测量实例，二级选取方案步骤如下：

一级选取条件：最短路径选取。对于所有的可信流集合S，分别生成其所包含的设备节点的集合，设为A_i(i＝1，2，3，…，n)，其中n为可信流集合S的个数。下面计算所有节点集A_i的基数，即计算所有节点集A_i中的节点个数，并对基数进行比较，选取基数最小的节点集A_i；如果存在唯一的基数最小节点集A_i，那么选择该节点集对应的可信流集合作为测量实例；如果不存在唯一的基数最小节点集，那么对符合基数最小条件的所有节点集进行二级选取。

二级选取条件：随机选取。对于所有符合基数最小条件的节点集A_i，从中随机选取一个节点集A＝Random(A_i)，并将节点集A对应的可信流集合作为测量实例。

步骤S120，若确定在分级可信流集合中存在能够承载遥测任务的可信流，则选取用于承载遥测任务的可信流，以利用选取的可信流进行被动遥测。

在本步骤中，当控制平面在接收到用户需求后，得到要探测的网络节点集合J；然后以确保选中的分级可信流集合中的可信流经过网络节点集合J中的所有节点为目标，生成符合探测需求的可信流集合S，所述可信流集合S中的单一可信流路径或者可信流组合路径符合网络探测的路径需求，若当下网络中的可信流集合中有可以生成符合探测路径需求的可信流集合，则利用选取的可信流进行被动遥测。

在本发明实施例中，例如，被动遥测机制为INTO，是一种基于多目标优化的带内网络遥测任务编排算法，选择合适的业务流承载遥测任务，以覆盖所有必要的交换机和端口，并尽可能低地降低网络遥测的性能开销。INTO综合考虑网络拓扑中存在的所有业务流的信息，包括流经过的端口号、流可承载的遥测信息大小、每个端口的遥测需求。INTO使用贪心算法来构建初始解，需要从每个流中选择一些端口来满足所有必要的端口都需要覆盖且只覆盖一次的约束；然后基于非支配排序遗传算法(NSGA-II)在每次交叉变异后进行预修复种群操作，经过T次迭代之后，生成一组承载遥测任务的业务流集合。

步骤S130，若确定在分级可信流集合中不存在能够承载遥测任务的可信流，则进行主动遥测，在所述主动遥测过程中所述控制器构造段路由遥测报文并下发至数据平面。

在本步骤中，当控制平面在接收到用户需求后，得到要探测的网络节点集合J；然后以确保选中的分级可信流集合中的可信流经过网络节点集合J中的所有节点为目标，生成符合探测需求的可信流集合S，若在当下网络中的可信流集合中无法生成符合探测路径需求的可信流集合，则放弃被动遥测机制，采用主动遥测机制。

在本发明实施例中，例如，主动遥测机制为NetVision，是一种基于P4的能够覆盖全网且可扩展性强的主动网络遥测平台，NetVision遥测平台系统架构和工作流程如图8所示。网络管理员向NetVision遥测平台指定抽象的遥测需求，然后由该遥测平台负责生成，下发和接收对应的探针数据分组，最后向网络管理员返回遥测结果。NetVision主要由4组件构成，分别是遥测天线、遥测编排器、遥测分析器和遥测服务提供器。整个遥测平台的工作流程如下：首先上层网络遥测应用通过遥测服务API下发高级遥测策略；接着由遥测服务提供器向遥测编排器下发由遥测策略产生的遥测任务，遥测编排器负责产生各个任务中具体的探针数据分组，设置数据分组的内容，数量以及探测路径等必需信息；下一步交给遥测天线将探针数据分组交由底层的探测点发送，并从那里接收完成遥测的探针，转发给遥测分析器进行分析；最后分析结果由遥测服务提供器反馈给上层遥测应用。并且为了保证主动遥测的探测路径在运行时是灵活可控的，平台采用段路由机制来灵活控制探针的探测路径。该机制可以设定探针的探测路径为一个环形，即探针从探测点发送出来，探测一圈后返回原探测点；另外还可以在探针格式中加入指示探测遥测数据类型的字段来支持按需获取遥测数据，通过修改可编程设备的数据平面处理逻辑来区分处理正常数据分组和探针数据分组。对于正常数据分组直接正常转发，而对于探针数据分组匹配其中的路径转发标签以及遥测指令字段，将实时的网络状态信息封装在探针数据分组中。

在本发明实施例中，在当下网络中的可信流集合中无法生成符合探测路径需求的可信流集合S，采用主动探测的方法，生成特定路径的测量流，如图9所示，可信流1与可信流2无法承载网络中的遥测任务，控制器构造SR流也即为段路由遥测报文来承载网络中的遥测任务，进而完成遥测任务。

在本发明实施例中，当网络中的可信流无法承载遥测任务时，即不能采用被动遥测机制进行遥测任务，将采用主动遥测机制进行遥测任务。主动遥测的过程为控制平面主动向数据平面发送SR探测数据包，形成SR探测流，生成测量实例。控制平面将采用SR技术，将SR标签栈引入数据包用以控制数据包的转发路径；另外，控制平面会将遥测标签栈引入数据包用以告知数据平面交换机需要上报的遥测信息类型。用于主动遥测的数据包格式如图10所示，在以太网头部以及IPv4/IPv6头部中间将插入SR标签栈和遥测标签栈。SR标签栈中包含标签个数以及一个有序的标签列表，标签个数标识标签列表长度，列表中的每一个标签标识该数据包转发路径上的每一个交换机节点，有序则代表着标签列表会按照转发路径上的转发顺序进行有序排列。控制平面可以根据遥测需求，确定遥测任务需要经过的数据平面设备，以此形成数据包的转发路径，之后将对应的SR标签栈插入数据包中，控制数据包按照既定路径进行转发路由，收取路径上设备节点的测量信息；当新的遥测任务出现时，控制面可以再次指定新路径以匹配每次的测量需求。

遥测标签栈中包含标签个数以及一个标签列表，标签个数标识列表长度，列表中的每一个标签由交换机标识符、遥测元数据位图以及遥测元数据组成。交换机标识符用以标识交换机对象，遥测元数据位图用以标识遥测元数据类型。数据包根据SR标签栈在网络中转发时，当数据包到达一个设备节点，首先匹配标签中的交换机标识符，若匹配成功则代表该交换机需要上报测量信息，然后根据遥测元数据位图标识的数据类型，将该类型的遥测元数据插入数据包中；若交换机标识符无法匹配，则代表该交换机不需要上报测量信息，将直接进行简单的数据包转发。路径上的每个设备节点在遥测数据包到达时都会进行上述流程，直到数据包到达路径上的最后一个节点，将所有遥测数据上送至控制平面。

在本发明实施例中，基于构造SR探测数据包需要将SR标签栈和遥测标签栈插入到数据包中，而数据包的字节容量是有限的，设定单独的SR探测数据包可以包含的路径节点跳数至多为6跳。若单条SR探测流多于6跳，则构造两条SR探测流用于承载测量任务；同样的，若两条SR探测流仍多于6跳，则构造三条SR探测流用于承载测量任务，以此类推，以保证不超过数据包的字节容量的情况下每一条SR探测流均不多于6跳，该跳数为6跳仅为示例，本发明不仅限与此。

步骤S140，接收来自数据平面的遥测信息。

在本步骤中，基于数据平面向控制平面上报的遥测信息，控制平面根据上报的遥测信息进行收取和处理。所述收取为收取数据包按照既定路径进行转发路由，在转发路径上设备节点的测量信息；所述处理为处理当新的遥测任务出现是，控制平面再次指定新路径以匹配每次的测量需求。

图11为本发明一实施例中基于分级可信流的混合遥测系统流程图，如图11所示，该流程包括以下步骤：

步骤S1，控制平面检测到由上级应用下发的遥测需求。

步骤S2，查找分级可信流集合。

步骤S3，确定分级可信流集合是否存在可以承载遥测任务的可信流，若存在转到步骤S4，若不存在转到步骤S5。

步骤S4，基于存在可以承载遥测任务的可信流，选取可信流进行遥测任务，并转到步骤S7。

步骤S5，基于不存在可以承载遥测任务的可信流，则利用主动遥测机制进行遥测任务。

步骤S6，在主动遥测机制下，构造SR遥测报文进行遥测任务。

步骤S7，数据平面返回遥测数据至控制平面。

针对现有被动遥测以及主动遥测机制的不足，单独使用主动遥测容易带来测量误差，网络中遥测流量的增加也容易对已有的业务流量造成影响，被动遥测的测量准确性高，同时不给现有网络中增加额外流量，降低了测量带来的网络负载，但单独使用被动遥测存在测量范围有限和降低通信开销的局限性。因此，本发明提出了一种基于分级可信流的混合遥测方法和系统，能够将被动遥测和主动遥测相结合，改善了单独使用被动遥测所带来的开销及可扩展性差的问题，也改善了单独使用主动遥测在影响正常流量和测量误差方面的不足；并采用控制器动态维护分级可信流集合，利用可信流集合中的稳定流量来承载部分用户的测量需求，能够有效地避免主动构造探测数据包造成的网络带宽占用，造成链路堵塞或时延增大等问题。本发明既有主动遥测的可扩展性高和灵活性高的优点，也有被动遥测的网络负载小和测量准确性的优点。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述边缘计算服务器部署方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。

本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于分级可信流的混合遥测方法，其特征在于，该方法包括以下步骤：

由控制器基于上层应用下发的遥测需求确定路径需求，并根据路径需求和分级可信流集合中的流量特性查找所述分级可信流集合中是否存在能够承载遥测任务的可信流；

若确定在分级可信流集合中存在能够承载遥测任务的可信流，则选取用于承载遥测任务的可信流，以利用选取的可信流进行被动遥测；

若确定在分级可信流集合中不存在能够承载遥测任务的可信流，则进行主动遥测，在所述主动遥测过程中所述控制器构造段路由遥测报文并下发至数据平面；

接收来自数据平面的遥测信息。

2.根据权利要求1所述的方法，其特征在于，所述由控制器基于上层应用下发的遥测需求确定路径需求，并根据路径需求和预先存储的分级可信流集合中的流量特性查找所述分级可信流集合中是否存在能够承载遥测任务的可信流，包括：

由控制器基于上层应用下发的遥测需求确定要探测的网络节点集合；

基于所述网络节点集合确定符合所述遥测需求的路径需求；

基于所述路径需求从分级可信流集合中查找能够承载遥测任务的可信流，获得可信流集合；

基于阈值概率要求从所述可信流集合中选取用于承载遥测任务的可信流。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括分级可信流集合的动态维护步骤，该分级可信流集合的动态维护步骤包括：

基于数据包首部字段，由交换机对数据包进行解析并提取其数据包标识信息，并将所述数据包标识信息插入对应流表的流条目中，并由交换机更新该流条目中的数据；

基于更新后的流条目，当属于同一流条目的数据再次进入交换机中，交换机将查询所述数据包对应的流条目，同时记录数据包的相关信息，进行流表数据的维护；以使控制器周期性地获取交换机维护的流表信息，并对所述信息进行统计分析，获取每条数据流的路径，更新流持续的时间长度，维护可信流集合。

4.根据权利要求3所述的方法，其特征在于，所述数据标识信息为5元组信息，包括源IP地址、目的IP地址、源端口、目的端口和传输层协议号。

5.根据权利要求1所述的方法，其特征在于，所述主动遥测过程包括以下步骤：

由控制平面主动向数据平面发送段路由遥测报文，并采用段路由技术将段路由标签栈引入报文用以控制报文的转发路径；

将遥测标签栈引入数据包用以告知数据平面交换机需要上报的遥测信息类型。

6.根据权利要求2所述的方法，其特征在于，所述方法还包括对于满足阈值概率要求的可信流集合，采用二级选取规则选取最优可信流集合作为测量实例。

7.根据权利要求2所述的方法，其特征在于，所述阈值概率要求为：

其中，J表示网络节点集合，S为可信流集合，j表示为网络节点集合中的节点，P(S_j)表示为可信流集合下节点j的置信概率，p为阈值概率；

所述可信流集合下节点j的置信概率的计算公式为：

其中，I表示网络中所有可信流集合，

取值为1代表当下网络节点集合第i条可信流被选中进入可信流集合，取值为0代表没有被选中；x_i,j取值为1代表被选中的第i条流经过节点j，取值为零代表不经过节点j；α_i代表第i条流所处优先级对应的故障概率。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括当所有满足置信概率的可信流集合被筛选完毕后，需要基于筛选出的多个可信流集合生成测量实例，所述测量实例的生成过程包括以下步骤：

基于筛选出的多个可信流集合，形成对应的多个节点集，并计算节点集的基数；

基于计算的基数来判断是否存在唯一的基数最小节点集，若存在唯一的基数最小节点集，则选取该基数最小节点集，并选取该节点集对应的可信流集合，生成测量实例；若不存在唯一的基数最小节点集，则在所有满足基数最小条件的节点集中随机选取一个节点集，并选取该节点集对应的可信流集合，生成测量实例。

9.根据权利要求1所述的方法，其特征在于，所述数据平面中存在的流量包括正常的业务数据流量和执行遥测任务的遥测流量。

10.一种基于分级可信流的混合遥测系统，所述系统包括控制器和交换机，其特征在于，所述控制器作为控制平面，所述交换机作为数据平面，控制器执行以下步骤：

基于上层应用下发的遥测需求确定路径需求，并根据路径需求和分级可信流集合中的流量特性查找所述分级可信流集合中是否存在能够承载遥测任务的可信流；

若确定在分级可信流集合中存在能够承载遥测任务的可信流，则选取用于承载遥测任务的可信流，以利用选取的可信流进行被动遥测；

若确定在分级可信流集合中不存在能够承载遥测任务的可信流，则进行主动遥测，在所述主动遥测过程中所述控制器构造段路由遥测报文并下发至数据平面；

接收来自数据平面的遥测信息。

Images