CN111049698A - 一种遥测数据采集方法及装置 - Google Patents

Abstract

一种遥测数据采集方法及装置，用以解决现有技术中存在遥测对象不能灵活编程和处理时间较长的问题。本申请通过增加遥测数据采集装置，实现针对不同的业务场景的统计对象组装成不同的统计对象组，将属于一种业务的统计对象组包括的统计对象的统计数据封装后发给数据采集器，不再需要针对每个统计对象与数据采集器一一交互。不同的业务监控场景下的统计对象组包括的统计对象的遥测数据可以并行采集。

Description

一种遥测数据采集方法及装置

技术领域

本申请涉及通信技术领域，尤其涉及一种遥测数据采集方法及装置。

背景技术

运营商网络和数据中心网络使用了大量路由器和交换机，这些网络的共同特点是包含网络电话(voice over internet protocol，VOIP)业务、视频业务、虚拟专用网络(virtual private network，VPN)业务和各种数据类业务的承载。运维人员需要遥测设备(比如，路由器、交换机)上的各种统计数据，以便对网络的性能和故障进行监控，展现网络运行状态，对网络进行规划和优化。

目前，主要是数据采集器通过简单网络管理协议(simple network managementprotocol，SNMP)、syslog、网络配置协议(network configuration protocol，NETCONF)、命令行界面(command-line interface，CLI)、远端网络监控(remote network monitoring，RMON)等机制查询遥测设备上的统计数据信息、或者由遥测设备主动上报统计数据信息。具体原理是数据采集器与遥测设备交互式迭代收集原始数据。比如，现在以太VPN(EthernetVPN，EVPN)遥测(telemetry)场景，遥测设备需要将13个监控对象的遥测数据，一个一个的通过交互迭代的方式上报数据采集器，处理时间较长。

发明内容

本申请提供一种遥测数据采集方法及装置，用以解决现有技术中存在的遥测对象不能灵活编程和处理时间较长的问题。

第一方面，本申请实施例提供了一种遥测数据采集装置，该装置包括：

订阅处理模块，用于接收第一遥测订阅请求，所述第一遥测订阅请求包含多个统计对象，所述多个统计对象用于指示一种业务监控场景下所需的遥测数据；

动态组装模块：用于将所述第一遥测订阅请求包括的多个统计对象组装成第一统计采集组；

采集模块，用于从遥测设备上采集所述第一统计采集组中的统计对象所指示的遥测数据；

聚合打包模块，用于将所述采集模块采集到遥测数据进行数据封装；

发送模块，用于将经过数据封装后的遥测数据发出。

通过上述方案，遥测数据采集装置基于遥测请求来对同一业务场景的数据进行封装处理发出，相比对同一业务场景的多个统计对象的数据一一发送来说，能够提高处理速率，降低处理时间，提高处理性能。另外，动态组装模块根据订阅处理模块接收到请求确定启动采集哪些遥测数据，测量统计对象可动态定义(流、用户、链路等)。

在一种可能的设计中，动态组装模块，还用于为所述第一统计采集组创建线程，所述第一统计采集组对应的线程用于为所述第一统计采集组中的每个统计对象分别创建处理任务，一个处理任务用于运行所述采集模块采集一个统计对象的遥测数据，一个处理任务为一个线程或者一个协程。

通过上述设计，每个组对应的线程能够并行处理，线程创建的处理任务可以并行处理，进而多个遥测统计对象组可以并行运行，统计对象对应的数据可以并行采集，从而能够提高处理性能。

在一种可能的设计中，所述订阅处理模块，还用于接收第二遥测订阅请求，所述第二遥测订阅请求包含多个统计对象；

所述动态组装模块，还用于将所述第二遥测订阅请求包含的多个统计对象组装成第二统计采集组；当第一统计采集组和第二统计采集组中包括同一统计对象时，将所述第一统计对象组对应的线程为所述同一统计对象创建的处理任务和所述第二统计对象组对应的线程为所述同一统计对象创建的处理任务，合并为一个处理任务。

上述设计中，不同的组包括的统计对象可以相同，从而不同组对应的线程创建的处理任务也可能相同，为了减少重复采集，可以将相同的处理任务合并为一个处理任务，进而能够节省系统的处理资源，减轻系统负担。

在一种可能的设计中，还可以包括：统计对象管理模块，用于接收遥测设备中用于产生遥测数据的应用模块发送的注册请求，所述注册请求用于请求注册统计对象；根据注册请求为请求注册的统计对象创建控制块。

在一种可能的设计中，所述动态组装模块，在为所述第一统计对象组创建线程时，具体用于向所述统计对象管理模块获取所述第一统计对象组包括的各个统计对象分别对应的控制块，并基于所述第一统计对象组包括的各个统计对象分别对应的控制块为所述第一统计对象组创建线程。

在一种可能的设计中，所述统计对象管理模块，还用于：在所述动态组装模块获取所述第一统计对象组包括的各个统计对象分别对应的控制块时，若不存在所述第一统计对象组中的第一统计对象对应的控制块时，为所述第一统计对象创建控制块。

在一种可能的设计中，所述遥测请求中还包括时间间隔；所述采集模块，具体可以按照所述时间间隔周期性的从遥测设备上采集所述第一统计采集组中的统计对象所指示的遥测数据。

基于与第一方面提供的装置同样的发明构思，第二方面，本申请实施例提供了一种遥测数据采集方法，包括：

接收第一遥测订阅请求，所述第一遥测订阅请求包含第一统计对象组，所述第一统计对象组包括多个统计对象，所述第一统计对象组中包括的多个统计对象用于指示一种业务监控场景下所需的遥测数据；将所述第一统计对象组组装成第一统计采集组；从遥测设备上采集所述第一统计采集组中的统计对象所指示的遥测数据；将采集到遥测数据进行数据封装后发出。

在一种可能的设计中，从遥测设备上采集所述第一统计采集组中的统计对象所指示的遥测数据，包括：为所述第一统计采集组创建线程，所述第一统计采集组对应的线程用于为所述第一统计采集组中的每个统计对象分别创建处理任务，一个处理任务用于运行所述采集模块采集对应的统计对象的遥测数据，一个处理任务为一个线程或者一个协程。

在一种可能的设计中，接收第二遥测订阅请求，所述第二遥测订阅请求包含第二统计对象组，所述第二统计对象组包括多个统计对象；

将所述第二统计对象组组装成第二统计采集组；当第一统计采集组和第二统计采集组中包括同一统计对象时，将所述第一统计对象组对应的线程为所述同一统计对象创建的处理任务和所述第二统计对象组对应的线程为所述同一统计对象创建的处理任务，合并为一个处理任务。

在一种可能的设计中，接收遥测设备中用于产生遥测数据的应用模块发送的注册请求，所述注册请求用于请求注册统计对象；根据注册请求为请求注册的统计对象创建控制块。

在一种可能的设计中，为所述第一统计对象组创建线程，包括：获取所述第一统计对象组包括的各个统计对象分别对应的控制块，并基于所述第一统计对象组包括的各个统计对象分别对应的控制块为所述第一统计对象组创建线程。

在一种可能的设计中，还包括：在获取所述第一统计对象组包括的各个统计对象分别对应的控制块时，若不存在所述第一统计对象组中的第一统计对象对应的控制块时，为所述第一统计对象创建控制块。

在一种可能的设计中，所述遥测请求中还包括时间间隔；从遥测设备上采集所述第一统计采集组中的统计对象所指示的遥测数据，将采集到遥测数据进行数据封装后发出，包括：按照所述时间间隔周期性的从遥测设备上采集所述第一统计采集组中的统计对象所指示的遥测数据，将采集到遥测数据进行数据封装后发出。

第三方面，基于与第二方面的方法实施例同样的发明构思，本申请实施例提供了一种遥测数据采集装置，该装置可以是一个网络设备，也可以是能够应用于一个网络设备的芯片，或者处理器。该装置具有实现上述第二方面的各实施例的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。

第四方面，本申请实施例提供一种遥测数据采集装置，包括：处理器和存储器；该存储器用于存储指令，当该装置运行时，该处理器执行该存储器存储的该指令，以使该装置执行上述第二方面或第二方面的任一实现方法中的遥测数据采集方法。需要说明的是，该存储器可以集成于处理器中，也可以是独立于处理器之外。装置还可以包括总线。其中，处理器通过总线耦接存储器。其中，存储器可以包括可读存储器以及随机存取存储器。当需要运行该装置时，通过固化在只读存储器中的基本输入输出系统或者嵌入式系统中的bootloader引导系统进行启动，引导装置进入正常运行状态。在装置进入正常运行状态后，在随机存取存储器中运行应用程序和操作系统，使得该处理器执行第二方面或第二方面的任意可能的实现设计中的方法。

第五方面，本申请实施例还提供了一种系统，包括数据采集器以及网络设备。或者包括数据采集器、网络设备以及遥测数据采集装置。

第六方面，本申请实施例还提供一种可读存储介质，所述可读存储介质中存储有程序或指令，当其在计算机上运行时，使得上述各方面的任意的遥测数据采集方法被执行。

第七方面，本申请实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面中的任意的遥测数据采集方法。

另外，第三方面至第九方面中任一种设计方式所带来的技术效果可参见第一方面至第二方面中不同实现方式所带来的技术效果，此处不再赘述。

附图说明

图1为本申请实施例提供的系统架构示意图；

图2为本申请实施例提供的遥测数据采集原理示意图；

图3为本申请实施例提供的一种遥测数据采集装置结构示意图；

图4为本申请实施例提供的telemetry动态组装系统结构示意图；

图5为本申请实施例提供的二级worker并行处理示意图；

图6为本申请实施例提供的遥测数据采集方法流程图；

图7为本申请实施例提供的另一种遥测数据采集装置结构示意图。

具体实施方式

本申请实施例可以应用于运营商网络或者数据中心网络等网络系统中。具体地，本申请实施例还可以应用于遥测场景中，遥测(英文名称：telemetry)是将对象参量的近距离测量值传输至远距离的测量站来实现远距离测量的技术。比如参见图1所示为本申请实施例可以应用的一种系统架构示意图，包括至少一个网络设备以及数据采集器。数据采集器用于对网络设备进行监控测量。网络设备可以是路由器、交换机等设备。网络设备应用到遥测场景中，也可以称为遥测设备。

数据采集器获取遥测设备(比如，路由器、交换机)上的各种统计数据，以便运维人员通过数据采集器采集到的统计数据对网络的性能和故障进行监控，展现网络运行状态，对网络进行规划和优化。

目前统计方式，遥测设备将多个监控统计对象的遥测数据，一个一个的通过交互迭代的方式上报数据采集器，处理时间较长。

由于，网络设备中存在多种需要监控的统计对象，比如接口产生的信息、队列、地址解析协议(address resolution protocol，ARP)、用户信息库(consumer informationbase，CIB)、伪线(pseudo wire，PW)、转发信息库(forwarding information base，FIB)、标签交换路径(label switching path，LSP)、段路由(segment routing，SR)、双向转发检测(bidirectional forwarding detection，BFD)、以太网操作维护管理(eth operationadministration and maintenance，eth OAM)或带内OAM(in-suite OAM，IOAM)等，在每个监控统计对象上都有统计计数池，参见图2所示。基于此，本申请实施例提供了一种遥测数据采集装置，本申请通过增加telemetry数据采集装置，实现针对不同的业务的统计对象组合成不同的组，从而将属于同一业务的组对应的统计对象的统计数据封装后发给数据采集器，不再需要针对每个统计对象与数据采集器一一交互，进而解决现有技术中存在的数据采集处理时间较长的问题。图2中，将各种监控的统计对象称为原子路径(atomic path)，将不同的统计对象组合成的组称为订阅路径(subscriber path)。当然也可以采用其他名字示意，本申请对此不作具体限定。atomic path可以采用yang model格式，可以由IETF等标准组织发布或者各厂家发布。图2中，atomic path动态组合成各种订阅路径(subscriberpath，sub path)，如system path，BRAS path，EVPN path，以及未来新的不断扩展新的业务对应的订阅path，比如SR等，从而灵活应对用户订阅的各种复杂的业务监控场景，使得telemetry具有更好的动态灵活性和性能扩展性。

本申请实施例中涉及的需要统计数据(也可以称为遥测数据)的统计对象可以但不仅限于包括如下：

1、各种物理层的统计，如同步数字体系(synchronous digital hierarchy，SDH)/同步光纤网络(synchronous optical network)SONET、以太网(ethernet，ETH)等；

2、接口统计，如虚拟局域网(virtual local area network，VLAN)/QinQ等接口的二层流量的统计，媒体访问控制(media access control，MAC)容量的统计；QinQ也称为堆栈虚拟局域网(stacked VLAN)或双虚拟局域网(Double VLAN)。

3、L3统计，如转发信息库(forwarding information base，FIB)容量、用户信息库(CIB)、IP转发、虚拟专用网络(virtual private network，VPN)专线(PW)、标签交换路径(label switching path，LSP)的三层流量统计；

4、服务质量(quality of service，QoS)，统计，如QoS队列统计；复杂流分类统计，承诺访问速率(committed access rate，简称CAR)统计，采样统计；

5、单播、多播的统计；

6、入方向、出方向的统计；

7、各种情况下、各种级别下的丢包统计/异常统计；

8、通过IP流性能测量(IP flow performance measurement，IPFPM)、双向转发检测(bidirectional forwarding detection，BFD)、以太网操作维护管理(eth operationadministration and maintenance，eth OAM)或带内OAM(in-suite OAM，IOAM)等技术检测出链路、VPN、用户的时延、抖动、带宽、丢包等数据，输出统计信息；

9、段路由(segment routing，SR)数据。

示例性的，统计对象信息可以如表1所示：

表1

另外，需要说明的是，本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。另外，需要理解的是，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

参见图3所示，为本申请实施例提供的遥测数据采集装置示意图。该装置可以应用于网络设备，比如，该装置可以设置于网络设备的内部，当然也可以设置于网络设备的外部，对此，本申请实施例不作具体限定。该装置可以是一个或者多个芯片，或者是一个或者多个处理器等。

示例性的，遥测数据采集装置，也可以称为Telemetry动态组装系统。

参见图3所示，装置包括：订阅处理模块201、动态组装模块202、采集模块203、聚合打包模块204以及发送模块205。

订阅处理模块201，用于接收遥测订阅请求(Telemetry订阅请求)。本申请实施例可以接受多次遥测订阅请求，一次遥测订阅请求中可以包括多个统计对象，多个统计对象用于标识一种业务监控场景下所需的遥测数据。

订阅处理模块201在接收到遥测订阅请求后，可以对消息进行解析处理，解析出遥测订阅请求中的多个统计对象。

本申请实施例后续以两次遥测订阅请求为例。多次的情况可以参见两次遥测订阅请求的相关实现，不再赘述。下面以两次遥测订阅请求分别为第一遥测订阅请求和第二遥测订阅请求为例。

订阅处理模块201，接收第一遥测订阅请求，所述第一遥测订阅请求包含多个统计对象，所述第一遥测订阅请求中包含的多个统计对象用于指示一种业务监控场景下所需的遥测数据；订阅处理模块201，接收第二遥测订阅请求，所述第二遥测订阅请求中包含的多个统计对象用于指示另一种业务监控场景下所需的遥测数据。

动态组装模块202将第一遥测订阅请求中包括的统计对象组装为第一统计对象组，将第二遥测订阅请求中包括的统计对象组装为第二统计对象组。

示例性的，一个一个统计对象可以称为atomic path，则统计对象的统计对象组也可以称为原子路径列表(atomic path list)。订阅处理模块201在接收到遥测订阅请求后，在解析出遥测请求中的多个atomic path后，调用动态组装模块202将一个遥测订阅请求中包含的一个个的atomic path组装为atomic path列表(list)。组装后的一个atomic pathlist可以称为一个订阅路径(sub path)。动态组装模块202在将atomic path组装为subpath后，可以将sub path存储在订阅路径数据库(sub path DB)中。一个sub path对应一个atomic path list。

示例性的，遥测订阅请求可以是一个命令行(command line interface，CLI)，通过命令行配置sub path的atomic path list。Telemetry请求也可以是一个gRPC消息，或者其他协议报文，消息中携带atomic path list。

采集模块203从遥测设备上分别采集所述第一统计采集组中的统计对象所指示的遥测数据，从遥测设备上分别采集所述第二统计采集组中的统计对象所指示的遥测数据。

在一种可行的示例中，本申请实施例可以采用数据订阅的方式，来使得装置能够定期从网络设备上采集数据上报给数据采集器。由于采用订阅机制，采集模块203可以实现按需采集，不需要的数据不浪费更多的采集资源来采集数据，从而可以减少无效采集造成的系统资源开销和网络带宽浪费。

聚合打包模块204，将所述采集模块203采集到第一统计采集组对应的遥测数据进行数据封装。聚合打包模块204将采集模块203采集到第二统计采集组对应的遥测数据进行数据封装。

示例性的，聚合打包模块204可以对采集模块203采集到的数据进行排队、汇总等处理，将一个统计采集组需要的多个统计对象的数据都聚合封装成一个大的数据块。

发送模块205，用于将经过数据封装后的遥测数据发出。

通过上述方案，遥测数据采集装置基于遥测订阅请求来对同一业务的数据进行封装处理发出，相比对同一业务的多个统计对象的数据一一发送来说，能够提高处理速率，降低处理时间，提高处理性能。另外，动态组装模块根据订阅处理模块接收到请求确定启动采集哪些遥测数据，测量对象可动态定义(流、用户、链路等)。遥测数据采集装置能够针对多数据源进行动态编排，将Telemetry针对复杂业务场景下的硬编码实现方式转变为对网络设备中的多源多表的数据进行动态订阅、动态编排和组装，针对新复杂业务的数据采集场景不需要硬编码，只需要通过配置方式就能实现多数据源的任意关联。订阅处理模块201主要用于接收外部telemetry请求。由于采用订阅机制，可以实现按需采集，过滤掉不关心的数据，从而能够减少无效采集造成的系统资源开销和网络带宽浪费。

遥测订阅请求可以包括订阅者设定的时间间隔。从而所述采集模块203，具体可以按照所述时间间隔周期性的从遥测设备上采集一个或者多个统计采集组中的统计对象所指示的遥测数据。

示例性的，订阅者可以通过数据采集器设置时间间隔，并触发给遥测数据采集装置。装置中还可以包括定时器。订阅处理模块201在接收到遥测订阅请求后可以根据订阅者设定的时间间隔启动定时器，采集模块203可以按照定时器进行周期性采集。另外，采集模块203还可以接收外部事件，根据外部事件来触发进行数据采集。外部事件用于触发数据采集。基于此，采集模块203可以周期性采集数据，从而通过发送模块205发送给数据采集器。相比现有交互式迭代采集的pull模式，可以减少来来回回请求(request)-回复(reply)的交互开销。

在一种可能的实施方式中，动态组装模块202可以针对每个统计采集组创建处理线程，每个统计采集组创建的线程可以为该统计采集组包括的每个统计对象创建处理任务。以第一统计采集组和第二统计采集组为例，具体的，动态组装模块202，可以为所述第一统计采集组创建一个线程，为第二统计采集组创建一个线程。所述第一统计采集组对应的线程为所述第一统计采集组中的每个统计对象分别创建一个处理任务，一个处理任务用于运行所述采集模块采集一个统计对象的遥测数据，一个处理任务为一个线程或者一个协程。所述第二统计采集组对应的线程为所述第二统计采集组中的每个统计对象分别创建一个处理任务。其中，一个处理任务用于运行采集模块203来采集对应的统计对象的遥测数据。

通过该方式，针对每个统计采集组对应的线程能够并行处理，线程创建的处理任务可以并行处理，进而多个统计对象的遥测数据可以并行采集，从而能够提高处理性能。

在另一种可能的实施方式中，不同的组包括的对象可以相同，从而不同组对应的线程创建的处理任务也可能相同，为了减少重复采集，可以将相同的处理任务合并为一个处理任务，进而能够节省系统的处理资源，减轻系统负担。

具体的，所述动态组装模块202，还可以当第一统计采集组和第二统计采集组中包括同一统计对象时，将所述第一统计对象组对应的线程为所述同一统计对象创建的处理任务和所述第二统计对象组对应的线程为所述同一统计对象创建的处理任务，合并为一个处理任务。

在一种可能的实施方式中，装置中还可以包括统计对象管理模块206；所述统计对象管理模块206，用于接收遥测设备中用于产生遥测数据的应用模块发送的注册请求，所述注册请求用于请求注册统计对象；根据注册请求为请求注册的统计对象创建控制块。所述动态组装模块202，在为第一组创建第一线程时，具体用于向所述统计对象管理模块206获取所述第一组包括的各个统计对象分别对应的控制块。

动态组装模块202，在为某个统计对象组创建线程时，具体可以向所述统计对象管理模块206获取该统计对象组包括的各个统计对象分别对应的控制块，并基于该统计对象组包括的各个统计对象分别对应的控制块为该统计对象组创建线程。比如，动态组装模块202，在为所述第一统计对象组创建线程时，具体用于向所述统计对象管理模块获取所述第一统计对象组包括的各个统计对象分别对应的控制块，并基于所述第一统计对象组包括的各个统计对象分别对应的控制块为所述第一统计对象组创建线程。

在一种可行的示例中，装置中还可以包括静态注册模块207。示例性的，静态注册模块207可以是装置对外提供的注册接口。遥测设备中用于产生遥测数据的应用模块可以通过静态注册模块将207将自身的统计对象注册到统计对象管理模块206，比如，通过静态注册模块207将自身的统计对象携带在注册请求中发送给统计对象管理模块206。示例性的，统计对象管理模块206可以为每个统计对象指示的对象分配一个ID编号，比如称为AID。可以为每个对象以AID为索引创建控制块。创建的控制块可以存储于原子路径数据库(atomic path DB)中。

在一种可能的实施方式中，所述统计对象管理模块206，还可以在所述动态组装模块202获取某个统计对象组包括的各个统计对象分别对应的控制块时，若不存在该统计对象组中的第一统计对象对应的控制块时，为该第一统计对象信息创建控制块。

在一种可行的示例中，装置还可以包括动态探针模块208。示例性的，动态探针模块208用于为动态加载的统计对象信息提供接口。统计对象管理模块206可以在确定atomicpath DB不包括某个统计对象的控制块时，可以调用动态探针模块208为统计对象分配AID并创建控制块，存储于atomic path DB中。静态注册的统计对象和动态注册的统计对象可以进行统一编号。

在一种可能的实施方式中，所述聚合打包模块204，可以将属于同一统计对象组包括的统计对象对应的遥测数据封装为协议缓冲器格式，比如谷歌协议缓冲器(googleprotocol buffer，GPB)格式，或者可以采用其他数据封装格式封装。

在一种可能的实施方式中，所述发送模块205，可以将封装后的遥测数据基于远程过程调用(remote procedure call，RPC)传输协议发出，比如谷歌远程过程调用(googleRPC，gRPC)。或者可以将封装后的遥测数据基于用户数据报协议(user datagramprotocol，UDP)发出，还可以采用其他的传输协议，本申请实施例对此不作具体限定。

示例性的，遥测数据采集装置，也可以称为Telemetry动态组装系统。本申请实施例，还可以对上述装置(系统)包括的模块进行归类划分，比如，Telemetry动态组装系统可以包括运行子系统和管理子系统，参见图4所示。

管理子系统中可以包括静态注册模块207、动态探针模块208、统计对象管理模块206。运行子系统可以包括订阅处理模块201、动态组装模块202、采集模块203、聚合打包模块204，以及发送模块205。

下面将统计对象称为atomic path，将组称为sub path，将sub path对应的第一线程称为spath worker，将atomic path对应的第二处理任务称为apath worker，为例进行详细说明。

统计对象管理模块206提供注册接口，即静态注册模块207，网络设备中的各应用模块将自己的atomic path信息通过静态注册模块207注册到统计对象管理模块206，统计对象管理模块206为每个atomic path分配一个ID编号(可以称之为AID)，并为每个atomicpath以AID为索引创建控制块。创建的控制块可以存储于atomic path DB中。

订阅处理模块201接收外部设备(比如数据采集器)触发的telemetry订阅请求。telemetry请求中可以包括多个atomic path。订阅处理模块201对接收到的telemetry订阅请求进行解析，解析出telemetry订阅请求中多个atomic path。一次telemetry订阅请求包含的多个atomic path为一个sub path包括的atomic path。

Telemetry订阅请求可以是CLI，通过命令行来配置该sub path包括的多个atomicpath。

Telemetry订阅请求也可以是gRPC消息，或者其他协议报文，消息中携带该subpath包括的多个atomic path。

订阅处理模块201对接收到的telemetry订阅请求进行解析，解析出telemetry订阅请求中多个atomic path，调用动态组装模块202将一个sub path包括的多个atomicpath组装成sub path list，存储到sub path DB中，每个sub path有一条atomic pathlist。由于采用订阅机制，可以实现按需采集，过滤掉不关心的数据，从而能够减少无效采集造成的系统资源开销和网络带宽浪费。

动态组装模块202为该sub path分配一个订阅路径标识(sub path ID，SID)。并确定该SID对应的atomic path list包括的各个AID。示例性的，动态组装模块202可以以SID为索引创建该sub path的控制块。在创建sub path的控制块后，可以将sub path的控制块存储到sub path DB中。

一个SID对应一个atomic path list，比如，一个EVPN Sub path(用EVPN SID标识)可由<接口-ATOMIC-PATH-ID，ARP-ATOMIC-PATH-ID，IPV4RIB-ATOMIC-PATH-ID，BGP-ATOMIC-PATH-ID，FIB-ATOMIC-PATH-ID，PW-ATOMIC–PATH-ID，LSP-ATOMIC-PATH-ID，QOS-ATOMIC-PATH-ID，ACL-ATOMIC-PATH-ID，QUEUE-ATOMIC-PATH-ID，ETHOAM-ATOMIC-PATH-ID，IOAM-ATOMIC-PATH-ID，MEMORY-ATOMIC-PATH-ID>等构成对应的atomic path list。

动态组装模块202可以调用统计对象管理模块206去获取一个个AID对应控制块，如果无法获取到某个AID对应的(即某个atomic path)的控制块，比如，无法获取到atomicpath1的控制块，则触发动态探针模块208为该atomic path1创建控制块。为该sub path创建一个线程，该线程可以称之为spath worker。基于此因此每个sub path都能并行处理。同时每个spath worker再为这个sub path中的每个atomic path创建一个处理任务，处理任务可以是另一个线程，也可以是一个协程，该处理任务可以称之为apath worker。基于此，每个atomic path对应数据也能并行采集，形成二级worker并行处理机制，如图5所示。

多个apath worker可以并行进行数据采集，将采集结果返回给spath worker。

当两个sub path对应的atomic path list包括相同的atomic path时，不同spathworker中会创建相同的apath worker，该相同的apath worker可以称之为多主apathworker。比图5中spath worker1和spath worker2均创建了apath worker1，在该情况下，动态组装模块202可以将两个不同spath worker创建的相同的apath worker，合并为一个apath worker，仅保留一个apath worker即可。如图5中apath worker1，apath worker1采集完数据后分发给多个spath worker，比如图5中的spath worker1和spath worker2。本申请实施例中引入多主worker可以减少重复采集，从而节省系统的处理开销，减轻系统负担。

各atomic path worker运行采集模块203将采集的数据返回给spath worker后，发送给聚合打包模块204。聚合打包模块204可以对获取到的遥测数据进行数据封装。即对获取到的遥测数据进行排队、汇总，将一个sup path需要的多数据源的全部数据都聚合打包成一个大的数据块，传给发送模块205。从而发送模块205可以将数据块发出，比如，聚合打包模块204将获取到的遥测数据封装为GPB格式的数据块，发送模块205采用gRPC传送协议将数据块发送出去。

本申请实施例中，通过上述处理流程，相比现有交互方式，可有效提升系统性能。另外，采用订阅机制，可以实现按需采集，从而减少无效采集造成的系统资源开销；数据发送采用push机制，在定时器或者内部事件(如其他模块向sub path发消息)的驱动下批量发送采集数据，可减少网络设备与数据采集器之间的多次交互，从而能够提升系统性能，比如EVPN传统方式采集13张表需要做13次交互，采用本方案只需要做一次交互，相比传统方式，性能可以提升。本申请实施例可以采用并行处理机制，处理性能也会相对提升。

另外，本申请实施例中，将现有网络telemetry的软件硬编码实现方式转变为各种遥测数据的动态订阅、编排和组装方式，针对新复杂业务的数据采集场景只需要通过配置方式就能实现多数据源的任意关联，可以快速实现一种新业务场景的遥测需求，从而可缩短开发遥测时间。

基于与上述装置实施例同样的发明构思，本申请实施例提供了一种遥测数据采集方法，该方法可以由数据采集装置执行，参见图6所示，该方法包括：

S601，接收第一遥测订阅请求。

所述第一遥测订阅请求包含第一统计对象组，所述第一统计对象组包括多个统计对象，所述第一统计对象组中包括的多个统计对象用于指示一种业务监控场景下所需的遥测数据。

S602，将所述第一统计对象组组装成第一统计采集组。

S603，从遥测设备上采集所述第一统计采集组中的统计对象所指示的遥测数据。

另外，在需要统计多个统计对象组中的统计对象的遥测数据时，并行从遥测设备上采集多个统计采集组中的统计对象所指示的遥测数据。

S604，将采集到遥测数据进行数据封装后发出。

在一种可能的实施方式中，从遥测设备上采集所述第一统计采集组中的统计对象所指示的遥测数据，包括：

为所述第一统计采集组创建线程，所述第一统计采集组对应的线程用于为所述第一统计采集组中的每个统计对象分别创建处理任务，一个处理任务用于运行所述采集模块采集对应的统计对象的遥测数据，一个处理任务为一个线程或者一个协程。

在一种可能的实施方式中，接收第二遥测订阅请求，所述第二遥测订阅请求包含第二统计对象组，所述第二统计对象组包括多个统计对象；将所述第二统计对象组组装成第二统计采集组；当第一统计采集组和第二统计采集组中包括同一统计对象时，将所述第一统计对象组对应的线程为所述同一统计对象创建的处理任务和所述第二统计对象组对应的线程为所述同一统计对象创建的处理任务，合并为一个处理任务。

在一种可能的实施方式中，方法还可以包括：接收遥测设备中用于产生遥测数据的应用模块发送的注册请求，所述注册请求用于请求注册统计对象；根据注册请求为请求注册的统计对象创建控制块。

在一种可能的实施方式中，为所述第一统计对象组创建线程，包括：

获取所述第一统计对象组包括的各个统计对象分别对应的控制块，并基于所述第一统计对象组包括的各个统计对象分别对应的控制块为所述第一统计对象组创建线程。

在一种可能的实施方式中，方法还可以包括：在获取所述第一统计对象组包括的各个统计对象分别对应的控制块时，若不存在所述第一统计对象组中的第一统计对象对应的控制块时，为所述第一统计对象创建控制块。

在一种可能的实施方式中，所述遥测请求中还包括时间间隔；

从遥测设备上采集所述第一统计采集组中的统计对象所指示的遥测数据，将采集到遥测数据进行数据封装后发出，包括：按照所述时间间隔周期性的从遥测设备上采集所述第一统计采集组中的统计对象所指示的遥测数据，将采集到遥测数据进行数据封装后发出。

本申请实施例中，方法和装置是基于同一发明构思的，由于方法及装置解决问题的原理相似，因此装置与方法的实施可以相互参见，重复之处不再赘述。

本申请实施例还提供一种遥测数据采集装置的结构，如图7所示，遥测数据采集装置的结构可以包括通信接口710、处理器720。可选的，还可以包括存储器730。其中，存储器730可以设置于遥测数据采集装置内部，还可以设置于遥测数据采集装置外部。遥测数据采集装置可以应用于网络设备，遥测数据采集装置可以设置于网络设备内部，也可以设置与网络设备外部。上述图3中所示的、各个模块均可以由处理器720实现。

在一种可能的实施方式中，处理器720通过通信接口710注册请求或者遥测订阅请求，并用于实现图6中所述的任一方法。在实现过程中，处理流程的各步骤可以通过处理器720中的硬件的集成逻辑电路或者软件形式的指令完成图6中所述的方法。为了简洁，在此不再赘述。处理器720用于实现上述方法所执行的程序代码可以存储在存储器730中。存储器730和处理器720耦合。

在一种可能的实施方式中，处理器720可以通过通信接口710收发注册请求或者遥测订阅，并用于实现图6中所述的任一方法。在实现过程中，处理流程的各步骤可以通过处理器720中的硬件的集成逻辑电路或者软件形式的指令完成图6中所述的方法。为了简洁，在此不再赘述。处理器720用于实现上述方法所执行的程序代码可以存储在存储器730中。存储器730和处理器720耦合。

本申请实施例中涉及到的任一通信接口可以是电路、总线、收发器或者其它任意可以用于进行信息交互的装置。

本申请实施例中涉及的处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

本申请实施例中的耦合是装置、模块或模块之间的间接耦合或通信连接，可以是电性，机械或其它的形式，用于装置、模块或模块之间的信息交互。

处理器720可能和存储器730协同操作。存储器730可以是非易失性存储器，比如硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)等，还可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)。存储器730是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

本申请实施例中不限定上述通信接口710、处理器720以及存储器730之间的具体连接介质。本申请实施例在图7中以存储器730、处理器720以及通信接口710之间通过总线连接，总线在图7中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

基于以上实施例，本申请实施例还提供了一种计算机存储介质，该存储介质中存储软件程序，该软件程序在被一个或多个处理器读取并执行时可实现上述任意一个或多个实施例提供的方法。所述计算机存储介质可以包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

基于以上实施例，本申请实施例还提供了一种芯片，该芯片包括处理器，用于实现上述任意一个或多个实施例所涉及的功能，例如用于实现图6所述的方法。可选地，所述芯片还包括存储器，所述存储器，用于处理器所执行必要的程序指令和数据。该芯片，可以由芯片构成，也可以包含芯片和其他分立器件。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (16)

1.一种遥测数据采集装置，其特征在于，包括：

订阅处理模块，用于接收第一遥测订阅请求，所述第一遥测订阅请求包含多个统计对象，所述多个统计对象用于指示一种业务监控场景下所需的遥测数据；

动态组装模块：用于将所述第一遥测订阅请求包括的多个统计对象组装成第一统计采集组；

采集模块，用于从遥测设备上采集所述第一统计采集组中的统计对象所指示的遥测数据；

聚合打包模块，用于将所述采集模块采集到遥测数据进行数据封装；

发送模块，用于将经过数据封装后的遥测数据发出。

2.如权利要求1所述的装置，其特征在于，动态组装模块，还用于为所述第一统计采集组创建线程，所述第一统计采集组对应的线程用于为所述第一统计采集组中的每个统计对象分别创建处理任务，一个处理任务用于运行所述采集模块采集一个统计对象的遥测数据，一个处理任务为一个线程或者一个协程。

3.如权利要求2所述的装置，其特征在于，所述订阅处理模块，还用于接收第二遥测订阅请求，所述第二遥测订阅请求包含多个统计对象；

所述动态组装模块，还用于将所述第二遥测订阅请求包含的多个统计对象组装成第二统计采集组；当第一统计采集组和第二统计采集组中包括同一统计对象时，将所述第一统计对象组对应的线程为所述同一统计对象创建的处理任务和所述第二统计对象组对应的线程为所述同一统计对象创建的处理任务，合并为一个处理任务。

4.如权利要求2或3所述的装置，其特征在于，还包括：

统计对象管理模块，用于接收遥测设备中用于产生遥测数据的应用模块发送的注册请求，所述注册请求用于请求注册统计对象；根据注册请求为请求注册的统计对象创建控制块。

5.如权利要求4所述的装置，其特征在于，所述动态组装模块，在为所述第一统计对象组创建线程时，具体用于向所述统计对象管理模块获取所述第一统计对象组包括的各个统计对象分别对应的控制块，并基于所述第一统计对象组包括的各个统计对象分别对应的控制块为所述第一统计对象组创建线程。

6.如权利要求5所述的装置，其特征在于，所述统计对象管理模块，还用于：

在所述动态组装模块获取所述第一统计对象组包括的各个统计对象分别对应的控制块时，若不存在所述第一统计对象组中的第一统计对象对应的控制块时，为所述第一统计对象创建控制块。

7.如权利要求1-6任一项所述的装置，其特征在于，所述遥测请求中还包括时间间隔；

所述采集模块，具体用于按照所述时间间隔周期性的从遥测设备上采集所述第一统计采集组中的统计对象所指示的遥测数据。

8.一种遥测数据采集方法，其特征在于，包括：

接收第一遥测订阅请求，所述第一遥测订阅请求包含第一统计对象组，所述第一统计对象组包括多个统计对象，所述第一统计对象组中包括的多个统计对象用于指示一种业务监控场景下所需的遥测数据；

将所述第一统计对象组组装成第一统计采集组；

从遥测设备上采集所述第一统计采集组中的统计对象所指示的遥测数据；

将采集到遥测数据进行数据封装后发出。

9.如权利要求8所述的方法，其特征在于，从遥测设备上采集所述第一统计采集组中的统计对象所指示的遥测数据，包括：

为所述第一统计采集组创建线程，所述第一统计采集组对应的线程用于为所述第一统计采集组中的每个统计对象分别创建处理任务，一个处理任务用于运行所述采集模块采集对应的统计对象的遥测数据，一个处理任务为一个线程或者一个协程。

10.如权利要求9所述的方法，其特征在于，还包括：

接收第二遥测订阅请求，所述第二遥测订阅请求包含第二统计对象组，所述第二统计对象组包括多个统计对象；

将所述第二统计对象组组装成第二统计采集组；

当第一统计采集组和第二统计采集组中包括同一统计对象时，将所述第一统计对象组对应的线程为所述同一统计对象创建的处理任务和所述第二统计对象组对应的线程为所述同一统计对象创建的处理任务，合并为一个处理任务。

11.如权利要求9或10所述的方法，其特征在于，还包括：

接收遥测设备中用于产生遥测数据的应用模块发送的注册请求，所述注册请求用于请求注册统计对象；根据注册请求为请求注册的统计对象创建控制块。

12.如权利要求11所述的方法，其特征在于，为所述第一统计对象组创建线程，包括：

获取所述第一统计对象组包括的各个统计对象分别对应的控制块，并基于所述第一统计对象组包括的各个统计对象分别对应的控制块为所述第一统计对象组创建线程。

13.如权利要求12所述的方法，其特征在于，还包括：

在获取所述第一统计对象组包括的各个统计对象分别对应的控制块时，若不存在所述第一统计对象组中的第一统计对象对应的控制块时，为所述第一统计对象创建控制块。

14.如权利要求8-13任一项所述的方法，其特征在于，所述遥测请求中还包括时间间隔；

从遥测设备上采集所述第一统计采集组中的统计对象所指示的遥测数据，将采集到遥测数据进行数据封装后发出，包括：

按照所述时间间隔周期性的从遥测设备上采集所述第一统计采集组中的统计对象所指示的遥测数据，将采集到遥测数据进行数据封装后发出。

15.一种遥测数据采集装置，其特征在于，包括：

通信接口、处理器和存储器；

所述存储器用于存储软件程序，所述处理器用于读取所述存储器中存储的软件程序，通过所述通信接口收发请求，并实现权利要求8-14任一项所述的方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储软件程序，所述软件程序在被一个或多个处理器读取并执行时可实现权利要求8至14任一项所述的方法。

Images