CN118282834A - 计算机网络管理系统、计算机联网方法和存储介质 - Google Patents

Abstract

本公开涉及计算机网络管理系统、计算机联网方法和存储介质。公开了用于网络管理系统(NMS)的技术，该网络管理系统使用从第三方源获得的数据，执行服务质量(QoS)监控和对在由NMS管理的网络外部发生的用户体验问题进行故障排查的技术。例如，NMS从第三方监控供应商处获得第三方应用服务器或第三方服务提供商的第三方数据。NMS识别第三方数据指示的用户体验问题，将第三方数据拼接到从网络设备接收的网络数据。NMS至少基于从一个或多个网络设备接收的网络数据来确定用户体验问题的根本原因或补救行动。NMS生成用于呈现给管理员设备的通知，该通知识别用户体验问题的根本原因或补救行动。

Description

计算机网络管理系统、计算机联网方法和存储介质

相关申请的交叉引用

本申请要求于2022年12月30日提交的美国专利申请第18/148,938号的权益，其全部内容通过引用并入本文。

技术领域

本公开整体涉及计算机网络。

背景技术

计算机网络是可以交换数据和共享资源的相互连接的计算设备的集合。各种设备操作以促进计算设备之间的通信。例如，计算机网络可以包括路由器、交换机、网关、防火墙和各种其他设备来提供和促进网络通信。

这些网络设备通常包括用于本地或远程配置设备的机制，例如管理接口。通过与管理接口交互，客户端可以执行配置任务以及执行操作命令以收集和查看被管理设备的操作数据。例如，客户端可以配置设备的接口卡，调整支持的网络协议的参数，指定设备内的物理组件，修改由路由器维护的路由信息，访问软件模块和驻留在设备上的其他资源，以及执行其他配置任务。此外，客户端可以允许用户从设备查看当前操作参数、系统日志、与网络连接相关的信息、网络活动或其他状态信息，以及查看从设备接收的事件信息并对其做出反应。

网络配置服务可以由多个不同的设备执行，诸如具有服务卡的路由器和/或专用服务设备。这种服务包括连接服务，诸如第三层虚拟专用网(L3VPN)、虚拟专用局域网服务(VPLS)和对等(P2P)服务。其他服务包括网络配置服务，如Dot1q VLAN服务。网络管理系统(NMS)和NMS设备，也称为控制器或控制器设备，可以构成基于云的广域网(WAN)保证系统的一部分，该系统可以支持这些服务，以便管理员可以轻松创建和管理这些高级网络配置服务。

发明内容

通常来说，本公开描述了NMS使用从第三方源获得的数据执行服务质量(QoS)监控和对发生在由NMS管理的网络之外的用户体验问题进行故障排查的技术。例如，第三方应用性能监控(APM)供应商可能会生成有关第三方服务或应用的第三方数据。例如，第三方APM供应商可以从第三方服务或应用的用户那里收集用户体验信息，或者对第三方服务或应用进行直接性能测量。NMS从第三方APM供应商处获得第三方应用服务器或第三方服务提供商服务器的第三方数据，例如，通过一个或多个应用程序编程接口(API)。NMS识别第三方数据指示的用户体验问题，将第三方数据拼接到从网络设备接收的网络数据，实质上产生该网络数据。在一些示例中，NMS通过确定从网络设备接收的网络数据中实质上在第三方数据指示的用户体验问题期间生成的部分，来识别从网络设备接收的网络数据的相关部分。NMS至少基于从网络设备接收的网络数据来确定用户体验问题的根本原因或补救行动。NMS生成呈现给管理员设备的通知，以识别用户体验问题的根本原因或补救行动，从而能够解决用户体验问题，即使用户体验问题的根本原因发生在由NMS管理的网络之外，例如根本原因位于非NMS管理的客户端设备或第三方应用服务器上。

本公开的技术可以为具有实际应用的计算机联网和流量工程的计算机相关领域提供特定改进。例如，本公开的技术可以提高NMS执行网络服务的用户体验问题的故障排查和补救的能力，即使这样的问题发生在由NMS管理的WAN之外。此外，本文描述的技术可以通过向NMS通知由NMS管理的WAN之外的网络状况，来提高NMS执行流量工程的能力，从而改善网络拥塞、执行负载平衡和补救问题。这包括终端用户和第三方网络设备、服务和/或应用的行为，这些用户和设备、服务和/或应用可能是拥有与NMS 130不同的实体和/或与NMS130不同的实体相关联，使得NMS 130不接收、收集或以其他方式访问到此类第三方信息的网络数据，但仍然可以使用本公开的技术来修复由此类第三方服务和应用引起的用户体验问题。

在一个示例中，本公开描述了与多个网络设备通信的网络管理系统，该网络管理系统包括：存储器；处理电路，该处理电路与存储器通信并被配置为：从一个或多个第三方APM供应商获得一个或多个第三方应用服务器或第三方服务提供商服务器的第三方数据；识别第三方数据指示的用户体验问题；将表示用户体验问题的第三方数据拼接到从多个网络设备中的一个或多个网络设备接收的网络数据；至少基于从一个或多个设备接收的网络数据来确定用户体验问题的根本原因和补救行动中的至少一者；生成通知以呈现给管理员设备，该通知识别了用户体验问题的根本原因和补救行动中的至少一者。

在另一示例中，本公开描述了一种方法，包括：通过与多个网络设备通信的网络管理系统，从一个或多个第三方监控供应商处获得一个或多个第三方应用服务器或第三方服务提供商服务器的第三方数据；通过网络管理系统，识别由第三方数据指示的用户体验问题；通过网络管理系统，将表示用户体验问题的第三方数据拼接到从多个网络设备中的一个或多个网络设备接收的网络数据；通过网络管理系统，至少基于从一个或多个设备接收的网络数据来确定用户体验问题的根本原因和补救行动中的至少一者；以及通过网络管理系统，生成用于呈现给管理员设备的通知，该通知识别了用户体验问题的根本原因和补救行动中的至少一者。

在另一示例中，本公开描述了一种包括指令的非暂时性计算机可读介质，这些指令当被执行时被配置为使得与多个网络设备通信的网络管理系统的处理电路：从一个或多个第三方监控供应商获得一个或多个第三方应用服务器或第三方服务提供商服务器的第三方数据；识别第三方数据指示的用户体验问题；将表示用户体验问题的第三方数据拼接到从多个网络设备中的一个或多个网络设备接收的网络数据；至少基于从一个或多个设备接收的网络数据来确定用户体验问题的根本原因和补救行动中的至少一者；生成通知以呈现给管理员设备，该通知识别了用户体验问题的根本原因和补救行动中的至少一者。

本公开的技术的一个或多个示例的细节在附图和下面的描述中阐述。这些技术的其他特征、目的和优点将从描述和附图以及权利要求中显而易见。

附图说明

图1是根据本公开的技术的示例计算机网络系统的框图。

图2是示出根据本公开的技术的另一示例计算机网络系统的框图。

图3是示出根据本公开的一个或多个技术配置的示例网络管理系统(NMS)的框图。

图4是示出根据本公开的技术的示例操作的流程图。

在整个附图和描述中，相似的参考字符指代相似的元素。

具体实施方式

一般而言，本公开描述了NMS执行服务质量(QoS)监控和/或对由NMS监控的网络外部的用户应用体验进行故障排查的技术。常规的NMS执行客户端到云的监控和/或网络(如WLAN或WAN)的故障排查解决方案。NMS从网络中的设备(例如客户端设备、AP、交换机、网关)收集遥测数据，以构建网络的图形数据库。图形数据库包括作为图形的节点的实体信息和作为图形的边缘的连接信息。NMS可以使用遥测、NMSm监控的网络内的上行链路数据或其他类型的数据来检测连接到网络内的网络设备的第三方设备。然而，常规的NMS可能缺乏深入了解用户应用体验的“第一公里”(例如，在客户端设备处)和用户应用体验的“最后一公里”(例如，经过从服务提供商到应用的WAN)。

公开了用于NMS执行QoS监控和/或对用户应用程序体验的“第一公里”(例如，在由NMS管理的WLAN之前的客户端设备处)和/或用户应用程序体验的“最后一公里”(例如，经过从服务提供商到应用程序服务器由NMS管理的WAN)进行故障排查的技术。

关于用户应用体验的“最后一公里”，本文所述的NMS与第三方应用/服务性能监控(APM)供应商集成，以获得与第三方设备(例如，互联网服务提供商(ISP)或软件即服务(SaaS)应用服务器)相关的数据和情报。例如，在客户端到云应用会话拓扑中，客户端设备可以与无线网络连接，而无线网络又可以与有线网络通信。有线网络可以与WAN通信。WAN可以与ISP提供的服务提供商网络连接，ISP反过来提供与第三方软件即服务(SaaS)应用服务器的连接，后者向客户端设备提供应用实例。如本文所述的NMS可以提供从服务提供商到应用服务器的无线网络、有线网络、WLAN和经过WAN中的一个或多个的QoS监控和/或故障排查。

关于用户应用体验的“第一公里”，NMS与第三方APM供应商集成，以在客户端设备和SaaS应用服务器之间的应用会话期间从SaaS应用服务器获取数据。在此示例中，数据与客户端设备在应用会话或应用的其他使用期间的行为方式相关联。NMS还可以从SaaS应用服务器的第三方APM供应商处以低级应用细节的形式接收用户QoS数据。NMS可以基于网络上的低级应用细节来确定是否满足网络的服务级别协议(SLA)要求。

NMS可以进一步从SaaS应用服务器的第三方APM供应商接收关于具体应用会话的用户反馈数据。NMS可以使用由用户反馈数据指示的有问题的应用会话，作为整个网络的根本原因分析的一部分。

在上述任意示例中，NMS将从ISP和/或SaaS应用服务器的第三方APM供应商处获得的数据拼接到从NMS管理的网络内的网络设备接收的遥测数据(例如，上述示例中的WAN和WLAN)。例如，NMS可以根据从第三方APM供应商获得的的数据获知用户体验问题。然后，NMS使用基于WAN和WLAN遥测数据构建的图形数据库来确定整个网络中出现问题的位置以及如何修复问题。以这种方式，无论数据源如何，NMS都提供单一管理平台(pane of glass)来向管理员呈现信息。将数据收集扩展到NMS管理的网络之外的那些设备和服务提供了额外的潜在组件，这些组件可能是检测到的网络问题的根本原因。此外，应用客户端数据提供了用户对具体应用会话或调用的质量的感知判断的数据，这有利于识别用户体验问题。

使用来自无线、有线和SD-wan的遥测数据与第三方数据的相互关系，NMS可以具有以下全面的了解：(1)发生了什么(例如，通过用户反馈和/或NMS的分析)；(2)何时发生(例如，通过第三方数据)；(3)发生的地点(例如，通过NMS的分析)；(4)为什么会发生(例如，通过NMS的分析)；和/或(5)如何解决问题(例如，通过对话助手或NMS确定的补救措施)。因此，此处描述的NMS可以将从第三方APM供应商接收的数据拼接到从NMS管理的WAN和WLAN接收的遥测数据，以提供完整的客户端到云监控和/或故障排查，包括用户体验的第一公里和最后一公里。因此，本文描述的NMS可以将其数据收集扩展到由NMS管理的WLAN和WAN之外的那些设备和服务，以便使NMS能够深入了解可能是检测到的网络问题的根本原因的额外的潜在组件，并实现真正的客户端到云监控和故障排查。

图1是根据本公开的技术的示例网络系统2的框图。在图1所示的示例中，服务提供商网络2作为专用网络操作以向订户设备16(本文也称为“客户端设备16”)提供基于数据包的网络服务。也就是说，服务提供商网络2为订户设备16提供网络接入的认证和建立，使得订户设备可以开始与公共网络12交换数据包，公共网络12可以是内部或外部基于数据包的网络，如互联网。

服务提供商网络2包括接入网络6，接入网络6通过服务提供商广域网7(以下称为“WAN 7”)和路由器8提供到公共网络12的连接。WAN7和公共网络12提供基于数据包的服务，这些服务可以供订户设备16请求和使用。例如，WAN 7和/或公共网络12可以提供批量数据传输、互联网协议语音(VoIP)、互联网协议电视(IPTV)、短消息服务(SMS)、无线应用协议(WAP)服务或客户-特定应用服务。在某些示例中，WAN 7是软件限定的广域网(SD-WAN)。公共网络12可以包括例如局域网(LAN)、广域网(WAN)、互联网、虚拟LAN(VLAN)、企业LAN、第3层虚拟专用网(VPN)、由操作接入网络6的服务提供商来操作的互联网协议(IP)内联网、企业IP网络或其某种组合。在各种示例中，公共网络12连接到公共WAN、互联网或其他网络。公共网络12执行一个或多个数据包数据协议(PDP)，如IP(IPv4和/或IPv6)、X.25或点对点协议(PPP)，以实现公共网络12服务的基于数据包的传输。

一般而言，订户设备16经由接入网络6连接到网关路由器8，以接收用于由公共网络12或数据中心9托管的应用的订户服务的连接。订户可以表示例如企业、住宅订户或移动订户。订户设备16可以是例如个人计算机、膝上型计算机或位于客户设备(CE)11后面的其他类型的计算设备，其可以为客户网络14提供本地路由和交换功能。每个订户设备16可以运行各种软件应用，诸如文字处理和其他办公支持软件、网络浏览软件、支持语音呼叫的软件、视频游戏、视频会议和电子邮件，等等。例如，订户设备16可以是各种支持网络的设备，通常称为“物联网”(IoT)设备，如相机、传感器、电视、电器等。此外，订户设备16可以包括经由无线电接入网络(RAN)4接入服务提供商网络2的数据服务的移动设备。示例移动订户设备包括移动电话、具有例如无线卡的膝上型或台式计算机、具有无线功能的上网本、视频游戏设备、寻呼机、智能电话、个人数据助手(PDA)等。

网络服务提供商操作或在某些情况下租赁接入网络6的元件以提供订户设备16和路由器8之间的数据包传输。接入网络6表示聚合来自一个或多个订户设备16的数据流量以传输至/来自服务提供商的WAN 7的网络。接入网络6包括执行通信协议以传输控制和用户数据，以促进订户设备16和路由器8之间的通信的网络节点。接入网络6可以包括宽带接入网络、无线LAN、公共交换电话网络(PSTN)、客户端设备(CPE)网络或其他类型的接入网络，并且可以包括或以其他方式提供对蜂窝接入网络的连接，如无线电接入网(RAN)4。示例包括符合通用移动电信系统(UMTS)架构的网络，UMTS的演进称为长期演进(LTE)，由互联网工程任务组(IETF)来标准化的移动IP，以及第三代合作伙伴计划(3GPP)、第三代合作伙伴计划2(3GGP/2)和WiMAX论坛提出的其他标准。

WAN设备18可以是客户边缘(CE)路由器、提供商边缘(PE)路由器或接入网络6和WAN 7之间的其他网络设备。WAN 7向连接到接入网络6的订户设备16提供基于数据包的连接以用于接入公共网络12(例如，互联网)。WAN 7可以表示由服务提供商拥有和操作以互连多个网络的公共网络，其可以包括接入网络6。在一些示例中，WAN 7可以实现多协议标签交换(MPLS)转发，并且在这种情况下可以称为MPLS网络或MPLS主干网。在某些情况下，WAN 7表示多个相互连接的自治系统，如互联网，它们提供来自一个或多个服务提供商的服务。WAN 7可以包括网络设备13A-13N(以下称为“网络设备13”)，包括WAN设备18和路由器8，它们在WAN 7内的WAN链路上转发应用流量。公共网络12可以表示互联网。公共网络12可以表示经由传输网络22和一个或多个网络设备耦接到WAN 7的边缘网络，例如，诸如客户边缘交换机或路由器的客户边缘设备。公共网络12可以包括数据中心。路由器8可以促进WAN设备18和服务节点10A-10N(以下称为“服务节点10”)之间经由传输网络22和公共网络12的数据包交换。

在一些示例中，服务节点10是向订户设备16提供第三方服务的一个或多个第三方应用服务器或第三方服务提供商服务器。如本文所述，“第三方”设备(例如第三方服务节点10)是由第三方管理的WAN 7之外的设备，因此，NMS 136具有受限的能力或没有能力直接配置、控制或接收与此类第三方设备的操作相关的信息。

在包括有线/宽带接入网络的网络2的示例中，路由器8可以表示宽带网络网关(BNG)、宽带远程访问服务器(BRAS)、MPLS PE路由器、核心路由器或网关，或电缆调制解调器终端系统(CMTS)。在包括蜂窝接入网络作为接入网络6的网络2的示例中，路由器8可以表示移动网关，例如网关通用分组无线电服务(GPRS)服务节点(GGSN)、访问网关(aGW)，或数据包数据网络(PDN)网关(PGW)。在其他示例中，关于路由器8描述的功能可以在交换机、服务卡或另一网络元件或组件中实施。在一些示例中，路由器8本身可以是服务节点。

管理网络2的至少一部分的网络服务提供商通常向与接入服务提供商网络2的设备(例如，订户设备16)相关联的订户提供服务。所提供的服务可能包括常规互联网访问、VoIP、视频和多媒体服务以及安全服务。如上文关于WAN 7所述，WAN 7可以支持多种类型的接入网络基础设施，这些基础设施连接到服务提供商网络接入网关以提供对所提供服务的访问。在一些情况下，网络系统可以包括附接到具有不同架构的多个不同接入网络6的订户设备16。

一般而言，任何一个或多个订户设备16可以通过向诸如WAN设备18或路由器8的网关设备发送会话请求来请求授权和数据服务。继而，WAN设备18可以访问诸如认证、授权和计费(AAA)服务器之类的中央服务器(未示出)以认证请求网络接入的订户设备16。一旦通过验证，任何订户设备16都可以向WAN 7发送订户数据流量以访问和接收公共网络12提供的服务，并且这样的数据包可以作为至少一个数据包流的一部分穿过路由器8。在一些示例中，WAN设备18可以将所有经过验证的订户流量转发到公共网络12，并且如果订户流量需要服务节点10上的服务，则路由器8可以应用服务和/或将具体订户流量引导到数据中心9。要应用于订户流量的应用(例如，服务应用)可以托管在服务节点10上。

例如，当转发订户流量时，路由器8可以引导各个订户数据包流通过在安装在数据中心9内的一个或多个服务卡上执行的服务。此外，或备选地，服务提供商网络2包括数据中心9，数据中心9具有服务节点10的集群，服务节点10为大部分虚拟化的网络服务提供执行环境。在一些示例中，每个服务节点10表示服务实例。每个服务节点10可以将一个或多个服务应用于业务流。这样，路由器8可以引导订户数据包流通过由服务节点10来提供的限定的服务集。也就是说，在一些示例中，每个订户数据包流可以通过由服务节点10提供的具体有序服务组合来转发，每个有序集在本文中被称为“服务链”。例如，服务和/或服务节点10可以应用状态防火墙(SFW)和安全服务、深度数据包检测(DPI)、运营商级网络地址转换(CGNAT)、流量目的地功能(TDF)服务、媒体(语音/视频)优化、互联网协议安全(IPSec)/虚拟专用网络(VPN)服务、超文本传输协议(HTTP)过滤、计数、记帐、计费和/或数据包流的负载平衡，或应用于网络流量的其他类型的服务。

在图1的示例中，订户数据包流可以沿着包括由服务节点10应用的任何服务的服务链被引导。一旦在服务链的终端节点处被处理，即，应用到沿具体服务路径流动的数据包的最后服务，流量可以被引导到公共网络12。

鉴于“服务链”限定了一个或多个服务以具体顺序应用以提供复合服务以应用到绑定到服务链的数据包流，“服务隧道”或“服务路径”指的是者服务链处理的数据包流所采用的逻辑和/或物理路径以及根据服务链排序转发数据包流的转发状态。每个服务链可以与相应的服务隧道相关联，并且与每个订户设备16相关联的数据包流根据与相应订户相关联的服务配置文件沿着服务隧道流动。例如，给定订户可以与具体服务配置文件相关联，该服务配置文件又映射到与具体服务链相关联的服务隧道。类似地，另一订户可能与不同的服务配置文件相关联，而不同的服务配置文件又映射到与不同服务链相关联的服务隧道。在一些示例中，在WAN设备18已为订户验证并建立接入会话之后，WAN设备18或路由器8可以沿着适当的服务隧道为订户引导数据包流，从而使数据中心9为给定的订户应用必要的有序服务。在一些示例中，中央控制器(未示出)还可以向WAN设备18或路由器8提供转发规则集，以用于管理转发路径。在某些示例中，SDN控制器管理从路由器8开始的通过在数据中心9中所有元件的转发路径。

在一些示例中，服务节点10可以使用内部配置的转发状态来实现服务链，转发状态引导数据包的数据包沿着服务链流动，以便根据所识别的服务节点10的集合进行处理。这种转发状态可以指定隧道接口，用于使用网络隧道(例如IP或通用路由封装(GRE)隧道、使用GRE的网络虚拟化(NVGRE))，或通过使用VLAN、虚拟可扩展LAN(VXLAN)、MPLS技术，等等进行服务节点10之间的隧道化。在一些情况下，互连服务节点10的真实或虚拟交换机、路由器或其他网络元件可以被配置为根据服务链将数据包流引导至服务节点10。

在图1的示例中，服务提供商网络2包括软件限定网络(SDN)和网络功能虚拟化(NFV)架构。SDN控制器(图1中未显示)可以提供高级控制器设备，用于配置和管理服务提供商网络2的路由和交换基础设施。NFV协调器设备(图1中未示出)可以提供高级协调器，用于配置和管理网络服务虚拟化到数据中心9的服务节点10中。在某些情况下，SDN控制器管理虚拟机(VM)在数据中心9的操作环境中的部署。例如，SDN控制器可以与提供商边缘(PE)路由器8交互以指定服务链信息。例如，SDN控制器提供的服务链信息可以指定服务节点10提供的服务的任何组合和顺序、用于隧道化或以其他方式沿服务路径传输数据包流的流量工程信息、速率限制、服务类型(TOS)标记或指定用于将数据包流匹配到具体服务链的标准的数据包分类器。于2013年6月5日提交的PCT国际专利申请PCT/US13/44378中描述了SDN控制器的更多示例细节，其全部内容通过引用并入本文。

尽管图示为数据中心9的一部分，但是服务节点10可以是由WAN 7的一个或多个交换机或虚拟交换机耦接的网络设备。在一个示例中，每个服务节点10可以在虚拟计算环境中作为VM运行。此外，计算环境可以包括通用计算设备的可扩展集群，如基于x86处理器的服务器。如另一示例，服务节点10可以包括通用计算设备和专用设备的组合。作为虚拟化网络服务，服务节点10提供的单独网络服务可以像在现代数据中心中一样通过分配虚拟化内存、处理器利用率、存储和网络策略以及通过横向添加额外的负载平衡VM来扩展。在其他示例中，服务节点10可以是网关设备或其他路由器。在进一步的示例中，关于每个服务节点10描述的功能可以在交换机、服务卡或另一网络元件或组件中实施。

基于云的WAN保证系统130向WAN 7提供WAN保证服务。在一些示例中，基于云的WAN保证系统130为网络设备13提供监控和分析。基于云的WAN保证系统130包括网络管理系统(NMS)136，网络管理系统(NMS)可以提供基于云的WAN保证系统130收集的数据的基于机器学习的分析。

根据本文描述的技术，基于云的WAN保证系统130的NMS 136使用从一个或多个第三方APM供应商50获得的第三方数据52，对由NMS 136管理的WAN 7之外发生的用户体验问题进行QoS监控和故障排查。

例如，第三方APM供应商50生成关于第三方服务或应用的第三方数据52。例如，第三方APM供应商50可以从服务节点10提供的第三方服务或应用的用户收集用户体验信息56。在一些示例中，第三方APM供应商50提供网站，用户或订户设备16可以通过该网站发送关于服务节点10提供的服务的用户体验问题的报告56，如服务中断、网络连接问题等。如另一示例，第三方APM供应商50可以对服务节点10提供的第三方服务或应用进行直接性能测量，以便获得第三方服务或应用的性能测量数据54。在某些示例中，第三方APM供应商50可以通过测量网络特性或服务节点10的服务性能(如等待时间、带宽、抖动、延迟、响应时间等)来执行“速度测试”。

NMS 136从第三方APM供应商50获得第三方应用服务器或第三方服务提供商服务器的第三方数据52。在一些示例中，NMS 136可以使用一个或多个API来向第三方APM供应商50查询数据52。在一些示例中，NMS 136使用“拉”或“推”请求方法从第三方APM供应商50获得第三方数据52。

NMS 136识别由第三方数据52指示的用户体验问题。例如，NMS 136可以基于订户设备16的一个或多个用户已经提交指示第三方服务节点10提供的第三方服务的问题的报告56的确定，来识别用户体验问题。如另一示例，NMS 136可以基于由第三方数据52指示的第三方服务节点10的一个或多个度量不能满足由一个或多个服务级别协议(SLA)建立的一个或多个性能要求的确定，来识别用户体验问题。

响应于识别由第三方数据52指示的用户体验问题，NMS 136获得从网络设备13接收的网络数据58。NMS 136将第三方数据52拼接(或融合)到从网络设备13接收的获得的网络数据58。在一些示例中，NMS 136通过确定从网络设备13接收的网络数据58的一部分是在与由第三方数据指示的用户体验问题发生的时间基本相似的时间生成的，来识别从网络设备13接收的网络数据58的相关部分。例如，NMS 136可以确定第三方数据52指示的用户体验问题发生的时间，并在由第三方数据52所指示的用户体验问题发生的时间之前、期间和之后获得网络数据58。此外，在一些示例中，NMS 136可以为包括第三方数据52和网络数据58的用户体验问题创建日志。在一些示例中，NMS 136至少处理网络数据58以确定用户体验问题的根本原因。另外或备选地，NMS 136至少处理网络数据58以进一步确定用户体验问题的补救行动。在一些示例中，NMS 136处理第三方数据52和网络数据58以确定用户体验问题的根本原因或补救行动。

例如，NMS 136可以基于网络数据58确定用户体验问题的根本原因是由于例如服务节点10A提供的服务的性能下降或故障。响应于该确定，NMS 136可以确定补救行动是选择路由器8的不同接口，通过该接口转发订户设备16的流量，以便使用不同的服务节点，如服务节点10B，向订户设备16提供服务。

如另一示例，NMS 136可以基于网络数据58确定用户体验问题的根本原因是由于通过传输网络22提供到服务节点10A的连接的ISP的服务提供商网络的性能下降或故障。响应于该确定，NMS 136可以确定补救行动是使路由器8经由不同的服务提供商网络转发订户设备16的流量(例如，使得订户设备16的流量通过不同的传输网络22)以免出现问题的服务提供商网络。

NMS 136生成用于呈现给管理员设备的通知，该通知识别用户体验问题的根本原因或补救行动。以这种方式，NMS 136可以实现用户体验问题的故障排查、识别和解决，即使用户体验问题的根本原因发生在NMS 136管理的WAN 7之外，如其中根本原因位于不是由NMS 136管理的订户设备16或第三方应用服务节点10中的一者。

图2是示出根据本公开的技术的示例计算机网络系统200的框图。基于云的WAN保证系统130是基于云的微服务系统。在一些示例中，每个网络设备13是图1的网络设备13之一的示例，并且基于云的WAN保证系统130是图1的基于云的WAN保证系统130的示例。

在图2的示例中，WAN 7包括多个客户网络210A-210N(下文称为“客户网络210”)。每个客户网络210包括网络设备13A-13N(以下称为“网络设备13”)。例如，客户网络210A包括网络设备13A-1到13A-N，客户网络210B包括网络设备13B-1到13B-N，以及客户网络210N包括网络设备13N-1到13N-N。每个客户网络210可以具有与每个其他客户网络210不同的网络拓扑和不同数量或类型的网络设备13。此外，客户网络210可以具有不同的目的和行为，并且可以是商业、企业或住宅网络。

基于云的WAN保证系统130提供云服务，云服务为WAN边缘的企业访问层带来自动化的操作和服务水平，并且当与有线和无线保证结合使用时，转换涵盖交换机、IoT设备、接入点、服务器、打印机等的所有操作。网关提供丰富的流式遥测数据，实现对网关健康度量和异常检测的洞察。网络设备13向基于云的WAN保证系统130提供流数据，其可以包括遥测数据、SLE度量和/或流量度量，包括应用程序使用量数据和健康信息等。

在一些示例中，流式数据包括与应用响应时间以及WAN链接和网关健康测量有关的数据。对于网关健康状况，数据可以包括，例如，CPU利用率、内存利用率、链路利用率、温度、风扇、功率。对于WAN链路健康状况，数据可以包括例如IPSec信息、路由协议信息和WAN接口信息。应用体验信息可以包括，例如，基于每个应用的延迟、抖动、数据包丢失、往返时间和其他度量。

由AI驱动的WAN洞察：对于物理网络设备，WAN洞察通过详细的网络设备度量和深入到端口级别的洞察(例如CPU、内存利用率、传输的字节数、流量利用率和功耗)准确显示网络设备的性能。WAN保证还记录网络设备事件，如配置更改和系统警报。连同WAN利用率，IPSec利用率洞察和安全矢量路由(SVR)利用率洞察可以帮助了解通过IPSec隧道发送的流量与本地疏导(分别使用IPSec隧道或基于SVR会话的路由)。WAN洞察还提供基于每个用户和每个应用的应用可见性。结合上述租户信息和会话感知路由器功能，WAN洞察可以提供基于每个租户、每个应用的应用可见性。

有关WAN洞察、SVR洞察和性能监控的附加信息在以下专利中描述：于2020年12月24日公布的标题为“IN-LINE PERFORMANCE MONITORING”的美国专利申请公布第2020/0403890号；于2019年2月5日发布的标题为“LINK STATUS MONITORING BASED ON PACKETLOSS DETECTION”的美国专利申请公开第10,200,264号；以及于2022年6月21日提交的标题为“LINK BEHAVIOR PREDICTION FOR USE IN PATH SELECTION”的美国专利申请公开第17/808,066号，这些中的每份申请全部内容均通过引用整体并入本文。

在操作中，NMS 136观察、收集和/或接收事件数据，这些数据可以采用例如从消息、计数器和统计中提取的数据的形式。NMS 136可以包括一个或多个计算设备、专用服务器、虚拟机、容器、服务或用于执行本文描述的技术的其他形式的环境。类似地，实现虚拟网络助手(VNA)133和主动分析与关联引擎(PACE)335的计算资源和组件可以是NMS 136的一部分，可以在其他服务器或执行环境上执行，或者可以分布到网络中的节点(例如，路由器、交换机、控制器、网关等)。

为确保高服务水平体验(SLE)，NMS 136采用实时检测故障的方法，甚至在用户注意到故障之前预测性检测故障。这些方法也可用于确保具体级别的应用体验质量(AppQoE)。

具有可以由NMS 136采用的方面的示例故障检测系统在以下专利中描述：于2021年3月23日授权的标题为“METHODS AND APPARATUS FOR FACILITATING FAULT DETECTIONAND/OR PREDICTIVE FAULT DETECTION”的美国专利第10,958,585号；于2017年11月28日授权的标题为“MONITORING WIRELESS ACCESS POINT EVENTS”的美国专利第9,832,082号；于2021年3月23日授权的标题为“METHOD FOR SPATIO-TEMPORAL MONITORING”的美国专利第10,958,537号；于2021年4月20日授权的标题为“SYSTEMS AND METHODS FOR A VIRTUALNETWORK ASSISTANT”的美国专利第10,985,969号，这些中的每份专利全部内容均通过引用并入本文。

在一些示例中，NMS 136的VNA 133可以应用机器学习技术来识别从事件数据流中检测或预测的错误条件的根本原因。如果可以自动解决根本原因，则VNA 133调用一个或多个校正行动来校正错误条件的根本原因，从而自动改进底层SLE度量并自动改进用户体验。可以由NMS 136执行的根本原因分析和自动校正技术的更多示例细节如在2021年5月24日提交的标题为“VIRTUAL NETWORK ASSISTANT HAVING PROACTIVE ANALYTICS ANDCORRELATION ENGINE USING UNSUPERVISED ML MODEL”的美国专利申请第17/303,222号中所描述的，其全部内容通过引用并入本文。

尽管本公开的技术在此示例中被描述为由基于云的WAN保证系统130的NMS 136执行，但是本文描述的技术可以由包括用于WAN保证以外的目的任何其他计算设备、系统和/或服务器执行，并且本公开不限于此。例如，被配置成执行本公开的技术的功能的一个或多个计算设备可以驻留在专用服务器中或者被包括在除了基于云的WAN保证系统130的任何其他服务器中，或者可以分布在整个网络系统200中，并且可以形成或不形成基于云的WAN保证系统130的一部分。

在一些示例中，网络设备13(例如，路由器或交换机)或甚至接入点(未示出)可以被配置为基于本地收集的SLE度量来本地构建、训练、应用和重新训练无监督的ML模型，以确定收集到的网络事件数据是否应该被丢弃，或者数据是否表示需要转发给NMS 136用于通过虚拟网络助手(图2)进一步分析根本原因的异常行为，以便于识别和解决故障。

根据此处描述的技术，NMS 136的VNA 133使用从一个或多个第三方监控供应商50获得的第三方数据52，对在NMS 136管理的WAN 7之外发生的用户体验问题执行QoS监控和故障排查。

例如，第三方APM供应商50生成关于第三方服务或应用的第三方数据52。例如，第三方APM供应商50可以从服务节点10提供的第三方服务或应用的用户收集用户体验信息56。在一些示例中，第三方APM供应商50提供网站，用户或订户设备16可以通过该网站发送关于服务节点10提供的服务的用户体验问题的报告56，如服务中断、网络连接问题等。如另一示例，第三方APM供应商50可以对第三方服务或应用进行直接性能测量，以获得性能测量数据54。在某些示例中，第三方APM供应商50可以通过测量网络特性或服务节点10的服务性能(如等待时间、带宽、抖动、延迟、响应时间等)来执行“速度测试”。

根本原因分析370从第三方APM供应商50获得第三方应用服务器或第三方服务提供商服务器的第三方数据52。在一些示例中，根本原因分析370可以使用一个或多个API来从第三方APM供应商50查询数据52。在一些示例中，根本原因分析370使用“拉”或“推”请求方法从第三方APM供应商50获得第三方数据52。

虽然本公开的技术指的是从第三方APM供应商50获得第三方数据52，但在一些示例中，根本原因分析370可以直接查询第三方服务提供商或第三方应用服务器，以获得第三方数据52。在该示例中，以基本类似于在此描述的从第三方APM供应商50获得第三方数据52的方式，根本原因分析370可以从第三方服务提供商或第三方应用服务器获得第三方数据52。例如，根本原因分析370可以使用一个或多个API来从第三方服务提供商或第三方应用服务器查询第三方数据52。在一些示例中，根本原因分析370使用“拉”或“推”请求方法从第三方服务提供商或第三方应用服务器获得第三方数据52。

在一些示例中，第三方数据52包括ISP的服务提供商网络、软件即服务(SaaS)应用服务(例如，由第三方服务节点10提供)，或一个或多个第三方APM供应商50的数据中心中托管的自定义应用程序中的一个或多个的洞察数据。在一些示例中，洞察数据可以包括对用于在客户端或订户设备16与由第三方服务节点10提供的服务之间的会话的一个或多个用户体验问题进行指定的数据；用户体验问题的一个或多个根本原因；客户端或订户设备16的配置信息、由第三方服务节点10或第三方服务节点10之一提供的服务；或用于由第三方服务节点10或第三方服务节点10之一提供的服务的各种性能度量。

在某些示例中，根本原因分析370执行按需第三方集成，用于用户体验问题的故障排查和根本原因分析。在一些示例中，根本原因分析370从例如管理员接收对用户体验问题进行故障排查的请求。响应于该请求，根本原因分析370经由一个或多个API从第三方APM供应商50查询一个或多个第三方服务节点10或服务提供商网络的第三方数据52。

在一些示例中，根本原因分析370通过一个或多个API周期性地从第三方APM供应商50查询一个或多个第三方服务节点10的第三方数据52。例如，根本原因分析370周期性地查询第三方APM供应商50每秒一次、每分钟一次、每小时一次、每天一次等。

在一些示例中，根本原因分析370在特定客户端或者订户设备16和具体第三方服务节点10A之间的应用程序会话期间，经由一个或多个API来查询第三方APM供应商50以获取具体第三方应用服务器(例如，服务节点10A)的第三方数据52。在一些示例中，第三方数据52可以包括与特定客户端或订户设备16在与第三方服务节点10A的应用会话期间的行为相关联的数据。

在一些示例中，根本原因分析370在特定客户端或订户设备16和具体第三方服务节点10A之间的应用会话已经结束之后，经由一个或多个API从第三方APM供应商50查询具体第三方应用服务器(例如，服务节点10A)的第三方数据52。在一些示例中，第三方数据52包括低级应用细节形式的用户QoS数据。在应用会话是视频会议会话的一些示例中，低级应用细节包括特定于应用的带宽使用量，例如音频呼叫；来自具体用户、第三方APM供应商50或SaaS应用服务器10的跨音频、视频或屏幕共享调用的抖动和/或延迟比较。在一些示例中，用户QoS数据可以按模态划分，例如音频、视频或屏幕共享。如以下更详细描述的，NMS136可以使用低级应用细节来确定是否满足网络的SLA要求。在一些示例中，第三方数据52包括关于应用会话的用户反馈数据。

根本原因分析370识别由第三方数据52指示的用户体验问题。例如，根本原因分析370可以基于订户设备16的一个或多个用户已经提交指示第三方服务节点10提供的第三方服务的问题的报告56的确定，来识别用户体验问题。如另一示例，根本原因分析370可以基于由第三方数据52指示的第三方服务节点10的一个或多个度量不能满足由一个或多个SLA建立的一个或多个性能要求的确定，来识别用户体验问题。

响应于识别由第三方数据52指示的用户体验问题，根本原因分析370将第三方数据52拼接(或融合)到从网络设备13接收的获得的网络数据58。在一些示例中，NMS 136通过确定从网络设备13接收的网络数据58的一部分是在与由第三方数据指示的用户体验问题发生的时间基本相似的时间生成的，来识别从网络设备13接收的网络数据58的相关部分。例如，根本原因分析370经由端点终结器134获得从网络设备13接收的网络数据58。在一些示例中，网络数据58是在用户体验问题期间生成的。例如，根本原因分析370可以确定第三方数据52指示的用户体验问题发生的时间，并在由第三方数据52所指示的用户体验问题发生的时间之前、期间和之后获得已生成的网络数据58。在一些示例中，根本原因分析370可以获得在由第三方数据52指示的用户体验问题发生之前和之后的预定时间跨度期间生成的数据。在一些示例中，预定时间可以是1秒、1分钟、10分钟、30分钟、1小时、1天等。在一些示例中，根本原因分析370可以在用户体验问题发生期间或大致同时获得网络数据58。在一些示例中，根本原因分析370可以在用户体验问题发生之后获得网络数据58。在一些示例中，根本原因分析370可以为包括第三方数据52和网络数据58的用户体验问题创建日志。

根本原因分析370至少处理网络数据58以确定用户体验问题的根本原因。在一些示例中，根本原因是由于客户端或订户设备16或具体第三方应用服务节点16(例如，WAN 7外部且不受NMS 136管理的设备)中的至少一个的问题。另外或备选地，根本原因分析370至少处理网络数据58以进一步确定用户体验问题的补救行动。在一些示例中，根本原因分析370处理第三方数据52和网络数据58以确定用户体验问题的根本原因或补救行动。

例如，根本原因分析370可以基于网络数据58确定用户体验问题的根本原因是由于例如服务节点10A提供的服务的性能下降或故障。响应于该确定，根本原因分析370可以确定补救行动是选择路由器8的不同接口，通过该接口转发用户设备16的流量，以便使用不同的服务节点，如服务节点10B，向订户设备16提供服务。

如另一示例，根本原因分析370可以基于网络数据58确定用户体验问题的根本原因是由于通过传输网络22提供到服务节点10A的连接的ISP的服务提供商网络的性能下降或故障。响应于该确定，根本原因分析370可以确定补救行动是使路由器8经由不同的服务提供商网络转发订户设备16的流量(例如，使得订户设备16的流量通过不同的传输网络22)以避免出现问题的服务提供商网络。

虚拟网络助手133生成用于呈现给管理员设备的通知，该通知识别用户体验问题的根本原因或补救行动。以这种方式，虚拟网络助手133可以实现用户体验问题的故障排查、识别和解决，即使用户体验问题的根本原因发生在NMS 136管理的WAN 7之外，如其中根本原因位于不是由NMS136管理的订户设备16或第三方应用服务节点10中的一者。

图3是示出根据本公开的一种或多种技术配置的示例网络管理系统(NMS)136的框图。NMS 136可以用于实现例如图1中的NMS 136或图2中的NMS 136。在此类示例中，NMS 136负责监控和管理图1的网络设备13或图2的网络设备13中的一个或多个网络设备。在此示例中，NMS 136接收由基于云的WAN保证端点终结器134从网络设备13收集的数据，如遥测数据、SLE度量和/或流量度量(包括应用使用量数据和健康信息)，并分析对包含网络设备13的网络的基于云的WAN保证的数据。在一些示例中，NMS 136可以是图1中所示的另一服务器的一部分或任何其他服务器的一部分。

在一些示例中，除了监控网络设备13之外，NMS 136除了监控服务提供商或其他网络的网络设备之外，还负责监控和管理一个或多个无线网络(未示出)。在该示例中，NMS136还接收由接入点从用户设备收集的数据，如用于计算一个或多个SLE度量的数据，并分析这些用于无线网络的基于云管理的数据。通过这种方式，单个NMS 136可以用于管理网络设备13和无线网络，网络设备13可以包括虚拟化网络设备(例如，在虚拟机或容器上执行的基于软件的路由器)，并且无线网络用于通过单个基于云的WAN保证门户可见的端到端WAN保证系统。

NMS 136包括通信接口330、一个或多个处理器306、用户接口310、存储器312和数据库318。各种元件经由总线314耦接在一起，各种元件可以通过该总线交换数据和信息。

处理器306执行软件指令，例如用于限定软件或计算机程序的指令，存储到计算机可读存储介质(例如存储器312)，存储介质例如包括存储设备(例如，磁盘驱动器或光驱)或存储器(例如闪存或RAM)或任何其他类型的易失性或非易失性存储器的非暂时性计算机可读介质，该介质存储指令以使一个或多个处理器306执行在此所描述的技术。

通信接口330可以包括例如以太网接口。通信接口330将NMS 136耦接到网络和/或互联网，例如图1所示的网络4、6、7、11、12、20和22中的任何一个网络，和/或任何广域网网络或局域网。通信接口330包括接收器332和发射器334，NMS 136通过它们向/从任何网络设备13和/或构成WAN 7的一部分的任何其他设备或系统接收/传输数据和信息，如图1所示。NMS 136接收的数据和信息可以包括例如从网络设备13接收的并且由NMS 136用来远程监控网络设备13和WAN 7的性能的SLE相关或事件日志数据。在一些示例中，NMS 136可以进一步经由通信接口330将数据传输到任何网络设备13以远程管理WAN 7。

存储器312包括一个或多个被配置为存储编程模块和/或与NMS 136的操作相关联的数据的设备。例如，存储器312可以包括计算机可读存储介质，如包括存储设备(例如，磁盘驱动器或光驱)或存储器(例如闪存或RAM)或任何其他类型的易失性或非易失性存储器的非暂时性计算机可读介质，该介质存储指令以使一个或多个处理器306执行在此所描述的技术。

在该示例中，存储器312包括API 320、SLE模块322、虚拟网络助手(VNA)/AI引擎133、根本原因分析模块370和升级规划单元135。NMS 136还可以包括被配置用于远程监控和管理网络设备13的任何其他编程模块、软件引擎和/或接口，包括任何网络设备13的远程监控和管理。NMS 136还可以包括被配置用于无线网络的远程监控和管理的任何其他编程模块、软件引擎和/或接口，包括任何接入点的远程监控和管理。

SLE模块322能够为每个网络102设置和跟踪SLE度量的阈值。SLE模块322进一步分析由网络设备13收集的SLE相关数据。例如，基于云的WAN保证端点终结器134从当前连接到WAN 7的网络设备13收集SLE相关数据。该数据被传输到NMS 136，NMS 136由SLE模块322执行，以确定已经接入到基于云的WAN保证系统130的每个网络设备13的一个或多个SLE度量。SLE度量跟踪服务级别是否满足为每个SLE度量配置的阈值。每个度量可以进一步包括一个或多个分类器。如果度量不满足SLE阈值，则可以将故障归因于其中一个分类器，以进一步确定故障发生的位置。SLE度量可能包括，例如，数据包丢失、抖动、延迟、端到端处理时间和其他用户/设备体验度量，例如WAN链接健康状况、应用体验和网关健康状况。

VNA/AI引擎133分析从网络设备13接收的数据及其自身的数据，以识别何时在WAN7内(例如在网络设备13内)遇到不期望的异常状态。例如，VNA/AI引擎133可以使用根本原因分析模块370来识别任何不期望或异常状态的根本原因。在一些示例中，根本原因分析模块370利用基于人工智能的技术来帮助识别WAN 7内出现的任何不良SLE度量的根本原因。此外，VNA/AI引擎133可以自动调用一个或多个校正行动，旨在解决一个或多个不良SLE度量的已识别根本原因。可以由VNA/AI引擎133自动调用的校正行动的示例可包括但不限于调用API 320以重启一个或多个网络设备13。校正行动可以进一步包括重启交换机和/或路由器，调用下载新软件到网络设备、交换机或路由器等。这些校正行动仅出于示例目的给出，并且本公开不限于此方面。如果自动校正行动不可用或不能充分解决根本原因，则VNA/AI引擎133可以主动提供通知，包括IT人员为解决网络错误而采取的推荐校正行动。

时态图形数据库317被配置为存储网络的连接和实体信息，这些信息是从历史遥测数据中提取的，该历史遥测数据是NMS 300在延长的时间段内(例如，数周或数月)以应用会话级别的粒度从客户端设备148、AP142、交换机146和/或网络134内的其他网络节点收集的。根据本公开的技术，时态图形数据库317进一步包括如下文更详细描述的第三方数据52。

连接信息可以表示不同类型的连接，包括无线、有线和逻辑链路，例如用于SD-WAN设备的对等路径或IPsec隧道，例如图1中的SD-WAN的路由器。实体信息可以表示不同种类的网络设备，包括客户端设备、AP设备、交换机、路由和网关等其他网络节点、第三方网络设备以及运行在网络设备上的应用。NMS 136使用应用会话级的连接和实体信息来更新时态图形数据库317，其中该图形表示在时间段内应用会话级的网络拓扑。

应用会话包括与应用的用户会话，例如VOIP或视频电话会议、流式视频观看会话或游戏会话。应用会话可以包括多个应用流(例如，10到100个应用程序流)，每个应用流都包括应用会话期间网络设备之间的网络级流(例如，由5元组限定)。例如，在一个小时的VOIP通话期间，运行应用的客户端设备可能会连接到多个不同的AP设备(例如，如果客户端设备在会话期间正在移动)并生成应用会话的多个应用流。此外，每个AP设备可以连接到一个或多个交换机、路由器和/或网关直到基于云的应用服务器，其中每个新连接可以包括应用会话的另一应用流。

根本原因分析370将所识别的应用会话的多个应用流关联起来，并使用应用流数据来确定网络内在应用会话期间与应用会话相关联的网络设备的子集。然后根本原因分析370从时态图形数据库317获得所有AP设备、交换机、路由器和/或网关的连接和实体信息，以及运行应用的客户端设备在应用会话的持续时间内所连接到的基于云的应用服务器。

根本原因分析370可以基于从时态图形数据库317获得的应用会话的实体和连接信息，为应用会话构建应用会话特定拓扑。以这种方式，所公开的技术实现应用会话的回溯故障排查，即使当前网络拓扑在具体应用会话结束后发生了变化，或者当前应用会话没有遇到与具体应用会话相同的问题。

根本原因分析370可以进一步通过识别在具体应用会话的持续时间内涉及具体应用会话的网络设备的一个或多个子集中的连接问题，进一步实现应用会话的故障排查。例如，根本原因分析370分析涉及具体应用会话的网络设备子集的网络数据以识别在涉及具体应用会话的网络设备子集中的一个或多个处的连接问题的根本原因。更特定地，根本原因分析370可以分析包括在网络设备中或从网络设备导出的事件数据以确定是否存在连接问题。在一些场景中，根本原因分析370可以将网络数据的至少一部分应用到ML模型380以确定连接问题的根本原因。

在一些示例中，虚拟网络助手的PACE 335可以针对事件数据(SLE度量316)动态构建、训练、应用和重新训练无监督ML模型337，以确定所收集的网络事件数据是否表示需要由VNA/AI引擎133的根本原因分析模块370进一步分析以促进故障的识别和解决的异常行为。

然后PACE 335可以将ML模型应用于各种网络事件类型的新收集数据的数据流和/或日志(例如，统计、消息、SLE度量等，本文称为事件类型的“PACE”事件数据)，以检测具有传入数据流的当前观察到的网络事件数据是否指示系统的正常运行，或者传入网络事件数据是否指示与需要缓解的故障网络对应的非典型系统行为事件或趋势(例如，异常)。

当主动分析和关联引擎将ML模型应用到网络事件数据表明存在非典型系统行为事件或趋势时，NMS 136可以调用虚拟网络助手的更复杂的根本原因网络分析组件(VNA)，以识别异常系统行为的根本原因，并在可能的情况下触发自动或半自动校正行动。以这种方式，PACE 335可以基于部署了PACE 335的具体复杂网络来构建和应用ML模型，以确定是否对从复杂网络系统内的元素中收集到的网络事件数据的传入流(例如，实时时间)执行进一步的资源密集型分析。

此外，连同识别哪些问题需要注意，本文描述的一些示例可以被配置为监控在复杂网络系统内交换的消息以及大量操作计数器和统计数据。在正常操作期间，不同计数器的值与统计数据之间的比率可以假定在可接受值的特定范围内的值，在此称为{Min，Max}范围。

根据此处描述的技术，NMS 136的VNA 133使用从一个或多个第三方监控供应商50获得的第三方数据52，对在NMS 136管理的WAN 7之外发生的用户体验问题执行QoS监控和故障排查。

关于用户应用体验的“第一公里”，NMS 136与第三方APM供应商50集成，以便在客户端或用户设备16和SaaS应用服务节点10之间的应用会话期间从SaaS应用服务节点10获得第三方数据52。在该示例中，第三方数据52与客户端或订户设备16在应用会话期间如何表现相关联。例如，第三方APM供应商50生成关于第三方服务或应用的第三方数据52。例如，第三方APM供应商50可以从服务节点10提供的第三方服务或应用的用户收集用户体验信息56。在一些示例中，第三方APM供应商50提供网站，用户或订户设备16可以通过该网站发送关于服务节点10提供的服务的用户体验问题的报告56，如服务中断、网络连接问题等。如另一示例，第三方APM供应商50可以对服务节点10提供的第三方服务或应用进行直接性能测量，以获得第三方服务或应用的性能测量数据54。在某些示例中，第三方APM供应商50可以通过测量网络特性或服务节点10的服务性能(如等待时间、带宽、抖动、延迟、响应时间等)来执行“速度测试”。

在一些示例中，第三方数据52可以包括应用的其他使用度量，如客户端设备16上的CPU使用量、与SaaS应用服务节点10相关的CPU使用量的部分、客户端设备16使用的Wi-Fi无线电、客户端设备16使用的外围设备(例如耳机、扬声器、相机)、客户端设备16使用的软件的版本、客户端设备16的操作系统，等等。

在一些示例中，第三方数据52包括低级应用细节。在应用是视频会议应用的示例中，此类低级应用细节可能包括音频呼叫的应用特定带宽使用量；来自具体用户、第三方APM供应商50或SaaS应用服务器10的跨音频、视频或屏幕共享调用的抖动和/或延迟比较。在一些示例中，第三方数据52可以跨模态划分，例如，音频、视频或屏幕共享模态。如以下更详细地讨论的，NMS 136可以基于低级应用细节来确定是否满足网络的SLA要求。

例如，第三方APM供应商50生成关于第三方服务或应用的第三方数据52。例如，第三方APM供应商50可以从服务节点10提供的第三方服务或应用的用户收集用户体验信息56。在一些示例中，第三方APM供应商50提供网站，用户或订户设备16可以通过该网站发送关于服务节点10提供的服务的用户体验问题的报告56，如服务中断、网络连接问题等。例如，第三方APM供应商50可以从客户端或订户设备16的用户接收关于SaaS应用服务器的具体应用会话的用户反馈数据。在一些示例中，用户反馈数据可以是例如一到五“星”等级规模的等级、另一等级值、或对具体呼叫或会话出现什么问题的评论和描述。NMS 136可以从第三方APM供应商50接收这样的用户反馈数据。此后，NMS 136可以使用用户反馈数据来识别有问题的应用会话，并且使用与有问题的应用会话相关联的网络数据58作为整个网络的根本原因分析的一部分，如下面进一步详细讨论的。

如另一示例，第三方APM供应商50可以对服务节点10提供的第三方服务或应用进行性能测量，以获得第三方服务或应用的性能测量数据54。在某些示例中，第三方APM供应商50可以通过测量网络特性或服务节点10的服务性能(如等待时间、带宽、抖动、延迟、响应时间等)来执行“速度测试”。

根本原因分析370从第三方APM供应商50获得第三方应用服务器或第三方服务提供商服务器的第三方数据52。在一些示例中，根本原因分析370可以使用一个或多个API来从第三方APM供应商50查询数据52。在一些示例中，根本原因分析370使用“拉”或“推”请求方法从第三方APM供应商50获得第三方数据52。

根本原因分析370识别由第三方数据52指示的用户体验问题。例如，根本原因分析370可以基于订户设备16的一个或多个用户已经提交指示第三方服务节点10提供的第三方服务的问题的报告56的确定，来识别用户体验问题。如另一示例，根本原因分析370可以基于由第三方数据52指示的第三方服务节点10的一个或多个度量不能满足由一个或多个SLA建立的一个或多个性能要求的确定，来识别用户体验问题。

响应于识别由第三方数据52指示的用户体验问题，根本原因分析370经由端点终结器134获得从网络设备13接收的网络数据58。例如，根本原因分析370可以确定第三方数据52指示的用户体验问题发生的时间，并在由第三方数据52所指示的用户体验问题发生的时间之前、期间和之后获得网络数据58。在一些示例中，根本原因分析370可以从第三方数据52指示的用户体验问题发生的时间之前和之后的预定时间跨度期间获得数据。在一些示例中，预定时间可以是1秒、1分钟、10分钟、30分钟、1小时、1天等。

根本原因分析370将第三方数据52拼接(或融合)到从网络设备13接收的获得的网络数据58。例如，根本原因分析370将从ISP的服务提供商网络和/或SaaS应用服务节点10的第三方APM供应商50获得的第三方数据52拼接到从由NMS 136管理的WAN 7内的网络设备13接收的网络和遥测数据58。例如，根本原因分析370可以为包括第三方数据52和网络数据58的用户体验问题创建日志。

在一些示例中，根本原因分析370至少处理网络数据58以确定用户体验问题的根本原因。例如，基于从第三方APM供应商50获得的拼接的第三方数据52，根本原因分析370可以了解用户体验问题。另外或备选地，根本原因分析370至少处理网络数据58以进一步确定用户体验问题的补救行动。在一些示例中，根本原因分析370处理第三方数据52和网络数据58以确定用户体验问题的根本原因或补救行动。在一些示例中，根本原因分析370使用基于WAN 7(例如，或由NMS 136管理的其他网络)的遥测构建的时态图形数据库317，来确定问题在整个网络2上发生的位置以及如何修复该问题，例如，作为客户洞察或对话助手操作提供。

例如，根本原因分析370可以基于网络数据58确定用户体验问题的根本原因是由于例如服务节点10A提供的服务的性能下降或故障。响应于该确定，根本原因分析370可以确定补救行动是选择路由器8的不同接口，通过该接口转发订户设备16的流量，以便使用不同的服务节点，如服务节点10B，向订户设备16提供服务。

如另一示例，根本原因分析370可以基于网络数据58确定用户体验问题的根本原因是由于通过传输网络22提供到服务节点10A的连接的ISP的服务提供商网络的性能下降或故障。响应于该确定，根本原因分析370可以确定补救行动是使路由器8经由不同的服务提供商网络转发订户设备16的流量(例如，使得订户设备16的流量通过不同的传输网络22)以避免出现问题的服务提供商网络。

虚拟网络助手133生成用于呈现给管理员设备的通知，该通知识别用户体验问题的根本原因或补救行动。以这种方式，虚拟网络助手133可以实现用户体验问题的故障排查、识别和解决，即使用户体验问题的根本原因发生在NMS 136管理的WAN 7之外，如其中根本原因位于不是由NMS136管理的订户设备16或第三方应用服务节点10中的一者。

通常，客户授权准许NMS 136执行APM数据源集成的权限。因此，NMS 136可能无法准许每个客户访问来自第三方APM供应商50的APM数据。然而，例如，如果NMS 136基于第一客户的APM信息确定SaaS应用服务节点10或服务提供商网络有问题，则NMS 136可以使用该信息来帮助解决用户体验或应用性能问题在类似时间段内使用相同应用的其他客户的问题。例如，NMS 136可以使用第三方APM数据52为第一客户指示访问SaaS服务器目标IP的问题，以帮助对在访问相同SaaS服务器目标IP时遇到问题的第二客户进行故障排查。

在一些示例中，NMS 136执行主动第三方集成以主动监控第三方性能。响应于检测到用户体验问题，NMS 136使用例如会话助手行动来主动警告用户用户体验问题。在主动示例中，NMS 136主动从第三方APM供应商50查询ISP的服务提供商网络和/或SaaS应用服务节点10的第三方数据52。用于网络管理的会话助手的附加细节，在2021年1月26日提交并于2022年11月8日授权的标题为“ENHANCED CONVERSATION INTERFACE FOR NETWORKMANAGEMEN”的美国专利第11,496,373号中被描述，其全部内容在此被引用。

在一些示例中，NMS 136执行与托管在组织的数据中心中的自定义应用的集成。与公共SaaS应用服务器相比，NMS 136通常可能无法查看私有的自定义应用。在一些示例中，NMS 136与数据中心管理系统集成以获得定制应用的洞察数据。数据中心管理系统的附加细节在以下专利中描述：于2018年7月24日提交并于2020年8月25日授权的标题为“Intent-based Analytics”的美国专利第10,756,983号，以及于2019年3月21日提交并于2021年4月27日授权的标题为“Automatically generating an intent-based network model of anexisting computer network”的美国专利第10,992,543号，这些中的每份专利全部内容均通过引用并入本文。

以这种方式，无论数据源如何，NMS 136都提供单一管理平台(pane of glass)来向管理员呈现信息。将数据收集扩展到由NMS 136管理的WAN7之外的那些设备和服务提供了额外的潜在组件，这些组件可能是检测到的网络问题的根本原因。此外，第三方应用客户端数据52提供了用户对具体应用会话或调用质量的感知判断的信息，这有利于识别用户体验问题。

使用来自无线、有线和SD-WAN的遥测数据与从第三方APM供应商50获得的第三方数据52的相互关系，NMS 136可以全面了解：(1)发生了什么(例如，通过用户反馈和/或NMS136的分析)；(2)何时发生(例如，通过第三方数据52)；(3)它发生的地方(例如，通过NMS136的分析)；(4)为什么会发生(例如，通过NMS 136的分析)；(5)如何解决问题(例如，通过对话助手或NMS 136确定的补救措施)。因此，如本文所述的NMS可以将从第三方APM供应商50接收的第三方数据52拼接到由NMS 136管理的WAN 7以提供完整的客户端到云监控和/或故障排查，包括第一公里和最后一公里的用户体验。因此，如本文所述的NMS可以将其数据收集扩展到WAN之外的(以及由NMS管理的其他网络，如客户端WLAN)那些设备和服务，以便使NMS能够深入了解可能是检测到的网络问题的根本原因的额外的潜在组件，并实现真正的客户端到云监控和故障排查。

图4是示出根据本公开的技术的示例操作的流程图。特定而言，图4描绘了用于根据从第三方APM供应商50获得的第三方数据52识别用户体验问题并且至少使用网络数据58来确定用户体验问题的根本原因和补救措施中的至少一者的示例操作。为方便起见，参照图1描述图4。然而，图4的操作可以另外使用图2的基于云的WAN保证系统130或图3的NMS136来实施。

如图4的示例中所描绘的，第三方APM供应商50生成关于第三方服务或应用的第三方数据52。例如，第三方APM供应商50可以从服务节点10提供的第三方服务或应用的用户收集用户体验信息56。如另一示例，第三方APM供应商50可以对服务节点10提供的第三方服务或应用进行直接性能测量，以便获得第三方服务或应用的性能测量数据54。NMS 136从第三方APM供应商50获得第三方应用服务器或第三方服务提供商服务器的第三方数据52(402)。在一些示例中，NMS 136可以使用一个或多个API来从第三方APM供应商50查询数据52。

NMS 136识别由第三方数据52指示的用户体验问题(404)。例如，NMS 136可以基于订户设备16的一个或多个用户已经提交指示第三方服务节点10提供的第三方服务的问题的报告56的确定来识别用户体验问题。如另一示例，NMS 136可以基于由第三方数据52指示的第三方服务节点10的一个或多个度量不能满足由一个或多个SLA建立的一个或多个性能要求的确定来识别用户体验问题。

响应于识别由第三方数据52指示的用户体验问题，NMS 136获得从网络设备13接收的网络数据58。例如，NMS 136可以确定第三方数据52指示的用户体验问题发生的时间，并在由第三方数据52所指示的用户体验问题发生的时间之前、期间和之后获得网络数据58。

NMS 136将指示用户体验问题的第三方数据52拼接(或融合)到从网络设备13接收的获得的网络数据58(406)。例如，NMS 136可以为包括第三方数据52和网络数据58的用户体验问题创建日志。在一些示例中，NMS 136至少基于网络数据58来确定用户体验问题的根本原因或用户体验问题的补救行动中的至少一者(408)。在一些示例中，NMS 136处理第三方数据52和网络数据58以确定用户体验问题的根本原因或补救行动。

NMS 136生成用于呈现给管理员设备的通知，该通知识别用户体验问题的根本原因或补救行动(410)。以这种方式，NMS 136可以实现用户体验问题的故障排查、识别和解决，即使用户体验问题的根本原因发生在NMS 136管理的WAN 7之外，如其中根本原因位于不是由NMS 136管理的订户设备16或第三方应用服务节点10中的一者。

本公开中描述的技术可以至少部分地以硬件、软件、固件或其任何组合来实施。例如，所描述的技术的各个方面可以在一个或多个处理器内实施，包括一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或任何其他等效的集成或离散逻辑电路，以及此类组件的任何组合。术语“处理器”或“处理电路”一般可指上述逻辑电路中的任何一者，单独或与其他逻辑电路组合，或任何其他等价电路。包括硬件的控制单元也可以执行本公开的一个或多个技术。

这样的硬件、软件和固件可以在相同的设备内或在单独的设备内实施，以支持本公开中描述的各种操作和功能。此外，所描述的单元、模块或组件中的任何一个可以一起或单独地实施为离散但可互操作的逻辑器件。将不同特征描述为模块或单元旨在突出不同的功能方面，并不一定意味着这些模块或单元必须由单独的硬件或软件组件来实现。相反，与一个或多个模块或单元相关联的功能可以由单独的硬件或软件组件执行，或者集成在公共或单独的硬件或软件组件内。

本公开中描述的技术也可以体现或编码在计算机可读介质中，例如包含指令的计算机可读存储介质中。嵌入或编码在计算机可读介质中的指令可以使可编程处理器或其他处理器执行该方法，例如，当指令被执行时。计算机可读存储介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存、硬盘、CD-ROM、软盘、盒式磁带、磁性介质、光学介质或其他计算机可读介质。

Claims (20)

1.一种与多个网络设备通信的计算机网络管理系统，所述计算机网络管理系统包括：

存储器；以及

处理电路，所述处理电路与所述存储器通信并被配置为：

从一个或多个第三方监控供应商处获得一个或多个第三方应用服务器或第三方服务提供商服务器的第三方数据；

识别由所述第三方数据指示的用户体验问题；

将表示所述用户体验问题的所述第三方数据拼接到从所述多个网络设备中的一个或多个网络设备接收的网络数据；

至少基于从所述一个或多个网络设备接收的所述网络数据来确定所述用户体验问题的根本原因和补救行动中的至少一者；以及

生成用于呈现给管理员设备的通知，所述通知识别了所述用户体验问题的所述根本原因和所述补救行动中的至少一者。

2.根据权利要求1所述的计算机网络管理系统，其中，为了获得所述第三方数据，所述处理电路被配置为：

接收对所述用户体验问题进行故障排查的请求；以及

响应于对所述用户体验问题的进行故障排查的所述请求，通过一个或多个应用程序编程接口API查询所述一个或多个第三方监控供应商，来得到所述一个或多个第三方应用服务器或所述第三方服务提供商服务器的所述第三方数据。

3.根据权利要求1所述的计算机网络管理系统，其中，为了获得所述第三方数据，所述处理电路被配置为通过一个或多个应用程序编程接口API查询所述一个或多个第三方监控供应商，来得到所述一个或多个第三方应用服务器或所述第三方服务提供商服务器的所述第三方数据。

4.根据权利要求1所述的计算机网络管理系统，

其中，为了获得所述第三方数据，所述处理电路被配置为在客户端设备和具体第三方应用服务器之间的应用会话期间，通过一个或多个应用程序编程接口API查询所述一个或多个第三方监控供应商，来得到所述具体第三方应用服务器的第三方数据，以及

其中，所述第三方数据包括与所述客户端设备在所述应用会话期间的行为相关联的数据。

5.根据权利要求1所述的计算机网络管理系统，

其中，为了获得所述第三方数据，所述处理电路被配置为在客户端设备和具体第三方应用服务器之间的应用会话之后，通过一个或多个应用程序编程接口API查询所述一个或多个第三方监控供应商，来得到所述具体第三方应用服务器的第三方数据，

其中，所述第三方数据包括用户服务质量QoS、低级应用细节形式的数据。

6.根据权利要求1所述的计算机网络管理系统，

其中，为了获得所述第三方数据，所述处理电路被配置为在客户端设备和具体第三方应用服务器之间的应用会话之后，通过一个或多个应用程序编程接口API查询所述一个或多个第三方监控供应商，来得到所述具体第三方应用服务器的所述第三方数据，以及其中，所述第三方数据包括对所述应用会话的用户反馈数据。

7.根据权利要求1所述的计算机网络管理系统，其中，所述第三方数据包括互联网服务提供商ISP的服务提供商网络、软件即服务SaaS、应用服务，和在所述一个或多个第三方监控供应商的数据中心托管的自定义应用中的一者或多者的洞察数据。

8.根据权利要求1至7中任一项所述的计算机网络管理系统，其中，所述处理电路进一步被配置为获得从所述多个网络设备中的所述一个或多个网络设备中接收的所述网络数据。

9.根据权利要求1至7中任一项所述的计算机网络管理系统，其中，所述处理电路被配置为至少基于从所述一个或多个网络设备接收的所述网络数据和指示所述用户体验问题的所述第三方数据，来确定所述用户体验问题的所述根本原因和所述补救行动中的至少一者。

10.根据权利要求1至7任一项所述的计算机网络管理系统，

其中，为了获得所述第三方数据，所述处理电路被配置为在客户端设备和具体第三方应用服务器之间的应用会话期间，通过一个或多个应用程序编程接口API查询所述一个或多个第三方监控供应商，来得到所述具体第三方应用服务器的第三方数据，

其中，所述处理电路被配置为至少基于从所述一个或多个网络设备接收的所述网络数据，来确定所述用户体验问题的所述根本原因，以及

其中，所述根本原因是由于所述客户端设备和所述具体第三方应用服务器中的至少一者的问题。

11.一种计算机联网方法，包括：

通过与多个网络设备通信的计算机网络管理系统，从一个或多个第三方监控供应商处获得一个或多个第三方应用服务器或第三方服务提供商服务器的第三方数据；

通过所述计算机网络管理系统，识别由所述第三方数据指示的用户体验问题；

通过所述计算机网络管理系统，将表示所述用户体验问题的所述第三方数据拼接到从所述多个网络设备中的一个或多个网络设备接收的网络数据；

通过所述计算机网络管理系统，至少基于从所述一个或多个网络设备接收的所述网络数据，来确定所述用户体验问题的根本原因和补救行动中的至少一者；以及

通过所述计算机网络管理系统，生成用于呈现给管理员设备的通知，所述通知识别了所述用户体验问题的所述根本原因和所述补救行动中的至少一者。

12.根据权利要求11所述的计算机联网方法，其中，获得所述第三方数据包括：

接收对所述用户体验问题进行故障排查的请求；以及

响应于对所述用户体验问题的进行故障排查的所述请求，通过一个或多个应用程序编程接口API查询所述一个或多个第三方监控供应商，来得到所述一个或多个第三方应用服务器或所述第三方服务提供商服务器的所述第三方数据。

13.根据权利要求11所述的计算机联网方法，其中，获得所述第三方数据包括通过一个或多个应用程序编程接口API查询所述一个或多个第三方监控供应商，来得到所述一个或多个第三方应用服务器或所述第三方服务提供商服务器的所述第三方数据。

14.根据权利要求11所述的计算机联网方法，

其中，获得所述第三方数据包括在客户端设备和具体第三方应用服务器之间的应用会话期间，通过一个或多个应用程序编程接口API查询所述一个或多个第三方监控供应商，来得到所述具体第三方应用服务器的第三方数据，以及

其中，所述第三方数据包括与所述客户端设备在所述应用会话期间的行为相关联的数据。

15.根据权利要求11所述的计算机联网方法，

其中，获得所述第三方数据包括在客户端设备和具体第三方应用服务器之间的应用会话之后，通过一个或多个应用程序编程接口API查询所述一个或多个第三方监控供应商，来得到所述具体第三方应用服务器的第三方数据，

其中，所述第三方数据包括用户服务质量QoS、低级应用细节形式的数据。

16.根据权利要求11所述的计算机联网方法，

其中，获得所述第三方数据包括在客户端设备和具体第三方应用服务器之间的应用会话之后，通过一个或多个应用程序编程接口API查询所述一个或多个第三方监控供应商，来得到所述具体第三方应用服务器的所述第三方数据，以及

其中，所述第三方数据包括对所述应用会话的用户反馈数据。

17.根据权利要求11所述的计算机联网方法，其中，所述第三方数据包括互联网服务提供商ISP的服务提供商网络、软件即服务SaaS、应用服务、和在所述一个或多个第三方监控供应商的数据中心托管的自定义应用中的一者或多者的洞察数据。

18.根据权利要求11至17中任一项所述的计算机联网方法，进一步包括获得从所述多个网络设备中的所述一个或多个网络设备中接收的所述网络数据。

19.根据权利要求11至17中任一项所述的计算机联网方法，进一步包括至少基于从所述一个或多个网络设备接收的所述网络数据和指示所述用户体验问题的所述第三方数据，来确定所述用户体验问题的所述根本原因和所述补救行动中的至少一者。

20.一种编码有指令的计算机可读存储介质，所述指令用于使得一个或多个可编程处理器执行由权利要求1至10中任一项所述的计算机网络管理系统执行的方法。