CN113812118A - 网络中的可扩展分层数据自动化 - Google Patents

网络中的可扩展分层数据自动化 Download PDF

Info

Publication number
CN113812118A
CN113812118A CN202080034830.XA CN202080034830A CN113812118A CN 113812118 A CN113812118 A CN 113812118A CN 202080034830 A CN202080034830 A CN 202080034830A CN 113812118 A CN113812118 A CN 113812118A
Authority
CN
China
Prior art keywords
data
network
centrally managed
network entities
entities
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080034830.XA
Other languages
English (en)
Inventor
罗伯特·E·巴顿
杰罗姆·亨利
托马斯·西盖蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cisco Technology Inc
Original Assignee
Cisco Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cisco Technology Inc filed Critical Cisco Technology Inc
Publication of CN113812118A publication Critical patent/CN113812118A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/044—Network management architectures or arrangements comprising hierarchical management structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0894—Policy-based network configuration management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0895—Configuration of virtualised networks or elements, e.g. virtualised network function or OpenFlow elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • H04L41/5012—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF] determining service availability, e.g. which services are available at a certain point in time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • H04L41/5048—Automatic or semi-automatic definitions, e.g. definition templates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5058—Service discovery by the service manager
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H04L43/067—Generation of reports using time frame reporting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/087—Jitter

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

描述了用于以可扩展分层方式在集中管理网络中部署数据服务的技术。一种示例方法通常包括生成集中管理网络的拓扑描述，该拓扑描述识别集中管理网络中的网络实体和网络中的网络实体之间的连接。可以根据集中管理网络的拓扑描述来生成用于集中管理网络的数据管理层次结构，并且数据管理层次结构可以识别网络实体，在集中管理网络中数据服务可以被部署在这些网络实体处。可以基于数据管理层次结构向所识别的网络实体部署数据服务和数据规则，并且可以通过所部署的数据服务来处理集中管理网络中的数据。

Description

网络中的可扩展分层数据自动化
相关申请的交叉引用
本申请要求于2019年6月6日提交的、并转让给其受让人的题为“网络中的可扩展分层数据自动化(Scalable Hierarchical Data Automation in a Network)”的美国临时专利申请序列号62/858,843的权益，该申请的内容通过引用以其整体并入本文。
技术领域
本公开中呈现的实施例通常涉及用于管理网络和管理这些网络的性能的数据分析系统。更具体而言，本文中公开的实施例涉及在网络中的各种网络实体上的数据服务的分层部署以将网络数据的处理卸载到网络中的各个网络实体以促进网络中的可扩展数据处理。
背景技术
网络通常可以由诸如路由器、交换机、接入点等之类的多种网络元件配置。在一些情况下，这些网络元件可以以分层方式组织，其中，软件定义网络(SDN)中的中央网络实体配设和管理网络中的其他网络实体。在配设和管理网络中的其他网络实体时，中央网络实体可以包括实时摄取和分析数据以促进网络管理和性能管理的各种分析工具。
SDN中的网络实体可以生成大量数据以供中央网络实体分析。由于SDN内生成的大量数据以及实时处理这些数据所需的计算能力，可以将中央网络实体限制为管理SDN中有限数量的端点设备(例如，台式电脑、膝上型电脑、移动电话、平板、服务器等)。然而，这种有限数量的端点设备可能少于在组织中部署的端点设备的数量。此外，随着物联网设备的问世，更多的设备可能成为SDN内的端点设备。例如，照明设备、传感器、加热、通风和空调(HVAC)设备、家用电器和其他连接的设备可能称为SDN中的端点。这些设备中的每一者都可以生成附加数据以供中央网络实体分析，这可能进一步加剧通过中央网络实体来管理网络的可扩展性问题，该中央网络实体具有管理SDN中有限数量的端点设备的能力。
附图说明
为了能够详细地理解本公开的上述特征的方式，可以通过参考实施例对以上简要概括的本公开进行更具体的描述，其中一些实施例在附图中示出。然而，应注意，附图示出了典型的实施例，因此不应将其视为限制性的；也应考虑其他等效实施例。
图1示出了根据一个实施例的网络。
图2示出了根据一个实施例的为网络生成并用于向网络中的网络实体分配和部署数据服务的分层数据分析层次结构。
图3示出了根据一个实施例的用于在网络内管理数据服务的部署的中央网络实体的示例中央分析引擎。
图4示出了根据一个实施例的具有由中央网络实体部署在其上的一个或多个数据服务的示例网络实体。
图5是根据本文中描述的实施例的概述用于发现网络拓扑并基于所发现的网络拓扑在网络内分配数据服务的一般操作的流程图。
图6是根据本文中描述的实施例的概述用于在网络内的网络实体处配置分布式数据服务的一般操作的流程图。
为了便于理解，在可能的情况下使用相同的附图标记来表示附图中共用的相同元件。预期在一个实施例中公开的元件可以有益地用在其他实施例中而无需具体陈述。
具体实施方式
概述
本发明的一些方面在独立权利要求中陈述并且优选特征在从属权利要求中陈述。一个方面的特征可以单独或与其他方面组合地应用于各个方面。
本文中描述的实施例提出了一种用于在集中管理网络中部署数据服务的方法。为了在集中管理网络中部署数据服务，可以生成集中管理网络的拓扑描述。拓扑描述可以识别集中管理网络中的网络实体以及集中管理网络中的网络实体之间的连接。可以根据集中管理网络的拓扑描述来生成用于集中管理网络的数据管理层次结构。数据管理层次结构可以识别网络实体中的一个或多个网络实体，在集中管理网络中数据服务可以被部署在一个或多个网络实体处。可以基于数据管理层次结构将数据服务和数据规则部署到所识别的一个或多个网络实体，并且可以通过所部署的数据服务在集中管理网络中处理数据。
示例实施例
一个或多个计算机的系统可以被配置为通过在系统上安装软件、固件、硬件或其组合来执行特定操作或动作，这些软件、固件、硬件或其组合在操作中使得或致使系统执行动作。一个或多个计算机程序可以被配置为通过包括指令来执行特定操作或动作，这些指令在由数据处理装置执行时使得该装置执行动作。一个一般方面包括一种用于基于网络的拓扑而在网络中分配数据服务，以在具有大量连接的端点设备的网络中提供可扩展的网络管理的方法。可以基于网络拓扑的数字孪生(digital twin)来执行在网络中的网络实体之间部署各种数据服务，该网络拓扑识别网络中可以部署诸如消息代理(message broker)、数据聚合器(data aggregator)、数据规范器(data normalizer)等之类的各种数据服务以利用在每个网络实体处可用的计算资源和由附接到每个网络实体的端点生成的数据的网络实体。网络中的中央网络实体和其他网络实体可以通过部署和配置的数据服务来处理数据。这一方面的其他实施例包括相应的计算机系统、装置和在一个或多个计算机存储设备上记录的计算机程序，每一者均被配置为执行方法的各个动作。
一般来说，通过配置网络以在网络中的多个网络实体之间分配数据处理服务，用于在网络内摄取和分析数据的处理开销可以在不同网络实体之间分配而非由单个网络实体(例如，中央网络实体)来执行。中央网络实体可以定期或不定期地从网络中的网络实体获得信息，并且使用所获得的信息来管理网络并管理网络的性能。中央网络实体获得的数据可以由网络中的其他网络实体进行预处理(例如，聚合、规范化、去重等)，以减少在中央网络实体处的处理开销并利用网络中的网络实体的处理能力。此外，可以在网络实体之间分配数据存储装置，从而允许在网络中的不同网络实体之间临时或永久地存储原始数据。
如上所述，软件定义网络通常包括管理网络中的其他网络实体的中央网络实体。在管理网络中的网络实体时，可能会实时生成和使用大量数据来识别网络内的问题(例如，性能下降、连接断开、恶意活动等)，并在网络内执行基于意图的动作(例如，允许或不允许与给定端点或在给定端点之间建立连接，限制网络内的威胁等)。由于软件定义网络包括以拓扑层次结构组织的各种网络实体，因此可以使用关于该层次结构中每个网络实体的位置的信息，以及关于每个网络实体的处理能力和其他操作属性的信息来识别在软件定义网络中可以部署各种服务的位置。网络实体可以充当时间序列数据的存储库(repository)、用于聚合和分析来自多个网络实体的数据的数据聚合器、用于在网络之间组织数据的数据规范器等，从而可以使用整个网络的计算资源而非网络内的单个实体(例如，中央网络实体，诸如集中网络管理器)的计算资源来执行各种数据分析操作。
图1示出了根据一个实施例的示例网络100。如图所示，网络100包括中央网络实体110和多个网络实体1201-1208。在一些示例中，网络实体1201-1208可以包括允许诸如各种端点设备之类的其他设备通过网络100中的一个或多个网络实体120连接到网络100的各种网络基础设施组件，诸如交换机、路由器、接入点等。
如图所示，中央网络实体110包括中央分析引擎112。中央分析引擎112通常发现网络100的拓扑并且使用所发现的网络100的拓扑将各种数据服务部署到网络中的网络实体110，以分配用于分析在网络100内生成的数据的数据处理操作以管理网络100。中央分析引擎112遍历网络以识别每个网络实体120和作为网络100的部件的端点设备，从而发现网络100的拓扑。例如，在图1中所示的网络中，中央网络实体110可以识别网络实体1201和1202连接到中央网络实体110。中央网络实体110随后可分别检查网络实体1201和1202，以识别连接到网络实体1201和1202的网络实体和端点。在网络100中，中央网络实体110可以因此确定网络实体1203和1204连接到网络实体1201并且网络实体1205和1206连接到网络实体1202。中央分析引擎112可以继续针对网络100中的其他网络实体检查每个发现的网络实体，直到中央网络实体110已经发现网络100中的每个网络实体120为止(例如，如图1中所示，直到发现网络实体1207和1208为止)。
使用所发现的网络100的拓扑，中央分析引擎112检查网络元件、连接的端点和来自端点的预期数据流，以生成用于网络100的分布式数据管理层次结构。分布式数据管理层次结构通常代表网络100中不同网络实体之间的关系以及网络100中每个网络实体120的硬件和软件能力。可以使用分布式数据管理层次结构来识别网络100中部署了各种数据服务的网络实体120，下面将对此进行更加详细的讨论。
在生成分布式数据管理层次结构时，中央分析引擎112识别网络100的各种属性，包括数据源的位置(例如，生成通常提供给网络数据平台的数据的网络元件)、网络中的自然数据聚合点、参与可能的东-西数据流的网络实体(即，横跨多个网络实体的虚拟网络内的通信)以及在每个网络实体120处可用的计算资源。数据聚合点的识别可以识别网络内可以是可以部署数据消息代理服务的网络实体的网络实体。可以使用关于在每个网络实体处可用的计算资源的信息来识别每个网络实体的能力，以托管诸如消息代理服务、时间序列数据库之类的各种服务，执行数据规范化、分析、学习或处理任务等。
例如，具有有限存储能力的小型交换机可能无法托管时间序列数据库，但是可能适于托管数据消息代理服务。在另一示例中，还可以使用关于每个网络实体120处的资源利用的信息来生成数据管理层次结构。可以假设在一致的基础上请求资源的场景中部署的网络实体120具有相对一致的可用资源量。因此，可以将在具有一致的可用资源量的网络实体120处的可用资源量内具有预期资源利用率的服务部署到该网络实体。然而，如果网络实体120具有高度可变的资源利用率，则中央分析引擎112可能无法假设网络实体120的可用资源在任何给定时间均超过峰值利用率期间可用的资源。因此，中央分析引擎112可以使用网络实体的峰值利用率来确定可以将哪些服务部署到网络实体120。
在一些实施例中，为了确定网络100内每个网络实体120的能力，中央分析引擎112可执行模拟以识别端点设备位于何处以及这些端点设备如何连接到网络100。模拟还可以包括在网络100的控制平面中模拟数据消息，以识别中央网络实体110正在发送以管理网络100的消息。这些消息不必是将由网络100中的端点设备生成的实际网络业务，而可以是描述网络100的结构和用于管理网络100执行的动作的数据消息。通过监视网络100的控制平面中的模拟数据消息，中央分析引擎可以确定网络100中不同组件之间的关系以及在网络100中用于标记在网络100内生成的数据的位置。
在一些实施例中，分布式数据管理层次结构可以定义灵活的分层结构，其中，与网络实体相对应的每个节点可以沿一系列可能的值进行可能的数据分配。一般来说，分布式数据管理层次结构可以将较高性能的网络实体120识别为可执行计算更昂贵的任务(诸如，复杂的数据规范化和数据标记)的实体。相比之下，较低性能的网络实体120(例如，具有有限计算资源或具有有限空余可用备用计算资源的网络实体)可以在分布式数据管理层次结构内被识别为能够执行计算较低廉的任务，诸如将收集的数据转发到被配置为聚合来自其他网络实体120的数据的较高性能的网络实体120以供处理。
在中央分析引擎112生成分布式数据管理层次结构之后，中央分析引擎112可将数据管理服务部署为在网络100内的一个或多个网络实体120上执行的服务122，并且基于分布式数据管理层次结构来协调服务122的执行。如上面所讨论的，部署在具有有限处理能力或有限过量计算资源的网络实体120上的服务122可以是可在这些网络实体120上执行而不会对这些网络实体120的性能产生不利影响的轻量级服务。例如，部署在具有有限处理能力的网络实体120上的服务122可以执行数据代理(或聚合)和消息传递功能。这些服务122可以聚合来自网络100中的各种其他网络实体120的数据并且将数据提供给另一网络实体120以供进一步处理。相比之下，部署在具有更巨大处理能力或过量计算资源的网络实体上的服务122可以对在网络100内生成的数据执行计算更昂贵或更复杂的操作(例如，数据规范化和数据去重、数据分析等)。
在一个示例中，考虑用于大规模并行处理的交换堆栈，其中n个交换机作为网络实体120。中央分析引擎112可以将n个网络实体120配置为充当在n个网络实体120之间展开的分布式数据库，其中一个网络实体1201充当主要节点而其他网络实体1202-120n充当从属节点，其中各种数据存储操作可以并行分配。在该部署中，可以将数据存储服务分配到无共享架构中的交换堆栈中。对分布式数据库的查询可以通过网络实体1201(例如，充当主要节点的网络实体)来处理并且路由到存储数据的从属节点(例如，网络实体1202-120n中的一者)。在一些实施例中，交换堆栈中的另一网络实体(交换机)可以被配置为备用主要交换机，该备用主要交换机在网络实体1201故障或以其他方式从交换堆栈中移除时可以从网络实体1201接管来处理对分布式数据库的查询。
在网络100中的网络实体120之间部署数据服务之后，中央分析引擎112可针对部署在网络实体120上的数据服务122来创建和部署数据摄取和规范化规则。可以部署数据摄取和规范化规则，使得部署在网络实体120上的数据服务122在将数据提供给中央分析引擎112以供分析之前，清理在网络实体120处生成和聚合的数据。为了在托管服务122的每个网络实体120处配置数据摄取和规范化，中央网络实体识别网络100内的数据源以及可聚合并处理来自这些数据源的数据以从数据集中移除冗余和/或噪音数据的点。在一些实施例中，部署在网络实体120上的数据服务122还可以被配置为生成摘要数据报告以传输到中央分析引擎112以供分析，同时保留在一个或多个局部时间序列数据库上生成这些摘要报告所依据的原始数据。可以存储原始数据，使得中央分析引擎112可以按需引用原始数据。
在一些实施例中，上下文感知数据图可以在每个网络实体120处创建并且可以与中央分析引擎112共享以组合为全局图。全局图通常包含多个层，其中每一层代表一种类型的数据流并且识别数据被聚合和处理的位置。在一些实施例中，数据的聚合可以在各种网络实体120之间进行分配，使得一些类型的数据在第一节点被聚合，而其他类型的数据在其他节点被聚合，以避免网络实体因数据聚合过程而饱和，这可能会累积地对这些网络实体的性能产生不利影响。
在一些实施例中，用于部署在网络实体120上的数据服务122的数据摄取和规范化规则的配置还可以包括将各种数据处理和分析操作分配到网络100中的网络实体120。例如，分布式数据管理层次结构可以识别如下网络实体120：包括可以用于各种机器学习操作的特定硬件组件(例如，图形处理单元、张量处理单元、现场可编程门阵列(FPGA)等)的网络实体120。如果网络100包括具有可用于执行各种机器学习或深度学习操作的此类硬件组件的网络实体120，则机器学习操作可以从云计算环境中的资源重新定向到集中管理网络100内的网络实体120。这些网络实体120可以被配置为对在网络100内生成的数据来执行各种机器学习或深度学习操作。例如，这些网络实体120可以被配置为学习例如网络100内的正常行为与异常行为之间的差异。网络实体120可以使用监督学习技术来学习正常行为与异常行为之间的差异，并且可以使用学习到的差异来识别由网络100内生成的数据表示的一种类型的异常行为，例如，恶意活动或非恶意业务峰值。
在另一示例中，服务122可以被配置为报告从网络100内生成的原始数据导出的信息。由于数据操作可以在网络100内的网络实体120之间分配以减少在中央网络实体110处执行的数据处理操作的量，因此服务122可以被配置为保留可以计算一些其他信息所依据的原始数据，并将计算出的信息(例如，周期性地或非周期性地)提供给中央分析引擎112。例如，考虑其中抖动(例如，分组延迟的变化)被测量和监视的语音或实时视频系统(例如，基于互联网协议的语音或VOIP)。一般来说，计算抖动需要将每个分组的实时协议(RTP)时间戳与前一个分组的时间戳进行比较，以生成表示不同分组之间的分组间延迟的值。抖动计算可能是计算密集型过程，这是因为在给定流中可能需要针对每个分组来维护状态信息并且可能逐个分组执行计算。例如，如果给定的语音呼叫使用每秒50个分组的速率，则每分钟可以计算3000个数据值。为了避免中央分析引擎112因原始数据而过载以及在网络100内生成大量的网络业务，服务122可以被配置为局部地监视和分析分组抖动，并且定期地将数据报告给中央分析引擎112。报告的数据可以包括例如在给定时间段内的分组抖动的最小值、最大值和中间值，这可以将针对抖动分析所生成的业务的量减少到周期性报告的三个数据点。
虽然服务122可以被配置为报告从网络100内生成的原始数据中导出或计算的信息，但是报告信息所依据的原始数据可能对进一步分析报告数据感兴趣。为了促进对原始数据的分析并允许中央分析引擎112在任何给定时间点查看关于网络100中的任何客户端的详细状态信息，可以将原始数据在一个或多个网络实体120处保留一些时间。中央分析引擎112可以按需访问原始数据，以促进例如对在网络100内发现的问题实时进行故障排除。然而，由于网络100内的网络实体120的存储限制(例如，托管网络实体120的不同计算设备或容器的存储限制)，因此可以将原始数据传输到中央存储库或数据湖以避免数据丢失。因此，每一个网络实体120可以被配置为，基于例如每个网络实体处的预期活动和在不丢失数据的情况下网络实体120可保留的数据量，将在网络实体120处捕获的原始数据上传到中央存储库或数据湖。可以配置从网络实体120到中央存储库或数据湖的数据上传，使得在网络实体120处数据上传与峰值网络负载不冲突。在网络实体120在非高峰时间之前没有足够的容量来保留原始数据的一些情况下，网络实体可以被配置为以更频繁的周期性间隔来上传原始数据。在一些实施例中，当网络实体120不太忙碌并且在网络实体正在为端点设备服务而被推迟时，可以执行上传。例如，考虑上面讨论的VOIP应用。由于在网络实体处可能接收到大量分组以用于VOIP呼叫，因此上传关于每个分组的原始数据可能会带来带宽开销，这可以会降低VOIP应用。为了最小化对在网络100内执行的应用的影响，本着减少对网络实体120和网络100的需求，可以在VOIP呼叫完成之后上传用于VOIP呼叫的原始数据。
一般来说，网络实体120可以被配置为基于多种因素来智能地上传原始数据。这些因素可包括但不限于中央分析引擎112是否已请求数据、网络实体120处的当前存储器和存储装置利用率、网络实体120处的当前处理器利用率、网络100内的带宽可用性等。
在一些实施例中，中央分析引擎112可以周期性或非周期性地更新所发现的网络100的拓扑和分布式数据管理层次结构以识别网络100的变化，例如，新网络实体120的添加或现有网络实体120的移除、现有网络实体120的资源可用性的变化等。基于所发现的变化，中央分析引擎112可基于更新的分布式数据管理层次结构在网络100中的不同网络实体120之间重新分配数据服务。通过基于更新的分布式数据管理层次结构而周期性或非周期性地重新分布数据服务，中央网络实体110可捕获由网络100中的新添加的网络实体120生成的数据，并将各种计算昂贵的任务的执行分配到具有足够可用计算资源的网络实体120并远离具有不足计算资源或间歇性具有足够计算资源的网络实体120。
图2示出了根据一个实施例的从图1所示的网络100的拓扑生成的示例分布式数据管理层次结构200。如图所示，分布式数据管理层次结构200包括中央网络实体消息代理210、多个消息代理220和多个时间序列数据库230。
中央网络实体消息代理210通常代表位于分布式数据管理层次结构200的根部处的数据服务并且与可以部署在中央网络实体110上以聚合来自网络100中的每一个网络实体120的数据的数据服务相对应。在一些实施例中，中央网络实体消息代理210还可以被配置为周期性或非周期性地从部署在网络100内的网络实体120上的一个或多个消息代理220来接收汇总数据并对汇总数据执行各种分析。如果中央网络实体消息代理210确定汇总数据指示在网络100内存在需要进一步调查的情况，则中央网络实体消息代理210可以使用从每个网络实体120的局部数据图生成的全局数据图来识别在调查网络中的情况时感兴趣信息的存储位置。当中央网络实体消息代理210识别出感兴趣信息的存储位置(例如，存储信息的特定网络实体120)时，中央网络实体消息代理210可查询与识别的位置相关联的时间序列数据库230，以获得原始网络数据以供进一步分析。
多个消息代理220中的每一者可以代表部署在网络100内的各种网络实体120处的数据服务。这些消息代理220可以公开如下数据聚合、规范化和处理服务：基于在每个网络实体120处可用的计算资源和所识别的可以聚合数据的位置而配置的、根据由中央网络实体110生成的网络100的拓扑而确定的数据聚合、规范化和处理服务。一般来说，位于一些节点处的消息代理220可以代表被配置为聚合从各种其他网络实体接收的原始数据并将所收集的原始数据转发到分布式层次结构中的上游消息代理以供进一步处理的服务。部署在具有更巨大计算资源的网络实体120(例如，更强大的处理器、额外的随机存取存储器或存储空间，和/或可在上面部署和执行机器学习操作的专用硬件)上的消息代理可以执行更复杂的、计算昂贵的过程。例如，部署在具有更巨大计算资源的网络实体120上的消息代理可以实时执行各种计算(例如，上述VOIP分组抖动计算)、数据去重等。
时间序列数据库230通常代表其中可以存储时间序列信息以供中央分析引擎112进行检索的数据存储装置。如所讨论的，时间序列数据库230可以部署在具有足够量的随机存取存储器和存储空间以存储一定量的原始数据的网络实体上，并且以高性能的方式响应对来自中央分析引擎112的原始数据的请求。在一些实施例中，时间序列数据库230还可以被配置为周期性地或滚动地刷新存储在时间序列数据库中的数据。可以将数据从时间序列数据库230中刷新并提交到中央网络实体110处的数据存储装置，从而可以使原始数据可用于将来的进一步调查。如所讨论的，时间序列数据库230可以根据考虑到网络实体120处的峰值业务负载时间的排程、在任何给定时间在网络实体120处可用的计算资源的量等来刷新。基于托管时间序列数据库的每个网络实体120的这些属性，可以在峰值负载时间之外的时间处将来自时间序列数据库230的数据提交到集中式数据存储装置或数据湖，并且可以根据使丢失由任何给定网络实体120生成的原始数据的风险最小化的排程来提交来自时间序列数据库230的数据。
如图所示，数据管理层次结构200包括在中央网络实体消息代理210下方的第一层消息代理(例如，消息代理2201和2202)。消息代理2201和2202可以聚合从位于数据管理层次结构200中的在第一层消息代理下方的层中的消息代理220接收的数据。因此，如图2中所示，消息代理2201可以聚合并处理从消息代理2203和2204接收的数据，而消息代理2202可以聚合并处理从消息代理2205和2206接收的数据。
如图所示，消息代理2203、2204、2205和2206中的每一者均可以连接到时间序列数据库230。如所讨论的，时间序列数据库230可以代表原始网络数据可以被存储并且可用于中央网络实体消息代理210以供分析的位置。存储在每个时间序列数据库230中的数据可以包括由网络100内的各种网络实体120生成并由与特定时间序列数据库相关联的特定消息代理220聚合的数据。时间序列数据库230的内容可以由中央网络实体消息代理210查询，并且时间序列数据库230的内容可以根据如下排程而被上传到中央数据存储库或数据湖：允许托管时间序列数据库230的每个网络实体120将原始数据上传到中央数据存储库而不丢失存储在时间序列数据库230中的数据(例如，由于覆盖时间序列数据库230内的旧数据记录)的排程。
图3示出了根据一个实施例的示例中央分析引擎112，该中央分析引擎112可以发现网络100的网络拓扑，根据所发现的网络100来生成分布式数据管理层次结构，并且基于所生成的分布式数据管理层次结构将数据服务部署到网络100内的网络实体120。如图所示，中央分析引擎112包括经由总线330连接的处理资源300、存储器310和存储装置320。
存储器310通常包括网络拓扑发现服务312、服务部署器314和顶级消息代理316。网络拓扑发现服务312通常被配置为发现网络100中的网络实体(例如，路由器、交换机、接入点等)以及连接到网络100的端点设备。基于所发现的网络拓扑，网络拓扑发现服务312可以生成分布式数据管理层次结构，该分布式数据管理层次结构识别网络100内的数据聚合点和网络中的每个网络实体120处的可用资源。如上面所讨论的，关于网络实体120处的可用资源的信息可用于确定可以将哪些服务部署到网络100内的网络实体120，从而将计算简单的服务部署到具有有限处理能力或有限过量计算资源的网络实体120并且将计算昂贵的服务部署到具有更巨大处理能力或更多过量计算资源的网络实体120。在一些实施例中，与网络100中的网络实体120处的可用资源有关的信息还可以包括与在可以用于高度复杂操作(例如，训练机器学习模型以识别网络100内的异常和非异常活动)的网络实体120处是否存在专用硬件(例如，图形处理单元、张量处理单元、现场可编程门阵列等)有关的信息。
服务部署器314通常使用分布式数据管理层次结构来在网络100内的各种网络实体120处部署和配置数据服务。被识别为网络100内的数据聚合点的网络实体120可以由服务部署器314配置，以托管数据聚合服务和数据存储服务，在数据存储服务中，来自一个或多个其他网络实体和/或端点设备的原始数据被存储。其他网络实体120(例如，在分布式数据管理层次结构中被识别为具有更巨大处理能力或过量计算资源的网络实体的网络实体)可以由服务部署器314配置，以托管执行诸如数据规范化、数据去重、实时数据分析等之类的计算更昂贵的任务的服务。在一些实施例中，服务部署器314还可以向网络100中的网络实体120部署数据摄取和规范化规则，以识别托管服务122的每个网络实体120将要向其他网络实体120和/或中央网络实体110报告的数据。数据摄取和规范化规则还可以识别可以将原始数据从局部时间序列数据库卸载到中央数据存储装置或数据湖的排程。
在一些实施例中，服务部署器314可以另外向中央分析引擎112部署顶级消息代理316。顶级消息代理316可以被配置为聚合来自被部署到网络100中的网络实体120的各种服务122的数据并且分析所聚合的数据以管理网络100。当顶级消息代理316识别出由所部署的服务122报告的数据中的异常时，顶级消息代理316可以从适当的服务122请求原始数据以进行进一步的详细分析。
存储装置320通常包括中央数据存储库322和全局数据图324。中央数据存储库322通常提供持久性数据存储，其中可以存储由网络实体120报告的原始数据以供未来分析。可以根据为每个网络实体120确定的上传排程，使用新捕获的原始数据来周期性地更新中央数据存储库322，该排程是基于以下项的：用于数据上传操作的预期资源利用率、每个网络实体120可以存储的数据量、每个网络实体120处的峰值资源利用时间等。全局数据图324通常代表为每个网络实体120生成的融合的数据图，该数据图识别数据流和可以存储用于任何给定网络操作的原始数据的位置。当顶级消息代理316从网络实体120接收摘要数据并识别网络中的异常(例如，异常业务、性能下降等)时，顶级消息代理316可以使用全局数据图来识别与接收到的汇总数据相关联的原始数据所处的位置并从所识别的位置查询原始数据。
图4示出了根据一个实施例的示例网络实体120，在该示例网络实体120上可以以分布式数据管理层次结构的方式来部署数据服务。如图所示，网络实体120包括经由总线430连接的处理资源400、存储器410和存储装置420。
存储器410通常包括数据流规范化服务412和数据上传器414。数据流规范化服务412通常代表部署到网络实体120的服务和数据处理规则，用于处理在网络100内生成的数据并向中央网络实体110提供信息以供进一步分析。由任何给定数据流规范化服务412执行的操作可以基于网络实体处的可用计算资源而不同。如所讨论的，部署在具有更巨大计算资源的网络实体120上的数据流规范化服务412可以执行计算更昂贵的操作，例如，实时数据处理、数据去重和其他用于降低网络100内收集的数据中的噪音的操作。同时，部署在具有较小计算资源的网络实体120上的数据流规范化服务412可以执行计算较低廉的操作，例如，将来自多个网络实体120的数据聚合为单个数据集，该单个数据集可提供给其他网络实体120以供分析。
数据上传器414通常根据基于在网络实体120处可用的资源而确定的排程，从分布式时间序列数据存储装置422上传所捕获的原始数据。一般来说，数据上传器414可以以在避免网络实体120处的性能下降的同时允许网络实体120连续地记录与网络100有关的数据的方式，将所捕获的原始数据上传到中央数据存储装置或数据湖。例如，数据上传器414可以被配置为在网络实体120正在服务于相对少的设备的非高峰时间期间上传数据。在另一示例中，当网络实体120在非高峰时间之前可能不具有足够的存储容量来存储原始数据时，数据上传器414可以被配置为在指定的活动已经终止之后使用更短的时段来上传数据等。
存储装置420通常包括分布式时间序列数据存储装置422和局部数据图424。分布式时间序列数据存储装置422通常代表数据存储库，例如，数据库、日志文件、平面文件存储装置或可以存储数据的其他区域，其中，与在网络100内执行的操作有关的信息被临时地存储，直到此类数据被数据上传器414上传到中央数据存储库或数据湖为止。分布式时间序列数据存储装置422可以被中央网络实体110访问并且可以根据请求向中央网络实体110提供所请求的数据。
局部数据图424通常代表识别在网络实体120处聚合的数据、可以存储此类数据的位置以及追溯此类数据的网络实体的数据结构。当网络实体120被配置为作为分布式数据管理层次结构的一部分来执行服务412时，可以生成局部数据图424以向中央网络实体120标识在网络实体120处聚合或由网络实体120处理的数据。可以将局部数据图424提供给中央网络实体110以与其他局部数据图进行融合，从而融合的数据图提供了对在网络100中捕获和聚合的数据、捕获和聚合数据的位置等的完整识别。
图5示出了根据实施例的可以由中央网络实体(例如，图1中所示的中央网络实体110)执行以在网络中部署可扩展分层数据自动化服务的示例操作。如图所示，操作500可以在块510处进入，在块510处，中央网络实体发现集中管理网络的网络拓扑。网络拓扑通常识别网络中的网络实体以及集中管理网络中的网络实体之间的连接。
在块520处，中央网络实体根据集中管理网络的网络拓扑来生成集中管理网络的数据管理层次结构。数据管理层次结构通常定义集中管理网络中的数据源和数据聚合点。数据源可以被定义为可以生成并潜在地存储与网络100内的操作有关的信息的网络实体120。数据聚合点可以代表网络100内的来自多个数据源的数据可以被组合并且在一些情况下可以被分析的位置，其中所得分析结果被提供给中央网络实体以供进一步分析。在一些实施例中，可以基于网络100中的每个网络实体120处可用的计算资源来生成数据管理层次结构。例如，基于将网络实体识别为具有有限计算资源或有限可用计算资源的网络实体，数据管理层次结构可以将网络实体识别为数据可以被聚合并且数据可以被移交给其他网络实体以供分析的位置。类似地，基于将网络实体识别为具有更巨大计算资源的网络实体，数据管理层次结构可以将该网络实体识别为可以执行计算更昂贵的数据处理操作的位置。
在块530处，基于所生成的数据管理层次结构，中央网络实体部署数据服务以用于将数据摄取和规范化到集中管理网络中的网络实体。在一些实施例中，将数据服务部署到网络实体可以包括针对在上面部署服务的每个网络实体来配置各种数据摄取和处理规则。这些数据摄取和处理规则可以指示例如将记录或保留哪些数据以供进一步分析、将如何对数据进行去重(例如，可以保留哪些重复数据以及可以丢弃哪些重复数据)、将由部署在网络实体120上的服务向中央网络实体报告的数据的类型等。
在块540处，中央网络实体通过所部署的数据服务来处理集中管理网络中的数据。在一些实施例中，中央网络实体可以充当其中来自各种网络实体的数据被聚合和分析的顶级数据代理。基于分析，中央网络实体可识别网络100内的潜在问题并且从一个或多个网络实体请求进一步信息以分析这些潜在问题，识别问题出现时的网络状态，以及采取行动来纠正从存储在网络内的数据中识别出的网络中的任何问题。
图6示出了根据实施例的可以由中央网络实体执行以配置在网络中部署可扩展分层数据自动化服务时部署到网络实体的服务的示例操作。如图所示，操作600可以在块610处进入，在块610处，中央网络实体识别要部署到集中管理网络中的网络实体的数据服务。基于从集中管理网络的拓扑生成的数据管理层次结构，可以识别要部署的数据服务。例如，如上面所讨论的，可以基于将网络实体识别为来自一个或多个其他网络实体的数据可以被聚合和/或处理的位置的数据管理层次结构中的信息，来识别部署到给定网络实体的数据服务。
在块620处，中央网络实体针对网络实体生成局部数据图。局部数据图可以识别在网络实体处聚合的数据以及由网络实体生成以供其他网络实体聚合的数据。在一些实施例中，局部数据图可以识别在网络实体处聚合的数据的来源以及数据可以被存储以供未来分析的位置。
在块630处，对于要由网络实体向中央网络实体报告的数据，中央网络实体确定要在网络实体处应用以生成要报告的数据的数据处理规则。规则可以识别例如要由网络实体计算和报告的数据类型、报告生成数据的周期等。在一些实施例中，规则还可以识别例如网络实体用于生成由中央网络实体报告的数据的原始数据的数据上传和保留策略以及可能合适的其他规则。
在块640处，中央网络实体激活数据服务。在激活数据服务时，中央网络实体可以根据局部数据图和所确定的数据处理规则，来激活数据聚合和生成服务并且将数据提供到其他网络实体。
在上文中，参考了在本公开中提出的实施例。然而，本公开的范围不限于具体描述的实施例。相反，无论是否与不同的实施例相关，可以想到所描述的特征和元件的任何组合来实现和实践预期的实施例。此外，虽然本文中所公开的实施例可以达到优于其他可能的解决方案或现有技术的优势，但是无论特定优势是否由给定实施例实现，都不限制本公开的范围。因此，前述方面、特征、实施例和优势仅是说明性的并且不被认为是所附权利要求的要素或限制，除非在(一个或多个)权利要求中明确叙述。
如上所述，包括关于图3和图4，可以包括各种计算组件来执行本文中描述的方法。例如，总线350和450代表多种类型的总线结构中的一种或多种，包括存储器总线或存储器控制器、外围设备总线、加速图形端口和处理器或使用多种总线架构中的任何一者的本地总线。在一些示例中，此类架构可以包括工业标准架构(ISA)总线、微通道架构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)本地总线和外围组件互连(PCI)总线。
此外，中央网络实体110和网络实体120通常包括各种计算机系统可读介质。此类介质可以是可由中央网络实体110和/或网络实体120访问的任何可用介质，并且它包括易失性和非易失性介质、可移动和不可移动介质。
图3中所示的存储器310和图4中所示的存储器410可以包括易失性存储器形式的计算机系统可读介质，例如，随机存取存储器(RAM)和/或缓存存储器。中央网络实体110和网络实体120还可以包括其他可移动/不可移动的易失性/非易失性计算机系统存储介质。在一些示例中，可以提供用于从不可移动的非易失性磁介质(未示出并且通常称为“硬盘驱动器”)读取和对该不可移动的非易失性磁介质进行写入的存储系统。虽然未示出，但是可以提供用于从可移动的非易失性磁盘(例如，“软盘”)读取和对该可移动的非易失性磁盘进行写入的磁盘驱动器以及用于从可移动的非易失性光盘(例如，CD-ROM、DVD-ROM或其他光学介质)读取或对该可移动的非易失性光盘进行写入的光盘驱动器。在该情况下，每一者均可以通过一个或多个数据介质接口连接到总线350或总线450。
如上文所描绘和描述的，图3中所示的存储器310和图4中所示的存储器410可以包括至少一个程序产品，该程序产品具有一组(例如，至少一个)被配置为执行本发明的实施例的功能的程序模块。中央网络实体110和网络实体120还可以包括其他可移动/不可移动的易失性/非易失性计算机系统存储介质。在一些示例中，可以包括存储系统作为存储器310和存储器410的一部分并且通常可以为联网计算设备提供非易失性存储器，并且可以包括一个或多个不同的存储元件，例如闪存、硬盘驱动器、固态驱动器、光学存储设备和/或磁性存储设备。
综上，描述了用于以可扩展分层方式在集中管理网络中部署数据服务的技术。示例方法通常包括生成集中管理网络的拓扑描述，该拓扑描述识别集中管理网络中的网络实体以及网络中的网络实体之间的连接。可以根据集中管理网络的拓扑描述来生成用于集中管理网络的数据管理层次结构，并且数据管理层次结构可以识别网络实体，在集中管理网络中数据服务可以被部署在这些网络实体处。可以基于数据管理层次结构将数据服务和数据规则部署到所识别的网络实体，并且可以通过所部署的数据服务在集中管理网络中处理数据。
在本公开中，参考了各种实施例。然而，本公开的范围不限于具体描述的实施例。相反，所描述的特征和元件的任何组合，无论是否与不同的实施例相关，都被预期用于实现和实践所预期的实施例。此外，当以“A和B中的至少一者”的形式来描述实施例的元件时，应理解为分别考虑排他地包括元件A、排他地包括元件B以及包括元件A和元件B的实施例。此外，虽然本文中公开的一些实施例可以实现优于其他可能的解决方案或优于现有技术的优势，但是无论特定优势是否由给定实施例实现，都不限制本公开的范围。因此，本文中公开的方面、特征、实施例和优势仅是说明性的并且不被认为是所附权利要求的要素或限制，除非在(一个或多个)权利要求中明确叙述。同样，对“本发明”的引用不应被解释为对本文中公开的任何发明主题的概括，并且不应被认为是所附权利要求的要素或限制，除非在(一个或多个)权利要求中明确叙述。
如本领域技术人员应理解的，本文中公开的实施例可以实施为系统、方法或计算机程序产品。因此，实施例可以采用完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或结合软件和硬件方面的实施例的形式，在本文中通常可以统称为“电路”、“模块”或“系统”。此外，实施例可以采用包含在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质上包含有计算机可读程序代码。
可以使用任何合适的介质来传输计算机可读介质上包含的程序代码，该介质包括但不限于无线、有线、光纤电缆、RF等，或者前述项的任何合适组合。
可以以一种或多种编程语言的任意组合来编写用于执行本公开的实施例的操作的计算机程序代码，上述编程语言包括诸如Java、Smalltalk、C++等之类的面向对象的编程语言和诸如“C”编程语言或类似的编程语言之类的常规过程编程语言。程序代码可以完全地在用户的计算机上、部分地在用户的计算机上、作为独立软件包、部分地在用户的计算机上且部分地在远程计算机上或完全地在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过包括局域网(LAN)或广域网(WAN)的任何类型的网络连接到用户的计算机，或者可以(例如，使用互联网服务供应商通过互联网)连接到外部计算机。
本文参考根据本公开提出的实施例的方法的流程图和/或框图、装置(系统)和计算机程序产品描述了本公开的各方面。应当理解，流程图和/或框图的每个块以及流程图和/或框图中的块的组合可以由计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以生产机器，使得通过计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的(一个或多个)块中指定的功能/行为的方法。
这些计算机程序指令还可以存储在计算机可读介质中，该计算机可读介质可以指示计算机、其他可编程数据处理装置或其他设备以特定方式运行，使得存储在计算机可读介质中的指令产生包括实现在流程图和/或框图的(一个或多个)块中指定的功能/行为的指令的制品。
还可以将计算机程序指令加载到计算机、其他可编程数据处理装置或其他设备上，以使在计算机、其他可编程装置或其他设备上执行的一系列操作步骤产生计算机实现过程，使得在计算机、其他可编程数据处理装置或其他设备上执行的指令提供用于实现在流程图和/或框图的(一个或多个)块中指定的功能/动作的过程。
图中的流程图和框图示出了根据各种实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。在这一方面，流程图或框图中的每个块可以代表包括用于实现指定的(一个或多个)逻辑功能的一个或多个可执行指令的模块、分段或代码的一部分。还应注意，在一些替代实现方式中，块中标注的功能可以不按照图中标注的顺序发生。例如，取决于所涉及的功能，实际上可以基本上同时执行连续示出的两个块，或者有时可以以相反的顺序执行这些块。还应注意，框图和/或流程图的每个块以及框图和/或流程图中的块的组合可由执行指定功能或动作的基于专用硬件的系统来实现，或由专用硬件和计算机指令的组合来实现。
鉴于以上描述，本公开的范围由所附权利要求确定。

Claims (23)

1.一种用于在集中管理网络中部署数据服务的方法，包括：
生成所述集中管理网络的拓扑描述，所述拓扑描述识别所述集中管理网络中的网络实体和所述集中管理网络中的所述网络实体之间的连接；
根据所述集中管理网络的所述拓扑描述，生成用于所述集中管理网络的数据管理层次结构，其中，所述数据管理层次结构识别所述网络实体中的一个或多个网络实体，在所述集中管理网络中数据服务能够被部署在所述一个或多个网络实体处；
基于所述数据管理层次结构，向所识别的一个或多个网络实体部署数据服务和数据规则；以及
通过所部署的数据服务，处理所述集中管理网络中的数据。
2.根据权利要求1所述的方法，其中，所述数据管理层次结构包括识别所述集中管理网络中能够被部署数据服务的网络实体中的每一个网络实体处可用的计算资源的层次结构，并且其中，向所识别的网络实体部署数据服务包括向所述网络实体中具有有限计算资源的一个或多个网络实体部署计算低廉的服务以及向具有较少限制的计算资源的网络实体部署计算昂贵的服务。
3.根据权利要求1或2所述的方法，其中，所述数据管理层次结构基于所识别的一个或多个网络实体处的处理负载模式，识别所述集中管理网络中能够被部署数据服务的网络实体。
4.根据权利要求1至3中任一项所述的方法，其中，所部署的数据服务中的至少一者包括数据规范化服务，所述数据规范化服务被配置为聚合来自所述集中管理网络中的多个网络实体的数据并且从所聚合的数据中移除重复数据。
5.根据权利要求1至4中任一项所述的方法，其中，所部署的数据服务中的至少一者包括在所述网络实体中的第一网络实体上执行的数据分析服务，所述数据分析服务被配置为根据所聚合的数据集来生成汇总数据并且将所生成的汇总数据提供给中央网络实体，并且其中，所聚合的数据集被存储在位于该网络实体处的时间序列数据库中。
6.根据权利要求1至5中任一项所述的方法，还包括：
监视所述集中管理网络中的所述网络实体的资源可用性变化；以及
基于监视到的资源可用性变化，在所述集中管理网络中的所述网络实体之间重新分配数据服务。
7.根据权利要求1至6中任一项所述的方法，其中，向所识别的网络实体部署所述数据服务和所述数据规则包括为每一个所识别的网络实体生成局部数据图，所述局部数据图描述在每一个所识别的网络实体处聚合的数据以及由每一个所识别的网络实体生成以供所述集中管理网络中的其他网络实体使用的数据。
8.根据权利要求7所述的方法，还包括：
基于为每一个所识别的网络实体生成的所述局部数据图的聚合，生成全局数据图。
9.根据权利要求8所述的方法，其中，处理所述集中管理网络中的数据包括：
基于向中央网络实体报告的数据，识别要从部署在所述集中管理网络中的一个或多个网络实体处的时间序列数据库中检索的一个或多个数据集；以及
基于在所述全局数据图中对存储所述一个或多个数据集的一个或多个网络实体的识别，检索所述一个或多个数据集。
10.根据权利要求1至9中任一项所述的方法，其中，所述数据规则包括标识排程的规则，原始数据将按照所述排程从部署有时间序列数据库服务的多个网络实体上传，所述排程是基于以下项中的一项或多项的：所述多个网络实体处的一个或多个峰值资源利用率和能够存储在所述多个网络实体中的每一者处的数据的量。
11.根据权利要求1至10中任一项所述的方法，其中：
所述集中管理网络包括分布式网络交换机堆栈中的一组交换机；
该组交换机中的一个交换机被指定为主要交换机；以及
将数据服务和数据规则部署到所识别的网络实体包括：在该组交换机中除了所指定的主要交换机之外的多个交换机之间分配数据库服务。
12.一种系统，包括：
处理器；以及
存储器，所述存储器上存储有指令，所述指令当在所述处理器上执行时，执行用于在集中管理网络中部署数据服务的操作，所述操作包括：
生成所述集中管理网络的拓扑描述，所述拓扑描述识别所述集中管理网络中的网络实体和所述集中管理网络中的所述网络实体之间的连接；
根据所述集中管理网络的所述拓扑描述，生成用于所述集中管理网络的数据管理层次结构，其中，所述数据管理层次结构识别所述网络实体中的一个或多个网络实体，在所述集中管理网络中数据服务能够被部署在所述一个或多个网络实体处；
基于所述数据管理层次结构，向所识别的一个或多个网络实体部署数据服务和数据规则；以及
通过所部署的数据服务，处理所述集中管理网络中的数据。
13.根据权利要求12所述的系统，其中，所述数据管理层次结构包括识别所述集中管理网络中能够被部署数据服务的网络实体中的每一个网络实体处可用的计算资源的层次结构，并且其中，向所识别的网络实体部署数据服务包括向所述网络实体中具有有限计算资源的一个或多个网络实体部署计算低廉的服务以及向具有较少限制的计算资源的网络实体部署计算昂贵的服务。
14.根据权利要求12或13所述的系统，其中，所述数据管理层次结构基于所识别的一个或多个网络实体处的处理负载模式，识别所述集中管理网络中能够被部署数据服务的网络实体。
15.根据权利要求12至14中任一项所述的系统，其中，所述操作还包括：
监视所述集中管理网络中的所述网络实体的资源可用性变化；以及
基于监视到的资源可用性变化，在所述集中管理网络中的所述网络实体之间重新分配数据服务。
16.根据权利要求12至15中任一项所述的系统，其中，向所识别的网络实体部署所述数据服务和所述数据规则包括为每一个所识别的网络实体生成局部数据图，所述局部数据图描述在每一个所识别的网络实体处聚合的数据以及由每一个所识别的网络实体生成以供所述集中管理网络中的其他网络实体使用的数据。
17.根据权利要求16所述的系统，其中，所述操作还包括：
基于为每一个所识别的网络实体生成的所述局部数据图的聚合，生成全局数据图。
18.根据权利要求17所述的系统，其中，处理所述集中管理网络中的数据包括：
基于向中央网络实体报告的数据，识别要从部署在所述集中管理网络中的一个或多个网络实体处的时间序列数据库中检索的一个或多个数据集；以及
基于在所述全局数据图中对存储所述一个或多个数据集的一个或多个网络实体的识别，检索所述一个或多个数据集。
19.根据权利要求12至18中任一项所述的系统，其中，所述数据规则包括标识排程的规则，原始数据将按照所述排程从部署有时间序列数据库服务的多个网络实体上传，所述排程是基于以下项中的一项或多项的：所述多个网络实体处的一个或多个峰值资源利用率和能够存储在所述多个网络实体中的每一者处的数据的量。
20.一种计算机可读介质，所述计算机可读介质上存储有指令，所述指令在由处理器执行时，执行用于在集中管理网络中部署数据服务的操作，所述操作包括：
生成所述集中管理网络的拓扑描述，所述拓扑描述识别所述集中管理网络中的网络实体和所述集中管理网络中的所述网络实体之间的连接；
根据所述集中管理网络的所述拓扑描述，生成用于所述集中管理网络的数据管理层次结构，其中，所述数据管理层次结构识别所述网络实体中的一个或多个网络实体，在所述集中管理网络中数据服务能够被部署在所述一个或多个网络实体处；
基于所述数据管理层次结构，向所识别的一个或多个网络实体部署数据服务和数据规则；以及
通过所部署的数据服务，处理所述集中管理网络中的数据。
21.一种用于在集中管理网络中部署数据服务的装置，包括：
用于生成所述集中管理网络的拓扑描述的设备，所述拓扑描述识别所述集中管理网络中的网络实体和所述集中管理网络中的所述网络实体之间的连接；
用于根据所述集中管理网络的所述拓扑描述，生成用于所述集中管理网络的数据管理层次结构的设备，其中，所述数据管理层次结构识别所述网络实体中的一个或多个网络实体，在所述集中管理网络中数据服务能够被部署在所述一个或多个网络实体处；
用于基于所述数据管理层次结构，向所识别的一个或多个网络实体部署数据服务和数据规则的设备；以及
用于通过所部署的数据服务，处理所述集中管理网络中的数据的设备。
22.根据权利要求21所述的装置，还包括用于实现根据权利要求2至11中任一项所述的方法的设备。
23.一种计算机程序、计算机程序产品或计算机可读介质，包括指令，所述指令在由计算机执行时，使得所述计算机执行根据权利要求1至11中任一项所述的方法的步骤。
CN202080034830.XA 2019-06-07 2020-06-05 网络中的可扩展分层数据自动化 Pending CN113812118A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962858843P 2019-06-07 2019-06-07
US62/858,843 2019-06-07
US16/516,177 2019-07-18
US16/516,177 US11171844B2 (en) 2019-06-07 2019-07-18 Scalable hierarchical data automation in a network
PCT/US2020/036259 WO2020247713A1 (en) 2019-06-07 2020-06-05 Scalable hierarchical data automation in a network

Publications (1)

Publication Number Publication Date
CN113812118A true CN113812118A (zh) 2021-12-17

Family

ID=73650947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080034830.XA Pending CN113812118A (zh) 2019-06-07 2020-06-05 网络中的可扩展分层数据自动化

Country Status (4)

Country Link
US (1) US11171844B2 (zh)
EP (1) EP3981113A1 (zh)
CN (1) CN113812118A (zh)
WO (1) WO2020247713A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021174104A1 (en) 2020-02-28 2021-09-02 Clumio, Inc. Modification of data in a time-series data lake
JP7153942B2 (ja) * 2020-08-17 2022-10-17 ラトナ株式会社 情報処理装置、方法、コンピュータプログラム、及び、記録媒体
EP4099633A1 (en) * 2021-06-01 2022-12-07 Siemens Aktiengesellschaft Automated application service detection for configuring industrial networks

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1340767A (zh) * 2000-09-01 2002-03-20 国际商业机器公司 在数据网络中进行服务部署的方法
CN104426766A (zh) * 2013-08-30 2015-03-18 瞻博网络公司 跨多个网络层的动态端到端网络路径建立
CN105164975A (zh) * 2013-04-10 2015-12-16 华为技术有限公司 用于控制平面参考模型框架的系统和方法
CN106537843A (zh) * 2014-06-13 2017-03-22 康维达无线有限责任公司 自动化服务简档描述和编排
US20170257308A1 (en) * 2016-03-01 2017-09-07 International Business Machines Corporation Link aggregation management with respect to a shared pool of configurable computing resources
CN109412828A (zh) * 2017-08-18 2019-03-01 上海诺基亚贝尔股份有限公司 用于软件定义网络中的网络拓扑发现的方法、设备和系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1185029B1 (en) 2000-09-01 2010-09-29 International Business Machines Corporation Service deployment in data networks
US20020133504A1 (en) * 2000-10-27 2002-09-19 Harry Vlahos Integrating heterogeneous data and tools
US20060023642A1 (en) * 2004-07-08 2006-02-02 Steve Roskowski Data collection associated with components and services of a wireless communication network
US7590653B2 (en) * 2005-03-02 2009-09-15 Cassatt Corporation Automated discovery and inventory of nodes within an autonomic distributed computing system
US9054942B1 (en) * 2007-12-20 2015-06-09 Amazon Technologies, Inc. Monitoring of services
US8498300B2 (en) * 2010-03-31 2013-07-30 Brocade Communications Systems, Inc. Ingress and egress switch which determines services related to an incoming packet
US8645529B2 (en) * 2010-10-06 2014-02-04 Infosys Limited Automated service level management of applications in cloud computing environment
US20130064066A1 (en) * 2011-09-12 2013-03-14 International Business Machines Corporation Updating a switch software image in a distributed fabric protocol (dfp) switching network
US20130254417A1 (en) * 2012-03-21 2013-09-26 Jason Nicholls System method device for streaming video
US9582221B2 (en) 2012-08-24 2017-02-28 Vmware, Inc. Virtualization-aware data locality in distributed data processing
US9378068B2 (en) 2013-03-13 2016-06-28 International Business Machines Corporation Load balancing for a virtual networking system
US10044549B2 (en) * 2015-01-27 2018-08-07 Moogsoft, Inc. Distribued system for self updating agents and analytics
US9485197B2 (en) 2014-01-15 2016-11-01 Cisco Technology, Inc. Task scheduling using virtual clusters
AU2015296248B2 (en) 2014-07-30 2018-01-18 Forward Networks, Inc. Systems and methods for network management
US10469342B2 (en) * 2014-10-10 2019-11-05 Nicira, Inc. Logical network traffic analysis
US9509574B2 (en) * 2015-04-03 2016-11-29 Illumio, Inc. End-to-end policy enforcement in the presence of a traffic midpoint device
US11683234B2 (en) * 2015-07-14 2023-06-20 Netflix, Inc. Server outlier detection
US10454752B2 (en) * 2015-11-02 2019-10-22 Servicenow, Inc. System and method for processing alerts indicative of conditions of a computing infrastructure
US10970891B2 (en) * 2016-02-29 2021-04-06 Oracle International Corporation Systems and methods for detecting and accommodating state changes in modelling
US10819596B2 (en) * 2016-05-04 2020-10-27 Secureworks Corp. System and method to access aggregated metric data in a computer network
US10078537B1 (en) 2016-06-29 2018-09-18 EMC IP Holding Company LLC Analytics platform and associated controller for automated deployment of analytics workspaces

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1340767A (zh) * 2000-09-01 2002-03-20 国际商业机器公司 在数据网络中进行服务部署的方法
CN105164975A (zh) * 2013-04-10 2015-12-16 华为技术有限公司 用于控制平面参考模型框架的系统和方法
CN104426766A (zh) * 2013-08-30 2015-03-18 瞻博网络公司 跨多个网络层的动态端到端网络路径建立
CN106537843A (zh) * 2014-06-13 2017-03-22 康维达无线有限责任公司 自动化服务简档描述和编排
US20170257308A1 (en) * 2016-03-01 2017-09-07 International Business Machines Corporation Link aggregation management with respect to a shared pool of configurable computing resources
CN109412828A (zh) * 2017-08-18 2019-03-01 上海诺基亚贝尔股份有限公司 用于软件定义网络中的网络拓扑发现的方法、设备和系统

Also Published As

Publication number Publication date
US20200389373A1 (en) 2020-12-10
US11171844B2 (en) 2021-11-09
WO2020247713A1 (en) 2020-12-10
EP3981113A1 (en) 2022-04-13

Similar Documents

Publication Publication Date Title
US10747569B2 (en) Systems and methods of discovering and traversing coexisting topologies
US10664368B2 (en) Modifying aspects of a storage system associated with data mirroring
US8504733B1 (en) Subtree for an aggregation system
CN113812118A (zh) 网络中的可扩展分层数据自动化
US8265973B2 (en) Analytic-based scaling of information technology resources
JP6117996B2 (ja) 仮想ネットワークマッピング保護方法、システムおよびコンピュータ記憶媒体
US9712390B2 (en) Encoding traffic classification information for networking configuration
CN113949707A (zh) 基于OpenResty和K8S的容器云服务发现和负载均衡方法
US20180004623A1 (en) Multi-dimensional selective tracing
US11095717B2 (en) Minimizing data loss in a computer storage environment with non-guaranteed continuous network connectivity
US20150092550A1 (en) Capturing data packets from external networks into high availability clusters while maintaining high availability of popular data packets
US20230283530A1 (en) Service assurance monitoring based on telemetry
US20210295872A1 (en) Replay a service graph at a point in time to troubleshoot
Chang et al. Write-aware replica placement for cloud computing
US10592362B2 (en) Modifying journaling associated with data mirroring within a storage system
US20180332106A1 (en) Method for monitoring elements of a distributed computing system
US10122602B1 (en) Distributed system infrastructure testing
US10911329B2 (en) Path and cadence optimization for efficient data collection from devices
US10237148B2 (en) Providing a data set for tracking and diagnosing datacenter issues
US20110246585A1 (en) Event Enrichment Using Data Correlation
Ali et al. Probabilistic normed load monitoring in large scale distributed systems using mobile agents
US9479389B2 (en) Flexible delegation of management function for self-managing resources
Lee et al. Auto-scaling mechanism in the ICT converged cross stratum orchestration architecture for zero-touch service and network management
EP2674876A1 (en) Streaming analytics processing node and network topology aware streaming analytics system
US10027544B1 (en) Detecting and managing changes in networking devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination