CN105408881B - 大规模网络中的带宽计量 - Google Patents

大规模网络中的带宽计量 Download PDF

Info

Publication number
CN105408881B
CN105408881B CN201480040905.XA CN201480040905A CN105408881B CN 105408881 B CN105408881 B CN 105408881B CN 201480040905 A CN201480040905 A CN 201480040905A CN 105408881 B CN105408881 B CN 105408881B
Authority
CN
China
Prior art keywords
network
supplier
metadata
classification
main frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480040905.XA
Other languages
English (en)
Other versions
CN105408881A (zh
Inventor
M·B·弗
C·I·亨德利
K·C·米勒
R·D·墨菲
S·尚哈拉耶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of CN105408881A publication Critical patent/CN105408881A/zh
Application granted granted Critical
Publication of CN105408881B publication Critical patent/CN105408881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/14—Payment architectures specially adapted for billing systems
    • G06Q20/145—Payments according to the detected use or quantity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/20—Arrangements for monitoring or testing data switching networks the monitoring system or the monitored elements being virtualised, abstracted or software-defined entities, e.g. SDN or NFV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/14—Charging, metering or billing arrangements for data wireline or wireless communications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/14—Charging, metering or billing arrangements for data wireline or wireless communications
    • H04L12/1403—Architecture for metering, charging or billing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/14—Charging, metering or billing arrangements for data wireline or wireless communications
    • H04L12/1403—Architecture for metering, charging or billing
    • H04L12/1407—Policy-and-charging control [PCC] architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/31—Distributed metering or calculation of charges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/41—Billing record details, i.e. parameters, identifiers, structure of call data record [CDR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/43—Billing software details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/61—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP based on the service used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/66—Policy and charging system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/82—Criteria or parameters used for performing billing operations
    • H04M15/8214—Data or packet based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/82—Criteria or parameters used for performing billing operations
    • H04M15/825—Criteria or parameters used for performing billing operations based on the number of used channels, e.g. bundling channels, frequencies or CDMA codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/14—Payment architectures specially adapted for billing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/04—Billing or invoicing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/14—Charging, metering or billing arrangements for data wireline or wireless communications
    • H04L12/1432—Metric aspects
    • H04L12/1435—Metric aspects volume-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies
    • H04L41/122—Discovery or management of network topologies of virtualised topologies, e.g. software-defined networks [SDN] or network function virtualisation [NFV]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/09—Mapping addresses
    • H04L61/25—Mapping addresses of the same type
    • H04L61/2503—Translation of Internet protocol [IP] addresses
    • H04L61/2514—Translation of Internet protocol [IP] addresses between local and global IP addresses

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了用于大规模网络中的带宽计量的方法和设备。在计量部件处确定针对涉及提供者网络的主机处的虚拟化资源的网络传输的元数据，包括端点地址信息和流量度量。在另一个计量部件处聚集所述元数据并将其提供到流量分类节点。所述流量分类节点至少部分地基于与所述提供者网络相关联的网络拓扑信息产生针对所述网络传输的分类使用记录。使用所述分类使用记录来确定针对所述网络传输的计费金额。

Description

大规模网络中的带宽计量
背景技术
越来越多的计算应用被迁移到云环境。一些大规模的提供者网络支持服务于分布在世界各地的数千客户端的几十个多租户基于云服务。这些类型的服务常常依赖于虚拟化技术的使用，诸如虚拟化计算服务器、虚拟存储装置以及各种类型的虚拟网络。根据所使用的虚拟化技术的类型，单个底层资源(诸如主机或服务器)常常可支持潜在地同时服务于多个客户端的需要的多个逻辑或虚拟化资源实例。
针对客户端的此类服务的使用通常通过以下两种方式对所述客户端进行计费：基于例如使得服务能够以预留某一资源集合开始或基于预留某一资源集合的固定费用，和基于使用的费用。确定给定客户端为获得对特定服务的访问或为预留资源实例将支付的预付费用或固定费用通常是直接的。另一方面，确定针对给定服务的基于使用的费用可能需要大量的计量和跟踪。例如，特定服务可能涉及计算周期的使用(例如，在各种虚拟化计算服务器处的CPU使用)、存储空间(例如，在各种存储服务器处的一定量的永久存储)、以及网络带宽(例如，与针对代表客户端发出的客户端请求和/或命令直接或间接地执行的数据传输相关联)。这些类型的资源中的每一种的使用影响实施服务的提供者网络运营商所产生的开支，从而导致对基于使用的费用的需要。然而，准确且公平地核算客户端的资源消耗本身可消耗提供者网络的资源，且因此针对不同的资源类型，可能必须考虑与计量和计费关联的开销与捕获资源使用细节的粒度之间的折衷。
对于网络带宽使用来说，实现准确且又有效的计量可能比其他类型的资源更成问题。对于一些类型的服务，识别通过网络的特定数据传输的“所有权”(即，计费责任)可能是相当容易的，例如因为给定对象传输可由于限定用于服务的特定类型的应用编程接口(API)的调用而启动，所述服务可追踪到调用API的客户端。然而，对于其他类型的服务，诸如实施虚拟计算服务器的服务，跟踪数据传输可能不太容易，例如在特定的虚拟计算服务器例示之后，客户端可在服务器上运行各种利用网络的应用，提供者网络运营商对所述应用具有极少或没有直接可见性。由于以下各种因素分配给给定服务的网络流量的所有权的复杂性可进一步增加：例如，因为多个客户端的流量(潜在地与若干服务中的任一个相关联)可被引导到或来自单个物理服务器；因为任何给定单位的网络流量可潜在地与多个服务相关联(例如，在发送端的一个服务和在接收端的不同服务)；和/或因为网络拓扑可随时间推移而改变。
附图说明
图1示出根据至少一些实施方案的示例系统环境。
图2示出根据至少一些实施方案的可在虚拟化主机处实施的计量部件。
图3示出根据至少一些实施方案的在计量系统中使用的联网元数据记录的示例组成元素。
图4示出根据至少一些实施方案的用于联网元数据的聚集策略的示例元素。
图5示出根据至少一些实施方案的流量分类节点与分布式计量系统的其他元素之间的示例交互作用。
图6是示出根据至少一些实施方案的操作的各方面的流程图，所述操作可共同地在提供者网络中以分布式方式实施基于端点地址的计量。
图7是示出根据至少一些实施方案的操作的各方面的流程图，所述操作可由内核模式计量部件和用户模式计量部件在虚拟化主机处执行。
图8是示出根据至少一些实施方案的操作的各方面的流程图，所述操作可执行来产生附有时间索引的网络拓扑信息。
图9是示出可在至少一些实施方案中使用的示例计算装置的框图。
虽然在本文中通过列举若干实施方案和说明性附图的示例的方式描述了实施方案，但本领域的那些技术人员应认识到，实施方案并不限于所描述的实施方案或附图。应理解，附图和对其的详细描述并非意图将实施方案限于所公开的特定形式，而是相反，其意图在于涵盖落入由所附权利要求书所限定的精神和范围内的所有修改、等效物以及替代方案。本文中使用的标题都仅用于组织目的，并且并不意图用于限制说明书或权利要求书的范围。如贯穿本申请所用，词语“可以(may)”是以允许意义(即，意味着具有可能性)而非强制意义(即，意味着必须)使用。类似地，词语“包括(include/including/includes)”意味着包括但不限于。
具体实施方式
描述了用于大规模网络(诸如实施多个服务的提供者网络)的带宽计量的方法和设备的各种实施方案。由诸如公司或公共部门组织的实体建立来向分布式客户端集合提供可通过互联网和/或其他网络访问的一个或多个多租户服务(诸如各种类型的基于云的计算或存储服务)的网络在本说明书中被称为提供者网络。术语“多租户”在本文中可用于指代被设计成通过这样一种方式实施应用和/或数据虚拟化的服务：不同的客户端实体提供服务的相应的可定制的独立视图，以使得使用给定的底层资源集合向其提供部分服务功能的一个客户端可能不知道所述资源集合还用于其他客户端。一般来说，提供者网络可包括托管各种资源池(诸如物理和/或虚拟化计算机服务器、存储装置、联网设备等的集合)的许多数据中心，所述资源池是实施、配置并分布由提供者提供的基础设施和服务所需要的。一些提供者网络可支持单租户和多租户服务两者。对于在提供者网络中实施的至少一些服务，可至少部分地基于与客户端的服务使用相关联的网络带宽使用来对客户端进行计费。因此，提供者网络运营商可建立分布式流量计量系统以便有效地收集网络元数据(包括例如所传输的数据量以及给定数据传输中所涉及的端点的互联网协议(IP)地址)，并且利用所收集的元数据连同最新的网络拓扑信息来实现到不同客户端的准确的网络流量分布。以下针对各种实施方案提供关于这种分布式计量系统的各种组成部件的细节。多种不同类型的计算装置可单独或结合来使用以便在不同实施方案中实施分布式计量系统以及提供者网络的其他资源，包括通用或专用计算机服务器、存储装置、网络装置等。
在一些实施方案中，提供者网络的资源的子集可以被称为“实例”(诸如虚拟或物理计算实例、存储实例或网络资源实例)的单位提供来供客户端使用。虚拟计算实例例如可包括具有指定计算能力(所述计算能力可以通过指示CPU的类型和数量、主存储器大小、存储装置号和大小等来指定)和指定软件堆栈(例如，特定版本的操作系统，所述操作系统继而可在管理程序顶上运行)的一个或多个虚拟服务器。各种类型的资源实例，包括虚拟计算实例、存储资源实例或网络资源实例，在本文中可被例示在被称为“虚拟化主机”(或更简单地，“主机”)的系统上。在一些实施方案中，能够例示特定类型的N个不同虚拟计算实例的实例主机平台例如可包括具有初始安装的所选择的相对低级别的软件部件集合(诸如通常利用硬件服务器的计算能力的一小部分的虚拟化管理器软件和/或操作系统软件)的硬件服务器。在一些实现方式中，可出于管理目的在主机上建立操作系统的一个或多个实例，并且所述一个或多个实例可以不被分配用于供客户端应用使用，也就是说，主机上的虚拟化管理软件可包括操作系统实例，所述操作系统实例在本文中可被称为“管理操作系统”或“管理软件堆栈”。当启动更多虚拟计算实例时，可以使用服务器的计算能力的更大部分，例如用于在具有它们自己的操作系统实例的不同虚拟计算实例上运行的客户端应用。如以下进一步详细描述的，在一些实施方案中，出于网络流量计量目的，可以使用在主机上运行的管理软件堆栈的一个或多个部件。例如，根据一个实施方案，轻量级内核模式主机上计量部件可以被配置成收集与网络传输相关联的低级别联网元数据，诸如针对给定的一个或多个数据包的集合的端点(源或目的地)互联网协议(IP)地址以及传输大小(例如，所传输的字节数)。首字母缩略词“KMC”在本文中可用于表示这种内核模式计量部件。在这种实施方案中，另一个主机上计量部件，例如管理操作系统的用户模式部件(UMC)，可接收并聚集由内核模式部件所获得的元数据。例如，在一个实现方式中，UMC可以被配置成将在某一时间周期内针对任何给定端点IP地址所收集的所有元数据组合成一个记录。在一些实施方案中，如下所述，例如如果在给定时间间隔针对其收集元数据的不同IP地址的数量超过某个阈值，那么UMC(或KMC)可以组合针对IP地址集合(例如，一系列IP地址A.B.C.*，其中*表示通配符)的元数据。
根据一个实施方案，提供者网络的一个或多个计算装置可共同地被命名为流量分类队列(fleet)的节点。这些流量分类节点(其在本文中可被简单地称为分类节点或CN)可以被配置成接收从主机(例如，通过UMC)传送的聚集元数据记录。CN还可以被配置成获得或产生提供者网络的至少一些部分的网络拓扑的附有时间索引的表示，包括诸如在给定时间点与给定客户端和/或给定服务相关联的IP地址集合的信息。使用附有时间索引的网络拓扑，给定CN可以将在给定的主机集合处所收集的联网元数据的至少一部分映射到可用于产生针对网络传输的计费金额的一个或多个可计费使用类别。在一些实施方案中，CN可以使用这种映射技术来产生对应于在主机处所收集的流量元数据的分类使用记录。分类使用记录随后可以在例如提供者网络的计费节点处使用(在一些情况下在进一步的聚集步骤之后)，以便产生针对代表客户端在主机处产生的网络流量的将要提供到客户端的计费金额。在一个实施方案中，每个分类使用记录可至少包括(a)可计费使用类别的指示和(b)在某一时间间隔期间检测到的与那个可计费使用类别相关联的流量的量的测量值。应注意，在以下描述中，术语“使用类别”可用作术语“可计费使用类别”的替代物。
考虑在一个实施方案中可以由CN执行的各种操作的以下示例。CN可以接收关于在时间周期T1期间从给定虚拟化主机传输的1000兆字节数据的联网元数据(包括目的地端点IP地址)。CN可使用附有时间索引的网络拓扑信息来确定出于计费目的应为哪个或哪些客户端分配IP地址，和/或数据传输应与哪个或哪些特定服务相关联。作为一个示例，CN可产生与针对1000兆字节的以下各项类似的分类使用记录：((500兆字节、客户端C1、服务S1、使用类别U1)；(250兆字节、客户端C2、服务S2、使用类别U2)；(200兆字节、客户端C3、服务S3、使用类别U3)；(50兆字节、客户端C1、服务S4、使用类别U4))。在这个示例中，使用类别可指示基于以下因素的计费差异：诸如流量是否全部在提供者网络内流动或至少一些流量是否在提供者网络外部流动，客户端是否已建立到某些IP地址的某些类型的流量的折现率等。
因此，在至少一个实施方案中，一些使用类别可基于所有对应流量是完全在提供者网络内(即，仅使用在提供者网络内的内部路径)还是至少部分在提供者网络外(即，使用在提供者网络外部的少一些网络路径)来限定；其他使用类别可基于所涉及的服务(例如，是否使用了私用网络服务)来限定，或基于特殊情况诸如代表客户端建立的私用直接物理链路是否被用于数据传输(如以下参照图1所描述的)来限定。在至少一些实施方案中，提供者网络内的流量还可出于计费目的分类成诸如本地提供者网络流量和区域间提供者网络流量的子类别，其中位于给定地理区域中给定的一个或多个数据中心的集合内的端点之间的流量被分类为本地提供者网络流量，而跨过由提供者网络运营商限定的地理区域边界的流量被分类为区域间提供者网络流量。可针对来自提供者网络的多个主机的流量产生类似的分类使用记录。在一些实施方案中，可在提供者网络中建立拓扑观察仪节点的队列以便监视网络配置变化(例如，由于在与客户端网络建立私用链路的情境下如下所述可能影响部分提供者网络的流量流动的动态路由变化)。在至少一个这种实施方案中，由拓扑观察仪节点监视到的网络配置变化可由拓扑权威机构进行合并。拓扑权威机构例如可包括提供者网络的一个或多个硬件和/或软件部件，所述部件负责组合网络配置信息以便针对提供者网络的不同部分(和/或链接到提供者网络的某一外部网络集合)从不同时间点起产生网络拓扑的权威性表示或记录。合并的附有时间索引的网络拓扑信息在一些实施方案中可由拓扑权威机构存储在数据库或存储库中，并且CN可利用合并的拓扑信息产生分类使用记录。
通过将分配所测量网络流量的客户端所有权的工作分布在多个部件上，诸如如上所述的KMC、UMC和CN，在至少一些实施方案中可以实施高度可扩展的机构，能够利用来自数以万计的虚拟化主机的服务来处理在相应IP地址处的数以万计的并行客户端装置。关于虚拟化主机本身的开销可通过以下方式最小化：仅在内核层执行一小组操作，从而将干扰减低到传送或接收数据过程中所涉及的低级别联网堆栈操作。用于产生分类使用记录的专用CN队列的使用可确保：当客户端、端点和服务的数量增加时，在虚拟化主机处计量负载不会成比例地增加，即计量对客户端应用的影响被保持为尽可能低的。
根据一些实施方案，分布式计量系统的部件可能需要考虑可使以上介绍的基本计量机构复杂化的各种因素。例如，在一些实施方案中，提供者网络可支持各种类型的私用网络或专用网络。一些客户端可在提供者网络内建立私用网络(其在一些情景下可被称为“虚拟私用云”或VPC)，其中客户端在将网络地址分配到私用网络的装置方面具有很大的灵活性。因此，被分配作为私用网络的一部分的特定IP地址IP1实际上可以与被分配到在提供者网络中的其他地方或提供者网络外部的某个其他装置的IP地址相同。针对与私用网络相关联的流量所收集的网络元数据可以考虑这种潜在误导性端点地址信息，例如通过使KMC与联网堆栈的知道私用网络配置的部分进行通信。另外，在一些实施方案中，提供者网络可使得客户端能够在提供者网络与客户端本身的网络之间的转接中心处建立私用的直接物理链路(其在一些情境下可以被称为“直接连接”链路)，并且因此提供者网络的计量基础设施还可考虑与客户端网络相关联的路由信息。在一个实施方案中，提供者网络可允许在提供者网络的部分(诸如特定客户端的私用网络)与客户端网络之间建立VPN(虚拟私用网络)，并且出于计量和计费目的还可能必须考虑与此类VPN相关联的网络拓扑。
在各种实施方案中，例如，如果虚拟化主机上的给定客户端应用在相当短的时间段内与大量不同的端点建立通信，那么可潜在地产生大量的计量相关的元数据。为了避免使可用于计量系统的资源(例如，用于KMC或UMC的存储器或计算资源、以及用于将所收集的元数据传送到CN的联网资源)透支，在至少一些实施方案中，根据需要可以动态地引入各种另外的聚集和/或采样技术。例如，在一个实现方式中，如果在时间段T秒期间，与来自给定主机的流量相关联的端点IP地址的数量超过阈值N，那么代替继续监视所有数据包的端点IP地址，可以仅收集在下一个T秒期间检测到的数据包的随机样本的端点地址。类似地，各种优化技术可以在UMC处以及一些实施方案中使用，以确保与流量计量相关联的开销保持为低。以下提供关于可在各种实施方案中实施的计量系统的各种特征的细节，包括先前描述的功能以及各种类型的优化和特殊情况。
带宽计量系统环境
图1示出根据至少一些实施方案的示例系统环境。如图所示，系统100包括被配置成实施多个网络可访问的多租户(和/或单租户)服务的提供者网络102。每个服务可由相应的服务管理器(SM)来管理，所述SM本身可包括一个或多个硬件和/或软件部件或资源。例如，计算SM 146可以被配置成实施并管理多租户虚拟计算实例服务。类似地，存储SM 147可管理多租户存储服务，数据库SM 148可管理数据库服务，并且各种其他SM 149可被配置用于使用提供者网络102的资源实施的相应服务。在至少一些实施方案中，一些服务(诸如以下描述的内部拓扑管理服务)可主要用于内部行政管理目的，而其他服务可实施客户端可直接访问的特征。在所描绘的实施方案中，所述服务中的一个或多个可以虚拟化资源(VR)114的形式提供，诸如主机105A上的虚拟化资源114A、114B和114C以及主机105B上的虚拟化资源114K、114L、114M和114N。在各种实施方案中，虚拟化资源114可包括例如虚拟计算服务器(由计算SM 146管理)或虚拟化存储装置(由存储SM 147管理)的实例。例如，对应于计算服务的虚拟化资源114可包括根据客户端的请求在主机105处例示的虚拟计算服务器。在一些实施方案中，提供者网络102可包括分布在不同地理区域中的许多数据中心的大量(例如数千)主机105；然而，为了便于说明，图1中仅示出两个示例主机105。在一些实施方案中，若干不同的虚拟化资源可例示在单个主机105上，所述资源中的至少一些可由不同于其他客户端的客户端拥有或分配给不同于其他客户端的客户端。在至少一些实施方案中，提供者网络可包括两种类型的逻辑和/或物理网络路径：主要用于传输与各种服务相关联的客户端产生的数据的数据网络路径137，以及主要用于行政管理和/或管理操作(例如，以便支持以下描述的各种类型的计量操作)的控制网络路径138。
一般来说，在不同实施方案中，客户端(例如，代表提供者网络的客户执行的应用)可访问来自各种不同类型的网络位置(诸如至少以下类别的网络位置)的给定主机105的虚拟化资源114。一些客户端可访问来自类似于130B的客户端网络的虚拟化资源114，在所描绘的实施方案中，所述客户端网络通过公用互联网的链路133链接到提供者网络。在一些实施方案中，提供者网络运营商可能够建立到客户端网络诸如130A的私用直接物理链路(诸如链路127)；通常，可在转接中心152或另一个边缘位置处建立此类直接私用链路，例如在提供者网络运营商拥有、控制或管理一些但非全部联网设备和基础设施的处所。建立到客户端网络诸如130A的此类直接物理链路可使得客户端能够获得更高的带宽，通常以比在使用第三方网络服务提供者将客户端的外部网络130A链接到提供者网络102的情况下可能的价格更便宜的价格。在一些实施方案中，提供者网络运营商可针对网络带宽使用向利用此类私用直接物理链路的客户端给予折扣，例如，相对于依赖于第三方提供者或公用互联网的客户端。在一个实施方案中，至少一些客户端应用可在一个主机105处访问来自不同主机105的虚拟化资源114，例如，客户端的网络流量中的一些可仅通过内部数据网络路径137，并且可不离开提供者网络。在一个实施方案中，提供者网络102可支持由私用网络SM 144管理的一个或多个私用网络服务。私用网络可包括多个主机105以及其他类型的计算、存储和/或联网资源，通过所述资源客户端被提供相对于网络寻址和配置的实质行政管理控制，例如在一些实现方式中，拥有私用网络的客户端可为私用网络内的各种装置指派任意的公用和/私用IP地址，无需被要求避免可能与私用网络外部的装置的地址重复或重叠。在一些情况下，可以在特定客户端的私用网络与客户端的外部网络130之间建立私用网关(图1中未明确示出)，从而使得私用网络内的使用私用地址的装置能够通过VPN(虚拟私用网络)与客户端网络130中的客户端装置通信。
在至少一些实施方案中，客户端针对网络流量被最终计费的速率可至少部分地基于流量传输中所涉及的网络地址的类别。因此，在一个示例情境下，如果客户端在均处于提供者网络内的两个地址之间传送X兆字节，那么针对那个流量的计费金额可以是$X*r1(即，计费率可以是每兆字节内部流量$r1)，然而如果客户端通过直接私用物理链路将X兆字节传送到客户端网络130B，那么计费金额可以是$X*r2，并且如果客户端通过公用互联网链路将X兆字节传送到客户端网络130A，那么计费金额可以是$X*r3。在图1中所描绘的实施方案中，分类队列170的分类节点(CN)180(例如，CN 180A和CN 180B)可负责针对给定量的流量(从主机105向所述节点提供关于所述给定量的流量的联网元数据)确定将用于计费目的的网络地址类别，以及相应地产生使用记录，如以下进一步详细描述的。在一些实施方案中，使用类别也可基于另外的因素(例如，除了仅IP地址之外)限定，诸如网络流量中所涉及的服务的类型，不管是否使用了任何专用网络链路诸如上文所述的私用直接链路，或不管是否正在实施任何客户端特定的折扣诸如总量折扣。
如图1中所示，每个主机105可包括一对相应的计量部件：内核模式计量部件(KMC)110(例如，主机105A处的KMC 110A和主机105B处的KMC 105B)和用户模式计量部件(UMC)111(例如，主机105A处的UMC 111A和主机105B处的UMC 111B)。在一个实现方式中，KMC和UMC两者可以在主机上的管理操作系统实例(即，非分配用于客户端使用的操作系统实例)内实施。给定主机105处的KMC 110可负责：在一个实施方案中捕获针对被引导到或来自主机105处的各种VR的网络数据包的低级别联网元数据(例如，源端点或目的地端点的IP地址以及数据传输大小)，并且将所捕获的低级别元数据传送到同一主机上的对应UMC 111以便聚集并传送到CN 180。在所描绘的实施方案中，UMC 111可收集KMC 110在可配置的时间段内所产生的元数据，对所收集的元数据执行一个或多个计算(例如，基于端点地址使元数据聚集)，压缩所聚集的元数据并且将其传送到分类队列170的所选择CN 180。在至少一些实施方案中，KMC和/或UMC可负责将定时信息(例如，指示某一网络传输集合何时开始或完成的时间戳)附接到提供至CN的元数据，所述元数据随后可由CN用来基于从传输时间起的网络拓扑产生分类使用记录。在一些实施方案中，一些KMC 110可以是可配置成向其他主机处的UMC 111提供元数据，即在此类实施方案中，在产生计量信息过程中涉及的KMC和UMC可以不必驻留在同一主机上。在一些实施方案中，给定的UMC可以从多个KMC收集元数据，并且在其他实施方案中，给定的KMC可以将元数据提供至多个UMC。
在图1所示的实施方案中，出于计费目的，CN 180可以利用从多个源收集的网络拓扑信息来将从UMC 111接收到的聚集元数据映射到分类使用记录中。在一些实施方案中，可以建立某一数量的拓扑观察仪(TO)节点188，诸如TO节点188A和188B，作为负责检测网络配置的变化的拓扑观察队列178的一部分。在一个实施方案中，TO节点可表示无源或“幻象”路由器式装置，所述装置被配置成收听由其他有源路由器144(诸如路由器144A和144B)使用边界网关协议(BGP)或其他类似协议做出的路由通告，所述其他有源路由器144包括与客户端网络诸如130A相关联的路由器，从提供者网络到所述客户端网络的流量必须通过私用直接物理链路127路由传送。在一些实施方案中，TO节点188还可以从其他联网装置诸如网关、交换机等收集网络配置信息(诸如沿不同路线使用的网络掩码)。在一个实施方案中，TO节点188可以与不同的SM(例如，计算SM 146、存储SM 147或数据库SM 148)交互作用以便确定每一个服务正在使用哪些IP地址，并且TO节点还可以记录此类服务地址映射。在所描绘的实施方案中，拓扑权威机构183可以被配置成从一些或全部TO节点188收集配置信息，并且产生可由CN用来产生分类使用记录的附有时间索引的拓扑表示。在其他实施方案中，CN可直接从服务管理器获得服务网络地址。根据至少一些实施方案，内部拓扑SM 145可负责维持提供者网络的内部网络的拓扑的最新表示，并且在此类实施方案中，拓扑权威机构183可以从内部拓扑SM 145以及TO队列178获得拓扑更新内容。在一个实施方案中，与网络配置变化相关联的时间戳或其他定时信息可包括在由拓扑权威机构产生并被提供到CN 180的拓扑表示中。由CN 180产生的分类使用记录可被传送到计费队列175的计费节点185(例如，计费节点185A或185B)，其中在所描绘的实施方案中可产生针对客户端的计费金额。
在实施私用网络(其可导致关于哪些IP地址分配到哪些装置的明显歧义(例如，因为客户端可选择它们在私用网络内的选择中的IP地址))的一些实施方案中，可以在计量部件中的一个处，例如在KMC 110(在这种情况下可以从联网虚拟化软件部件获得关于私用地址的信息)、UMC 111或CN180处，基于关于私用网络的配置的信息解决歧义。应注意，在一些实施方案中可能并非存在图1所示系统100的所有部件，例如，一些实施方案可能不支持私用直接物理链路127，其他实施方案可能不包括TO节点188，而在另外其他实施方案中可能并未实施私用网络SM 144和/或内部拓扑SM 145以及它们的对应服务。
基于主机的计量部件
图2示出根据至少一些实施方案的可在虚拟化主机处实施的计量部件。如图所示，主机外端点与虚拟化资源诸如114A和114B之间的输入和输出网络流量230在通向/来自虚拟化资源114的途中可通过网络堆栈202的各个层。网络堆栈202的部分或全部在主机105处可实施为管理操作系统250(即，管理软件堆栈)的一部分。
如标记为270的箭头所指示，内核模式计量部件(KMC)110可被配置成例如通过检查数据包报头信息来从网络堆栈202捕获元数据(诸如源和/或目的地IP地址，以及正传输的数据量)。在至少一些实现方式中，KMC可以是将非常少的开销引入OS 250处的联网相关处理的轻量模块，以便最小化虚拟化资源114上的应用所经历的网络延迟的影响。如图所示，在一些实施方案中，KMC可在一组KMC缓冲器211中存储所收集的元数据中的至少一些。在一个实施方案中，KMC 110可根据动态收集策略215来收集来自网络堆栈的元数据–例如，对于一些时间段来说，元数据可针对每个输入或输出数据包收集，而在其他时间段期间，可仅针对所述数据包的某个子集收集元数据(例如，针对每N数据包中的一个数据包，或使用随机采样技术)。在一些实施方案中，所述收集策略可基于从UMC 111或CN 180所接收的反馈来改变，而在其他实施方案中，KMC本身可修改其元数据收集行为或频率(例如，如果在较早的时间间隔期间，捕获的元数据所针对的不同端点IP地址的数量超过阈值数，那么可在一个时间间隔期间借助采样)。在一些实施方案中，可不实施KMC缓冲器211。可在一个实施方案中使用单一静态收集策略。
KMC 110可将所收集的联网元数据提供到UMC 111，如在图2中所示出的实施方案中标记为272的箭头所指示。在一些实施方案中，UMC缓冲器221可用来在将元数据传送到分类节点上(如标记为274的箭头所指示)之前存储并组织所述元数据。所述元数据在其被发送到CN上之前可通过UMC来组合成组(例如，基于端点IP地址，和/或聚集策略225的各种元素，下文结合图4的描述来提供关于其的进一步细节)。在一个简单的实现方式中，例如，UMC可维持用于每个不同IP地址的相应字节计数器(针对其的元数据从KMC接收)，并且将IP地址和指示所传输的字节的总数量的计数器传送到CN。UMC 111可负责在不同实施方案中以各种方式使元数据至CN的传输最佳化–例如，在所收集的元数据体积被认为过大时，通过省略所述元数据中的一些；通过压缩元数据；和/或通过改变传送元数据的频率。在一些实施方案中，UMC还可负责将关于KMC的元数据收集操作的反馈提供到KMC 110(例如，以便修改收集策略215)。
在一些实施方案中，可在虚拟化主机105，而不是图2中所示的KMC-UMC对处实施单个计量部件。可以内核模式或用户模式实施这种组合的计量部件。在一个实施方案中，可以内核方式实施具有类似于上文针对KMC和UMC描述的那些的相应功能的两个计量部件，即，一个部件，其主要功能是收集包括端点IP地址的联网元数据，以及另一个部件，其主要功能是聚集联网元数据并且将其传递到分类节点上。在另一个实施方案中，可以用户模式实施两种此类计量部件。
元数据记录内容
图3示出根据至少一些实施方案的在计量系统中使用的联网元数据记录350的示例组成元素。在一些实施方案中，记录350的元素中的一些或全部值可通过计量部件诸如KMC 110或通过特定虚拟化主机105上的计量部件诸如KMC 110和UMC 111的组合来确定。注意，对于不同的实现方式和不同的传输来说，不是图3中所示的全部元素都可填充在给定的元数据记录内–例如，在一些情况下，仅单个服务可被包含在所述传输的发送端和接收端两者处，并且因此可能仅需要一个服务标识符。
如图3中所示，在一些实施方案中，元数据记录350可包括源IP地址和目的地IP地址(分别为元素302和304)。在一些实现方式中，当从虚拟化主机上的虚拟化资源114和位于某个其他主机上的主机外端点聚集针对传输的元数据时，可以仅记录后一(主机外)端点的IP地址，例如因为记录350内的其他信息(诸如下文论述的VR实例ID 311)可足以识别虚拟化资源端点。在一个实现方式中，端口号(例如，传输控制协议(TCP)端口号)也可包括在针对接收端、发送端、或接收端和发送端两者的元数据记录中。在一个实现方式中，可包括用于网络传输的特定联网协议的指示。在一些实施方案中，不同的提供者网络服务可与发送者端而不是接收者端处的流量相关联，并且源服务标识符306(对应于发送者端)和目的地服务标识符308(对应于接收者端)两者都可包括在记录350中。例如，特定传输的一个端点可包括与计算服务相关联的虚拟计算实例，而另一个端点可包括与存储服务相关联的存储对象。如果关于每个服务的相应识别信息是不可用的，那么记录可包括仅一个服务标识符，或根本不包括任何服务标识符，并且在后期可通过例如CN 180使用较早提及的服务地址映射来识别所包含的服务。
在所描绘的实施方案中，产生记录350的计量部件可包括特定客户端的标识符310，其从计费角度来看“拥有”记录中的数据传输。然而，当初始收集元数据时，确定所有者ID 310可能并不总是可行的(例如，因为所有者仅可在传输的另一端点处是可识别的，而不是在收集元数据的主机处可识别)，在这种情况下可稍后确定所有权(例如，在CN 180处)。如前所述，在一些实施方案中，虚拟化主机可包括多个虚拟化资源(VR)114。在一些实施方案中，元数据记录350中可包括对应于数据传输中所包含的特定VR 114的VR实例标识符311。例如，如果特定虚拟化主机105具有正在运行的四个不同的虚拟化计算服务器实例(具有相应实例标识符I1、I2、I3和I4)，并且KMC 110检测到从实例I1至主机外目的地的网络传输，那么标识符I1可被包括在针对所述传输产生的元数据记录350中。
在至少一些实施方案中，可记录传输大小312(例如，在传输的数据部分中或在报头部分和数据部分两者中所传输的字节数)以及指示何时检测到传输的时间戳314(所述时间戳紧密地对应于传输何时开始或结束，这取决于传输相对于主机105是输出还是输入)。在一些实施方案中，可以时区无关方式记录时间戳，例如，基于当前的协调世界时间(UTC)而不是本地时间，或基于从在提供者网络中实施的全球时间戳服务获得的输出。在支持私用网络的实施方案中，记录350中也可包括另外的私用网络地址解析信息316。例如，因为私用网络内的IP地址相对于所述私用网络外部的地址而言可能不是唯一的，并且因此可能需要消除歧义，所以在一个实施方案中，元素316可包括记录350的源和/或目的地IP地址属于私用网络的指示符，并且因此在UMC 111或CN 180处可能需要针对记录350的特殊处理，诸如地址消歧的额外步骤。
在不同的实施方案中，产生元数据记录350的粒度可以不同。例如，在一个实施方案中，在正常操作条件下，KMC 110可针对TCP/IP流量的每个数据包创建这样一个记录。在另一个实施方案中，可针对多个数据包创建单个记录。在一些实施方案中，在元数据记录350中可包括超过图3中所示的那些的另外的元素(例如，在一些实现方式中，KMC 110可在记录中指示是否将采样用于元数据收集，或是否在产生记录时收集全部数据包的元数据)。在至少一个实施方案中，在KMC 110处产生的初始元数据记录可仅包括图3中所示的元素的子集，并且其他元素可在例如通过UMC 111和/或在CN 180处处理元数据记录时填充。
聚集策略
在至少一些实施方案中，如前所述，UMC 111可负责聚集在主机105处所收集的元数据(例如，累积每个不同的端点IP地址的元数据)并且以最佳化方式将其传送到所选择的CN 180。在一些实施方案中，元数据的聚集和传送的各个方面可由聚集策略来管理。图4示出根据至少一些实施方案的用于联网元数据的聚集策略的示例元素。
在一个实施方案中，可通过UMC 111将在主机105处收集的元数据以“块(chunk)”为单位传送到所选择的CN 180，例如，用于元数据传输的默认单位可以是每次256千字节块。块大小策略402可确定待发送到CN 180的联网元数据的量以及是否可动态改变所述块大小(例如，基于UMC 111与CB 180之间的流量水平或基于CN 180的利用水平，在一些实施方案中可使用比默认大小更小或更大的块)。在一些实施方案中，块大小不以所传输的元数据量来表示，而以其他单位诸如用于待以块传送的元数据的累积数据传输大小(例如，所传输的数据的每100兆字节可能需要一个块)，或每次待传输的元数据的不同端点地址的数量(例如，在给定块中可包括覆盖不超过100,000个不同端点IP地址的元数据)来表示。块调度策略404可指示联网元数据从UMC 111多久传送一次(例如，在一个实现方式中，不考虑在主机105处所检测到的流量的量，UMC 111可被要求来将元数据块每N秒至少一次发送到CN)。
在分类队列170包括多个CN 180的实施方案中，CN选择策略406可管理特定UMC111如何确定元数据待发送到的特定CN 180。例如，CN选择策略406可将CN静态分配到每个UMC，或允许基于一个或多个标准诸如位置(例如，相比更遥远的CN可优选地理上更靠近的CN)、测量的延迟(例如，基于UMC与CN的某个子集之间的往返消息时间，可选择具有最小往返消息时间的CN)、来自CN的反馈(例如，超载CN可能要求一些UMC后退并且利用其他CN)、或亲和性(可能期望UMC尽可能久地继续将元数据提供到同一CN，直至在UMC处接收到相反方向的引导)来动态选择CN。在一些实施方案中，压缩策略408可指示在将元数据传送到CN时是否使用压缩，并且如果待使用压缩，那么应该使用特定压缩方法或算法。
IP地址分组策略410可管理在传送到CN 180之前在UMC 111处组合元数据的粒度。例如，根据一个简单的分组策略，UMC 111可被要求来收集每个端点IP地址A.B.C.D的元数据(例如，传输大小)，对于所述地址元数据记录是可用的。然而，如果在给定的主机105处的虚拟化资源114被检测为与大量不同的IP地址通信，那么分组策略410可允许UMC以不同的粒度来组合元数据–例如，A.B.C.*范围中的全部IP地址的元数据可被组合在一起以便传送到CN。不同IP地址的数量(在给定的主机处每单位时间通向(或来自)其的传输可发生)本文可被称为“IP扇出”或“IP密度”。当IP扇出或IP密度增加超过分组策略410中所定义的阈值时，可允许UMC 111临时改变聚集粒度(例如，根据一个分组策略，如果IP扇出超过F1，那么下一N1秒在UMC处可组合多达16个IP地址的元数据，并且如果IP扇出增加到F2，那么下一N2秒可组合多达256个IP地址的元数据)。在一些情况下，将关于若干IP地址的信息分组成一个条目可降低在CN处产生的分类使用记录的精度(例如，一些网络传输可潜在地被错误分类)。然而，一般来说，给定的服务(和给定的客户端)通常可使用一定范围内的多个连续IP地址，因此针对连续范围(并且通常较小)的IP地址组合流量的量的分组策略410通常仍可产生准确的使用记录，同时成功地减少可能由过大的IP扇出产生的开销。在一个实施方案中，除将多个IP地址的数据分组之外或代替其，UMC 111和/或KMC 110可启动操作以积极地抑制或压制IP扇出的大幅增加，例如，通过致使IP地址的一些子集的数据包丢弃在管理操作系统网络堆栈处。在这种实施方案中，如果不同IP地址(至其的通信发生)的数量在给定的一组时间间隔内增加超过阈值，那么可将引导到(或接收自)某个选择的IP地址集合(例如，随机选择的IP地址)的数据包丢弃而不是输送到其预期目的地。
在一些实施方案中，采样策略412可管理联网元数据是否(且在何种情况下)待采样而不是是否针对每个数据传输而收集。例如，采样策略412可指示这样的情况：在所述情况下，UMC 111指导其对应KMC 110停止收集每个数据包的元数据并且开始收集所述数据包的所采样子集的元数据。采样策略412还可指示在一些实施方案中待使用的采样技术(例如，蓄水池采样)。在一个实施方案中，可在KMC 110(例如，响应于来自UMC 111的指导或KMC自己主动启动)、UMC 111(例如，UMC可根据UMC采样策略412仅组合从KMC接收的记录的所采样子集的元数据)处、或在KMC和UMC两者处执行采样。在至少一些实施方案中，可不使用聚集策略225的全部元素，并且在其他实施方案中，聚集策略225可包括图4中未示出的其他元素。注意，至少在一些实施方案中，CN 180和/或计费节点185可聚集其根据相应聚集策略接收的数据–例如，CN 180可聚集在一个或多个时间窗内接收的元数据以产生使用记录，并且计费节点185可聚集在确定计费金额时与单个客户端相关联的众多使用记录。
分类节点操作
图5示出根据至少一些实施方案的流量分类节点(CN 180)与分布式计量系统的其他元素之间的示例交互作用。在所描绘的实施方案中，CN的主要责任可包括产生可由计费节点185使用以确定代表客户端570产生的网络流量的计费金额580的分类使用记录560。如前所述，在一些实施方案中，针对所消耗的给定量的网络带宽最终向提供者网络的客户端收取的计费金额可取决于所涉及的端点地址的特性，例如像网络流量是否在提供者网络内的两个地址之间(在先前提及的本地提供者网络流量类别或区域间提供者网络类别的情况下)，是否使用私用直接链路，流量是否退出提供者网络的内部网络并且使用公用互联网。由CN 180产生的使用记录可包括此类端点特性的指示，并且也可确定或确认每个数据传输的所有权(从计费责任意义上说)以及与每个数据传输的计费相关联的服务，从而允许计费节点185产生公平且准确的计费金额580。在一些实施方案中，可能的是，给定的网络传输可能可涉及客户端使用提供者网络的一个以上服务–例如，应在使用计算服务例示的虚拟化计算服务器实例处执行的计算的请求处可传输使用存储服务存储的文件。在此类情境下，至少在一些实施方案中，客户端至少原则上可负责与存储服务相关联的可计费网络使用，并且也负责与计算服务相关联的可计费网络使用。CN 180可负责确定针对网络使用计费的服务上下文–例如，客户端是否应为与存储服务、计算服务或两种服务相关联的网络使用被计费。在一些实施方案中，分类策略592，下文进一步详细描述，可用来确定服务上下文。在至少一些情境下，可以是这样的情况：多个IP地址可用来将给定的服务提供到给定客户端的装置，并且因此CN在确定分类使用记录时可必须组合不同IP地址的元数据。
在所描绘的实施方案中，如由标记为510A、510B、510C和510D的箭头所指示，拓扑观察仪队列178可收集来自各个源的联网配置变化信息，所述联网配置变化信息可由拓扑权威机构183进行合并以便最终由CN 180使用。所述源可包括内部拓扑SM 145和各种路由器153(所述路由器中的一些可与采用私用直接物理链路127以便连接到提供者网络的客户端网络相关联)。在一些实施方案中，TO队列178也可收集关于代表各个客户端通过私用网络SM 144建立的私用网络的配置信息。在至少一个实施方案中，TO队列178可收集来自各种其他网络装置502(诸如网关或交换机)的联网配置数据。如图所示，可将联网配置信息从队列178的TO节点传送到拓扑权威机构183。在所描绘的实施方案中，拓扑权威机构183可将所收集的配置信息合并并且将其以附有时间索引的拓扑记录591的形式存储在数据库590中，如标记为514的箭头所指示。在至少一些实施方案中，拓扑权威机构183也可将各种类型的分类策略592存储在数据库590中。在一些实施方案中，分类策略592可由CN使用来解决潜在的IP地址所有权分歧或使用类别分歧。在一些实现方式中，分类策略592还可包括关于网络路由状态变化或配置变化实际上必须保持多久以便被视为有效的信息–例如，当产生分类使用记录560时可忽略小于N秒的短期网络中断。
CN 180可接收来自各个主机105处的UMC 111的带时间戳的联网元数据530，其包括关于由KMC 110初始获得的端点地址和传输大小并且通过UMC基于端点IP地址聚集的信息。CN 180可访问来自数据库590的附有时间索引的网络拓扑记录591和分类策略592。在一个实现方式中，CN 180可被提供对数据库590的只读访问，而拓扑权威机构183可被提供对所述数据库的读写访问。在一些实施方案中，附有时间索引的拓扑记录可包括服务地址映射–例如，在拓扑记录591中可包括与提供者网络在特定时间处提供特定服务相关联的IP地址集合。指示时间段(在所述时间段期间特定联网和/或服务配置生效)的信息可对确保由CN 180产生的分类使用记录在至少一些实施方案(其中可动态修改联网配置)中的正确性是至关重要的。例如，考虑这样一种情境，其中特定IP地址K.L.M.N与流量计费速率是每兆字节$r1的特定服务S1初始相关联。在特定时间T1处，路由变化(例如，通过路由器153使用BGP进行的新路由公告)发生，并且因此与服务S1相关联的流量被代替引导到IP地址K.L.M.P，而在T2之后被引导到K.L.M.N的流量应该以默认速率每兆字节$rd来计费。当确定在用K.L.M.N作为时间T2处的目的地的情况下发生的给定网络传输NT1应该以S1的服务速率$r1还是默认速率$r2计费时，CN 180可必须考虑T2是比T1晚还是早。如果T1在T2之前，那么针对NT1的使用记录应该指示具有速率$rd的使用类别，而如果T1在T2之后，那么针对NT1的使用记录应该指示具有速率$r1的使用类别。
使用数据库590，CN 180可能够查找从给定的网络数据传输时间起的网络拓扑的状态，在所述时间期间接收元数据530。例如，一个记录591可指示提供者网络的子集在给定日期的时间范围10:00:00UTC–10:00:15UTC期间的网络拓扑(包括细节诸如哪个客户端拥有IP地址的哪个集合，以及哪些服务采用哪些IP地址)，并且如果接收到在10:00:07UTC处发生的网络传输的元数据，那么CN可查阅那个记录591，从而产生对应的分类使用记录560。在一些实施方案中，单个数据库590可由多个CN 180共享，而在其他实施方案中，每个CN可维持其本身的数据库实例或副本。
在至少一个实施方案中，除产生分类使用记录560之外，CN 180还可被配置成执行各种类型的审核操作。例如，如果所收集的元数据指示G1千兆字节的数据在时间窗TW1期间被从在一组主机105处具有地址范围R1的虚拟化计算资源114引导到通过IP地址范围R2可访问的存储服务，那么CN 180可(使用从IP地址范围R2收集的元数据)验证在TW1期间实际上是否在目标IP地址范围处从地址范围R1接收G1千兆字节的数据。如果在本应该发送的数据量与实际接收到的数据量之间检测到差异，那么可启动调查分析(例如，包括检查日志记录)。在一些实施方案中，CN 180可被配置成根据调度或以随机间隔执行针对随机选择的数据传输和/或时间窗的此类审核或验证操作。
与私用网络相关联的计量流量
在支持私用网络的一些实施方案中，由CN使用的拓扑信息中的至少一些可能需要包括相对于不与私用网络相关联的流量所需的数据而言的另外数据。例如，因为给定的客户端可能够将任意IP地址分配给客户端的私用网络内的资源，并且此类任意的IP地址可与分配给客户端的私用网络外部的资源的地址重叠，所以使用私用网络的每个客户端可有效地具有特别适用于那个客户端，并且不适用于其他客户端的对应的联网拓扑。考虑这样一种情境，其中私用网络SM 144建立针对客户端C1的私用网络PN1，并且C1将IP地址R.S.T.U分配给私用网络内的装置D1。同时，在提供者网络中的其他处，将IP地址R.S.T.U分配给另一个装置D2。具有源于私用网络PN1内的位置的目的地地址R.S.T.U的任何流量可被引导到装置D1，然而如果所述流量源于私用网络PN1外部的位置，那么其可被引导到装置D2。如果CN 180最终接收指示R.S.T.U作为网络传输的端点的元数据，那么CN 180可必须确定流量是否起源于私用网络PN1内。其他客户端C2和C3至少原则上也可将R.S.T.U分配给其本身私用网络内的装置，并且客户端C1也可将R.S.T.U分配给不同的私用网络PN2中的另一个装置。因此，由CN 180使用的网络拓扑信息可必须包括指示特定客户端(或客户端私用网络)的附加维度，拓扑与所述客户端相关联。
在至少一个实施方案中，客户端也可例如在客户端本身的数据中心中建立在提供者网络102内部的客户端的私用网络与所述提供者网络外部的客户端网络(诸如图1的网络130A或130B)之间的网关。这个配置可允许在私用网络中针对资源建立的IP地址可使用网关来与客户端网络中的IP地址通信。在一些实现方式中，可通过虚拟私用网络(VPN)隧道路由传递这种流量。在一些实施方案中，客户端可将其VPN隧道配置成使用BGP来公告私用路由，或在其他实施方案中客户端可调用特定API来注册将用于其VPN的静态路由。KMC和UMC可收集针对此类VPN客户端的每个IP地址元数据，并且将所述元数据以上述方式发送到分类队列上。在此类实施方案中，CN 180(和/或拓扑权威机构183)随后可检查由VPN服务维持的每个客户端路由表以便产生分类使用记录–例如，可针对VPN流量而非私用网络内的其他流量建立不同的使用类别和对应的计费速率。
用于流量计量和分类的方法
图6是示出根据至少一些实施方案的操作的各方面的流程图，所述操作可共同执行来在提供者网络中以分布式方式实施基于端点地址的计量。如元素601中所示，流量分类队列的一个或多个节点(即，CN 180)可在提供者网络102处被例示，并且可收集关于网络拓扑变化的信息。在一些实施方案中，拓扑观察仪节点188和拓扑权威机构183也可被例示，例如，以便监视路由通告和其他网络配置变化，并且提供带时间戳的拓扑数据以便由CN最终使用。在一些实施方案中，可将附有时间索引的拓扑表示或记录存储在数据库中(例如，拓扑权威机构183可将通过TO节点收集的配置数据合并并且将所合并的数据写入数据库)。在一个实施方案中，附有时间索引的拓扑表示的至少一个子集可包括对客户端的识别，拓扑针对所述客户端是有效的–例如，不同的拓扑可适用于不同的客户端，在使用私用网络和/或VPN的情况下如上文论述。
如图6的元素604中所示，可在给定的虚拟化主机处通过例如轻量级、低开销的内核模式计量部件(KMC)110来确定针对网络传输的联网元数据，包括端点IP地址和传输大小。在一些实施方案中，取决于可用的信息，KMC或类似计量部件也可收集针对网络传输的其他类型的元数据(诸如所涉及的服务，或拥有数据的客户端的身份)，类似于图3中所示出的记录350的元素类型。在一些实施方案中，可默认地收集针对每个数据传输(例如，每个TCP/IP数据包)的元数据，但是收集模式可被动态地改变以在至少一些实施方案中采样，使得在适当时仅收集针对传输的子集的元数据。
在一些实施方案中，可将所收集的元数据提供或传送到聚集部件，诸如用户模式计量部件(UMC)111，如图6的元素608中所指示。聚集部件可被配置成将元数据组合成组，例如，每个唯一的端点IP地址一个组，或某范围的IP地址一个组。在一些实施方案中，聚集过程的各个方面和聚集元数据到分类节点的传输可通过主机上聚集策略(诸如图4中所示出的策略)来管理。所述聚集策略可包括分组指导或策略、分块指导(指示一次应该传送多少数据到分类节点和/或由UMC传送到CN的频率)、压缩指导等。根据聚集策略，可将元数据传送到分类节点180(元素610)。
在分类节点180处，聚集的元数据可用来使用例如附有时间索引的网络拓扑表示和/或各种映射或分类策略来产生分类使用记录(元素615)。可在各个实施方案中定义若干不同类型的使用类别(和针对带宽使用的对应计费速率)，诸如针对保持在本地网络边界诸如提供者网络的数据中心或数据中心集合内的流量的本地提供者网络类别、针对跨过提供者网络限定的地理区域边界但未离开提供者网络的流量的区域间提供者网络类别、针对利用提供者网络外部的至少一个网络链路的流量的提供者网络外部类别、对应于在提供者网络处支持的不同服务的基于各种服务的使用类别、针对与属于客户端的私用网络或VPN的网络地址相关联的流量的私用网络相关类别、基于链路的使用类别诸如针对沿在提供者网络的边缘节点处建立的直接私用链路流动到客户端网络的流量的类别等等。映射或分类策略可指示在一个以上使用类别可适用的情况下不同的使用类别之间的优先顺序–例如，在一个实施方案中，整个默认分类策略可指示，当两个或更多个使用类别可适用时或每当对于网络传输应该精确地映射到哪个使用类别存在任何疑问时，应该选择候选的使用类别中具有最便宜费率的使用类别。另一个映射策略可指示，例如，如果给定的网络传输可映射到对应于相应服务S1和S2的两个不同的使用类别，那么所述网络传输应该映射到与S1相关联的使用类别。
可将由分类节点180产生的分类使用记录提供到提供者网络的计费节点(元素620)。在所描绘的实施方案中，在计费节点处可产生针对客户端使用的网络带宽有待向客户端收取的计费金额(元素625)。在一些实施方案中，可在CN本身处产生计费记录，例如，可通过提供者网络的相同节点或在提供者网络的相同节点处执行产生分类使用记录和产生计费金额的功能。
图7是示出根据至少一些实施方案的操作的各方面的流程图，所述操作可由内核模式计量部件(例如，KMC 110)和用户模式计量部件(例如，UMC 111)在虚拟化主机处执行。在图7的左半边示出KMC 110的操作，而在右半边示出UMC 111的操作。如元素701中所示，KMC 110可动态地确定下一时间窗期间(例如，X秒或分钟)针对网络元数据收集的计量模式或收集模式。可基于各种因素(诸如在最近的时间窗期间观察到的IP扇出、KMC可用的存储器或计算资源、生效的收集策略215)和/或基于从对应的UMC 111或提供者网络102的某个其他部件接收到的反馈来确定收集模式。在所描绘的实施方案中，示出收集模式的两个示例：精确收集，其中收集针对每个网络传输或数据包的元数据；和简化模式，其中收集仅针对传输或数据包的子集的元数据。如果选择精确模式用于下一时间窗(如元素704中所确定)，那么可收集针对每个传输或数据包的元数据诸如端点地址信息(元素708)。如果选择简化模式(也如元素704中所确定)，那么可使用例如采样技术来捕获仅针对传输或数据包的子集的元数据(元素712)。在所描绘的实施方案中，无论是精确模式还是简化模式用于元数据收集，KMC都可将时间戳和虚拟化资源ID添加到元数据(元素714)并且将所述元数据传送到UMC 111(元素714)。KMC随后可确定下一时间窗的收集模式并且向前重复对应于元素701的操作。
在所描绘的实施方案中，UMC 111可被配置成接收来自CN 180和/或来自提供者网络102的网络监视器的反馈(元素751)。所述反馈可指示，例如，CN多忙，或UMC与CN之间的网络路径多忙，从而可帮助UMC 111来确定是否应该改变所收集的元数据量或将其传送到CN的速率。UMC 111可接收来自KMC 110的下一元数据集合(元素753)。基于来自CN和/或网络监视器的反馈，和/或基于从KMC 110接收的元数据量(所述元数据量可以是主机处的IP扇出的指示)，UMC 111可确定是否应该修改KMC 110处的收集模式(元素754)。如果UMC确定应该修改所述模式，那么可将适当的反馈提供到KMC(元素755)。反馈模式可例如向KMC 110指示，从UMC的角度来说，从当前的简化模式切换到精确模式是可接受的，或可指示建议从精确模式切换到简化模式。KMC 110基于反馈可改变或可不改变收集模式–例如，如果在KMC本身处检测到资源限制，那么在一个实施方案中，KMC可基于那些资源限制而不考虑从UMC接收的反馈来确定收集模式。
在所描绘的实施方案中，UMC 111可例如基于来自CN的反馈或从KMC 110接收到的数据量来修改其聚集参数(诸如所使用的分组技术、块大小或用于将元数据传输到CN 180的块传输调度)(元素757)。在实施多个CN的一个实施方案中，UMC 111可选择用于聚集元数据的下一传输的不同CN–例如，在通向先前使用的CN的网络路径被过分利用时或在先前使用的CN超载时。随后可将下一元数据块传送到适当的CN(元素760)。UMC 111可等待接收来自CN或网络监视器的下一反馈集合和/或来自KMC 110的下一元数据集合，并且向前重复对应于元素751的操作。
图8是示出根据至少一些实施方案的操作的各方面的流程图，所述操作可执行来产生附有时间索引的网络拓扑信息。如元素801中所示，可在拓扑观察仪(TO)节点188处收集关于联网配置变化的信息。在一些实施方案中，可通过检测例如来自转接中心152或提供者网络的其他边缘位置处的路由器、来自客户端网络130处的联网装置、来自用于在提供者网络中实施的服务的各个服务管理器和/或来自与公共互联网相关联的路由器的BGP路由通告来收集信息。在一些实施方案中，TO节点188也可收集例如来自私用网络服务管理器144的关于新近建立的私用网络或私用网络配置的变化的信息。在一个实施方案中，可从内部拓扑SM 145获得关于在提供者网络内使用的网络路由变化的信息。使用所收集的信息，TO节点188可将带时间戳的拓扑信息传送到拓扑权威机构183(元素804)。在一些实施方案中，与给定的拓扑信息集合相关联的时间戳可以是隐含的，例如，如果拓扑权威机构183在时间T1处和稍后在时间T2处接收来自TO节点188的拓扑信息，并且任一拓扑信息集合都不包括明显的时间戳，那么可假定在时间T2处接收的拓扑信息适用于大约在时间(T1+T2)/2(或在时间T1+Δ处，其中Δ是某个小的时间间隔)处开始。
在所描绘的实施方案中，在拓扑权威机构183处，从一个或多个TO节点188接收到的带时间戳的拓扑信息可被组织成附有时间索引的联网拓扑记录，并且可存储在数据库中(元素808)。附有时间索引的记录可由CN使用来确定，对于在给定时间Tk处发生的任何给定的网络传输(所述网络传输的元数据稍后在CN处接收)来说，网络拓扑在时间Tk处生效。在一些大的提供者网络中，在一些实施方案中，分开的拓扑记录可被存储用于网络的各个子部分。如以上指出，在一些实施方案中，可针对不同的客户端维持相应的附有时间索引的拓扑网络表示，因为所述客户端中的至少一些可能已经建立私用网络并且因此可能已经建立仅适用于其并且不适用于其他客户端的网络配置。
当在CN处接收聚集的元数据(具有针对在元数据中表示的网络传输的相关联定时信息)时(元素812)，可通过例如将传输定时与附有时间索引的拓扑记录相匹配来产生针对元数据的分类使用记录(元素816)。在一些实施方案中，随后可将分类使用记录传送到计费节点185。在一些实施方案中，如前所述，CN 180也可任选地被配置成执行审核功能，其中例如将来自提供者网络的一组源节点的流量的净流出与在假定目的地节点处的网络流量的实际流入相比较，并且如果检测到异常，则可发起调查(元素820)。
注意，在各种实施方案中，图6、图7和图8中所示出操作中的一些可不以所示的次序执行或可并行执行。在一些实施方案中，所示出操作中的一些可省略–例如，在一个实施方案中可不实施拓扑观察仪节点，并且在这种实施方案中可不执行元素801中所示出的操作，或可在提供者网络的不同部件处执行。
使用案例
在各种不同的情境下，实施基于有效地址的网络流量计量的上述技术对于提供者网络可以是有用的。例如，当提供者网络变成越来越大的大小时，并且当在提供者网络中提供的各种服务增加时，仅基于服务API调用的计量网络流量可能是不够的，因为大部分流量可不链接到特定的服务API调用。此外，当不同IP地址(流量从提供者网络的给定的虚拟化主机流动到所述IP地址)的数量增加时，在虚拟化主机本身上执行计量过程的所有方面是不可实行的。这种方法可例如需要关于在虚拟化主机处待复制的整个网络的拓扑信息，所述拓扑信息可能消耗远远多于理想上应该贡献给客户端工作负载的资源(例如，存储器或CPU周期)。
也可将引入的特征诸如在转接中心处连至客户端网络的私用和直接物理链路以及私用网络和私用网络与客户端网络之间的VPN，添加到拓扑信息，所述拓扑信息被需要用于将网络流量准确分配给客户端。具有负责低级别计量、拓扑变化观察以及出于计费目的将流量分类成使用类别的不同组部件的分布式计量系统的使用在此类情境下可以是尤其有益的。
示例实施方案
本公开的实施方案可鉴于以下条款来描述：
1.一种系统，其包括被配置成执行以下操作的多个计算装置：
在包括多个主机的提供者网络的主机上的第一计量部件处确定包括(a)端点地址信息和(b)流量度量的联网元数据，其中所述联网元数据与一个或多个网络传输相关联，至少一个端点包括针对所述一个或多个网络传输在所述主机处例示的虚拟化资源；
由所述第一计量部件向所述主机上的第二计量部件提供在所述第一计量部件处确定的至少所述联网元数据的子集；
根据主机上聚集策略在所述第二计量部件处聚集来自至少所述第一计量部件的联网元数据；
将聚集联网元数据从所述第二计量部件传送到所述提供者网络的流量分类节点；
在所述流量分类节点处，至少部分地基于从至少所述多个主机的子集获得的聚集联网元数据并且至少部分地基于与所述提供者网络相关联的网络拓扑的表示来产生分类使用记录集合，其中所述分类使用记录集合中的特定使用记录指示将与所述一个或多个网络传输相关联的特定可计费使用类别；
将所述分类使用记录集合从所述流量分类节点提供到所述提供者网络的计费节点；以及
使用所述分类使用记录集合在所述计费节点处确定针对所述一个或多个网络传输有待收取的计费金额。
2.根据条款1所述的系统，其中所述第一计量部件包括所述主机处的管理软件堆栈的内核模式部件，并且其中所述第二计量部件包括所述管理软件堆栈的用户模式部件。
3.根据条款1所述的系统，其中所述一个或多个网络传输包括网络数据包集合，一个端点包括针对所述网络数据包集合在所述主机处例示的所述虚拟化资源，其中所述集合的第二端点具有特定的互联网协议(IP)地址，其中所述地址端点信息包括所述特定的IP地址，其中所述流量度量包括在所述网络数据包集合中传送的字节数，并且其中所述联网元数据包括将所述虚拟化资源与在所述主机上例示的不同的虚拟化资源区分开的所述虚拟化资源的标识信息。
4.根据条款1所述的系统，其中所述主机上聚集策略包括以下各项中的一个或多个：(a)可用于确定有待传送到所述分类节点的聚集联网元数据的量的块大小确定策略；(b)可用于确定将所述聚集联网元数据传送到所述分类节点所依据的调度的块调度策略；(c)分类节点选择策略；(d)用于传送所述聚集联网元数据的压缩策略；(e)可用于在传送所述聚集联网元数据之前组合针对IP地址集合的联网元数据的分组策略；或(f)可用于选择有待传送到所述分类节点的所述聚集联网元数据的子集的采样策略。
5.根据条款1所述的系统，其中所述多个计算装置被配置成：
在所述提供者网络的一个或多个拓扑观察仪节点处收集网络配置信息，所述网络配置信息包括与所述提供者网络的至少一部分相关联的路由信息；以及
将所述网络配置信息和相关联时间戳传送到拓扑权威机构节点，所述拓扑权威机构节点被配置成至少部分地基于所述路由信息和所述相关联时间戳产生所述网络拓扑的所述表示。
6.根据条款1所述的系统，其中所述特定可计费使用类别包括以下各项中的至少一个：(a)本地提供者网络类别；(b)区域间提供者网络类别；(c)提供者网络外部类别；(d)与在所述提供者网络处实施的特定多租户服务相关联的类别；(e)与在所述提供者网络内代表客户端建立的私用网络相关联的类别；或(f)与在所述提供者网络的边缘节点处建立的用于连接客户端网络与所述提供者网络的直接物理网络链路相关联的类别。
7.一种方法，其包括：
在包括多个主机的提供者网络的主机上的第一计量部件处确定包括(a)端点地址信息和(b)流量度量的联网元数据，其中所述联网元数据与一个或多个网络传输相关联，至少一个端点包括针对所述一个或多个网络传输在所述主机处例示的虚拟化资源；
根据聚集策略在第二计量部件处聚集来自至少所述第一计量部件的联网元数据；
在所述提供者网络的流量分类节点处，至少部分地基于从至少所述第二计量部件获得的聚集联网元数据并且至少部分地基于与所述提供者网络相关联的网络拓扑的表示来产生对应于所述一个或多个网络传输的一个或多个分类使用记录；以及
使用所述一个或多个分类使用记录确定针对所述一个或多个网络传输有待收取的计费金额。
8.根据条款7所述的方法，其中所述第一计量部件包括所述主机处的管理软件堆栈的内核模式部件，并且其中所述第二计量部件包括所述管理软件堆栈的用户模式部件。
9.根据条款7所述的方法，其中所述一个或多个网络传输包括网络数据包集合，一个端点包括针对所述网络数据包集合在所述主机处例示的所述虚拟化资源，其中所述集合的第二端点具有特定的互联网协议(IP)地址，其中所述地址端点信息包括所述特定的IP地址，其中所述流量度量包括在所述网络数据包集合中传送的字节数，并且其中所述联网元数据包括将所述虚拟化资源与在所述主机上例示的不同的虚拟化资源区分开的所述虚拟化资源的标识信息。
10.根据条款7所述的方法，其中所述聚集策略包括以下各项中的一个或多个：(a)可用于确定有待传送到所述分类节点的聚集联网元数据的量的块大小确定策略；(b)可用于确定将所述聚集联网元数据传送到所述分类节点所依据的调度的块调度策略；(c)分类节点选择策略；(d)用于传送所述聚集联网元数据的压缩策略；(e)可用于在传送所述聚集联网元数据之前组合针对IP地址集合的联网元数据的分组策略；或(f)可用于选择有待传送到所述分类节点的所述聚集联网元数据的子集的采样策略。
11.根据条款7所述的方法，其还包括：
在所述提供者网络的一个或多个拓扑观察仪节点处收集与所述提供者网络的至少一部分相关联的联网配置信息；以及
将所述联网配置信息和相关联时间戳传送到拓扑权威机构节点，所述拓扑权威机构节点被配置成至少部分地基于所述联网配置信息和所述相关联时间戳产生所述网络拓扑的所述表示。
12.根据条款7所述的方法，其中所述一个或多个分类使用记录包括指示所述一个或多个网络传输的可计费使用类别的特定使用记录，其中所述可计费使用类别包括以下各项中的至少一个：(a)本地提供者网络类别；(b)区域间提供者网络类别；(c)提供者网络外部类别；(d)与在所述提供者网络处实施的特定多租户服务相关联的类别；(e)与在所述提供者网络内代表客户端建立的私用网络相关联的类别；或(f)与在所述提供者网络的边缘节点处建立的用于连接客户端网络与所述提供者网络的直接物理网络链路相关联的类别。
13.一种存储程序指令的非暂时性计算机可访问存储介质，当在一个或多个处理器上执行时所述程序指令：
在提供者网络的主机处产生多个联网元数据记录，其中所述多个联网元数据记录中的特定联网元数据记录对应于在所述主机处检测到的一个或多个网络传输，其中所述特定联网元数据记录包括(a)所述一个或多个网络传输的端点地址信息和(b)流量度量；
至少部分地基于所述端点地址信息在所述主机处聚集所述多个联网元数据；以及
将聚集联网元数据从所述主机传送到所述提供者网络的流量分类节点，其中所述流量分类节点被配置成至少部分地基于与所述提供者网络相关联的网络拓扑的表示来产生对应于所述一个或多个网络传输的分类使用记录。
14.根据条款13所述的非暂时性计算机可访问存储介质，其中当在所述一个或多个处理器上执行时所述程序指令与在所述主机处执行的内核模式部件进行通信以产生所述特定联网元数据记录。
15.根据条款13所述的非暂时性计算机可访问存储介质，其中所述一个或多个网络传输包括网络数据包集合，一个端点包括针对所述网络数据包集合在所述主机处例示的虚拟化资源，其中所述集合的第二端点具有特定的互联网协议(IP)地址，其中所述地址端点信息包括所述特定的IP地址，其中所述流量度量包括在所述网络数据包集合中传送的字节数，并且其中所述特定联网元数据记录包括将所述虚拟化资源与在所述主机上例示的不同的虚拟化资源区分开的所述虚拟化资源的标识信息。
16.根据条款13所述的非暂时性计算机可访问存储介质，其中当在所述一个或多个处理器上执行时所述程序指令至少部分地基于聚集策略来聚集所述多个联网元数据记录，所述聚集策略包括以下各项中的一个或多个：(a)可用于确定有待传送到所述分类节点的聚集联网元数据的量的块大小确定策略；(b)可用于确定将所述聚集联网元数据传送到所述分类节点所依据的调度的块调度策略；(c)分类节点选择策略；(d)用于传送所述聚集联网元数据的压缩策略；(e)可用于在传送所述聚集联网元数据之前组合针对IP地址集合的联网元数据的分组策略；或(f)可用于选择有待传送到所述分类节点的所述聚集联网元数据的子集的采样策略。
17.根据条款13所述的非暂时性计算机可访问存储介质，其中当在所述一个或多个处理器上执行时所述程序指令：
至少部分地基于与在另一个时间段期间检测到的网络传输相关联的许多不同端点地址的计数，确定是否将收集对应于在特定时间段期间的每个网络传输的联网元数据记录；以及
响应于确定将不收集对应于每个网络传输的联网元数据记录，利用采样方法在所述特定时间段期间产生一个或多个联网元数据记录。
18.一种存储程序指令的非暂时性计算机可访问存储介质，当在一个或多个处理器上执行时所述程序指令：
获得对应于提供者网络的至少一部分的网络拓扑的表示，其中所述表示是由所述提供者网络的拓扑权威机构产生并且是至少部分地基于由所述提供者网络的一个或多个拓扑观察仪节点收集的网络配置信息；
从在所述提供者网络的一个或多个虚拟化主机处的计量部件接收与在所述一个或多个虚拟化主机处检测到的网络传输相关联的多个联网元数据记录，其中所述多个联网元数据记录中的特定联网元数据记录包括端点地址信息和流量度量；
至少部分地基于所述多个联网元数据记录并且至少部分地基于所述网络拓扑的所述表示，产生分类使用记录集合，其中所述分类使用记录集合可用于确定与在所述一个或多个虚拟化主机处检测到的所述网络传输相关联的计费金额。
19.根据条款18所述的非暂时性计算机可访问存储介质，其中所述网络配置信息包括与路由变化相关联的一个或多个时间戳，并且其中所述网络拓扑的所述表示是附有时间索引的。
20.根据条款18所述的非暂时性计算机可访问存储介质，其中所述集合的特定分类使用记录包括可计费使用类别的指示，所述可计费使用类别包括以下各项中的至少一个：(a)本地提供者网络类别；(b)区域间提供者网络类别；(c)提供者网络外部类别；(d)与在所述提供者网络处实施的特定多租户服务相关联的类别；(e)与在所述提供者网络内代表客户端建立的私用网络相关联的类别；或(f)与在所述提供者网络的边缘节点处建立的用于连接客户端网络与所述提供者网络的直接物理网络链路相关联的类别。
说明性计算机系统
在至少一些实施方案中，实施本文所述的技术中的一个或多个的一部分或全部的服务器可包括通用计算机系统，其包括一个或多个计算机可访问介质或被配置成访问一个或多个计算机可访问介质，所述技术包括用于实施KMC 110、UMC 111、CN 180、拓扑权威机构183和/或TO节点188的技术。图9示出这种通用计算装置3000。在所示的实施方案中，计算装置3000包括通过输入/输出(I/O)接口3030耦接至系统存储器3020的一个或多个处理器3010。计算装置3000还包括耦接到I/O接口3030的网络接口3040。
在各种实施方案中，计算装置3000可以是包括一个处理器3010的单一处理器系统，或包括若干处理器3010(例如两个、四个、八个或另一合适数量)的多处理器系统。处理器3010可以是能够执行指令的任何合适的处理器。例如，在各种实施方案中，处理器3010可以是实施各种指令集架构(ISA)中任何一种架构的通用或嵌入式处理器，所述架构诸如x86、PowerPC、SPARC、或MIPS ISA或任何其他合适ISA。在多处理器系统中，每一个处理器3010可通常但不一定实施相同的ISA。
系统存储器3020可以被配置成存储可由处理器3010访问的指令和数据。在各种实施方案中，系统存储器3020可使用任何合适存储器技术来实施，所述存储器技术诸如静态随机存取存储器(SRAM)、同步动态RAM(SDRAM)、非易失性/快闪型存储器或任何其他类型的存储器。在所示的实施方案中，实施一个或多个期望功能的程序指令和数据(诸如上述那些方法、技术以及数据)被示出作为代码3025和数据3026存储在系统存储器3020内。
在一个实施方案中，I/O接口3030可被配置成协调处理器3010、系统存储器3020和装置中的任何外围装置之间的I/O流量，所述外围装置包括网络接口3040或其他外围接口。在一些实施方案中，I/O接口3030可执行任何必需协议、时序或其他数据转换以便将来自一个部件(例如，系统存储器3020)的数据信号转换成适合于由另一个部件(例如，处理器3010)使用的格式。在一些实施方案中，I/O接口3030可包括对于通过各种类型的外围总线附接的装置的支持，所述外围总线例如像外围部件互连(PCI)总线标准或通用串行总线(USB)标准的变化形式。在一些实施方案中，I/O接口3030的功能可分到两个或更多个单独的部件中，例如像北桥和南桥。另外，在一些实施方案中，I/O接口3030的一些或所有功能，例如至系统存储器3020的接口，可直接并入处理器3010中。
网络接口3040可以被配置成允许数据在计算装置3000与附接到一个或多个网络3050的其他装置3060(例如像如图1至图8所示的其他计算机系统或装置，例如包括充当客户端的各种装置)之间进行交换。在各个实施方案中，网络接口3040可以支持经由任何合适的有线或无线通用数据网络(例如像以太网网络类型)进行通信。另外，网络接口3040可以支持通过电信/电话网络(如模拟语音网络或数字光纤通信网络)、通过存储区域网络(如光纤信道SAN)或通过任何其他合适类型的网络和/或协议进行通信。
在一些实施方案中，系统存储器3020可以是被配置成存储如上文参照图1至图8所描述的以用于实施对应方法和设备的实施方案的程序指令和数据的计算机可访问介质的一个实施方案。然而，在其他实施方案中，可以在不同类型的计算机可访问介质上接收、发送或存储程序指令和/或数据。一般来说，计算机可访问的介质可包括非暂时性储存介质或存储器介质，诸如磁性介质或光学介质，例如通过I/O接口3030耦接至计算装置3000的磁盘或DVD/CD。非暂时性计算机可访问存储介质还可以包括可作为系统存储器3020或另一类型的存储器被包括在计算装置3000的一些实施方案中的任何易失性或非易失性介质，诸如RAM(例如，SDRAM、DDR SDRAM、RDRAM、SRAM等)、ROM等。另外，计算机可访问介质可以包括传输介质或信号，诸如通过通信介质(诸如网络和/或无线链路)传送的电信号、电磁信号或数字信号，诸如可以通过网络接口3040来实施。多个计算装置(诸如图9中所示的计算装置)中的部分或全部可用于实施各种实施方案中的所描述功能；例如，在多种不同装置和服务器上运行的软件部件可协作来提供所述功能。在一些实施方案中，除了或代替使用通用计算机系统来实施，所描述功能的部分可使用存储装置、网络装置或专用计算机系统来实施。如本文所用，术语“计算装置”是指至少所有这些类型的装置，并且不限于这些类型的装置。
结论
各种实施方案还可包括根据以上描述实施于计算机可访问介质上的指令和/或数据的接收、发送或存储。一般来说，计算机可访问介质可以包括存储介质或存储器介质(诸如磁性介质或光学介质(例如磁盘或DVD/CD-ROM)、易失性或非易失性介质(诸如RAM(例如，SDRAM、DDR、RDRAM、SRAM等)、ROM等))以及传输介质或信号(诸如通过通信介质(诸如网络和/或无线链路)传送的信号(诸如电信号、电磁信号或数字信号))。
如在图中所示和本文所描述的各种方法表示方法的示例性实施方案。所述方法可以软件、硬件或其组合实施。方法的顺序可以改变，并且各个元素可以被添加、重新排序、组合、省略、修改等。
受益于本公开的本领域技术人员将清楚可进行各种修改和变化。本发明旨在包含所有这些修改和变化，并且相应地，以上描述应视为具有说明性而非限制性意义。

Claims (15)

1.一种用于网络带宽计量的方法，其包括：
在包括多个主机的提供者网络的主机上的第一计量部件处确定包括(a)端点地址信息和(b)流量度量的联网元数据，其中所述联网元数据与一个或多个网络传输相关联，至少一个端点包括针对所述一个或多个网络传输在所述主机处例示的虚拟化资源；
根据聚集策略在第二计量部件处聚集来自至少所述第一计量部件的联网元数据；
在所述提供者网络的流量分类节点处，至少部分地基于从至少所述第二计量部件获得的聚集联网元数据并且至少部分地基于与所述提供者网络相关联的网络拓扑的表示来产生对应于所述一个或多个网络传输的一个或多个分类使用记录；以及
使用所述一个或多个分类使用记录确定针对所述一个或多个网络传输有待收取的计费金额。
2.根据权利要求1所述的方法，其中所述第一计量部件包括所述主机处的管理软件堆栈的内核模式部件，并且其中所述第二计量部件包括所述管理软件堆栈的用户模式部件。
3.根据权利要求1所述的方法，其中所述一个或多个网络传输包括网络数据包集合，一个端点包括针对所述网络数据包集合在所述主机处例示的所述虚拟化资源，其中所述集合的第二端点具有特定的互联网协议(IP)地址，其中所述地址端点信息包括所述特定的IP地址，其中所述流量度量包括在所述网络数据包集合中传送的字节数，并且其中所述联网元数据包括将所述虚拟化资源与在所述主机上例示的不同的虚拟化资源区分开的所述虚拟化资源的标识信息。
4.根据权利要求1所述的方法，其中所述聚集策略包括以下各项中的一个或多个：(a)可用于确定有待传送到所述分类节点的聚集联网元数据的量的块大小确定策略；(b)可用于确定将所述聚集联网元数据传送到所述分类节点所依据的调度的块调度策略；(c)分类节点选择策略；(d)用于传送所述聚集联网元数据的压缩策略；(e)可用于在传送所述聚集联网元数据之前组合针对IP地址集合的联网元数据的分组策略；或(f)可用于选择有待传送到所述分类节点的所述聚集联网元数据的子集的采样策略。
5.根据权利要求1所述的方法，其还包括：
在所述提供者网络的一个或多个拓扑观察仪节点处收集与所述提供者网络的至少一部分相关联的联网配置信息；以及
将所述联网配置信息和相关联时间戳传送到拓扑权威机构节点，所述拓扑权威机构节点被配置成至少部分地基于所述联网配置信息和所述相关联时间戳产生所述网络拓扑的所述表示。
6.根据权利要求1所述的方法，其中所述一个或多个分类使用记录包括指示所述一个或多个网络传输的可计费使用类别的特定使用记录，其中所述可计费使用类别包括以下各项中的至少一个：(a)本地提供者网络类别；(b)区域间提供者网络类别；(c)提供者网络外部类别；(d)与在所述提供者网络处实施的特定多租户服务相关联的类别；(e)与在所述提供者网络内代表客户端建立的私用网络相关联的类别；或(f)与在所述提供者网络的边缘节点处建立的用于连接客户端网络与所述提供者网络的直接物理网络链路相关联的类别。
7.一种用于网络带宽计量的系统，其包括：
在提供者网络上的主机，所述主机被配置成：
产生多个联网元数据记录，其中所述多个联网元数据记录中的特定联网元数据记录对应于在所述主机处检测到的一个或多个网络传输，其中所述特定联网元数据记录包括(a)所述一个或多个网络传输的端点地址信息和(b)流量度量；
至少部分地基于所述端点地址信息在所述主机处聚集所述多个联网元数据；以及
将聚集联网元数据从所述主机传送到所述提供者网络的流量分类节点，其中所述流量分类节点被配置成至少部分地基于与所述提供者网络相关联的网络拓扑的表示来产生对应于所述一个或多个网络传输的分类使用记录。
8.根据权利要求7所述的系统，其中所述主机包括内核模式部件，所述内核模式部件被配置成在一个或多个处理器上执行以产生所述特定联网元数据记录。
9.根据权利要求7所述的系统，其中所述一个或多个网络传输包括网络数据包集合，一个端点包括针对所述网络数据包集合在所述主机处例示的虚拟化资源，其中所述集合的第二端点具有特定的互联网协议(IP)地址，其中所述地址端点信息包括所述特定的IP地址，其中所述流量度量包括在所述网络数据包集合中传送的字节数，并且其中所述特定联网元数据记录包括将所述虚拟化资源与在所述主机上例示的不同的虚拟化资源区分开的所述虚拟化资源的标识信息。
10.根据权利要求7所述的系统，其中所述主机还被配置成至少部分地基于聚集策略来聚集所述多个联网元数据记录，所述聚集策略包括以下各项中的一个或多个：(a)可用于确定有待传送到所述分类节点的聚集联网元数据的量的块大小确定策略；(b)可用于确定将所述聚集联网元数据传送到所述分类节点所依据的调度的块调度策略；(c)分类节点选择策略；(d)用于传送所述聚集联网元数据的压缩策略；(e)可用于在传送所述聚集联网元数据之前组合针对IP地址集合的联网元数据的分组策略；或(f)可用于选择有待传送到所述分类节点的所述聚集联网元数据的子集的采样策略。
11.根据权利要求7所述的系统，其中所述主机还被配置成：
至少部分地基于与在另一个时间段期间检测到的网络传输相关联的许多不同端点地址的计数，确定是否将收集对应于在特定时间段期间的每个网络传输的联网元数据记录；以及
响应于确定将不收集对应于每个网络传输的联网元数据记录，利用采样方法在所述特定时间段期间产生一个或多个联网元数据记录。
12.根据权利要求7所述的系统，其还包括被配置成执行以下操作的所述分类节点：
获得对应于所述提供者网络的至少一部分的所述网络拓扑的表示，其中所述表示是由所述提供者网络的拓扑权威机构产生并且是至少部分地基于由所述提供者网络的一个或多个拓扑观察仪节点收集的网络配置信息；
从所述提供者网络中的所述主机接收所述聚集联网元数据；以及
至少部分地基于所述多个聚集联网元数据并且至少部分地基于所述网络拓扑的所述表示，产生分类使用记录集合，其中所述分类使用记录集合可用于确定与在所述主机处检测到的所述网络传输相关联的计费金额。
13.根据权利要求12所述的系统，其中所述网络配置信息包括与路由变化相关联的一个或多个时间戳，并且其中所述网络拓扑的所述表示是附有时间索引的。
14.根据权利要求12所述的系统，其中所述集合的特定分类使用记录包括可计费使用类别的指示，所述可计费使用类别包括以下各项中的至少一个：(a)本地提供者网络类别；(b)区域间提供者网络类别；(c)提供者网络外部类别；(d)与在所述提供者网络处实施的特定多租户服务相关联的类别；(e)与在所述提供者网络内代表客户端建立的私用网络相关联的类别；或(f)与在所述提供者网络的边缘节点处建立的用于连接客户端网络与所述提供者网络的直接物理网络链路相关联的类别。
15.根据权利要求7所述的系统，其中在所述主机处的所述多个联网元数据记录是针对在所述主机上运行的多个客户虚拟机。
CN201480040905.XA 2013-05-21 2014-05-21 大规模网络中的带宽计量 Active CN105408881B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/898,570 2013-05-21
US13/898,570 US9672503B2 (en) 2013-05-21 2013-05-21 Bandwidth metering in large-scale networks
PCT/US2014/039023 WO2014190084A1 (en) 2013-05-21 2014-05-21 Bandwidth metering in large-scale networks

Publications (2)

Publication Number Publication Date
CN105408881A CN105408881A (zh) 2016-03-16
CN105408881B true CN105408881B (zh) 2018-04-10

Family

ID=51934119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480040905.XA Active CN105408881B (zh) 2013-05-21 2014-05-21 大规模网络中的带宽计量

Country Status (8)

Country Link
US (1) US9672503B2 (zh)
EP (1) EP3000051B1 (zh)
JP (1) JP6307597B2 (zh)
CN (1) CN105408881B (zh)
AU (1) AU2014268553B2 (zh)
CA (1) CA2912630C (zh)
SG (1) SG11201509489PA (zh)
WO (1) WO2014190084A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102263704B (zh) * 2011-09-01 2014-03-26 杭州华三通信技术有限公司 一种支持数据中心二层互联的拓扑构建方法和装置
CN104106240B (zh) * 2012-02-24 2017-10-10 华为技术有限公司 覆盖网络中转发和地址解析的平衡
US20150236910A1 (en) * 2014-02-18 2015-08-20 Telefonaktiebolaget L M Ericsson (Publ) User categorization in communications networks
US10003530B2 (en) * 2014-07-22 2018-06-19 Futurewei Technologies, Inc. Service chain header and metadata transport
WO2016018440A1 (en) * 2014-08-01 2016-02-04 Hewlett-Packard Development Company, L.P. Billing consumption of cloud-based resources
US9916229B2 (en) * 2015-10-14 2018-03-13 International Business Machines Corporation Decomposing application topology data into transaction tracking data
US10298467B2 (en) * 2015-11-08 2019-05-21 RRC Networks Oy Methods and systems for configuring communication networks
US10701040B2 (en) * 2016-05-23 2020-06-30 Amazon Technologies, Inc. Protecting content-stream portions from modification or removal
US10432697B2 (en) * 2016-07-26 2019-10-01 Salesforce.Com, Inc. Method and system for re-deploying metadata and associated data from a source organization to a destination organization
US10341241B2 (en) * 2016-11-10 2019-07-02 Hughes Network Systems, Llc History-based classification of traffic into QoS class with self-update
US10225275B1 (en) * 2017-06-29 2019-03-05 Syniverse Technologies, Llc Method for computationally detecting anomalies of digital device behavior on a communications network
US11483241B2 (en) * 2020-09-30 2022-10-25 Fortinet, Inc. Network traffic metering credit distribution in network device having multiple processing units
WO2023230953A1 (en) * 2022-06-01 2023-12-07 Microsoft Technology Licensing, Llc System for disambiguating composite egress traffic for routing and other control

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2344265B (en) 1997-11-20 2003-07-16 Xacct Technologies Inc Network accounting and billing system and method
CN1258723C (zh) 1999-06-30 2006-06-07 倾向探测公司 用于监控网络流量的方法和设备
JP2001069476A (ja) * 1999-08-26 2001-03-16 Casio Comput Co Ltd 課金機能を備えるネットワーク接続システム
US20030046396A1 (en) * 2000-03-03 2003-03-06 Richter Roger K. Systems and methods for managing resource utilization in information management environments
JP2002222243A (ja) * 2001-01-25 2002-08-09 Nippon Telegr & Teleph Corp <Ntt> 随時入札方法とそれを用いた経路価格決定方法および通信品質制御方法、ならびに装置とプログラム
US7664028B1 (en) * 2001-03-05 2010-02-16 Pmc-Sierra Ltd. Apparatus and method for metering and marking data in a communication system
US7113477B1 (en) 2001-11-09 2006-09-26 Alcatel Traffic measurement collection in a telecommunication network
US20030123442A1 (en) 2001-12-27 2003-07-03 Drucker Benjamin T. Distributed usage metering of multiple networked devices
US7254562B2 (en) * 2002-07-11 2007-08-07 Hewlett-Packard Development Company, L.P. Rule-based packet selection, storage, and access method and system
US7366174B2 (en) 2002-12-17 2008-04-29 Lucent Technologies Inc. Adaptive classification of network traffic
US8010082B2 (en) * 2004-10-20 2011-08-30 Seven Networks, Inc. Flexible billing architecture
US7894434B2 (en) * 2006-07-03 2011-02-22 Hewlett-Packard Development Company, L.P. Method, apparatus, and system for capturing traffic statistics between two sites of MPLS based VPN
US7936732B2 (en) 2007-09-27 2011-05-03 Cisco Technology, Inc. Selecting aggregation nodes in a network
US9178785B1 (en) * 2008-01-24 2015-11-03 NextAxiom Technology, Inc Accounting for usage and usage-based pricing of runtime engine
US8312217B2 (en) 2008-12-30 2012-11-13 Rasilient Systems, Inc. Methods and systems for storing data blocks of multi-streams and multi-user applications
WO2010099514A2 (en) 2009-02-27 2010-09-02 Coach Wei System and method for computer cloud management
US20100223364A1 (en) 2009-02-27 2010-09-02 Yottaa Inc System and method for network traffic management and load balancing
WO2010140015A1 (en) 2009-06-03 2010-12-09 Telefonaktiebolaget L M Ericsson (Publ) Congestion-based traffic metering
US8769083B2 (en) * 2009-08-31 2014-07-01 Red Hat, Inc. Metering software infrastructure in a cloud computing environment
EP2583211B1 (en) * 2010-06-15 2020-04-15 Oracle International Corporation Virtual computing infrastructure
CA2857458A1 (en) * 2010-07-26 2012-02-09 Michael Luna Mobile application traffic optimization
US9325662B2 (en) * 2011-01-07 2016-04-26 Seven Networks, Llc System and method for reduction of mobile network traffic used for domain name system (DNS) queries
US9571354B2 (en) 2011-03-28 2017-02-14 Citrix Systems, Inc. Systems and methods for tracking application layer flow via a multi-connection intermediary device
US8935389B2 (en) 2011-05-17 2015-01-13 Guavus, Inc. Method and system for collecting and managing network data
US8489679B2 (en) 2011-08-16 2013-07-16 Fluke Corporation Method and apparatus for monitoring network traffic and determining the timing associated with an application
US8612599B2 (en) 2011-09-07 2013-12-17 Accenture Global Services Limited Cloud service monitoring system
US9148381B2 (en) 2011-10-21 2015-09-29 Qualcomm Incorporated Cloud computing enhanced gateway for communication networks
US9178767B2 (en) * 2011-12-09 2015-11-03 Telefonaktiebolaget L M Ericsson (Publ) Intelligent traffic quota management in split-architecture networks
CN103166989B (zh) * 2011-12-13 2017-04-12 中国电信股份有限公司 面向云计算的资源使用计量方法和系统
US9336061B2 (en) * 2012-01-14 2016-05-10 International Business Machines Corporation Integrated metering of service usage for hybrid clouds
US9326189B2 (en) * 2012-02-03 2016-04-26 Seven Networks, Llc User as an end point for profiling and optimizing the delivery of content and data in a wireless network
CN103634774B (zh) * 2012-08-21 2018-08-14 中兴通讯股份有限公司 一种对无线侧本地流量进行计费的方法和装置
US20140181984A1 (en) * 2012-12-21 2014-06-26 International Business Machines Corporation Method and apparatus for authentication of solution topology

Also Published As

Publication number Publication date
CN105408881A (zh) 2016-03-16
EP3000051B1 (en) 2019-08-21
CA2912630A1 (en) 2014-11-27
WO2014190084A1 (en) 2014-11-27
AU2014268553B2 (en) 2017-04-13
EP3000051A1 (en) 2016-03-30
CA2912630C (en) 2018-06-05
US9672503B2 (en) 2017-06-06
JP2016526333A (ja) 2016-09-01
EP3000051A4 (en) 2017-02-22
SG11201509489PA (en) 2015-12-30
US20140351106A1 (en) 2014-11-27
JP6307597B2 (ja) 2018-04-04
AU2014268553A1 (en) 2015-12-03

Similar Documents

Publication Publication Date Title
CN105408881B (zh) 大规模网络中的带宽计量
US11831600B2 (en) Domain name system operations implemented using scalable virtual traffic hub
US11882017B2 (en) Automated route propagation among networks attached to scalable virtual traffic hubs
US10742446B2 (en) Interconnecting isolated networks with overlapping address ranges via scalable virtual traffic hubs
CN103917967B (zh) 用于配置中间盒的网络控制系统
Gohar et al. A big data analytics architecture for the internet of small things
US10785146B2 (en) Scalable cell-based packet processing service using client-provided decision metadata
US20200092193A1 (en) Scalable virtual traffic hub interconnecting isolated networks
CN107925588A (zh) 带外平台调整和配置
Moreschini et al. Cloud continuum: The definition
CN109587105A (zh) 基于策略的网络服务指纹识别
WO2002015481A2 (en) Methods, systems, and computer program products for managing a service provided by a network
US10042611B2 (en) Stream operator management
CN105959125A (zh) 一种网络数据流量计费系统及计费方法
US20220086075A1 (en) Collecting route-based traffic metrics in a service-oriented system
Król et al. Shard scheduler: Object placement and migration in sharded account-based blockchains
US20180253381A1 (en) Cache management in a stream computing environment that uses a set of many-core hardware processors
CN113553381A (zh) 一种基于管道的新式调度算法的分布式数据治理系统
EP3853708B1 (en) Scalable cell based packet processing service using client provided decision metadata
Colarusso et al. PROMENADE: A big data platform for handling city complex networks with dynamic graphs
US10841188B2 (en) Data tagging for service provider usage allocation
CN109003061A (zh) 一种跨行转账智能支付的方法
US20220038546A1 (en) Passive identification of service ports in containers
CN105103159B (zh) 用于处理系统调用的方法、装置和计算机存储介质
CN118158135A (zh) 集群性能测试方法及装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant