CN1801774A - 基于流的统计的应用会话管理 - Google Patents

Abstract

本发明描述了一种在通信网络中用于获取基于流的统计的流监控系统。将应用会话管理(ASM)功能合并到该系统中，以允许相对于网络应用定制基于流的统计。这是通过使ASM与普通的流监控功能性和网络应用相连系来收集和处理流统计并定制输出数据以匹配应用需求来完成的。

Description

基于流的统计的应用会话管理

技术领域

本发明涉及通信网络中的业务流监控，具体涉及有关汇集网络应用的流统计的系统和方法。

背景技术

基于流的统计使用从分组头提取的信息对网络业务进行分类，并能够提供比基于接口的分组计数更高级别的业务可视度。这些统计正成为帮助有效管理路由网和展开高级网络业务的重要工具。

从基于流的统计获益的网络应用包括基于使用的记帐、服务级协议(SLA)监控、通信业务工程、业务配置、网络安全系统和网络故障处理。这些应用中，记帐和SLA监控是端到端网络业务，仅仅使用在网络边缘，但是其他的可以使用在所有的网络位置，包括接入、边缘和核心位置。因此，有可能任何网络位置的节点都可以对多个应用提供流统计，并且可以期望边缘路由器在某种程度上支持所有这些应用。

尽管以上所有网络应用都使用基于流的统计，但是就流粒度而言，这些应用有不同的需求，即，什么领域包括在流定义中，和/或由取样速率确定的统计精度。现有的流监控系统没有考虑应用需求的变化，而是提供用于支持单个网络应用，或者试图提供需求中的“最小公分母”，并输出消耗无法接受的网络带宽数量的大量额外的数据。

Cisco系统公司的产品NetFlow，是现今最有效的流监控解决方案。其不仅广泛应用于在配置路由器上，而且已经开发出许多非主节点(off-node)工具以分析和显示NetFlow数据。同时为了1)在不同大小的网络路由器上使用，并且2)支持多个同时的应用，存在着流统计系统的其他例子，其不仅代表市场导向而且代表技术发展现状。尽管下面的论述中使用了“NetFlow”这个术语，应当将其理解为这里所有的分析也应用于其他供应商部署的“类NetFlow”系统。

NetFlow结构有三个主要元素，如图1所示。第一个也是最重要的是包含在部署在网络节点的互联网络操作系统(IOS)软件中的“NetFlow数据输出”特征。当激活NetFlow时，基于从分组头第3层和第4层中提取的5元信息(即，源IP地址、目的IP地址、源TCP/UDP端口、目的TCP/UDP端口、协议类型)，“流高速缓存”保持在数据通路中。高速缓存管理软件确定指定的流高速缓存入口的休止时间，一旦超过期限，流高速缓存入口会输出流记录。此外，流记录可以通过可选的聚合高速缓存。

从流高速缓存或聚合高速缓存中被驱逐后，流记录输出到“NetFlow流收集器”。在多数情况下，收集器运行在管理网络中专用于接收流记录的服务器上。在可能的压缩和/或存储接收的数据之后，流统计输出到中心局上的网络应用。

在数据通路中可以监控的“流”的数量始终是嵌入式存储器及数据通路环路数量的函数，所述嵌入式存储器是为流高速缓存预留的，所述数据通路环路数量可用于处理流记录。因此，采用高粒度(即，粒度越高，从相同的观测业务流中产生的流越多)和高精度(即，全线速率或高采样速率)对流的监视通常会消耗大量的存储器和处理器周期。因为用来收集统计的可用资源有限且经常缺乏，因此在交换机和路由器中收集基于流的统计需要限制流的粒度或精度以匹配这些限制。依靠在网络应用级的统计的实际应用，这些解决办法中的一种或者两种的结合，都可能是优选的解决办案。

然而，NetFlow的定义没有办法改变流粒度，而是必须限制采样速率以避免过度消耗数据通路资源。在流高速缓存中的NetFlow流记录具有固定且不可改变的格式，代表所有流的“最小公分母”数据的收集，不考虑数据的实际使用。对这种方法的需要的是在节点级缺少“应用消息”的直接后果。

如图1中所示，NetFlow最新版本所采用的聚合方案减少输出流的粒度但实际上对存储器和处理器周期增加了嵌入式资源需求，因为聚合高速缓存的保持独立于流高速缓存。

尽管通过NetFlow仪表收集的低级数据提供大量可以被网络应用所使用的细节，但是非主节点需要巨大的带宽数量来输出所有这些细节。采用所有输出的流记录数据，对应用的非主节点统计汇总是可能的，但是代表了管理网络中带宽和服务器非常低效的使用。此外，由于网络应用只对基于观测流的统计感兴趣而不是固有地对流记录本身感兴趣，额外的数据只是用来增加应用的处理需求，减少对网络事件的响应时间，并区分过多细节中的重要细节。

实际上，以统计精度作为代价，通过对输入分组流采样来限制输出带宽，最近版本的NetFlow提供在一些预定的模型中“聚合”流记录的能力从而针对特定应用部分地调节输出流粒度到更适合的级别。定制输出流记录格式到某一级别的能力在最新NetFlow版本中也可以使用。尽管这些进步试图处理NetFlow结构的输出带宽问题，但它们远远不是完善的解决方案。

NetFlow和类NetFlow系统的聚合和定制能力受限于预定的和有限的一组选项。使用这些能力的输出流记录可以占用稍微少些的带宽，但是节点缺乏解析流记录以产生更多有意义的网络事件汇总的能力。而且，这些特性的提供是静态的，需要有经验的操作员干预，因为响应于网络状况对计划的任何改变都会影响使用输出数据的所有业务(即，对应用有“全局影响”)。

缺乏应用消息阻碍包含更多强有力的驻留节点工具产生直接对网络级有意义的统计。缺乏“会话上下文”造成任何对NetFlow进程的改变对所有连接的网络应用有全局影响。因此，将NetFlow提供的聚合和定制能力用于处理多个应用的情况和具有改变需求的应用的能力受到严格限制。

因为NetFlow数据的所有有用的汇总是由离线分析产生的，所以操作员以及时的方式响应网络事件的能力受到很大损害。不仅在网络自身嵌入任何实时响应是不可能的，而且必须在网络事件被检测到及对其采取行动之前等待出现大量输出数据的离线处理。

来自流监控系统的网络应用需求常常是事件驱动，但在NetFlow或类NetFlow系统中反映这种模式是不可能的。例如，网络安全应用在常规操作期间与怀疑受到攻击的期间相比将会有非常不同的实际需求。没有实时调整流监控进程的能力，安全应用必须像攻击正在发生时一样总是接收数据，在常规操作环境中这是非常浪费带宽的。此外，这种“最小公分母”的状态是由缺乏应用消息和互相隔离单独应用会话的能力造成的。

发明内容

本发明旨在处理这样的问题：利用最小数量的输出数据带宽来优化基于流的统计，所述基于流的统计同时报告给多个网络应用。这是通过将连接在流量表和网络应用之间的应用会话管理(ASM)功能引入网络节点内完成的。ASM层使用应用消息收集和处理流统计并定制输出数据以匹配应用需求。

因此，根据本发明的第一方面，提供了在通信网络内的网络节点上收集流统计的方法，该方法包括：提供与网络应用连系的应用会话管理(ASM)功能，ASM收集关于应用的实际流统计需求的信息；并为每个应用保持独立会话信息。

根据本发明的第二方面，提供了在通信网络内的网络节点上收集流统计的系统，该系统包括：与节点的嵌入式流监控子系统连系的应用会话管理(ASM)功能，ASM影响流监控子系统的操作，这样嵌入式资源用于最佳地监控由网络应用指定的业务流；该系统还包括当应用需要改变时用于管理节点流监控子系统的装置。

根据本发明的第三方面，提供了在通信网络内的网络节点上收集流统计的系统，该系统包括：应用会话管理(ASM)功能，用于接收来自嵌入式流监控子系统的业务流计数器，并根据网络应用的需要使用该数据产生统计；该系统还包括在会话开始期间以应用指定的方式输出所产生的统计的装置。

附图说明

参照附图对本发明进行更详细的描述，其中：

图1示出现有技术的流系统模型；

图2说明本发明在网络级的应用会话管理；以及

图3说明网络节点中的应用会话管理特征。

具体实施方式

在本文中，“网络应用”是运行在组网设备之外但是使用网络业务信息及统计来管理网络基础设施和/或提供基于网络的数据业务的管理功能。应用使用“基于流的统计”来获取除实际业务类型之外与通过网络移动的某些业务类型有关的信息，因此“流”的含义是与应用相关的。

来自特定观察点的基于的流统计的实际需要在网络应用之中变化很大。为了将输出数据量减到最小同时不减少可能的应用，必须在节点级加入应用消息级。本发明提出在流监控系统内包含“应用会话管理”层。

“应用会话”代表连接到流监控系统的进程的流统计需求的当前设置。应用会话管理(ASM)层用作网络应用和传统流统计收集子系统之间的软件媒介。该层向流监控系统中的所有客户提供接口，这提供了进行一致和潜在标准化通信的机会。这一接口收集应用需求并利用该消息优化嵌入式资源和网络带宽的使用。在流监控系统中应用会话管理层的功能在图2中说明。

ASM层使用应用消息在两个关键功能中提供驻留节点智能。第一个关键功能是管理嵌入式资源以便收集和处理流统计。第二个关键功能是定制输出数据以匹配应用需求。下面的描述中将提供这些功能的细节，并在图3中作了说明。

ASM层的节点资源管理功能将应用级需求作为输入并利用其配置在数据通路内可用的流监控资源。流监控系统的数据通路驻留部分经常指的是“仪表”，这里使用术语“仪表资源”来描述在数据通路中建立和保持基于流的计数器可用的存储器和处理器周期。对于该功能需要有三个主要能力。

首先，ASM包括将应用级需求转化为节点级配置细节的能力。该步骤的输出是能够用于完成应用会话的输出需求的特定仪表配置。

在转化之后，ASM按照对仪表资源的影响估算“应用请求”。有可能任意指定的节点会同时具有多个应用会话，并且许多应用需求将转化为非免费资源配置是必然的。因为仪表资源是有限的，应用争夺这些资源。

资源估算后，ASM包括决策定阶段，其允许拒绝在节点操作或其他应用会话上有负面影响的应用请求。这个阶段也可以基于特定的策略规则将该能力与估算请求合并，所述策略规则包括网络应用中的优先级和对单独资源使用的限制。

通过该操作可以实现若干优势。通过在ASM提供转化能力，仪表资源的设计和控制避开了网络操作员和应用。与固件设计中的硬件抽象层非常相似，这给操作员和应用提供了框架来理解和访问节点的流监控能力而不需要节点构造或当前配置的详细消息。

因为仪表资源的分配由ASM完成，因此存在优化配置的机会，而没有该层这是不可能的。ASM具有所有应用会话需求、整个仪表资源和在任何时间的当前仪表配置的消息，并使用所述消息确保所有情况下资源的最佳使用。

系统提供会话独立性的能力是该特征的关键点及优点。因为指定应用会话专用的仪表配置细节(以及相关的资源使用)被独立识别，所以存在改变任何指定会话的机会而不影响其他会话。所述独立性还允许在应用中实现自动控制而不需要操作员干涉。

ASM的输出数据定制特征将基于流的计数器作为输入并使用该数据生成合计统计和记录，当使用输出所需要的最小网络带宽时，所述统计和记录被格式化以符合应用会话的需要。这里有三个基本能力来实现这个任务。

从数据通路接收基于流的计数器后，ASM将对每个应用会话估算相对于所需的流定义的流记录。这允许执行流记录的聚合和相关，而在数据通路中这是不可能或不实际的。

还可以处理低级流数据以产生反映应用的真实需求的较高级统计。例如应用可以有必要知道被观测业务有多少百分比可归因于指定流。最好在节点上执行该操作以减少输出数据的容量。

一旦流数据已被处理到需要的级别，将对其格式化用于输出。由于输出功能不依赖流记录格式(就像NetFlow的情况一样)，因此在这一阶段引入了灵活性，并且输出可以包括流记录、合计统计或二者皆有。

数据输出最好对应于必需的最小带宽以实现应用目的。由ASM在流记录上执行的后处理能用于大幅度减少输出数据带宽。更进一步，被发送到客户应用的数据满足其特定的和当前的需要，所以减少了通过应用的进一步处理，并且对所观察事件的响应时间也缩短了。由于网络应用和协议随时间而发展，在支持的输出格式上提供内在的灵活性也允许对改变需求的快速适应。

如前面所讨论的，NetFlow和类NetFlow系统使用静态的流定义，因此不具备通过调整流粒度和精度到组合的最佳级别来满足应用需求的能力。据本发明的申请人所知，现有的系统没有合并能力来优化流统计收集以将网络节点内可用的仪表资源与使用输出数据的应用需求进行最佳匹配。这里引入的应用会话管理层提供应用级需求到仪表配置的转化，这使得在网络节点内最佳地使用稀有的嵌入式资源。ASM通过合并基于策略的决策能力提供在单独的应用会话之间进一步优化仪表和节点资源的能力。单独的基于会话的管理与全局决策功能性的组合是超出现有统计收集系统的优势。

尽管在应用级对于基于流的统计的需要日益增加，然而NetFlow系统固有地浪费网络带宽这一事实限制了它的使用。基于应用会话的直接需求，通过在网络节点上应用智能的流记录简化和统计汇总，应用会话管理层大幅度减少了输出带宽。由该发明提供的输出数据带宽大幅度减少的可能是潜在的巨大优势。

不需要在单独的应用会话间区分的能力，要求有经验的网络操作员估算对类NetFlow系统配置的任何改变所造成的全局影响。通过单独地跟踪应用会话，本发明允许会话改变的潜在自动控制。这使得应用交互作用的新模型，包括对检测到的网络事件的自动实时响应成为可能。

尽管已经对本发明的特定实施例进行了描述和说明，但是对本领域的技术人员来说，很明显地，能够在不背离基本概念的前提下作出各种改变。应当理解到，无论如何，这些改变都落入由所附的权利要求所规定的本发明的整个范围内。

Claims (22)

1.一种在通信网络的网络节点上收集流统计的方法，该方法包括：提供应用会话管理ASM功能与所述网络应用相连系，所述ASM收集关于所述应用的实际流统计需要的信息；以及

为每个应用保持单独的会话信息。

2.根据权利要求1的方法，其中所述ASM为每个应用建立单独的会话以保持应用专用的流定义和输出需求。

3.根据权利要求1的方法，其中所述ASM处理多个同时的会话而没有操作员干预。

4.根据权利要求1的方法，其中所述ASM包括将网络应用级需求转化为网络节点级配置细节的能力。

5.根据权利要求4的方法，其中在所述转化步骤后，所述ASM关于对嵌入式资源的影响估算网络节点级细节。

6.根据权利要求5的方法，其中在所述估算期间，所述ASM应用特定的策略规则，所述策略规则包括网络应用中的优先级和单独的资源使用限制。

7.根据权利要求5的方法，其中在估算后，所述ASM判定对资源的影响是否能接受，并且如果不能，则允许所述ASM拒绝来自所述应用会话的请求。

8.根据权利要求1的方法，其中在应用会话建立后的任意点上，所述ASM允许所述应用动态地修改其流监控需求而没有操作员干预。

9.一种在通信网络的网络节点上收集流统计的方法，该方法包括：提供应用会话管理ASM功能与所述节点上的嵌入式流监控子系统相连系，所述ASM影响所述流监控子系统的操作以使所述嵌入式资源能够用于最佳地监控由所述网络应用指定的业务流；该方法还包括当应用需要改变时用于管理所述节点流监控子系统的装置。

10.根据权利要求9的方法，其中所述ASM组合多个单独会话的节点级流监控需求以产生所述流监控子系统的合成需求。

11.根据权利要求9的方法，其中在所有需求合并期间，所述ASM对结果进行优化以允许嵌入式资源的最有效使用，所述嵌入式资源包括存储和处理周期。

12.根据权利要求9的方法，其中所述ASM使用合并的流监控需求的最后结果来配置所述网络节点的所述嵌入式流监控子系统。

13.根据权利要求9的方法，其中如果在正常操作期间修改监控需求，则所述ASM将执行所述流监控子系统的重新配置来反映该变化。

14.一种在通信网络的网络节点上收集流统计的方法，该方法包括：提供应用会话管理ASM功能以接收来自嵌入式流监控子系统的业务流计数，并根据网络应用的需要使用该数据生成统计；所述方法还包括用于在会话开始期间以应用指定的方式输出所生成的统计的装置。

15.根据权利要求14的方法，其中所述ASM分析来自所述流监控子系统的所述业务流计数器，以便于确定单独的计数器将提供给哪个或哪些应用会话。

16.根据权利要求14的方法，其中所述ASM合并所有与应用会话相关的流计数器。

17.根据权利要求14的方法，其中所述ASM使用合并的流计数以生成统计数据，例如应用会话所需要的总和、比例、平均值和方差。

18.根据权利要求14的方法，其中所述ASM可以将所收集的和所生成的流统计与会话特定阈值相比较，以确定是否该输出、丢弃所述数据、发出警告或采取其他合适的操作。

19.根据权利要求14的方法，其中所述ASM针对每个应用会话将收集的和生成的流统计进行格式化，以应用定制的方式用于非主节点输出。

20.根据权利要求14的方法，其中所述ASM并非输出来自所述网络节点的所述流统计，而是直接将该数据发送到嵌入在所述网络节点上的另一进程。

21.一种在通信网络的网络节点收集流统计的系统，该系统包括：与所述节点的嵌入式流监控子系统连系的应用会话管理ASM功能，所述ASM影响所述流监控子系统的操作以使得嵌入式资源用于最好地监控由所述网络应用指定的业务流；该系统还包括当应用需要改变时用于管理所述节点流监控子系统的装置。

22.一种在通信网络的网络节点上收集流统计的系统，该系统包括：应用会话管理ASM功能，用于接收来自嵌入式流监控子系统的业务流计数器及根据网络应用需要使用该数据生成统计；该系统还包括用于在会话开始期间以所述应用指定的方式输出所生成的统计的装置。

Images