CN103259830A - 低延迟汇聚tap - Google Patents

Abstract

本发明提供了一种汇聚型TAP设备中上行数据流的端口数据流调度和传输方法。该TAP设备包括至少一个上行端口，多于2个的下游数据端口，由于多个下游数据端口的数据都需要从少量的上行端口发送出去，所以有可能存在资源竞争。本发明的TAP设备及其端口调度方法，能动态地根据下游端口的忙或者空闲状态，直接把下游端口数据通过快速路径送往上行端口或者将存在竞争的多个下游端口数据送往交换部件进行调度，本发明能极大地减小某些应用场景下的数据路径延迟。

Description

低延迟汇聚TAP

技术领域

本发明涉及TAP(Test Access Point，测试接入点设备) 技术领域，更为具体地，涉及一种具备汇聚能力的TAP设备及其上行数据流的低延迟调度方法。 

背景技术

近年来，随着物联网、云计算和移动网络的飞速发展，基于网络的应用和协议不断发展，主干和边缘网络的带宽越来越高，对网络数据进行分布式处理的需求也更加迫切。在大型防火墙/网关，需要将网络数据实时地分发到多个下游的监控节点对载荷进行分析和统计，并将分析后的结果进行统计和上报。在数据中心，出于负载均衡的考虑，也需要对将同一个网络流数据分散到不同的计算节点进行计算，运算以后的结果也需要上报到上游节点。再生型TAP用于将一路数据复制分发到多个下游节点，汇聚型TAP则用于实时汇聚高速网络数据流到单一（或者少量）上行端口的网络设备。本发明主要关注汇聚型TAP。 

    除了关心TAP设备能支持的物理媒介（光纤或者铜缆），数据链路带宽，支持的端口数等，越来越多的应用注重在TAP应用环境下整个数据环路（包括下行分发和上行汇聚）的延迟，特别是在金融领域，延迟成为至关重要的因素。 

    目前市面上主流的TAP设备的数据路径延迟都在毫秒量级，无法满足金融等应用领域对数据延迟日益严苛的要求。 

发明内容

鉴于上述问题，本发明的目的是提供一种用于网络监控系统的汇聚TAP（Test Access Point）设备，包括快速汇聚通路和由交换设备构成的慢速数据通路，其中所述的快速汇聚通路包括多个下游输入端口、多个输入数据缓冲、多个串并转换装置、数据流调度器、多个上行端口和多个交换设备端口，所述汇聚TAP设备用于将多个下游数据端口数据汇聚到上行端口，当所述快速汇聚通路遇到数据冲突的时候，将数据调度往所述交换设备进行缓存和仲裁。 

  

所述的汇聚TAP设备，其中，所述的下游输入端口和上行端口可以接入铜缆或者光纤，可以在其上运行任何标准或者私有的数据传输协议。

  

所述的汇聚TAP设备，其中，所述快速汇聚通路与交换设备之间的物理连接可以是铜缆或者光纤连接，可以在其上运行任何标准或者私有的数据传输协议。

  

所述的汇聚TAP设备，其中，所述快速汇聚通路的多个输入数据缓冲具备一定的缓冲能力，能缓冲数据流的头部信息以解析数据流的目的地址。

  

所述的汇聚TAP设备，其中，所述快速汇聚通路的数据流调度器接收来自下游数据流端口的所有输入数据，并将它们直接传送到上行端口或者将它们的全部或部分传送到交换部件端口。

  

所述的汇聚TAP设备，其中，所述快速汇聚通路的数据流调度器解析下游数据流的头部信息以判断它们的目的端口，并根据以下规则进行调度：

    当数据头部解析完并且该数据是发往上行端口时，且仅当只有一个下游数据端口有数据，直接将这个数据流发送到上行端口，

    当在某个数据流的解析过程或者传输过程中，其余的多个下游数据流端口有数据流到达，将后到达的冲突数据流发送到路由端口。

  

附图说明

    

    通过参考以下结合附图的说明及权利要求书的内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

    图1是本发明实施例的TAP设备内部框图；

    图2 是本发明实施例的冲突检测所涉及部件的示意图；

    图3是本发明实施例的无冲突情况下数据流图；

    图4是本发明实施例的冲突情况下的数据流示意图；

    图5 是应用该TAP设备的系统框图；

    在所有附图中相同的标号指示相似或相应的特征或功能。

  

具体实施方式

    以下将结合附图对本发明的具体实施例进行详细描述。 

  

     参考图1 进行说明。图1 是本发明的硬件系统组成框图。本发明中所述的低延迟汇聚 TAP设备由输入接口11，输入数据缓冲12，串并转换装置13， 数据流调度器15，快速路径14，上行端口15，慢速路径16，上行端口17和交换设备20等组成。

  

    本发明中所提供的汇聚型TAP设备和应用该设备的监控系统或计算系统，下游可以连接多个入侵检测设备、高性能金融服务器等计算设备。在例如金融方面的高频交易等领域，多个下游数据端口的数据发送模式是突发式(burst mode)的，大多数时候这些数据流端口都处于空闲状态，因此多个下游端口同时请求发送数据从而导致冲突的机会非常小，但是仍存在一定的概率可能发生多个端口在同一个时刻需要将数据发送至上行汇聚端口的可能性。

  

    由于本发明中所提供的TAP设备同时提供了直接发送到上行端口的快速路径和发送到交换部件的慢速路径，因此，为了更清楚的对本发明的技术方案进行说明，下面以具体的汇聚型TAP设备数据流的角度对本发明的技术方案进行说明。图2为无冲突情况下TAP内部的数据流框图，图3表示了有冲突情况下TAP内部跟本发明相关的数据流和控制流。

  

    图1同时显示了TAP设备内与本发明相关的数据流和控制流图。TAP设备的外部端口用实线表示，TAP设备内部的数据流用虚线表示。图2所示的TAP内部与本发明相关的系统模块图，只是显示了为实现本发明所需要的功能，实际系统中的模块划分不必为本图所示。

  

    下游的多路网络数据流通过光纤或者铜缆的物理接口11，经过串并转换器12的处理后转换为并行的数据，进入到输入数据缓冲12。输入数据缓冲主要是为了在有冲突的情况下缓冲输入数据等待调度，可选地，在无冲突情况下，数据可以旁路输入缓冲而直接被数据流调度器15送往上行端口17。数据流调度器实时监测各下游输入端口11是否有数据发送请求，当只有一个下游端口有数据请求的时候，该数据将直接通过数据流调度器15内部的快速路径14而以最小的延迟到到上行端口17，当有两个或以上的下游数据输入口同时请求数据传输，或者在某个下游数据输入口请求数据传输的时候，前一次数据传输尚未完成因而上行端口被占用，那么将选择一个输入端口的数据连接到快速路径14，其余导致冲突的数据请求将通过慢速路径16送往交换设备20，通过交换设备来解决冲突问题。交换设备可以是外置的独立设备或者在TAP内部由ASIC实现的交换功能。

  

    图2给出了数据流调度器的冲突检测原理。数据流调度器需要实时监测上行端口和各个下游端口的数据输入缓冲，如果多于一个数据输入缓冲有数据请求，或者只有一个数据请求，但是上行口还在占用中，都算作冲突情况，需由上述冲突解决办法进行调度。

  

    图3给出了本发明的无冲突数据流调度实施实例。在本例中，一共有4个下游数据流端口11，一个上行端口17和4个连接路由设备的端口16。在无冲突情况下，本例中只有下游数据流端口2有数据请求，由于不存在冲突，调度部件可以直接将该数据流通过快速路径14发送到上行端口17。

  

    图4给出了本发明的有冲突数据流调度实施实例。在本实例中，TAP的4个下游数据流端口1，2，3同时有发往上行端口的数据请求，调度部件检测到冲突，根据一定的规则选择出端口2的数据通过快速路径直接发送到上行端口，其他2个下游数据流端口的数据则通过端口16发往路由设备进行缓冲和调度。

  

    由于冲突的情况比较少，所以从整体上来说，大多数的数据都能通过快速路径直接发往上行端口，提高了数据流的延迟和吞吐率。

  

    本发明对路由设备并无特别要求，针对TAP设备数据链路上运行的协议，与该协议对应的普通路由设备即可。但是，必须注意的是，通常意义上的路由设备将会缓冲完整的数据包后才进行数据解析，而且路由表的查找也比较耗时，所以发往路由设备的数据流到达最终目的地的延迟会明显变长。

  

    在无冲突的情况下，只有一个下游数据流端口有数据发送请求，调度部件解析完头部以后，直接将该数据流发送到上行端口，此时的系统延迟只有极低的数据流头部的缓冲延迟。从下游数据流端口直接发送到上行端口的数据路径称为快速路径。

可选地，本发明中的汇聚型TAP设备可以实现P2P通信，即多个下游路由数据流端口之间可以实现相互通信，P2P通信的冲突解决方法不属于本发明的范围。 

  

    参考图5详细描述本发明的系统构建方法

    在应用本发明所述汇聚型TAP的系统中，应该包括下游计算设备101，汇聚型TAP102，上游服务器103。根据交换功能是由外置交换机实现还是内置交换ASIC实现，系统可选地具备外置路由器104。

  

    如上参照附图以示例的方式描述根据本发明的TAP设备和数据流调度方法。但是，本领域技术人员应当理解，对于上述本发明所提出的TAP数据流调度方法和部件，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

  

    本发明的有益效果：通过系统是否存在冲突来决定输入数据不同的传输路径，无冲突则走快速路径，有冲突则通过路由设备来解决冲突并走慢速路径。对于多个下游数据输入端口不会频繁出现数据传输请求的应用场景，本发明能降低大部分数据的传输延迟，同时，因为在无冲突的情况下还可以旁路输入缓冲和路由设备，也减小了TAP设备的运行时功耗。 

Claims (6)

1.一种用于网络监控系统的汇聚TAP（Test Access Point）设备，包括快速汇聚通路和由交换设备构成的慢速数据通路，其中所述的快速汇聚通路包括多个下游输入端口、多个输入数据缓冲、多个串并转换装置、数据流调度器、多个上行端口和多个交换设备端口，所述汇聚TAP设备用于将多个下游数据端口数据汇聚到上行端口，其特征在于，当所述快速汇聚通路遇到数据冲突的时候，将数据调度往所述交换设备进行缓存和仲裁。

2.如权利要求1所述的汇聚TAP设备，其特征在于，所述的下游输入端口和上行端口可以接入铜缆或者光纤，可以在其上运行任何标准或者私有的数据传输协议。

3.如权利要求1所述的汇聚TAP设备，其特征在于，所述快速汇聚通路与交换设备之间的物理连接可以是铜缆或者光纤连接，可以在其上运行任何标准或者私有的数据传输协议。

4.如权利要求1所述的汇聚TAP设备，其特征在于，所述快速汇聚通路的多个输入数据缓冲具备一定的缓冲能力，能缓冲数据流的头部信息以解析数据流的目的地址。

5.如权利要求1所述的汇聚TAP设备，其特征在于，所述快速汇聚通路的数据流调度器接收来自下游数据流端口的所有输入数据，并将它们直接传送到上行端口或者将它们的全部或部分传送到交换部件端口。

6.如权利要求1所述的汇聚TAP设备，其特征在于，所述快速汇聚通路的数据流调度器解析下游数据流的头部信息以判断它们的目的端口，并根据以下规则进行调度：

    当数据头部解析完并且该数据是发往上行端口时，且仅当只有一个下游数据端口有数据，直接将这个数据流发送到上行端口，

    当在某个数据流的解析过程或者传输过程中，其余的多个下游数据流端口有数据流到达，将后到达的冲突数据流发送到路由端口。

Images