CN102461074A - 用于构建源数据库的方法和侦察代理 - Google Patents

Abstract

根据本发明，具有网络连通性的侦察代理(101、201、301)通过学习特定业务源(206、306)的地址信息、端口信息、和协议信息；学习这些业务源(206、306)的应用业务简档信息；以及指示在源数据库(100)中存储地址信息、端口信息、协议信息和应用业务简档信息来构建源数据库(100)。

Description

用于构建源数据库的方法和侦察代理

技术领域

一般来说，本发明涉及诸如国际互联网的通信网络。更具体地，本发明解决识别业务源以及利用由这些业务源通过其网络分发(deliver)应用的网络运营商和服务提供商创建感知信息的问题。

背景技术

网络运营商和国际互联网服务提供商(ISP)正面临着日益增加的对监控和控制由特定源通过它们的网络分发的业务(traffic)与应用的需要。对导致运营商网络中业务增加的应用的识别和更好地理解，能够使运营商或ISP协商并在其网络中安装源特定业务策略。

用于监控和控制业务的现有工具被称为深度包检测(DPI)或完全分组检测，例如在下列URL的Wikipedia(维基百科)中进行描述：

http://en.wikipedia.org/wiki/Deep_packet_inspection

DPI在数据路径上创建分组检测点，其中分组检测硬件可以识别分组所属的业务类型。知道分组所属的业务类型，例如TCP(传输控制协议)或HTTP(超文本传输协议)，并不能识别业务源，更不用说分发分组的应用了。此外，DPI设备被安装在数据路径上，且因此必须在非常严格的时延约束条件下检测和处理分组，也就是，在目前的网络中以10到40Gbps(吉比特每秒)的典型速度实时进行处理。因此就识别业务源和应用而言，DPI设备需要不满足网络运营商要求的高处理能力和因此相当昂贵的硬件方案。

DPI的已知改进在于使多个分组的内容或性能相关联，以获得HTTP或TCP流上更详细的信息。通过与特定的重新定向相关联，或者通过将数据分组的内容与用于获得HTTP服务的URL、或订户所在网关的IP地址和MAC地址的相关联，更先进的DPI设备可能够获得或重构HTTP或TCP流上更详细的信息。然而，这样的关联技术进一步增加DPI设备的实时处理要求，使这些设备更为复杂且成本更高，并且仍然不能识别业务的确切来源、分发业务的应用、或业务内容。

总之，尽管DPI设备能够将业务分成一些种类，例如HTTP、P2P等，但是它们不满足目前用于识别业务、来源和应用的要求，并且它们包括用于在数据路径上进行实时分组处理的复杂和昂贵的硬件。

本发明的目的是提供一种解决现有业务监控方案中的上述缺陷的方法和设备。特别地，目标是提供能够更详细地识别来源、应用或业务内容的方法和设备，以能够使网络运营商和ISP在他们的网络中安装并应用源专用策略。

发明内容

根据本发明，可以通过由权利要求1限定的用于利用具有网络连通性的侦察代理(scout agent)构建源数据库的方法来实现上述目标，该方法对于网络中的业务源包括以下步骤：

学习业务源的地址信息；

学习业务源的端口信息；

学习业务源的协议信息；

学习业务源的应用业务简档(profile)信息；以及

指示在源数据库中存储用于业务源的所述地址信息、所述端口信息、所述协议信息和所述应用业务简档信息。

从而，根据本发明的侦察代理，也就是在具有网络连通性的数据中心内安装的应用或软件程序组，构成并维护用于网络上诸如服务器的每个重要的业务源的地址、端口、协议和应用业务简档的数据库。在国际互联网的情况下，地址信息对应于业务源的IP地址，端口信息对应于源端口号，以及协议信息对应于TCP(传输控制协议)或UDP(用户数据报协议)。应用业务简档信息包含IP业务源的全部重要的跨层(cross-layer)信息，并因此必须至少识别由IP业务源所支持的应用，使用的编解码器，以及对源IP业务的临时属性的描述，例如平均比特流、突发大小、抖动等。根据本发明的基于源数据库的方法，在根本上不同于基于关键(critical)数据路径上的实时分组检测的DPI方法。相比于传统的DPI，根据本发明的侦察代理和由此产生的源数据库为业务源和应用提供增加的特异性，并且它们不需要被放置在关键数据路径上。结果是，它的处理要求和成本实质上低于传统的DPI设备，而其识别和描述业务源和应用的准确性会更好。其优势是根据本发明构建的源数据库可以用于生成业务策略规则并将业务策略规则应用于个别业务源或来自服务提供商的业务源。

如权利要求2所指示的，根据本发明的方法中的应用业务简档信息至少包括：

表明由所述业务源支持应用的信息；

表明用于对由业务源分发的内容进行编码/解码的编解码器的信息；以及

表明由业务源分发业务的临时属性的信息。

表明所支持应用的信息例如可以识别应用类型，例如视频或音频，或者可以是更具体的，并识别例如是确切的视频应用，例如Hulu、Youtube、iTunes、Bittorent等。表明所使用的编解码器的信息可以例如识别编码机制，在视频业务的情况下例如MP4、h264等，在音频的情况下例如MP3、wav等。表明业务的临时属性的信息可以从业务源的服务质量简档中提取，并且通常会包括诸如平均视频比特速率、突发大小、抖动等参数。需要注意的是，通过根据其业务属性充当客户机应用并监控应用行为，侦察代理可以推导出业务源的服务质量简档。

可选地，如权利要求3所限定的，根据本发明的方法进一步包括：

学习与由业务源支持的应用和/或由业务源分发的内容有关的应用元数据；以及

指示在源数据库中存储用于业务源的应用元数据。

从而，侦察代理还可选地收集应用元数据，例如应用或服务的名称，提供服务的公司、内容分发网络、提供服务的域、分发服务中涉及的URL或链接、分发服务中涉及的应用、分发服务中涉及的服务器的地理位置、分发的内容、作为内容源的公司等。由于这些信息，源数据库将不仅可用于生成和安装业务策略规则，还可以用于对从特定源或应用到例如网络运营商或服务提供商的业务构建和分发详细报告。

如权利要求4所指示的，本发明上下文中的应用元数据可以包括下列内容中的一个或多个：

内容项的文件名称；

由业务源支持的应用的应用名称；

表明分发内容的服务器的地理位置的信息；

表明内容的所有者或创建者的信息；以及

表明在其上分发业务的内容分发网络的信息。

应用名称例如可以是iTunes、Hulu、Youtube、iPlayer、网络浏览器名称等。表明地理位置的信息可以是州或省，其中对在内容分发中涉及的全部服务器使用的IP地址或IP地址范围进行注册。表明所有者或创建者的信息可以是作为内容源的公司的名称，例如NBC、RTL等。内容分发网络可以通过其域名进行识别，例如akamai.com、limilight.com等。本发明显然不局限于这些应用元数据的实例。

可选地，如权利要求5所限定的，学习和存储的步骤可以基于用户指示进行人工触发。

实际上，为了指示侦察代理联系哪个业务源并在源数据库中构建简档，侦察代理可以利用重要内容源(例如，受欢迎的视频网站)的地址进行人工配置。

或者，如权利要求6所限定的，学习和存储的步骤可以基于业务源的指示进行自动触发。

作为人工配置的替代，侦察代理可以接收识别重要内容源的自动指令。可以从网络中运行的流监控过程接收这些自动指令，并且发现哪个服务的地址是受欢迎的(popular)，如权利要求7所示。

同样可选地，如权利要求8所限定的，用于业务源的学习和存储步骤可以重复被事件驱动。

从而，源数据库的更新可以由事件来触发。

或者，如权利要求9所限定的，用于业务源的学习和存储步骤周期性地重复。

这里，作为对源数据库进行基于事件的更新的替代，可以按有规律的速度或频率来更新数据库的内容。

除了根据权利要求1限定的用于构建源数据库的方法，本发明还申请根据权利要求10限定的用于构建源数据库的侦察代理，侦察代理具有用于网络连通性的装置，此外还包括：

用于学习业务源地址信息的装置；

用于学习业务源端口信息的装置；

用于学习业务源协议信息的装置；

用于学习业务源的应用业务简档信息的装置；以及

用于指示在源数据库中存储用于业务源的地址信息、端口信息、协议信息和应用业务简档信息的装置。

侦察代理典型地是集中式地或分布式地安装在具有网络连通性的数据中心上的应用或软件程序组，可以是固定的或移动的。将侦察代理人工配置为与业务源进行联系，侦察代理从在网络上运行的流监控过程接收指令以联系特定的受欢迎的业务源，或在网站间进行蜘蛛程序(spider)以检测和识别例如视频和音频业务的受欢迎的源。侦察代理进一步使用脚本应用来联系业务源，并收集源信息(地址、端口和协议)和应用元信息。

此外，本发明还涉及如权利要求11所限定作为结果的源数据库，适于根据具有连通性的侦察代理的指示为网络中的业务源存储以下信息：

业务源的地址信息；

业务源的端口信息；

业务源的协议信息；以及

业务源的应用业务简档信息。

附图说明

图1描述了根据本发明的用于构建IP源数据的方法的第一实施方式；

图2描述了第一实施例方案，其中使用根据本发明的方法、侦察代理和源数据库；以及

图3描述了第二实施例方案，其中使用根据本发明的方法、侦察代理和源数据库。

具体实施方式

图1示出了侦察代理101或SCOUT，也就是构建国际互联网上每个重要的计算机或服务器的IP地址和端口、以及从这些IP地址所分发应用的数据库100或SOURCE DB的一组程序。将该数据库100称为IP源数据库。

侦察代理101收集的信息包括应用用户可使用的所有详细信息。换句话说，其包含IP源和应用的所有重要的跨层信息，除网络地址和协议信息之外，还包括应用业务简档、关于通过应用分发内容的信息、和包括在应用的全部分发链中的公司的信息。

更具体地，侦察代理101学习网络信息，例如重要应用源104或VIDEOAPPL、内容分发网络103或CDN、和服务器或内容源的IP地址、端口和协议信息(UDP/TCP)。在后的服务器或内容服务器的IP地址例如可从图1中的箭头151指示的索引站点(INDEX SITES)、点对点跟踪器(P2PTRACKERS)和点对点应用(P2P APPL)105进行学习。这些IP地址存储在IP源数据库100中。侦察代理101此外还收集有关于从这些IP地址分发的应用(如图1中箭头141所示)，有关于这些应用分发的业务类型(例如，流视频或点对点视频)、有关于分发内容、有关于作为内容来源的公司(如图1中箭头121所示)、以及有关于内容分发网络103或CDN(如图1中箭头131所示)的信息。可进一步给存储在源数据库100中的信息补充关于分发内容的服务器的域和地理位置的信息。该信息例如可从ASN(自治系统号码)数据库111或ASN DB和/或从地理数据库112或GEO DB提取出。

侦察代理101收集IP源信息和应用元信息。侦察代理101是在具有国际互联网连通性的数据中心中运行的应用或软件程序组。侦察代理101可以是移动的或固定的，可以是集中式的或分布式的在国际互联网中的不同地理位置，并可以是事件驱动的或周期性触发的。

存在指示侦察代理101联系哪个IP源并构建应用业务简档的两个过程：人工过程和自动过程。在人工过程中，用户指示或配置侦察代理101与特定的受欢迎的视频网站和内容源进行联系。在自动过程中，侦察代理101从在网络中运行并记录IP流信息(例如NetFlow、sFlow、IPFIX或cflowd)的监控过程接收重要IP源的自动指令。该监控过程会发现网络中哪些服务的IP地址是受欢迎的。侦察代理101因此会通过使用自治系统号码数据库111或ASN DB，也就是，包括IP地址范围、自治系统和组织之间映射的数据库，将IP流信息转换为服务的应用层联系信息(例如网络URL)，其中服务是IP流的源。侦察代理101还使用比例缩小(scaled-down)的网络浏览器客户机与应用或服务进行联系，并且使用脚本应用客户机来联系服务，例如使用iTune、iPlayer等的修改版本。侦察代理101从而在网站和服务器间进行蜘蛛程序以发现与视频的相关链接。

其结果是，IP源数据库100会包含有关IP源的所有相应跨层信息。对于视频源，源数据库100中的IP源数据例如可以按下列方式进行组织和关联：

服务名称(例如，Hulu)；

提供服务的公司(例如，Google.com)；

内容分发网络(例如，Akamai.com)；

提供服务的域(例如，youtube.com)；

分发内容的域(例如，Akamai.com)；

视频服务中涉及的链接或URL；

分发服务中涉及的应用(例如，iTunes，iPlayer等)；

信令地址(例如，URI)；

IP地址；

协议(例如，http)，以及从特定URL分发的业务；

在中间重新定向的IP地址、端口号码、协议；

分发实际视频流的服务器IP 5元组(IP源地址、IP目的地址、IP源端口、IP目的端口、协议)；

分发视频的协议(例如，http、RTMP、UDP等)；

流编码(例如，H.264，Flash)；以及

视频比特率。

另外，可将涉及内容的元数据增加到IP源数据库100中。侦察代理101可从源网站和/或服务器导出这些元数据。

尽管实施方式集中于视频服务，本领域技术人员可以理解的是，可收集相似类型的信息以用于任何其他类型的服务。

IP源数据库100可用于生成基于应用业务的网络管理信号(例如，SNMP陷阱)、基于从IP源数据库100得到的策略规则的路由或管制(police)业务、以及具有IP源数据库100的相关网络流信息，以构建用于运营商或ISP的详细报告。在同一申请人的发明名称为“网络管理方法和代理”的相应专利申请中对用于此目的IP源数据库的使用进行了详细描述，通过引用将其合并于此。

图2描述了第一实施例方案，其中根据本发明的侦察代理201的实施方式学习关于用于存储在源数据库中的Hulu服务的信息。

如在下列段落中所解释的，侦察代理201与Hulu服务器202(s.hulu.com)联系并记录通向分发视频流的实际视频服务器(80.154.118.29)的所有重新定向。换句话说：侦察代理201学习到服务与通向视频服务5元组(IP源地址、IP目的地址、IP源端口、IP目的端口、协议)的链接(或URL)相关联。侦察代理201通过人工指令或通过自动过程，通过监视输入的分组或业务，首先发现Hulu网站上通向视频片段的一些链接。这样的自动过程会检测页面上的链接正在使用指示视频的语义，例如，链接中的文件类型或链接中的任何其他标签。侦察代理201例如通过识别数据的编码，发现输入流为视频。

如箭头211所示，具有IP地址192.168.0.106的侦察代理201用作客户机，并从Hulu服务器202s.hulu.com请求用于每日展示部分(Daily Showepsiobe)的内容信息，其中通过监视传送视频业务的分组或可替换地通过人工配置，学习s.hulu.com的IP地址209.130.205.59。Hulu服务器202仅知道持有所请求的内容项目的Akamai CDN元件206的URL，也就是“cp47346.edgefcs.net”。从而，侦察代理201需要将该URL解析为IP目的地址。侦察代理201从而联系域名服务器或DNS 203以解析Akamai CDN元件206的URL“cp47346.edgefcs.net”。这由图2中的箭头212所示。DNS203返回Akamai内容分发网络204中8个服务器205的8个IP地址。在图2中列出了这8个IP地址：80.154.118.29；80.154.118.47；80.154.118.20；80.154.118.15；80.154.118.39；80.154.118.14；80.154.118.30；和80.154.118.12。侦察代理201在8个接收到的IP地址中选择一个，例如80.154.118.29，并请求访问，如图2中的箭头213所示。侦察代理201获得流服务器ID，如箭头214所示，并使用RTMP(路由表维护协议)与流服务器进行交互，如箭头215所示。从而，将来自IP地址为80.154.118.29的服务器的所请求的视频注入到由侦察代理201存储在IP源数据库中的应用业务简档中，其中IP地址80.154.118.29通向视频服务器5元组(IP源地址、IP目的地址、IP源端口、IP目的端口、协议)，这在图2中没有给出。需要说明的是，视频流典型地会提供服务器IP地址、端口和协议信息，而5元组的其他元素(源IP地址和端口)可以是通配符。

图3描述了第二实施例方案，其中根据本发明的侦察代理301的实施方式学习与用于在源数据库中存储的Youtube服务有关的信息。

与Hulu的情况相似，侦察代理301学习到从特定地理位置至特定Youtube视频片段的请求会导致Google CDN视频服务器的IP 5元组。侦察代理301连续地更新IP源数据库。这意味着侦察代理连续地发现IP 5元组信息和从这些IP业务源分发的服务中的有关变化。

最初，具有IP地址为192.168.0.106的侦察代理301与具有IP地址为208.65.153.253的YouTube服务器302进行联系，并请求用于每日展示部分的内容信息。这由图3中的箭头311表示。YouTube服务器302仅知道对内容负责的Google CDN元件305的URL“v6.cache.googlevideo.com”，并返回该信息，如图3中的箭头312所示。随后，侦察代理302需要将该URL解析为IP目的地址。如图3中的箭头313所示，侦察代理302由此利用解析URL“v6.cache.googlevideo.com”的请求来联系DNS服务器303，并且响应从DNS服务器303接收Google内容分发网络304中服务器305的IP地址74.125.0.223。DNS 303对YouTube.com进行负载平衡，从而由DNS服务器返回的IP地址可对于相同内容的多个重放而变化。在下一步中，侦察代理301联系服务器305以从缓存存储器中获得视频。这由图3中的箭头314所示。然而，服务器305将视频分发重新定向到具有IP地址为74.125.0.211的流服务器306，其结果是侦察代理301联系服务器306以从在之前步骤中指定的服务器306中或其附近的缓存存储器307获得视频。侦察代理301使用HTTP(超文本传输协议)与流服务器306进行交互，如箭头315所示。最后，如图3中的箭头316所示，将来自IP地址为74.125.0.211的流服务器306的视频注入(stream)到侦察代理301，其中侦察代理301通向由侦察代理301存储在IP源数据库中的视频服务器5元组(IP源地址、IP目的地址、IP源端口、IP目的端口、协议)和应用业务简档，这在图3中没有给出。

尽管本发明通过参考特定实施方式进行说明，但是对本领域技术人员来说明显的是，本发明不局限于前述示例性实施方式的细节，并且在不偏离本发明范围的情况下，本发明可以体现为各种变换和修改。因此，应当将本实施方式在所有方面视为解释性的而非限制性的，本发明的范围由所附权利要求来指示而不是由前述说明来指示，权利要求的等效含义和范围内的所有变化都被视为包括在本发明的范围中。换句话说，试图覆盖落入基本的主要原则范围内的任何和全部修改、变形或等价物，并且在该专利申请中要求其基本属性。本专利申请的读者可进一步理解的是，词语“包含”或“包括”不排除其它元件或步骤，词“一”或“一个”不排除多个，诸如计算机系统、处理器、或另一集成单元的单个元件可完成在权利要求中列举的几个设备的功能。权利要求中的任何附图标记不应被理解为对各相关权利要求的限度。当在说明书或权利要求中使用时，术语“第一”、“第二”、“第三”“a”、“b”、“c”等用于在相似的元件或步骤之间进行区分，并不必然描述顺序或时间次序。相似的，术语“顶部”、“底部”、“上”“下”等是为描述目的而引入，并不必然表示相对位置。应当理解的是，所使用的术语在适当的环境下可以互换，本发明的实施方式能够根据本发明以不同于上面描述和解释的其它顺序、或方向进行操作。

Claims (11)

1.一种用于通过具有网络连通性的侦察代理(101、201、301)构建源数据库(100)的方法，所述方法包括用于所述网络中的业务源(206、306)以下步骤：

学习所述业务源(206、306)的地址信息；

学习所述业务源(206、306)的端口信息；

学习所述业务源(206、306)的协议信息；

学习所述业务源(206、306)的应用业务简档信息；以及

指示在所述源数据库(100)存储用于所述业务源(206、306)的所述地址信息、所述端口信息、所述协议信息和所述应用业务简档信息。

2.根据权利要求1所述的用于构建源数据库(100)的方法，其中所述应用业务简档信息包括：

表明由所述业务源(206、306)支持的应用的信息；

表明用于对由所述业务源(206、306)分发的内容进行编码/解码的编解码器的信息；以及

表明由所述业务源(206、306)分发的业务的临时属性的信息。

3.根据权利要求2所述的用于构建源数据库(100)的方法，所述方法进一步包括对于所述业务源(206、306)：

学习与由所述业务源(206、306)支持的所述应用和/或由所述业务源(206、306)分发的所述内容相关的应用元数据；以及

在所述源数据库(100)中存储用于所述业务源(206、306)的所述应用元数据。

4.根据权利要求3所述的用于构建源数据库(100)的方法，其中所述应用元数据包括下列内容中的一个或多个：

内容项目的文件名称；

由所述业务源(206、306)支持的所述应用(104)的应用名称；

表明分发所述内容的服务器地理位置的信息；

表明所述内容(102)的所有者或创建者的信息；以及

表明在其上分发所述业务的内容分发网络(103)的信息。

5.根据权利要求1所述的用于构建源数据库(100)的方法，其中所述学习和存储的步骤基于用户指示进行人工触发。

6.根据权利要求1所述的用于构建源数据库(100)的方法，其中所述学习和存储的步骤基于所述业务源(206，306)的指示进行自动触发。

7.根据权利要求1所述的用于构建源数据库(100)的方法，其中基于从在所述网络中运行以发现受欢迎服务的地址的流监控过程接收的指示自动触发所述学习和存储的步骤。

8.根据权利要求1所述的用于构建源数据库(100)的方法，其中用于所述业务源(206，306)的所述学习和存储步骤受事件驱动地重复。

9.根据权利要求1所述的用于构建源数据库(100)的方法，其中用于所述业务源(206，306)的所述学习和存储步骤周期性地重复。

10.一种用于构建源数据库(100)的侦察代理(101，201，301)，所述侦察代理(101，201，301)具有用于网络连通性的装置，进一步还包括：

用于学习业务源(206、306)的地址信息的装置；

用于学习所述业务源(206、306)的端口信息的装置；

用于学习所述业务源(206、306)的协议信息的装置；

用于学习所述业务源(206、306)的应用业务简档信息的装置；以及

用于指示在所述源数据库(100)存储用于所述业务源(206、306)的所述地址信息、所述端口信息、所述协议信息和所述应用业务简档信息的装置。

11.一种源数据库(100)，适于根据具有连通性的侦察代理(101，201，301)的指示为网络中的业务源(206、306)存储以下信息：

所述业务源(206、306)的地址信息；

所述业务源(206、306)的端口信息；

所述业务源(206、306)的协议信息；以及

所述业务源(206、306)的应用业务简档信息。

Images