JP2012529823A - 発信元データベースを構築するための方法及び偵察エージェント - Google Patents
発信元データベースを構築するための方法及び偵察エージェント Download PDFInfo
- Publication number
- JP2012529823A JP2012529823A JP2012514458A JP2012514458A JP2012529823A JP 2012529823 A JP2012529823 A JP 2012529823A JP 2012514458 A JP2012514458 A JP 2012514458A JP 2012514458 A JP2012514458 A JP 2012514458A JP 2012529823 A JP2012529823 A JP 2012529823A
- Authority
- JP
- Japan
- Prior art keywords
- traffic
- source
- information
- learning
- application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000012544 monitoring process Methods 0.000 claims description 10
- 230000001960 triggered effect Effects 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000033458 reproduction Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/04—Network management architectures or arrangements
- H04L41/046—Network management architectures or arrangements comprising network management agents or mobile agents therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/02—Standardisation; Integration
- H04L41/024—Standardisation; Integration using relational databases for representation of network management data, e.g. managing via structured query language [SQL]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/04—Network management architectures or arrangements
- H04L41/046—Network management architectures or arrangements comprising network management agents or mobile agents therefor
- H04L41/048—Network management architectures or arrangements comprising network management agents or mobile agents therefor mobile agents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/02—Standardisation; Integration
- H04L41/0213—Standardised network management protocols, e.g. simple network management protocol [SNMP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Information Transfer Between Computers (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
Abstract
本発明によれば、ネットワーク接続性を備えた偵察エージェント101、201、301が、所定のトラフィック発信元206、306のアドレス情報、ポート情報及びプロトコル情報を学習し、これらのトラフィック発信元206、306のアプリケーショントラフィックプロファイル情報を学習し、発信元データベース100にアドレス情報、ポート情報、プロトコル情報及びアプリケーショントラフィックプロファイル情報の記憶を命令することによって、発信元データベース100を構築する。
Description
本発明は、一般に、例えば、インターネット等の通信ネットワークに関する。より詳細には、本発明は、トラフィック発信元を特定すること、及び、これらのトラフィック発信元によってネットワーク事業者及びサービスプロバイダのネットワーク上を配信されるアプリケーションについてのネットワーク事業者及びサービスプロバイダの認識を生成することの問題を解決する。
ネットワーク事業者及びインターネットサービスプロバイダ(ISP)は、特定の発信元によって彼らのネットワーク上を配信されるトラフィック及びアプリケーションを監視及び制御する必要性の増大に直面している。事業者のネットワークでのトラフィック増大を生じるアプリケーションの特定及びより深い理解は、事業者又はISPがそれらのネットワークで発信元特有トラフィックポリシーを取り決め、且つ組み込むことを可能にする。
トラフィックを監視及び制御する既存のツールは、Deep Packet Inspection(DPI)又はComplete Packet Inspectionと呼ばれ、例えばWikipediaに以下のURL:
http://en.wikipedia.org/wiki/Deep_packet_inspection
にて説明されている。
http://en.wikipedia.org/wiki/Deep_packet_inspection
にて説明されている。
DPIは、パケット調査ハードウェアがパケットの属するトラフィックの種類を特定可能なパケット調査点をデータ経路に生成することにある。パケットの所属するトラフィックカテゴリ、例えば、TCP(Transmission Control Protocol)又はHTTP(Hypertext Transfer Protocol)を知ることは、パケットを配信するアプリケーションは別にして、トラフィックの発信元を特定することを可能にしない。さらに、DPI装置はデータ経路に組み込まれており、それゆえに非常に厳しい遅延制限の範囲内でのパケットの調査及び処理、即ち、今日のネットワークでの10−40Gbps(ギガビット毎秒)の典型的な速度でのリアルタイム処理をする必要がある。それゆえにDPI装置は、トラフィックの発信元及びアプリケーションを特定する観点においてネットワーク事業者の要件にそぐわない高い処理能力と、その結果、非常に高費用なハードウェア解決策を必要とする。
知られているDPIの改良は、HTTP又はTCPフローのより詳細な情報を取得するために複数のパケットの内容又は振舞いを相互に関連付けることにある。所定のリダイレクトを相互に関連付けることによって、又はデータパケットの内容をHTTPサービスを検索するのに使用されたURLと又は加入者の住居用ゲートウェイのIPアドレス及びMACアドレスと相互に関連付けることによって、より発展したDPI装置は、HTTP若しくはTCPフローのより詳細な情報を取得若しくは再構築することが可能になり得る。しかしながら、そのような相互に関連付ける技術は、DPI装置に対するリアルタイム処理要件をさらに増大させ、これらの装置をさらに一層複雑且つ高費用にさせ、なおかつ、トラフィックの正確な発信元、トラフィック配信するアプリケーション又はトラフィックの内容を特定することを可能にしない。
要約すれば、DPI装置は、HTTP、P2P等のいくつかのカテゴリのトラフィックを分類することは可能にするが、それらはトラフィック、発信元、及びアプリケーションを特定することに関する今日の要件は満足させず、且つそれらはデータ経路のリアルタイムパケット処理に関する複雑且つ高費用のハードウェアを伴う。
Deep Packet Inspection、http://en.wikipedia.org/wiki/Deep_packet_inspection
本発明の目的は、既存のトラフィック監視の解決策の上述した欠点を解決する方法及び装置を提供することである。具体的には、ネットワーク事業者及びISPが彼らのネットワークに発信元特有ポリシーを組み込み及び適用することが可能になるように、発信元、アプリケーション又はトラフィックの内容をより詳細に特定することを可能にする方法及び装置を提供することが目的である。
本発明によれば、上述の確認された目的が請求項1によって規定されるように、ネットワーク接続性を備えた偵察エージェントによって発信元データベースを構築する方法を通して実現され、その方法が、ネットワークのトラフィック発信元に関して:
− トラフィック発信元のアドレス情報を学習するステップと、
− トラフィック発信元のポート情報を学習するステップと、
− トラフィック発信元のプロトコル情報を学習するステップと、
− トラフィック発信元のアプリケーショントラフィックプロファイル情報を学習するステップと、
− 発信元データベースでのトラフィック発信元に関するアドレス情報、ポート情報、プロトコル情報及びアプリケーショントラフィックプロファイル情報の記憶を命令するステップと
を備える。
− トラフィック発信元のアドレス情報を学習するステップと、
− トラフィック発信元のポート情報を学習するステップと、
− トラフィック発信元のプロトコル情報を学習するステップと、
− トラフィック発信元のアプリケーショントラフィックプロファイル情報を学習するステップと、
− 発信元データベースでのトラフィック発信元に関するアドレス情報、ポート情報、プロトコル情報及びアプリケーショントラフィックプロファイル情報の記憶を命令するステップと
を備える。
従って、本発明による偵察エージェント、即ち、ネットワーク接続性を備えたデータセンターに組み込まれているアプリケーション又はソフトウェアプログラムのセットが、ネットワーク上の全ての重要なトラフィック発信元、例えば、サーバに関するアドレス、ポート、プロトコル及びアプリケーショントラフィックプロファイルのデータベースのデータの追加及び維持を行う。インターネットの場合、アドレス情報がトラフィック発信元のIPアドレスに対応し、ポート情報が発信元ポート番号に対応し、且つプロトコル情報がTCP(通信制御プロトコル)又はUDP(ユーザデータグラムプロトコル)に対応する。アプリケーショントラフィックプロファイル情報は、IPトラフィック発信元の全ての重要な層横断情報を含み、それゆえに、IPトラフィック発信元によってサポートされているアプリケーション(複数可)、使用されているコーデック、及び平均ビットレート、バーストサイズ、ジッタ等の発信されたIPトラフィックの一時的特性の種類を最低限特定する必要がある。発信元データベースに基づいた本発明による手法は、クリティカルデータ経路のリアルタイムパケット調査に基づいたDPI手法とは根本的に異なっている。従来のDPIと比較して、本発明による偵察エージェント及びその結果の発信元データベースは、トラフィック発信元及びアプリケーションの向上された特定性を提供し、それらはクリティカルデータ経路に配置される必要がない。結果として、その処理要件及び費用は、従来のDPI装置のそれより非常に低く、一方、トラフィック発信元及びアプリケーションを特定すること及び特性付けることの正確性がはるかに優れている。それの利点は、本発明により構築された発信元データベースが、個々のトラフィック発信元又はサービスプロバイダからのトラフィック発信元に関するトラフィック管理ルールを生成及び適用するのに使用され得る点である。
請求項2に示されるように、本発明による方法のアプリケーショントラフィックプロファイル情報が、少なくとも:
− トラフィック発信元によってサポートされるアプリケーションを示す情報と、
− トラフィック発信元によって配信されるコンテンツをエンコーディング/デコーディングするのに使用されるコーデックを示す情報と、
− トラフィック発信元によって配信されるトラフィックの一時的な特性を示す情報と
を備える。
− トラフィック発信元によってサポートされるアプリケーションを示す情報と、
− トラフィック発信元によって配信されるコンテンツをエンコーディング/デコーディングするのに使用されるコーデックを示す情報と、
− トラフィック発信元によって配信されるトラフィックの一時的な特性を示す情報と
を備える。
サポートされているアプリーションを示す情報は、例えば、ビデオ又はオーディオ等のアプリーションの種類を特定することが可能であり、或いはより具体的に、例えば、Hulu、Youtube、iTunes、Bittorent等の正確なビデオアプリケーションを特定することが可能である。使用されるコーデックを示す情報は、例えば、ビデオトラフィックの場合にmp4、h264等、又はオーディオの場合にmp3、wav等のエンコーディング機構を特定することが可能である。トラフィックの一時的な特性を示す情報は、トラフィック発信元のサービス品質(Quality of Service)プロファイルから抽出され得て、通常、平均ビデオビットレート、バーストサイズ、ジッタ等のパラメータを含む。偵察エージェントが、クライアントアプリケーションとして機能すること及びそのトラフィック特性に関してアプリケーションの振舞いを監視することによって、トラフィック発信元のサービス品質プロファイルを推測し得ることに留意されたい。
任意選択的に、請求項3に規定されるように、本発明による方法が:
− トラフィック発信元によってサポートされるアプリケーション及び/又はトラフィック発信元によって配信されるコンテンツに関連してアプリケーションメタデータを学習するステップと、
− 発信元データベースでのトラフィック発信元に関するアプリケーションメタデータの記憶を命令するステップと
をさらに備える。
− トラフィック発信元によってサポートされるアプリケーション及び/又はトラフィック発信元によって配信されるコンテンツに関連してアプリケーションメタデータを学習するステップと、
− 発信元データベースでのトラフィック発信元に関するアプリケーションメタデータの記憶を命令するステップと
をさらに備える。
従って、偵察エージェントはさらに、アプリケーション又はサービスの名前、サービスを提供する会社、コンテンツ配信ネットワーク、サービスを提供するドメイン、サービスの配信に関連するURL又はリンク、サービスの配信に関連するアプリケーション、サービスの配信に関連するサーバの地理的位置、配信されるコンテンツ、コンテンツの発信元である会社のアプリケーションメタデータ等を任意に収集し得る。そのような情報のおかげで、発信元データベースは、トラフィックポリシールールを生成すること及び組み込むことに有用であるだけでなく、例えば、ネットワーク事業者又はサービスプロバイダに、特定の発信元又はアプリケーションからのトラフィックについての詳細な報告を構築すること及び配信することにも有用である。
請求項4に示されるように、本発明に関連するアプリケーションメタデータが:
− コンテンツアイテムのファイル名と、
− トラフィック発信元によってサポートされるアプリケーションのアプリケーション名と、
− コンテンツを配信するサーバの地理的位置を示す情報と、
− コンテンツの所有者又は作成者を示す情報と、
− その上をトラフィックが配信されるコンテンツ配信ネットワークを示す情報と
のうちの1つ又は複数を備え得る。
− コンテンツアイテムのファイル名と、
− トラフィック発信元によってサポートされるアプリケーションのアプリケーション名と、
− コンテンツを配信するサーバの地理的位置を示す情報と、
− コンテンツの所有者又は作成者を示す情報と、
− その上をトラフィックが配信されるコンテンツ配信ネットワークを示す情報と
のうちの1つ又は複数を備え得る。
アプリケーション名は、例えば、iTunes、Hulu、Youtube、iPlayer、ウェブブラウザ名等であってよい。地理的位置を示す情報は、コンテンツの配信に関連する全サーバによって使用されるIPアドレス又はIPアドレス範囲が登録されている州(state、複数可)又は州(province、複数可)であってよい。所有者又は作成者を示す情報は、例えば、NBC、RTL等のコンテンツの発信元である会社の名前であってよい。コンテンツ配信ネットワークは、例えば、akamai.com、limilight.com等のそのドメイン名によって特定されてよい。本発明は、アプリケーションメタデータのこれらの例によって明らかに制限はされない。
任意選択的に、請求項5に規定されるように、学習するステップ及び記憶するステップが、ユーザの命令によって手動でトリガーされてよい。
実際に、どのトラフィック発信元にコンタクトして発信元データベースにプロファイルを構築するかを偵察エージェントに命令するために、偵察エージェントが、例えば、人気のあるビデオウェブサイト等の重要なコンテンツ発信元のアドレスを備えて手動で構成されてよい。
代替的に、請求項6に規定されるように、学習するステップ及び記憶するステップが、トラフィック発信元の命令に基づいて自動的にトリガーされてよい。
手動の構成の代替として、偵察エージェントが、重要なコンテンツ発信元を特定する自動的な命令を受信してよい。これらの自動的な命令は、請求項7に示されるように、ネットワークで実行され、どのサービスのアドレスが人気があるかを発見するフロー監視プロセスから受信されてよい。
さらに任意選択的に、請求項8に規定されるように、トラフィック発信元に関して学習するステップ及び記憶するステップが、繰り返されるイベント駆動型であってよい。
従って、発信元データベースの更新がイベントによってトリガーされてよい。
代替的に、請求項9に規定されるように、トラフィック発信元に関して学習するステップ及び記憶するステップが周期的に繰り返されてよい。
それゆえに、発信元データベースのイベントベースの更新の代替として、データベースのコンテンツが規則的なペースで又は頻度で更新されてよい。
請求項1に規定されるような発信元データベースを構築するための方法に加えて、本発明は、請求項10に規定されるような発信元データベースを構築するための偵察エージェントに同様に適用され、この偵察エージェントがネットワーク接続性に関する手段を有し、さらに:
− トラフィック発信元のアドレス情報を学習する手段と、
− トラフィック発信元のポート情報を学習する手段と、
− トラフィック発信元のプロトコル情報を学習する手段と、
− トラフィック発信元のアプリケーショントラフィックプロファイル情報を学習する手段と、
− 発信元データベースでのトラフィック発信元に関するアドレス情報、ポート情報、プロトコル情報及びアプリケーショントラフィックプロファイル情報の記憶を命令する手段と
を備える。
− トラフィック発信元のアドレス情報を学習する手段と、
− トラフィック発信元のポート情報を学習する手段と、
− トラフィック発信元のプロトコル情報を学習する手段と、
− トラフィック発信元のアプリケーショントラフィックプロファイル情報を学習する手段と、
− 発信元データベースでのトラフィック発信元に関するアドレス情報、ポート情報、プロトコル情報及びアプリケーショントラフィックプロファイル情報の記憶を命令する手段と
を備える。
偵察エージェントは、通常、中央集中型又は分散型のいずれかであり、固定型又は移動型のいずれかである、ネットワーク接続性を備えたデータセンターに組み込まれているアプリケーション又はソフトウェアプログラムのセットである。偵察エージェントは、トラフィック発信元にコンタクトするように手動で構成され、所定の人気のあるトラフィック発信元にコンタクトするようにネットワークで実行されているフロー監視プロセスから命令を受信し、又は、例えば、ビデオ及びオーディオのトラフィックに関して、人気のある発信元を検出及び特定するためにウェブサイトに渡ってデータ収集する。この偵察エージェントは、トラフィック発信元にコンタクトし、且つ発信元情報(アドレス、ポート及びプロトコル)及びアプリケーションメタ情報を収集するためにスクリプト化されたアプリケーションをさらに使用する。
さらに、本発明は、請求項11に規定されるような、ネットワークのトラフィック発信元に関してネットワーク接続性を備えた偵察エージェントの命令に応じて:
− トラフィック発信元のアドレス情報と、
− トラフィック発信元のポート情報と、
− トラフィック発信元のプロトコル情報と、
− トラフィック発信元のアプリケーショントラフィックプロファイル情報と
を記憶するように構成された、結果として生じる発信元データベースにさらに関する。
− トラフィック発信元のアドレス情報と、
− トラフィック発信元のポート情報と、
− トラフィック発信元のプロトコル情報と、
− トラフィック発信元のアプリケーショントラフィックプロファイル情報と
を記憶するように構成された、結果として生じる発信元データベースにさらに関する。
図1は、偵察エージェント101又はSCOUT、即ち、インターネット上の全ての重要なコンピュータ及びサーバのIPアドレス及びポートの、並びにこれらのIPアドレスから配信されるアプリケーションの、データベース100又はSOURCE DBを構築するプログラムのセットを示す。このデータベース100は、IP発信元データベースと呼ばれる。
偵察エージェント101が収集する情報は、アプリケーションのユーザが利用可能な全ての詳細な情報を含む。換言すると、それは、ネットワークアドレス及びプロトコル情報に加えて、アプリケーショントラフィックプロファイル、アプリケーションを介して配信されるコンテンツの情報、及びアプリケーションの完全な配信チェーン(delivery chain)に関連する会社の情報を同様に含む、IP発信元及びアプリケーションの全ての重要な層横断情報を含む。
より詳細には、偵察エージェント101は、104又はVIDEO APPL等の重要なアプリケーション発信元、103又はCDN等のコンテンツ配信ネットワーク、及びサーバ又はコンテンツ発信元のIPアドレス、ポート及びプロトコル情報(UDP/TCP)等のネットワーク情報を学習する。後者のサーバ又はコンテンツサーバのIPアドレスは、例えば、図1の矢印151で示されるように、インデックスサイト(INDEX SITES)、ピアツーピアトラッカー(P2P TRACKERS)及びピアツーピアアプリケーション(P2P APPL)105から学習され得る。これらのIPアドレスは、IP発信元データベース100に記憶される。加えて偵察エージェント101は、図1の矢印141で示されるように、これらのIPアドレスから配信されるアプリケーションについての、これらのアプリケーションが配信するトラフィックの種類(例えば、ストリーミングビデオ又はピアツーピアビデオ)についての、配信されるコンテンツについての、図1の矢印121で示されるように、コンテンツの配信元である会社についての、及び図1の矢印131で示されるように、コンテンツ配信ネットワーク103又はCDNについての、情報を同様に収集する。発信元データベース100に記憶された情報は、コンテンツを配信するサーバ(複数可)のドメイン又は地理的位置の情報でさらに補完され得る。この情報は、例えば、ASN(自律システム番号)データベース、111若しくはASN DBから、及び/又は地理的データベース、112若しくはGEO DBから、抽出され得る。
偵察エージェント101は、IP発信元情報及びアプリケーションメタ情報を収集する。偵察エージェント101は、インターネット接続性を備えたデータセンターで実行されているアプリケーション又はソフトウェアプログラムのセットである。偵察エージェント101は、移動型又は固定型であってよく、中央集中型又はインターネットの種々の地理的位置上での分散型であってよく、且つイベント駆動型又は周期的にトリガーされてよい。
どのIP発信元にコンタクトしてアプリケーショントラフィックプロファイルを構築するかを偵察エージェント101に命令する2つプロセス:手動のプロセス及び自動化されたプロセスが存在する。手動のプロセスでは、ユーザが、所定の人気のあるビデオウェブサイト及びコンテンツ発信元にコンタクトするように偵察エージェント101に命令又は設定をする。自動化されたプロセスでは、偵察エージェント101が、例えば、NetFlow、sFlow、IPFIX又はcflowd等の、ネットワークで実行されてIPフロー情報を記録する監視プロセスから重要なIP発信元の自動化された命令を受信する。この監視プロセスは、どのサービスのIPアドレスがネットワークで人気があるかを発見する。その後に、偵察エージェント101は、111又はASN DB等の自律システム番号データベース、即ち、IPアドレス範囲、自律的システム及び組織の間のマッピングを含むデータベースを用いて、IPフロー情報を、IPフローの発信元であったサービスのアプリケーションレベルコンタクト情報(例えば、ウェブURL)に変換する。偵察エージェント101は、アプリケーション又はサービスにコンタクトするための小型版ウェブブラウザクライアントと、例えば、iTunes、iPlayer等の修正されたバージョンを使用してサービスにコンタクトするためのスクリプト化されたアプリケーションクライアントとをさらに使用する。従って、偵察エージェント101は、ビデオへのリンクに関して探り出すためにウェブサイト及びサーバに渡ってデータ収集する。
結果として、IP発信元データベース100は、IP発信元に関する全ての関連層横断情報を含むべきである。ビデオ発信元の場合、発信元データベース100のIP発信元データは、例えば:
− サービス名(例えば、Hulu)、
− サービスを提供する会社(例えば、Google.com)、
− コンテンツ配信ネットワーク(例えば、Akamai.com)、
− サービスを提供するドメイン(例えば、youtube.com)、
− コンテンツを配信するドメイン(例えば、Akamai.com)、
− ビデオサービスに関連するリンク又はURL、
− サービスの配信に関連するアプリケーション(例えば、iTunes、iPlayer等)、
− シグナリングアドレス(例えば、URI)、
− IPアドレス、
− 特定のURLから配信されたプロトコル(例えば、http)、及びトラフィック、
− 中間のリダイレクトのIPアドレス、ポート番号、プロトコル、
− 実際のビデオストリームを配信するサーバIP5−tuple(IP発信元アドレス、IP宛先アドレス、IP発信元ポート、IP宛先ポート、プロトコル)、
− ビデオを配信するプロトコル(例えば、http、RTMP、UDP等)、
− ストリーミングエンコーディング(例えば、H.264、Flash)、
− ビデオビットレート
として編成され、関連付けられ得る。
さらに、コンテンツに関連するメタデータが、IP発信元データベース100に付加され得る。偵察エージェント101は、発信元ウェブサイト及び/又はサーバからこれらのメタデータを導出させ得る。
− サービス名(例えば、Hulu)、
− サービスを提供する会社(例えば、Google.com)、
− コンテンツ配信ネットワーク(例えば、Akamai.com)、
− サービスを提供するドメイン(例えば、youtube.com)、
− コンテンツを配信するドメイン(例えば、Akamai.com)、
− ビデオサービスに関連するリンク又はURL、
− サービスの配信に関連するアプリケーション(例えば、iTunes、iPlayer等)、
− シグナリングアドレス(例えば、URI)、
− IPアドレス、
− 特定のURLから配信されたプロトコル(例えば、http)、及びトラフィック、
− 中間のリダイレクトのIPアドレス、ポート番号、プロトコル、
− 実際のビデオストリームを配信するサーバIP5−tuple(IP発信元アドレス、IP宛先アドレス、IP発信元ポート、IP宛先ポート、プロトコル)、
− ビデオを配信するプロトコル(例えば、http、RTMP、UDP等)、
− ストリーミングエンコーディング(例えば、H.264、Flash)、
− ビデオビットレート
として編成され、関連付けられ得る。
さらに、コンテンツに関連するメタデータが、IP発信元データベース100に付加され得る。偵察エージェント101は、発信元ウェブサイト及び/又はサーバからこれらのメタデータを導出させ得る。
本実施形態は、ビデオサービスに焦点を当てているが、任意のその他の種類のサービスに関して類似の種類の情報が収集され得ることを当業者は理解するであろう。
IP発信元データベース100は、事業者又はIPSのための詳細な報告を構築するために、アプリケーショントラフィックに基づいてネットワーク管理信号(例えば、SNMPトラップ)を生成し、IP発信元データベース100から導出されるポリシールールに基づいてトラフィックをルーティング又は秩序を保ち、且つネットワークフロー情報をIP発信元データベース100と相互に関連付けるために使用し得る。これらの目的のためのIP発信元データベースの使用方法は、参照により本明細書に組み込まれる、「Network Management Method and Agent」と題された同一出願人による対をなす特許出願に詳述されている。
図2は、本発明による偵察エージェント201の一実施形態が、発信元データベースに記憶するためのHuluサービスの情報を学習する第1の例示的なシナリオを示す。
以下の段落で説明されるように、偵察エージェント201がHuluサーバ202(s.hulu.com)にコンタクトし、ビデオストリームを配信する実際のビデオサーバ(80.154.118.29)に導く全てのリダイレクトを記録する。換言すると:偵察エージェント201は、サービスがビデオサーバ5−tuple(IP発信元アドレス、IP宛先アドレス、IP発信元ポート、IP宛先ポート、プロトコル)に導くリンク(又はURL)に関連付けられていることを学習する。偵察エージェント201は、手動の命令又は自動化されたプロセスを介することによって、入力パケット及びトラフィックを監視することによって、Huluウェブサイト上のいくつかのリンクがビデオクリップにつながることを前もって見つけ出す。そのような自動化されたプロセスは、ページ上のリンクがビデオを示す意味、例えば、リンクのファイル種別又はリンクの任意のその他のタグを用いていることを検出する。偵察エージェント201は、例えば、データのエンコーディングを認識することによって、入力ストリームがビデオであることを発見する。
矢印211で示されるように、IPアドレス192.168.0.106を備えた偵察エージェント201は、クライアントとして機能し、ビデオトラフィックを搬送するパケットを監視することを通じて、又は代替的に手動で構成されて、そのIPアドレスが209.130.205.59であると学習したHuluサーバ202、s.hulu.comからデイリーショー(Daily Show)エピソードに関するコンテンツ情報を要求する。Huluサーバ202は、要求されたコンテンツアイテム、即ち、「cp47346.edgefcs.net」を保持するAkamaiCDN要素206のURLだけを知っている。その後に、偵察エージェント201は、このURLをIP宛先アドレスに変換する必要がある。その後に、偵察エージェント201は、AkamaiCDN要素206のURL「cp47346.edgefcs.net」を変換するために、ドメインネームサーバ又はDNS203にコンタクトする。これは、図2の矢印212で示される。DNS203は、Akamaiコンテンツ配信ネットワーク204の8つのサーバ205の8つのIPアドレスを返す。これらの8つのIPアドレスは、図2にリストアップされている:80.154.118.29、80.154.118.47、80.154.118.20、80.154.118.15、80.154.118.39、80.154.118.14、80.154.118.30、及び80.154.118.12。偵察エージェント201は、8つの受信したIPアドレスから1つ、例えば、80.154.118.29を選択し、図2の矢印213で示されるようにアクセスを要求する。偵察エージェント201は、矢印214で示されるように、ストリーミングサーバIDを取得し、矢印215で示されるように、RTMP(ルーティングテーブルメンテナンスプロトコル)を使用してストリーミングサーバと相互作用する。その後に、図2に示されていないIP発信元データベースに偵察エージェント201によって記憶されるビデオサーバ5−tuple(IP発信元アドレス、IP宛先アドレス、IP発信元ポート、IP宛先ポート、プロトコル)及びアプリケーショントラフィックプロファイルに導くIPアドレス80.154.118.29を備えたサーバから、要求されたビデオがストリーミングされる。ビデオストリームは、通常、サーバIPアドレス、ポート及びプロトコル情報を提供するのに対し、5−tupleの他の要素(発信元IPアドレス及びポート)はワイルドカードになっている可能性があることに留意されたい。
図3は、本発明による偵察エージェント301の一実施形態が、発信元データベースに記憶するためのYoutubeサービスの情報を学習する第2の例示的なシナリオを示す。
Huluとほぼ同様に、偵察エージェント301は、ある地理的位置からあるyoutubeビデオクリップへの要求がGoogle CDNビデオサーバのIP5−tupleに導くことを学習する。偵察エージェント301は、IP発信元データベースを継続的に更新する。これは、偵察エージェントがIP5−tuple情報及びこれらのIPトラフィック発信元から配信されるサービスの変化について継続的に見つけ出すことを意味する。
最初に、IPアドレス192.168.0.106を備える偵察エージェント301がIPアドレス208.65.153.253を備えるYoutubeサーバ302にコンタクトし、デイリーショーエピソードに関するコンテンツ情報を要求する。これは図3の矢印311で示される。Youtubeサーバ302は、コンテンツを担当するGoogle CDN要素305のURL「v6.cache.googlevideo.com」だけを知っており、図3の矢印312で示されるように、この情報を返す。その後に、偵察エージェント302は、このURLをIP宛先アドレスに変換する必要がある。図3の矢印313で示されるように、偵察エージェント302は、その後に、URL「v6.cache.googlevideo.com」を変換するための要求を用いてDNSサーバ303にコンタクトし、DNSサーバ303からの応答でGoogleコンテンツ配信ネットワーク304のサーバ305のIPアドレス74.125.0.223を受信する。このDNS303は、Youtube.comに関して負荷分散を行うので、DNSサーバから返されるIPアドレスは同一のコンテンツの複数の再生に関して変化する可能性がある。次のステップで、偵察エージェント301は、キャッシュメモリからビデオを取得するためにサーバ305にコンタクトする。これは、図3の矢印314で示される。しかしながら、サーバ305は、ビデオ配信をIPアドレス74.125.0.211のIPアドレスを備えるストリーミングサーバ306にリダイレクトし、その結果として、偵察エージェント301は、前のステップで示されたサーバ306内又は近くのキャッシュメモリ307からビデオを取得するためにサーバ306にコンタクトする。偵察エージェント301は、矢印315で示されるように、HTTP(ハイパーテキスト転送プロトコル)を使用してストリーミングサーバ306と相互作用する。最後に、図3の矢印316で示されるように、IPアドレス74.125.0.211を備えるストリーミングサーバ306から偵察エージェント301にビデオがストリーミングされ、その結果、偵察エージェント301によって図3に示されていないIP発信元データベースに記憶されるビデオサーバ5−tuple(IP発信元アドレス、IP宛先アドレス、IP発信元ポート、IP宛先ポート、プロトコル)及びアプリケーショントラフィックプロファイルが導出される。
本発明が特定の実施形態に関連して示されてきたが、本発明は前述の示された実施形態の詳細に限定されないこと、及び本発明はその範囲から逸脱することなしに種々の変更及び修正と共に実施され得ることが当業者には明らかであろう。本実施形態は、それゆえに、全ての点で例示的且つ非制限的であるとみなされるべきであり、本発明の範疇は、前述の説明ではなく添付の特許請求の範囲によって示されるものであり、それゆえに、特許請求の範囲と同等の意味及び範囲内にある全ての変更はその中に包含されることが意図される。換言すると、本特許出願でその本質的な特性が主張され、基本的な根底にある原理の範囲内のあらゆる修正、変更又は同等物が網羅されることが想到される。さらに、本特許出願の読者は、用語「備えている」又は「備える」が他の要素又はステップを排除せず、用語「a」又は「an」が複数を排除せず、且つ、例えば、コンピュータシステム、プロセッサ、又はその他の一体型ユニット等の単一の要素が特許請求の範囲で列挙された複数の手段の機能を実現し得ることを理解するであろう。特許請求の範囲のいずれの引用符号も、関連する各請求項を制限するものと解釈されるべきではない。用語「第1の」、「第2の」、「第3の」、「a」、「b」、「c」等は、説明又は特許請求の範囲で使用される場合に類似の要素又はステップ間での区別をするために導入されており、必ずしも連続的又は経時的な順序を説明するものではない。同様に、用語「一番上(top)」、「一番下(bottom)」、「上に(over)」、「下に(under)」及び同等物は、説明を目的として導入されており、必ずしも相対的な位置を示すわけではない。そのように使用されている用語は、適切な状況下で交換可能であり、本発明の実施形態は、上記で説明又は図示されたもの(複数可)とは別の順序、又は異なる配置で、本発明により実施され得ることを理解されたい。
Claims (11)
- ネットワーク接続性を備えた偵察エージェント(101、201、301)によって発信元データベース(100)を構築するための方法であって、前記ネットワークのトラフィック発信元(206、306)に関して、
前記トラフィック発信元(206、306)のアドレス情報を学習するステップと、
前記トラフィック発信元(206、306)のポート情報を学習するステップと、
前記トラフィック発信元(206、306)のプロトコル情報を学習するステップと、
前記トラフィック発信元(206、306)のアプリケーショントラフィックプロファイル情報を学習するステップと、
前記発信元データベース(100)での前記トラフィック発信元(206、306)に関する前記アドレス情報、前記ポート情報、前記プロトコル情報及び前記アプリケーショントラフィックプロファイル情報の記憶を命令するステップと
を備える、方法。 - 前記アプリケーショントラフィックプロファイル情報が、
前記トラフィック発信元(206、306)によってサポートされるアプリケーションを示す情報と、
前記トラフィック発信元(206、306)によって配信されるコンテンツをエンコーディング/デコーディングするのに使用されるコーデックを示す情報と、
前記トラフィック発信元(206、306)によって配信されるトラフィックの一時的な特性を示す情報と
を備える、請求項1に記載の発信元データベース(100)を構築するための方法。 - 前記トラフィック発信元(206、306)に関して、
前記トラフィック発信元(206、306)によってサポートされる前記アプリケーション及び/又は前記トラフィック発信元(206、306)によって配信される前記コンテンツに関連してアプリケーションメタデータを学習するステップと、
前記発信元データベース(100)において前記トラフィック発信元(206、306)に関して前記アプリケーションメタデータを記憶するステップと、
をさらに備える、請求項2に記載の発信元データベース(100)を構築するための方法。 - 前記アプリケーションメタデータが、
コンテンツアイテムのファイル名と、
前記トラフィック発信元(206、306)によってサポートされる前記アプリケーション(104)のアプリケーション名と、
前記コンテンツを配信するサーバの地理的位置を示す情報と、
前記コンテンツ(102)の所有者又は作成者を示す情報と、
その上を前記トラフィックが配信されるコンテンツ配信ネットワーク(103)を示す情報と
のうちの1つ又は複数を備える、請求項3に記載の発信元データベース(100)を構築するための方法。 - 前記学習するステップ及び前記記憶するステップが、ユーザの命令に基づいて手動でトリガーされる、請求項1に記載の発信元データベース(100)を構築するための方法。
- 前記学習するステップ及び前記記憶するステップが、前記トラフィック発信元(206、306)の命令に基づいて自動的にトリガーされる、請求項1に記載の発信元データベース(100)を構築するための方法。
- 前記学習するステップ及び前記記憶するステップが、人気のあるサービスのアドレスを発見するように前記ネットワークで実行されるフロー監視プロセスから受信される命令に基づいて自動的にトリガーされる、請求項1に記載の発信元データベース(100)を構築するための方法。
- 前記トラフィック発信元(206、306)に関して前記学習するステップ及び前記記憶するステップが、繰り返されるイベント駆動型である、請求項1に記載の発信元データベース(100)を構築するための方法。
- 前記トラフィック発信元(206、306)に関して前記学習するステップ及び前記記憶するステップが、周期的に繰り返される、請求項1に記載の発信元データベース(100)を構築するための方法。
- 発信元データベース(100)を構築するための偵察エージェント(101、201、301))であって、前記偵察エージェント(101、201、301)がネットワーク接続性に関する手段を有し、さらに、
トラフィック発信元(206、306)のアドレス情報を学習する手段と、
前記トラフィック発信元(206、306)のポート情報を学習する手段と、
前記トラフィック発信元(206、306)のプロトコル情報を学習する手段と、
前記トラフィック発信元(206、306)のアプリケーショントラフィックプロファイル情報を学習する手段と、
前記発信元データベース(100)での前記トラフィック発信元(206、306)に関する前記アドレス情報、前記ポート情報、前記プロトコル情報及び前記アプリケーショントラフィックプロファイル情報の記憶を命令する手段と
を備える、偵察エージェント。 - ネットワークのトラフィック発信元(206、306)に関してネットワーク接続性を備えた偵察エージェント(101、201、301)の命令に応じて、
前記トラフィック発信元(206、306)のアドレス情報と、
前記トラフィック発信元(206、306)のポート情報と、
前記トラフィック発信元(206、306)のプロトコル情報と、
前記トラフィック発信元(206、306)のアプリケーショントラフィックプロファイル情報と
を記憶するように構成された、発信元データベース(100)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP09305528A EP2262172A1 (en) | 2009-06-10 | 2009-06-10 | Method and scout agent for building a source database |
EP09305528.3 | 2009-06-10 | ||
PCT/EP2010/058047 WO2010142707A1 (en) | 2009-06-10 | 2010-06-09 | Method and scout agent for building a source database |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012529823A true JP2012529823A (ja) | 2012-11-22 |
Family
ID=41078145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012514458A Pending JP2012529823A (ja) | 2009-06-10 | 2010-06-09 | 発信元データベースを構築するための方法及び偵察エージェント |
Country Status (6)
Country | Link |
---|---|
US (1) | US20120084331A1 (ja) |
EP (1) | EP2262172A1 (ja) |
JP (1) | JP2012529823A (ja) |
KR (1) | KR20120014585A (ja) |
CN (1) | CN102461074A (ja) |
WO (1) | WO2010142707A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8854958B2 (en) | 2011-12-22 | 2014-10-07 | Cygnus Broadband, Inc. | Congestion induced video scaling |
CN104243521B (zh) * | 2013-06-19 | 2017-06-09 | 北京思普崚技术有限公司 | 一种利用深度包检测技术进行p2p网络识别的方法 |
CN104253715A (zh) * | 2013-06-28 | 2014-12-31 | 鸿富锦精密工业(深圳)有限公司 | 多层级联业务监控系统及方法 |
CN105323785B (zh) * | 2014-06-04 | 2019-06-14 | 中国移动通信集团广东有限公司 | 一种网络时域特性的确定方法及装置 |
US20160337174A1 (en) * | 2015-05-15 | 2016-11-17 | David Francis Jorm | Automated network peering in a social-network model |
WO2021150236A1 (en) * | 2020-01-24 | 2021-07-29 | Google, Llc | Interaction tracking controls |
CN111356014B (zh) * | 2020-02-18 | 2022-05-13 | 南京中新赛克科技有限责任公司 | 一种基于自动化学习的Youtube视频识别匹配方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060041570A1 (en) * | 2004-08-23 | 2006-02-23 | Rick Lowe | Database for a capture system |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5185860A (en) * | 1990-05-03 | 1993-02-09 | Hewlett-Packard Company | Automatic discovery of network elements |
US6453345B2 (en) * | 1996-11-06 | 2002-09-17 | Datadirect Networks, Inc. | Network security and surveillance system |
US6108782A (en) * | 1996-12-13 | 2000-08-22 | 3Com Corporation | Distributed remote monitoring (dRMON) for networks |
US6459682B1 (en) * | 1998-04-07 | 2002-10-01 | International Business Machines Corporation | Architecture for supporting service level agreements in an IP network |
US6957255B1 (en) * | 1999-06-28 | 2005-10-18 | Amdocs (Israel) Ltd. | Method and apparatus for session reconstruction and accounting involving VoIP calls |
CN100405784C (zh) * | 1999-06-30 | 2008-07-23 | 倾向探测公司 | 用于监控网络流量的方法和设备 |
US6944673B2 (en) * | 2000-09-08 | 2005-09-13 | The Regents Of The University Of Michigan | Method and system for profiling network flows at a measurement point within a computer network |
US7165100B2 (en) * | 2001-07-24 | 2007-01-16 | At&T Corp. | Method and apparatus for packet analysis in a network |
US6931574B1 (en) * | 2001-10-24 | 2005-08-16 | Finisar Corporation | Systems and methods for interpreting communications packets |
WO2005093576A1 (en) | 2004-03-28 | 2005-10-06 | Robert Iakobashvili | Visualization of packet network performance, analysis and optimization for design |
US7751385B2 (en) * | 2004-08-25 | 2010-07-06 | Jds Uniphase Corporation | Systems and methods for collecting and disbursing participant identifying data |
CN101267312B (zh) * | 2008-04-30 | 2011-07-13 | 中兴通讯股份有限公司 | 一种网络中防止地址冲突检测欺骗的方法 |
-
2009
- 2009-06-10 EP EP09305528A patent/EP2262172A1/en not_active Withdrawn
-
2010
- 2010-06-09 US US13/319,257 patent/US20120084331A1/en not_active Abandoned
- 2010-06-09 JP JP2012514458A patent/JP2012529823A/ja active Pending
- 2010-06-09 CN CN2010800255316A patent/CN102461074A/zh active Pending
- 2010-06-09 WO PCT/EP2010/058047 patent/WO2010142707A1/en active Application Filing
- 2010-06-09 KR KR1020117029591A patent/KR20120014585A/ko not_active Application Discontinuation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060041570A1 (en) * | 2004-08-23 | 2006-02-23 | Rick Lowe | Database for a capture system |
Also Published As
Publication number | Publication date |
---|---|
EP2262172A1 (en) | 2010-12-15 |
KR20120014585A (ko) | 2012-02-17 |
US20120084331A1 (en) | 2012-04-05 |
CN102461074A (zh) | 2012-05-16 |
WO2010142707A1 (en) | 2010-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10992998B2 (en) | Method and system for adaptive virtual broadcasting of digital content | |
Adhikari et al. | Measurement study of Netflix, Hulu, and a tale of three CDNs | |
Liu et al. | Dynamic adaptive streaming over CCN: A caching and overhead analysis | |
Adhikari et al. | A tale of three CDNs: An active measurement study of Hulu and its CDNs | |
US9331944B2 (en) | Real-time network monitoring and subscriber identification with an on-demand appliance | |
JP2012529823A (ja) | 発信元データベースを構築するための方法及び偵察エージェント | |
CN109951338B (zh) | Cdn网络配置方法、配置装置、电子设备及存储介质 | |
Alzoubi et al. | Anycast cdns revisited | |
Ge et al. | Real-time QoE estimation of DASH-based mobile video applications through edge computing | |
Taha | A novel CDN testbed for fast deploying HTTP adaptive video streaming | |
US9055113B2 (en) | Method and system for monitoring flows in network traffic | |
EP2262173A1 (en) | Network management method and agent | |
US10541985B2 (en) | Coordinated packet delivery of encrypted session | |
US10313418B2 (en) | Chunked HTTP video cache routing | |
Silva et al. | A holistic SDN-capable session-plane tailored for efficient IoMT smart surveillance applications | |
Rotinsulu et al. | Measuring Quality of Services (QoS) of several forwarding strategies on Named Data Networking (NDN) using ndnSIM | |
Ramadha et al. | Design and implementation named data networking-based video streaming system | |
US20150229734A1 (en) | Transparent internet cache and method for providing transparent internet cache | |
Hoang-Van et al. | A hierarchical P2P traffic localization method with bandwidth limitation | |
Meng et al. | Elastic caching solutions for content dissemination services elastic caching solutions for content dissemination services of ip-based internet technologies prospective | |
Nichols et al. | Robust wireless sharing of internet video streams | |
EP2811692B1 (en) | Methods and systems for monitoring the quality-of-experience of an application available over a network | |
Gardikis et al. | A network cost provision framework for Network-Aware applications | |
V1 | Deliverable D5. 2 | |
Cao et al. | User Behavior Prediction based Adaptive Policy Pre-fetching Scheme for Efficient Network Management |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130430 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131001 |