JP2003087325A - データストリームの実質リアルタイム解析方法 - Google Patents
データストリームの実質リアルタイム解析方法Info
- Publication number
- JP2003087325A JP2003087325A JP2002221143A JP2002221143A JP2003087325A JP 2003087325 A JP2003087325 A JP 2003087325A JP 2002221143 A JP2002221143 A JP 2002221143A JP 2002221143 A JP2002221143 A JP 2002221143A JP 2003087325 A JP2003087325 A JP 2003087325A
- Authority
- JP
- Japan
- Prior art keywords
- data
- bin
- usage
- stream
- bins
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/5061—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the interaction between service providers and their network customers, e.g. customer relationship management
- H04L41/5067—Customer-centric QoS measurements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/508—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement
- H04L41/509—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement wherein the managed service relates to media content delivery, e.g. audio, video or TV
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/508—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement
- H04L41/5096—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement wherein the managed service relates to distributed or central networked applications
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Algebra (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Complex Calculations (AREA)
Abstract
(57)【要約】
【課題】大容量のリアルタイム確率密度分布及びインタ
ーネット使用量と同様の特性を有するネットワーク使用
量データのストリーミングを提供すること。 【解決手段】動的統計データ分布システム（３２０）及
び方法を有するネットワーク使用量解析システム及び方
法（２０）である。一実施形態では、本発明は、データ
ストリームの実質リアルタイム解析方法を備える。本方
法は、データストリーム（３２４）を受けとるステップ
を含む。本方法では、指数関数的に増加するサイズ（３
１２）を有するデータビンを生成すること、及びデータ
ビン（３０６）にデータを表す統計値を割り当てること
を含む、データストリームを表すデータ分布（３００）
を決定するステップを含む。データ分布は、該データス
トリームを解析するのに用いられる。
ーネット使用量と同様の特性を有するネットワーク使用
量データのストリーミングを提供すること。 【解決手段】動的統計データ分布システム（３２０）及
び方法を有するネットワーク使用量解析システム及び方
法（２０）である。一実施形態では、本発明は、データ
ストリームの実質リアルタイム解析方法を備える。本方
法は、データストリーム（３２４）を受けとるステップ
を含む。本方法では、指数関数的に増加するサイズ（３
１２）を有するデータビンを生成すること、及びデータ
ビン（３０６）にデータを表す統計値を割り当てること
を含む、データストリームを表すデータ分布（３００）
を決定するステップを含む。データ分布は、該データス
トリームを解析するのに用いられる。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明はネットワーク使用量
解析システム及び方法に関し、特に動的統計データ分布
システム及び方法に関する。 【０００２】 【従来の技術】ネットワークシステムは、毎日の個人及
びビジネス目的のコミニュケーションリンクとして利用
されている。特にインターネット等のネットワークシス
テムが成長し、コンピュータハードウェア及びソフトウ
ェア技術が発達したので、ネットワークの使用は、電子
メール等の単純な通信交換から、ウェブブラウジング、
電子商取引、及びインターネット音声及びインターネッ
トビデオオンデマンド等の他の多くの電子ネットワーク
サービス、等のより複雑でデータ集約型の通信セッショ
ンにわたってきている。 【０００３】ネットワーク使用情報は、当事者間の通信
セッションで交換される実際の情報を含むものではな
く、通信セッションについてのメタデータ（データに関
するデータ）情報を含み、多くの使用詳細記録（usage
detail records、UDRs)により構成される。各UDRに含ま
れるメタデータのタイプは、関連するサービス及びネッ
トワークのタイプにより様々であるが、セッション開始
時間及び中断時間、セッションのソース又はオリジネー
タ（originator)、セッションの目的地、会計のための
信頼できる相手方、転送されるデータのタイプ、転送さ
れるデータの量、引き渡されるサービスの質、等のパー
ティ間の所定イベント又は通信セッションについての関
連項目情報を多くの場合含む。 【０００４】電話ネットワークにおいて、使用情報を構
成するUDRは、呼出詳細記録（calldetail records）す
なわちCDRと呼ばれる。インターネットのネットワーク
において、使用詳細記録は標準とされた名前を依然とし
て持たないが、これを適用する場合、それはインターネ
ット詳細記録（internet detail record）すなわちIDR
と呼ばれる。特にこの用語IDRは、インターネットの例
における文脈での、この適用例を通して用いられている
が、用語IDRはあらゆるネットワークのUDRを表すよう定
義されている。 【０００５】ネットワーク使用情報は、加入者への請
求、マーケティング及び顧客への対応、オペレーション
マネジメント等の多くの重要なビジネス機能において有
用である。ネットワーク使用データ報告システムは、発
生時にネットワーク使用情報を収集し、相互に関連さ
せ、まとめるにあたり利用される。そして上述のビジネ
ス機能をサポートするコンピュータビジネスシステムに
より消費することができる出力としてUDRを生成するの
に利用される。これらのコンピュータビジネスシステム
の例は、請求システム、マーケティング及び顧客関係経
営システム、顧客動向解析システム、及びデータマイニ
ング（data mining）システムを含む。 【０００６】特にインターネットのネットワークに関し
て、いくつかの重要な技術の変化は、インターネット使
用情報又は基礎となるIDRの時間及びコスト面で効率的
な解析を、ますます必要としていく上で中心的な役割を
持つものである。 【０００７】 【発明が解決しようとする課題】技術上の変化の１つと
して、適度な加入者コストでの、インターネットアクセ
スの帯域幅が劇的に増えているということがある。今日
大半の消費者は、アナログ電話モデムを介する、インタ
ーネットへの限定されたアクセス帯域幅のみしかない。
アナログ電話モデムは、実データ転送レートの上限が5
6,000ビット毎秒である。ネットワークサービスプロバ
イダの加入者がこうした遅いレートに制限されている場
合、サービスプロバイダネットワークの潜在的な混雑及
び過負荷に対する効果的な上限となる。 【０００８】しかしながら、デジタルケーブルモデム、
デジタル加入者回線、マクロウェーブ、及び衛星サービ
スを介してのブロードバンドインターネットアクセスが
幅広いスケールで広がっていくことで、複数桁単位でイ
ンターネットアクセスが増える。そのようにして、この
高速アクセス帯域幅は、ヘビーユーザによるネットワー
クの混雑及び帯域幅の酷使の可能性を潜在的に増やす。
このようにますます大きな帯域幅が利用可能となること
で、ヘビーユーザとライトユーザの間の使用量の違いは
かなり大きくなりうるので、固定価格で好きなだけ使え
る料金プランが維持困難になる。サービスプロバイダが
サービスについてかなり大きな課金をする場合、ライト
ユーザはヘビーユーザを補助することになる。サービス
プロバイダがあまり課金をしない場合、ヘビーユーザは
利用可能なネットワーク帯域幅を酷使し、それによりサ
ービスプロバイダにコストをかけることになる。 【０００９】他の技術的な変化として、大きい帯域幅を
必要とするアプリケーションとサービスの急成長があ
る。例として、インターネット電話、ビデオオンデマン
ド、複雑な複数プレイヤによるマルチメディアゲームが
ある。これらのタイプのサービスは、ユーザが、サービ
スプロバイダにより供給されるべきかなり大きな帯域幅
をより必要とするとともに、ネットワークに接続される
継続時間を累積する。 【００１０】他の技術的な変化として、「ベストエフォ
ート（best effort）」から「ミッションクリティカル
（mission critical）」へのインターネットの推移があ
る。多くのビジネスがインターネットへと動くにつれ、
ビジネスは日々ビジネスで成功するためこの媒体へます
ます依存するようになってきている。このことがインタ
ーネットを、カジュアルでベストエフォートな引き渡し
サービスから商売のメインストリームへと推移させてい
る。ビジネスの経営者は、サービスプロバイダ保証のサ
ービスの質を備えることを要求しており、こうした高品
質サービスへの支払いを歓迎する。 【００１１】上述の推進力を要因として、インターネッ
トサービスプロバイダは、最新で、固定料金で、好きな
だけ使えるインターネットアクセス請求プランから、メ
トリックス（metrics）により課金するより複雑な請求
プランへと移行する。メトリックスは、例えば転送され
たデータの量、利用された帯域幅、用いられたサービ
ス、１日当たりの時間、及び加入者クラス等である。そ
してその使用プロフィール、所属組織、又はその他の属
性により、同様の加入者グループを定義する。 【００１２】このような料金構造の例は、毎月の固定料
金部分、毎月の固定料金の一部として含められる使用量
の割当て、及びこれに加えその割当て（すなわち上限）
を超える使用に対する変動料金部分を含む。所定のサー
ビスプロバイダについて、サービス及び加入者クラスの
多くの可能な組み合わせに対してこのように多くの料金
構造がある。 【００１３】ネットワーク使用量解析システムは、サー
ビスプロバイダのサービスが、どのようにそして誰によ
り用いられるかについての情報を提供する。これは、速
く変化していくトレンドの識別、競争力のある価格の確
立、必要とされる新たなサービス又は加入者クラスの定
義にあたり、サービスプロバイダが備えなければならな
い必要不可欠なビジネス情報である。新たなインターネ
ットサービスが現れるペースの速さのため、サービスプ
ロバイダは、この必要不可欠な情報へのすばやいアクセ
スをしなければならない。 【００１４】既知の解析パッケージは、ネットワーク使
用データを大規模なデータベースへ供給し、それから後
にこのデータについての解析を続いて実行する。これら
のデータベースシステムは、かなり大きなものを得るこ
とができる。１００万の加入者を持つサービスプロバイ
ダは、毎日数十ギガバイト単位の使用データを生成する
ことができる。膨大な量のデータを記憶するための技術
が益々改良されていくが、インターネットのトラフィッ
クはさらに速いペースで成長する。このデータの全てを
記憶することは高くつき、結局法外なものとなる。非常
に高い処理レートで大規模なファイルセットをサポート
するには、大規模で高価な支援ハードウェアが必要であ
り（例えばテラバイトディスクストレージ、バックアッ
プシステム）、そして高価なリレーショナルデータベー
スマネジメントソフトウェアシステム（RDBMS）が必要
とされる。さらに、データベース管理の人員が、これら
の大きなデータベース管理システムをサポートし維持す
るにあたり配置されなければならない。 【００１５】解析のタイプが一度決定されると、データ
マイニング及び解析ソフトウェアシステムは、データベ
ース中に記憶されたかなりの量のネットワーク使用情報
を照会し解析するのに利用される。データマイニング及
び解析ソフトウェアシステムは、さらなるビジネス解析
コンサルティングサービス、さらなるハードウェアサポ
ート、及びデータマイニングソフトウェアライセンスを
多くの場合必要とする。さらに、処理を必要とするデー
タ量が与えられると、全体の待ち時間又はデータの劣化
時間がかなり長いものとなりうるので、必要とされる情
報を抽出するのに数日から数週間かかる場合がある。 【００１６】米国特許出願番号09/548124、出願日２０
００年４月１２日、タイトル「インターネット使用量分
析システム及び方法」で開示される、あるタイプの分析
は、ネットワーク使用データを分析する統計モデルを利
用する。生のネットワーク使用量データは、迅速に調べ
るにはあまりに量が多いので、生のネットワーク使用量
データを表すよう、統計モデルが解釈される。これらの
統計モデルは記憶されるが、ネットワーク使用量の問題
を解決するために続いて解析することができる。 【００１７】データ変量値の確率密度分布を決定する最
も一般的な方法は、図１に示される従来の直線ヒストグ
ラムを用いることである。かかるヒストグラムは全デー
タを収集する前に確立される必要があり、いくつかのキ
ーパラメータが定義されなければならない。例えば、デ
ータ変量の期待値の下方境界（LB）及び上方境界（UB）
を定義しなければならず、ビンの数を、また同様にビン
のサイズや幅を定義しなければならない。全てのビンは
直線ヒストグラム中で同じサイズを有している。ヒスト
グラムをつくることは、各ビンに関連するカウンタを増
加することからなるが、データ変量の値がビンの割当て
範囲内にあるところで起こったイベントの数を表すもの
である。興味深いことに、この文献で公表されたビンサ
イズを見積もるための思考アルゴリズムは存在するが、
まだ実用段階ではない。 【００１８】しかしながら、こうした思考アルゴリズム
は、このヒストグラムに記録されるべき期待イベントの
数である、Nの値が先に分かることを前提としている。
従来これらのパラメータを確立するにあたっては、全デ
ータを記憶し、それから全データを予めスキャンしてL
B、UB、Nの値を確立してきた。それからヒストグラム
は、適切に定義されたLB及びUBを用いて確立され、そし
てビンサイズがNから経験的に得られた見積に基づき定
義される。それから生データが秒単位の時間でスキャン
されヒストグラムを形成する。上述の通り、イベントの
量が多くデータレートが高いので、こうした生データを
全て記憶することは高コストとなり、待ち時間が長くな
る。記憶せずには、こうしたキーパラメータのいずれも
正確に決定することができない。このことが、大容量の
リアルタイム確率密度分布解析や、ネットワーク使用量
データのストリーミングのツールとしての、従来の直線
ヒストグラムの有用性を制限している。 【００１９】大容量でのリアルタイム確率密度解析を行
い、インターネット使用量データなどのネットワーク使
用量データを流すシステム及び方法を提供することが望
まれる。こうしたタイプのデータ特性には次のような場
合がある。データが、超高速データレート（例えば10,0
00レコード/秒）で連続して収集される必要がある。デ
ータ量が多すぎて効率的に記憶できない、又はたとえ記
憶してもシヤーサイズのデータセットにより、データ解
析及び結果の生成において待ち時間が長くなる。流入デ
ータの上方境界と下方境界のいずれもが不明である。流
入データイベント数が不明である。さらに、流入データ
の値は常にプラスであり、大きさ順に並ぶ傾向があり、
およそ１／ｘ毎に分布している。 【００２０】この最後の特性は、ネットワーク使用量デ
ータにおいてかなり一般的なものであり、そして次の事
実を反映している。それは、かなりの大容量を使う、す
なわちネットワーク上の「パワー」ユーザが一般的に少
数に限られていること、そして所定使用量（ｘ）のユー
ザ数が、量（ｘ）が０に向かって減少するにつれ、およ
そ１／ｘに比例して増加することである。上述の理由、
及び本実施例の好ましい実施形態の欄での記述でさらに
詳細に説明される他の理由により、大容量のリアルタイ
ム確率密度分布及びインターネット使用量と同様の特性
を有するネットワーク使用量データのストリーミングを
提供するため、さらに進んだ技術が必要とされる。 【００２１】 【課題を解決するための手段】本発明は、動的統計デー
タ分布システム及び方法を有するネットワーク使用量解
析システム及び方法である。実施形態の１つにおいて、
本発明は、データストリームの実質リアルタイム解析方
法を提供する。本方法は、データストリーム受け取りス
テップを含む。データ分布は、データストリームを表す
よう決定されるが、指数関数的に増加するサイズを有す
るデータビンを生成すること、及びデータビンにデータ
を表す統計値を割り当てることを含む。統計データ分布
は、データストリームの解析に用いられる。 【００２２】この適用例を通して、ネットワークという
語が特に用いられるが、ネットワークという語は、デー
タトランスポートに適したTCP/IPプロトコルを用いたり
用いなかったりする公的及び私的なネットワークを含め
た、インターネット及び他のネットワークシステムを含
むものとして定義される。例として、インターネット、
イントラネット、電話ネットワーク、及び他の有線及び
無線のネットワークを含む。インターネットという語が
この適用例を通して特に用いられるが、インターネット
という語は、ネットワークの１つの例である。 【００２３】 【発明の実施の形態】次に述べる好ましい実施形態の詳
細な説明において、発明の一部を形成し絵で示すもので
ある後続の図面と、本発明が実施される具体的な実施形
態の参照がなされる。本発明の範囲から離れない条件
で、他の実施形態を用いることができ、そして構造的又
は論理的に変更することができることは理解されたい。
それゆえ後述の詳細な説明は、限定する意味でとられる
ものではなく、本発明の範囲は特許請求の範囲で定義さ
れるものである。 【００２４】本発明にかかるネットワーク使用量解析シ
ステムは、図２の２０に概略的に説明している。ネット
ワーク使用量解析システム２０は、動的適応統計データ
分布収集システム及び方法を提供している。一形態にお
いては、生の使用量データは動的で適合型の対数ヒスト
グラムの形で統計データとして収集され組織化される。
使用量データの収集及び解析がなされ、対応する統計デ
ータは複数の「グループ」又は「ビン（bin）」として
記憶される。ビンは、ここで説明したシステム及び方法
で決定された、指数関数的に増加するサイズを有する。
本発明は、ビンが、流入する使用量データの値に基づ
き、必要に応じたベース（オンザフライ）の上に生成さ
れることを規定している。その結果としてのヒストグラ
ム（メモリ中にテーブルの形で記憶することができるも
の）は、ヒストグラムに対応した確率密度分布の計算な
どの後続のネットワーク使用量解析に用いられる。 【００２５】従来の直線ヒストグラムはビンを利用する
ものであるが、各ビンは同じ幅を有する。従来のヒスト
グラムは多くのものに適用するにあたり有用であるが、
インターネット使用量データ等の連続データストリーム
の確率分布を、リアルタイムに見積るシステム及び方法
を提供するのが望ましい。このタイプのデータ特性にお
いては、次のような場合がある。データは、超高速デー
タレート（例えば10,000レコード/秒）で連続して収集
する必要がある。データ量が多すぎて効率的に記憶でき
ない、又はたとえ記憶してもデータ解析及び結果の生成
において、シヤー（shear）サイズのデータセットによ
り、待ち時間が長くなる。流入データの上方境界と下方
境界のいずれも未知である。流入データイベント数が未
知である。さらに、流入データの値はプラスであり、大
きさ順に並んでおり、およそ１／ｘで分布している。 【００２６】従来の直線ヒストグラムは、一律に間隔を
開けたインターバル又はビン幅を用いるものであり、こ
のため上述の特性に起因して生のインターネット使用量
データからの統計分布を生成することが困難となってい
る。従って従来のヒストグラムを用いる方法において、
データの値に関連する下方境界及び上方境界を決定する
にあたり２度のスキャンが必要となる。このことは、生
の使用量データの記憶にあたり追加費用を必要とせず待
ち時間を必要としない。さらに、各ビンの幅（又はイン
ターバルの数）を決定する従来の思考アルゴリズムにあ
たっては、測定されるべきイベントの数を適切に見積も
ることを必要とする。本発明にかかる動的適応統計デー
タ分布収集システム及び方法は、インターネット使用量
データと同様の特性を有するデータタイプの収集及び解
析を持つ、従来のヒストグラム統計モデルを用いること
に関連した課題（例えば膨大な量のデータの記憶、デー
タの２度の走査などの課題）の解決を意図したものであ
る。 【００２７】ネットワーク使用量解析システム２０は、
いくつかの主要となる要素を含んでおり、その各々はソ
フトウェアプログラムである。ネットワーク使用量解析
システム２０の主要なソフトウェアプログラム要素は、
１つ又は複数のコンピュータサーバシステム上で動作す
る。一実施形態において、主要なソフトウェアプログラ
ム要素の各々は、その自身のコンピュータシステムにお
いて動作する。 【００２８】本発明で用いられるネットワーク使用量解
析システムは、米国特許出願番号09/548124、出願日２
０００年４月１２日、タイトル「インターネット使用量
分析システム及び方法」で開示され、発明者及び出願人
ともに本出願と同じである。 【００２９】典型的な実施形態の１つにおいて、ネット
ワーク使用量解析システム２０は、データ解析システム
サーバ２２及びヒストリキャッシュ２４を含む。データ
解析システムサーバ２２は、データ収集システム２６か
らの使用量データすなわち「記録イベント」２５を受け
とる。データ収集システム２６は、ネットワーク２８か
らのネットワーク使用量データを受けとる。ある好まし
い実施形態において、ネットワーク２８は、インターネ
ット３０を含む。一般的に、使用量データは、ネットワ
ーク使用量データの記録すなわち記録イベントのリアル
タイムストリームである。実施形態の１つにおいて、使
用量データは、ネットワーク２８上に位置するデータ収
集システム２６から生成される記録イベントのリアルタ
イムストリームである。 【００３０】データ解析サーバ２２は、データ収集シス
テム２６からの通信リンク２５を介した記録イベントの
形の使用量データを受けとる。一形態では、使用量デー
タ収集システム２６は、ネットワーク使用データ仲介シ
ステムから分かれており、他形態では、使用量データ収
集システム２６は、ネットワーク使用データ仲介システ
ムを含んでいる。さらに別の形態では、データ収集シス
テム２６は、データ解析システムサーバ２２の一部であ
る。 【００３１】本発明とともに用いるのに適当なデータ収
集システムの１つは、米国ヒューレットパッカード社
の、商品名インターネット使用マネージャ、において商
業的に利用可能である。本発明に関連する使用量解析シ
ステムとともに使用されるのに適した、他のデータ収集
及び報告システムは、本出願を読めば当業者に明らかに
なるであろう。 【００３２】データ解析システムサーバ２２は、使用量
データを使用して、予め決められたネットワーク使用量
統計解析を実行する。詳細には、まずデータストリーム
が受けとられる。データストリームを表すデータ分布が
決定されるが、指数関数的に増加するサイズを有するデ
ータビンの生成も含む。データの統計表現がデータビン
に記録される。データ分布がデータストリームの解析に
用いられる。データ解析システムサーバ２２は、統計デ
ータをデータ格納システム２４に記憶すべく処理を行
う。この統計データは流入する生データよりもサイズが
かなり小さいので、格納の必要性はかなり小さい。一態
様においては、統計モデル３４をインタラクティブに解
析するためのユーザインターフェースに応答する。さら
に、統計モデル３４のリアルタイムグラフィック表現
は、ユーザインターフェース３８におけるディスプレイ
システムへの出力とすることができる。 【００３３】典型的な実施形態の１つにおいて、データ
解析システムサーバ２２は、１つ又は複数のコンピュー
タ又はサーバにおいて動作するコンピュータソフトウェ
アプログラムを含む。統計モデル３４は、テーブルの形
式の統計データとして記憶することができる。データ格
納システム２４は、揮発性メモリ（例えばランダムアク
セスメモリRAM）や、不揮発性メモリ（例えばハードデ
ィスクドライブ又は他の永続的格納装置）とすることが
できる。ユーザインターフェース３８は、キーボードや
マウス、又は他のインターフェース装置とすることがで
きる。このインターフェース装置は、業界で知られたビ
デオディスプレイデバイス等のディスプレイシステムを
もつものである。 【００３４】図３は、本発明にかかる動的適応統計分布
収集システムを有するネットワーク使用量解析システム
を用いて生成される、対数ヒストグラム統計モデル３４
の一般的な実施形態の１つを説明する概略図である。ｘ
軸302は、メガバイト単位でのネットワーク使用量等の
変量の対数に比例する変量の範囲を図示するものであ
る。ｙ軸304は、各ビン内で記録されたイベントの周波
数又は数を図示するものである。使用量が収集され解析
されると、306で示されるように、対応する統計データ
は複数の「グループ」又は「ビン」として記憶される。
ビンは後述のように、「随時」生成される。各ビンは31
2に示すように幅を持っている。これは指数関数的に増
加するサイズを有し、bk/r、b（k+1）/r、b（k+2）/r、
b（k+3）/r、b（k+n）/rとして示されるビンの境界とし
て示されるものである（ここでbは、対数の底（例えば
底１０に対してb=10）であり、kはキーであり、ｒは本
適用例において詳述されるように分解要素である）。 【００３５】使用量データが収集されるとき、データ自
身は各ビン306には収集されないが、各ビン306について
の変量302に関連するイベントの頻度又は数が表にされ
る。その結果のヒストグラム統計モデル（メモリ中のテ
ーブルの形式で記憶することができる）は、ヒストグラ
ム300に対応する確率密度の計算等、後続のネットワー
ク使用量解析に用いられる。本発明は、用途ベースで統
計データを記憶するためのビンを動的に生成し、先に説
明したものと同様の特徴を有するデータと共に用いるの
に適したシステム及び方法を提供している。 【００３６】図４は、320で概略的に図示される本発明
にかかる動的適応統計データ分布収集システムの一般的
な実施形態の１つを示した概略図である。動的統計デー
タ分布収集システム320は、ここですでに説明したネッ
トワーク使用量解析システムの一部として用いることが
でき、ここですでに説明したデータ解析システムサーバ
22内に配置することができる。動的統計データ分布収集
システムは、すでに説明したインターネット使用量デー
タと同様の特徴を有するデータタイプを利用している。 【００３７】動的統計データ分布収集システム320は、
動的分布コレクタ322を含んでいる。動的分布コレクタ3
22は、324に示すようにインターネット使用量データの
実質的に連続なストリームを受けとる又は検索する。一
形態において、使用量データのストリームを検索するこ
とには、使用量データソースを照会し、照会に応答して
使用量データソースから使用量データのストリームを収
集することが含まれる。他の形態では、動的分布コレク
タは、データがそこに押し出される「静的」データコレ
クタとすることができる。一形態では、システムは統計
データ分布検索システム326を含む。統計データ分布検
索システムは、328で示されるように、使用量データ統
計についての動的分布コレクタ322を照会すべく処理を
行う。これに応答して、動的分布コレクタ322は、最小
限の待ち時間で使用量データ324を表す統計データ分布
アレイの出力を提供する。動的分布コレクタ322は、使
用量データのストリーム324を受けとり、データストリ
ームを表す統計データ分布を決定するが、指数関数的に
増加するサイズを有するデータビンを生成すること（例
えばヒストグラム統計モデルの場合）、イベントとして
の使用量データを適当なデータビンに記録することを含
む。指数関数的に増加するサイズを有するデータビンを
生成することには、対数キーのセットを決定すること及
びこれらのキーを介して使用量データビンをインデック
ス化することを含む。 【００３８】特に、指数関数的に増加するサイズを有す
るビン306を生成又は定義するためには、ビンキーkは、
次の式を用いて計算される。 【００３９】 【数１】 ｖ＝入力使用量変量値 ｒ＝一般的には整数値となる分解要素 ｂ＝ｖに適用される対数関数の底であり、一般的には１
０（int）は、浮動点値タイプであるfloor関数により生
成される値を、正又は負となる整数に変換する。 【００４０】分解要素rは、所望の大きい順のビンの数
として定義される。上述の式の結果、ビンが指数関数的
に増加するサイズと共に生成される。分解要素rは、問
題となっている未知の値LB、UB、及びN（又はビンサイ
ズ）の異なる変量への変換として見ることができ、全デ
ータの収集より前に概算又は収集することはかなり容易
である。ユーザはビン処理の所望の相対精度に基づき値
ｒを選択するので、分解要素という名前になる。この点
を示すにあたり、上述のビンキーの式は、キー値ｋを生
成するが、これは所定のビンについての固有識別子であ
る。この方法で計算されたすべてのビンについて、ビン
の下限に対するビンの上限の比率は、ｒの同じ値で生成
された全てのビンに対する定数となる。 【００４１】比率は、（ビンｋの上限）／（ビンｋの下
限）＝１０1/r である。 【００４２】例としてｒ＝２４の場合、この比率は〜
１．１０である。このことは、ビンの上限が同じビンの
中心より約５％高く、ビンの下限が同じビンの中心より
約５％低いことを意味している。ｒ＝１３については、
ビン処理の相対精度は約＋／−１０％である。 【００４３】全てのビンが所定範囲内にあるとき、これ
は本発明で必ずしも必要というわけではないが、ビンの
境界は以下のようにパワーシーケンス（powe sequenc
e）を形成する。 【００４４】ｋは−ｍからｎにわたり、ｂ＝１０とす
る。１０-m/r、１０(-m+1)/r、Ｌ、１０-1/r、１、１０
1/r、１０2/r、Ｌ、１０n/rである。 【００４５】この数列は、比率k/rが自然数となる境界
が、0.01、0.1、1、10、100等、選択された底の整数乗
に丁度対応するという、望ましい属性を有する。 【００４６】このビンはメモリに記憶され、さらにネッ
トワーク使用量解析（ここですでに説明した）において
使用可能となる。例として、頻度は、対応するビンに集
まるイベントに対応するものの値を加えることにより記
憶することができる。他の例では、ヒット数を記憶する
（１ずつ増加する）代わりに、総和又は全体使用量をビ
ン中にトラックし記憶することができる。 【００４７】図５は、本発明にかかる動的適応統計デー
タ分布収集システム320を用いて決定された統計データ
を、ログし記憶するのに用いられる、アレイ構造の一般
的実施形態の１つを図示した概略図である。アレイ構造
は340で概略的に説明される。特に、図示された一般的
な実施形態について、２に等しい分解要素rが選択され
る。ビンキーｋは、344で示されるように決定される。
ビンキーｋ344は、アレイ340に関連するアレイインデッ
クス346に対応する。アレイ340は、収集されたデータ
（例えばイベントの頻度）を表す統計データを記録する
のに用いられる。図示された一般的な実施形態におい
て、アレイは決定された範囲に入るイベントの数を記録
するのに用いられる。アレイはメモリ中の近傍値のセッ
トとして記憶される。 【００４８】図示しているように、アレイインデックス
０は、.01000から.03162の値の範囲のイベントを記録し
ている。アレイインデックス１は、.03162から.1000の
値の範囲のイベントの記録に対応している。アレイイン
デックス２は、.1000から.3162の値の範囲のイベントの
記録に対応している。アレイインデックス３は、.3162
から1.000の値の範囲のイベントの記録に対応してい
る。アレイインデックス４は、1.000から3.162の値の範
囲のイベントの記録に対応している。アレイインデック
ス５は、3.162から10.00の値の範囲のイベントの記録に
対応している。アレイインデックス６は、10.00から31.
62の値の範囲のイベントの記録に対応している。アレイ
インデックス７は、31.62から100.0の値の範囲のイベン
トの記録に対応している。アレイインデックス８は、10
0.0から316.2の値の範囲のイベントの記録に対応してい
る。アレイインデックス９は、316.2から1000.0の値の
範囲のイベントの記録に対応している。 【００４９】本発明にかかる対数ビンインデックスを用
いる方法において、分解要素rは、大きいものから順に
ビンインターバルの数を決定する。その結果の量子化誤
差は、ビン中に統計的に表された絶対値による大きさに
対して一定である。この方法の結果、多くの利点があ
る。ビンキーｋは、上述のビンキーの式を用いて素早く
計算することができる。k/rが一定であるとして、この
式を用いて計算されたビンの下方境界は、選択された底
の整数乗である。 【００５０】アレイ構造を用いる結果、計算がかなり高
速になり、各統計データイベントについて適切なデータ
ビンが決定される。一形態において、アレイ340の格納
空間は、メモリに固まりで予め配置される。他の形態に
おいて、アレイ340の格納空間は、メモリ中に動的に配
置することができるが、記録イベントの値に基づく。ア
レイ340内のビン又は配置が、記録イベントの所定値に
対して存在しないことが決定された後、メモリ空間は、
サイズ変更処理を用いて動的に配置される。 【００５１】図６は、本発明にかかるアレイ構造に統計
データを記録し又は分布させる方法の実施形態の１つを
図示した概略図である。使用量データストリームからの
流入データイベントの値ｖは、350に表されている、352
において、ビンキーｋは、値ｖ及び所望の分解要素（例
えばｒ＝２）を用いて計算される。354においてアレイ
インデックスは決定され、従ってアレイ中の対応するビ
ンも決定される。356において、ステップ354において計
算されたアレイインデックスが既存のアレイインデック
スの範囲内にあるかどうかが決定される。計算されたア
レイインデックス値がアレイインデックスの範囲内であ
る場合、対応するビンについての統計は更新されて358
に示すように流入値ｖに反映する。ステップ354で計算
されたアレイインデックス値がアレイインデックス値の
範囲外の場合、アレイのサイズは新たな入力データ値を
含めるよう動的に拡張される。一形態において、アレイ
は360で示されるように、メモリにおいてアレイの他端
でｒビン（例えばｒ＝２）ずつ増加して拡張される。一
度アレイが拡張されて計算されたアレイインデックス値
を含める場合、358に示すように、統計値が更新され
る。 【００５２】他の実施形態においては、「ツリー」構造
が、メモリ中の決定されたビンに流入するデータイベン
トを表す統計データを記憶するのに利用される。図７
は、本発明にかかるシステムを用いたメモリに統計使用
量イベントを記録するツリー構造の一般的な実施形態の
１つを図示した概略図を示したものである。ツリー構造
は370で概略的に図示されている。ツリー構造を利用し
てビンの順序を達成する利点は、その方法が、流入デー
タ値の下方境界又は上方境界を予め知っておくこととは
完全に独立していることである。メモリはビン毎に随時
配置される。随意的に、一度ツリー構造が所定の最大サ
イズに達すると、隣り合ったビンの結合は、かなり単純
なものとなり、従って用いられるサイズ又はその構造の
サイズの量に限界を配置する能力を提供する。記録され
たイベントが受けとられたときにツリー構造が構築され
るので、イベントの入力記録は、アレイ構造を用いるよ
りも遅いものとすることができる。しかしながら、全て
の必要なビンがそこにあるとき、もはやビンの生成は必
要とされず、イベントの記録はかなり高速となる。 【００５３】ツリー構造370は、ノード372,374,376,37
8,380,382,384,388,390,392として示される各データビ
ンを表すノードの数を含んでいる。各ノードは、記録さ
れた統計に対する入れ物すなわちビンとして用いられ
る。さらに例として、ｒ＝２の分解要素について、記録
イベントの値の範囲が決定されそして394として示され
る。ビンキーｋの値は各ノードに関連し、以下に示す各
ノードは、ツリー構造370中にある。入力データイベン
ト値が受けとられると、ツリー構造370が生成される。 【００５４】ツリー構造370で図示される一般的な実施
形態において、データイベント値５は、値の範囲3.162
から10の範囲に入り、従ってビンはノード372で表され
キー値１を伴う。次の記録イベント値が５０の場合、そ
してその値に対するビンが存在しない場合、ビンはノー
ド374で生成され、キー値は３となるが、それは値５０
が31.62から100.0メガバイトの範囲内にあるからであ
る。ツリー構造370は、このようにして続いて構築され
る。従って、データイベント値がそのノードに関連する
ビンの範囲内に入らない場合、ノード（ビン）のうちい
くつかは、生成する必要がないとすることができる。 【００５５】図８は、本発明にかかるツリー構造中の使
用量データイベントを記録する方法の一般的な実施形態
の１つを図示する概略図である。この方法は、400で概
略的に示される。402において、記録イベントの流入値
ｖが受けとられる。404において、ビンキーｋが、デー
タイベント値から計算される。ビンキーｋに関連するビ
ンは、406に配置される。408において、ビンが存在する
とき、410で示されるようにビンで統計値が更新され
る。計算されたビンキーｋに対応するビン又はノードが
存在しない場合、412に示すようにビンがツリー構造に
追加される。ツリー構造の最大サイズは、追加的に予め
定義することができる。414において、ビン又はノード
を追加する結果としてのツリー構造のサイズはが所定の
最大サイズに比べ大きくない場合、統計値がそのノード
で更新される。414において、ツリー構造のサイズが所
定の最大値よりも大きい場合、随意に２つの最低ビン又
はノードの統計値が、416に示されるように単一ノード
へと結合される。例えば、インターネット使用量に関連
する統計データを収集するのにおいて、最小の２つのビ
ンを結合するのが望ましい。というのも、それらが最小
の（すなわちもっとも重要でない）値を運ぶからであ
る。 【００５６】ここで好ましい実施形態の説明の目的のた
め、具体的な実施形態を図示し記述してきたが、様々な
代替の若しくは同等の実施形態を本発明の範囲から逸脱
せずに図示し記述した具体的な実施形態でおきかえるこ
とができることは当業者に理解されるであろう。化学、
機械、電気機械、電子、及びコンピュータにおける知識
を有するものであれば、本発明が様々な実施形態で具現
化できることはすぐに理解されるであろう。この適用例
は、ここで説明した好ましい実施形態の適用又は変形を
カバーすることを意図されている。それゆえ、この発明
を限定するものが特許請求の範囲及びそれについての同
等の構成のみであることは明白に意図される。この発明
は例として、次の実施形態を含む。 【００５７】（１）データストリーム（２７，３２４）
を受けとるステップと、指数関数的に増加するサイズ
（３１２）を有するデータビンを生成すること、及びデ
ータビン（３４０，３７０）にデータを表す統計値を割
り当てることを含む、データストリームを表すデータ分
布（３００）を決定するステップと、該データ分布を用
いて該データストリームを解析するステップとを備える
データストリームの実質リアルタイム解析方法（２０，
２２）。 【００５８】（２）該指数関数的に増加するサイズを有
するデータビンの生成ステップは、該流入データの対数
による関数から決定されるキーのセット（３４４）を用
いてビンをインデックス化するステップ、及び指数関数
的に増加するインターバルのセットを決定してデータビ
ンのサイズ（３４２，３９４）を定義するステップと、
を含む（１）に記載の方法。 【００５９】（３）該キーのセットを決定するステップ
は、選択された対数の底の累乗毎に所望のデータビンの
数として分解要素を定義するステップと、該分解要素を
用いて指数関数的に増加するインターバルのセットを決
定するステップと、を含む（２）に記載の方法。 【００６０】（４）データストリームを受けとるステッ
プは、データソースを照会するステップ及び該照会に応
答して該データソースからデータストリームを収集する
ステップを含む（１）に記載の方法。 【００６１】（５）データストリーム（３２４）を、高
いデータレートで、正の値のみを有し、未知の最小値及
び未知の最大値を有する連続データストリームとして定
義するステップを備える（１）に記載の方法。 【００６２】（６）ビンの順序を定義するステップと、
メモリに該ビンの順序を記憶するステップと、該ビンの
順序をアレイ構造として定義するステップと、データビ
ンをメモリのアレイ構造（３４０，３７０）に記憶する
ステップとを備え、該データビンにデータ値を配置する
ステップは、データ値を受けとるステップと、該データ
値に関連するビンインデックスを計算するステップ（３
４４）と、インデックス値のアレイを有するアレイイン
デックスを定義するステップ（３４６）とを含み、各ア
レイインデックス値はデータビンに関連し、該アレイイ
ンデックス及びビンインデックスを用いてデータ値に関
連するデータビンを決定する、（１）に記載の方法。 【００６３】（７）該データビンに記憶された値を更新
するステップをさらに備える（６）に記載の方法。 【００６４】（８）データビンが決定できない場合に、
該アレイ構造を拡張して該データビンを入れる（６）に
記載の方法。 【００６５】（９）該アレイ構造をツリーアレイ構造
（３７０）として定義するステップをさらに備え、該ツ
リーアレイ構造にデータ値を配置するステップは、デー
タ値に対するデータビンを決定するステップと、データ
ビンが存在しない場合にデータビンを生成するステップ
（４００）を含む（６）に記載の方法。 【００６６】（１０）データストリームを受けとり、指
数関数的に増加するサイズを有するデータビンの生成、
及びデータビン中のデータを表す統計値を配置すること
を含めて、データストリームを表すデータ分布を決定す
るよう構成された動的分布コレクタ（３２２）を備え
る、（１）から（９）のいずれか１つに記載の方法の実
行するデータストリーム解析システム。
解析システム及び方法に関し、特に動的統計データ分布
システム及び方法に関する。 【０００２】 【従来の技術】ネットワークシステムは、毎日の個人及
びビジネス目的のコミニュケーションリンクとして利用
されている。特にインターネット等のネットワークシス
テムが成長し、コンピュータハードウェア及びソフトウ
ェア技術が発達したので、ネットワークの使用は、電子
メール等の単純な通信交換から、ウェブブラウジング、
電子商取引、及びインターネット音声及びインターネッ
トビデオオンデマンド等の他の多くの電子ネットワーク
サービス、等のより複雑でデータ集約型の通信セッショ
ンにわたってきている。 【０００３】ネットワーク使用情報は、当事者間の通信
セッションで交換される実際の情報を含むものではな
く、通信セッションについてのメタデータ（データに関
するデータ）情報を含み、多くの使用詳細記録（usage
detail records、UDRs)により構成される。各UDRに含ま
れるメタデータのタイプは、関連するサービス及びネッ
トワークのタイプにより様々であるが、セッション開始
時間及び中断時間、セッションのソース又はオリジネー
タ（originator)、セッションの目的地、会計のための
信頼できる相手方、転送されるデータのタイプ、転送さ
れるデータの量、引き渡されるサービスの質、等のパー
ティ間の所定イベント又は通信セッションについての関
連項目情報を多くの場合含む。 【０００４】電話ネットワークにおいて、使用情報を構
成するUDRは、呼出詳細記録（calldetail records）す
なわちCDRと呼ばれる。インターネットのネットワーク
において、使用詳細記録は標準とされた名前を依然とし
て持たないが、これを適用する場合、それはインターネ
ット詳細記録（internet detail record）すなわちIDR
と呼ばれる。特にこの用語IDRは、インターネットの例
における文脈での、この適用例を通して用いられている
が、用語IDRはあらゆるネットワークのUDRを表すよう定
義されている。 【０００５】ネットワーク使用情報は、加入者への請
求、マーケティング及び顧客への対応、オペレーション
マネジメント等の多くの重要なビジネス機能において有
用である。ネットワーク使用データ報告システムは、発
生時にネットワーク使用情報を収集し、相互に関連さ
せ、まとめるにあたり利用される。そして上述のビジネ
ス機能をサポートするコンピュータビジネスシステムに
より消費することができる出力としてUDRを生成するの
に利用される。これらのコンピュータビジネスシステム
の例は、請求システム、マーケティング及び顧客関係経
営システム、顧客動向解析システム、及びデータマイニ
ング（data mining）システムを含む。 【０００６】特にインターネットのネットワークに関し
て、いくつかの重要な技術の変化は、インターネット使
用情報又は基礎となるIDRの時間及びコスト面で効率的
な解析を、ますます必要としていく上で中心的な役割を
持つものである。 【０００７】 【発明が解決しようとする課題】技術上の変化の１つと
して、適度な加入者コストでの、インターネットアクセ
スの帯域幅が劇的に増えているということがある。今日
大半の消費者は、アナログ電話モデムを介する、インタ
ーネットへの限定されたアクセス帯域幅のみしかない。
アナログ電話モデムは、実データ転送レートの上限が5
6,000ビット毎秒である。ネットワークサービスプロバ
イダの加入者がこうした遅いレートに制限されている場
合、サービスプロバイダネットワークの潜在的な混雑及
び過負荷に対する効果的な上限となる。 【０００８】しかしながら、デジタルケーブルモデム、
デジタル加入者回線、マクロウェーブ、及び衛星サービ
スを介してのブロードバンドインターネットアクセスが
幅広いスケールで広がっていくことで、複数桁単位でイ
ンターネットアクセスが増える。そのようにして、この
高速アクセス帯域幅は、ヘビーユーザによるネットワー
クの混雑及び帯域幅の酷使の可能性を潜在的に増やす。
このようにますます大きな帯域幅が利用可能となること
で、ヘビーユーザとライトユーザの間の使用量の違いは
かなり大きくなりうるので、固定価格で好きなだけ使え
る料金プランが維持困難になる。サービスプロバイダが
サービスについてかなり大きな課金をする場合、ライト
ユーザはヘビーユーザを補助することになる。サービス
プロバイダがあまり課金をしない場合、ヘビーユーザは
利用可能なネットワーク帯域幅を酷使し、それによりサ
ービスプロバイダにコストをかけることになる。 【０００９】他の技術的な変化として、大きい帯域幅を
必要とするアプリケーションとサービスの急成長があ
る。例として、インターネット電話、ビデオオンデマン
ド、複雑な複数プレイヤによるマルチメディアゲームが
ある。これらのタイプのサービスは、ユーザが、サービ
スプロバイダにより供給されるべきかなり大きな帯域幅
をより必要とするとともに、ネットワークに接続される
継続時間を累積する。 【００１０】他の技術的な変化として、「ベストエフォ
ート（best effort）」から「ミッションクリティカル
（mission critical）」へのインターネットの推移があ
る。多くのビジネスがインターネットへと動くにつれ、
ビジネスは日々ビジネスで成功するためこの媒体へます
ます依存するようになってきている。このことがインタ
ーネットを、カジュアルでベストエフォートな引き渡し
サービスから商売のメインストリームへと推移させてい
る。ビジネスの経営者は、サービスプロバイダ保証のサ
ービスの質を備えることを要求しており、こうした高品
質サービスへの支払いを歓迎する。 【００１１】上述の推進力を要因として、インターネッ
トサービスプロバイダは、最新で、固定料金で、好きな
だけ使えるインターネットアクセス請求プランから、メ
トリックス（metrics）により課金するより複雑な請求
プランへと移行する。メトリックスは、例えば転送され
たデータの量、利用された帯域幅、用いられたサービ
ス、１日当たりの時間、及び加入者クラス等である。そ
してその使用プロフィール、所属組織、又はその他の属
性により、同様の加入者グループを定義する。 【００１２】このような料金構造の例は、毎月の固定料
金部分、毎月の固定料金の一部として含められる使用量
の割当て、及びこれに加えその割当て（すなわち上限）
を超える使用に対する変動料金部分を含む。所定のサー
ビスプロバイダについて、サービス及び加入者クラスの
多くの可能な組み合わせに対してこのように多くの料金
構造がある。 【００１３】ネットワーク使用量解析システムは、サー
ビスプロバイダのサービスが、どのようにそして誰によ
り用いられるかについての情報を提供する。これは、速
く変化していくトレンドの識別、競争力のある価格の確
立、必要とされる新たなサービス又は加入者クラスの定
義にあたり、サービスプロバイダが備えなければならな
い必要不可欠なビジネス情報である。新たなインターネ
ットサービスが現れるペースの速さのため、サービスプ
ロバイダは、この必要不可欠な情報へのすばやいアクセ
スをしなければならない。 【００１４】既知の解析パッケージは、ネットワーク使
用データを大規模なデータベースへ供給し、それから後
にこのデータについての解析を続いて実行する。これら
のデータベースシステムは、かなり大きなものを得るこ
とができる。１００万の加入者を持つサービスプロバイ
ダは、毎日数十ギガバイト単位の使用データを生成する
ことができる。膨大な量のデータを記憶するための技術
が益々改良されていくが、インターネットのトラフィッ
クはさらに速いペースで成長する。このデータの全てを
記憶することは高くつき、結局法外なものとなる。非常
に高い処理レートで大規模なファイルセットをサポート
するには、大規模で高価な支援ハードウェアが必要であ
り（例えばテラバイトディスクストレージ、バックアッ
プシステム）、そして高価なリレーショナルデータベー
スマネジメントソフトウェアシステム（RDBMS）が必要
とされる。さらに、データベース管理の人員が、これら
の大きなデータベース管理システムをサポートし維持す
るにあたり配置されなければならない。 【００１５】解析のタイプが一度決定されると、データ
マイニング及び解析ソフトウェアシステムは、データベ
ース中に記憶されたかなりの量のネットワーク使用情報
を照会し解析するのに利用される。データマイニング及
び解析ソフトウェアシステムは、さらなるビジネス解析
コンサルティングサービス、さらなるハードウェアサポ
ート、及びデータマイニングソフトウェアライセンスを
多くの場合必要とする。さらに、処理を必要とするデー
タ量が与えられると、全体の待ち時間又はデータの劣化
時間がかなり長いものとなりうるので、必要とされる情
報を抽出するのに数日から数週間かかる場合がある。 【００１６】米国特許出願番号09/548124、出願日２０
００年４月１２日、タイトル「インターネット使用量分
析システム及び方法」で開示される、あるタイプの分析
は、ネットワーク使用データを分析する統計モデルを利
用する。生のネットワーク使用量データは、迅速に調べ
るにはあまりに量が多いので、生のネットワーク使用量
データを表すよう、統計モデルが解釈される。これらの
統計モデルは記憶されるが、ネットワーク使用量の問題
を解決するために続いて解析することができる。 【００１７】データ変量値の確率密度分布を決定する最
も一般的な方法は、図１に示される従来の直線ヒストグ
ラムを用いることである。かかるヒストグラムは全デー
タを収集する前に確立される必要があり、いくつかのキ
ーパラメータが定義されなければならない。例えば、デ
ータ変量の期待値の下方境界（LB）及び上方境界（UB）
を定義しなければならず、ビンの数を、また同様にビン
のサイズや幅を定義しなければならない。全てのビンは
直線ヒストグラム中で同じサイズを有している。ヒスト
グラムをつくることは、各ビンに関連するカウンタを増
加することからなるが、データ変量の値がビンの割当て
範囲内にあるところで起こったイベントの数を表すもの
である。興味深いことに、この文献で公表されたビンサ
イズを見積もるための思考アルゴリズムは存在するが、
まだ実用段階ではない。 【００１８】しかしながら、こうした思考アルゴリズム
は、このヒストグラムに記録されるべき期待イベントの
数である、Nの値が先に分かることを前提としている。
従来これらのパラメータを確立するにあたっては、全デ
ータを記憶し、それから全データを予めスキャンしてL
B、UB、Nの値を確立してきた。それからヒストグラム
は、適切に定義されたLB及びUBを用いて確立され、そし
てビンサイズがNから経験的に得られた見積に基づき定
義される。それから生データが秒単位の時間でスキャン
されヒストグラムを形成する。上述の通り、イベントの
量が多くデータレートが高いので、こうした生データを
全て記憶することは高コストとなり、待ち時間が長くな
る。記憶せずには、こうしたキーパラメータのいずれも
正確に決定することができない。このことが、大容量の
リアルタイム確率密度分布解析や、ネットワーク使用量
データのストリーミングのツールとしての、従来の直線
ヒストグラムの有用性を制限している。 【００１９】大容量でのリアルタイム確率密度解析を行
い、インターネット使用量データなどのネットワーク使
用量データを流すシステム及び方法を提供することが望
まれる。こうしたタイプのデータ特性には次のような場
合がある。データが、超高速データレート（例えば10,0
00レコード/秒）で連続して収集される必要がある。デ
ータ量が多すぎて効率的に記憶できない、又はたとえ記
憶してもシヤーサイズのデータセットにより、データ解
析及び結果の生成において待ち時間が長くなる。流入デ
ータの上方境界と下方境界のいずれもが不明である。流
入データイベント数が不明である。さらに、流入データ
の値は常にプラスであり、大きさ順に並ぶ傾向があり、
およそ１／ｘ毎に分布している。 【００２０】この最後の特性は、ネットワーク使用量デ
ータにおいてかなり一般的なものであり、そして次の事
実を反映している。それは、かなりの大容量を使う、す
なわちネットワーク上の「パワー」ユーザが一般的に少
数に限られていること、そして所定使用量（ｘ）のユー
ザ数が、量（ｘ）が０に向かって減少するにつれ、およ
そ１／ｘに比例して増加することである。上述の理由、
及び本実施例の好ましい実施形態の欄での記述でさらに
詳細に説明される他の理由により、大容量のリアルタイ
ム確率密度分布及びインターネット使用量と同様の特性
を有するネットワーク使用量データのストリーミングを
提供するため、さらに進んだ技術が必要とされる。 【００２１】 【課題を解決するための手段】本発明は、動的統計デー
タ分布システム及び方法を有するネットワーク使用量解
析システム及び方法である。実施形態の１つにおいて、
本発明は、データストリームの実質リアルタイム解析方
法を提供する。本方法は、データストリーム受け取りス
テップを含む。データ分布は、データストリームを表す
よう決定されるが、指数関数的に増加するサイズを有す
るデータビンを生成すること、及びデータビンにデータ
を表す統計値を割り当てることを含む。統計データ分布
は、データストリームの解析に用いられる。 【００２２】この適用例を通して、ネットワークという
語が特に用いられるが、ネットワークという語は、デー
タトランスポートに適したTCP/IPプロトコルを用いたり
用いなかったりする公的及び私的なネットワークを含め
た、インターネット及び他のネットワークシステムを含
むものとして定義される。例として、インターネット、
イントラネット、電話ネットワーク、及び他の有線及び
無線のネットワークを含む。インターネットという語が
この適用例を通して特に用いられるが、インターネット
という語は、ネットワークの１つの例である。 【００２３】 【発明の実施の形態】次に述べる好ましい実施形態の詳
細な説明において、発明の一部を形成し絵で示すもので
ある後続の図面と、本発明が実施される具体的な実施形
態の参照がなされる。本発明の範囲から離れない条件
で、他の実施形態を用いることができ、そして構造的又
は論理的に変更することができることは理解されたい。
それゆえ後述の詳細な説明は、限定する意味でとられる
ものではなく、本発明の範囲は特許請求の範囲で定義さ
れるものである。 【００２４】本発明にかかるネットワーク使用量解析シ
ステムは、図２の２０に概略的に説明している。ネット
ワーク使用量解析システム２０は、動的適応統計データ
分布収集システム及び方法を提供している。一形態にお
いては、生の使用量データは動的で適合型の対数ヒスト
グラムの形で統計データとして収集され組織化される。
使用量データの収集及び解析がなされ、対応する統計デ
ータは複数の「グループ」又は「ビン（bin）」として
記憶される。ビンは、ここで説明したシステム及び方法
で決定された、指数関数的に増加するサイズを有する。
本発明は、ビンが、流入する使用量データの値に基づ
き、必要に応じたベース（オンザフライ）の上に生成さ
れることを規定している。その結果としてのヒストグラ
ム（メモリ中にテーブルの形で記憶することができるも
の）は、ヒストグラムに対応した確率密度分布の計算な
どの後続のネットワーク使用量解析に用いられる。 【００２５】従来の直線ヒストグラムはビンを利用する
ものであるが、各ビンは同じ幅を有する。従来のヒスト
グラムは多くのものに適用するにあたり有用であるが、
インターネット使用量データ等の連続データストリーム
の確率分布を、リアルタイムに見積るシステム及び方法
を提供するのが望ましい。このタイプのデータ特性にお
いては、次のような場合がある。データは、超高速デー
タレート（例えば10,000レコード/秒）で連続して収集
する必要がある。データ量が多すぎて効率的に記憶でき
ない、又はたとえ記憶してもデータ解析及び結果の生成
において、シヤー（shear）サイズのデータセットによ
り、待ち時間が長くなる。流入データの上方境界と下方
境界のいずれも未知である。流入データイベント数が未
知である。さらに、流入データの値はプラスであり、大
きさ順に並んでおり、およそ１／ｘで分布している。 【００２６】従来の直線ヒストグラムは、一律に間隔を
開けたインターバル又はビン幅を用いるものであり、こ
のため上述の特性に起因して生のインターネット使用量
データからの統計分布を生成することが困難となってい
る。従って従来のヒストグラムを用いる方法において、
データの値に関連する下方境界及び上方境界を決定する
にあたり２度のスキャンが必要となる。このことは、生
の使用量データの記憶にあたり追加費用を必要とせず待
ち時間を必要としない。さらに、各ビンの幅（又はイン
ターバルの数）を決定する従来の思考アルゴリズムにあ
たっては、測定されるべきイベントの数を適切に見積も
ることを必要とする。本発明にかかる動的適応統計デー
タ分布収集システム及び方法は、インターネット使用量
データと同様の特性を有するデータタイプの収集及び解
析を持つ、従来のヒストグラム統計モデルを用いること
に関連した課題（例えば膨大な量のデータの記憶、デー
タの２度の走査などの課題）の解決を意図したものであ
る。 【００２７】ネットワーク使用量解析システム２０は、
いくつかの主要となる要素を含んでおり、その各々はソ
フトウェアプログラムである。ネットワーク使用量解析
システム２０の主要なソフトウェアプログラム要素は、
１つ又は複数のコンピュータサーバシステム上で動作す
る。一実施形態において、主要なソフトウェアプログラ
ム要素の各々は、その自身のコンピュータシステムにお
いて動作する。 【００２８】本発明で用いられるネットワーク使用量解
析システムは、米国特許出願番号09/548124、出願日２
０００年４月１２日、タイトル「インターネット使用量
分析システム及び方法」で開示され、発明者及び出願人
ともに本出願と同じである。 【００２９】典型的な実施形態の１つにおいて、ネット
ワーク使用量解析システム２０は、データ解析システム
サーバ２２及びヒストリキャッシュ２４を含む。データ
解析システムサーバ２２は、データ収集システム２６か
らの使用量データすなわち「記録イベント」２５を受け
とる。データ収集システム２６は、ネットワーク２８か
らのネットワーク使用量データを受けとる。ある好まし
い実施形態において、ネットワーク２８は、インターネ
ット３０を含む。一般的に、使用量データは、ネットワ
ーク使用量データの記録すなわち記録イベントのリアル
タイムストリームである。実施形態の１つにおいて、使
用量データは、ネットワーク２８上に位置するデータ収
集システム２６から生成される記録イベントのリアルタ
イムストリームである。 【００３０】データ解析サーバ２２は、データ収集シス
テム２６からの通信リンク２５を介した記録イベントの
形の使用量データを受けとる。一形態では、使用量デー
タ収集システム２６は、ネットワーク使用データ仲介シ
ステムから分かれており、他形態では、使用量データ収
集システム２６は、ネットワーク使用データ仲介システ
ムを含んでいる。さらに別の形態では、データ収集シス
テム２６は、データ解析システムサーバ２２の一部であ
る。 【００３１】本発明とともに用いるのに適当なデータ収
集システムの１つは、米国ヒューレットパッカード社
の、商品名インターネット使用マネージャ、において商
業的に利用可能である。本発明に関連する使用量解析シ
ステムとともに使用されるのに適した、他のデータ収集
及び報告システムは、本出願を読めば当業者に明らかに
なるであろう。 【００３２】データ解析システムサーバ２２は、使用量
データを使用して、予め決められたネットワーク使用量
統計解析を実行する。詳細には、まずデータストリーム
が受けとられる。データストリームを表すデータ分布が
決定されるが、指数関数的に増加するサイズを有するデ
ータビンの生成も含む。データの統計表現がデータビン
に記録される。データ分布がデータストリームの解析に
用いられる。データ解析システムサーバ２２は、統計デ
ータをデータ格納システム２４に記憶すべく処理を行
う。この統計データは流入する生データよりもサイズが
かなり小さいので、格納の必要性はかなり小さい。一態
様においては、統計モデル３４をインタラクティブに解
析するためのユーザインターフェースに応答する。さら
に、統計モデル３４のリアルタイムグラフィック表現
は、ユーザインターフェース３８におけるディスプレイ
システムへの出力とすることができる。 【００３３】典型的な実施形態の１つにおいて、データ
解析システムサーバ２２は、１つ又は複数のコンピュー
タ又はサーバにおいて動作するコンピュータソフトウェ
アプログラムを含む。統計モデル３４は、テーブルの形
式の統計データとして記憶することができる。データ格
納システム２４は、揮発性メモリ（例えばランダムアク
セスメモリRAM）や、不揮発性メモリ（例えばハードデ
ィスクドライブ又は他の永続的格納装置）とすることが
できる。ユーザインターフェース３８は、キーボードや
マウス、又は他のインターフェース装置とすることがで
きる。このインターフェース装置は、業界で知られたビ
デオディスプレイデバイス等のディスプレイシステムを
もつものである。 【００３４】図３は、本発明にかかる動的適応統計分布
収集システムを有するネットワーク使用量解析システム
を用いて生成される、対数ヒストグラム統計モデル３４
の一般的な実施形態の１つを説明する概略図である。ｘ
軸302は、メガバイト単位でのネットワーク使用量等の
変量の対数に比例する変量の範囲を図示するものであ
る。ｙ軸304は、各ビン内で記録されたイベントの周波
数又は数を図示するものである。使用量が収集され解析
されると、306で示されるように、対応する統計データ
は複数の「グループ」又は「ビン」として記憶される。
ビンは後述のように、「随時」生成される。各ビンは31
2に示すように幅を持っている。これは指数関数的に増
加するサイズを有し、bk/r、b（k+1）/r、b（k+2）/r、
b（k+3）/r、b（k+n）/rとして示されるビンの境界とし
て示されるものである（ここでbは、対数の底（例えば
底１０に対してb=10）であり、kはキーであり、ｒは本
適用例において詳述されるように分解要素である）。 【００３５】使用量データが収集されるとき、データ自
身は各ビン306には収集されないが、各ビン306について
の変量302に関連するイベントの頻度又は数が表にされ
る。その結果のヒストグラム統計モデル（メモリ中のテ
ーブルの形式で記憶することができる）は、ヒストグラ
ム300に対応する確率密度の計算等、後続のネットワー
ク使用量解析に用いられる。本発明は、用途ベースで統
計データを記憶するためのビンを動的に生成し、先に説
明したものと同様の特徴を有するデータと共に用いるの
に適したシステム及び方法を提供している。 【００３６】図４は、320で概略的に図示される本発明
にかかる動的適応統計データ分布収集システムの一般的
な実施形態の１つを示した概略図である。動的統計デー
タ分布収集システム320は、ここですでに説明したネッ
トワーク使用量解析システムの一部として用いることが
でき、ここですでに説明したデータ解析システムサーバ
22内に配置することができる。動的統計データ分布収集
システムは、すでに説明したインターネット使用量デー
タと同様の特徴を有するデータタイプを利用している。 【００３７】動的統計データ分布収集システム320は、
動的分布コレクタ322を含んでいる。動的分布コレクタ3
22は、324に示すようにインターネット使用量データの
実質的に連続なストリームを受けとる又は検索する。一
形態において、使用量データのストリームを検索するこ
とには、使用量データソースを照会し、照会に応答して
使用量データソースから使用量データのストリームを収
集することが含まれる。他の形態では、動的分布コレク
タは、データがそこに押し出される「静的」データコレ
クタとすることができる。一形態では、システムは統計
データ分布検索システム326を含む。統計データ分布検
索システムは、328で示されるように、使用量データ統
計についての動的分布コレクタ322を照会すべく処理を
行う。これに応答して、動的分布コレクタ322は、最小
限の待ち時間で使用量データ324を表す統計データ分布
アレイの出力を提供する。動的分布コレクタ322は、使
用量データのストリーム324を受けとり、データストリ
ームを表す統計データ分布を決定するが、指数関数的に
増加するサイズを有するデータビンを生成すること（例
えばヒストグラム統計モデルの場合）、イベントとして
の使用量データを適当なデータビンに記録することを含
む。指数関数的に増加するサイズを有するデータビンを
生成することには、対数キーのセットを決定すること及
びこれらのキーを介して使用量データビンをインデック
ス化することを含む。 【００３８】特に、指数関数的に増加するサイズを有す
るビン306を生成又は定義するためには、ビンキーkは、
次の式を用いて計算される。 【００３９】 【数１】 ｖ＝入力使用量変量値 ｒ＝一般的には整数値となる分解要素 ｂ＝ｖに適用される対数関数の底であり、一般的には１
０（int）は、浮動点値タイプであるfloor関数により生
成される値を、正又は負となる整数に変換する。 【００４０】分解要素rは、所望の大きい順のビンの数
として定義される。上述の式の結果、ビンが指数関数的
に増加するサイズと共に生成される。分解要素rは、問
題となっている未知の値LB、UB、及びN（又はビンサイ
ズ）の異なる変量への変換として見ることができ、全デ
ータの収集より前に概算又は収集することはかなり容易
である。ユーザはビン処理の所望の相対精度に基づき値
ｒを選択するので、分解要素という名前になる。この点
を示すにあたり、上述のビンキーの式は、キー値ｋを生
成するが、これは所定のビンについての固有識別子であ
る。この方法で計算されたすべてのビンについて、ビン
の下限に対するビンの上限の比率は、ｒの同じ値で生成
された全てのビンに対する定数となる。 【００４１】比率は、（ビンｋの上限）／（ビンｋの下
限）＝１０1/r である。 【００４２】例としてｒ＝２４の場合、この比率は〜
１．１０である。このことは、ビンの上限が同じビンの
中心より約５％高く、ビンの下限が同じビンの中心より
約５％低いことを意味している。ｒ＝１３については、
ビン処理の相対精度は約＋／−１０％である。 【００４３】全てのビンが所定範囲内にあるとき、これ
は本発明で必ずしも必要というわけではないが、ビンの
境界は以下のようにパワーシーケンス（powe sequenc
e）を形成する。 【００４４】ｋは−ｍからｎにわたり、ｂ＝１０とす
る。１０-m/r、１０(-m+1)/r、Ｌ、１０-1/r、１、１０
1/r、１０2/r、Ｌ、１０n/rである。 【００４５】この数列は、比率k/rが自然数となる境界
が、0.01、0.1、1、10、100等、選択された底の整数乗
に丁度対応するという、望ましい属性を有する。 【００４６】このビンはメモリに記憶され、さらにネッ
トワーク使用量解析（ここですでに説明した）において
使用可能となる。例として、頻度は、対応するビンに集
まるイベントに対応するものの値を加えることにより記
憶することができる。他の例では、ヒット数を記憶する
（１ずつ増加する）代わりに、総和又は全体使用量をビ
ン中にトラックし記憶することができる。 【００４７】図５は、本発明にかかる動的適応統計デー
タ分布収集システム320を用いて決定された統計データ
を、ログし記憶するのに用いられる、アレイ構造の一般
的実施形態の１つを図示した概略図である。アレイ構造
は340で概略的に説明される。特に、図示された一般的
な実施形態について、２に等しい分解要素rが選択され
る。ビンキーｋは、344で示されるように決定される。
ビンキーｋ344は、アレイ340に関連するアレイインデッ
クス346に対応する。アレイ340は、収集されたデータ
（例えばイベントの頻度）を表す統計データを記録する
のに用いられる。図示された一般的な実施形態におい
て、アレイは決定された範囲に入るイベントの数を記録
するのに用いられる。アレイはメモリ中の近傍値のセッ
トとして記憶される。 【００４８】図示しているように、アレイインデックス
０は、.01000から.03162の値の範囲のイベントを記録し
ている。アレイインデックス１は、.03162から.1000の
値の範囲のイベントの記録に対応している。アレイイン
デックス２は、.1000から.3162の値の範囲のイベントの
記録に対応している。アレイインデックス３は、.3162
から1.000の値の範囲のイベントの記録に対応してい
る。アレイインデックス４は、1.000から3.162の値の範
囲のイベントの記録に対応している。アレイインデック
ス５は、3.162から10.00の値の範囲のイベントの記録に
対応している。アレイインデックス６は、10.00から31.
62の値の範囲のイベントの記録に対応している。アレイ
インデックス７は、31.62から100.0の値の範囲のイベン
トの記録に対応している。アレイインデックス８は、10
0.0から316.2の値の範囲のイベントの記録に対応してい
る。アレイインデックス９は、316.2から1000.0の値の
範囲のイベントの記録に対応している。 【００４９】本発明にかかる対数ビンインデックスを用
いる方法において、分解要素rは、大きいものから順に
ビンインターバルの数を決定する。その結果の量子化誤
差は、ビン中に統計的に表された絶対値による大きさに
対して一定である。この方法の結果、多くの利点があ
る。ビンキーｋは、上述のビンキーの式を用いて素早く
計算することができる。k/rが一定であるとして、この
式を用いて計算されたビンの下方境界は、選択された底
の整数乗である。 【００５０】アレイ構造を用いる結果、計算がかなり高
速になり、各統計データイベントについて適切なデータ
ビンが決定される。一形態において、アレイ340の格納
空間は、メモリに固まりで予め配置される。他の形態に
おいて、アレイ340の格納空間は、メモリ中に動的に配
置することができるが、記録イベントの値に基づく。ア
レイ340内のビン又は配置が、記録イベントの所定値に
対して存在しないことが決定された後、メモリ空間は、
サイズ変更処理を用いて動的に配置される。 【００５１】図６は、本発明にかかるアレイ構造に統計
データを記録し又は分布させる方法の実施形態の１つを
図示した概略図である。使用量データストリームからの
流入データイベントの値ｖは、350に表されている、352
において、ビンキーｋは、値ｖ及び所望の分解要素（例
えばｒ＝２）を用いて計算される。354においてアレイ
インデックスは決定され、従ってアレイ中の対応するビ
ンも決定される。356において、ステップ354において計
算されたアレイインデックスが既存のアレイインデック
スの範囲内にあるかどうかが決定される。計算されたア
レイインデックス値がアレイインデックスの範囲内であ
る場合、対応するビンについての統計は更新されて358
に示すように流入値ｖに反映する。ステップ354で計算
されたアレイインデックス値がアレイインデックス値の
範囲外の場合、アレイのサイズは新たな入力データ値を
含めるよう動的に拡張される。一形態において、アレイ
は360で示されるように、メモリにおいてアレイの他端
でｒビン（例えばｒ＝２）ずつ増加して拡張される。一
度アレイが拡張されて計算されたアレイインデックス値
を含める場合、358に示すように、統計値が更新され
る。 【００５２】他の実施形態においては、「ツリー」構造
が、メモリ中の決定されたビンに流入するデータイベン
トを表す統計データを記憶するのに利用される。図７
は、本発明にかかるシステムを用いたメモリに統計使用
量イベントを記録するツリー構造の一般的な実施形態の
１つを図示した概略図を示したものである。ツリー構造
は370で概略的に図示されている。ツリー構造を利用し
てビンの順序を達成する利点は、その方法が、流入デー
タ値の下方境界又は上方境界を予め知っておくこととは
完全に独立していることである。メモリはビン毎に随時
配置される。随意的に、一度ツリー構造が所定の最大サ
イズに達すると、隣り合ったビンの結合は、かなり単純
なものとなり、従って用いられるサイズ又はその構造の
サイズの量に限界を配置する能力を提供する。記録され
たイベントが受けとられたときにツリー構造が構築され
るので、イベントの入力記録は、アレイ構造を用いるよ
りも遅いものとすることができる。しかしながら、全て
の必要なビンがそこにあるとき、もはやビンの生成は必
要とされず、イベントの記録はかなり高速となる。 【００５３】ツリー構造370は、ノード372,374,376,37
8,380,382,384,388,390,392として示される各データビ
ンを表すノードの数を含んでいる。各ノードは、記録さ
れた統計に対する入れ物すなわちビンとして用いられ
る。さらに例として、ｒ＝２の分解要素について、記録
イベントの値の範囲が決定されそして394として示され
る。ビンキーｋの値は各ノードに関連し、以下に示す各
ノードは、ツリー構造370中にある。入力データイベン
ト値が受けとられると、ツリー構造370が生成される。 【００５４】ツリー構造370で図示される一般的な実施
形態において、データイベント値５は、値の範囲3.162
から10の範囲に入り、従ってビンはノード372で表され
キー値１を伴う。次の記録イベント値が５０の場合、そ
してその値に対するビンが存在しない場合、ビンはノー
ド374で生成され、キー値は３となるが、それは値５０
が31.62から100.0メガバイトの範囲内にあるからであ
る。ツリー構造370は、このようにして続いて構築され
る。従って、データイベント値がそのノードに関連する
ビンの範囲内に入らない場合、ノード（ビン）のうちい
くつかは、生成する必要がないとすることができる。 【００５５】図８は、本発明にかかるツリー構造中の使
用量データイベントを記録する方法の一般的な実施形態
の１つを図示する概略図である。この方法は、400で概
略的に示される。402において、記録イベントの流入値
ｖが受けとられる。404において、ビンキーｋが、デー
タイベント値から計算される。ビンキーｋに関連するビ
ンは、406に配置される。408において、ビンが存在する
とき、410で示されるようにビンで統計値が更新され
る。計算されたビンキーｋに対応するビン又はノードが
存在しない場合、412に示すようにビンがツリー構造に
追加される。ツリー構造の最大サイズは、追加的に予め
定義することができる。414において、ビン又はノード
を追加する結果としてのツリー構造のサイズはが所定の
最大サイズに比べ大きくない場合、統計値がそのノード
で更新される。414において、ツリー構造のサイズが所
定の最大値よりも大きい場合、随意に２つの最低ビン又
はノードの統計値が、416に示されるように単一ノード
へと結合される。例えば、インターネット使用量に関連
する統計データを収集するのにおいて、最小の２つのビ
ンを結合するのが望ましい。というのも、それらが最小
の（すなわちもっとも重要でない）値を運ぶからであ
る。 【００５６】ここで好ましい実施形態の説明の目的のた
め、具体的な実施形態を図示し記述してきたが、様々な
代替の若しくは同等の実施形態を本発明の範囲から逸脱
せずに図示し記述した具体的な実施形態でおきかえるこ
とができることは当業者に理解されるであろう。化学、
機械、電気機械、電子、及びコンピュータにおける知識
を有するものであれば、本発明が様々な実施形態で具現
化できることはすぐに理解されるであろう。この適用例
は、ここで説明した好ましい実施形態の適用又は変形を
カバーすることを意図されている。それゆえ、この発明
を限定するものが特許請求の範囲及びそれについての同
等の構成のみであることは明白に意図される。この発明
は例として、次の実施形態を含む。 【００５７】（１）データストリーム（２７，３２４）
を受けとるステップと、指数関数的に増加するサイズ
（３１２）を有するデータビンを生成すること、及びデ
ータビン（３４０，３７０）にデータを表す統計値を割
り当てることを含む、データストリームを表すデータ分
布（３００）を決定するステップと、該データ分布を用
いて該データストリームを解析するステップとを備える
データストリームの実質リアルタイム解析方法（２０，
２２）。 【００５８】（２）該指数関数的に増加するサイズを有
するデータビンの生成ステップは、該流入データの対数
による関数から決定されるキーのセット（３４４）を用
いてビンをインデックス化するステップ、及び指数関数
的に増加するインターバルのセットを決定してデータビ
ンのサイズ（３４２，３９４）を定義するステップと、
を含む（１）に記載の方法。 【００５９】（３）該キーのセットを決定するステップ
は、選択された対数の底の累乗毎に所望のデータビンの
数として分解要素を定義するステップと、該分解要素を
用いて指数関数的に増加するインターバルのセットを決
定するステップと、を含む（２）に記載の方法。 【００６０】（４）データストリームを受けとるステッ
プは、データソースを照会するステップ及び該照会に応
答して該データソースからデータストリームを収集する
ステップを含む（１）に記載の方法。 【００６１】（５）データストリーム（３２４）を、高
いデータレートで、正の値のみを有し、未知の最小値及
び未知の最大値を有する連続データストリームとして定
義するステップを備える（１）に記載の方法。 【００６２】（６）ビンの順序を定義するステップと、
メモリに該ビンの順序を記憶するステップと、該ビンの
順序をアレイ構造として定義するステップと、データビ
ンをメモリのアレイ構造（３４０，３７０）に記憶する
ステップとを備え、該データビンにデータ値を配置する
ステップは、データ値を受けとるステップと、該データ
値に関連するビンインデックスを計算するステップ（３
４４）と、インデックス値のアレイを有するアレイイン
デックスを定義するステップ（３４６）とを含み、各ア
レイインデックス値はデータビンに関連し、該アレイイ
ンデックス及びビンインデックスを用いてデータ値に関
連するデータビンを決定する、（１）に記載の方法。 【００６３】（７）該データビンに記憶された値を更新
するステップをさらに備える（６）に記載の方法。 【００６４】（８）データビンが決定できない場合に、
該アレイ構造を拡張して該データビンを入れる（６）に
記載の方法。 【００６５】（９）該アレイ構造をツリーアレイ構造
（３７０）として定義するステップをさらに備え、該ツ
リーアレイ構造にデータ値を配置するステップは、デー
タ値に対するデータビンを決定するステップと、データ
ビンが存在しない場合にデータビンを生成するステップ
（４００）を含む（６）に記載の方法。 【００６６】（１０）データストリームを受けとり、指
数関数的に増加するサイズを有するデータビンの生成、
及びデータビン中のデータを表す統計値を配置すること
を含めて、データストリームを表すデータ分布を決定す
るよう構成された動的分布コレクタ（３２２）を備え
る、（１）から（９）のいずれか１つに記載の方法の実
行するデータストリーム解析システム。
【図面の簡単な説明】
【図１】直線ヒストグラムを図示する概略図である。
【図２】本発明にかかる動的統計データ分布収集システ
ムの一般的な実施形態の１つを図示した概略図である。 【図３】対数ヒストグラム統計モデルを示すグラフの一
般的な実施形態の１つを図示する概略図である。 【図４】本発明にかかるネットワーク使用量解析システ
ムで用いられる動的統計データ分布収集システムの一般
的な実施形態の１つを図示する概略図である。 【図５】本発明にかかる動的統計データ分布収集システ
ムの一部としてのデータビンの順序化に用いられるアレ
イ構造の一般的な実施形態の１つを図示した概略図であ
る。 【図６】本発明にかかる動的統計データ分布収集システ
ムで使用されるアレイ構造に統計データを記録する方法
の一般的な実施形態の１つを図示するブロック概略図で
ある。 【図７】本発明にかかる動的統計データ分布収集システ
ムに統計データを記録するのに用いられるツリー構造の
一般的な実施形態の１つを図示した概略図である。 【図８】本発明にかかる動的統計データ分布収集システ
ムで用いられるツリー構造に統計データを記録する方法
の一般的な実施形態の１つを図示するブロック概略図で
ある。 【符号の説明】 ２０ ネットワーク使用量解析システム ２２ データ解析システムサーバ ２４ データ格納システム ２６ データ収集システム ３４ 統計モデル ３００ ヒストグラム ３２０ 動的統計データ分布収集システム ３２２ 動的分布コレクタ ３２６ 統計データ分布検索システム
ムの一般的な実施形態の１つを図示した概略図である。 【図３】対数ヒストグラム統計モデルを示すグラフの一
般的な実施形態の１つを図示する概略図である。 【図４】本発明にかかるネットワーク使用量解析システ
ムで用いられる動的統計データ分布収集システムの一般
的な実施形態の１つを図示する概略図である。 【図５】本発明にかかる動的統計データ分布収集システ
ムの一部としてのデータビンの順序化に用いられるアレ
イ構造の一般的な実施形態の１つを図示した概略図であ
る。 【図６】本発明にかかる動的統計データ分布収集システ
ムで使用されるアレイ構造に統計データを記録する方法
の一般的な実施形態の１つを図示するブロック概略図で
ある。 【図７】本発明にかかる動的統計データ分布収集システ
ムに統計データを記録するのに用いられるツリー構造の
一般的な実施形態の１つを図示した概略図である。 【図８】本発明にかかる動的統計データ分布収集システ
ムで用いられるツリー構造に統計データを記録する方法
の一般的な実施形態の１つを図示するブロック概略図で
ある。 【符号の説明】 ２０ ネットワーク使用量解析システム ２２ データ解析システムサーバ ２４ データ格納システム ２６ データ収集システム ３４ 統計モデル ３００ ヒストグラム ３２０ 動的統計データ分布収集システム ３２２ 動的分布コレクタ ３２６ 統計データ分布検索システム
Claims (1)
- 【特許請求の範囲】 【請求項１】データストリームを受けとるステップと、 指数関数的に増加するサイズを有するデータビンを生成
すること、及びデータビンにデータを表す統計値を割り
当てることを含む、データストリームを表すデータ分布
を決定するステップと、 該データ分布を用いて該データストリームを解析するス
テップとを備えるデータストリームの実質リアルタイム
解析方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/919,149 | 2001-07-31 | ||
| US09/919,149 US20030033403A1 (en) | 2001-07-31 | 2001-07-31 | Network usage analysis system having dynamic statistical data distribution system and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003087325A true JP2003087325A (ja) | 2003-03-20 |
Family
ID=25441590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002221143A Withdrawn JP2003087325A (ja) | 2001-07-31 | 2002-07-30 | データストリームの実質リアルタイム解析方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20030033403A1 (ja) |
| EP (1) | EP1282270A1 (ja) |
| JP (1) | JP2003087325A (ja) |
| BR (1) | BR0203143A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020107358A (ja) * | 2014-09-17 | 2020-07-09 | サーコーナス， インコーポレイテッド | 効率的時系列ヒストグラム |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003525497A (ja) * | 2000-02-28 | 2003-08-26 | シーメンス アクチエンゲゼルシヤフト | システムのモデリング方法及びシステムのモデリング装置 |
| US6963874B2 (en) * | 2002-01-09 | 2005-11-08 | Digital River, Inc. | Web-site performance analysis system and method utilizing web-site traversal counters and histograms |
| US20030131106A1 (en) * | 2002-01-09 | 2003-07-10 | Stephane Kasriel | Web-page performance toolbar |
| US7631035B2 (en) | 2002-01-09 | 2009-12-08 | Digital River, Inc. | Path-analysis toolbar |
| US20030131097A1 (en) * | 2002-01-09 | 2003-07-10 | Stephane Kasriel | Interactive path analysis |
| US20030128231A1 (en) * | 2002-01-09 | 2003-07-10 | Stephane Kasriel | Dynamic path analysis |
| US20030202009A1 (en) * | 2002-04-24 | 2003-10-30 | Stephane Kasriel | Integration toolbar |
| US20030204490A1 (en) * | 2002-04-24 | 2003-10-30 | Stephane Kasriel | Web-page collaboration system |
| US20040064725A1 (en) * | 2002-09-18 | 2004-04-01 | Microsoft Corporation | Method and system for detecting a communication problem in a computer network |
| US7162473B2 (en) * | 2003-06-26 | 2007-01-09 | Microsoft Corporation | Method and system for usage analyzer that determines user accessed sources, indexes data subsets, and associated metadata, processing implicit queries based on potential interest to users |
| US8031623B2 (en) * | 2004-10-25 | 2011-10-04 | Ineoquest Technologies, Inc. | System and method for creating multiple transportation streams of streaming media network test traffic in packet-based networks |
| US8588069B2 (en) * | 2003-08-29 | 2013-11-19 | Ineoquest Technologies, Inc. | System and method for analyzing the performance of multiple transportation streams of streaming media in packet-based networks |
| US8625455B2 (en) * | 2006-10-17 | 2014-01-07 | Ineoquest Technologies, Inc. | System and method for handling streaming media |
| US7321565B2 (en) * | 2003-08-29 | 2008-01-22 | Ineoquest Technologies | System and method for analyzing the performance of multiple transportation streams of streaming media in packet-based networks |
| US20150341812A1 (en) | 2003-08-29 | 2015-11-26 | Ineoquest Technologies, Inc. | Video quality monitoring |
| US8838772B2 (en) | 2003-08-29 | 2014-09-16 | Ineoquest Technologies, Inc. | System and method for analyzing the performance of multiple transportation streams of streaming media in packet-based networks |
| US7571181B2 (en) * | 2004-04-05 | 2009-08-04 | Hewlett-Packard Development Company, L.P. | Network usage analysis system and method for detecting network congestion |
| US7599288B2 (en) * | 2004-09-30 | 2009-10-06 | Hewlett-Packard Development Company, L.P. | Processing of usage data for first and second types of usage-based functions |
| US7801127B2 (en) | 2004-10-25 | 2010-09-21 | Ineoquest Technologies, Inc. | System and method for creating a sequence number field for streaming media in a packet-based networks utilizing internet protocol |
| WO2006058558A1 (en) * | 2004-11-30 | 2006-06-08 | Arnaud Massonnie | Open system for dynamically generating a network of contacts. |
| US20070016603A1 (en) * | 2005-07-14 | 2007-01-18 | International Business Machines Corporation | Representing a distribution of data |
| US20070286351A1 (en) * | 2006-05-23 | 2007-12-13 | Cisco Technology, Inc. | Method and System for Adaptive Media Quality Monitoring |
| US8869066B2 (en) | 2006-07-06 | 2014-10-21 | Addthis, Llc | Generic content collection systems |
| US20080082627A1 (en) * | 2006-09-29 | 2008-04-03 | Allen Stewart O | Method and Apparatus for Widget Container/Widget Tracking and Metadata Manipulation |
| US8056092B2 (en) * | 2006-09-29 | 2011-11-08 | Clearspring Technologies, Inc. | Method and apparatus for widget-container hosting and generation |
| US7848237B2 (en) * | 2007-01-18 | 2010-12-07 | Ineoquest Technologies, Inc. | System and method for selective packet discard for the transport of multiple transportation streams of streaming media in packet-based networks |
| US9009728B2 (en) * | 2007-03-06 | 2015-04-14 | Addthis, Inc. | Method and apparatus for widget and widget-container distribution control based on content rules |
| US8266274B2 (en) * | 2007-03-06 | 2012-09-11 | Clearspring Technologies, Inc. | Method and apparatus for data processing |
| US8248953B2 (en) | 2007-07-25 | 2012-08-21 | Cisco Technology, Inc. | Detecting and isolating domain specific faults |
| US8209378B2 (en) * | 2007-10-04 | 2012-06-26 | Clearspring Technologies, Inc. | Methods and apparatus for widget sharing between content aggregation points |
| US7948910B2 (en) * | 2008-03-06 | 2011-05-24 | Cisco Technology, Inc. | Monitoring quality of a packet flow in packet-based communication networks |
| US20100100605A1 (en) * | 2008-09-15 | 2010-04-22 | Allen Stewart O | Methods and apparatus for management of inter-widget interactions |
| US8856048B2 (en) * | 2009-10-15 | 2014-10-07 | International Business Machines Corporation | Method, system, and computer program product for automatically applying a predictive temporal profile to computer resource management decisions |
| US8577827B1 (en) * | 2010-03-12 | 2013-11-05 | Amazon Technologies, Inc. | Network page latency reduction using gamma distribution |
| TW201324417A (zh) * | 2011-12-08 | 2013-06-16 | Infopower Corp | 商業智慧軟體之資料處理方法 |
| US8751757B1 (en) * | 2011-12-30 | 2014-06-10 | Emc Corporation | Acquisition and kernel memory storage of I/O metrics |
| US20130218908A1 (en) * | 2012-02-17 | 2013-08-22 | International Business Machines Corporation | Computing and applying order statistics for data preparation |
| US8873753B2 (en) * | 2012-08-27 | 2014-10-28 | Verizon Patent And Licensing Inc. | Analysis of network operation |
| WO2015030848A1 (en) * | 2013-08-31 | 2015-03-05 | Empire Technology Development Llc | Content-addressable memory device |
| US9756122B2 (en) | 2015-03-20 | 2017-09-05 | Yahoo Holdings, Inc. | Using hierarchical reservoir sampling to compute percentiles at scale |
| US10909177B1 (en) * | 2017-01-17 | 2021-02-02 | Workday, Inc. | Percentile determination system |
| US11190542B2 (en) * | 2018-10-22 | 2021-11-30 | A10 Networks, Inc. | Network session traffic behavior learning system |
| US11086838B2 (en) | 2019-02-08 | 2021-08-10 | Datadog, Inc. | Generating compact data structures for monitoring data processing performance across high scale network infrastructures |
| WO2022041695A1 (zh) * | 2020-08-26 | 2022-03-03 | 华为技术有限公司 | 流量监控方法、装置、集成电路、网络设备及网络系统 |
| WO2022041696A1 (zh) * | 2020-08-26 | 2022-03-03 | 华为技术有限公司 | 流量监控方法、装置、集成电路及网络设备 |
| US11734864B2 (en) * | 2021-10-29 | 2023-08-22 | Business Objects Software Ltd | Histogram bin interval approximation |
| CN117614880B (zh) * | 2024-01-22 | 2024-04-19 | 广东广宇科技发展有限公司 | 一种基于动态数组的通信线路实时监测方法 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4361877A (en) * | 1980-02-05 | 1982-11-30 | Sangamo Weston, Inc. | Billing recorder with non-volatile solid state memory |
| US4827508A (en) * | 1986-10-14 | 1989-05-02 | Personal Library Software, Inc. | Database usage metering and protection system and method |
| US5155680A (en) * | 1986-10-24 | 1992-10-13 | Signal Security Technologies | Billing system for computing software |
| US5321838A (en) * | 1991-02-28 | 1994-06-14 | Hensley Billy W | Event capturing for computer software evaluation |
| US5375070A (en) * | 1993-03-01 | 1994-12-20 | International Business Machines Corporation | Information collection architecture and method for a data communications network |
| US5664106A (en) * | 1993-06-04 | 1997-09-02 | Digital Equipment Corporation | Phase-space surface representation of server computer performance in a computer network |
| US5696702A (en) * | 1995-04-17 | 1997-12-09 | Skinner; Gary R. | Time and work tracker |
| CA2276526A1 (en) * | 1997-01-03 | 1998-07-09 | Telecommunications Research Laboratories | Method for real-time traffic analysis on packet networks |
| US6112238A (en) * | 1997-02-14 | 2000-08-29 | Webtrends Corporation | System and method for analyzing remote traffic data in a distributed computing environment |
| US5958009A (en) * | 1997-02-27 | 1999-09-28 | Hewlett-Packard Company | System and method for efficiently monitoring quality of service in a distributed processing environment |
| US5973914A (en) * | 1997-03-27 | 1999-10-26 | Siemens Energy & Automation, Inc. | Circuit breaker hold-down |
| US6011838A (en) * | 1997-06-06 | 2000-01-04 | Bellsouth Intellectual Property Corporation | Process and system for dynamically measuring switch traffic |
| US6032216A (en) * | 1997-07-11 | 2000-02-29 | International Business Machines Corporation | Parallel file system with method using tokens for locking modes |
| US5870752A (en) * | 1997-08-21 | 1999-02-09 | Lucent Technologies Inc. | Incremental maintenance of an approximate histogram in a database system |
| DE19746904B4 (de) * | 1997-10-23 | 2004-09-30 | Telefonaktiebolaget L M Ericsson (Publ) | Verkehrsdaten-Bewertungsgerät und zugeordnetes Verfahren für ein Netzwerk mit dynamischer Vermittlung |
| GB2337903B (en) * | 1998-05-28 | 2000-06-07 | 3Com Corp | Methods and apparatus for collecting storing processing and using network traffic data |
| US6032132A (en) * | 1998-06-12 | 2000-02-29 | Csg Systems, Inc. | Telecommunications access cost management system |
| US6253242B1 (en) * | 1998-08-07 | 2001-06-26 | Lucent Technologies Inc. | Group sampling method for connectionless networks |
| US6381628B1 (en) * | 1998-10-02 | 2002-04-30 | Microsoft Corporation | Summarized application profiling and quick network profiling |
| US6460045B1 (en) * | 1999-03-15 | 2002-10-01 | Microsoft Corporation | Self-tuning histogram and database modeling |
| US6771646B1 (en) * | 1999-06-30 | 2004-08-03 | Hi/Fn, Inc. | Associative cache structure for lookups and updates of flow records in a network monitor |
| US6873600B1 (en) * | 2000-02-04 | 2005-03-29 | At&T Corp. | Consistent sampling for network traffic measurement |
-
2001
- 2001-07-31 US US09/919,149 patent/US20030033403A1/en not_active Abandoned
-
2002
- 2002-07-30 EP EP02255296A patent/EP1282270A1/en not_active Withdrawn
- 2002-07-30 JP JP2002221143A patent/JP2003087325A/ja not_active Withdrawn
- 2002-07-31 BR BR0203143-4A patent/BR0203143A/pt not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020107358A (ja) * | 2014-09-17 | 2020-07-09 | サーコーナス， インコーポレイテッド | 効率的時系列ヒストグラム |
| JP7104386B2 (ja) | 2014-09-17 | 2022-07-21 | サーコーナス， インコーポレイテッド | 効率的時系列ヒストグラム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1282270A1 (en) | 2003-02-05 |
| BR0203143A (pt) | 2003-05-27 |
| US20030033403A1 (en) | 2003-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003087325A (ja) | データストリームの実質リアルタイム解析方法 | |
| US7506046B2 (en) | Network usage analysis system and method for updating statistical models | |
| JP2003152771A (ja) | 加入者の使用量のモデル化方法 | |
| US8195794B2 (en) | System and method for analyzing remote traffic data in a distributed computing environment | |
| US9130828B2 (en) | Content delivery network with customized tracking of delivery data | |
| CN105718515B (zh) | 数据存储系统及其方法和数据分析系统及其方法 | |
| US20060143027A1 (en) | Network usage analysis system using subscriber and pricing information to minimize customer churn and method | |
| US8566527B2 (en) | System and method for usage analyzer of subscriber access to communications network | |
| US20020154751A1 (en) | Method for managing wireless communication device use including optimizing rate and service plan selection | |
| US10121110B2 (en) | System, method and computer program product for progressive rendering of report results | |
| US20060141983A1 (en) | Network usage analysis system using customer and pricing information to maximize revenue and method | |
| US11151146B2 (en) | System and method for multi-dimensional real time vector search and heuristics backed insight engine | |
| US20030005078A1 (en) | Apparatus and method for providing user-requested content through an alternate network service | |
| Homem et al. | Finding top-k elements in a time-sliding window | |
| CN101621758B (zh) | 用于sp/cp的业务容器系统 | |
| CN108416645B (zh) | 一种针对用户的推荐方法、装置、存储介质和设备 | |
| EP1146687A2 (en) | Internet usage analysis system and method | |
| CN102483750A (zh) | 元数据收集装置 | |
| US20060143028A1 (en) | Network analysis system and method using business value | |
| WO2020033314A1 (en) | Generating real-time aggregates at scale for inclusion in one or more modified fields in a produced subset of data | |
| US6799186B2 (en) | SLA monitor calendar buffering | |
| WO2006041754A2 (en) | System and method for increasing pay-per-download revenues | |
| US7363373B2 (en) | Data scanning system and method thereof combining real-time scanning and periodical scanning modes | |
| MX2012013297A (es) | Trazado progresivo de graficos. | |
| CN109376325A (zh) | 用户所属机构统计方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050729 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20070116 |