JP2005521359A - ソフトウェアアプリケーションのネットワーク動作特性を測定する方法、システム及びコンピュータプログラム - Google Patents

ソフトウェアアプリケーションのネットワーク動作特性を測定する方法、システム及びコンピュータプログラム Download PDF

Info

Publication number
JP2005521359A
JP2005521359A JP2003585361A JP2003585361A JP2005521359A JP 2005521359 A JP2005521359 A JP 2005521359A JP 2003585361 A JP2003585361 A JP 2003585361A JP 2003585361 A JP2003585361 A JP 2003585361A JP 2005521359 A JP2005521359 A JP 2005521359A
Authority
JP
Japan
Prior art keywords
network
application
average
task
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003585361A
Other languages
English (en)
Inventor
マクブライド,エドムンド,ジョセフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Solutions USA Inc
Original Assignee
Siemens Medical Solutions USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Medical Solutions USA Inc filed Critical Siemens Medical Solutions USA Inc
Publication of JP2005521359A publication Critical patent/JP2005521359A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0896Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003Managing SLA; Interaction between SLA and QoS
    • H04L41/5009Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)

Abstract

ソフトウェアアプリケーション(112)のネットワーク動作特性を提供するように構成されたシステム、方法及びコンピュータ製品。ソフトウェアアプリケーション(112)の機能をその機能の特定に応答してテストネットワークで実行する。ネットワーク動作特性、例えば、テストネットワークにおけるソフトウェアアプリケーション(112)の帯域幅及び待ち時間は、テストネットワークにおいてソフトウェアアプリケーション(112)の機能を実行するとそれに応答して分析され、製品のネットワークにおけるソフトウェアアプリケーション(112)のネットワーク動作特性が予測される。

Description

本発明は、一般的にコンピュータネットワークに関し、さらに詳細には、ソフトウェアアプリケーションのネットワーク動作特性を測定するためのシステム、方法及びコンピュータ製品に関する。
ネットワーク容量の計画は、ユーザーへコンテンツを受け入れ可能な速度で提供するネットワークの能力を測定するプロセスである。このプロセスは、アクティブユーザーの数及び各ユーザーがどの程度のデマンドをサーバーに課するかを測定した後、利用レベルをサポートするに必要な計算資源を計算することを伴う。
ネットワークの容量性能の2つの重要な要素は帯域幅と待ち時間である。帯域幅は、ネットワークの速度として知覚するものの1つの要素に過ぎない。帯域幅に密接な関連のある速度のもう1つの要素は待ち時間である。待ち時間は、一般的に、幾つかの種類のネットワークデータを処理する際の遅延のことをいう。待ち時間と帯域幅とは関連性がある。理論ピーク帯域幅は不変であるが、実際の帯域幅または実効帯域幅は可変であり、大きい待ち時間による影響を受けることがある。あまりにも短い期間において待ち時間が大きすぎると、データが「パイプを充填」できないボトルネックが生じて実効帯域幅が減少することがある。業界用語で「サービス品質(QoS)」は、帯域幅と待ち時間の両方を管理してネットワークの性能を測定し終始変わらぬように維持することをいう。
分析及び/または個別事象シミュレーションツールである従来のネットワーク容量システムは、ユーザーのネットワーク構成のモデルを駆動するためにアプリケーショントラフィックのライブパターンを限られた量インポートする。ネットワークトラフィックモデルの妥当性をチェックするには、ネットワークアナリストは、2つのシミュレーション動作を比較し、シミュレーションした先在のトラフィックパターンをインポートされたライブトラフィックパターンのネットワークロードにマッチするようにかなりの時間を費やして調整する必要がある。この仕事を実行は挑戦的であり、通常は試みられない。トレースファイルを用いて製品のトラフィックパターンをインポートするが、これはカバーする時間に制限がある。数週間にわたりトラフィック活動の全てのピーク時間をカバーする一連のトレースファイルをインポートするのは非常に困難である。またシミュレーションするトラフィックを特定し、それを製品の本当のトラフィックと比較してシミュレーションしたトラフィックを調整することにより、新しいクライアントがネットワーク帯域幅条件に与える影響を予測可能にする将来のシミュレーション動作を実現することは非常に困難である。かくして、多数のアプリケーションに対するこれらのツールを使用は、非常に時間がかかり、高コストで、通常はネットワークのサイズ及び性能の予測を行う地位にある平均的な個人には不可能である。従って、従来のシステムの上記及び他の問題点を克服する、ソフトウェアアプリケーションのネットワーク動的特性を測定するためのシステム、方法及びコンピュータ製品が求められている。
発明の概要
このシステム、方法及びコンピュータ製品は、ソフトウェアアプリケーションのネットワーク動的特性を与えるように構成されている。ソフトウェアアプリケーションの機能は、ソフトウェアアプリケーションの機能を特定するとそれに応答してテストネットワークで実行される。ネットワーク動作特性、例えば、テストネットワークにおけるソフトウェアアプリケーションの帯域幅及び待ち時間は、ソフトウェアアプリケーションの機能の実行に応答してテストネットワークにおいて分析することにより、製品のネットワークにおけるそのソフトウェアアプリケーションのネットワーク動作特性が予測される。
本発明の上記及び他の局面につき以下の詳細な説明及び添付図面を参照してさらに説明するが、図面における同一の参照番号は異なる図面の同一の特徴部分または要素に割り当てられている。図面は実尺でないことを注意されたい。さらに、図に特に示さないが、明細書中で明示的に、または暗示的に説明した本発明の他の実施例もある。
図1は、本発明の好ましい実施例によりサーバー101が通信パス106を介して複数のクライアント/ワークステーション102、103、104に電気的に結合されたネットワーク100を示す。
別名コンピュータネットワークまたはエリアネットワークと呼ばれるネットワーク100は、多種多様な形状及びサイズで実現可能である。ネットワーク100の例には、限定の意図はないが、ローカルエリアネットワーク(LAN)、ワイドネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、保存エリアネットワーク(SAN)、システムエリアネットワーク(SAN)、サーバーエリアネットワーク(SAN)、スモールエリアネットワーク(SAN)、パーソナルエリアネットワーク(PAN)、デスクエリアネットワーク(DAN)、コントローラエリアネットワーク(CAN)、クラスタエリアネットワーク(CAN)及びそれらの任意の組み合わせが含まれる。従って、ネットワーク100は、任意数のサーバー101が任意タイプの通信パス106を介して任意距離にわたり任意数のクライアント/ワークステーション102、103、104と電気的に接続されたものである。ネットワーク100はWANであるのが好ましい。
一般的に、LAN,WAN及びMANのようなネットワークの表示は、ネットワークが拡がる物理的距離または距離に基づく概念を暗示するものである。しかしながら、インターフェイス、イントラネット、エクストラネット、バーチャルプライベートネットワーク及び他の技術による現在及びこれから予想される技術の変化は、距離が種々のネットワーク間の有用な識別手段にもはやなりえないことを暗示している。しかしながら、首尾一貫性を求めるため、これらの他のタイプのネットワークも種々のタイプのネットワークとして知られてきた。
例えば、LANはネットワーク装置を比較的短距離にわたって接続するものである。ネットワークに接続されたオフィスビル、学校または家庭は通常、単一のLANに含まれるが、時として1つの建物に少数の小さなLANが含まれることがあり、1つのLANが近隣のビル群にまたがることもある。インターネットプロトコル(IP)ネットワーキングでは、単一のIPサブネットとして1つのLANと知覚することができる(もっともこれは必ずしも真ではない)。LANは、限られた空間で動作することに加えて、通常は、他に幾つかの明確な特徴がある。LANは通常、一人の人間または組織により所有され、制御され、管理される。それらはある特定の接続技術、主としてイーサネット及びトークンリングを使用する。
さらに、例えば、WANは大きな物理的距離をカバーする。インターネットとして実現されるWANは世界の大部分をカバーする。WANは地理上に分散したLANの集合体である。ルーターと呼ぶネットワーク装置がLANをWANに接続する。IPネットワーキングでは、ルーターはLANのアドレスとWANのアドレスの両方を保持する。WANは通常、幾つかの点でLANと異なる。大部分のWANは、インターネットと同様に、1つの組織の所有になるものではなく、集合的または分散的所有または管理下にある。WANは、専用ライン、ケーブルモデム、インターネット、非同期伝達モード(ATM)、フレームリレー、及びX.25のような技術を接続性の確保のために使用する。WANは、州、郡または村のような大きな地理的領域にまたがる。WANは、LANまたはMANのような多数の小さなネットワークを接続するものが多い。今日の世界で最も有名なWANはインターネットである。エクストラネットのようなインターネットの小部分もWANである。WANは一般的に、LANよりも多種多様で高価格のネットワーク機器を利用する。WANで時として見られる技術には、同期光ネットワーク(SONET)、フレームリレー及びATMが含まれる。
サーバー101は、一般的に、ユーザーインターフェイス107、メモリユニット108及びプロセッサ109を有する。メモリユニット108は、一般的に、ソフトウェアアプリケーション112を含む。ユーザーインターフェイス107は、一般的に、出力装置110及び入力装置111を有する。
サーバー101は、限定の意図はないが、コンピュータ、ワークステーション、パソコン、ハンドヘルドコンピュータ、デスクトップコンピュータ、ラップトップコンピュータなどにより実現可能である。サーバー101は、特定の実施例に依り、モバイル、固定式またはモバイルと固定式の間で変換可能なものでよい。サーバー101は、固定式コンピュータであるのが好ましい。
別名中央処理ユニット(CPU)またはコントローラと呼ばれるプロセッサ109は、サーバー101を制御する。プロセッサ109は、種々の周辺装置及びサーバー101のコンポーネントへのデータ転送に用いる、サーバー101の内部または外部の通信パスを介して、命令を実行し、取り出し、転送し、そして復号する。プロセッサ109は、ネットワークガイドラインエスティメータ(NGE)115、ネットワークロードエスティメータ(NLE)116、及び/またはネットワークロードアナライザ(NLA)117、またはサーバー101の外部にあるが通信パス106を介するなどしてプロセッサ109と通信する同じ構成要素115、116、117の各々へのインターフェイスを含む。構成要素115、116、117はそれぞれ、ハードウェア、ソフトウェア及びそれらの組み合わせで利用することができる。各構成要素115、116、117は、さらに詳しく説明するが、同時にまたは異なる時点で、同じまたは異なるネットワーク100においてそれぞれ独立して使用される。
メモリユニット108は、限定の意図はないが、ハードドライブ、リードオンリーメモリ(ROM)、及びランダムアクセスメモリ(RAM)を含む。メモリユニット108のサイズは、特定の用途に応じて、アプリケーション112及び他の全てのプログラム及び保存ニーズに適合する適当な大きさである。別名実行可能なコードまたは実行可能なアプリケーションと呼ばれるアプリケーション112は、WAN上で展開されるアプリケーション特定プロバイダ(ASP)により実行可能なアプリケーションであるのが好ましい。
ユーザーインターフェイス107では、ユーザーは、入力装置111により情報をサーバー101に入力し、出力装置110によりサーバー101から情報を受けることができる。入力装置はキーボードであるのが好ましいが、例えば、タッチスクリーン、音声認識プログラムを有するマイクロフォンでもよい。出力装置はディスプレイ装置であるのが好ましいが、例えば、スピーカーでもよい。出力装置は、入力装置がユーザーから情報を受けるかまたはサーバー101による他のアクションに応答して情報をユーザーに提供する。例えば、ディスプレイは、ユーザーがキーボードによりサーバー101に情報を入力するとそれに応答して情報を表示する。
サーバー101はまた、当業者によく知られた他の構成要素も有するが、限定の意図はないが、それらには、サーバー101によるデータの受信またはサーバー101からのデータの送信を可能にする通信ポートを提供するデータ入力インターフェイス及びデータ出力インターフェイスを含まれる。データ入力インターフェイス及びデータ出力インターフェイスは、双方向通信を可能にする同じインターフェイスかまたは単方向通信を可能にする異なるインターフェイスでよい。データ入力インターフェイス及びデータ出力インターフェイスの例には、限定の意図はないが、パラレルポート及びユニバーサルシリアスバス(USB)のようなシリアルポートが含まれる。各構成要素115、116、117は、これらがサーバー101の外部にある場合は、データ入力インターフェイス及びデータ出力インターフェイスを用いてサーバー101と通信する。
各クライアント/ワークステーション(クライアント)102、103、104は、限定の意図はないが、コンピュータ、ワークステーション、パソコン、ハンドヘルドコンピュータ、デスクトップコンピュータ、ラップトップコンピュータなどにより実現可能である。各クライアント102、103、104は、特定の状況に応じてモバイル、固定式またはモバイルと固定式の間で転換可能なものでよい。各クライアント102、103、104は固定式であるのが好ましい。
通信パス106は、サーバー101を各クライアント102、103、104に電気的に結合する。通信パス106は、有線及び/または無線式か、もしくは固定式及び/またはモバイルサーバー101やクライアント102、103、104に適応するものである。有線通信パスの例には、限定の意図はないが、LAN、専用WAN回路、ATM、フレームリレーが含まれる。無線通信パスの例には、限定の意図はないが、無線LAN、マイクロ波リンク、衛星が含まれる。通信パス106は有線であるのが好ましい。
ネットワーク100は、ソフトウェアアプリケーション112を保存する外部メモリユニット113も含む。外部メモリユニット113は、限定の意図はないが、ハードドライブ、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)のうちの1またはそれ以上を含む。外部メモリユニット113は、特定の用途に応じて、アプリケーション112及び他の全てのプログラム及び保存ニーズに適応する適当なサイズのものである。外部メモリユニット113は、サーバー101及びネットワーク101の特定の使用例に応じて、サーバー101内のメモリユニット108と併用するかまたはその代替手段として使用することができる。
コンピュータにより読み取り可能な製品114、好ましくは、コンピュータにより読み取り可能な記憶媒体は、例えば、ディスク(コンパクトディスクのような)や、メモリユニット108または外部メモリユニット113へ挿入またはダウンロード可能な実行可能なアプリケーション112を含む他の携帯記憶媒体より成る。
図2は、本発明の好ましい実施例に従って、図1に示すようにネットワーク100内で同時並行的に動作する1またはそれ以上のアプリケーション112により使用されるネットワークロードを測定するプロセス200を示す。
方法とも呼ぶプロセス200はステップ201でスタートする。
ステップ202では、図1に示すネットワークガイドラインエスティメータ(NGE)115が、シミュレーションされるネットワークで動作する各ソフトウェアアプリケーションのネットワークロードを予測して各ソフトウェアアプリケーションのネットワークロード計量値を求める。
ネットワーク100上へのアプリケーション112の組み込みは、特にWANについてアプリケーションのネットワーク挙動が適度に特徴付けられる場合に通常、成功と言える。アプリケーションの特性は、それらをシミュレーションまたはテストネットワークとも呼ぶ制御されたネットワーク環境でテストしてアプリケーションのネットワーク挙動をチェックすることにより測定される。このプロセスを、アプリケーションネットワークベースラインプロファイリングと呼ぶ。
アプリケーションネットワークベースラインプロファイリングは、以下の条件を備えた制御されたテスト環境で行うのが好ましい。以下の条件とは、
1.サーバー101及びクライアント102−104が1つのLAN上にある。
2.クライアントがアプリケーション112の機能を実行する時、全てのアプリケーションコンポーネント間のネットワークトラフィックをLAN上の1つのネットワーク場所でみることができる。
3.1つのクライアント(即ち、テストクライアント)がサーバー101を使用中である。
2つのネットワークツールを用いて、アプリケーションネットワークベースラインプロファイリングが行われる。
1.アプリケーションエキスパートTMツールのような従来のサードパーティーソフトウェアツールは、テストクライアントがアプリケーション機能を実行する時アプリケーションのネットワークトラフィックを捕捉する。
2.NGE115は、アプリケーションエキスパートツールからの情報を使用して、アプリケーションのネットワークロード及び待ち時間パラメータ並びにアプリケーションネットワーク挙動をプロファイリングする他の計量値を計算する。
ステップ202の下での以下のテキストは、アプリケーションのネットワークロード特性をプロファイリングするプロセス、アプリケーションのネットワーク待ち時間性能を画定するプロセス及びアプリケーションのネットワークロード特性に応答してWAN上に多数のユーザークライアントを展開させる時のネットワーク容量条件を予測するプロセスを説明する。
以下の説明は以下の定義に関するものである。
1.コンカレントユーザー:任意所与の所定の時間インターバル(例えば1分)の間にアクティブな(即ち、ネットワークトラフィックを発生している)アプリケーションのクライアント。
2.アクティブユーザー:所与の時点にそのアプリケーションにログオンしてそのシステムを普通のペースで使用する(即ち、機能を実行し、オンライン更新及び選択を行い、スクリーン情報のチェック及び評価などを行う)多数のクライアント。
3.展開状態のユーザー:そのアプリケーションをインストールしたクライアント。
4.タスク:特定のタスク(即ち、仕事の1小単位)を行うために実行されるアプリケーションの個々の機能。
5.ワークユニット:そのアプリケーションが実行するよう設計されている仕事の1単位を完了するために実行される一連のタスク。アプリケーションは、一般的に、多くのタイプのワークユニットを有する。
アプリケーションのネットワークロード特性のプロファイリングを行うプロセスを以下に説明する。アプリケーションのネットワークロードの1つの特性はロードファクタである。ロードファクタは、特定のアプリケーションのユーザーがそのアプリケーションの使用中に発生する平均ネットワークロードを計算したものである。ロードファクタは以下の情報を用いて計算される:
1.ユーザーがアプリケーションの使用中に実行可能なワークユニットのリスト。
2.各ワークユニットを構成するタスク(即ち、アプリケーション機能)のリスト。
3.各ワークユニットの使用頻度(この測定または予測が実現できる場合)。
アプリケーションの典型的なワークユニットのうち少なくとも95%は、テストクライアントが各ワークユニットを実行する間に発生されるネットワークトラフィックを捕捉することにより、テストネットワークにおいてテストするのが好ましい。別個の捕捉ファイバーが各ワークユニットにつき保存される。
テストは、従来のサードパーティーソフトウェアツールを用い、制御された実験室環境におけるLANにかかるネットワークロードを測定することを含む。アプリケーションの使用経験がある人(即ち、テストユーザー)は、手動でテストを行い正確な測定値を収集するのが好ましい。あるいは、テストを自動的に行うことができる。熟練したユーザーは、コンピュータ処理時間及びユーザー思考時間を含む予測されるエンドユーザーの大体の速度でワークユニットを実行する、実行されたワークユニットは、ワークユニットのプロファイリングを実行して、合理的なネットワークロードファクタ(LF)及びワークユニットの完了時間(即ち、ワークユニット完了時間)(WCT)を得るために使用される。アプリケーションのネットワークロードファクタ及びワークユニット完了時間もまた、NLE116が、以下に述べるように、WAN上で幾つのワークステーションを展開できるかを予測するために使用する。
アプリケーションがテストされると、各ワークユニットの捕捉ファイル301(図3に関連して後述する)に保存されたネットワークトラフィック情報がNGE115にインポートされる。その後、NGEは、ユーザーがワークユニットを実行する時使用する平均のネットワーク容量(即ち、帯域幅)を特定するアプリケーションのネットワークロードファクタを計算する。ネットワークロードファクタは、アプリケーションのネットワークロードプロフィール及びそれが如何にネットワークフレンドリーであるかに関するものである。
NGE115は、ネットワークロードファクタを用いて、ネットワークの限界またはブレークポイントを特定するある所定のしきい容量に到達する前にネットワークがサポートできる同時並行利用のユーザーの最大数を特定するコンカレンシーファクタ(CF)を求める。例えば、ネットワークの推奨される所定のしきい容量が60%であり、アプリケーションのネットワークロードファクタが2%である場合、コンカレンシーファクタは30(即ち、60%/2%)である。コンカレンシーファクタは、30の同時並行的なユーザーがネットワーク容量の60%を必要とすることを示す。
NGE115は、このコンカレンシーファクタとワークユニット完了時間とを用いて、製品のネットワーク100がサポートできる展開可能なクライアントの総数を予測する。ピーク時間の間収容しなければならない同時並行的なユーザーの数を正確に予測することにより、ネットワークロード情報を用いて製品のネットワーク100の大きさ及び構成を適切に決定することが可能である。
ステップ202に関する以下のテキストは、アプリケーションのネットワーク待ち時間プロフィールを求めるプロセスを説明する。タスクは仕事の小単位であるため、アプリケーションのタスクを実行するユーザーは応答時間に敏感である。例えば、タスクの実行を開始するためにエンターキーを押した後、ユーザーは2秒以内に応答が完了するのを予想するであろう。ユーザーのワークステーション102−104がサーバー101が作動中の同じLAN上にある場合、応答は1秒で返ってくるかもしれない。この時間の大部分はサーバー101とワークステーション102−104の処理時間であろう。この時間の非常に短い部分はLANのネットワーク待ち時間(NL)によるものである。しかしながら、ユーザーのワークステーション102−104がWANによりサーバー101から分離されている場合、ネットワーク待ち時間はかなりの遅延の原因になることがある。アプリケーションの性能特性は、アプリケーションタスクをテストし、NGE115によりアプリケーションのネットワーク待ち時間計量値のプロフィールを求めることによって測定することができる。
ネットワーク応答遅延を構成する待ち時間の3つの成分は、
1.LANまたはWANの速度に起因する挿入または伝送遅延。
2.データがネットワーク上を進行しなければならない距離による決まる伝播遅延。
3.多数のユーザーがネットワークを共用することによる輻輳に起因する遅延である待ち行列遅延である。
アプリケーションのネットワーク待ち時間特性を突き止めるために、従来のサードパーティーソフトウェアツールは、ワークユニットのテスト時に実行されるタスクを個々にテストする。これらのテスト時、発生するネットワークトラフィックはネットワークトレースファイルに捕捉されるが、各タスクに1つのネットワークトレースファイルが存在する。ネットワークトレースファイルはNGE115にインポートされるが、このNGEはアプリケーションの平均ネットワーク待ち時間計量値を与えるパラメータを計算する。NGE115はまた、タスクに固有のネットワーク待ち時間を特定する各タスクの詳細なリストを発生する。
NGE115はまた、NLE116にインポートされる待ち時間パラメータを与えるが、このNLEは別のアプリケーション112と共にネットワーク100を共用する時1つのアプリケーション112に対する湊合効果を予測するために用いられる。以下のパラメータはテストされる全てのテストにわたり平均値である。
1.平均タスクトラフィックサイズ(バイト)。
2.要求/応答対の数の平均数。これらはWANの伝播遅延(即ち、距離)と相互作用するアプリケーションターンと呼ばれる。多数のターンを有する任意のアプリケーションタスクにはネットワーク待ち時間が長いという問題があるが、この時間はWANの帯域幅(速度)を増加しても減少することができない。
3.データをネットワークを介して送るために用いるデータフレームの平均サイズ。
4.アプリケーションワークロード及び予測されるワークステーションの展開。
ステップ202の下の以下のテキストは、別名ワークロードと呼ばれる、WANにわたり多数のクライアントを展開させる時のネットワークの容量条件を予測するためのプロセスを説明する。用語ワークロードは、所定の期間(例えば、1時間)(即ち、ピーク時)に完了するワークユニット(WU)の数のことである。NGE115は、アプリケーションのワークユニット完了時間(WCT)と呼ぶ計量値を計算する。ワークユニット完了時間はテストされる全てのWUの平均値であり、これは、テストされる全てのワークユニットの分散に基づき95%の信頼値に調整される。
1分間のインターバルにそれぞれ平均して1人のアクティブユーザーがいる時の1時間で完了するWUの最大数の平均を予測するには、60分をWCTで割算する。上述したように、コンカレンシーファクタ(CF)の各単位値は任意の1分間インターバルでアクティブな1人のユーザーに等しい。従って、ネットワーク100がその容量しきい値を超える前にサポートできる最大のワークロードはコンカレンシーファクタ(CF)に60分を乗算しWCTで割算した値である。
例えば、WCTが2分であれば、1であるCF値の1時間当たりの最大WUは30である(即ち、60/2)。ネットワークのコンカレンシーファクタ(CF)が10に等しければ、1時間当たり300のWUをサポートできる。製品のネットワークにおけるアプリケーションの供用の問題は、116のWUを発生させるには幾つのワークステーションが必要であるかということであり、これについて以下に述べる。
ステップ202の以下のテキストは、ワークロードに関連する一般的なアプリケーションの分類を説明する。アプリケーションのワークロードを展開されるワークステーションの数に関して決定しようとする時、以下の2つの質問はその助けとなる。
1.そのアプリケーションは如何なる分類に属するか?
2.トップテンのユーザー内のパワーユーザーについて1時間当たりの予想ワークロードはどれほどか?
通常、ユーザーは3つの分類にわけられる:
1.カジュアルユーザー、
2.標準ユーザー、
3.データ入力ユーザー。
アプリケーションユーザーの分類は、パワーユーザー(即ち、分類に属する強力なユーザー)がアプリケーションの実行に費やす1時間当たりの時間の合計により特定することができる。各分類のパワーユーザーの時間の合理的な類別方法は、
1.カジュアル:パワーユーザーは0乃至10分実行する(5分が中間点)。
2.標準:パワーユーザーは10乃至30分実行する(20分が中間点)。
3.データ入力:パワーユーザーは30乃至50分実行する(40分が中間点)。
アプリケーション112及びその使用パターンの目的は、パワーユーザーを特定して控えめな予測を行うことである。1時間当たりパワーユーザーが実行するWUの平均数は、アプリケーションのワークユニット完了時間(WCT)を用いて突き止めることができる。例えば、アプリケーションのパワーユーザーの控えめな値として中間点が特定し、アプリケーションのWCTが2分である場合、
1.カジュアルユーザータイプのアプリケーションでは、パワーユーザーの平均は1時間当たり2.5WUである。
2.標準ユーザータイプのアプリケーションでは、パワーユーザーの平均は1時間当たり10WUである。
3.データ入力ユーザータイプのアプリケーションでは、パワーユーザーの平均は1時間当たり20WUである。
本発明の好ましい実施例において、テストしたアプリケーション112は、標準ユーザークラスの範疇であり、大部分がおおよそ中間点の領域にあり、一部のアプリケーションはそれより低いか高い限界値上にあった。
ステップ202の下での以下のテキストは、ベースワークロードの予測を説明する。パワーユーザーのワークロードが一旦特定されると、ベースワークロード(BWL)と突き止めることができる。BWLは、1時間当たりのWUの数をトップテン(10)のユーザーのワークステーションにつき平均したものと定義される。BWLを用いて、トップテンにさらに別のユーザーのワークステーションが加えられた場合の全ワークロードを予測する。好ましくは、アプリケーションのBWLは顧客に固有のものでなく、そのためチェックが容易でなく、ネットワーク容量必要条件を大きくしたりまたは小さくしたりする危険性がある。
パワーユーザーのワークロードを設定した後BWLを突き止めるには、トップテンのユーザーの全平均ワークロードを予測する。この値を10で割算すると、トップテンのユーザー当たりのWUの平均数であるBWLが得られる。トップテンのユーザーの全平均ワークロードは、パワーユーザーのワークロードに基づき控えめに突き止めることが可能である。全平均ワークロードは以下のようにして求める。
全ワークロード=(10×パワーユーザーのワークロード)/2
例えば、パワーユーザーの平均が1時間当たり10WUであれば、
全ワークロード=(10×10)/2=50WU(1時間当たり)であり、
BWL=50/10=5WU(トップテンのユーザー当たり)
BWLを用いて、トップテンを超えるさらに別のユーザーワークステーションが展開中に全ワークロードを突き止める。BWLのショートカットである公式は、
BWL=パワーユーザーのワークロード/2
ステップ202の下での以下のテキストは、ワークロード及びユーザーワークステーションの展開について説明する。トップテンを超えるさらに別のユーザーがネットワークに加えられると、全ワークロードは非線形的に増加する。通常、トップテンにさらに10人のユーザーを加えてもワークロードは倍にはならない。全ワークロードの控えめな予測の使用は、特定数のワークステーションについてのネットワーク容量必要条件を突き止める際に重要である。LAN上ではこれは通常、問題にならないが、WANでは、LANとWANとの間には大きさの違いがあるため重要な問題となる。本発明の好ましい実施例では、テストされるアプリケーションのBWLはかなり控えめであり、アプリケーションの全てのユーザーに適用可能である。従って、BWLを用いてWANの容量を極めて過大予測したり過小評価したりする蓋然性は低い。
NGE115及びNLE116は共に、以下のように全ワークロードを予測する。
全ワークロード=BWL × AWS/LOG(AWS)
ここで、AWSはアクティブワークステーション(即ち、ログインされたワークステーション)の総数であり、ベースとなる10の機能へのログによりさらに別のユーザーが加わる時の全ワークロードの成長が徐々に減少する。この指数関数は線形的な成長を非常に控えめに修正したものである。
例えば、BWL=5WU(1時間当たり)(これはトップテンのユーザーの平均)であり、またAWS=10であると、
全ワークロード=5×10/LOG(10)または
全ワークロード=5×10/1=50WU(1時間当たり)(即ち、トップテンのユーザーのワークロード)
第2の例では、BWL=5WU(1時間当たり)であり、AWS=20であれば、
全ワークロード=5×20/LOG(20)または
全ワークロード=5×20/1.3=76.9UW(1時間当たり)
第2の例とは対照的に、線形的な成長により1時間当たり100WUとなる。
第3の例では、BWL=5WU(1時間当たり)であり、AWS=200であれば、
全ワークロード=5×200/LOG(200)または
全ワークロード=5×200/2.3=434.8WU(1時間当たり)
第3の例とは対照的に、線形成長による1時間当たり1000WUとなるであろう。
全てのアクティブユーザーにより1時間の時間の間に完了されるワーク時間の総数は、全ワークロードにアプリケーションのWCT(WU完了時間)を乗算し60分で割算した値に等しい。
例えば、上述の200人のユーザーの第3の例では、WCT=2分であれば、
ワーク時間(WH)=434.8×2分/60分=14.5ワーク時間
ネットワークのアプリケーションのコンカレンシーファクタ(CF)が14.5に等しいかそれより大きい場合、そのネットワークはそのしきい容量を超えずにワークロードをサポートすることができる。
ステーション202の下の以下のテキストは、アクティブユーザーの数を予測するプロセスを説明する。全ワークロードの公式は、アクティブユーザーの数(即ち、ログインした状態のユーザー)の数を必要とする。以下の説明は、アクティブユーザーのワークステーションを展開されたワークステーションの総数と如何にして関連付けるかを説明する。好ましくは、以下の所定のアルゴリズムを用いる。展開されたワークステーションが40未満またはそれに等しい場合、アクティブユーザーは展開されたユーザーに等しい。しかしながら、展開されたワークステーションが40より多い場合、アクティブユーザーは徐々に減少する。徐々に減少する必要性は、ログインの数が展開されたワークステーションの増加に対して線形的に増加しないからである。展開されたワークステーションが40多いと、以下の公式が用いられる。
アクティブユーザー=展開されたユーザー×1.6/LOG(展開されたユーザー)
例えば、展開されたユーザーが100に等しい場合、
アクティブユーザー=100×1.6/LOG(100)=100×1.6/2=80(即ち80%)のアクティブユーザーである。
第2の例では、展開されたユーザーが1000に等しい場合、
アクティブユーザー=1000×1.6/LOG(1000)=1000×1.6/3=533(即ち、53%)のアクティブユーザーである。
ステップ202のテストは、アプリケーションを使用するかもしれない予想されるネットワークを表すシミュレーションしたネットワーク環境において行うのが好ましい。アプリケーションのメーカー(または許可されたサードパーティ)は、アプリケーションをコンピュータにより読み取り可能な記憶媒体としてエンドユーザーに出荷または販売する前に、シミュレーションされた製造環境でそのアプリケーションに対するネットワークロードのテストを行うことによりネットワークロード計量値を発生させるのが好ましい。コンピュータにより読み取り可能な記憶媒体は、限定の意図はないが、磁気ディスクまたはテープ、コンピュータリードオンリーメモリのような光ディスク(CDROM)、ハードドライブ及び電話線、インターネット、同軸ケーブル、無線リンクなどのような通信パスを介して送られるデータを含む。予想される製造環境及び予想されるエンドユーザーを考慮すると少数か多数のネットワークロードの計量値が必要であるため、シミュレーションはそれぞれ単純化されたものかまたは複雑なものとなる。多くのネットワークロード計量値を発生させるタスクは、シミュレーションされた各々のネットワーク環境でアプリケーションを物理的に走らせることなくほぼ連続したネットワークロード計量ポイントを与える統計的手法のような種々の分析方法を用いることができる。さらに、多くのネットワークロード計量値は、予め決定されてデータベースに保存されるかまたは入力と出力の変数を有する方程式により予め特徴付けられ、表示することができる。ネットワークロード計量値またはそれらを表す方程式は、アプリケーションのセットアップファイルに組み込むのが好ましい。そうすると、ネットワーク管理者は、実際の製造環境に最も近いシミュレーションされたネットワーク環境のうちの1つのネットワートロード計量値を使用する。あるいは、ネットワーク管理者は、実際の製品のネットワーク環境の特性をセットアップファイルに関連する入力ウィンドウに入力し、セットアッププログラムがエンドユーザーに使用すべき推奨のネットワークロード計量値を与える。
ステップ203では、ネットワークロードエスティメータ(NLE)116は、1またはそれ以上のアプリケーションのうちの各々についてNGE115によりネットワークロード計量値が突き止められるとそれに応答して製品のネットワーク100で同時並行的に作動する1またはそれ以上のアプリケーション112のネットワークロードを予測する。
NLE116は、アプリケーションのネットワークロードファクタ及びワークユニット完了時間を用いてWAN上にどれほど多数のユーザーワークステーションを展開できるかを予測する。NLE116は多数の異なるアプリケーション112の計量値を湊合することにより、2以上のタイプのアプリケーションを展開する時のWANの容量条件を迅速に予測できるようにする。NLE116は、完全なWANトポロジーをサポートし、ネットワークロード及び待ち時間の効果を湊合して、WANを共用する多数のアプリケーションのインパクトを統合する。NLEの入力はNGE115からくるが、これにより、比較的熟練度の低い管理者でも共用される製品のネットワーク環境において多種多様なアプリケーションについて作業することができる。これとは対照的に、NGE115は単一のアプリケーションのネットワークプロファイル特性を特定するだけである。
NLE116の各アプリケーション112は、3つのネットワークロードパラメータを有する。これらのパラメータは、アプリケーション112のプロファイリングプロセスが完了するとNGE115から得られる。3つのパラメータは、
1.所定の(例えば、毎秒128キロビット)のWANにつき特定されたアプリケーションのCF(コンカレンシーファクタ)。
2.アプリケーションのBWL(ベースワークロード)。
3.アプリケーションのWCT(ワークロード完了時間)。
NLE116を初期化するために、管理者はWAN速度を調整し、アプリケーション112を選択し、展開されるワークステーションの数を入力する。NLE116は、上述したアプリケーション112のロードパラメータ及び公式を用いて特定のWAN速度で使用するネットワーク容量を計算する。2以上のアプリケーション112を展開させる場合、NLE116は全てのアプリケーション112により使用される全容量を計算する。
以下のプロセスはNLE計算プロセスを要約したものである。
1.アクティブワークステーションの数を計算する。
展開されるワークステーションが40より多ければ、
AWS=(展開されるワークステーション×1.6)/LOG(展開されるワークステーション)。
2.全ワークロードを計算する。
全ワークロード=BWL × AWS/LOG(AWS)
3.全ワーク時間を計算する。
全ワーク時間=全ワークロード×WCT/60
4.必要なWAN容量(帯域幅使用率)を計算する。
必要な容量=全ワーク時間/CF
必要な容量が1よりも大きければ、高速WANが必要である。
必要な容量が1に等しければ、帯域幅利用率はWANのしきい値にある。
WAN帯域幅利用率=しきい値×必要な容量
例えば、CF=20、全ワーク時間=10、及びWANしきい値=60%であれば、WAN帯域幅使用率=0.5×60%=30%。
ステップ202及び203は協働して、ネットワークロードを予測するシステム101を作動させる方法を説明する。ステップ101は、図3に示すようにNGE115及びNLE116を含む。NGE115は、シミュレーションされるネットワーク100で作動する各ソフトウェアアプリケーション112のネットワークロードを分析して、各ソフトウェアアプリケーション112のネットワークロード計量値を求める。NLE116は、ネットワーク100で同時並行的に作動する1またはそれ以上のソフトウェアアプリケーション112のネットワークロードを各ソフトウェアアプリケーション112のネットワークロード計量値に応答して予測する。
NGE115は、ソフトウェアアプリケーション112のメーカーがNGE115による分析を行う時のようにシミュレーションされるネットワークで作動させながら、各ソフトウェアアプリケーション112のネットワークロードを分析する。メーカーのケースでは、各ソフトウェアアプリケーション112のネットワークロード計量値は、有利なことに、ソフトウェアアプリケーション112の購入者が購入する時ソフトウェアアプリケーション112と共に購入者に与えられる。
NGE115の視点から、このNGE115はプロセッサ109(NGE115、NLE116及びNLA117を用いる)の内部で実行されて、ネットワーク100で作動する各ソフトウェアアプリケーション112のネットワークロードを予測することにより、各ソフトウェアアプリケーション112のネットワークロード計量値を求める。ネットワークロード計量値は、NLE116が、ネットワーク100で同時並行的に作動する1またはそれ以上のソフトウェアアプリケーション112のネットワーク容量を各ソフトウェアアプリケーション112のネットワークロード計量値に応答して予測するために使用する。
NLE116の視点から、このNLE116はプロセッサ109内で実行されて、各ソフトウェアアプリケーション112の所定のネットワークロード計量値に応答してネットワーク100で同時並行的に作動する1またはそれ以上のソフトウェアアプリケーション112のネットワーク容量を予測する。所定のネットワークロード計量値は、ネットワーク100で作動する各ソフトウェアアプリケーション112のネットワークロードを表す。
コンピュータで読み取り可能な記憶媒体114の視点から、この媒体114は、実行可能なアプリケーションとネットワークロード計量値を表すデータとを含む。実行可能なアプリケーションはネットワーク100で作動されるものである。実行可能なアプリケーション112に関連するネットワークロード計量値を表すデータは、ネットワーク100で作動する実行可能なアプリケーション112のネットワークロード表示値を求めるにあたり使用可能である。ネットワークロード計量値は、NLE116が、ネットワークロード計量値に応答してネットワーク100で同時並行的に作動する1またはそれ以上の実行可能なアプリケーション112のネットワーク容量を予測するために使用するようになっている。
ネットワークロード計量値は、好ましくは、(a)アプリケーションを用いてある時間インターバルで転送される予想平均バイト数、(b)アプリケーションを用いてある時間インターバルで転送される予想最大バイト数、(c)アプリケーションを用いてある時間インターバルで転送させる予想最小バイト数、(d)クライアントの平均ネットワークロードファクタ、(e)平均データパケットサイズ、(f)アプリケーショントランザクションにおける要求/応答対の平均数、及び(g)アプリケーショントランザクション実行時にクライアントと少なくとも1つのサーバーとの間で転送される平均バイト数、のうちの少なくとも1つを含む。平均値は、特定の信頼レベルに調整された中央値、算術平均値、または算術平均のことを言う。最後のタイプは、平均値を計算する際のサンプルの分散度にかかわる。平均値は、サンプルの分散度が大きく、そして/または信頼度が高い(例えば95%+)である場合増加する。
ステップ204では、ネットワークロードアナライザ(NLA)117は、製品のネットワーク100で作動する1またはそれ以上のアプリケーションのネットワークロードを分析して、その1またはそれ以上のアプリケーションの実際のネットワークロードを測定する。NGE115及びNLE116は共にネットワークロードの予想値を与えるため、NLA117は、実際のネットワークロードを測定して、ネットワークロードの予想値が正確であるか否か判定する。NLA117は、ネットワーク100の状態が実質的に変化すればかならず知らせるのが好ましい。
ステップ205では、ステップ204で測定する実際のネットワークロードがステップ202または203で求めるネットワークロードの予測値にマッチするか否かが判定される。ステップ205の判定がイエスであれば、プロセス200はプロセス207へ進むが、そうでなくて、ステップ205の判定がノーであれば、プロセス200はステップ206へ進む。ステップ205の判定は手動で行うのが好ましいが、所望により自動的に行ってもよい。
ステップ206では、ステップ202または203のネットワークロードの予測値を修正する。ステップ206の判定は手動で行うのが好ましいが、所望なら自動的に行ってもよい。各製品のネットワークのNLE116を用いたネットワークロードの予測値は、NLA117により測定される実際のネットワークロードに応答して修正される。しかしながら、個々の製品のネットワークにはばらつきがあるため、多数の製品のネットワークからのNLA117は実際のネットワークロード測定値に応答するシミュレーションされたネットワークに基づくNGE115を用いてネットワークロードの予測値を修正する。
ステップ207でプロセスは修正を行う。
図3は、本発明の好ましい実施例による、図1のテストネットワーク100のアプリケーションベースラインプロフィールのタイミング図300である。このタイミング図300は、一般的に、ワークユニット(WU)ネットワークトレースファイル301、タスクネットワークトレースファイル302、及びワークユニット(WU)フロー303を含む。用語トレースファイルはトラフィックファイルとも呼ばれる。
ワークユニット(WU)ネットワークトレースファイル301は、別名ワークユニット(WU)完了時間と呼ばれる持続時間304(例えば、2分)を有し、開始時間305(例えば、時間(T)=0秒)と終了時間(例えば、時間(T)=120秒)とを含む。
ワークユニット(WU)フロー303は、複数の個々のタスク(例えば、タスク1 307、タスク2 308、タスク3 309及びタスク4 310)を含み、ユーザータイピング時間及び思考時間311、312、313として表されるユーザーアクションが隣接するタスクを分離する(例えば、時間311はタスク1 307とタスク2 308とを分離する)。ワークユニット(WU)303はアプリケーション112の1つの機能を表す。従って、ワークステーションにおいてアプリケーション112を使用するユーザーは多数のワークユニット(WU)フロー303を実行する。
ワークユニット(WU)フロー303では、各タスクのサイズはタスクのタイプに応じて異なる(例えば、タスク1 307は10キロバイト、タスク2 308は20キロバイト、タスク3 309は5キロバイト、タスク4 310は30キロバイトである)。ワークユニット(WU)フロー303については、ワークユニットネットワークトレースファイル301は、2分の持続時間の間に、ワークステーション102−104とサーバー101との間で65キロバイト(即ち、10+20+5+30)の全データトラフィックを捕捉する。
ワークユニット(WU)303では、ユーザーの各タイピング時間及び思考時間の持続時間も、必要とされる時間の長さにより異なる。各タスクは、タスクをスタートさせる開始時と、タスクの終了時点を表す終了時を表す。タスクの開始時と終了時の間の持続時間はそのタスクの応答時間を表す。タスクの開始は前のユーザーのタイピング時間及び思考時間の終了時にスタートし、タスクの終了は次のユーザーのタイピング時間及び思考時間の開始時に停止する。
各ワークユニットネットワークトレースファイル301は、図1に示すようなネットワークの物理的構成に対応する決まったフォーマットを持つのが好ましい。例えば、ネットワークの物理的構成は、通信パス106を介してデータトラフィックを転送する3つの異なるコンピュータ装置を備えており、それらには、1)クライアントワークステーション(CW)102−104、2)ビジネス論理ソフトウェアを走らせるアプリケーションサーバー(AS)101、及び3)アプリケーションのデータを保存するデータベース(DB)113を含む。この物理的構成には2つのトラフィックフローがあるのが好ましく、これらは、クライアントワークステーション102−104からアプリケーションサーバー101への第1のフローと、アプリケーションサーバー101からデータベース113への第2のフローとを含む。
図1に示すネットワークの物理的構成に対応するワークユニットネットワークトレースファイル301のフォーマットを表1において説明する。
Figure 2005521359
表1では、欄1に示すワークユニット(WU)名、及び欄2及び3に示すノード1及びノード2の名前は、ワークユニットネットワークトレースファイル301がスタートする前に決定される。ワークユニットネットワークトレースファイル301は、最後の4つの欄(即ち、欄4、5、6、7)のデータを捕捉し記録する。例えば、欄1に示すワークユニット(WU)名、ABCは2つのトラフィックフローを有し、各トラフィックフローは各方向において送られるデータ量を含む。例えば、欄4のノード1のバイトサイズのフィールドは、クライアントワークステーション(CW)102−104が2000バイトをアプリケーションサーバー(AS)101に転送したこと、またアプリケーションサーバー(AS)101が5000バイトをデータベース(DB)113に転送したことを示す。同様に、例えば、欄5に示すノード2のバイトサイズのフィールドは、アプリケーションサーバー(AS)101が8000バイトをクライアントワークステーション(CW)102−104へ転送したこと、またデータベース(DB)113が12000バイトをアプリケーションサーバー(AS)101に転送したことを示す。欄6に示すワークユニット(WU)完了時間の測定値304は、開始305から終了306までのワークユニットのフロー303の実行にかかった全時間である。欄7に示すタスク数は、ワークユニットフロー303を完了するために実行されたアプリケーションタスクの数を特定する。NGE115は、これ4つの欄(即ち、欄4、5、6、7)からの記憶された情報を用いてタスク分析の妥当性をチェックする。
表1は、オプションとして、各プラットフォーム対の間で転送されたバイトサイズに対応するフレーム総数及び/またはワークユニットフロー303の総数を含んでもよい。
タスクネットワークトレースファイル302は複数の個々のネットワークトレースファイルを含み、各ネットワークトレースファイルは各タスクに対応する。例えば、ネットワークトレースファイル314、315、316、317はそれぞれタスク1 307、タスク2 308、タスク3 309、タスク4 310に対応する。タスクネットワークトレースファイル302は、各タスクの実行開始時間から各タスクの実行終了時間まで(即ち、タスクの応答時間)の個々のタスクに関連するデータトラフィックを捕捉する。図3において、4つのタスクネットワークトレースファイル302はタスクレベルでワークユニットを画定する。従って、完全なワークユニットネットワークトレースファイル301にはそれぞれネットワークトレースファイル302のセットが関連する。
図1に示すネットワークの物理的構成に対応するタスクネットワークトレースファイル302のフォーマットを表2に示す。
Figure 2005521359
表2において、欄1のフィールドは実行中のタスクの名前を表し、これは表1の欄1の実行中のワークユニット(WU)に匹敵するものである。
表2の欄2乃至5は、表1の欄2乃至5と同じフィールドを表す。例えば、欄4のノード1のバイトサイズのフィールドはクライアントワークステーション(CW)102−104がアプリケーションサーバー(AS)101へ500バイトを転送すること、また、アプリケーションサーバー(AS)101が4000バイトをデータベース(DB)113に転送することを示す。同様に、例えば、欄5に示すノード2のバイトサイズのフィールドは、アプリケーションサーバー(AS)101が4000バイトをクライアントワークステーション(CW)102−104に転送し、また、データベース(DB)113が8000バイトをアプリケーションサーバー(AS)101に転送することを示す。
欄6及び7に示すノード1のフレーム及びノード2のフレームは、欄4及び5に示すノード1のバイトサイズ及びノード2のバイトサイズの下で記憶される対応データを転送するに必要なネットワークデータフレームの数を表す捕捉された情報を提供する。例えば、欄6のノード1のフレームのフィールドは、クライアントワークステーション(CW)102−104からアプリケーションサーバー(AS)101へ500バイトを転送するには5つのフレームが必要であったこと、またアプリケーションサーバー(AS)101からデータベース(DB)113へ4000バイト転送するには3つのフォームが必要であったことを示す。同様に、例えば、欄7に示すノード2のフレームフィールドはアプリケーションサーバー(AS)101からクライアントワークステーション(CW)102−104へ4000バイトを転送するには10個のフレームが必要であったこと、またデータベース(DB)113からアプリケーションサーバー(AS)101に8000バイトを転送するには18個のフレームが必要であったことを示す。
欄8に示すターン数のフィールドは、特定のバイトサイズのデータを転送するためにノード1及びノード2に使用される要求/応答対の数を表す捕捉された情報を与える。
欄9に示すタスク応答時間の測定値は、タスクの実行時からタスクの完了時までの測定時間である。
表2は、オプションとして、タスクの総数を示す欄を含むことができる。
図4は、本発明の好ましい実施例に従って図3のタイミング図を用いてアプリケーションベースラインプロフィールを求める方法400を示す。このアプリケーションベースラインプロフィールは、一般的に、ワークユニットトレースファイル301とタスクネットワークトレースファイル302とを有する。ネットワークガイドラインエスティメータ(NGE)115は、ファイル301を使用してアプリケーション112のネットワークロード計量値を求める。
ステップ401で方法400がスタートする。
ステップ402では、アプリケーション112の種々の機能が自動的に及び/または手動により特定される。アプリケーション112の機能に詳しい人は、手動でステップ402を実行するのが好ましい。特定した機能は、アプリケーション112により実行される典型的な機能を表す。
ステップ403では、各機能のワークユニットフロー303を形成する一連の個々のタスク307−310が手動で及び/または自動的に特定される。アプリケーション112の機能に詳しい人間は、手動でステップ403を実行するのが好ましい。例えば、病院管理アプリケーションは、患者を病院に入院させるための1またはそれ以上のワークユニットフロー304を有する。
ステップ404では、ネットワークトレースファイルソフトウェアプログラムが自動的に及び/または手動で開始される。ネットワークトレースフィイルソフトウェアプログラムは、ステップ404を自動的に実行するのが好ましい。ネットワークトレースファイルプログラムは、例えば、Compuware社のアプリケーションエキスパートのような従来のサードパーティーソフトウェアツールである。
ステップ405では、テストネットワーク100においてアプリケーション112を使用するワークユニットフロー303が、自動的に及び/または手動で実行される。アプリケーション112の機能に詳しく、ワークステーション102−104でそのアプリケーションの典型的なユーザーとして働く人は、ステップ405を手動で実行するのが好ましい。テストネットワーク100における各ワークユニットフロー303のその人による実行は、製品のネットワークにおけるアプリケーション112の製品ユーザーの実行を表す。例えば、病院の入院係を見習う人は平均数の分が経過する間患者入院プロセスを完了するために一連のタスクを実行する。
ステップ406では、ネットワークトレースファイフソフトウェアプログラムは、自動的に及び/または手動で、各ワークユニットフロー303のワークユニット(WU)ネットワークトレースフィイル301を捕捉する。ネットワークトレースファイルソフトウェアプログラムは、ステップ406を自動的に実行するのが好ましい。ワークユニットネットワークトレースファイル301は、本来、ユーザーの思考時間及びタイプ時間を含むユーザーが実行する全てのアクションの完全なプロフィールを含む。全てのワークユニットフロー303を合計すると、NGE115にはアプリケーションのネットワークロードプロフィールを決定するデータが提供される。アプリケーションのネットワークロードプロフィールは、アプリケーションのネットワーク容量必要条件を計量したものである。
ステップ407では、ネットワークトレースファイルソフトウェアプログラムが、自動的に及び/または手動で、各タスク307−310のタスクネットワークトレースファイル302を捕捉する。ネットワークトレースファイルソフトウェアプログラムは、ステップ407を自動的に実行するのが好ましい。タスクネットワークトレースファイル302は、NGE115にアプリケーション112のタスク平均計量値を予測するためのデータを与える。プロセッサ109は、タスク平均計量値を用いて個々のタスクの平均ネットワーク待ち時間及び特定ネットワーク待ち時間を求める。これらの計量値は、アプリケーションのベースライン性能プロフィールを突き止めるのに役立つ。
ステップ408では、ネットワークトレースファイルソフトウェアプログラムは自動的に及び/または手動で停止する。ネットワークトレースファイルソフトウェアプログラムは、ステップ408を自動的に実行するのが好ましい。
ステップ409では、アプリケーション112の特定した機能全てが自動的に及び/または手動で行われたかが判定される。ステップ409の判定結果がイエスであれば、方法はステップ410へ進み、ステップ409の判定結果がノーであれば、方法はステップ411へ進む。アプリケーション112の機能に詳しい人はステップ409を手動で行うのが好ましい。
ステップ410では、ワークユニットトレースファイル301及びタスクネットワークトレースファイル302が、自動的に及び/または手動でネットワークガイドラインエスティメータ(NGE)115へ与えられる。NGE115へ与えられるワークユニットトレースファイル301及びタスクネットワークトレースファイル302の接続は手動で行うのが好ましい。しかしながら、一旦接続されると、ワークユニットトレースファイル301及びタスクネットワークトレースファイル302は電子通信プロトコルを用いてNGE115へ自動的に転送される。
ステップ411では、アプリケーション112の特定された別の機能が自動的及び/または手動で選択される。アプリケーション112の機能に詳しい人が、ステップ409を手動で実行するのが好ましい。方法400は、特定された機能が全て実行され、対応するファイルが捕捉されるまで継続する。ステップ411では、方法400はステップ404へ戻り、ネットワークトレースファイルソフトウェアプログラムが再びスタートする。
上述したように、ステップ406及び407を除く方法400の各ステップは、アプリケーション112のタイプ、構成及び機能としてのかかるエンジニアリング、ビジネス、技術的ファクタと、テストすべきアプリケーション112の数と、テストを自動化するコストと、方法を手動で実行するコストと、手動テストの信頼性などに応じて、手動及び/または自動的に行われる。方法400の目的及び動作に詳しい人は、手動で操作する。方法400を実行するようプログラムされたコンピュータのソフトウェアプログラムは、自動動作を行う。人間とコンピュータのソフトウェアプログラムとの組み合わせも、この方法400を手動と自動のそれぞれの動作の組み合わせで実行することができる
ステップ412で、方法400は終了する。
図5は、本発明の好ましい実施例による図1のネットワークガイドラインエスティメータ(NGE)115の論理図である。NGE115は、一般的に、プロセッサ109に電気的に結合され、ワークユニット(WU)ネットワークトレースファイル301及びタスクネットワークトレースファイル302を受けるユーザーインターフェイス107を含む。プロセッサ109は別名分析エンジンと呼ぶこともある。
ユーザーインターフェイス107は、一般的に、アプリケーションデータ入力ウィンドウ501と、結果ウィンドウ502とを有する。アプリケーションデータ入力ウィンドウ501は、ワークユニットの入力インターフェイス503と、タスク入力インターフェイス504と、ディスプレイ制御506を有するディスプレイ505と、ワークユニット(WU)の使用頻度制御ユニット507と、多数のワークユニット(WU)508と、多数のタスク509とを含む。結果ウィンドウ502は、ロードファクタ制御入力510と、ネットワーク待ち時間制御入力511と、WANロードファクタ512と、LANロードファクタ513と、タスク当りネットワーク待ち時間パラメータ514と、平均タスクネットワーク待ち時間パラメータ515と、平均タスクネットワーク待ち時間計量値516とを含む。
プロセッサ109は、ワークユニット入力インターフェイス503及びタスク入力インターフェイス504を介してネットワークトレースファイルソフトウェアプログラムからそれぞれワークユニット(WU)ネットワークトレースファイル301と、タスクネットワークトレースファイル302とを受ける。プロセッサ109は、ディスプレイ506上に提示するために、ワークユニット(WU)ネットワークトレースファイル301と、タスクネットワークトレースファイル302とを受けるとそれに応答してワークユニット(WU)508の数と、タスク509の数とを突き止める。プロセッサ109は、ワークユニット(WU)使用頻度制御入力507を受ける。
プロセッサ109は、ディスプレイ506上に提示するために、ロードファクタ制御入力510及びネットワーク待ち時間制御入力511を受けるとそれらに応答して、ロードファクタ計量値及びネットワーク待ち時間計量値を含む出力データの2つの主要なグループを発生する。ロードファクタ計量値は、WANロードファクタ512と、LANロードファクタ513とを含む。ネットワーク待ち時間計量値は、タスク当りネットワーク待ち時間パラメータ514と、平均タスクネットワーク待ち時間パラメータ513と、平均タスクネットワーク待ち時間計量値516とを含む。ロードファクタ計量値及びネットワーク待ち時間計量値は、ネットワーク帯域幅容量及びネットワーク性能能力を含むそのアプリケーションの2つのネットワーク特性を特定するのに役立つ。これらの値は、ワークユニット(WU)トレースファイル301及びタスクネットワークトレースファイル302の平均値を計算したものである。
図6は、本発明の好ましい実施例に従って、図1のネットワークガイドラインエスティメータ(NGE)115を用いて図1のテストネットワーク100で作動するアプリケーション112のネットワークロードを予測する方法600を示す。
ステップ601で、方法600がスタートする。
ステップ602では、NGE115は、ネットワークトレースファイルソフトウェアプログラムからワークユニットネットワークトレースファイル301とタスクネットワークトレースファイル302とを受ける。
ステップ603では、NGE115は、好ましくはアプリケーションデータ入力ウィンドウ501内の出力装置110を用いてワークユニット508の数とタスク509の数とを表示する。表示制御506により、NGE115を動作させるネットワークアナリストはアプリケーションデータ入力ウィンドウ500内のワークユニット508及び/またはタスク509をチェックすることができる。
ステップ604では、NGE115は、ワークユニットネットワークトレースファイル301を受けるとそれに応答してアプリケーション112のネットワークロードを予測することにより、アプリケーション112のネットワークロード計量値を求める。ステップ604の詳細例を以下のテキストで説明する。
アナリストは、何れのアプリケーショントラフィックフローがネットワークを介して転送するために分析されるかを特定する。例えば、NGEを用いて、WANまたはLANを介するクライアントワークステップ(CW)を作動させるためにアプリケーションのベースラインプロフィールを求めることができる。NGE115は、デフォルトで全てのトラフィックフローのLANネットワークロード分析を行うのが好ましい。
図5に示すような結果ウィンドウ502内のロードファクタ制御510は、ワークユニットネットワークトレースファイル301に特定された適当な名前を入力することによりWAN上を走るアプリケーションデバイスを特定する。WAN帯域幅(即ち、データレート)も、WANデータレートのリストから選択される。ユーザーはまた、WAN及びLANの帯域幅デフォルト値を選択するか使用することができる。WAN及びLANの帯域幅デフォルト値は60%であるのが好ましい。これらの帯域幅デフォルト値及びロードファクタ予測値は、平均60%のWANまたはLAN帯域幅を消費する同時並行動作のクライアントワークステーション102−104の数を特定するために使用される。LANの帯域幅許容値(ABW)は20%に設定される。
図5に示すようなアプリケーションデータ入力ウィンドウ501内のワークユニット(WU)使用頻度制御507は、NGE115が平均ロードファクタ(LF)及び平均ワークユニット完了時間(WTC)を計算する時、ワークユニット(WU)のセットをいかに重み付けするかを特定する。デフォルトの重み付け方法は均等重み付け方法であるのが好ましい。選択がなされると、NGE115は、WANディスプレイ512及びLANディスプレイ513内に図5に示すような以下の4つのネットワークロード計量値を含む結果ウィンドウ502を表示する。
1.ロードファクタ(LF)。この計量値は、1人のユーザーがアプリケーションワークユニットフロー303をアクティブに実行している時、アプリケーションプラットフォーム(クライアントワークステーション、データベースサーバーなど)により使用されるネットワーク帯域幅の大きさを特定する。NGE115は、LANを使用するアプリケーションプラットフォームの1つのロードファクタ計量値と、WANを使用するアプリケーションプラットフォームの1つの値とを、各アプリケーションプラットフォームについて計算する。クライアントワークステーション102−104は、通常はWANを使用するものとして特定される。ネットワークの平均帯域幅は、タスクの平均値、分散度及びタスクの数を用いて計算される。
2.コンカレンシーファクタ(CS)。この計量値は、ネットワークの利用可能な帯域幅を消費する同時並行動作のユーザー数を特定する。この計量値はロードファクタ(LF)及び許容帯域幅(ABW)と関連がある。NGE115はLFをABWに分割することによりCFを計算する。
3.ワークユニット完了時間(WCT)。この計量値は、ワークユニットの実行の完了に要する平均時間である。
4.ワークロード(WL)。この計量値は、所定の許容帯域幅(ABW)を超えずに所定の時間(例えば、1時間)の間に実行可能なワークユニットの平均数を特定する。60分をワークユニット完了時間で割算し、その結果にコンカレンシーファクタを乗算すると、ワークロードが得られる。
ネットワークの物理的構成は、以下の3つのタイプの装置を含む。
1.クライアントワークステーション(CW)。ユーザーは、クライアントワークステーション102−104上でワークユニットを実行する。
2.アプリケーションサーバー(AS)。アプリケーションサーバー101は、クライアントワークステーションの要求を処理するためにアプリケーションのコードを走らせる。
3.データベース(DB)。データベース113は、ワークユニットの実行時にそのデータをアプリケーションサーバー101へ与える。
装置間のトラフィックフローは以下の通りである。
CW←WAN→AS←LAN→DB
好ましくは、WAN及びLANのビットレート(即ち、帯域幅)は以下の通りである。
1.WANは毎秒128,000ビットのビットレートを有する。
2.LANはCWからASへ毎秒100,000,000ビットのビットレートを有する。
3.LANは、ASからDBへ毎秒100,000,000ビットのビットレートを有する。
ワークユニットトレースファイル301の分析に基づき、NGE115はWANについて以下の分析を行う。
1.CWのWAN LF=2%。これは、単一のクライアントステーション102−104がアプリケーションのワークユニットフロー303をアクティブに実行している時にWAN容量の2%を消費することを示す。
2.CWのWAN CF=30で、ABWは60%。これは、30のクライアントワークステーション102−104がワークユニットフロー303をアクティブに実行している時にWANのロードは平均60%であることを示す。
3.WCT=2分。これは、ワークユニットフロー303を完了するための平均時間である。NGE115は、ワークユニットトレースファイル301から受ける情報を用いてこの値を計算する。
4.WANのWL=900。これは、WANが60%のロードで1時間当たり900のワークユニットの実行をサポートすることを示す。
図5に示すWANディスプレイ512のディスプレイ出力の好ましいフォーマットを表3に詳示する。
Figure 2005521359
ワークユニットトレースファイル301の分析に基づき、NGE301はLANにつき以下の分析を行う。
1.CWのLAN LF=0.03%。
2.CWのLAN CF=667、ABWは20%。
3.AS/DB LAN LF=0.01%。
4.AS/DB LAN CF=6000、ABWは60%。
5.WCT=2分。
6.CWのLANのWL=20,010。
7.AS/DB LANのWL=180,000。
図5に示すLANディスプレイ513の表示出力の好ましいフォーマットを表4に示す。
Figure 2005521359
ステップ605では、NGE115は、タスクネットワークトレースファイル305を受けるとそれに応答してアプリケーション112の性能を予測することにより、アプリケーション112のネットワーク性能パラメータを突き止める。ステップ605の詳細例を以下のテキストにおいて説明する。
NGE115は、タスクネットワークトレースファイル302を用いてアプリケーション112の性能計量値を計算する。タスク分析計量値及び計算計量値だけを性能が主要な問題であるWANに適用するのが好ましい。NGE115は、WANを介してトラフィックを転送するアプリケーション装置、代表的にはクライアントワークステーション102−104の平均タスク計量値を計算する。NGE115は、ネットワークロード分析時に適用されるWAN構成を用いてアプリケーション112の性能を分析する。
図5に示すような平均タスクネットワーク待ち時間パラメータディスプレイ515は、タスクネットワークトレースファイル302のNGEの分析結果を表示する。平均タスクネットワーク待ち時間パラメータは、全てのタスクネットワークトレースファイル302の平均値を特定する。平均タスクネットワーク待ち時間パラメータは、タスクの平均値、分散度及び数を用いて計算するのが好ましい。平均タスク待ち時間パラメータは、好ましくは、WAN上のアプリケーションの性能に関係がある。NGE115は、ステップ604で述べたネットワークロード分析がスタートするや否や平均タスクネットワーク待ち時間パラメータを表示する。
NGE115は、タスクネットワークロードファクタをワークユニットトレースファイル301を用いて計算したロードファクタと比較することにより平均タスクネットワーク待ち時間パラメータの妥当性をチェックする。NGE115は、最初にタスクネットワークトレースファイル302に基づき平均タスクサイズを予測することにより、この比較を行う。平均タスクサイズは、NGEにより与えられステップ604で説明したネットワークロード分析時に抽出される1分間当たりに実行されるタスクの平均数を乗算される。1分間当たりのタスクの平均数はNGE115により設定されるが、これはワークユニットトレースファイル301に基づくものである。タスクロードファクタがワークユニットに基づくロードファクタの95%以内であれば、タスク分析は妥当または受け入れ可能と考えられる。NGE115は、タスクネットワークトレースファイル302がワークユニットネットワーク301と一致しない時はタスク分析が無効であると判定する。NGE115からの無効の指示は、アプリケーションベースラインプロフィールテスト時に捕捉されたタスクネットワークトレースファイル302が不正確であったということを意味する。この場合、タスクネットワークトレースファイル302は有効な条件の下で再び走らせる必要があるであろう。しかしながら、NGEアナリストはエラーの度合いを予測するために95%の比較値を無視し、大きなエラーを受け入れてNGE115が性能パラメータを発生できるようにする方を選ぶ。
タスク分析に関する性能パラメータは以下のようにして与えられる。
1.平均タスクサイズ。このパラメータは、クライアントワークステーション102−104がタスクを実行する時WAN上を転送されるデータバイトの平均数を表す。このサイズは各通信方向につき表示される。このパラメータは、ネットワーク待ち時間の平均WAN挿入遅延成分を予測するために使用される。
2.ターンの平均数。このパラメーターは、タスクを実行する時クライアントワークステーションとサーバーとの間で交換される要求/応答対の平均数を表す。このパラメータは、ネットワーク待ち時間のWAN伝播遅延成分及びタスクネットワーク待ち時間へのその寄与を突き止めるために有利である。
3.データフレームの平均数。このパラメータは、平均タスクサイズにより特定されるタスクのデータを転送するのに必要なネットワークデータフレームの数を表す。このパラメータは、ネットワーク待ち時間のWAN待ち行列遅延成分を予測するために使用される。
4.平均ベース応答時間。このパラメータは、タスクネットワークトレースファイル302がアプリケーションプロフィールテスト時に捕捉された時にタスクを完了するための平均時間を表す。このパラメータは、主として、アプリケーションハードウェアコンポーネントの処理遅延に関係がある。クライアントワークステーション102−104がWAN上で動作する時の全応答時間は、このパラメータをNGEのネットワーク待ち時間予測値に加算することにより予測される。
これら4つの性能パラメータは、以下に述べるように、アプリケーションの平均タスクネットワーク待ち時間計量値を計算するために使用される。
図5に示すような平均タスクネットワーク待ち時間パラメータディスプレイ515の好ましいフォーマットを表5に示す。
Figure 2005521359
図5に示すような結果ウィンドウ502内のネットワーク待ち時間制御511は、図5に示すディスプレイ516内の平均タスクネットワーク待ち時間計量値を発生させるためにネットワーク待ち時間分析のために使用されるWANの状態を特定する。NGE115は、以下のWANの状態に応答してアプリケーションのネットワーク性能プロフィールを突き止めるために平均タスクネットワーク待ち時間計量値の分析を制御する。
1.平均ネットワーク待ち時間分析及び計量値のためのWAN帯域幅。ユーザーは、両通信方向の帯域幅の値を1秒当たりのキロビットで入力する。
2.WANの距離(マイル)。
3.WANのバックグラウンドロード。WAN上の他のユーザー活動を表すために使用されるWAN容量のパーセント(即ち、未知のアプリケーションにより消費される帯域幅)。この値は60%に設定するのが好ましい。
4.WANのタイプ(例えば、専用線、ダイヤルアップ、フレームリレー、ATMなど)。図5に示すような平均タスクネットワーク待ち時間計量値ディスプレイ516の好ましいフォーマットを表6に示す。
Figure 2005521359
表6において、アプリケーションのベース応答時間に加算されるネットワークの応答時間は、アプリケーションの平均タスクの全応答時間の平均に等しい。
NGE115は、ネットワーク待ち時間制御511を用いて、図5のディスプレイ514に示すようにタスク当りの性能分析を行い、分析レポートのためのWANの状態をセットアップする。タスク当りの性能分析は、上述した平均ネットワーク性能分析と同じWANの状態を用いる。しかしながら、タスク当りの性能分析は、どの程度高いWAN帯域幅を実行するかを容易に比較できるようにするために多数のWAN帯域幅を使用しても良い。
NGEは、タスク当りネットワークパラメータを求めるためにタスクネットワークトレースファイル302から受ける特定のタスク毎にネットワーク待ち時間計量値及びタスクパラメータを計算する。ユーザーは、タスク当りディスプレイ514の分析結果をスクロールすることにより、タスク当りディスプレイ514を用いて任意特定のタスクの性能をチェックすることができる。ユーザーはまた、全てのタスクが結果のフォーマットされたものをプリントアウトすることが可能である。
図5に示すようなタスク当りネットワーク待ち時間ディスプレイ514の好ましいフォーマットを表7に示す。
Figure 2005521359
表7において、小さい待ち時間(LL)フィールドは、小さい伝播遅延(例えば、0%のWANバックグラウンドロードで50マイル)を表す。大きい待ち時間(HL)フィールドは、大きい伝播遅延(例えば、60%のWANバックグラウンドロードで3000マイル)を表す。全応答時間(RT)フィールドは、大きい待ち時間(HL)ネットワーク待ち時間にベース応答時間(RT)が加えられたタスクの応答時間を表す。表7は、高速帯域幅が好ましい場合に2つの帯域幅間の比較を可能にするために2つのWAN帯域幅が分析されることを示す。
好ましくは、ネットワーク待ち時間制御を用いて、NGE115のユーザーにより入力される所定の値だけ平均ネットワーク待ち時間を超える大きい待ち時間(HL)を有するタスクだけを表示することができる。このようにネットワーク待ち時間制御を用いると、有利なことに、ユーザーはWAN上で作動している時性能を抑止しかねないタスクを特定することができる。
ステップ606で、方法600は終了する。
本発明の好ましい実施例を要約すると、ネットワークガイドラインエスティメータ(NGE)115は、各アプリケーション112のベースラインプロフィールテストに応答してテストネットワーク101で作動する各アプリケーション112のネットワークロード計量値及び性能パラメータを予測する。NGE115は、アプリケーションのベースラインプロフィールを確立する効率のよい方法を提供する。アプリケーションベースラインプロフィールテスト400は、テストネットワークを評価しながらワークフローネットワークトレースファイル301とタスクネットワークトレースファイル302とを捕捉することを含む。ファイル301及び302は、従来のサードパーティー探知ツールを用いるか種々の他の従来の方法を使用することにより捕捉することが可能である。NGE115は、特定されたネットワーク構成に適用されるアプリケーションネットワークのシミュレーションを行わずに、全てのアプリケーション機能にわたって平均されたネットワークロード計量値及び性能パラメータを提供する。アプリケーション112のネットワークロード計量値及び性能パラメータは、任意特定のネットワーク構成のためにアプリケーション、ソフトウェアの開発及びネットワーク容量の計画を評価するために用いると有利である。
ネットワークロードエスティメータ(NLE)116は、各ソフトウェアアプリケーションのネットワークロード計量値及び性能パラメータに応答してネットワークで同時並行的に作動する1またはそれ以上のソフトウェアアプリケーションのネットワークロードを予測する。NLE116は、複雑なネットワークシミュレーションツールを使用せずに、ネットワークに繋がれた多数のアプリケーションを有するネットワークのネットワーク容量及びネットワーク待ち時間のサイズを決定するために用いられる使いやすいネットワークシミュレーションツールを提供する。NLE116のユーザーは、セットアップや走らせるために何時間もの作業を必要とする複雑なネットワークシミュレーションツールに関する特定の知識や経験を必要としない。ユーザーインターフェイスは簡単で、容易に理解できる。分析結果は時間でなくて分の単位で得られる。性能の点については、リアルタイムで提示されるため、ユーザーは適正な性能を発揮させるためのWANのサイズの決定について迅速な判断と変更を行うことが可能である。従って、NLE116は、1またはそれ以上のアプリケーションを同時に展開させる時のWANのサイズの決定を迅速且つ高い信頼度で行うことができる。
NLA117は、好ましくは製品の生きた環境でアプリケーションを実行するワークステーション102−104により発生される捕捉されたデータトラフィックを含むネットワークトレースファイル301及び302を受ける。その後、NLA117を用いて、1またはそれ以上のトレースファイル(各ファイルは15分のトラフィック活動を有するのが好ましい)を消化することにより、アプリケーションのネットワーク容量プロフィールを発生させる。NLA117は、各サンプルタイムウィンドウ(好ましくは60秒のインターバル)においてフィルタリングを受けたトレースファイルデータを分析する。各タイムウィンドウは、全トラフィックロード、トラフィックを発生するクライアントの総数、クライアント毎の平均トラフィックロード(クライアント毎の平均WAN帯域幅)、及びクライアントコンカレンシーレート(クライアントのワークロード)を表示する。全てのネットワークトレースファイル301及び302にわたる全てのウィンドウ測定値は、アプリケーションの容量プロフィール計量値、即ち、1)クライアントロードファクタ(即ち、帯域幅使用率)と2)クライアントコンカレンシーレート(即ち、ワークロード)を確立するために平均値、分散度及び信頼度レベルを用いて平均される。これら2つの計量値は、アプリケーション112の一般への発売前にアプリケーション112のプロフィールを形成するために用いるNGE115により予測される計量値の妥当性をチェックするために、また製品のネットワークの性能の妥当性をチェックするために使用される。NLAアプリケーション分析は使用中のアプリケーションからのトラフィックを用いて行うのが好ましいため、NLA計量値は、新しいクライアント102−104をアプリケーション112に加える時のWANのサイズを決定する正確で簡単な方法を提供する。その後、NLAの計量値を用いて、NLE116及び/またはNGE115のチューニングを行う。
従って、本発明を種々に実施例に関連して説明したが、本発明はこれらの特定の実施例に限定されると意図されていない。当業者は、開示した本発明の変形例、設計変更及びそれらの組み合わせを頭書の特許請求の範囲に示された発明の思想及び範囲から逸脱することなく実施できることがわかるであろう。
本発明の好ましい実施例による、複数のクライアント/ワークステーションに電気的に結合されたサーバーを含むネットワークを示す。 本発明の好ましい実施例に従って、図1に示すようなネットワークで同時並行的に動作する1またはそれ以上のアプリケーションが使用するネットワークロードを測定するプロセスを示す。 本発明の好ましい実施例による、図1に示すようなテストネットワークにおけるアプリケーションベースラインプロフィールのタイミング図である。 本発明の好ましい実施例に従って、図3に示すタイミング図を用いてアプリケーションベースラインプロフィールを求める方法を示す。 本発明の好ましい実施例による、図1に示すようなテストネットワークガイドラインエスティメータの論理図である。 本発明の好ましい実施例に従い、図1に示すようなテストネットワークガイドラインエスティメータを用いて、図1に示すようなテストネットワークで動作するアプリケーションのネットワークロードを予測する方法を示す。

Claims (15)

  1. ソフトウェアアプリケーションのネットワーク動作特性を測定する方法であって、
    ソフトウェアアプリケーションの複数の機能の特定に応答して該複数の機能をテストネットワークにおいて実行し、
    テストネットワークにおけるソフトウェアアプリケーションの複数の機能の実行に応答してテストネットワークにおけるソフトウェアアプリケーションのネットワーク動作特性を分析することにより、製品のネットワークにおけるソフトウェアアプリケーションのネットワーク動作特性を予測するステップより成る、ソフトウェアアプリケーションのネットワーク動作特性の測定方法。
  2. 分析ステップはさらに、
    ワークユニットネットワークトレースファイルの受取りに応答してテストネットワークにおけるソフトウェアアプリケーションのネットワーク帯域幅特性を分析することにより、製品のネットワークにおけるソフトウェアアプリケーションのネットワーク帯域幅特性を予測し、
    タスクネットワークトレースファイルの受取りに応答してテストネットワークにおけるソフトウェアアプリケーションのネットワーク待ち時間特性を分析することにより、製品のネットワークにおけるソフトウェアアプリケーションのネットワーク待ち時間特性を予測するステップを含む請求項1の方法。
  3. ネットワーク帯域幅特性の分析ステップはさらに、
    ソフトウェアアプリケーションの複数の機能に対応し各々が複数のタスクを含む複数のワークユニットの実行に応答して、ソフトウェアアプリケーションの複数のワークユニットの各々のワークユニットネットワークトレースファイルを捕捉するステップより成り、
    ネットワーク待ち時間特性の分析ステップはさらに、
    複数のワークユニットの実行に応答して、ソフトウェアアプリケーションの複数のタスクのうち各々のタスクネットワークトレースファイルを捕捉するステップより成る請求項2の方法。
  4. ネットワーク帯域幅特性はさらに、
    単一のクライアントワークステーションが複数のワークユニットのうちの1つをアクティブに実行している時に使用される平均ネットワーク帯域幅を表すロードファクタと、
    ロードファクタにより割算される所定の帯域幅を表すコンカレンシーファクタと、
    複数のワークユニットの実行を完了するに要する平均時間を表すワークユニット完了時間と、
    所定期間の間、所定の帯域幅内で実行可能なワークユニットの平均数を表すワークロードのうちの1つより成り、
    複数のタスクの各々のタスクネットワークトレースファイルはさらに、
    複数のタスクのうちの1つタスクの実行時にクライアントワークステーションとサーバーとの間でテストネットワークを介して転送されるデータバイトの数を表すタスクサイズと、
    タスク中の要求/応答対の数を表すターン数と、
    平均タスクサイズ中の平均数のデータバイトを転送するに要するデータフレームの数を表すデータフレーム数と、
    タスクを完了するための時間を表す基本応答時間とのうちの少なくとも1つより成る請求項3の方法。
  5. テストネットワークにおけるソフトウェアアプリケーションのネットワーク待ち時間特性の分析ステップはさらに、
    クライアントワークステーションとサーバーとの間のデータ転送レートを表すネットワーク帯域幅と、
    クライアントワークステーションとサーバーとの間の物理的距離を表すネットワーク距離と、
    クライアントワークステーションとサーバーとの間の他のソフトウェアアプリケーションによるデータ転送レートを表すバックグラウンドロードと、
    クライアントワークステーションとサーバーとの間のネットワーク構成を表すネットワークタイプのうちの少なくとも1つに応答する請求項2の方法。
  6. ネットワーク待ち時間特性はさらに、
    挿入遅延、
    伝搬遅延、
    待ち行列遅延、及び
    ネットワーク応答時間のうち少なくとも1つより成る請求項3の方法。
  7. 製品のネットワークで動作するようになされた実行可能なアプリケーションと、
    ネットワーク動作特性を表し、テストネットワークで動作しながら実行可能なアプリケーションに関連し、製品のネットワークにおいて同時並行的に作動する1またはそれ以上の実行可能なアプリケーションのネットワーク動作特性の予測に使用されるデータとより成るコンピュータにより読み取り可能な製品。
  8. ネットワーク動作特性はさらに、
    ソフトウェアアプリケーションに関連するネットワーク帯域幅特性と、
    ソフトウェアアプリケーションに関連するネットワーク待ち時間特性とより成る請求項7のコンピュータにより読み取り可能な製品。
  9. ネットワーク帯域幅特性はさらに、
    単一のクライアントワークステーションが複数のワークユニットのうちの1つをアクティブに実行している時に使用される平均ネットワーク帯域幅を表すロードファクタと、
    ロードファクタにより割算される所定の帯域幅を表すコンカレンシーファクタと、
    複数のワークユニットの実行を完了するに要する平均時間を表すワークユニット完了時間と、
    所定期間の間、所定の帯域幅内で実行可能なワークユニットの平均数を表すワークロードのうちの1つより成る請求項7のコンピュータにより読み取り可能な製品。
  10. ネットワーク待ち時間特性はさらに、
    挿入遅延、
    伝搬遅延、
    待ち行列遅延、及び
    ネットワーク応答時間のうち少なくとも1つより成る請求項7のコンピュータにより読み取り可能な製品。
  11. データを第1のアプリケーションを実行するユーザーワークステーションからネットワークを介して遠隔の装置へ転送するに当たり使用される平均ネットワーク帯域幅容量を特定する平均ネットワークロードファクタを予測するシステムであって、
    パラメータを受けるインターフェイスプロセッサと、
    データアナライザとより成り、
    パラメータは、
    ワークステーション上で実行する第1のアプリケーションにより実行される一連のタスクに関連し、サーバーとワークステーションとの間を運ばれる捕捉されたネットワークデータトラフィックから抽出された第1の組のパラメータと、
    第1のアプリケーションにおいて実行される一連のタスクのうちの個々のタスクの動作に関連し、サーバーとワークステーションの間を運ばれる捕捉されたネットワークデータトラフィックから抽出された第2の組のパラメータとを含み、
    データアナライザは、第1及び第2の組のパラメータに基づき第1のアプリケーションの平均ネットワークロードファクタを求めるシステム。
  12. 平均ネットワークロードファクタは、(a)一連のタスクのうち個々のタスクに対して与えられるロードファクタの算術的平均ネットワークロードファクタと、(b)標準偏差、分散度及び一連のタスクにおけるタスク数に応答して調整される一連のタスクのうち個々のタスクに与えられるロードファクタの算術平均ネットワークロードファクタのうち少なくとも1つより成る請求項11のシステム。
  13. 捕捉されたネットワークデータから抽出される第1の組のパラメータは、(a)各プラットフォーム対間を転送されるバイトの数、(b)各プラットフォーム対間を転送されるパケットの数、(c)第1のプラットフォーム対から第2のプラットフォーム対へ転送される各プラットフォーム対についてのバイトの数、(d)第2のプラットフォーム対から第1のプラットフォーム対へ転送される各プラットフォーム対についてのバイトの数、及び(e)一連のタスクの持続時間のうちの少なくとも2つより成る請求項11のシステム。
  14. 一連のタスクのうちの個々のタスクに関連する第2の組のパラメータは、(a)各プラットフォーム対間を転送されるバイトの数、(b)各プラットフォーム対間を転送されるパケットの数、(c)第1のプラットフォーム対から第2のプラットフォーム対へ転送される各プラットフォーム対についてのバイトの数、(d)第2のプラットフォーム対から第1のプラットフォーム対へ転送される各プラットフォーム対についてのバイトの数、(e)タスクの持続時間、(f)各プラットフォーム対間にある要求/応答のメッセージ対の数、及び(g)タスクの数のうちの少なくとも2つより成る請求項11のシステム。
  15. 個々のアプリケーションに起因するネットワーク応答の平均遅延を予測するシステムであって、
    個々のアプリケーションに関連するパラメータに基づき該個々のアプリケーションに起因するネットワーク応答の平均遅延を予測するデータアナライザと、
    ユーザー命令に応答して装置に送られるネットワーク応答の平均遅延予測値を処理するインターフェイスプロセッサとより成り、
    データアナライザは、
    個々のアプリケーションの動作時に生じる要求/応答のメッセージ対の予測平均数を表す第1のパラメータと、
    ユーザーワークステーションから少なくとも1つのサーバーへの予測平均データトラフィックサイズを表す第2のパラメータと、
    少なくとも1つのサーバーからユーザーワークステーションへの予測平均データトラフィックサイズを表す第3のパラメータと、
    ユーザーワークステーションから少なくとも1つのサーバーへの予測平均データトラフィックパケット数を表す第4のパラメータと、
    少なくとも1つのサーバーからユーザーワークステーションへの予測平均データトラフィックパケット数を表す第5のパラメータを含むネットワーク応答の平均遅延予測システム。
JP2003585361A 2002-03-21 2003-03-17 ソフトウェアアプリケーションのネットワーク動作特性を測定する方法、システム及びコンピュータプログラム Pending JP2005521359A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US36650702P 2002-03-21 2002-03-21
US10/388,045 US20030229695A1 (en) 2002-03-21 2003-03-13 System for use in determining network operational characteristics
PCT/US2003/008300 WO2003088576A1 (en) 2002-03-21 2003-03-17 Method, system and computer program for determining network operational characteristics of software applications

Publications (1)

Publication Number Publication Date
JP2005521359A true JP2005521359A (ja) 2005-07-14

Family

ID=29254376

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003585361A Pending JP2005521359A (ja) 2002-03-21 2003-03-17 ソフトウェアアプリケーションのネットワーク動作特性を測定する方法、システム及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US20030229695A1 (ja)
EP (1) EP1486031A1 (ja)
JP (1) JP2005521359A (ja)
CA (1) CA2479382A1 (ja)
WO (1) WO2003088576A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101487628B1 (ko) * 2013-12-18 2015-01-29 포항공과대학교 산학협력단 단말에서 에너지를 효율적으로 사용하기 위한 어플리케이션 인지 패킷 전송 방법 및 장치

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9239763B2 (en) 2012-09-28 2016-01-19 Oracle International Corporation Container database
US6898783B1 (en) * 2000-08-03 2005-05-24 International Business Machines Corporation Object oriented based methodology for modeling business functionality for enabling implementation in a web based environment
US7171455B1 (en) 2000-08-22 2007-01-30 International Business Machines Corporation Object oriented based, business class methodology for generating quasi-static web pages at periodic intervals
US6853994B1 (en) * 2000-08-30 2005-02-08 International Business Machines Corporation Object oriented based, business class methodology for performing data metric analysis
US7924874B2 (en) * 2003-03-11 2011-04-12 Hewlett-Packard Development Company, L.P. Evaluating and allocating system resources to improve resource utilization
US7747717B2 (en) * 2003-08-14 2010-06-29 Oracle International Corporation Fast application notification in a clustered computing system
US7953860B2 (en) * 2003-08-14 2011-05-31 Oracle International Corporation Fast reorganization of connections in response to an event in a clustered computing system
US7664847B2 (en) * 2003-08-14 2010-02-16 Oracle International Corporation Managing workload by service
US20060064400A1 (en) 2004-09-21 2006-03-23 Oracle International Corporation, A California Corporation Methods, systems and software for identifying and managing database work
US7529814B2 (en) * 2003-10-15 2009-05-05 International Business Machines Corporation Autonomic computing algorithm for identification of an optimum configuration for a web infrastructure
JP2005149283A (ja) * 2003-11-18 2005-06-09 Hitachi Ltd 情報処理システム、情報処理システムの制御方法及びプログラム
US7757216B2 (en) * 2003-12-10 2010-07-13 Orcle International Corporation Application server performance tuning client interface
US8295187B1 (en) * 2004-09-30 2012-10-23 Avaya Inc. Port-centric configuration methods for converged voice applications
CN100349426C (zh) * 2004-10-10 2007-11-14 中兴通讯股份有限公司 一种通讯接口的在线监测和测试方法
US7555549B1 (en) * 2004-11-07 2009-06-30 Qlogic, Corporation Clustered computing model and display
US20060168230A1 (en) * 2005-01-27 2006-07-27 Caccavale Frank S Estimating a required number of servers from user classifications
EP1917631A1 (en) * 2005-08-25 2008-05-07 International Business Machines Corporation Method and system for displaying performance constraints in a flow design tool
US7783463B2 (en) * 2005-09-27 2010-08-24 Morgan Stanley Computer networks for providing a test environment
US8812648B2 (en) 2005-11-21 2014-08-19 Ebay Inc. Techniques for measuring above-the-fold page rendering
US7673042B2 (en) 2005-12-06 2010-03-02 Shunra Software, Ltd. System and method for comparing service levels to a service level objective
US7647399B2 (en) 2005-12-06 2010-01-12 Shunra Software Ltd. System and method for comparing a service level at a remote network location to a service level objective
US7756973B2 (en) * 2006-04-27 2010-07-13 International Business Machines Corporation Identifying a configuration for an application in a production environment
US8112813B1 (en) 2006-09-29 2012-02-07 Amazon Technologies, Inc. Interactive image-based document for secured data access
US8234302B1 (en) 2006-09-29 2012-07-31 Amazon Technologies, Inc. Controlling access to electronic content
US9258203B1 (en) * 2006-09-29 2016-02-09 Amazon Technologies, Inc. Monitoring computer performance metrics utilizing baseline performance metric filtering
CN101295392B (zh) * 2007-04-28 2011-12-14 国际商业机器公司 用于关联出交互及对其进行剖析的方法和系统
US8374153B2 (en) * 2007-05-07 2013-02-12 Motorola Mobility Llc Facilitating mobility between multiple communication networks
CN101398832A (zh) * 2007-09-30 2009-04-01 国际商业机器公司 利用人脸检测的图像搜索方法和系统
US7808903B2 (en) * 2008-03-25 2010-10-05 Verizon Patent And Licensing Inc. System and method of forecasting usage of network links
US8589539B2 (en) * 2008-04-25 2013-11-19 Emc Corporation Multipeer
US8595714B1 (en) * 2009-03-04 2013-11-26 Amazon Technologies, Inc. User controlled environment updates in server cluster
US10079716B2 (en) 2009-03-04 2018-09-18 Amazon Technologies, Inc. User controlled environment updates in server cluster
US8566074B2 (en) * 2009-05-19 2013-10-22 International Business Machines Corporation Mapping between stress-test systems and real world systems
US8549038B2 (en) 2009-06-15 2013-10-01 Oracle International Corporation Pluggable session context
US8612578B2 (en) * 2011-03-10 2013-12-17 International Business Machines Corporation Forecast-less service capacity management
CN103312554B (zh) * 2012-03-16 2017-03-01 阿里巴巴集团控股有限公司 一种多服务器交互业务的测试方法及系统
US10976359B2 (en) 2012-09-01 2021-04-13 Promptlink Communications, Inc. Functional verification process and universal platform for high-volume reverse logistics of CPE devices
US10332005B1 (en) * 2012-09-25 2019-06-25 Narus, Inc. System and method for extracting signatures from controlled execution of applications and using them on traffic traces
WO2014105094A1 (en) * 2012-12-28 2014-07-03 Promptlink Communications, Inc. Operational network information generated by synthesis of baseline cpe data
US11284063B2 (en) 2012-12-28 2022-03-22 Promptlink Communications, Inc. Video quality analysis and detection of blockiness, artifacts and color variation for high-volume testing of devices using automated video testing system
US10419957B2 (en) 2014-05-15 2019-09-17 Promptlink Communications, Inc. High-volume wireless device testing
US10387387B2 (en) 2015-12-17 2019-08-20 Oracle International Corporation Enabling multi-tenant access to respective isolated data sets organized using different application schemas
US10289617B2 (en) 2015-12-17 2019-05-14 Oracle International Corporation Accessing on-premise and off-premise datastores that are organized using different application schemas
WO2018035251A1 (en) * 2016-08-17 2018-02-22 Performance And Privacy Ireland Ltd. Deriving mobile application usage from network traffic
US10303894B2 (en) 2016-08-31 2019-05-28 Oracle International Corporation Fine-grained access control for data manipulation language (DML) operations on relational data
US10474653B2 (en) 2016-09-30 2019-11-12 Oracle International Corporation Flexible in-memory column store placement
US10834230B2 (en) 2017-08-25 2020-11-10 International Business Machines Corporation Server request management

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5937165A (en) * 1996-09-10 1999-08-10 Ganymede Software, Inc Systems, methods and computer program products for applications traffic based communications network performance testing
US6078943A (en) * 1997-02-07 2000-06-20 International Business Machines Corporation Method and apparatus for dynamic interval-based load balancing
US6173311B1 (en) * 1997-02-13 2001-01-09 Pointcast, Inc. Apparatus, method and article of manufacture for servicing client requests on a network
US6216006B1 (en) * 1997-10-31 2001-04-10 Motorola, Inc. Method for an admission control function for a wireless data network
US6178160B1 (en) * 1997-12-23 2001-01-23 Cisco Technology, Inc. Load balancing of client connections across a network using server based algorithms
US6141686A (en) * 1998-03-13 2000-10-31 Deterministic Networks, Inc. Client-side application-classifier gathering network-traffic statistics and application and user names using extensible-service provider plugin for policy-based network control
US6195680B1 (en) * 1998-07-23 2001-02-27 International Business Machines Corporation Client-based dynamic switching of streaming servers for fault-tolerance and load balancing
US6381628B1 (en) * 1998-10-02 2002-04-30 Microsoft Corporation Summarized application profiling and quick network profiling
US6381735B1 (en) * 1998-10-02 2002-04-30 Microsoft Corporation Dynamic classification of sections of software
US6446028B1 (en) * 1998-11-25 2002-09-03 Keynote Systems, Inc. Method and apparatus for measuring the performance of a network based application program
US6711137B1 (en) * 1999-03-12 2004-03-23 International Business Machines Corporation System and method for analyzing and tuning a communications network
US6748413B1 (en) * 1999-11-15 2004-06-08 International Business Machines Corporation Method and apparatus for load balancing of parallel servers in a network environment
US6801945B2 (en) * 2000-02-04 2004-10-05 Yahoo ! Inc. Systems and methods for predicting traffic on internet sites
US6684252B1 (en) * 2000-06-27 2004-01-27 Intel Corporation Method and system for predicting the performance of computer servers
US6909693B1 (en) * 2000-08-21 2005-06-21 Nortel Networks Limited Performance evaluation and traffic engineering in IP networks
US6996064B2 (en) * 2000-12-21 2006-02-07 International Business Machines Corporation System and method for determining network throughput speed and streaming utilization
US7058843B2 (en) * 2001-01-16 2006-06-06 Infonet Services Corporation Method and apparatus for computer network analysis
US20020133614A1 (en) * 2001-02-01 2002-09-19 Samaradasa Weerahandi System and method for remotely estimating bandwidth between internet nodes
US6801940B1 (en) * 2002-01-10 2004-10-05 Networks Associates Technology, Inc. Application performance monitoring expert
US7130915B1 (en) * 2002-01-11 2006-10-31 Compuware Corporation Fast transaction response time prediction across multiple delay sources

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101487628B1 (ko) * 2013-12-18 2015-01-29 포항공과대학교 산학협력단 단말에서 에너지를 효율적으로 사용하기 위한 어플리케이션 인지 패킷 전송 방법 및 장치

Also Published As

Publication number Publication date
WO2003088576A1 (en) 2003-10-23
CA2479382A1 (en) 2003-10-23
US20030229695A1 (en) 2003-12-11
EP1486031A1 (en) 2004-12-15

Similar Documents

Publication Publication Date Title
JP2005521359A (ja) ソフトウェアアプリケーションのネットワーク動作特性を測定する方法、システム及びコンピュータプログラム
JP3921469B2 (ja) 実行可能ソフトウエアアプリケーションのネットワーク負荷及びその他のトラフィック特性を解析するためのシステム
EP2457164B1 (en) Method of monitoring the performance of a software application
US8521868B2 (en) Platform-level indicators of application performance
US20190052551A1 (en) Cloud verification and test automation
JP4343983B2 (ja) ネットワーク管理装置およびネットワークの管理方法
JP4677813B2 (ja) サーバ性能計測方法及びサーバ性能計測システム並びにこれらに用いるコンピュータプログラム
US20190394113A1 (en) Systems and methods to automatically evaluate blockchain-based solution performance
US7406532B2 (en) Auto control of network monitoring and simulation
KR20100109368A (ko) 서버 로드 용량 결정 시스템
JP2010502145A (ja) 改良されたマルコフ変調ポアソン過程モデルを使用してネットワーク・トラフィックを解析及び生成するための方法、コンピュータ・プログラム
US20030055940A1 (en) Auto control of network monitoring and simulation
JP2008523470A (ja) 回路評価のための方法、システム及びプログラム
US20170163505A1 (en) Application centric network experience monitoring
JP5957419B2 (ja) QoE推定装置、QoE推定方法及びプログラム
US11423326B2 (en) Using machine-learning methods to facilitate experimental evaluation of modifications to a computational environment within a distributed system
US20170310734A1 (en) Method for analyzing performance of network application program in software defined networking environment, apparatus therefor, and computer program therefor
CN113971118A (zh) 性能测试方法、装置、设备与计算机可读存储介质
WO2021056435A1 (zh) 用于异常检测的方法和装置
Liu et al. Fast deployment of reliable distributed control planes with performance guarantees
JP5779616B2 (ja) QoE評価装置、QoE評価方法及びプログラム
KR101563457B1 (ko) 서비스 가용성을 보장하기 위한 이웃 노드 선출 시스템 및 방법
CN114175594A (zh) 用于在网络平台上执行传感器应用的系统和方法
CN1972218A (zh) 评估用户存取网络资源的方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060816

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20061115

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20061122

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070827