JP2003508849A - サーバ性能の配備後監視 - Google Patents

サーバ性能の配備後監視

Info

Publication number
JP2003508849A
JP2003508849A JP2001520640A JP2001520640A JP2003508849A JP 2003508849 A JP2003508849 A JP 2003508849A JP 2001520640 A JP2001520640 A JP 2001520640A JP 2001520640 A JP2001520640 A JP 2001520640A JP 2003508849 A JP2003508849 A JP 2003508849A
Authority
JP
Japan
Prior art keywords
computer
transaction
computers
server
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001520640A
Other languages
English (en)
Inventor
アムノン ランダン、
Original Assignee
マーキュリー インタラクティブ コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マーキュリー インタラクティブ コーポレーション filed Critical マーキュリー インタラクティブ コーポレーション
Publication of JP2003508849A publication Critical patent/JP2003508849A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3414Workload generation, e.g. scripts, playback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/323Visualisation of programs or trace data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324Display of status information
    • G06F11/327Alarm or error message display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3495Performance evaluation by tracing or monitoring for systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/875Monitoring of systems including the internet

Abstract

(57)【要約】 監視システムは、ユーザが、ウェブベースのまたはその他のトランザクションサーバ(30)の配備後の性能を監視できるようにする。システムは、トランザクションサーバ(30)の実際のユーザのコンピュータを含む、トランザクションサーバ(30)にアクセスできるエージェントコンピュータ(40)上にインストールできるエージェント構成要素(「エージェント」)(32)を含む。該エージェント(32)は、サーバの性能を監視する間に、トランザクションサーバ(30)の実際のユーザの動作をシミュレートする。エージェントコンピュータ(40)によって実行される特定のトランザクションは、制御装置(34)を使用してエージェントコンピュータ(40)にディスパッチされるテストケースによって指定される。各エージェントコンピュータ(40)は、テストケースを実行すると、それはリアルタイムで、集中データベース(42)に結果を記憶するウェブベースのレポートサーバ(36)に実行結果(性能データ)を報告する。性能データは、例えば、サーバ応答時間、失敗したトランザクションの画面表示順序、ネットワーク経路に沿った測定されたセグメント遅延、及び「中断された」ウェブサイトリンクの識別子を含んでよい。許可された人員は、一連のカスタマイズ可能なレポートを介して収集された性能データを表示するために、標準的なウェブブラウザを使用してレポートサーバ(36)にアクセスできる。制御装置(34)を使用して、ユーザは、トランザクションサーバ(30)の連続監視またはほぼ連続監視に備える定期的な予定を含む、エージェントコンピュータ(40)にテストケース実行予定を割り当てることもできる。さらに、ユーザは、人員が(例えば、ページャーなどにより)問題をただちに通知される警報状態を指定することができる。制御装置(34)及びレポートサーバ(36)は、場所、組織及びこのようなコンピュータのISPなどのエージェントコンピュータ(40)の属性に従ってユーザがトランザクションサーバ(30)の動作を監視できるようにするための機能も提供する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】
本発明は、ウェブベース及びその他のトランザクションサーバの動作を試験し
、監視するためのソフトウェアツールに関する。
【0002】
【従来の技術】
企業が、配備前に、ウェブベースのトランザクションサーバ及び関連するアプ
リケーションの性能及び機能性を試験するのを補助するための多岐に渡る市販の
ソフトウェアツールが存在する。このようなツールの例は、本出願の譲受人であ
るマーキュリーインターアクティブ社(Mercury Interactiv
e Corporation)のLoadRunner(商標)、WinRun
ner(商標)、及びAstra QuickTest(商標)製品を含む。
【0003】 これらの製品を使用し、ユーザは、ユーザのトランザクションサーバとの対話
のシーケンスを指定するテストスクリプトを記録する、あるいはそれ以外の場合
は作成することができる。ユーザは、検証ポイントとしてテストスクリプトに追
加されてよい、トランザクションサーバからの一定の予想される応答をオプショ
ンで指定してもよい。例えば、ユーザは、その間にユーザがある特定のフライト
を検索するウェブベース旅行予約システムとのセッションを記録し、予定される
フライト番号、出発時刻、またはチケット価格についてチェックするために1つ
以上の検証ポイントを画定してよい。
【0004】 このプロセスを通して生成されるテストスクリプトは、ユーザの動作をシミュ
レートするために―一般的には、試験されている構成要素の配備前に―「再生さ
れる」または「実行される」。このプロセスの間、試験ツールは、あらゆる検証
ポイントのパス/フェイル・ステータスの判断を含むトランザクションサーバの
性能を監視する。複数のテストスクリプトは、多数のユーザの負荷をシミュレー
トするために並行して再実行(replayed)されてよい。LoadRun
ner製品の自動化インタフェースを使用すると、実行のために、テストスクリ
プトをリモートコンピュータにディスパッチすることができる。
【0005】 試験の結果は、一般的には、試験ツールのユーザインタフェースを介してアク
セスできる一連のレポートを通してユーザに通信される。レポートは、例えば、
様々な種類のトランザクションの観察された応答時間のグラフまたはチャートを
含んでよい。試験プロセスを通して発見された性能問題は、プログラマまたはシ
ステム管理者によって修正されてよい。
【0006】 ウェブサイトオペレータが、自分達のウェブサイトの配備後性能を監視できる
ようにする多岐に渡るツール及びサービスも存在する。例えば、カリフォルニア
、サンマテオ(San Mateo California)のキーノートシス
テムズ社(Keynote Systems Inc.)は、一日を通して規則
正しい間隔でウェブサイトにアクセスするために自動化されたエージェントを使
用するサービスを提供する。選択された主要都市でキーノートシステムズによっ
て提供されるエージェントコンピュータは、様々なウェブサイト機能を実行する
のに要する時間を測定し、キーノートシステムズによって提供されるサーバに結
果を報告する。ウェブサイトのオーナーまたはオペレータは、都市ごとに、また
はその他の基準で収集された性能データを表示するために、ウェブブラウザを使
用してこのサーバにアクセスできる。それ以外の種類の既存の監視ツールは、ウ
ェブサーバによって生成されるアクセスログを処理するログ分析ツール、および
ウェブサーバ間のトラフィックを監視するパケットスニッフ(sniffing
)ツールを含む。
【0007】
【発明が解決しようとする課題】
既存の監視ツール及びサービスでの重要な問題とは、それらが多くの場合、ユ
ーザの場所、PC構成、ISP(インターネットサービスプロバイダ)、または
インターネットルータなどの一般的なエンドユーザの属性に応じた問題を検出で
きないという点である。例えば、いくつかのウェブサイト監視サービスを用いる
と、ウェブサイトオペレータは、サービスプロバイダが使用可能とするエージェ
ントコンピュータ及び場所からだけウェブサイトを監視することができる。その
結果、サービスはシステムの最も頻繁なユーザ(例えば、ある特定のISPを通
してウェブサイトにアクセスする、あるいはある特定のPC構成を使用するカス
タマサービス部門の一員)によって見られる性能問題を検出しない可能性がある
【0008】 このような属性に特殊な問題点が検出されるとしても、既存のツール及びサー
ビスは、多くの場合、問題を起こす特定の属性を特定することはできない。例え
ば、監視サービスは、ある特定の都市のウェブサイトユーザが長い遅延を経験し
ていることを示すことがあるが、問題がある特定のルータを通して該サイトにア
クセスするユーザだけによって経験されることを明らかにすることができない場
合がある。このような追加情報がない場合、システム管理者は、このような問題
を隔離し、補正することはできない。
【0009】 既存のツール及びサービスでの別の重要な問題とは、それらが、トランザクシ
ョンサーバの最新のステータスを監視するため、及び問題発生時にシステム管理
者に迅速に通知するための適切な機構を提供しないという点である。例えば、既
存のツール及びサービスは、一般的には、問題発生後何分もまたは何時間も経つ
まで問題を報告しない。その結果、多くのエンドユーザは、システム管理者が問
題を気付く前に問題を経験する可能性がある。
【0010】
【課題を解決するための手段】
本発明は、ウェブサイトシステムまたはその他のトランザクションサーバの配
備後の動作を監視するソフトウェアシステム及び方法を提供することにより、こ
れらの、及びそれ以外の問題点に対処する。好ましい実施形態では、システムは
、サーバの性能を監視し、報告しつつ、トランザクションサーバの実際のユーザ
の動作をシミュレートするエージェント構成要素(「エージェント」)を含む。
本発明のある態様によれば、エージェントは、実際のエンドユーザのコンピュー
タを含む、監視のために使用される選択されたコンピュータ(「エージェントコ
ンピュータ」)にインストールされるように適応される。例えば、エージェント
は、トランザクションサーバが一般的にはそこからアクセスされる様々な事務所
または組織内の選択されたエンドユーザコンピュータにインストールされること
ができるだろう。エージェント構成要素がインストールされると、エージェント
コンピュータは、制御装置構成要素(「制御装置」)を使用して(一般的には、
トランザクションサーバのオペレータによって)遠隔でプログラミングすること
ができる。監視目的に使用されるコンピュータをフレキシブルに選択し、監視の
ために実際のエンドユーザコンピュータを使用する能力は、一般的なエンドユー
ザの属性に関連付けられる問題を検出するタスクを大幅に促進にする。
【0011】 本発明の別の態様によれば、制御装置は、ユーザが、監視セッションに含むた
めのエージェントコンピュータ(複数の場合がある)を遠隔で選択し、このよう
なコンピュータに(各コンピュータの場所、組織、ISP及び/または構成など
の)属性を割り当て、このようなコンピュータにトランザクションと実行のスケ
ジュールを割り当てることができるようにするために、ユーザインタフェース及
び様々な機能を提供する。実行スケジュールは、周期的または反復するスケジュ
ール(例えば、毎時、月曜日から金曜日)であってよく、その結果トランザクシ
ョンサーバは、連続で、またはほぼ連続で監視される。制御装置は、好ましくは
、表示画面上で、トランザクション及び実行スケジュールが対応するコンピュー
タの子供として表される拡張可能なツリーとして監視セッションを表す。いった
ん監視セッションが画定されると、制御装置は、インターネットまたはその他の
ネットワーク上で、トランザクション及び実行スケジュールを各々のエージェン
トコンピュータにディスパッチする。制御装置は、好ましくは、ユーザがトラン
ザクションを記録、編集する、及びリアルタイム警報通知を生成するための警報
状態を画定する機能も含む。制御装置は、オプションで、インターネットまたは
イントラネットサイトでホスト化されたアプリケーションとして実現されてよく
、そのケースでは、ユーザは通常のウェブブラウザを使用して監視セッションを
遠隔でセットアップすることができる。
【0012】 監視セッション中、各エージェントコンピュータは、その割り当てられた実行
スケジュールに従ってその割り当てられたトランザクションを実行し、トランザ
クションサーバの性能の1つ以上の特性を示す性能データを作成する。性能デー
タは、例えば、サーバ応答時間及びトランザクション実行イベントのパス/フェ
イル・ステータスを含んでよい。パス/フェイル・ステータス値は、トランザク
ションの範囲内で画定される検証ポイント(予想されるサーバ応答)に基づいて
よい。エージェントコンピュータは、好ましくは、トランザクション実行直後に
トランザクションに関連付けられる性能データを報告し、その結果として、性能
データは警報通知の表示及び作成のために実質的にリアルタイムで使用されるこ
とができる。好ましい実施形態では、様々なエージェントコンピュータによって
生成される性能データは、ウェブベースのレポートサーバを通して遠隔でアクセ
ス可能である集中データベース内で集められる。レポートサーバは、トランザク
ションサーバのオペレータが、各トランザクションに関連付けられる性能データ
を見ることができるようにする、様々なユーザが構成可能なチャート及びグラフ
を提供する。
【0013】 本発明の別の態様に従って、レポートサーバは、様々なオペレータによって指
定される属性について別個にトランザクションサーバの性能を示すレポートを作
成する。この特徴を使用すると、ユーザは、例えば、異なるオペレータによって
指定される場所(例えば、ニューヨーク、サンフランシスコ及び英国)、組織(
例えば、会計部門、マーケティング部門、及びカスタマサービス部門)、ISP
(例えば、Spring、AOL、及びEarthlink)、あるいはその他
の属性から見られるようにトランザクションサーバの性能を表示、比較すること
ができる。ユーザは、特定の属性及び/またはトランザクションと関連付けられ
るデータをふるって取り除く(例えば、AOLカスタマに関連付けられるデータ
を排除する)、及び性能データを区分化するための(例えば、モデム速度または
動作システムなどの)新しい属性型を画定するオプションも有してよい。オペレ
ータによって指定される属性に従って性能データを監視する能力は、属性に依存
する性能問題を隔離し、修正するタスクを大幅に促進する。
【0014】 本発明の別の態様によれば、性能データは、あらゆるユーザによって画定され
る警報状態がないかチェックするために(好ましくは制御装置によって)実質的
にリアルタイムで監視される。このような警報状態が検出されると、通知メッセ
ージは、eメール、ページャー(ポケットベル(登録商標))、またはその他の
通信方法によって適切な人物に送信されてよい。警報状態は、オプションで、あ
る特定の場所、組織、ISP、またはその他の属性に特定であってよい。例えば
、アトランタ支社を担当するステム管理者は、ある特定の問題(例えば、平均応
答時間が特定の閾値を超える)がその事務所内のコンピュータによって検出され
ると、通知されることを要求してよい。好ましい実施形態では、警報通知を受信
すると、管理者は、レポートサーバにアクセスし、通知をトリガした1つ以上の
イベントの詳細を表示するために標準ウェブブラウザを使用することができる。
【0015】 本発明の別の態様によれば、エージェントコンピュータは、トランザクション
実行中に画面表示のシーケンスを捕捉し、トランザクションが失敗したときに、
表示のためにこれらの画面表示をレポートサーバに伝送するようにプログラムさ
れてよい。この特徴により、ユーザは、エージェントによって「見られるように
」エラー状態につながったイベントのシーケンスを表示することができる。
【0016】 本発明の別の特徴によれば、エージェントコンピュータは、エージェントコン
ピュータとトランザクションサーバとの間の経路遅延が事前に書き込まれている
閾値を超えると、ネットワーク監視構成要素を起動するようにプログラミングさ
れてよい。起動されると、ネットワーク監視構成要素は、ネットワーク経路の各
セグメントに沿って現在経験されている遅延を求める。測定されたセグメント遅
延は(好ましくはレポートサーバを通して)人員に報告され、様々な種類のネッ
トワーク問題を検出するために使用されてよい。本発明の別の態様によれば、エ
ージェントコンピュータの1つ以上は、中断されたリンク(アクセスできないオ
ブジェクトへのリンク)がないか、チェックするために監視されるウェブサイト
を定期的に走査する、あるいは徐行する(crawl)ように遠隔でプログラミ
ングされてよい。中断されたリンクが検出されると、それらは、レポートサーバ
を通してeメールによって、あるいはその他の手段によって報告されてよい。
【0017】
【発明の実施の形態】
以下の説明は、分散監視ツール及び関連付けられた方法の多数のインプリメン
テーションに特定な詳細を述べる。これらの詳細は、発明の範囲を制限するため
ではなく、発明の好ましい実施形態を描くために提供される。発明の範囲は、添
付クレームだけによって画定される。
【0018】 この説明全体で、監視されているトランザクションサーバが、インターネット
経由でアクセスできるウェブベースシステムであると仮定されるだろう。しかし
ながら、本発明の方法は、専用プロトコルを使用する、あるいはある特定の組織
の内部ユーザだけがアクセスできるものを含む、その他の種類のトランザクショ
ンサーバを監視するためにも使用できることが認識されるだろう。例えば、基礎
となる方法論は、内部イントラネット、2層クライアント/サーバシステム、S
AP R/3システム、及びその他の種類の分散システムを監視するためにも使
用できる。
【0019】 I.概要 図1は、分散監視ツールの一般的な構成要素を示し、これらの構成要素が、ウ
ェブベースのトランザクションサーバ30を試験、監視するために、ネットワー
ク内でどのように配備されてよいのかを示す。図1中の破線は、一般的な機械境
界を示し、オープン・ボックスが1台以上の機械を示す。図1に描かれるように
、トランザクションサーバ30は、一般的には、ウェブサーバ構成要素30A及
び1つ以上のアプリケーション30Bを含む。アプリケーションは、例えば、ユ
ーザアカウントをセットアップする、または発注するなどの1つ以上のビジネス
プロセスを実現するための機能性を提供してよい。アプリケーション30Bは、
一般的には、1つ以上のバックエンドデータベース(図示されていない)にユー
ザアクセスを提供する。トランザクションサーバは、地理的に互いに離れている
機械を含む複数の機械を含んでよい。
【0020】 さらに図1に描かれているように、監視ツールは、以下の3つの主要なソフト
ウェア構成要素から成り立つ。エージェント32、制御装置34、及びウェブベ
ースのレポートサーバ36である。各構成要素32、34、36は、1つ以上の
実行可能なファイルまたはコンピュータ読み取り可能媒体内に記憶されるモジュ
ールを含む。
【0021】 エージェント32は、サーバ性能を監視し、報告しつつ、トランザクションサ
ーバ30のユーザの動作をシミュレートするための基本的な機能性を含む。図1
に示されるように、エージェント32は、エンドユーザの経験が複数の場所から
捕捉できるように、好ましくは、複数のインターネットに接続されるホストコン
ピュータ40(PC、ワークステーション等)にインストールされる。これらの
ホストコンピュータ40は、有利なことに、トランザクションサーバ30のオペ
レータによって所有または制御されるコンピュータを含んでよい。例えば、トラ
ンザクションサーバのオペレータは、実際のエンドユーザのコンピュータを含む
、トランザクションサーバが頻繁にアクセスされる部門または組織の各々の中の
選択されたコンピュータ上にエージェント構成要素をインストールできる。
【0022】 便宜的に、エージェント32の上位装置として働くコンピュータ40は、「エ
ージェントコンピュータ」と呼ばれ、制御装置34の上位装置として働くコンピ
ュータ35は「制御装置コンピュータ」と呼ばれるだろう。しかしながら、単一
コンピュータは、ツールの構成要素32、34及び36の内の2つ以上の上位装
置として働くことができること、及び監視ツールの機能性が構成要素の間で別々
に分割できることが理解されなければならない。さらに、ウェブレポートサーバ
36及びトランザクションサーバ30は、1つの共通のウェブサイトを通してア
クセスできるだろう。
【0023】 制御装置34は、トランザクションサーバのオペレータがそれを通して監視セ
ッションをセットアップし、開始することができるユーザインタフェース(UI
)を提供する。その監視セッションは、トランザクションサーバが、複数のユー
ザロケーションからアクセスされ、監視される分散監視セッションを含む。この
UIを通して、ユーザは、特に、監視セッション内に含まれるエージェントコン
ピュータ40を選択し、トランザクション及び実行スケジュールをこのようなコ
ンピュータに割り当てることができる。制御装置34は、警報状態を指定するた
め、及びこのような状態が存在するときに人員に通知するための機能も提供する
。制御装置のUIの例の画面は、図2から12及び図16に示され、以下に説明
される。
【0024】 ウェブレポートサーバ36は、標準ウェブブラウザを使用して、エージェント
コンピュータ40によって測定及び報告されるように、オペレータがトランザク
ションサーバ30の動作を遠隔で監視できるようにするための機能性を提供する
。その他の実施形態では、レポートサーバ36は、表示のために特殊クライアン
トアプリケーションに、性能データまたはそこから作成されるレポートを「プッ
シュする」ように構成できるだろう。後述されるように、エージェントコンピュ
ータ40は、好ましくは、そのトランザクション実行結果(性能データ)を(好
ましくは、事前に画定された警報状態がないかチェックする制御装置34を介し
て)レポートサーバ36にリアルタイムで報告し、オペレータが、トランザクシ
ョンサーバのリアルタイムステータスを表示できるようにする。レポートサーバ
36は、多くの異なるトランザクションサーバ及びビジネスエンティティのため
に、サーバステータスデータに対する確実なアクセスを記憶、提供する「監視サ
ービスプロバイダ」エンティティによってオプションで実現されてよい。このア
プローチにより、試験中のトランザクションサーバのオペレータは、レポートサ
ーバ36を管理しなくてもよくなる。代わりに、試験中のトランザクションサー
バのオペレータの各々または幾人かは、独自の各々のレポートサーバ36を実現
できるだろう。
【0025】 後述されるように、監視ツールの1つの重要な特徴は、ユーザが、エージェン
トコンピュータ40のオペレータによって選択される属性に従ってサーバ性能を
監視する能力を含む。例えば、レポートサーバ36を使用して、ユーザは、サン
フランシスコ内のすべてのエージェントコンピュータによって、あるいは特定の
ISPを使用するすべてのコンピュータによって測定されるように、平均の応答
時間のグラフを見ることができるだろう。1つの実施形態では、各エージェント
コンピュータの属性は、コンピュータの場所、組織、及びISPを含み、制御装
置34(図6を参照すること)のユーザインタフェースを介して割り当てる、ま
たは修正することができる。ユーザによって画定される属性型を含む、その他の
型の属性は、さらに、または代わりに使用することができる。性能が場所及びト
ランザクションごとに別個に表示されるレポートの例は、図15に示され、以下
に説明される。
【0026】 別の重要な特徴は、ユーザが、ある特定のエージェント・マシン40に、(ウ
ィークデーの1時間あたり1度などの)定期的なスケジュールを含む実行スケジ
ュールを割り当てる能力を含む。この特徴を使用すると、ユーザは、例えば、ト
ランザクションサーバ30が、連続的に、またはほぼ連続的に先を見越して行使
、監視され、警報状態が検出されるとすぐに、システム管理者が(例えばページ
ャーによって)即座に通知される監視セッションをセットアップすることができ
る。
【0027】 II.専門用語 発明の理解を容易にするために、残りの説明全体で以下の専門用語が使用され
るだろう。
【0028】 用語「分散監視セッション」または「分散セッション」とは、複数のエージェ
ントコンピュータ40が、トランザクションサーバ30を監視するために使用さ
れる監視セッションを指す。
【0029】 用語「エージェントグループ」は、分散セッション内に含まれるエージェント
コンピュータ40のグループを指す。
【0030】 用語「エージェント」は、用語が使用される文脈に応じて、一般的にエージェ
ント構成要素32、またはエージェントコンピュータ上で実行しているエージェ
ント構成要素の特定のコピーまたはインスタンスのどちらかを指す。
【0031】 用語「属性」は、場所、組織、ISP、またはコンピュータの構成などのホス
トまたはエージェントコンピュータの特定の特徴または特性を指す。
【0032】 用語「トランザクションサーバ」は、アカウント情報を表示する、発注する、
検索を実行する、あるいは電子メールを表示し、送信するなどの1つ以上のタス
クつまり「トランザクション」を実行するというユーザからの要求に応えるマル
チユーザシステムを指す。用語「オペレータ」は、一般的には、トランザクショ
ンサーバ(一般的には、オーナー)の動作を担当するビジネスエンティティを指
す。
【0033】 用語「テストケース」は、一般的には、ある特定のコンピュータによってトラ
ンザクションサーバを監視するために実行されるトランザクション(複数の場合
がある)のコンピュータ表現を指す。好ましい実施形態では、テストケースは代
わりにそれ以外の形式を取ることもできるだろうが、テストケースは、エージェ
ントコンピュータ40によって「再生される」(テキスト形式または実行可能形
式のどちらかの)従来のテストスクリプトを含む。テストケースは、オプション
で、サーバ機能性を試験するために使用される検証ポイントを含んでよい。
【0034】 用語「ウェブ」は、HTTPなどのワールドワイドウェブ規格の使用を示す。
【0035】 III.アーキテクチャ及び一般的な動作 好ましい実施形態では、エージェント32は、マーキュリーインターアクティ
ブ社の市販されているLoadRunner仮想ユーザ(VUser)構成部品
を使用して実現され、マーキュリーインターアクティブのLoadRunner
、WinRunner、及びAstra QuickTest製品を使用して作
成されるテストケースを実行することができる。テストケースを作成し、再生す
るために使用されてよい方法の例は、(1997年10月14日に提出された)
同時係属米国出願第08/949,680号と(1999年6月21日に提出さ
れた)第09/337,446号に記載される。ユーザ動作をシミュレートし、
サーバ応答を監視するためのそれ以外の既知のプログラミング方法は、エージェ
ント32を実現するために使用されてよい。加えて、アプリケーションに特定な
ハードウェアは、エージェントの機能のいくつかまたはすべてを実行するために
使用できるだろう。
【0036】 好ましい実施形態では、エージェント32は、監視セッションの開始前にエー
ジェントコンピュータ40にインストールされる。いったんインストールされる
と、エージェントは、インターネットまたはAPI呼び出し経由のその他のTC
P/IPベースのネットワーク上で制御装置34からテストケース及び実行スケ
ジュールを受信することができる。代わりに、エージェント32は、監視セッシ
ョンが開始されると、制御装置34によって自動的にインストールされてよい。
例えば、制御装置34は、(オプションでは、単一の実行可能な構成要素として
)エージェント32及びテストケースを、エージェントグループ内の各機械にデ
ィスパッチすることができ、エージェント32は、テストケース実行に続いて自
動的に自らを削除できるだろう。各エージェント32は、好ましくは複数のユー
ザの動作をシミュレートすることができる。
【0037】 好ましくは、エージェントグループは、クライアント属性の代表的な断面を取
り囲むように選択される。例えば、1つ以上のエージェントコンピュータ40は
、重要なユーザ活動がそこから発することが予想される各々の地理的な領域及び
/または部門内で選択されてよい。
【0038】 加えて、レポートサーバ36を動作するエンティティなどの監視サービスプロ
バイダエンティティは、(例えば、様々な地理的な場所の中で、多岐に渡る異な
るISPと、等)様々な属性を持つインターネットホストをセットアップし、こ
のようなホストをそのカスタマがエージェントコンピュータ40として使用でき
るようにしてよい。このようなホストコンピュータは、好ましくは、エージェン
ト32が事前にインストールされた状態でサービスプロバイダによって提供され
、同時に、複数のトランザクションサーバを監視する(および、このようにして
複数のオペレータにサービスを提供する)ように構成される。この方法は、トラ
ンザクションサーバ30のオペレータが、一般的なエンドユーザの属性でクライ
アントコンピュータにほかの場合にはアクセスしない点で特に有効である。例え
ば、電子商取引ウェブサイトのオペレータは、購入が行われる様々な国々または
地域内のホストコンピュータにアクセスできないであろう。本方法は、オペレー
タがエージェントコンピュータ40をセットアップし、管理する負担も軽減する
【0039】 図1に示されるように、制御装置34は、好ましくは、テストケースの中に含
まれるトランザクションを記録、編集するための機能を提供するレコーダ34A
を含む、あるいはレコーダ34Aと相互動作する。好ましい実施形態では、マー
キュリーインターアクティブ社の前述された製品の任意の1つ以上は、レコーダ
34として使用されてよい。新しいテストケースを記録する代わりに、ユーザは
、オプションで、トランザクションサーバ36の事前配備試験に関して作成され
たテストケースまたはテストケーススクリプトを再利用してよい。それ以外の既
存のツール及びテストケース作成方法が、テストケースを作成するために使用で
きるだろう。
【0040】 制御装置34は、監視セッションをセットアップするために使用されるスケジ
ューラ構成要素34Bも含む。スケジューラ34Bは、ユーザに、エージェント
コンピュータを選択し、このようなコンピュータによって実行されるトランザク
ションを指定し、実行スケジュールをエージェントコンピュータに割り当て、警
報イベント及び通知を作成するための基準を指定するプロセスを進ませる、好ま
しくは1つ以上の「ウィザード」を使用して実現される。スケジューラ34Bに
よって提供される例の画面表示は、図3から図12に含まれ、後述される。
【0041】 制御装置34は、テストケース及び実行スケジュールをエージェントにディス
パッチすることを含む、エージェント32の動作を制御するための方法を提供す
る自動化インタフェース34Cも含む。好ましい実施形態では、自動化インタフ
ェースは、マーキュリーインターアクティブ社から利用できるLoadRunn
er6.0自動化インタフェースを使用して実現される。制御装置34は、さら
に、ユーザによって画定される警報状態がないかチェックするために、リアルタ
イムでエージェント32によって生成される性能データのいくつかまたはすべて
を監視する警報エンジン34Dを含む。スケジューラ34Bを使用して、警報エ
ンジン34Dは、ページャー、携帯電話、またはeメールなどの適切な通信方法
によって、オペレータに警報状態を通知するように構成することができる。例え
ば、警報エンジンは、トランザクションサーバの平均応答時間が一定の閾値を超
えると必ず、あるいはトランザクションサーバが任意の場所または組織からアク
セスできなくなると、システム管理者をページングするように構成することがで
きる。警報エンジン34Dは、トランザクションサーバによって戻される、コン
テンツ(例えば、予想されるテキスト文字列または値)に基づく通知を作成する
こともできる。
【0042】 図1に描かれるように、制御装置34は、ローカル記憶装置38内に様々な試
験制御データを記憶する。試験制御データは、一般的には、事前に記録されるト
ランザクション用のテストケースファイル(スクリプトファイル及び関係するデ
ータファイル)、及び作成された様々な監視セッションを指定するセッションフ
ァイルを含む。
【0043】 前述されたように、レポートサーバ36は、エージェント32によってリアル
タイムで報告されるテストケース実行(性能)データにオンラインウェブベース
アクセスを提供する。図1に描かれるように、継続中の分散セッションの性能デ
ータは、好ましい実施形態では、ODBCに準拠するデータベースである中央「
セッション」データベース42の中に記憶される。このデータベース40の1つ
の考えられるスキーマが後述される。図1によって描かれるように、レポートサ
ーバ36の構成要素は、好ましくは、マイクロソフトインターネットインフォメ
ーションサーバ(IIS)などのウェブサーバ36A、セッションデータベース
42へのアクセスを制限するアクセス制御層36B、データベースアクセス層3
6C、及びレポート作成構成要素36Dを含む。データベースアクセス層36C
は、セッションデータベース42と通信するためにMDAC(マイクロソフトデ
ータアクセス構成要素)を使用するアクティブサーバページ(.ASPファイル
)のセットを使用して実現される。ASPページは、新しいエンドユーザをデー
タベース42に追加するなどのタスクを実行するための管理者特権でユーザによ
ってアクセスできる管理ページ(図示されていない)を含む。
【0044】 レポート作成構成要素36Dは、ダイナミックウェブページを作成するための
機能を提供するMicrosoft ActiveX Data Object
s(ADO)を使用して実現される。ダイナミックウェブページは、カスタマイ
ズされた、ウェブベースのレポートサーバを形成するのに使用される、事前に画
定された様々なグラフやチャート(図13から16を参照のこと)を含む。レポ
ートサーバ36はまた、eメール、ファックス、プッシュプロトコル、あるいは
他の伝達方法によってレポートを広めるために構成される。
【0045】 IV.制御装置UI及びセッションセットアップ 図2は、(「プロファイル」とも呼ばれる)例の監視セッションが開かれ、ツ
リーウィンドウに表示されている、制御装置34の好ましい実施形態のためのメ
インスクリーンまたはコンソールを示す。監視セッションの詳細は、エージェン
ト(ホスト)コンピュータに、各エージェントコンピュータに割り当てられたテ
ストケース実行予定、及び各エージェントコンピュータに割り当てられるトラン
ザクションを示す拡大可能なセッションツリー46としてユーザにグラフで提示
される。セッションツリーは、画定されたあらゆる警報状態も示す。図2に示さ
れている簡略な例では、監視セッションは、単一トランザクション「フライト(f
lights)」、及び「5分おき、月曜日から金曜日まで、終日(Every 5 minute(s),
Mon − Fri, all day)」という実行スケジュールを割り当てられた、単一のエ
ージェントコンピュータ「idopc」を使用する。監視セッションは、トラン
ザクション「フライト」の応答時間が10秒を超える(Response time of transa
ction flights 1 > 10.00 sec)と、警報イベントがトリガされるであろう単一警
報を含む。拡大可能なツリーは、有利なことに、ドラッグアンドドロップ及びW
indows(登録商標)オペレーティングシステムによって提供されるその他
の標準的な機能で監視セッションを編集するために使用できる。図16に示され
るように、制御装置のUIは、ユーザがレポートサーバ36からレポートページ
を表示できるブラウザウィンドウも提供する。
【0046】 その一番上のレベルが図2に示される制御装置のメニューは、セットアップウ
ィザード及び警報ウィザード(後述される)を起動すること、既存の監視セッシ
ョンを開き、編集すること、監視セッションを開始、停止すること、監視セッシ
ョンとともに使用されるレポートサーバ36のアドレスを指定すること、データ
ベース42のコンテンツをクリアすること、及び警報通知を送信するために設定
値を指定することを含む、様々なセッション関連タスクを実行するための機能を
提供する。
【0047】 新しい監視セッションを作成するために、ユーザは、制御装置34にセットア
ップウィザード(図3から9)を起動させるPROFILE/NEWを選択する
。図3によって示されるように、ユーザは、最初に、セッション名を指定するよ
うにプロンプトを出される。セッション名は、ある特定の監視セッションのレポ
ートを後に検索したり、表示するための機構を提供する。図4に示されるように
、ユーザは、それから監視セッション内で含まれる過去に作成されたトランザク
ションを指定するための「トランザクション選択(Select Transaction)」画面を
提示される。ユーザは、レコーダ34Aを起動し、新しいトランザクションを記
録するためにNEWボタンを使用することもできる。トランザクションは、オプ
ションで、ウェブページ内の特定の値またはテキスト文字列などの予測されるサ
ーバ応答を指定する検証ポイントを含んでよい。代わりに、トランザクションは
、サーバ応答の内容を検証せずにトランザクションサーバにストレスを与えてよ
い。後述されるように、ユーザは、後に特定のトランザクションまたはトランザ
クションの集合を特定のエージェントコンピュータ40に割り当て、トランザク
ションごとにトランザクションサーバの性能を監視することができる。
【0048】 好ましい実施形態では、ユーザは、何が監視目的で「トランザクション」を構
成するのかを自由に画定することができる。例えば、ユーザは、ユーザセッショ
ンを記録し始め、サーバとの任意の数のユーザ対話を記録し(書式提出、ページ
要求等)、記録を停止してから、ユーザ指定名(例えば、「ブラウズカタログ」
)でトランザクションとして結果を記憶することができる。さらに、トランザク
ションのそれ以後の編集の間、ユーザは、オプションで、トランザクションを複
数のさらに小さいトランザクションに分割したり、それ以外の修正を加えること
ができる。トランザクションは、複数のウェブサイトへのアクセスも含むことが
できる。好ましくは、トランザクションが十分な粒度で性能障害の特定を容易に
することがユーザによって画定される。例えば、ユーザが、各々のこのようなア
プリケーションが独立して監視することができるように、トランザクションサー
バ30上に配備される一時アプリケーションの各々に別個のトランザクションを
作成することを所望することがある。
【0049】 セッション内に含まれるトランザクションは、オプションで特殊な非破壊、つ
まりトランザクションサーバ30の状態を変更しない「合成」トランザクション
を含んでよい。破壊的なトランザクションが使用されると、トランザクションサ
ーバ30は、オプションで、特殊で無害な(非破壊的)方法でこのようなトラン
ザクションを処理するように構成されてよい。これは、例えば、監視目的のため
にダミーアカウントをセットアップすることによって達成されてよい。加えて、
適切なトランザクションサーバ30がそのデータベースをロールバックするよう
に、あるいはそれ以外の場合、ある特定のダミーアカウント、クレジットカード
番号、ユーザ名、またはその他のユニークな要素が使用されるときにトランザク
ションを無視するように事前にプログラミングされてよい。
【0050】 図5の「コンピュータ選択(Select Computers)」画面に示されるように、セッ
トアッププロセスの次のステップは、エージェントグループに含まれる1台以上
のコンピュータを選択することを含む。この画面からADD(追加)ボタンを選
択することによって、ユーザは、使用するために入手できるホストコンピュータ
の標準Windows NT(商標)ツリービューを表示し、そこから選択する
ことができる。ある実施形態では、ツリービューは、エージェント32がインス
トールされるそれらのコンピュータだけを表示する。別の実施形態では、ツリー
ビューは、エージェント32が記憶されていないコンピュータも一覧表示し、ユ
ーザがこのようなコンピュータ上にエージェントを遠隔でインストールするオプ
ションも提供する。前記に示されたように、使用するために入手できるコンピュ
ータは、オプションで、監視サービスプロバイダによって使用可能にされるコン
ピュータを含んでよい。このようなインプリメンテーションでは、セットアップ
ウィザード34は、このようなサービスプロバイダコンピュータ及びその各々の
属性のリストを特殊なインターネットホストから自動的に検索するように構成さ
れてよい。使用可能なサーバのリストを作成し、アクセスするための技法はこの
技術において公知であるため、ここに説明されていない。選択されたコンピュー
タは、各々のノードまたはアイコンとしてセッションツリー46に追加される。
【0051】 ユーザが、セッションツリー46の中でコンピュータが選択された状態でED
IT(編集)ボタン(図5)を選択すると、ユーザは図6に図示されるような「
コンピュータ特性(Computer Properties)」画面を提示される。ユーザは、この
画面からコンピュータに様々な属性(特性)を割り当てる、あるいは過去に割り
当てられた属性を確認することができる。示される例では、属性型は、エージェ
ントコンピュータ40の場所(例えば、都市)、組織(例えば、会計部門)、及
びISPである。提供されてよいそれ以外の事前に画定された属性型は、例えば
、グループ名、コンピュータのオペレーティングシステム、コンピュータが接続
されるルータ、コンピュータのモデムまたはその他の接続速度、(特に、エージ
ェントがブラウザを使用する、またはエミュレートする場合)コンピュータのデ
フォルトウェブブラウザ、及びコンピュータのハードウェア構成を含む。さらに
、制御装置34及びレポートサーバ36は、ユーザに、1つ以上のユーザによっ
て画定される属性型を作成し、このような属性型を、事前に画定された属性型と
同じように使用するオプションを提供してよい。したがって、図中の特定の属性
及び属性型は単に例示的であり、本発明を制限することは意図されていないこと
が理解されなければならない。
【0052】 エージェントコンピュータに割り当てられる属性は、ある特定の属性グループ
(ある特定の属性または属性の集合を共用するコンピュータのグループ)に監視
されるとしてトランザクションサーバの性能を別個に表示するために使用するこ
とができる。例えば、ユーザは、場所属性「サンホセ(San Jose)」ま
たはISP属性「スプリント(Sprint)」のすべてのエージェントコンピ
ュータによって測定される応答時間のグラフを表示することができる。例のレポ
ートは図13から図16に図示され、後述される。ユーザは(後述されるように
)特定の属性に関連付けられた性能データを考慮から排除するために属性一部除
去済みのレポートを作成することもできる。属性グループごとに別々に性能を表
示、監視し、属性一部除去済みのレポートを作成する能力は、属性に特殊な性能
問題を特定するというタスクを大きく促進する。
【0053】 ユーザがコンピュータ選択画面からNEXT(次)ボタンを選択すると、「ト
ランザクション割り当て(Assign Transactions)」画面(図7)が表示される。
ユーザは、この画面から(過去に作成されたトランザクションリストからの)ト
ランザクションをエージェントグループ内の特定のコンピュータに割り当てるこ
とができる。ユーザは、コンピュータごとに、そのコンピュータが割り当てられ
たトランザクションを実行することになる順序も指定できる。トランザクション
はエージェントコンピュータ40に割り当てられるので、トランザクションは、
(コンピュータ「ドルフィン(dolphin)」についての図7と図8に示さ
れるように)その各々のコンピュータの子供達としてセッションツリー46に追
加される。
【0054】 ユーザがトランザクション割り当て画面からNEXT(次)ボタンを選択する
と、ユーザがテストケース実行スケジュールを各コンピュータに割り当てること
ができるようにする「スケジュール割り当て(Assign Schedules)」画面が表示さ
れる(図8)。ユーザがセッションツリー46の中でコンピュータが選択された
状態でSCHEDULE(スケジュール)ボタンを選択すると、「スケジュール
特性(Schedule Properties)」ボックスが表示される(図9)。スケジュール特
性ボックスから、ユーザは、コンピュータに割り当てる、及び/または新しいス
ケジュールを画定するために事前に画定された実行スケジュール(例えば、「ウ
ィークデー(weekdays)」)を選択できる。図9に示されるように、定
期的なスケジュールが使用されてよい。定期的なスケジュールは、オプションで
擬似無作為スケジュールを含んでよい。図8に示されるように、スケジュールは
、各々のエージェントコンピュータの子供として、セッションツリー46に加え
られる。それ以外の実施形態では、スケジュールは、トランザクションごとに割
り当てられてよい。
【0055】 実行スケジュールは、トランザクションサーバ30の連続的またはほぼ連続的
な監視を提供するように選択されてよい。様々なエージェントコンピュータ40
が異なるときにトランザクションサーバ30を監視するように実行スケジュール
をずらすことによって、オプションで、長期間、任意の単一のエージェントコン
ピュータ40を使用することなく、トランザクションサーバ30を、連続的に(
1日あたり24時間)またはほぼ連続的に監視することができる。例えば、エー
ジェントコンピュータ40が地球中で分散される場合、スケジュールは、どのエ
ージェントコンピュータ40もその各々の地域内で従業員作業時間中の試験のた
めに使用されないように割り当てることができる。
【0056】 セットアップウィザードは、ユーザが連続的なまたはほぼ連続的な監視セッシ
ョンをセットアップするのを補助するために、オプションで1つ以上の機能(図
示されていない)を提供してよい。例えば、スケジュールがエージェントコンピ
ュータに割り当てられているので、ウィザードは、累積的な実行スケジュールの
中の「ギャップ」(トランザクションサーバが監視されていない時間)を自動的
に検出及び表示できるだろう。セットアップウィザードは、これらのギャップを
埋める実行スケジュールを自動的に作成するオプションも提供できるだろう。加
えて、少なくとも2台のエージェントコンピュータ40が、つねにテストケース
を実行するように予定され、その結果として単一のエージェントコンピュータの
故障によって、トランザクションサーバが監視されないままにならないことを保
証するための機能が提供できるだろう。
【0057】 ユーザがスケジュール割り当てボックスからFINISH(終了)ボタン(図
8)を選択すると、セットアップウィザードが閉じ、ユーザは完全なセッション
ツリー46のビューを提示される。この時点で、制御装置34は、テストケース
と実行スケジュールを各々のエージェントコンピュータ40にディスパッチし、
様々なセッション構成データ(エージェントコンピュータのセッション名、トラ
ンザクション識別子、属性等)を、セッションデータベース42内での記憶のた
めにレポートサーバ36に送信する。制御装置40は、監視セッションの表現を
ローカル記憶装置38にも記憶する。制御コンピュータ35との間での情報の一
般的な流れは、図17と図18のデータフロー図に関して後述される。セットア
ッププロセスが完了すると、監視セッションは、ユーザによって停止または終了
されるまで無期限に続行される。
【0058】 制御装置のコンソール(図2)内でセッションが開いた状態で、ユーザは、警
報ウィザード(Alerts Wizard)(図10から図12)を起動するためにメインメ
ニューからALERT/ADD(警報/追加)を選択することができる。図10
に示されるように、警報ウィザードは、警報生成の目的でリアルタイムで監視す
るために、ユーザが応答時間、可用性、パス/フェイル・ステータス、及び応答
データサイズを含む1つ以上の性能パラメータを指定できるようにする。チェッ
クボックス70を選択することによって、ユーザは、指定された時間枠でのパラ
メータの平均など、監視するために一定のパラメータ統計を指定することができ
る。
【0059】 図11と図12に示されるように、警報ウィザードは、監視されるパラメータ
についての通知基準を指定するための画面も提供する。図11に示される例では
、ユーザは、平均応答時間が指定閾値を超える、あるいは指定された頻度の閾値
(例えば、毎分10回)を超えるときはいつも通知されることを要求できる。図
12に示されるように、ユーザは、ページャーまたはeメールによって、警報状
態を通知されることを要求することもできる。
【0060】 警報ウィザードは、ある種類のトランザクションが失敗するとき、及び/また
は失敗が特定の属性グループ内で検出されるときに通知されるオプション(示さ
れていない)を提供してもよい。このオプションを使用して、ユーザは、ユーザ
の各々の責任領域内に該当する問題が検出されるときはつねに通知されることを
要求できる。例えば、ある特定のビジネスプロセスを担当するシステム管理者は
、そのビジネスプロセスに対応するトランザクションが失敗するときに通知され
てよい。一般的な失敗を通知されるのを回避するために、この通知は、その他の
種類のトランザクションが無事に完了することを条件に作成されてよい。この特
徴のそれ以外の例は、以下を含む。すなわち、そのISPを使用する閾値数のエ
ージェントコンピュータがトランザクションサーバ(オプションで、トランザク
ションサーバが他のISPからアクセスできることを条件に)にアクセスできな
いときに、ISP管理者を通知すること、及びその事務所内の閾値数のエージェ
ントコンピュータ40が、トランザクションサーバ(オプションで、トランザク
ションサーバがその他の事務所からアクセスできることを条件に)にアクセスで
きないときにある特定の事務所を担当するシステム管理者に通知することである
【0061】 本発明のその他の実施形態では、制御装置34の様々な機能は、レポートサー
バ36によって全体的にまたは部分的に実現できるだろう。例えば、警報ウィザ
ードの前述された機能、及び警報エンジン34Dの関連付けられる機能性は、ユ
ーザが警報状態を遠隔でセットアップし、修正できるように、さらにまたは代わ
りにレポートサーバ36によって実現できるだろう。警報状態がないかチェック
するタスクもエージェント32で実行できるだろう。
【0062】 ある実施形態では、従来のウェブブラウザを使用してインターネット上でアク
セスされるサービスとしてのASP(アプリケーションサービスプロバイダ)は
、制御装置34の上位装置として働く。ASPのサーバを通して、各々のカスタ
マには、テストケースとセッションファイルのその各々のリポジトリへの安全な
アクセスが与えられる。監視セッションをセットアップするためのサービスのユ
ーザインタフェースは、通常、図2から図12に示されるのと同じであってよく
、ダイアログボックスは対応するウェブページで置き換えられる。テストスクリ
プト(トランザクション)は、サーバ側レコーダを使用して記録されてよい、及
び/またはダウンロード可能なレコーダを使用してカスタマによって記録されて
からサーバにアップロードされてよい。レポートサーバ36及び/またはエージ
ェントコンピュータ40も動作してよいASPは、それ以外、つまり、監視され
るトランザクションの種類の数、トランザクション実行イベントの数、使用され
るハードウェアリソースの量、及び監視セッションの時間スケジュールと期間だ
けではなく、以下の基準の1つ以上に基づく監視セッションについてもカスタマ
に請求してよい。このようにして制御装置34を動作する1つの重要な利点とは
、特殊ソフトウェアに対する必要なしに、インターネットアクセスを有する任意
のコンピュータから監視セッションを開始及び修正できるという点である。別の
利点とは、カスタマの、制御装置ソフトウェアをインストールし、維持しなけれ
ばならない重荷が軽減されるという点である。
【0063】 制御装置34がサービスとして上位装置として働かされる実施形態では、実行
スケジュールをエージェントコンピュータ40に割り当てるタスクは、エンドユ
ーザによってよりむしろ、ASPによって実行されてよい。この戦略は、それに
よりASPが、同時に存在できる分散監視セッションの総数を一般的に最大限に
するために負荷をエージェントコンピュータ全体に分散することができるため、
エージェントコンピュータ40が多くの異なるカスタマによって共用される場合
に特に有効である。カスタマがカスタマ自身のエージェントコンピュータ40の
実行スケジュールを制御するハイブリッドな方法も考えられるが、ASPは、A
SPの制御下にいる共用されたエージェントコンピュータの実行スケジュールを
管理する。
【0064】 さらにほかの実施形態では、制御装置34は、トランザクションサーバのオペ
レータのイントラネットなどの個人のイントラネット上のサーバが制御装置34
の上位装置として働いてよい。このような構成では、制御装置は、好ましくは、
ASPが上位装置として働いた場合と同じに動作するが、オペレータにとっては
プライベートである。
【0065】 V.性能レポート 図13から図15は、トランザクションサーバ30の遠隔監視を容易にするた
めにレポートサーバ36により提供されてよいグラフまたはチャートの種類の例
を示す。図13から図15に示される例は、5つのトランザクション、つまり注
文入力、在庫検出中のアイテム、注文ステータスのブラウズ、アカウント更新及
びストックから購入を含む監視セッションを示す。トランザクションは、4つの
地理的な地域に位置するエージェントコンピュータ40から実行されている。つ
まり、ニューヨーク、日本、英国、及びサンフランシスコである。複数のエージ
ェントコンピュータが、各々のこのような場所で使用されてよい。地理的な場所
の名前及び粒度は、セットアッププロセスの間にオペレータが画定することがで
きる。
【0066】 グラフは、特定の時間フレーム(この例では現在の日)上で監視されるトラン
ザクションサーバの性能の様々な態様を示す。第1グラフ76(図13)は、5
つのトランザクションごとの最小トランザクション時間、平均トランザクション
時間及び最大トランザクション時間を示す。第2グラフ78(図13)は、トラ
ンザクションを区別するためにカラーコード化方式を使用して、トランザクショ
ンごとの、および毎時間隔ごとの平均応答時間を示す。第3グラフ80(図14
)は、レベルごとにユニークな色を使用して、5つのトランザクションごとのサ
ービスレベルの分布を示す。第4グラフ82は、毎時間隔及びトランザクション
ごとに、失敗したトランザクションのパーセンテージを示す。
【0067】 図13に示されるように、レポートページは、好ましくは、ユーザが性能デー
タのカスタマイズされたビュー及び属性が一部除去されたビューを生成できるよ
うにするために、様々なリンク及び制御を含む。例えば、ユーザが「注文ステー
タスをブラウズ」トランザクションに「ドリルダウン」リンクを選択する場合、
図15のグラフ84,86を含むページが表示される。両方のグラフ84,86
とも、場所に依存した問題点を特定するために望ましい場合があるように、場所
によって分けられる注文ステータスブラウズ(Browse Order St
atus)とトランザクションのサーバ応答時間の態様を示す。これらのグラフ
84,86中の水平線は、ユーザによって画定される警報閾値を表す。ユーザは
注文ステータスブラウズトランザクションの場所に依存するグラフを表示するた
めに(場所に特殊なドリルダウンリンク90を選択することによって)このペー
ジから追加レベルをドリルダウンすることができる。
【0068】 さらに、図13から図15に関して、「レポートパラメータ」ウィンドウ86
によって、ユーザは、様々なグラフ及びチャートを作成するために使用される時
間枠及び/または分解方法を修正することができる。分解方法を修正することに
より、ユーザはトランザクションごとに、及びエージェントコンピュータの属性
ごとに性能データを表示できる。ある実施形態では、性能データは、トランザク
ション(図13と図14に示される)ごとに、場所(図15に示される)ごとに
、組織(示されていない)ごとに、及びISP(示されていない)ごとに表示す
ることができる。それ以外の実施形態では、性能データは、オペレータによって
画定される属性型を含むその他の属性型に従って分類することができる。
【0069】 「フィルタ」オプション88(図13から図15)によって、ユーザは、トラ
ンザクション単位で、及び属性の各々の単位で表示される情報を部分的に除去す
ることができる。この特徴を使用して、ユーザは、例えば、ある特定のトランザ
クション、場所、組織、ISPまたはその組み合わせに対応する性能データをふ
るってレポートから一部除くことができる。ある実施形態(図示されていない)
では、ユーザは、監視セッションで使用される各トランザクション及び各属性の
各々のチェックボックスを含むウェブ形式を完了することによって適用されるフ
ィルタを特定する。存在する場合、フィルタの適用は、グラフの上部にある注記
によって示される(例えば、「トランザクション:すべて 場所:英国、ニュー
ヨーク 組織:会計、マーケティング」)。
【0070】 グラフリストオプション90は、ユーザが、メインステータスレポートページ
上に表示されることになるデフォルトグラフの集合を指定できるようにする。「
設定値」オプション92は、ユーザが、「自動リフレッシュ」速度(例えば、5
分おき)及びレポートの中で使用される開始日/時刻などのその他の種類の設定
値を調整し、保存できるようになる。
【0071】 図16は、レポートサーバ36によって作成されてよい例「トランザクション
ヘルス分散」チャートを示す。この例では、チャートは、制御装置のインタフェ
ースのブラウザウィンドウを通して表示されている。チャートは2次元マトリッ
クスの形を取る。水平寸法は、数時間から数年の範囲で、ユーザによって修正で
きる時間枠を表す。この例では、列は(チャートの上部に沿って表示されるよう
な)当日の時間を表し、行は(左側に一覧表示されるような)監視されているト
ランザクションを表す。マトリックスのセルは、特定の時間枠の間の特定のトラ
ンザクションの応答時間を反映するために、カラーコード化される。各時間及び
各トランザクションは、選択時、ビューを変更させるハイパーリンクである。例
えば、ユーザがある特定の1時間をクリックすると、時間フレームはまさにその
1時間変化し、マトリックスの水平寸法はさらに小さい(例えば、5分または1
0分の)間隔に分割される。同様に、ユーザがトランザクションリンクをクリッ
クすると、垂直寸法は、チャートが、地理学上の場所(あるいはおそらく別のコ
ンピュータ属性)に従って分割され、選択されたトランザクションだけを示すよ
うに変化する。
【0072】 前記例から明らかになるように、オペレータによって指定される属性を含む、
エージェントコンピュータの属性に基づいて性能データを別々に表示し、一部除
去する能力は、属性に特殊な問題を特定するというタスクを大幅に簡略化する。
特定の属性型は、例のレポートに示されているが、示される特徴が、ユーザによ
って割り当てられる属性型を含むその他の種類の属性に適用することができるこ
とが理解されなければならない。
【0073】 レポートサーバ36は、好ましくは、発生した様々な警報イベントについての
情報を含む警報チャート(図示されていない)へのアクセスも提供する。警報イ
ベントごとに、このチャートは、例えば、警報名、警報重大度のカラーコード化
された表示、警報イベントの時刻、講じられた処置(例えば、「admin@m
erc−int.comに送信されるeメール」または「ログ済み専用」)、及
び送信された任意の警報メッセージのテキストを含んでよい。
【0074】 VI.データフロー及びデータベースコンテンツ 一般的な監視セッションのセットアップ及び実行中の構成要素間の情報の一般
的な流れは、ここで図17から図19に関して説明されるだろう。
【0075】 図17は、監視セッションの「セットアップ」または「プログラミング」段階
を示す。図17で左から右への矢印によって描かれるように、ユーザがセットア
ッププロセスを完了すると、制御装置34は、各々のエージェント32にテスト
ケース(トランザクション)及びスケジュールをディスパッチする。エージェン
ト32が遠隔エージェントコンピュータ40に常駐する場合、テストケース及び
スケジュールは、HTTPまたはAPI呼び出し経由の別のTCP/IPベース
のプロトコルを使用し、インターネット上で通信される。さらに図17に描かれ
るように、制御装置は、セッションデータベース42での記憶のために、(好ま
しくはHTTPを使用して)セッション構成データもレポートサーバ36に送信
する。構成データは、セッション名、エージェントコンピュータ40の識別子と
特性(属性)、及びトランザクションの識別子と名前を含む。レポートサーバ3
6が複数のビジネスエンティティにサービスを提供する場合、構成データは、セ
ッションが対応するビジネスエンティティのユーザ名またはその他の識別子も含
んでよい。
【0076】 表1は、ある例の実施形態について、監視セッションごとにセッションデータ
ベース42で作成され、レポートを作成するために使用されるテーブルを要約す
る。多岐に渡る代替データベーススキーマのいずれもが使用できるだろう。レポ
ートに表示される様々な測定規準(例えば、ある特定のウィンドウでの平均応答
時間)が、イベントメータテーブルの中に記憶されるデータを使用して計算され
る。
【0077】
【表1】 図17の下方矢印によって描かれるように、ユーザによってセットアップされ
るあらゆる警報が、セッション構成データとともに、ローカル記録装置38に記
憶される。警報は、さらに、または代わりに、レポートサーバ36に通信されて
よく、その場合、レポートサーバは警報状態がないかチェックし、警報状態をユ
ーザに通知するというタスクを取り扱ってよい。
【0078】 図18は、エージェントがテストケースを実行するときの代表的な遠隔エージ
ェント32のデータの流れを示す。実行プロセス中、エージェントは、応答時間
などの1つ以上の事前に画定された性能パラメータを監視しつつ、トランザクシ
ョンサーバ30とインターアクションをする(例えば、HTTPポストメッセー
ジ及び取得メッセージをトランザクションサーバ30に送信する)。エージェン
ト32は、テストケース内で画定されるあらゆる検証ポイント(例えば、予想値
またはテキスト文字列)もチェックする。各トランザクションを完了すると、エ
ージェント32は、HTTPまたは別のTCP/IPベースのプロトコルを使用
して制御装置34に結果として生じるトランザクション実行データを送信する。
トランザクション実行データは、好ましくはトランザクションID、トランザク
ションのための性能データ(応答時間及びパス/フェイル・ステータス)、トラ
ンザクション時間/日付スタンプ、及びエージェントコンピュータ40のホスト
IDを含む。エージェントは、代わりに、さらに頻繁に、またはより頻繁ではな
く(例えば、サーバ応答あたり1度またはテストケース実行あたり1度)その実
行を報告するように設計できるだろう。制御装置34は、性能データを任意の事
前に画定された警報状態に比較する。通知メッセージが画定された警報状態が満
たされると、制御装置は適切なエンティティに(図18中破線で表される)警報
通知メッセージを送信する。警報通知メッセージを受信すると、受信者は、関連
付けられた性能データを報告したエージェントコンピュータの場所または組織な
どの、警報イベントの詳細を得るためにレポートサーバ36にログインできる。
警報イベントは、制御装置コンピュータにローカルに記憶され、セッションツリ
ー46内に表示することもできるだろう。
【0079】 図18によってさらに描かれるように、制御装置34は、セッションデータベ
ース42の中への挿入のために(好ましくはHTTPプロトコルを使用して)ト
ランザクション実行データ及び任意の満たされた警報状態をウェブレポートサー
バ36に転送する。エージェント対制御装置の通信の場合でのように、制御装置
は、好ましくはトランザクション実行データを、トランザクション単位で実質的
にリアルタイムでレポートサーバ36に転送する。これは、自動化インタフェー
ス34C(図1)のAPIを通して好ましい実施形態で達成される。警報イベン
トが、警報エンジン34Dによって検出され、リアルタイムでレポートサーバ3
6に報告される。複数のエージェント32が同時にテストケースを実行するよう
に予定される場合、制御装置34は、複数のエージェントからのデータストリー
ムを同時に処理する。メイン制御装置ループは、このようにして以下の形を取る
。 Vuser(エージェント)からのメッセージを待機 API呼び出しを介しウェブレポートサーバへメッセージを送る ApmApi_reportTransaction (トランザクション、ホスト、ステータス値) 警報エンジンにメッセージを送る 待機に戻る 図18に示されるデータフロープロセスの様々な代替策が考えられる。例えば
、エージェント32は、トランザクション実行データを直接的にレポートサーバ
36に送信することができ、その場合、レポートサーバ30は、オプションで実
行データ(例えば、警報状態専用)のいくらかまたはすべてを制御装置に転送す
るだろう。加えて、指定される場所または組織内のすべてのエージェントコンピ
ュータ40が、制御装置34またはレポートサーバ36への伝送のため、あるい
はそれによる検索のためにそれらの性能データを集めるように構成できるだろう
。加えて、警報状態がないかチェックし、ユーザに警報状態を通知するタスクは
、制御装置34によってではなくむしろ、エージェント32によって、及び/ま
たはレポートサーバ30によって実行できるだろう。さらに、エージェント32
は、トランザクション実行データを「部分的に除去する」ように構成することが
でき、その結果として一定の事前に画定される基準を満たすそれらのトランザク
ションだけが報告される。これらの及びその他の代替策は、任意にユーザによっ
て構成可能なオプションとして提供できるだろう。
【0080】 図19は、標準ウェブブラウザ100を使用して、セッションデータベース4
2に遠隔でアクセスするプロセスを示す。示されるように、ユーザは、最初にユ
ーザ名/パスワードの組み合わせまたはそれ以外の認証方法を使用して自分のア
カウントにログインする。それ以降、ユーザは、そのアカウントに対応する1台
以上のサーバのために(前述されるような)カスタマイズされたリアルタイムの
ステータスレポートを表示する。レポートページが要求されると、データベース
42はアクセスされ、プログラミング方法を使用して計算される様々な性能測定
規準が、当業者によって公知であるプログラミング方法を使用して計算される。
【0081】 VII.検出及び報告の問題の付加的特徴 エラー状態及び性能問題を検出、報告するための3つのオプションの特徴がこ
こで説明されるだろう。これらの特徴の3つすべては、好ましくはエージェント
構成要素32の実行可能コードを通して部分的に実現される。
【0082】 このような特徴の第1は、トランザクション実行中にトランザクションサーバ
30によって戻される画面をエージェントコンピュータ40に捕捉させてから、
トランザクションが成功ではない場合は、これらの画面捕捉をレポートサーバ3
6に転送させることを含む。エンドユーザがレポート内で失敗したトランザクシ
ョンをドリルダウンすると、レポートサーバ36は、失敗したトランザクション
のための画面表示の捕捉されたシーケンスを表示する、または表示するオプショ
ンを提示する。例えば、失敗したトランザクションがウェブページ上での予期さ
れていない、または紛失したメッセージを含んでいた場合、ユーザは予期せぬ応
答を先行した(エージェントによって提出される任意の形式データを含む)ウェ
ブページだけではなく、ウェブページ全体を表示できるだろう。この特徴の重要
な利点とは、ユーザが、失敗したトランザクションにつながったイベントのシー
ケンスを表示する能力である。
【0083】 図20は、エージェント構成要素32内で実現される場合の画面捕捉プロセス
を示す。ブロック110から116によって描かれるように、エージェント32
がトランザクションサーバ30に要求を提出するたびに、エージェントは、トラ
ンザクションサーバによって戻される画面を捕捉し、この応答を、トランザクシ
ョン内で画定される、関連付けられた検証ポイントに対して比較する。画面表示
は、好ましくはビットマップイメージとして記憶されるが、代わりにHTML文
書及び関連付けられるオブジェクトなどの別の形式で記憶されてもよい。
【0084】 トランザクションが終了すると、エージェント32は、トランザクションが無
事に完了したか否かを判断する。トランザクションは、例えばタイムアウトイベ
ントが発生する場合、不成功として処理されてもよい。トランザクションが失敗
した場合、エージェント32は、後の表示のために、結果的にセッションデータ
ベース42に画面表示を記憶するレポートサーバ36に、捕捉された画面表示の
シーケンスを表示する(ブロック120)。画面表示は、さらに、または代わり
に、表示のためにeメールによって人間のオペレータに送信できるだろう。トラ
ンザクションが無事に完了した場合には、画面表示は、レポートサーバ36に転
送されることなく廃棄される。
【0085】 エージェント32に組み込まれてよい第2の特徴は、エージェントコンピュー
タ40とトランザクションサーバ30との間のネットワーク経路に沿って生じる
セグメント遅延を測定し、報告する能力である。セグメント遅延は、好ましくは
、市販されているマーキュリーインターアクティブ社のLoadRunner6
.0製品のNetwork Monitor構成要素を使用して測定される。好
ましくは、エージェント32のいくつかまたはすべては、経路遅延が事前に書き
込まれていた閾値を超えるときに(その各々のエージェントコンピュータ40の
上で)Network Monitorを起動するように、制御装置34を介し
て構成される。これらの閾値は、監視セッションをセットアップするときに、オ
プションで、ユーザによって指定されてよい。起動時、Network Mon
itorは、公知の方法を使用して、関連するエージェントコンピュータ40と
トランザクションサーバ30の各セグメントに沿って遅延を測定する。それから
、エージェント32は、これらの測定値を、ユーザが測定値をドリルダウンし、
表示できるようにするレポートサーバ36に報告する。測定された遅延は、Lo
adRunner6.0内に提供される好ましくは標準セグメント遅延及び経路
遅延のグラフを使用して提示される。セグメント遅延データは、例えば、ルータ
問題またはネットワークアーキテクチャ内のネックを検出するために使用されて
よい。
【0086】 第3の特徴は、ウェブサイト内での「中断されたリンク」(アクセス不可能な
ファイルまたはその他のオブジェクトへのリンク)を検出、報告するエージェン
ト32の能力に関わる。この特徴を使用して、ユーザは、ウェブサイトを定期的
に(例えば、一日に一度)徐行し、中断されたリンクがないかチェックするため
、及び発見される任意の中断されたリンクを報告するために、エージェントコン
ピュータ40の1台以上を遠隔でプログラムすることができる。中断リンクの位
置が見つかると、中断リンクのリストは、表示のため、及び/またはeメールに
よってユーザに送信されるためにレポートサーバ36に自動的に掲示されてよい
。各々の中断リンクは、見失われたオブジェクト及び中断されたリンクを含むペ
ージの各々の場所を示す、URLペアの形でユーザに報告されてよい。ウェブサ
イトを徐行し、中断リンクがないかチェックするための技法は、その技術におい
て公知であり、例えば、マーキュリーインターアクティブ社の米国特許第5,9
58,008号公報に記載されている。エージェント32によって検出される他
の種類の装置での場合と同じように、ある特定のオブジェクトが、いくつかのエ
ージェントコンピュータ40からアクセスできるが、他のエージェントコンピュ
ータからはアクセスできないとき、レポートサーバ40は、好ましくは、ユーザ
が、問題を経験したエージェントコンピュータの属性を別々に表示できるように
する。
【0087】 発明は、一定の好ましい実施形態という点で説明されてきたが、ここに述べら
れている特長及び優位点のすべてを提供しない実施形態を含む、通常の技術の熟
練者に明らかであるその他の実施形態も本発明の範囲内である。したがって、本
発明の範囲は、以下の請求項により画定される。方法クレームでは、参照符号は
説明の便宜上使用されるだけであり、方法を実行するある特定の順序を示さない
【図面の簡単な説明】
【図1】 監視ツールの一般的なアーキテクチャを示し、ウェブベースのト
ランザクションサーバの性能を監視するために、監視ツールがどのようにして使
用されてよいのかを示す。
【図2】 図1に描かれている制御装置のメインユーザインタフェース画面
を示す。
【図3】 監視セッションをセットアップするために使用される制御装置の
セットアップウィザード画面を示す。
【図4】 監視セッションをセットアップするために使用される制御装置の
セットアップウィザード画面を示す。
【図5】 監視セッションをセットアップするために使用される制御装置の
セットアップウィザード画面を示す。
【図6】 監視セッションをセットアップするために使用される制御装置の
セットアップウィザード画面を示す。
【図7】 監視セッションをセットアップするために使用される制御装置の
セットアップウィザード画面を示す。
【図8】 監視セッションをセットアップするために使用される制御装置の
セットアップウィザード画面を示す。
【図9】 監視セッションをセットアップするために使用される制御装置の
セットアップウィザード画面を示す。
【図10】 制御装置の警報ウィザードの画面を示す。
【図11】 制御装置の警報ウィザードの画面を示す。
【図12】 制御装置の警報ウィザードの画面を示す。
【図13】 図1のウェブレポートサーバによって提供されるステータスレ
ポートウェブページ例を示す。
【図14】 図1のウェブレポートサーバによって提供される例のステータ
スレポートウェブページを示し、ユーザが、「ブラウズ注文ステータス」トラン
ザクションについて、図13のドリルダウンリンクを選択するときに戻される代
表的な「ドリルダウン」ページを示す。
【図15】 図1のウェブレポートサーバによって提供される例のステータ
スレポートウェブページを示す。
【図16】 図1のウェブレポートサーバによって提供される例のステータ
スレポートウェブページを示す。
【図17】 監視セッションのセットアップと実行との間の構成要素間の情
報の流れを示すフロー図である。
【図18】 監視セッションのセットアップと実行との間の構成要素間の情
報の流れを示すフロー図である。
【図19】 監視セッションのセットアップと実行との間の構成要素間の情
報の流れを示すフロー図である。
【図20】 失敗したトランザクションに関する画面表示を捕捉するための
プロセスを示す。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),OA(BF,BJ ,CF,CG,CI,CM,GA,GN,GW,ML, MR,NE,SN,TD,TG),AP(GH,GM,K E,LS,MW,MZ,SD,SL,SZ,TZ,UG ,ZW),EA(AM,AZ,BY,KG,KZ,MD, RU,TJ,TM),AE,AG,AL,AM,AT, AU,AZ,BA,BB,BG,BR,BY,BZ,C A,CH,CN,CR,CU,CZ,DE,DK,DM ,DZ,EE,ES,FI,GB,GD,GE,GH, GM,HR,HU,ID,IL,IN,IS,JP,K E,KG,KP,KR,KZ,LC,LK,LR,LS ,LT,LU,LV,MA,MD,MG,MK,MN, MW,MX,MZ,NO,NZ,PL,PT,RO,R U,SD,SE,SG,SI,SK,SL,TJ,TM ,TR,TT,TZ,UA,UG,UZ,VN,YU, ZA,ZW Fターム(参考) 5B042 GA10 GA12 GA19 GB01 HH20 MA08 MC18 MC31 MC37 5B085 AC12 BA06 BG07 5B089 GB02 GB08 JA35 JB19 KA12 KB14 MC01 MC13 MC16 【要約の続き】 ワーク経路に沿った測定されたセグメント遅延、及び 「中断された」ウェブサイトリンクの識別子を含んでよ い。許可された人員は、一連のカスタマイズ可能なレポ ートを介して収集された性能データを表示するために、 標準的なウェブブラウザを使用してレポートサーバ(3 6)にアクセスできる。制御装置(34)を使用して、 ユーザは、トランザクションサーバ(30)の連続監視 またはほぼ連続監視に備える定期的な予定を含む、エー ジェントコンピュータ(40)にテストケース実行予定 を割り当てることもできる。さらに、ユーザは、人員が (例えば、ページャーなどにより)問題をただちに通知 される警報状態を指定することができる。制御装置(3 4)及びレポートサーバ(36)は、場所、組織及びこ のようなコンピュータのISPなどのエージェントコン ピュータ(40)の属性に従ってユーザがトランザクシ ョンサーバ(30)の動作を監視できるようにするため の機能も提供する。

Claims (47)

    【特許請求の範囲】
  1. 【請求項1】 (a)トランザクションサーバの性能を監視しつつ、シミュ
    レートされたユーザとして配備されたトランザクションサーバでトランザクショ
    ンを実行するように複数のコンピュータをプログラミングするステップと、 (b)コンピュータの少なくともいくつかが他のものとは異なる属性を有するよ
    うに、複数のコンピュータに属性を割り当てるステップと、 (c)ステップ(a)の結果として複数のコンピュータによって生成される性能
    データを受信、記憶し、性能データがトランザクションサーバの性能の少なくと
    も1つのパラメータを示すステップと、 (d)ステップ(b)で割り当てられる複数の属性の各々に別々に性能データを
    表示するステップと、 を有する、配備されたトランザクションサーバの性能を監視するための方法。
  2. 【請求項2】 ステップ(d)は、複数の地理的な場所の各々から監視され
    るようにトランザクションサーバの性能を別々に示すレポートを作成することを
    含む、請求項1に記載の方法。
  3. 【請求項3】 ステップ(d)は、複数の組織の各々から監視されるような
    性能を別々に示すレポートを作成することを含む、請求項1に記載の方法。
  4. 【請求項4】 ステップ(d)は、複数のインターネットサービスプロバイ
    ダの各々を通して監視される場合の性能を別々に示すレポートを作成することを
    含む、請求項1に記載の方法。
  5. 【請求項5】 ステップ(a)は、複数のコンピュータに自動化された実行
    スケジュールを割り当て、実行スケジュールはトランザクションを実行するため
    のタイミングを指定することを含む、請求項1に記載の方法。
  6. 【請求項6】 ステップ(a)は、トランザクションサーバからの応答の、
    ユーザによって選択される内容を検証するために複数のコンピュータのいくつか
    をプログラミングすることを含む、請求項1に記載の方法。
  7. 【請求項7】 ステップ(a)は、テストケースをコンピュータにディスパ
    ッチする制御装置プログラムを使用して、複数のコンピュータの少なくともいく
    つかを遠隔でプログラミングすることを含む、請求項1に記載の方法。
  8. 【請求項8】 制御装置プログラムは、ウェブベースサービスとしてサーバ
    上でホスト(host)される、請求項7に記載の方法。
  9. 【請求項9】 性能データが警報状態を満たすときに、警報メッセージを作
    成し、伝送することを、さらに含む、請求項1に記載の方法。
  10. 【請求項10】 警報状態が、複数のコンピュータの属性に特定なサブセッ
    トに特定である、請求項9に記載の方法。
  11. 【請求項11】 ステップ(c)は、トランザクションが実行されるにつれ
    て実質的にはリアルタイムで性能データを受信し、記憶することを含む、請求項
    1に記載の方法。
  12. 【請求項12】 複数のコンピュータの内の1台以上によって無害(非破壊
    的)に実行される、有害(破壊的)なトランザクションを処理するように、トラ
    ンザクションサーバをプログラミングすることを、さらに含む、請求項1に記載
    の方法。
  13. 【請求項13】 複数のコンピュータの少なくともいくつかが、トランザク
    ションサーバのエンドユーザによって使用されるコンピュータである、請求項1
    に記載の方法。
  14. 【請求項14】 性能データは、失敗したトランザクションの間にトランザ
    クションサーバによって戻される画面表示のシーケンスを含む、請求項1に記載
    の方法。
  15. 【請求項15】 性能データは、複数コンピュータの1台以上によって測定
    されるネットワークセグメント遅延を含む、請求項1に記載の方法。
  16. 【請求項16】 性能データは、複数のコンピュータの1台以上によって検
    出される中断されたウェブサイトリンクの識別子を含む、請求項1に記載の方法
  17. 【請求項17】 トランザクションサーバの配備後動作を監視するために監
    視セッション内に含むための複数のコンピュータを選択し、 トランザクションサーバを行使、監視するために複数のコンピュータにトラン
    ザクションを割り当て、 複数の属性ごとに別々にトランザクションサーバの監視を可能とするために、
    複数のコンピュータの特定のコンピュータに属性を割り当てる、 機能を、コンピュータによって実行されるときに、少なくとも提供する、制御
    装置プログラムを記憶するコンピュータ読み取り可能媒体。
  18. 【請求項18】 属性は、コンピュータが位置する組織の名前を含む、請求
    項17に記載のコンピュータ読み取り可能媒体。
  19. 【請求項19】 属性は、コンピュータが位置する地理的な地域の名前を含
    む、請求項17に記載のコンピュータ読み取り可能媒体。
  20. 【請求項20】 属性は、(a)コンピュータによって使用されるインター
    ネットサービスプロバイダ、及び(b)コンピュータが結合されるルータの少な
    くとも1つ、を含む、請求項17に記載のコンピュータ読み取り可能媒体。
  21. 【請求項21】 属性はコンピュータの構成を含む、請求項17に記載のコ
    ンピュータ読み取り可能媒体。
  22. 【請求項22】 制御装置プログラムは、複数の異なるコンピュータに複数
    のトランザクションを割り当てるオプションを提供する、請求項17に記載のコ
    ンピュータ読み取り可能媒体。
  23. 【請求項23】 制御装置プログラムは、トランザクションを実行するため
    の複数のコンピュータに、実行スケジュールを割り当てるための機能を提供する
    、請求項17に記載のコンピュータ読み取り可能媒体。
  24. 【請求項24】 制御装置プログラムは、ユーザが実行スケジュールを画定
    するためのオプションを提供する、請求項23に記載のコンピュータ読み取り可
    能媒体。
  25. 【請求項25】 制御装置プログラムは、トランザクションが対応するコン
    ピュータの子供として表されるツリーとしてユーザに対して監視セッションをグ
    ラフィックに表す、請求項17に記載のコンピュータ読み取り可能媒体。
  26. 【請求項26】 制御装置プログラムは、ツリー内の各々の子供としてコン
    ピュータに割り当てられる実行スケジュールを、さらに表す、請求項25に記載
    のコンピュータ読み取り可能媒体。
  27. 【請求項27】 表示のためにトランザクションサーバ性能データを分離す
    るために割り当てられた属性を使用するレポートサーバ構成要素と組み合わされ
    る、請求項17に記載のコンピュータ読み取り可能媒体。
  28. 【請求項28】 コンピュータが制御装置プログラムによって遠隔でプログ
    ラムできるようにするために、複数のコンピュータにインストールされるように
    適応されるエージェント構成要素と組み合わされる、請求項17に記載のコンピ
    ュータ読み取り可能媒体。
  29. 【請求項29】制御装置プログラムは、警報状態を指定するユーザオプショ
    ンを提供する、請求項17に記載のコンピュータ読み取り可能媒体。
  30. 【請求項30】 制御装置プログラムは、複数の属性の部分集合に特定であ
    る警報状態を画定するオプションを提供する、請求項29に記載のコンピュータ
    読み取り可能媒体。
  31. 【請求項31】 制御装置プログラムは、複数のコンピュータにトランザク
    ションをディスパッチするための機能を実現する、請求項17に記載のコンピュ
    ータ読み取り可能媒体。
  32. 【請求項32】 制御装置プログラムは、トランザクションを記録するため
    の機能を含む、請求項17に記載のコンピュータ読み取り可能媒体。
  33. 【請求項33】 制御装置プログラムは、ユーザが、トランザクションサー
    バからの予期される応答を指定するための機能を含む、請求項17に記載のコン
    ピュータ読み取り可能媒体。
  34. 【請求項34】 トランザクションサーバが、グループによって実質的に連
    続して監視されるように、トランザクションサーバの性能を監視しつつ、シミュ
    レートされたユーザとして配備されたトランザクションサーバにアクセスするよ
    うにコンピュータのグループを遠隔でプログラミングし、 警報状態がないかチェックするために実質的にはリアルタイムでグループによ
    って作成される性能データを監視し、 警報状態の検出に応えて警報通知メッセージを作成する、 配備されたトランザクションサーバを監視するための方法。
  35. 【請求項35】 警報状態は、グループのコンピュータの属性に基づいたサ
    ブセットに特定である、請求項34に記載の方法。
  36. 【請求項36】 実質的にリアルタイムでデータベースに性能データを記憶
    し、 遠隔オンラインアクセスをデータベースに提供する、 ことをさらに含む、請求項34に記載の方法。
  37. 【請求項37】 オンラインアクセスを提供することが、性能データを表示
    するための時間枠を指定するオプションをユーザに提供することを含む、請求項
    36に記載の方法。
  38. 【請求項38】 グループはトランザクションサーバのエンドユーザのコン
    ピュータを含む、請求項34に記載の方法。
  39. 【請求項39】 エージェント構成要素が、トランザクションサーバの性能
    を監視しつつ、トランザクションサーバのシミュレートされたユーザとしてトラ
    ンザクションを実行するように適応されて、トランザクションサーバのエンドユ
    ーザのコンピュータを含む、複数のコンピュータ上にエージェント構成要素がイ
    ンストールされ、 インストールされるエージェント構成要素によって実行されるトランザクショ
    ンを複数のコンピュータに遠隔で割り当てる、 トランザクションサーバの動作を監視する方法。
  40. 【請求項40】 トランザクションを割り当てることが、コンピュータ単位
    で、複数のコンピュータの各々に割り当てられるトランザクションを選択するこ
    とを含む、請求項39に記載の方法。
  41. 【請求項41】 トランザクションを実行するための複数のコンピュータに
    実行スケジュールを遠隔で割り当てることを含む、請求項40に記載の方法。
  42. 【請求項42】 実行スケジュールを割り当てることは、複数のコンピュー
    タの各々によって使用される実行スケジュールを、コンピュータ単位で指定する
    ことを含む、請求項41に記載の方法。
  43. 【請求項43】 複数のコンピュータによって収集される性能データを集め
    、該性能データに対する遠隔アクセスを提供することをさらに含み、該性能デー
    タはトランザクションサーバの性能を示す、請求項39に記載の方法。
  44. 【請求項44】 性能データは、トランザクションの実行中に複数のコンピ
    ュータの少なくとも1台によって捕捉される画面表示のシーケンスを含む、請求
    項43に記載の方法。
  45. 【請求項45】 性能データは、複数のコンピュータの少なくとも1台によ
    って測定されるネットワーク経路セグメント遅延を含む、請求項43に記載の方
    法。
  46. 【請求項46】 性能データは、複数のコンピュータの少なくとも1つによ
    って検出される中断されたウェブサイトリンクの識別子を含む、請求項43に記
    載の方法。
  47. 【請求項47】 トランザクションサーバのシミュレートされるユーザとし
    てトランザクションを実行し、 トランザクション実行中に、トランザクションサーバによって戻される画面表
    示のシーケンスを記憶し、 トランザクションが無事に完了したかどうかを判断し、 トランザクションが無事に完了しなかった場合に、それ以降の表示のために、
    画面表示のシーケンスをサーバに転送する、 シミュレートされるユーザとしてトランザクションサーバを監視するようにプ
    ログラミングされている複数のコンピュータの各々の上で、トランザクションサ
    ーバの動作を監視する方法。
JP2001520640A 1999-09-01 2000-08-31 サーバ性能の配備後監視 Pending JP2003508849A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15182499P 1999-09-01 1999-09-01
US60/151,824 1999-09-01
US09/484,686 US6449739B1 (en) 1999-09-01 2000-01-17 Post-deployment monitoring of server performance
US09/484,686 2000-01-17
PCT/US2000/024303 WO2001016753A2 (en) 1999-09-01 2000-08-31 Post-deployment monitoring of server performance

Publications (1)

Publication Number Publication Date
JP2003508849A true JP2003508849A (ja) 2003-03-04

Family

ID=26849002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001520640A Pending JP2003508849A (ja) 1999-09-01 2000-08-31 サーバ性能の配備後監視

Country Status (6)

Country Link
US (2) US6449739B1 (ja)
EP (1) EP1214657A2 (ja)
JP (1) JP2003508849A (ja)
AU (1) AU763468B2 (ja)
CA (1) CA2380358A1 (ja)
WO (1) WO2001016753A2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008086034A (ja) * 2003-05-21 2008-04-10 Ixia ネットワーク・トラフィックの自動特性記述
JP2011258098A (ja) * 2010-06-11 2011-12-22 Hitachi Ltd 仮想計算機システム、仮想計算機システムの監視方法及びネットワーク装置
JP2017523526A (ja) * 2014-07-30 2017-08-17 マイクロソフト テクノロジー ライセンシング,エルエルシー 分散システムにおける故障解析のための視覚ツール
US10884892B2 (en) 2017-06-28 2021-01-05 Fujitsu Limited Non-transitory computer-readable storage medium, display control method and display control device for observing anomolies within data
US11483227B2 (en) 2020-10-13 2022-10-25 Keysight Technologies, Inc. Methods, systems and computer readable media for active queue management

Families Citing this family (266)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6108637A (en) 1996-09-03 2000-08-22 Nielsen Media Research, Inc. Content display monitor
US6973490B1 (en) * 1999-06-23 2005-12-06 Savvis Communications Corp. Method and system for object-level web performance and analysis
US6449739B1 (en) 1999-09-01 2002-09-10 Mercury Interactive Corporation Post-deployment monitoring of server performance
US7206805B1 (en) 1999-09-09 2007-04-17 Oracle International Corporation Asynchronous transcription object management system
US7290056B1 (en) * 1999-09-09 2007-10-30 Oracle International Corporation Monitoring latency of a network to manage termination of distributed transactions
US6772107B1 (en) * 1999-11-08 2004-08-03 J.D. Edwards World Source Company System and method for simulating activity on a computer network
US6883120B1 (en) * 1999-12-03 2005-04-19 Network Appliance, Inc. Computer assisted automatic error detection and diagnosis of file servers
US7013251B1 (en) * 1999-12-15 2006-03-14 Microsoft Corporation Server recording and client playback of computer network characteristics
US7373376B1 (en) * 1999-12-30 2008-05-13 Keynote Systems, Inc. Method and system for evaluating quality of service over the internet
US6662226B1 (en) * 2000-01-27 2003-12-09 Inbit, Inc. Method and system for activating and capturing screen displays associated with predetermined user interface events
US7299281B1 (en) 2000-01-27 2007-11-20 Inbit, Inc. Method and system for activating and capturing screen displays associated with predetermined user interface events
US8510437B2 (en) * 2000-01-27 2013-08-13 Yawonba Holdings Au, Llc Method and system for tracking screen activities
US20030126258A1 (en) * 2000-02-22 2003-07-03 Conkright Gary W. Web based fault detection architecture
US7281040B1 (en) * 2000-03-07 2007-10-09 Cisco Technology, Inc. Diagnostic/remote monitoring by email
US7249192B1 (en) * 2000-03-09 2007-07-24 Hewlett-Packard Development Company, L.P. Protocol for insuring exactly once semantics of transactions across an unordered, unreliable network
US6892236B1 (en) * 2000-03-16 2005-05-10 Microsoft Corporation System and method of generating computer system performance reports
US6973489B1 (en) * 2000-03-21 2005-12-06 Mercury Interactive Corporation Server monitoring virtual points of presence
US7930285B2 (en) * 2000-03-22 2011-04-19 Comscore, Inc. Systems for and methods of user demographic reporting usable for identifying users and collecting usage data
US7260837B2 (en) * 2000-03-22 2007-08-21 Comscore Networks, Inc. Systems and methods for user identification, user demographic reporting and collecting usage data usage biometrics
US7111205B1 (en) * 2000-04-18 2006-09-19 Siemens Communications, Inc. Method and apparatus for automatically reporting of faults in a communication network
US7072935B2 (en) * 2000-04-28 2006-07-04 Agilent Technologies, Inc. Filtering web proxy for recording web-based transactions that supports secure HTTP steps
US7523180B1 (en) * 2000-04-28 2009-04-21 Microsoft Corporation System and method for service chain management in a client management tool
US6941339B1 (en) * 2000-05-17 2005-09-06 Unbound Technologies Inc. Stated network portal system and method
US20030009544A1 (en) * 2000-06-05 2003-01-09 Wach Raymond S. Method of performing distributed load testing
US7412501B2 (en) * 2000-06-07 2008-08-12 Microsoft Corporation Event consumers for an event management system
BR0111984A (pt) * 2000-06-09 2003-12-30 Gen Electric Sistema e método para monitorar uma subestação de distribuição
US6665822B1 (en) * 2000-06-09 2003-12-16 Cisco Technology, Inc. Field availability monitoring
AU2001270017B2 (en) * 2000-06-21 2008-03-13 Computer Associates Think, Inc. Liveexception system
US7278103B1 (en) * 2000-06-28 2007-10-02 Microsoft Corporation User interface to display and manage an entity and associated resources
US6961681B1 (en) * 2000-09-12 2005-11-01 Microsoft Corporation System and method providing virtual applications architecture
US6868539B1 (en) * 2000-06-28 2005-03-15 Microsoft Corp. System and method providing single application image
US6785666B1 (en) * 2000-07-11 2004-08-31 Revenue Science, Inc. Method and system for parsing navigation information
US6799213B1 (en) * 2000-08-31 2004-09-28 Sprint Communications Company, L.P. System and method for performing interactive server load testing through use of one or more virtual users being configured as a server client capable of transmitting one or more server test actions
US20020116491A1 (en) * 2000-09-01 2002-08-22 Boyd Eric L. Method and system for probing a network
AU9268901A (en) * 2000-09-15 2002-03-26 Wonderware Corp An industrial process control data access server supporting multiple client dataexchange protocols
US7117208B2 (en) * 2000-09-28 2006-10-03 Oracle Corporation Enterprise web mining system and method
US7287071B2 (en) * 2000-09-28 2007-10-23 Vignette Corporation Transaction management system
AU9124801A (en) * 2000-09-28 2002-04-08 Oracle Corp Enterprise web mining system and method
US8145742B1 (en) * 2000-10-31 2012-03-27 Red Hat, Inc. Method of and apparatus for network administration
US6950868B1 (en) * 2000-10-31 2005-09-27 Red Hat, Inc. Method of and apparatus for remote monitoring
US7032015B1 (en) 2000-10-31 2006-04-18 General Electric Company System and method for integrating a power system over a network
CA2327211A1 (en) * 2000-12-01 2002-06-01 Nortel Networks Limited Management of log archival and reporting for data network security systems
US9058416B2 (en) * 2000-12-11 2015-06-16 Peter K. Trzyna System and method for detecting and reporting online activity using real-time content-based network monitoring
WO2002048924A2 (en) * 2000-12-12 2002-06-20 Uri Wilensky Distributed agent network using object based parallel modeling language to dynamically model agent activities
US7937470B2 (en) * 2000-12-21 2011-05-03 Oracle International Corp. Methods of determining communications protocol latency
US7577701B1 (en) 2001-01-22 2009-08-18 Insightete Corporation System and method for continuous monitoring and measurement of performance of computers on network
AU2002250146A1 (en) * 2001-02-28 2002-09-19 Wily Technology, Inc. Detecting a stalled routine
US7082465B1 (en) * 2001-03-27 2006-07-25 Cisco Technology, Inc. Web based management of host computers in an open protocol network
US7461369B2 (en) * 2001-03-30 2008-12-02 Bmc Software, Inc. Java application response time analyzer
US7506047B2 (en) * 2001-03-30 2009-03-17 Bmc Software, Inc. Synthetic transaction monitor with replay capability
US7792948B2 (en) * 2001-03-30 2010-09-07 Bmc Software, Inc. Method and system for collecting, aggregating and viewing performance data on a site-wide basis
US20040205489A1 (en) * 2001-04-09 2004-10-14 Ncr Corporation Operation of web sites on internet
US7260827B1 (en) * 2001-04-23 2007-08-21 Unisys Corporation Manual mode method of testing a video server for a video-on-demand system
US6961766B2 (en) * 2001-04-24 2005-11-01 Oracle International Corp. Method for extracting personalization information from web activity
EP1384153A4 (en) * 2001-05-04 2005-08-03 Netqos Inc CALCULATION OF RESPONSE TIME OF A SERVER SITE FOR ARBITRARY APPLICATIONS
US20020170004A1 (en) * 2001-05-08 2002-11-14 Shugart Technology, Inc. Storage area network monitor device and networked monitor system
US20020169863A1 (en) * 2001-05-08 2002-11-14 Robert Beckwith Multi-client to multi-server simulation environment control system (JULEP)
US7197559B2 (en) * 2001-05-09 2007-03-27 Mercury Interactive Corporation Transaction breakdown feature to facilitate analysis of end user performance of a server system
US20020198985A1 (en) * 2001-05-09 2002-12-26 Noam Fraenkel Post-deployment monitoring and analysis of server performance
US6738933B2 (en) 2001-05-09 2004-05-18 Mercury Interactive Corporation Root cause analysis of server system performance degradations
US7197557B1 (en) * 2001-05-29 2007-03-27 Keynote Systems, Inc. Method and system for evaluating quality of service for streaming audio and video
US6874099B1 (en) * 2001-05-31 2005-03-29 Sprint Communications Company L.P. Method and software for testing and performance monitoring
US7546354B1 (en) * 2001-07-06 2009-06-09 Emc Corporation Dynamic network based storage with high availability
JP2004535019A (ja) * 2001-07-06 2004-11-18 コンピュータ アソシエイツ シンク,インコーポレイテッド 仮想ユーザーインタフェースを提供するための方法及びシステム
JP3863740B2 (ja) * 2001-07-19 2006-12-27 日立電子サービス株式会社 Webサーバの性能監視サービスシステム
US7424526B1 (en) * 2001-07-31 2008-09-09 Sprint Communications Company L.P. Internet service node incorporating a bandwidth measurement device and associated methods for evaluating data transfers
GB0118665D0 (en) * 2001-07-31 2001-09-19 Hewlett Packard Co Remote monitoring of computer devices
US7111204B1 (en) * 2001-08-01 2006-09-19 Agilent Technologies, Inc. Protocol sleuthing system and method for load-testing a network server
AU2002317618A1 (en) * 2001-08-06 2003-02-24 Mercury Interactive Corporation System and method for automated analysis of load testing results
US6963874B2 (en) * 2002-01-09 2005-11-08 Digital River, Inc. Web-site performance analysis system and method utilizing web-site traversal counters and histograms
US6871293B2 (en) * 2001-08-07 2005-03-22 American Management Systems, Inc. Gap detector detecting gaps between transactions transmitted by clients and transactions processed by servers
JP4294912B2 (ja) * 2001-08-13 2009-07-15 ブラザー工業株式会社 端末情報通知システム、端末情報通知方法及びネットワーク端末装置
US20030074606A1 (en) * 2001-09-10 2003-04-17 Udi Boker Network-based control center for conducting performance tests of server systems
US6961769B2 (en) * 2001-09-20 2005-11-01 International Business Machines Corporation Method, apparatus, and program for measuring server performance using multiple clients
US7257516B2 (en) * 2001-09-20 2007-08-14 International Business Machines Corporation Method, apparatus, and program for eliminating thread skew in multithreaded performance benchmarks
US8055555B2 (en) * 2001-09-25 2011-11-08 Emc Corporation Mediation device for scalable storage service
US7552056B2 (en) 2001-09-25 2009-06-23 Emc Corporation Scalable storage service registration application
US7376730B2 (en) * 2001-10-10 2008-05-20 International Business Machines Corporation Method for characterizing and directing real-time website usage
US6993748B2 (en) * 2001-10-26 2006-01-31 Capital One Financial Corporation Systems and methods for table driven automation testing of software programs
US20030097445A1 (en) * 2001-11-20 2003-05-22 Stephen Todd Pluggable devices services and events for a scalable storage service architecture
US7035922B2 (en) * 2001-11-27 2006-04-25 Microsoft Corporation Non-invasive latency monitoring in a store-and-forward replication system
US7437450B1 (en) * 2001-11-30 2008-10-14 Cisco Technology Inc. End-to-end performance tool and method for monitoring electronic-commerce transactions
US8549048B2 (en) * 2001-12-19 2013-10-01 Emc Corporation Workflow database for scalable storage service
US7631035B2 (en) * 2002-01-09 2009-12-08 Digital River, Inc. Path-analysis toolbar
US20030131097A1 (en) * 2002-01-09 2003-07-10 Stephane Kasriel Interactive path analysis
US20030128231A1 (en) * 2002-01-09 2003-07-10 Stephane Kasriel Dynamic path analysis
US7043549B2 (en) * 2002-01-31 2006-05-09 International Business Machines Corporation Method and system for probing in a network environment
US7412502B2 (en) * 2002-04-18 2008-08-12 International Business Machines Corporation Graphics for end to end component mapping and problem-solving in a network environment
US7269651B2 (en) * 2002-09-26 2007-09-11 International Business Machines Corporation E-business operations measurements
US8527620B2 (en) 2003-03-06 2013-09-03 International Business Machines Corporation E-business competitive measurements
US8086720B2 (en) 2002-01-31 2011-12-27 International Business Machines Corporation Performance reporting in a network environment
US7047291B2 (en) 2002-04-11 2006-05-16 International Business Machines Corporation System for correlating events generated by application and component probes when performance problems are identified
US7130902B2 (en) * 2002-03-15 2006-10-31 Ge Mortgage Holdings, Llc Methods and apparatus for detecting and providing notification of computer system problems
US20030202009A1 (en) * 2002-04-24 2003-10-30 Stephane Kasriel Integration toolbar
US7490148B1 (en) 2002-05-30 2009-02-10 At&T Intellectual Property I, L.P. Completion performance analysis for internet services
US7159148B2 (en) * 2002-06-11 2007-01-02 Motorola, Inc. Method for performance and fault management in a telecommunication network
US20030233446A1 (en) * 2002-06-12 2003-12-18 Earl William J. System and method for managing a distributed computing system
US20030233453A1 (en) * 2002-06-18 2003-12-18 Institute For Information Industry Topology probing method for mobile IP system
US7877435B2 (en) * 2002-06-20 2011-01-25 International Business Machines Corporation Method and system for transaction pipeline decomposition
US8266270B1 (en) * 2002-07-16 2012-09-11 At&T Intellectual Property I, L.P. Delivery performance analysis for internet services
US7310798B1 (en) 2002-08-19 2007-12-18 Sprint Communications Company L.P. Simulator tool for testing software in development process
US7640342B1 (en) * 2002-09-27 2009-12-29 Emc Corporation System and method for determining configuration of one or more data storage systems
US20040064531A1 (en) * 2002-10-01 2004-04-01 Wisner Steven P. System and process for projecting hardware requirements for a web site
US6792460B2 (en) 2002-10-02 2004-09-14 Mercury Interactive Corporation System and methods for monitoring application server performance
US7216164B1 (en) * 2002-10-09 2007-05-08 Cisco Technology, Inc. Methods and apparatus for determining the performance of a server
US7870431B2 (en) * 2002-10-18 2011-01-11 Computer Associates Think, Inc. Transaction tracer
US7353264B2 (en) * 2002-11-13 2008-04-01 Hewlett-Packard Development Company, L.P. Method and apparatus for optimizing client responsiveness and server performance
US7346678B1 (en) * 2002-11-14 2008-03-18 Web Ex Communications, Inc. System and method for monitoring and managing a computing service
US7885974B2 (en) 2002-11-18 2011-02-08 Aol Inc. Method and apparatus providing omnibus view of online and offline content of various file types and sources
US7457864B2 (en) * 2002-11-27 2008-11-25 International Business Machines Corporation System and method for managing the performance of a computer system based on operational characteristics of the system components
US20040199618A1 (en) * 2003-02-06 2004-10-07 Knight Gregory John Data replication solution
US8726075B1 (en) * 2003-02-14 2014-05-13 At&T Intellectual Property Ii, L.P. Method and apparatus for screenshot archiving to digital video disk (DVD)
US20040205184A1 (en) * 2003-03-06 2004-10-14 International Business Machines Corporation E-business operations measurements reporting
EP1614253A2 (en) * 2003-04-04 2006-01-11 Computer Associates Think, Inc. Method and system for management and configuration of remote agents
US7155641B2 (en) * 2003-05-15 2006-12-26 Microsoft Corporation System and method for monitoring the performance of a server
JP4276895B2 (ja) * 2003-05-26 2009-06-10 株式会社日立製作所 計測システム
US7337176B1 (en) 2003-08-29 2008-02-26 Sprint Communications Company L.P. Data loading tool for loading a database
US7493386B2 (en) * 2003-09-19 2009-02-17 International Business Machines Corporation Testing applications within a grid environment using ghost agents
US7493387B2 (en) * 2003-09-19 2009-02-17 International Business Machines Corporation Validating software in a grid environment using ghost agents
US7472184B2 (en) * 2003-09-19 2008-12-30 International Business Machines Corporation Framework for restricting resources consumed by ghost agents
WO2005043300A2 (en) * 2003-10-20 2005-05-12 Empirix, Inc. Computer language interpretation and optimization for server testing
US7337431B1 (en) 2003-12-23 2008-02-26 Sprint Communications Company L.P. Distributed large-scale application benchmark system
KR100599936B1 (ko) * 2003-12-24 2006-07-13 한국전자통신연구원 브이,이,엔,유,에스 시스템
US7328134B1 (en) 2004-02-26 2008-02-05 Sprint Communications Company L.P. Enterprise integration test tool
WO2005083571A1 (en) * 2004-03-01 2005-09-09 Izuki Corporation A method of controlling the operation of a computing system arranged to interact with other entities
US7363364B2 (en) * 2004-03-30 2008-04-22 At&T Delaware Intellectual Property, Inc. Methods, systems, and products for verifying integrity of web-server served content
US7426556B2 (en) 2004-03-30 2008-09-16 At&T Intellectual Property I, L.P. Methods, systems, and products for verifying integrity of web-server served content
US7216256B2 (en) 2004-03-30 2007-05-08 Bellsouth Intellectual Property Corporation Methods, systems, and products for verifying integrity of web-server served content
US7685273B1 (en) * 2004-03-31 2010-03-23 Compuware Corporation Methods and apparatus for collecting and displaying performance metrics from a web site
US8065410B1 (en) * 2004-03-31 2011-11-22 Compuware Corporation Methods and apparatus for collecting performance metrics from a web site
US20060031521A1 (en) * 2004-05-10 2006-02-09 International Business Machines Corporation Method for early failure detection in a server system and a computer system utilizing the same
US8180864B2 (en) * 2004-05-21 2012-05-15 Oracle International Corporation System and method for scripting tool for server configuration
US7509343B1 (en) * 2004-06-09 2009-03-24 Sprint Communications Company L.P. System and method of collecting and reporting system performance metrics
US7290205B2 (en) * 2004-06-23 2007-10-30 Sas Institute Inc. System and method for management of document cross-reference links
US20060031469A1 (en) * 2004-06-29 2006-02-09 International Business Machines Corporation Measurement, reporting, and management of quality of service for a real-time communication application in a network environment
US7346807B1 (en) 2004-07-07 2008-03-18 Sprint Communications Company L.P. Optimizing transaction data for load testing
US7133805B1 (en) 2004-07-07 2006-11-07 Sprint Communications Company L.P. Load test monitoring system
US20060020699A1 (en) * 2004-07-23 2006-01-26 D Esposito John J Method and computer program for web site performance monitoring and testing by variable simultaneous angulation
US20060064399A1 (en) * 2004-09-21 2006-03-23 Giuseppe De Sio Method and system for testing distributed software applications
KR100813395B1 (ko) 2004-09-24 2008-03-12 주식회사 케이티 인스턴트 메신저 기반의 원격서버 감시시스템 및 방법
US8171474B2 (en) 2004-10-01 2012-05-01 Serguei Mankovski System and method for managing, scheduling, controlling and monitoring execution of jobs by a job scheduler utilizing a publish/subscription interface
ATE540361T1 (de) * 2004-10-20 2012-01-15 Telecom Italia Spa Verfahren und system zur überwachung der leistungsfähigkeit einer client-server- architektur
US7590508B1 (en) * 2004-10-22 2009-09-15 Sprint Communications Company L.P. Method and system for forecasting usage costs and computer capacity
KR20060084040A (ko) * 2005-01-17 2006-07-21 삼성전자주식회사 동적 QoS 관리 장치 및 방법
US7546368B2 (en) * 2005-06-01 2009-06-09 Neustar, Inc. Systems and methods for isolating local performance variation in website monitoring
EP1739557A1 (en) * 2005-06-30 2007-01-03 Nortel Networks Limited Method for analyzing browsing and device for implementing the method
US20070019568A1 (en) * 2005-07-22 2007-01-25 Sbc Knowledge Ventures, L.P. Method of monitoring network elements supporting virtual private networks
US8130759B2 (en) 2005-07-29 2012-03-06 Opnet Technologies, Inc. Routing validation
US8140665B2 (en) * 2005-08-19 2012-03-20 Opnet Technologies, Inc. Managing captured network traffic data
US7623463B2 (en) * 2005-09-09 2009-11-24 International Business Machines Corporation Performance evaluation of a network-based application
GB2431315A (en) * 2005-10-11 2007-04-18 Agilent Technologies Inc Testing a telecommunications network
US8171174B2 (en) 2006-01-19 2012-05-01 Dell Products L.P. Out-of-band characterization of server utilization via remote access card virtual media for auto-enterprise scaling
US8078971B2 (en) * 2006-01-24 2011-12-13 Oracle International Corporation System and method for scripting explorer for server configuration
US8676958B1 (en) 2006-02-10 2014-03-18 Open Invention Network, Llc System and method for monitoring the status of multiple servers on a network
US7476013B2 (en) * 2006-03-31 2009-01-13 Federal Signal Corporation Light bar and method for making
US9346397B2 (en) 2006-02-22 2016-05-24 Federal Signal Corporation Self-powered light bar
US9002313B2 (en) * 2006-02-22 2015-04-07 Federal Signal Corporation Fully integrated light bar
US7746794B2 (en) * 2006-02-22 2010-06-29 Federal Signal Corporation Integrated municipal management console
US7810156B2 (en) * 2006-04-20 2010-10-05 Agiliance Inc. Automated evidence gathering
US8051163B2 (en) * 2006-05-11 2011-11-01 Computer Associates Think, Inc. Synthetic transactions based on system history and load
US7805510B2 (en) * 2006-05-11 2010-09-28 Computer Associates Think, Inc. Hierarchy for characterizing interactions with an application
US8656006B2 (en) * 2006-05-11 2014-02-18 Ca, Inc. Integrating traffic monitoring data and application runtime data
US7814191B2 (en) * 2006-05-26 2010-10-12 The Pnc Financial Services Group, Inc. Methods and systems for network management using periodic status messages
US7761550B2 (en) * 2006-05-26 2010-07-20 The Pnc Financial Services Group, Inc. Network management for a plurality of agents using periodic status messages
JP4896593B2 (ja) * 2006-06-05 2012-03-14 株式会社日立製作所 性能監視方法、計算機及び計算機システム
US20080004720A1 (en) * 2006-06-29 2008-01-03 Mckinney Howard M System and method for determining unimportant probe locations by examination of byte code by identifying trivial methods
EP1885083A1 (en) * 2006-08-03 2008-02-06 Acterna, LLC Triple play services tester
US8135990B2 (en) 2006-08-11 2012-03-13 Opnet Technologies, Inc. Multi-variate network survivability analysis
US8055747B2 (en) * 2006-08-15 2011-11-08 Microsoft Corporation Message based network transmission for selection and auditing of internet services
US8090766B2 (en) * 2006-08-15 2012-01-03 Microsoft Corporation System and method to identify, rank, and audit network provided configurables
US7979320B2 (en) * 2006-08-15 2011-07-12 Microsoft Corporation Automated acquisition and configuration of goods and services via a network
US9009680B2 (en) * 2006-11-30 2015-04-14 Ca, Inc. Selecting instrumentation points for an application
US20080148242A1 (en) * 2006-12-18 2008-06-19 Computer Associates Think, Inc. Optimizing an interaction model for an application
WO2008077111A1 (en) * 2006-12-19 2008-06-26 Gallup, Inc. A state discovery automation for dynamic web applications
US8429185B2 (en) * 2007-02-12 2013-04-23 Microsoft Corporation Using structured data for online research
US7917507B2 (en) * 2007-02-12 2011-03-29 Microsoft Corporation Web data usage platform
US7779127B2 (en) * 2007-03-09 2010-08-17 Hewlett-Packard Development Company, L.P. System and method for determining a subset of transactions of a computing system for use in determing resource costs
US8095649B2 (en) 2007-05-09 2012-01-10 Opnet Technologies, Inc. Network delay analysis including parallel delay effects
US8892718B2 (en) * 2007-06-28 2014-11-18 Neustar, Inc. Monitoring web service transactions
US8095650B1 (en) 2007-07-30 2012-01-10 Compuware Corporation Methods and apparatus for real user monitoring including flash monitoring
EP2198398A4 (en) * 2007-08-28 2017-08-30 Sugarcrm Inc. Crm system and method having drilldowns, acls, shared folders, a tracker and a module builder
WO2009049678A1 (en) * 2007-10-18 2009-04-23 Telefonaktiebolaget Lm Ericsson (Publ) Methods and arrangements in a mobile telecommunications network
US20090112809A1 (en) * 2007-10-24 2009-04-30 Caterpillar Inc. Systems and methods for monitoring health of computing systems
BRPI0722176A2 (pt) * 2007-10-26 2014-04-08 Ericsson Telefon Ab L M Método para uso em uma rede de ip móvel de proxy, nó de âncora de mobilidade local, e, ponto de conexão de acesso móvel
US8326970B2 (en) * 2007-11-05 2012-12-04 Hewlett-Packard Development Company, L.P. System and method for modeling a session-based system with a transaction-based analytic model
US8326971B2 (en) * 2007-11-30 2012-12-04 International Business Machines Corporation Method for using dynamically scheduled synthetic transactions to monitor performance and availability of E-business systems
US9021505B2 (en) * 2007-12-07 2015-04-28 Ca, Inc. Monitoring multi-platform transactions
US8645570B2 (en) * 2007-12-20 2014-02-04 Fast Health Corporation System and method for the issuance of an emergency text alert in response to the redirection of a website
US8214524B2 (en) * 2007-12-21 2012-07-03 Hostway Corporation System and method for selecting an optimal authoritative name server
US9021082B2 (en) * 2008-01-30 2015-04-28 Case Western Reserve University Internet measurement system application programming interface
US7831695B1 (en) * 2008-02-18 2010-11-09 Sprint Communications Company L.P. System and method for it system migration management
US9923790B2 (en) * 2008-04-14 2018-03-20 Evertz Microsystems Ltd. Method and system for monitoring and controlling a video signal network
JP5253949B2 (ja) * 2008-09-26 2013-07-31 ブラザー工業株式会社 通信装置、および通信プログラム
US8645922B2 (en) * 2008-11-25 2014-02-04 Sap Ag System and method of implementing a concurrency profiler
US8326973B2 (en) 2008-12-23 2012-12-04 Novell, Inc. Techniques for gauging performance of services
US8266477B2 (en) 2009-01-09 2012-09-11 Ca, Inc. System and method for modifying execution of scripts for a job scheduler using deontic logic
US8635694B2 (en) * 2009-01-10 2014-01-21 Kaspersky Lab Zao Systems and methods for malware classification
US8028205B2 (en) * 2009-03-30 2011-09-27 Hartford Fire Insurance Company System for providing performance testing information to users
US8615739B2 (en) * 2009-04-23 2013-12-24 Hewlett-Packard Development Company, L.P. Resource monitoring
US8032791B2 (en) * 2009-07-07 2011-10-04 International Business Machines Corporation Diagnosis of and response to failure at reset in a data processing system
US8738710B1 (en) * 2009-08-05 2014-05-27 Nextel Communications Inc. Systems and methods of providing push-to-application services
US8666996B2 (en) * 2009-12-23 2014-03-04 Mastercard International Incorporated Methods and systems for detecting broken links within a file
US9274842B2 (en) 2010-06-29 2016-03-01 Microsoft Technology Licensing, Llc Flexible and safe monitoring of computers
US20130083664A1 (en) * 2010-09-13 2013-04-04 Jeffrey T. Harris Remote management hardware platform for site monitoring with smart block i/o device
US8543868B2 (en) 2010-12-21 2013-09-24 Guest Tek Interactive Entertainment Ltd. Distributed computing system that monitors client device request time and server servicing time in order to detect performance problems and automatically issue alerts
US9009185B2 (en) * 2010-12-28 2015-04-14 Sevone, Inc. Scalable performance management system
US8677324B2 (en) * 2011-01-31 2014-03-18 Hewlett-Packard Development Company, L.P. Evaluating performance of an application using event-driven transactions
US8707111B2 (en) * 2011-02-09 2014-04-22 Ebay Inc. High-volume distributed script error handling
US9641247B2 (en) * 2011-05-03 2017-05-02 Monolith Technology Holdings, Llc System and method for monitoring unknown resources
DE102012103654A1 (de) * 2011-05-17 2012-11-22 International Business Machines Corp. Installieren und Prüfen einer Anwendung auf einer stark genutzten Computerplattform
US8671108B2 (en) 2011-09-02 2014-03-11 Mastercard International Incorporated Methods and systems for detecting website orphan content
US9679296B2 (en) * 2011-11-30 2017-06-13 Retailmenot, Inc. Promotion code validation apparatus and method
US8725741B2 (en) 2011-12-04 2014-05-13 Riverbed Technology, Inc. Assessing application performance with an operational index
US20130305222A1 (en) * 2012-05-11 2013-11-14 Microsoft Corporation Development System
US9104630B1 (en) * 2012-10-24 2015-08-11 Google Inc. Online account reset, rollback, and backup
US9621480B2 (en) 2013-03-04 2017-04-11 Vigo Software Ltd Data acquisition pertaining to connectivity of client applications of a service provider network
US9767668B2 (en) 2013-03-14 2017-09-19 International Business Machines Corporation Automatic adjustment of metric alert trigger thresholds
US10592915B2 (en) 2013-03-15 2020-03-17 Retailmenot, Inc. Matching a coupon to a specific product
US9563907B2 (en) 2013-06-13 2017-02-07 Vigo Software Ltd Offer based provision of fee based network access
US9423921B2 (en) * 2013-06-26 2016-08-23 Nicolas Bissantz System for providing information to a user
US9111037B1 (en) 2013-08-21 2015-08-18 Ca, Inc. Method and apparatus to enable mainframe computer testing for software testing management platform
US10037554B2 (en) 2013-10-30 2018-07-31 Vigo Software Ltd Aggregated billing for application-based network access and content consumption
CN105683938A (zh) * 2013-10-30 2016-06-15 慧与发展有限责任合伙企业 记录应用测试
US9753743B2 (en) 2013-12-05 2017-09-05 Entit Software Llc Identifying a common action flow
US9300679B1 (en) 2013-12-16 2016-03-29 8X8, Inc. System and method for monitoring computing servers for possible unauthorized access
US9306985B1 (en) 2014-03-25 2016-04-05 8X8, Inc. User configurable data storage
US10355943B1 (en) 2014-04-04 2019-07-16 8X8, Inc. Apparatus and methods of analyzing status of computing servers
US10530935B1 (en) 2014-04-04 2020-01-07 8×8, Inc. Support services for virtual data centers
US10862948B1 (en) 2014-04-04 2020-12-08 8X8, Inc. Virtual data centers
US9628436B1 (en) 2014-04-04 2017-04-18 8X8, Inc. User-configurable dynamic DNS mapping for virtual services
US11777814B1 (en) 2014-04-04 2023-10-03 8X8, Inc. User-configurable alerts for computing servers
TWI552002B (zh) * 2014-04-22 2016-10-01 財團法人工業技術研究院 公共雲資源動態配置方法及系統
US10397407B1 (en) 2014-04-24 2019-08-27 8X8, Inc. Apparatus and method for user configuration and reporting of virtual services
US9189377B1 (en) * 2014-06-02 2015-11-17 Bank Of America Corporation Automation testing using descriptive maps
CN105335142B (zh) * 2014-07-29 2019-03-15 国际商业机器公司 在事务处理系统中标识事务的性能瓶颈的方法和装置
US11195162B2 (en) * 2014-10-06 2021-12-07 Vmware, Inc. System for defining and tracking transactions of mobile devices
US10355964B2 (en) 2014-10-31 2019-07-16 At&T Intellectual Property I, L.P. Method and system to capture selected network data
US10002365B2 (en) 2014-10-31 2018-06-19 The Nielsen Company (Us), Llc Methods and apparatus to identify publisher advertising behavior
US11283697B1 (en) 2015-03-24 2022-03-22 Vmware, Inc. Scalable real time metrics management
US10594562B1 (en) 2015-08-25 2020-03-17 Vmware, Inc. Intelligent autoscale of services
US10313211B1 (en) * 2015-08-25 2019-06-04 Avi Networks Distributed network service risk monitoring and scoring
US9910756B2 (en) * 2015-09-03 2018-03-06 International Business Machines Corporation Response-time baselining and performance testing capability within a software product
US9955021B1 (en) 2015-09-18 2018-04-24 8X8, Inc. Analysis of call metrics for call direction
US10044577B2 (en) * 2015-11-04 2018-08-07 International Business Machines Corporation Visualization of cyclical patterns in metric data
US9935857B1 (en) 2015-12-17 2018-04-03 8X8, Inc. Analysis of system conditions from endpoint status information
US9697110B1 (en) 2015-12-28 2017-07-04 Bank Of America Corporation Codeless system and tool for testing applications
US11283900B2 (en) 2016-02-08 2022-03-22 Microstrategy Incorporated Enterprise performance and capacity testing
US10440153B1 (en) 2016-02-08 2019-10-08 Microstrategy Incorporated Enterprise health score and data migration
US10212041B1 (en) 2016-03-04 2019-02-19 Avi Networks Traffic pattern detection and presentation in container-based cloud computing architecture
US10931548B1 (en) 2016-03-28 2021-02-23 Vmware, Inc. Collecting health monitoring data pertaining to an application from a selected set of service engines
US10379930B2 (en) * 2016-09-30 2019-08-13 Brother Kogyo Kabushiki Kaisha Non-transitory computer-readable medium storing computer-readable instructions for terminal device
US10860703B1 (en) * 2017-08-17 2020-12-08 Walgreen Co. Online authentication and security management using device-based identification
US11729043B2 (en) * 2017-10-06 2023-08-15 Cisco Technology, Inc. Traffic outage detection in the internet
US10999168B1 (en) 2018-05-30 2021-05-04 Vmware, Inc. User defined custom metrics
US11044180B2 (en) 2018-10-26 2021-06-22 Vmware, Inc. Collecting samples hierarchically in a datacenter
US11582120B2 (en) 2019-05-30 2023-02-14 Vmware, Inc. Partitioning health monitoring in a global server load balancing system
US11637748B2 (en) 2019-08-28 2023-04-25 Microstrategy Incorporated Self-optimization of computing environments
US11210189B2 (en) 2019-08-30 2021-12-28 Microstrategy Incorporated Monitoring performance of computing systems
US11354216B2 (en) 2019-09-18 2022-06-07 Microstrategy Incorporated Monitoring performance deviations
US11360881B2 (en) 2019-09-23 2022-06-14 Microstrategy Incorporated Customizing computer performance tests
US11438231B2 (en) 2019-09-25 2022-09-06 Microstrategy Incorporated Centralized platform management for computing environments
CN111176930B (zh) * 2019-12-10 2023-02-07 未鲲(上海)科技服务有限公司 组件运行数据处理方法、装置、计算机设备和存储介质
US11494292B2 (en) * 2021-02-26 2022-11-08 T-Mobile Usa, Inc. Log-based automation testing
US11811861B2 (en) 2021-05-17 2023-11-07 Vmware, Inc. Dynamically updating load balancing criteria
US11799824B2 (en) 2021-06-14 2023-10-24 Vmware, Inc. Method and apparatus for enhanced client persistence in multi-site GSLB deployments
CN115994076B (zh) * 2023-03-23 2023-07-18 广州软件应用技术研究院 一种性能测试工具应用于负载机的自检方法、系统及平台

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5553235A (en) 1992-10-23 1996-09-03 International Business Machines Corporation System and method for maintaining performance data in a data processing system
US5577197A (en) * 1992-10-29 1996-11-19 Mci Communications Corporation Test system for testing electronic transaction processing services at a common carrier network switch
US5864659A (en) * 1995-03-07 1999-01-26 Intel Corporation Computer server with improved reliability, availability and serviceability
WO1996038733A1 (en) 1995-06-02 1996-12-05 Pure Software, Inc. Remote monitoring of computer programs
JP3367305B2 (ja) * 1995-11-14 2003-01-14 三菱電機株式会社 ネットワークシステム
US5819066A (en) 1996-02-28 1998-10-06 Electronic Data Systems Corporation Application and method for benchmarking a database server
US5812780A (en) 1996-05-24 1998-09-22 Microsoft Corporation Method, system, and product for assessing a server application performance
US5938729A (en) 1996-07-12 1999-08-17 Microsoft Corporation System and method for monitoring server performance at a client computer
US5696701A (en) * 1996-07-12 1997-12-09 Electronic Data Systems Corporation Method and system for monitoring the performance of computers in computer networks using modular extensions
US5781703A (en) 1996-09-06 1998-07-14 Candle Distributed Solutions, Inc. Intelligent remote agent for computer performance monitoring
US5870559A (en) 1996-10-15 1999-02-09 Mercury Interactive Software system and associated methods for facilitating the analysis and management of web sites
US5732218A (en) * 1997-01-02 1998-03-24 Lucent Technologies Inc. Management-data-gathering system for gathering on clients and servers data regarding interactions between the servers, the clients, and users of the clients during real use of a network of clients and servers
US5787254A (en) 1997-03-14 1998-07-28 International Business Machines Corporation Web browser method and system for display and management of server latency
US5958010A (en) * 1997-03-20 1999-09-28 Firstsense Software, Inc. Systems and methods for monitoring distributed applications including an interface running in an operating system kernel
US6006260A (en) 1997-06-03 1999-12-21 Keynote Systems, Inc. Method and apparatus for evalutating service to a user over the internet
US5963963A (en) * 1997-07-11 1999-10-05 International Business Machines Corporation Parallel file system and buffer management arbitration
US5905868A (en) 1997-07-22 1999-05-18 Ncr Corporation Client/server distribution of performance monitoring data
AU8763198A (en) * 1997-08-01 1999-02-22 Ric Marshall Entreprise simulation module
US6324492B1 (en) * 1998-01-20 2001-11-27 Microsoft Corporation Server stress testing using multiple concurrent client simulation
US6205413B1 (en) 1998-06-11 2001-03-20 Chatschik Bisdikian End-user oriented performance monitoring system for interactive end-to-end data communications
US6189142B1 (en) * 1998-09-16 2001-02-13 International Business Machines Corporation Visual program runtime performance analysis
AU1200000A (en) * 1998-09-30 2000-04-17 Netscout Service Level Corporation Evaluating computer resources by end-user emulation
US6138157A (en) 1998-10-12 2000-10-24 Freshwater Software, Inc. Method and apparatus for testing web sites
US6243105B1 (en) 1998-11-19 2001-06-05 Ncr Corporation Drill-down method to historical data in a performance monitor using a platform independent program
US6446028B1 (en) * 1998-11-25 2002-09-03 Keynote Systems, Inc. Method and apparatus for measuring the performance of a network based application program
US6449739B1 (en) 1999-09-01 2002-09-10 Mercury Interactive Corporation Post-deployment monitoring of server performance

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008086034A (ja) * 2003-05-21 2008-04-10 Ixia ネットワーク・トラフィックの自動特性記述
JP4620103B2 (ja) * 2003-05-21 2011-01-26 イクシア ネットワーク・トラフィックの自動特性記述
JP2011258098A (ja) * 2010-06-11 2011-12-22 Hitachi Ltd 仮想計算機システム、仮想計算機システムの監視方法及びネットワーク装置
JP2017523526A (ja) * 2014-07-30 2017-08-17 マイクロソフト テクノロジー ライセンシング,エルエルシー 分散システムにおける故障解析のための視覚ツール
US10884892B2 (en) 2017-06-28 2021-01-05 Fujitsu Limited Non-transitory computer-readable storage medium, display control method and display control device for observing anomolies within data
US11483227B2 (en) 2020-10-13 2022-10-25 Keysight Technologies, Inc. Methods, systems and computer readable media for active queue management

Also Published As

Publication number Publication date
WO2001016753A3 (en) 2001-11-29
EP1214657A2 (en) 2002-06-19
US20020184575A1 (en) 2002-12-05
US6449739B1 (en) 2002-09-10
AU763468B2 (en) 2003-07-24
US6564342B2 (en) 2003-05-13
AU7112300A (en) 2001-03-26
CA2380358A1 (en) 2001-03-08
WO2001016753A2 (en) 2001-03-08

Similar Documents

Publication Publication Date Title
JP2003508849A (ja) サーバ性能の配備後監視
US6738933B2 (en) Root cause analysis of server system performance degradations
US7197559B2 (en) Transaction breakdown feature to facilitate analysis of end user performance of a server system
US9727405B2 (en) Problem determination in distributed enterprise applications
US20020198985A1 (en) Post-deployment monitoring and analysis of server performance
JP3526416B2 (ja) 情報を監視し記録するための方法、装置及びプログラム記憶装置
JP5607679B2 (ja) 資産と、アプリケーションと、関係するアプリケーション相互の関連付けを行うサービスとの監視及び管理
US6175832B1 (en) Method, system and program product for establishing a data reporting and display communication over a network
US7478151B1 (en) System and method for monitoring global network performance
US6505248B1 (en) Method and system for monitoring and dynamically reporting a status of a remote server
US6895437B1 (en) System for monitoring browsing activity of a visitor and decrementing a reference count upon a web page change for automatic unloading a client program
KR100763318B1 (ko) 상거래 파이프라인 분해 방법 및 시스템
WO2001069386A2 (en) Monitoring operation of and interaction with services provided over a network
GB2357679A (en) Monitoring of services provided over a network with recording and redisplay of user interactions with a web page
EP1064755A2 (en) Providing network services through a common interface
WO2001027787A1 (en) Event monitoring and closed-loop response system
Pham Real user monitoring for internal web application
Singleton Website performance monitoring
Norguet Redbooks Paper
Hassell Monitoring SBS Server Health and Performance

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050726

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20051227