JP2003508849A - サーバ性能の配備後監視 - Google Patents
サーバ性能の配備後監視Info
- Publication number
- JP2003508849A JP2003508849A JP2001520640A JP2001520640A JP2003508849A JP 2003508849 A JP2003508849 A JP 2003508849A JP 2001520640 A JP2001520640 A JP 2001520640A JP 2001520640 A JP2001520640 A JP 2001520640A JP 2003508849 A JP2003508849 A JP 2003508849A
- Authority
- JP
- Japan
- Prior art keywords
- computer
- transaction
- computers
- server
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3414—Workload generation, e.g. scripts, playback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/323—Visualisation of programs or trace data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3495—Performance evaluation by tracing or monitoring for systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/875—Monitoring of systems including the internet
Abstract
(57)【要約】
監視システムは、ユーザが、ウェブベースのまたはその他のトランザクションサーバ(30)の配備後の性能を監視できるようにする。システムは、トランザクションサーバ(30)の実際のユーザのコンピュータを含む、トランザクションサーバ(30)にアクセスできるエージェントコンピュータ(40)上にインストールできるエージェント構成要素(「エージェント」)(32)を含む。該エージェント(32)は、サーバの性能を監視する間に、トランザクションサーバ(30)の実際のユーザの動作をシミュレートする。エージェントコンピュータ(40)によって実行される特定のトランザクションは、制御装置(34)を使用してエージェントコンピュータ(40)にディスパッチされるテストケースによって指定される。各エージェントコンピュータ(40)は、テストケースを実行すると、それはリアルタイムで、集中データベース(42)に結果を記憶するウェブベースのレポートサーバ(36)に実行結果(性能データ)を報告する。性能データは、例えば、サーバ応答時間、失敗したトランザクションの画面表示順序、ネットワーク経路に沿った測定されたセグメント遅延、及び「中断された」ウェブサイトリンクの識別子を含んでよい。許可された人員は、一連のカスタマイズ可能なレポートを介して収集された性能データを表示するために、標準的なウェブブラウザを使用してレポートサーバ(36)にアクセスできる。制御装置(34)を使用して、ユーザは、トランザクションサーバ(30)の連続監視またはほぼ連続監視に備える定期的な予定を含む、エージェントコンピュータ(40)にテストケース実行予定を割り当てることもできる。さらに、ユーザは、人員が(例えば、ページャーなどにより)問題をただちに通知される警報状態を指定することができる。制御装置(34)及びレポートサーバ(36)は、場所、組織及びこのようなコンピュータのISPなどのエージェントコンピュータ(40)の属性に従ってユーザがトランザクションサーバ(30)の動作を監視できるようにするための機能も提供する。
Description
【0001】
本発明は、ウェブベース及びその他のトランザクションサーバの動作を試験し
、監視するためのソフトウェアツールに関する。
、監視するためのソフトウェアツールに関する。
【0002】
企業が、配備前に、ウェブベースのトランザクションサーバ及び関連するアプ
リケーションの性能及び機能性を試験するのを補助するための多岐に渡る市販の
ソフトウェアツールが存在する。このようなツールの例は、本出願の譲受人であ
るマーキュリーインターアクティブ社(Mercury Interactiv
e Corporation)のLoadRunner(商標)、WinRun
ner(商標)、及びAstra QuickTest(商標)製品を含む。
リケーションの性能及び機能性を試験するのを補助するための多岐に渡る市販の
ソフトウェアツールが存在する。このようなツールの例は、本出願の譲受人であ
るマーキュリーインターアクティブ社(Mercury Interactiv
e Corporation)のLoadRunner(商標)、WinRun
ner(商標)、及びAstra QuickTest(商標)製品を含む。
【0003】
これらの製品を使用し、ユーザは、ユーザのトランザクションサーバとの対話
のシーケンスを指定するテストスクリプトを記録する、あるいはそれ以外の場合
は作成することができる。ユーザは、検証ポイントとしてテストスクリプトに追
加されてよい、トランザクションサーバからの一定の予想される応答をオプショ
ンで指定してもよい。例えば、ユーザは、その間にユーザがある特定のフライト
を検索するウェブベース旅行予約システムとのセッションを記録し、予定される
フライト番号、出発時刻、またはチケット価格についてチェックするために1つ
以上の検証ポイントを画定してよい。
のシーケンスを指定するテストスクリプトを記録する、あるいはそれ以外の場合
は作成することができる。ユーザは、検証ポイントとしてテストスクリプトに追
加されてよい、トランザクションサーバからの一定の予想される応答をオプショ
ンで指定してもよい。例えば、ユーザは、その間にユーザがある特定のフライト
を検索するウェブベース旅行予約システムとのセッションを記録し、予定される
フライト番号、出発時刻、またはチケット価格についてチェックするために1つ
以上の検証ポイントを画定してよい。
【0004】
このプロセスを通して生成されるテストスクリプトは、ユーザの動作をシミュ
レートするために―一般的には、試験されている構成要素の配備前に―「再生さ
れる」または「実行される」。このプロセスの間、試験ツールは、あらゆる検証
ポイントのパス/フェイル・ステータスの判断を含むトランザクションサーバの
性能を監視する。複数のテストスクリプトは、多数のユーザの負荷をシミュレー
トするために並行して再実行(replayed)されてよい。LoadRun
ner製品の自動化インタフェースを使用すると、実行のために、テストスクリ
プトをリモートコンピュータにディスパッチすることができる。
レートするために―一般的には、試験されている構成要素の配備前に―「再生さ
れる」または「実行される」。このプロセスの間、試験ツールは、あらゆる検証
ポイントのパス/フェイル・ステータスの判断を含むトランザクションサーバの
性能を監視する。複数のテストスクリプトは、多数のユーザの負荷をシミュレー
トするために並行して再実行(replayed)されてよい。LoadRun
ner製品の自動化インタフェースを使用すると、実行のために、テストスクリ
プトをリモートコンピュータにディスパッチすることができる。
【0005】
試験の結果は、一般的には、試験ツールのユーザインタフェースを介してアク
セスできる一連のレポートを通してユーザに通信される。レポートは、例えば、
様々な種類のトランザクションの観察された応答時間のグラフまたはチャートを
含んでよい。試験プロセスを通して発見された性能問題は、プログラマまたはシ
ステム管理者によって修正されてよい。
セスできる一連のレポートを通してユーザに通信される。レポートは、例えば、
様々な種類のトランザクションの観察された応答時間のグラフまたはチャートを
含んでよい。試験プロセスを通して発見された性能問題は、プログラマまたはシ
ステム管理者によって修正されてよい。
【0006】
ウェブサイトオペレータが、自分達のウェブサイトの配備後性能を監視できる
ようにする多岐に渡るツール及びサービスも存在する。例えば、カリフォルニア
、サンマテオ(San Mateo California)のキーノートシス
テムズ社(Keynote Systems Inc.)は、一日を通して規則
正しい間隔でウェブサイトにアクセスするために自動化されたエージェントを使
用するサービスを提供する。選択された主要都市でキーノートシステムズによっ
て提供されるエージェントコンピュータは、様々なウェブサイト機能を実行する
のに要する時間を測定し、キーノートシステムズによって提供されるサーバに結
果を報告する。ウェブサイトのオーナーまたはオペレータは、都市ごとに、また
はその他の基準で収集された性能データを表示するために、ウェブブラウザを使
用してこのサーバにアクセスできる。それ以外の種類の既存の監視ツールは、ウ
ェブサーバによって生成されるアクセスログを処理するログ分析ツール、および
ウェブサーバ間のトラフィックを監視するパケットスニッフ(sniffing
)ツールを含む。
ようにする多岐に渡るツール及びサービスも存在する。例えば、カリフォルニア
、サンマテオ(San Mateo California)のキーノートシス
テムズ社(Keynote Systems Inc.)は、一日を通して規則
正しい間隔でウェブサイトにアクセスするために自動化されたエージェントを使
用するサービスを提供する。選択された主要都市でキーノートシステムズによっ
て提供されるエージェントコンピュータは、様々なウェブサイト機能を実行する
のに要する時間を測定し、キーノートシステムズによって提供されるサーバに結
果を報告する。ウェブサイトのオーナーまたはオペレータは、都市ごとに、また
はその他の基準で収集された性能データを表示するために、ウェブブラウザを使
用してこのサーバにアクセスできる。それ以外の種類の既存の監視ツールは、ウ
ェブサーバによって生成されるアクセスログを処理するログ分析ツール、および
ウェブサーバ間のトラフィックを監視するパケットスニッフ(sniffing
)ツールを含む。
【0007】
既存の監視ツール及びサービスでの重要な問題とは、それらが多くの場合、ユ
ーザの場所、PC構成、ISP(インターネットサービスプロバイダ)、または
インターネットルータなどの一般的なエンドユーザの属性に応じた問題を検出で
きないという点である。例えば、いくつかのウェブサイト監視サービスを用いる
と、ウェブサイトオペレータは、サービスプロバイダが使用可能とするエージェ
ントコンピュータ及び場所からだけウェブサイトを監視することができる。その
結果、サービスはシステムの最も頻繁なユーザ(例えば、ある特定のISPを通
してウェブサイトにアクセスする、あるいはある特定のPC構成を使用するカス
タマサービス部門の一員)によって見られる性能問題を検出しない可能性がある
。
ーザの場所、PC構成、ISP(インターネットサービスプロバイダ)、または
インターネットルータなどの一般的なエンドユーザの属性に応じた問題を検出で
きないという点である。例えば、いくつかのウェブサイト監視サービスを用いる
と、ウェブサイトオペレータは、サービスプロバイダが使用可能とするエージェ
ントコンピュータ及び場所からだけウェブサイトを監視することができる。その
結果、サービスはシステムの最も頻繁なユーザ(例えば、ある特定のISPを通
してウェブサイトにアクセスする、あるいはある特定のPC構成を使用するカス
タマサービス部門の一員)によって見られる性能問題を検出しない可能性がある
。
【0008】
このような属性に特殊な問題点が検出されるとしても、既存のツール及びサー
ビスは、多くの場合、問題を起こす特定の属性を特定することはできない。例え
ば、監視サービスは、ある特定の都市のウェブサイトユーザが長い遅延を経験し
ていることを示すことがあるが、問題がある特定のルータを通して該サイトにア
クセスするユーザだけによって経験されることを明らかにすることができない場
合がある。このような追加情報がない場合、システム管理者は、このような問題
を隔離し、補正することはできない。
ビスは、多くの場合、問題を起こす特定の属性を特定することはできない。例え
ば、監視サービスは、ある特定の都市のウェブサイトユーザが長い遅延を経験し
ていることを示すことがあるが、問題がある特定のルータを通して該サイトにア
クセスするユーザだけによって経験されることを明らかにすることができない場
合がある。このような追加情報がない場合、システム管理者は、このような問題
を隔離し、補正することはできない。
【0009】
既存のツール及びサービスでの別の重要な問題とは、それらが、トランザクシ
ョンサーバの最新のステータスを監視するため、及び問題発生時にシステム管理
者に迅速に通知するための適切な機構を提供しないという点である。例えば、既
存のツール及びサービスは、一般的には、問題発生後何分もまたは何時間も経つ
まで問題を報告しない。その結果、多くのエンドユーザは、システム管理者が問
題を気付く前に問題を経験する可能性がある。
ョンサーバの最新のステータスを監視するため、及び問題発生時にシステム管理
者に迅速に通知するための適切な機構を提供しないという点である。例えば、既
存のツール及びサービスは、一般的には、問題発生後何分もまたは何時間も経つ
まで問題を報告しない。その結果、多くのエンドユーザは、システム管理者が問
題を気付く前に問題を経験する可能性がある。
【0010】
本発明は、ウェブサイトシステムまたはその他のトランザクションサーバの配
備後の動作を監視するソフトウェアシステム及び方法を提供することにより、こ
れらの、及びそれ以外の問題点に対処する。好ましい実施形態では、システムは
、サーバの性能を監視し、報告しつつ、トランザクションサーバの実際のユーザ
の動作をシミュレートするエージェント構成要素(「エージェント」)を含む。
本発明のある態様によれば、エージェントは、実際のエンドユーザのコンピュー
タを含む、監視のために使用される選択されたコンピュータ(「エージェントコ
ンピュータ」)にインストールされるように適応される。例えば、エージェント
は、トランザクションサーバが一般的にはそこからアクセスされる様々な事務所
または組織内の選択されたエンドユーザコンピュータにインストールされること
ができるだろう。エージェント構成要素がインストールされると、エージェント
コンピュータは、制御装置構成要素(「制御装置」)を使用して(一般的には、
トランザクションサーバのオペレータによって)遠隔でプログラミングすること
ができる。監視目的に使用されるコンピュータをフレキシブルに選択し、監視の
ために実際のエンドユーザコンピュータを使用する能力は、一般的なエンドユー
ザの属性に関連付けられる問題を検出するタスクを大幅に促進にする。
備後の動作を監視するソフトウェアシステム及び方法を提供することにより、こ
れらの、及びそれ以外の問題点に対処する。好ましい実施形態では、システムは
、サーバの性能を監視し、報告しつつ、トランザクションサーバの実際のユーザ
の動作をシミュレートするエージェント構成要素(「エージェント」)を含む。
本発明のある態様によれば、エージェントは、実際のエンドユーザのコンピュー
タを含む、監視のために使用される選択されたコンピュータ(「エージェントコ
ンピュータ」)にインストールされるように適応される。例えば、エージェント
は、トランザクションサーバが一般的にはそこからアクセスされる様々な事務所
または組織内の選択されたエンドユーザコンピュータにインストールされること
ができるだろう。エージェント構成要素がインストールされると、エージェント
コンピュータは、制御装置構成要素(「制御装置」)を使用して(一般的には、
トランザクションサーバのオペレータによって)遠隔でプログラミングすること
ができる。監視目的に使用されるコンピュータをフレキシブルに選択し、監視の
ために実際のエンドユーザコンピュータを使用する能力は、一般的なエンドユー
ザの属性に関連付けられる問題を検出するタスクを大幅に促進にする。
【0011】
本発明の別の態様によれば、制御装置は、ユーザが、監視セッションに含むた
めのエージェントコンピュータ(複数の場合がある)を遠隔で選択し、このよう
なコンピュータに(各コンピュータの場所、組織、ISP及び/または構成など
の)属性を割り当て、このようなコンピュータにトランザクションと実行のスケ
ジュールを割り当てることができるようにするために、ユーザインタフェース及
び様々な機能を提供する。実行スケジュールは、周期的または反復するスケジュ
ール(例えば、毎時、月曜日から金曜日)であってよく、その結果トランザクシ
ョンサーバは、連続で、またはほぼ連続で監視される。制御装置は、好ましくは
、表示画面上で、トランザクション及び実行スケジュールが対応するコンピュー
タの子供として表される拡張可能なツリーとして監視セッションを表す。いった
ん監視セッションが画定されると、制御装置は、インターネットまたはその他の
ネットワーク上で、トランザクション及び実行スケジュールを各々のエージェン
トコンピュータにディスパッチする。制御装置は、好ましくは、ユーザがトラン
ザクションを記録、編集する、及びリアルタイム警報通知を生成するための警報
状態を画定する機能も含む。制御装置は、オプションで、インターネットまたは
イントラネットサイトでホスト化されたアプリケーションとして実現されてよく
、そのケースでは、ユーザは通常のウェブブラウザを使用して監視セッションを
遠隔でセットアップすることができる。
めのエージェントコンピュータ(複数の場合がある)を遠隔で選択し、このよう
なコンピュータに(各コンピュータの場所、組織、ISP及び/または構成など
の)属性を割り当て、このようなコンピュータにトランザクションと実行のスケ
ジュールを割り当てることができるようにするために、ユーザインタフェース及
び様々な機能を提供する。実行スケジュールは、周期的または反復するスケジュ
ール(例えば、毎時、月曜日から金曜日)であってよく、その結果トランザクシ
ョンサーバは、連続で、またはほぼ連続で監視される。制御装置は、好ましくは
、表示画面上で、トランザクション及び実行スケジュールが対応するコンピュー
タの子供として表される拡張可能なツリーとして監視セッションを表す。いった
ん監視セッションが画定されると、制御装置は、インターネットまたはその他の
ネットワーク上で、トランザクション及び実行スケジュールを各々のエージェン
トコンピュータにディスパッチする。制御装置は、好ましくは、ユーザがトラン
ザクションを記録、編集する、及びリアルタイム警報通知を生成するための警報
状態を画定する機能も含む。制御装置は、オプションで、インターネットまたは
イントラネットサイトでホスト化されたアプリケーションとして実現されてよく
、そのケースでは、ユーザは通常のウェブブラウザを使用して監視セッションを
遠隔でセットアップすることができる。
【0012】
監視セッション中、各エージェントコンピュータは、その割り当てられた実行
スケジュールに従ってその割り当てられたトランザクションを実行し、トランザ
クションサーバの性能の1つ以上の特性を示す性能データを作成する。性能デー
タは、例えば、サーバ応答時間及びトランザクション実行イベントのパス/フェ
イル・ステータスを含んでよい。パス/フェイル・ステータス値は、トランザク
ションの範囲内で画定される検証ポイント(予想されるサーバ応答)に基づいて
よい。エージェントコンピュータは、好ましくは、トランザクション実行直後に
トランザクションに関連付けられる性能データを報告し、その結果として、性能
データは警報通知の表示及び作成のために実質的にリアルタイムで使用されるこ
とができる。好ましい実施形態では、様々なエージェントコンピュータによって
生成される性能データは、ウェブベースのレポートサーバを通して遠隔でアクセ
ス可能である集中データベース内で集められる。レポートサーバは、トランザク
ションサーバのオペレータが、各トランザクションに関連付けられる性能データ
を見ることができるようにする、様々なユーザが構成可能なチャート及びグラフ
を提供する。
スケジュールに従ってその割り当てられたトランザクションを実行し、トランザ
クションサーバの性能の1つ以上の特性を示す性能データを作成する。性能デー
タは、例えば、サーバ応答時間及びトランザクション実行イベントのパス/フェ
イル・ステータスを含んでよい。パス/フェイル・ステータス値は、トランザク
ションの範囲内で画定される検証ポイント(予想されるサーバ応答)に基づいて
よい。エージェントコンピュータは、好ましくは、トランザクション実行直後に
トランザクションに関連付けられる性能データを報告し、その結果として、性能
データは警報通知の表示及び作成のために実質的にリアルタイムで使用されるこ
とができる。好ましい実施形態では、様々なエージェントコンピュータによって
生成される性能データは、ウェブベースのレポートサーバを通して遠隔でアクセ
ス可能である集中データベース内で集められる。レポートサーバは、トランザク
ションサーバのオペレータが、各トランザクションに関連付けられる性能データ
を見ることができるようにする、様々なユーザが構成可能なチャート及びグラフ
を提供する。
【0013】
本発明の別の態様に従って、レポートサーバは、様々なオペレータによって指
定される属性について別個にトランザクションサーバの性能を示すレポートを作
成する。この特徴を使用すると、ユーザは、例えば、異なるオペレータによって
指定される場所(例えば、ニューヨーク、サンフランシスコ及び英国)、組織(
例えば、会計部門、マーケティング部門、及びカスタマサービス部門)、ISP
(例えば、Spring、AOL、及びEarthlink)、あるいはその他
の属性から見られるようにトランザクションサーバの性能を表示、比較すること
ができる。ユーザは、特定の属性及び/またはトランザクションと関連付けられ
るデータをふるって取り除く(例えば、AOLカスタマに関連付けられるデータ
を排除する)、及び性能データを区分化するための(例えば、モデム速度または
動作システムなどの)新しい属性型を画定するオプションも有してよい。オペレ
ータによって指定される属性に従って性能データを監視する能力は、属性に依存
する性能問題を隔離し、修正するタスクを大幅に促進する。
定される属性について別個にトランザクションサーバの性能を示すレポートを作
成する。この特徴を使用すると、ユーザは、例えば、異なるオペレータによって
指定される場所(例えば、ニューヨーク、サンフランシスコ及び英国)、組織(
例えば、会計部門、マーケティング部門、及びカスタマサービス部門)、ISP
(例えば、Spring、AOL、及びEarthlink)、あるいはその他
の属性から見られるようにトランザクションサーバの性能を表示、比較すること
ができる。ユーザは、特定の属性及び/またはトランザクションと関連付けられ
るデータをふるって取り除く(例えば、AOLカスタマに関連付けられるデータ
を排除する)、及び性能データを区分化するための(例えば、モデム速度または
動作システムなどの)新しい属性型を画定するオプションも有してよい。オペレ
ータによって指定される属性に従って性能データを監視する能力は、属性に依存
する性能問題を隔離し、修正するタスクを大幅に促進する。
【0014】
本発明の別の態様によれば、性能データは、あらゆるユーザによって画定され
る警報状態がないかチェックするために(好ましくは制御装置によって)実質的
にリアルタイムで監視される。このような警報状態が検出されると、通知メッセ
ージは、eメール、ページャー(ポケットベル(登録商標))、またはその他の
通信方法によって適切な人物に送信されてよい。警報状態は、オプションで、あ
る特定の場所、組織、ISP、またはその他の属性に特定であってよい。例えば
、アトランタ支社を担当するステム管理者は、ある特定の問題(例えば、平均応
答時間が特定の閾値を超える)がその事務所内のコンピュータによって検出され
ると、通知されることを要求してよい。好ましい実施形態では、警報通知を受信
すると、管理者は、レポートサーバにアクセスし、通知をトリガした1つ以上の
イベントの詳細を表示するために標準ウェブブラウザを使用することができる。
る警報状態がないかチェックするために(好ましくは制御装置によって)実質的
にリアルタイムで監視される。このような警報状態が検出されると、通知メッセ
ージは、eメール、ページャー(ポケットベル(登録商標))、またはその他の
通信方法によって適切な人物に送信されてよい。警報状態は、オプションで、あ
る特定の場所、組織、ISP、またはその他の属性に特定であってよい。例えば
、アトランタ支社を担当するステム管理者は、ある特定の問題(例えば、平均応
答時間が特定の閾値を超える)がその事務所内のコンピュータによって検出され
ると、通知されることを要求してよい。好ましい実施形態では、警報通知を受信
すると、管理者は、レポートサーバにアクセスし、通知をトリガした1つ以上の
イベントの詳細を表示するために標準ウェブブラウザを使用することができる。
【0015】
本発明の別の態様によれば、エージェントコンピュータは、トランザクション
実行中に画面表示のシーケンスを捕捉し、トランザクションが失敗したときに、
表示のためにこれらの画面表示をレポートサーバに伝送するようにプログラムさ
れてよい。この特徴により、ユーザは、エージェントによって「見られるように
」エラー状態につながったイベントのシーケンスを表示することができる。
実行中に画面表示のシーケンスを捕捉し、トランザクションが失敗したときに、
表示のためにこれらの画面表示をレポートサーバに伝送するようにプログラムさ
れてよい。この特徴により、ユーザは、エージェントによって「見られるように
」エラー状態につながったイベントのシーケンスを表示することができる。
【0016】
本発明の別の特徴によれば、エージェントコンピュータは、エージェントコン
ピュータとトランザクションサーバとの間の経路遅延が事前に書き込まれている
閾値を超えると、ネットワーク監視構成要素を起動するようにプログラミングさ
れてよい。起動されると、ネットワーク監視構成要素は、ネットワーク経路の各
セグメントに沿って現在経験されている遅延を求める。測定されたセグメント遅
延は(好ましくはレポートサーバを通して)人員に報告され、様々な種類のネッ
トワーク問題を検出するために使用されてよい。本発明の別の態様によれば、エ
ージェントコンピュータの1つ以上は、中断されたリンク(アクセスできないオ
ブジェクトへのリンク)がないか、チェックするために監視されるウェブサイト
を定期的に走査する、あるいは徐行する(crawl)ように遠隔でプログラミ
ングされてよい。中断されたリンクが検出されると、それらは、レポートサーバ
を通してeメールによって、あるいはその他の手段によって報告されてよい。
ピュータとトランザクションサーバとの間の経路遅延が事前に書き込まれている
閾値を超えると、ネットワーク監視構成要素を起動するようにプログラミングさ
れてよい。起動されると、ネットワーク監視構成要素は、ネットワーク経路の各
セグメントに沿って現在経験されている遅延を求める。測定されたセグメント遅
延は(好ましくはレポートサーバを通して)人員に報告され、様々な種類のネッ
トワーク問題を検出するために使用されてよい。本発明の別の態様によれば、エ
ージェントコンピュータの1つ以上は、中断されたリンク(アクセスできないオ
ブジェクトへのリンク)がないか、チェックするために監視されるウェブサイト
を定期的に走査する、あるいは徐行する(crawl)ように遠隔でプログラミ
ングされてよい。中断されたリンクが検出されると、それらは、レポートサーバ
を通してeメールによって、あるいはその他の手段によって報告されてよい。
【0017】
以下の説明は、分散監視ツール及び関連付けられた方法の多数のインプリメン
テーションに特定な詳細を述べる。これらの詳細は、発明の範囲を制限するため
ではなく、発明の好ましい実施形態を描くために提供される。発明の範囲は、添
付クレームだけによって画定される。
テーションに特定な詳細を述べる。これらの詳細は、発明の範囲を制限するため
ではなく、発明の好ましい実施形態を描くために提供される。発明の範囲は、添
付クレームだけによって画定される。
【0018】
この説明全体で、監視されているトランザクションサーバが、インターネット
経由でアクセスできるウェブベースシステムであると仮定されるだろう。しかし
ながら、本発明の方法は、専用プロトコルを使用する、あるいはある特定の組織
の内部ユーザだけがアクセスできるものを含む、その他の種類のトランザクショ
ンサーバを監視するためにも使用できることが認識されるだろう。例えば、基礎
となる方法論は、内部イントラネット、2層クライアント/サーバシステム、S
AP R/3システム、及びその他の種類の分散システムを監視するためにも使
用できる。
経由でアクセスできるウェブベースシステムであると仮定されるだろう。しかし
ながら、本発明の方法は、専用プロトコルを使用する、あるいはある特定の組織
の内部ユーザだけがアクセスできるものを含む、その他の種類のトランザクショ
ンサーバを監視するためにも使用できることが認識されるだろう。例えば、基礎
となる方法論は、内部イントラネット、2層クライアント/サーバシステム、S
AP R/3システム、及びその他の種類の分散システムを監視するためにも使
用できる。
【0019】
I.概要
図1は、分散監視ツールの一般的な構成要素を示し、これらの構成要素が、ウ
ェブベースのトランザクションサーバ30を試験、監視するために、ネットワー
ク内でどのように配備されてよいのかを示す。図1中の破線は、一般的な機械境
界を示し、オープン・ボックスが1台以上の機械を示す。図1に描かれるように
、トランザクションサーバ30は、一般的には、ウェブサーバ構成要素30A及
び1つ以上のアプリケーション30Bを含む。アプリケーションは、例えば、ユ
ーザアカウントをセットアップする、または発注するなどの1つ以上のビジネス
プロセスを実現するための機能性を提供してよい。アプリケーション30Bは、
一般的には、1つ以上のバックエンドデータベース(図示されていない)にユー
ザアクセスを提供する。トランザクションサーバは、地理的に互いに離れている
機械を含む複数の機械を含んでよい。
ェブベースのトランザクションサーバ30を試験、監視するために、ネットワー
ク内でどのように配備されてよいのかを示す。図1中の破線は、一般的な機械境
界を示し、オープン・ボックスが1台以上の機械を示す。図1に描かれるように
、トランザクションサーバ30は、一般的には、ウェブサーバ構成要素30A及
び1つ以上のアプリケーション30Bを含む。アプリケーションは、例えば、ユ
ーザアカウントをセットアップする、または発注するなどの1つ以上のビジネス
プロセスを実現するための機能性を提供してよい。アプリケーション30Bは、
一般的には、1つ以上のバックエンドデータベース(図示されていない)にユー
ザアクセスを提供する。トランザクションサーバは、地理的に互いに離れている
機械を含む複数の機械を含んでよい。
【0020】
さらに図1に描かれているように、監視ツールは、以下の3つの主要なソフト
ウェア構成要素から成り立つ。エージェント32、制御装置34、及びウェブベ
ースのレポートサーバ36である。各構成要素32、34、36は、1つ以上の
実行可能なファイルまたはコンピュータ読み取り可能媒体内に記憶されるモジュ
ールを含む。
ウェア構成要素から成り立つ。エージェント32、制御装置34、及びウェブベ
ースのレポートサーバ36である。各構成要素32、34、36は、1つ以上の
実行可能なファイルまたはコンピュータ読み取り可能媒体内に記憶されるモジュ
ールを含む。
【0021】
エージェント32は、サーバ性能を監視し、報告しつつ、トランザクションサ
ーバ30のユーザの動作をシミュレートするための基本的な機能性を含む。図1
に示されるように、エージェント32は、エンドユーザの経験が複数の場所から
捕捉できるように、好ましくは、複数のインターネットに接続されるホストコン
ピュータ40(PC、ワークステーション等)にインストールされる。これらの
ホストコンピュータ40は、有利なことに、トランザクションサーバ30のオペ
レータによって所有または制御されるコンピュータを含んでよい。例えば、トラ
ンザクションサーバのオペレータは、実際のエンドユーザのコンピュータを含む
、トランザクションサーバが頻繁にアクセスされる部門または組織の各々の中の
選択されたコンピュータ上にエージェント構成要素をインストールできる。
ーバ30のユーザの動作をシミュレートするための基本的な機能性を含む。図1
に示されるように、エージェント32は、エンドユーザの経験が複数の場所から
捕捉できるように、好ましくは、複数のインターネットに接続されるホストコン
ピュータ40(PC、ワークステーション等)にインストールされる。これらの
ホストコンピュータ40は、有利なことに、トランザクションサーバ30のオペ
レータによって所有または制御されるコンピュータを含んでよい。例えば、トラ
ンザクションサーバのオペレータは、実際のエンドユーザのコンピュータを含む
、トランザクションサーバが頻繁にアクセスされる部門または組織の各々の中の
選択されたコンピュータ上にエージェント構成要素をインストールできる。
【0022】
便宜的に、エージェント32の上位装置として働くコンピュータ40は、「エ
ージェントコンピュータ」と呼ばれ、制御装置34の上位装置として働くコンピ
ュータ35は「制御装置コンピュータ」と呼ばれるだろう。しかしながら、単一
コンピュータは、ツールの構成要素32、34及び36の内の2つ以上の上位装
置として働くことができること、及び監視ツールの機能性が構成要素の間で別々
に分割できることが理解されなければならない。さらに、ウェブレポートサーバ
36及びトランザクションサーバ30は、1つの共通のウェブサイトを通してア
クセスできるだろう。
ージェントコンピュータ」と呼ばれ、制御装置34の上位装置として働くコンピ
ュータ35は「制御装置コンピュータ」と呼ばれるだろう。しかしながら、単一
コンピュータは、ツールの構成要素32、34及び36の内の2つ以上の上位装
置として働くことができること、及び監視ツールの機能性が構成要素の間で別々
に分割できることが理解されなければならない。さらに、ウェブレポートサーバ
36及びトランザクションサーバ30は、1つの共通のウェブサイトを通してア
クセスできるだろう。
【0023】
制御装置34は、トランザクションサーバのオペレータがそれを通して監視セ
ッションをセットアップし、開始することができるユーザインタフェース(UI
)を提供する。その監視セッションは、トランザクションサーバが、複数のユー
ザロケーションからアクセスされ、監視される分散監視セッションを含む。この
UIを通して、ユーザは、特に、監視セッション内に含まれるエージェントコン
ピュータ40を選択し、トランザクション及び実行スケジュールをこのようなコ
ンピュータに割り当てることができる。制御装置34は、警報状態を指定するた
め、及びこのような状態が存在するときに人員に通知するための機能も提供する
。制御装置のUIの例の画面は、図2から12及び図16に示され、以下に説明
される。
ッションをセットアップし、開始することができるユーザインタフェース(UI
)を提供する。その監視セッションは、トランザクションサーバが、複数のユー
ザロケーションからアクセスされ、監視される分散監視セッションを含む。この
UIを通して、ユーザは、特に、監視セッション内に含まれるエージェントコン
ピュータ40を選択し、トランザクション及び実行スケジュールをこのようなコ
ンピュータに割り当てることができる。制御装置34は、警報状態を指定するた
め、及びこのような状態が存在するときに人員に通知するための機能も提供する
。制御装置のUIの例の画面は、図2から12及び図16に示され、以下に説明
される。
【0024】
ウェブレポートサーバ36は、標準ウェブブラウザを使用して、エージェント
コンピュータ40によって測定及び報告されるように、オペレータがトランザク
ションサーバ30の動作を遠隔で監視できるようにするための機能性を提供する
。その他の実施形態では、レポートサーバ36は、表示のために特殊クライアン
トアプリケーションに、性能データまたはそこから作成されるレポートを「プッ
シュする」ように構成できるだろう。後述されるように、エージェントコンピュ
ータ40は、好ましくは、そのトランザクション実行結果(性能データ)を(好
ましくは、事前に画定された警報状態がないかチェックする制御装置34を介し
て)レポートサーバ36にリアルタイムで報告し、オペレータが、トランザクシ
ョンサーバのリアルタイムステータスを表示できるようにする。レポートサーバ
36は、多くの異なるトランザクションサーバ及びビジネスエンティティのため
に、サーバステータスデータに対する確実なアクセスを記憶、提供する「監視サ
ービスプロバイダ」エンティティによってオプションで実現されてよい。このア
プローチにより、試験中のトランザクションサーバのオペレータは、レポートサ
ーバ36を管理しなくてもよくなる。代わりに、試験中のトランザクションサー
バのオペレータの各々または幾人かは、独自の各々のレポートサーバ36を実現
できるだろう。
コンピュータ40によって測定及び報告されるように、オペレータがトランザク
ションサーバ30の動作を遠隔で監視できるようにするための機能性を提供する
。その他の実施形態では、レポートサーバ36は、表示のために特殊クライアン
トアプリケーションに、性能データまたはそこから作成されるレポートを「プッ
シュする」ように構成できるだろう。後述されるように、エージェントコンピュ
ータ40は、好ましくは、そのトランザクション実行結果(性能データ)を(好
ましくは、事前に画定された警報状態がないかチェックする制御装置34を介し
て)レポートサーバ36にリアルタイムで報告し、オペレータが、トランザクシ
ョンサーバのリアルタイムステータスを表示できるようにする。レポートサーバ
36は、多くの異なるトランザクションサーバ及びビジネスエンティティのため
に、サーバステータスデータに対する確実なアクセスを記憶、提供する「監視サ
ービスプロバイダ」エンティティによってオプションで実現されてよい。このア
プローチにより、試験中のトランザクションサーバのオペレータは、レポートサ
ーバ36を管理しなくてもよくなる。代わりに、試験中のトランザクションサー
バのオペレータの各々または幾人かは、独自の各々のレポートサーバ36を実現
できるだろう。
【0025】
後述されるように、監視ツールの1つの重要な特徴は、ユーザが、エージェン
トコンピュータ40のオペレータによって選択される属性に従ってサーバ性能を
監視する能力を含む。例えば、レポートサーバ36を使用して、ユーザは、サン
フランシスコ内のすべてのエージェントコンピュータによって、あるいは特定の
ISPを使用するすべてのコンピュータによって測定されるように、平均の応答
時間のグラフを見ることができるだろう。1つの実施形態では、各エージェント
コンピュータの属性は、コンピュータの場所、組織、及びISPを含み、制御装
置34(図6を参照すること)のユーザインタフェースを介して割り当てる、ま
たは修正することができる。ユーザによって画定される属性型を含む、その他の
型の属性は、さらに、または代わりに使用することができる。性能が場所及びト
ランザクションごとに別個に表示されるレポートの例は、図15に示され、以下
に説明される。
トコンピュータ40のオペレータによって選択される属性に従ってサーバ性能を
監視する能力を含む。例えば、レポートサーバ36を使用して、ユーザは、サン
フランシスコ内のすべてのエージェントコンピュータによって、あるいは特定の
ISPを使用するすべてのコンピュータによって測定されるように、平均の応答
時間のグラフを見ることができるだろう。1つの実施形態では、各エージェント
コンピュータの属性は、コンピュータの場所、組織、及びISPを含み、制御装
置34(図6を参照すること)のユーザインタフェースを介して割り当てる、ま
たは修正することができる。ユーザによって画定される属性型を含む、その他の
型の属性は、さらに、または代わりに使用することができる。性能が場所及びト
ランザクションごとに別個に表示されるレポートの例は、図15に示され、以下
に説明される。
【0026】
別の重要な特徴は、ユーザが、ある特定のエージェント・マシン40に、(ウ
ィークデーの1時間あたり1度などの)定期的なスケジュールを含む実行スケジ
ュールを割り当てる能力を含む。この特徴を使用すると、ユーザは、例えば、ト
ランザクションサーバ30が、連続的に、またはほぼ連続的に先を見越して行使
、監視され、警報状態が検出されるとすぐに、システム管理者が(例えばページ
ャーによって)即座に通知される監視セッションをセットアップすることができ
る。
ィークデーの1時間あたり1度などの)定期的なスケジュールを含む実行スケジ
ュールを割り当てる能力を含む。この特徴を使用すると、ユーザは、例えば、ト
ランザクションサーバ30が、連続的に、またはほぼ連続的に先を見越して行使
、監視され、警報状態が検出されるとすぐに、システム管理者が(例えばページ
ャーによって)即座に通知される監視セッションをセットアップすることができ
る。
【0027】
II.専門用語
発明の理解を容易にするために、残りの説明全体で以下の専門用語が使用され
るだろう。
るだろう。
【0028】
用語「分散監視セッション」または「分散セッション」とは、複数のエージェ
ントコンピュータ40が、トランザクションサーバ30を監視するために使用さ
れる監視セッションを指す。
ントコンピュータ40が、トランザクションサーバ30を監視するために使用さ
れる監視セッションを指す。
【0029】
用語「エージェントグループ」は、分散セッション内に含まれるエージェント
コンピュータ40のグループを指す。
コンピュータ40のグループを指す。
【0030】
用語「エージェント」は、用語が使用される文脈に応じて、一般的にエージェ
ント構成要素32、またはエージェントコンピュータ上で実行しているエージェ
ント構成要素の特定のコピーまたはインスタンスのどちらかを指す。
ント構成要素32、またはエージェントコンピュータ上で実行しているエージェ
ント構成要素の特定のコピーまたはインスタンスのどちらかを指す。
【0031】
用語「属性」は、場所、組織、ISP、またはコンピュータの構成などのホス
トまたはエージェントコンピュータの特定の特徴または特性を指す。
トまたはエージェントコンピュータの特定の特徴または特性を指す。
【0032】
用語「トランザクションサーバ」は、アカウント情報を表示する、発注する、
検索を実行する、あるいは電子メールを表示し、送信するなどの1つ以上のタス
クつまり「トランザクション」を実行するというユーザからの要求に応えるマル
チユーザシステムを指す。用語「オペレータ」は、一般的には、トランザクショ
ンサーバ(一般的には、オーナー)の動作を担当するビジネスエンティティを指
す。
検索を実行する、あるいは電子メールを表示し、送信するなどの1つ以上のタス
クつまり「トランザクション」を実行するというユーザからの要求に応えるマル
チユーザシステムを指す。用語「オペレータ」は、一般的には、トランザクショ
ンサーバ(一般的には、オーナー)の動作を担当するビジネスエンティティを指
す。
【0033】
用語「テストケース」は、一般的には、ある特定のコンピュータによってトラ
ンザクションサーバを監視するために実行されるトランザクション(複数の場合
がある)のコンピュータ表現を指す。好ましい実施形態では、テストケースは代
わりにそれ以外の形式を取ることもできるだろうが、テストケースは、エージェ
ントコンピュータ40によって「再生される」(テキスト形式または実行可能形
式のどちらかの)従来のテストスクリプトを含む。テストケースは、オプション
で、サーバ機能性を試験するために使用される検証ポイントを含んでよい。
ンザクションサーバを監視するために実行されるトランザクション(複数の場合
がある)のコンピュータ表現を指す。好ましい実施形態では、テストケースは代
わりにそれ以外の形式を取ることもできるだろうが、テストケースは、エージェ
ントコンピュータ40によって「再生される」(テキスト形式または実行可能形
式のどちらかの)従来のテストスクリプトを含む。テストケースは、オプション
で、サーバ機能性を試験するために使用される検証ポイントを含んでよい。
【0034】
用語「ウェブ」は、HTTPなどのワールドワイドウェブ規格の使用を示す。
【0035】
III.アーキテクチャ及び一般的な動作
好ましい実施形態では、エージェント32は、マーキュリーインターアクティ
ブ社の市販されているLoadRunner仮想ユーザ(VUser)構成部品
を使用して実現され、マーキュリーインターアクティブのLoadRunner
、WinRunner、及びAstra QuickTest製品を使用して作
成されるテストケースを実行することができる。テストケースを作成し、再生す
るために使用されてよい方法の例は、(1997年10月14日に提出された)
同時係属米国出願第08/949,680号と(1999年6月21日に提出さ
れた)第09/337,446号に記載される。ユーザ動作をシミュレートし、
サーバ応答を監視するためのそれ以外の既知のプログラミング方法は、エージェ
ント32を実現するために使用されてよい。加えて、アプリケーションに特定な
ハードウェアは、エージェントの機能のいくつかまたはすべてを実行するために
使用できるだろう。
ブ社の市販されているLoadRunner仮想ユーザ(VUser)構成部品
を使用して実現され、マーキュリーインターアクティブのLoadRunner
、WinRunner、及びAstra QuickTest製品を使用して作
成されるテストケースを実行することができる。テストケースを作成し、再生す
るために使用されてよい方法の例は、(1997年10月14日に提出された)
同時係属米国出願第08/949,680号と(1999年6月21日に提出さ
れた)第09/337,446号に記載される。ユーザ動作をシミュレートし、
サーバ応答を監視するためのそれ以外の既知のプログラミング方法は、エージェ
ント32を実現するために使用されてよい。加えて、アプリケーションに特定な
ハードウェアは、エージェントの機能のいくつかまたはすべてを実行するために
使用できるだろう。
【0036】
好ましい実施形態では、エージェント32は、監視セッションの開始前にエー
ジェントコンピュータ40にインストールされる。いったんインストールされる
と、エージェントは、インターネットまたはAPI呼び出し経由のその他のTC
P/IPベースのネットワーク上で制御装置34からテストケース及び実行スケ
ジュールを受信することができる。代わりに、エージェント32は、監視セッシ
ョンが開始されると、制御装置34によって自動的にインストールされてよい。
例えば、制御装置34は、(オプションでは、単一の実行可能な構成要素として
)エージェント32及びテストケースを、エージェントグループ内の各機械にデ
ィスパッチすることができ、エージェント32は、テストケース実行に続いて自
動的に自らを削除できるだろう。各エージェント32は、好ましくは複数のユー
ザの動作をシミュレートすることができる。
ジェントコンピュータ40にインストールされる。いったんインストールされる
と、エージェントは、インターネットまたはAPI呼び出し経由のその他のTC
P/IPベースのネットワーク上で制御装置34からテストケース及び実行スケ
ジュールを受信することができる。代わりに、エージェント32は、監視セッシ
ョンが開始されると、制御装置34によって自動的にインストールされてよい。
例えば、制御装置34は、(オプションでは、単一の実行可能な構成要素として
)エージェント32及びテストケースを、エージェントグループ内の各機械にデ
ィスパッチすることができ、エージェント32は、テストケース実行に続いて自
動的に自らを削除できるだろう。各エージェント32は、好ましくは複数のユー
ザの動作をシミュレートすることができる。
【0037】
好ましくは、エージェントグループは、クライアント属性の代表的な断面を取
り囲むように選択される。例えば、1つ以上のエージェントコンピュータ40は
、重要なユーザ活動がそこから発することが予想される各々の地理的な領域及び
/または部門内で選択されてよい。
り囲むように選択される。例えば、1つ以上のエージェントコンピュータ40は
、重要なユーザ活動がそこから発することが予想される各々の地理的な領域及び
/または部門内で選択されてよい。
【0038】
加えて、レポートサーバ36を動作するエンティティなどの監視サービスプロ
バイダエンティティは、(例えば、様々な地理的な場所の中で、多岐に渡る異な
るISPと、等)様々な属性を持つインターネットホストをセットアップし、こ
のようなホストをそのカスタマがエージェントコンピュータ40として使用でき
るようにしてよい。このようなホストコンピュータは、好ましくは、エージェン
ト32が事前にインストールされた状態でサービスプロバイダによって提供され
、同時に、複数のトランザクションサーバを監視する(および、このようにして
複数のオペレータにサービスを提供する)ように構成される。この方法は、トラ
ンザクションサーバ30のオペレータが、一般的なエンドユーザの属性でクライ
アントコンピュータにほかの場合にはアクセスしない点で特に有効である。例え
ば、電子商取引ウェブサイトのオペレータは、購入が行われる様々な国々または
地域内のホストコンピュータにアクセスできないであろう。本方法は、オペレー
タがエージェントコンピュータ40をセットアップし、管理する負担も軽減する
。
バイダエンティティは、(例えば、様々な地理的な場所の中で、多岐に渡る異な
るISPと、等)様々な属性を持つインターネットホストをセットアップし、こ
のようなホストをそのカスタマがエージェントコンピュータ40として使用でき
るようにしてよい。このようなホストコンピュータは、好ましくは、エージェン
ト32が事前にインストールされた状態でサービスプロバイダによって提供され
、同時に、複数のトランザクションサーバを監視する(および、このようにして
複数のオペレータにサービスを提供する)ように構成される。この方法は、トラ
ンザクションサーバ30のオペレータが、一般的なエンドユーザの属性でクライ
アントコンピュータにほかの場合にはアクセスしない点で特に有効である。例え
ば、電子商取引ウェブサイトのオペレータは、購入が行われる様々な国々または
地域内のホストコンピュータにアクセスできないであろう。本方法は、オペレー
タがエージェントコンピュータ40をセットアップし、管理する負担も軽減する
。
【0039】
図1に示されるように、制御装置34は、好ましくは、テストケースの中に含
まれるトランザクションを記録、編集するための機能を提供するレコーダ34A
を含む、あるいはレコーダ34Aと相互動作する。好ましい実施形態では、マー
キュリーインターアクティブ社の前述された製品の任意の1つ以上は、レコーダ
34として使用されてよい。新しいテストケースを記録する代わりに、ユーザは
、オプションで、トランザクションサーバ36の事前配備試験に関して作成され
たテストケースまたはテストケーススクリプトを再利用してよい。それ以外の既
存のツール及びテストケース作成方法が、テストケースを作成するために使用で
きるだろう。
まれるトランザクションを記録、編集するための機能を提供するレコーダ34A
を含む、あるいはレコーダ34Aと相互動作する。好ましい実施形態では、マー
キュリーインターアクティブ社の前述された製品の任意の1つ以上は、レコーダ
34として使用されてよい。新しいテストケースを記録する代わりに、ユーザは
、オプションで、トランザクションサーバ36の事前配備試験に関して作成され
たテストケースまたはテストケーススクリプトを再利用してよい。それ以外の既
存のツール及びテストケース作成方法が、テストケースを作成するために使用で
きるだろう。
【0040】
制御装置34は、監視セッションをセットアップするために使用されるスケジ
ューラ構成要素34Bも含む。スケジューラ34Bは、ユーザに、エージェント
コンピュータを選択し、このようなコンピュータによって実行されるトランザク
ションを指定し、実行スケジュールをエージェントコンピュータに割り当て、警
報イベント及び通知を作成するための基準を指定するプロセスを進ませる、好ま
しくは1つ以上の「ウィザード」を使用して実現される。スケジューラ34Bに
よって提供される例の画面表示は、図3から図12に含まれ、後述される。
ューラ構成要素34Bも含む。スケジューラ34Bは、ユーザに、エージェント
コンピュータを選択し、このようなコンピュータによって実行されるトランザク
ションを指定し、実行スケジュールをエージェントコンピュータに割り当て、警
報イベント及び通知を作成するための基準を指定するプロセスを進ませる、好ま
しくは1つ以上の「ウィザード」を使用して実現される。スケジューラ34Bに
よって提供される例の画面表示は、図3から図12に含まれ、後述される。
【0041】
制御装置34は、テストケース及び実行スケジュールをエージェントにディス
パッチすることを含む、エージェント32の動作を制御するための方法を提供す
る自動化インタフェース34Cも含む。好ましい実施形態では、自動化インタフ
ェースは、マーキュリーインターアクティブ社から利用できるLoadRunn
er6.0自動化インタフェースを使用して実現される。制御装置34は、さら
に、ユーザによって画定される警報状態がないかチェックするために、リアルタ
イムでエージェント32によって生成される性能データのいくつかまたはすべて
を監視する警報エンジン34Dを含む。スケジューラ34Bを使用して、警報エ
ンジン34Dは、ページャー、携帯電話、またはeメールなどの適切な通信方法
によって、オペレータに警報状態を通知するように構成することができる。例え
ば、警報エンジンは、トランザクションサーバの平均応答時間が一定の閾値を超
えると必ず、あるいはトランザクションサーバが任意の場所または組織からアク
セスできなくなると、システム管理者をページングするように構成することがで
きる。警報エンジン34Dは、トランザクションサーバによって戻される、コン
テンツ(例えば、予想されるテキスト文字列または値)に基づく通知を作成する
こともできる。
パッチすることを含む、エージェント32の動作を制御するための方法を提供す
る自動化インタフェース34Cも含む。好ましい実施形態では、自動化インタフ
ェースは、マーキュリーインターアクティブ社から利用できるLoadRunn
er6.0自動化インタフェースを使用して実現される。制御装置34は、さら
に、ユーザによって画定される警報状態がないかチェックするために、リアルタ
イムでエージェント32によって生成される性能データのいくつかまたはすべて
を監視する警報エンジン34Dを含む。スケジューラ34Bを使用して、警報エ
ンジン34Dは、ページャー、携帯電話、またはeメールなどの適切な通信方法
によって、オペレータに警報状態を通知するように構成することができる。例え
ば、警報エンジンは、トランザクションサーバの平均応答時間が一定の閾値を超
えると必ず、あるいはトランザクションサーバが任意の場所または組織からアク
セスできなくなると、システム管理者をページングするように構成することがで
きる。警報エンジン34Dは、トランザクションサーバによって戻される、コン
テンツ(例えば、予想されるテキスト文字列または値)に基づく通知を作成する
こともできる。
【0042】
図1に描かれるように、制御装置34は、ローカル記憶装置38内に様々な試
験制御データを記憶する。試験制御データは、一般的には、事前に記録されるト
ランザクション用のテストケースファイル(スクリプトファイル及び関係するデ
ータファイル)、及び作成された様々な監視セッションを指定するセッションフ
ァイルを含む。
験制御データを記憶する。試験制御データは、一般的には、事前に記録されるト
ランザクション用のテストケースファイル(スクリプトファイル及び関係するデ
ータファイル)、及び作成された様々な監視セッションを指定するセッションフ
ァイルを含む。
【0043】
前述されたように、レポートサーバ36は、エージェント32によってリアル
タイムで報告されるテストケース実行(性能)データにオンラインウェブベース
アクセスを提供する。図1に描かれるように、継続中の分散セッションの性能デ
ータは、好ましい実施形態では、ODBCに準拠するデータベースである中央「
セッション」データベース42の中に記憶される。このデータベース40の1つ
の考えられるスキーマが後述される。図1によって描かれるように、レポートサ
ーバ36の構成要素は、好ましくは、マイクロソフトインターネットインフォメ
ーションサーバ(IIS)などのウェブサーバ36A、セッションデータベース
42へのアクセスを制限するアクセス制御層36B、データベースアクセス層3
6C、及びレポート作成構成要素36Dを含む。データベースアクセス層36C
は、セッションデータベース42と通信するためにMDAC(マイクロソフトデ
ータアクセス構成要素)を使用するアクティブサーバページ(.ASPファイル
)のセットを使用して実現される。ASPページは、新しいエンドユーザをデー
タベース42に追加するなどのタスクを実行するための管理者特権でユーザによ
ってアクセスできる管理ページ(図示されていない)を含む。
タイムで報告されるテストケース実行(性能)データにオンラインウェブベース
アクセスを提供する。図1に描かれるように、継続中の分散セッションの性能デ
ータは、好ましい実施形態では、ODBCに準拠するデータベースである中央「
セッション」データベース42の中に記憶される。このデータベース40の1つ
の考えられるスキーマが後述される。図1によって描かれるように、レポートサ
ーバ36の構成要素は、好ましくは、マイクロソフトインターネットインフォメ
ーションサーバ(IIS)などのウェブサーバ36A、セッションデータベース
42へのアクセスを制限するアクセス制御層36B、データベースアクセス層3
6C、及びレポート作成構成要素36Dを含む。データベースアクセス層36C
は、セッションデータベース42と通信するためにMDAC(マイクロソフトデ
ータアクセス構成要素)を使用するアクティブサーバページ(.ASPファイル
)のセットを使用して実現される。ASPページは、新しいエンドユーザをデー
タベース42に追加するなどのタスクを実行するための管理者特権でユーザによ
ってアクセスできる管理ページ(図示されていない)を含む。
【0044】
レポート作成構成要素36Dは、ダイナミックウェブページを作成するための
機能を提供するMicrosoft ActiveX Data Object
s(ADO)を使用して実現される。ダイナミックウェブページは、カスタマイ
ズされた、ウェブベースのレポートサーバを形成するのに使用される、事前に画
定された様々なグラフやチャート(図13から16を参照のこと)を含む。レポ
ートサーバ36はまた、eメール、ファックス、プッシュプロトコル、あるいは
他の伝達方法によってレポートを広めるために構成される。
機能を提供するMicrosoft ActiveX Data Object
s(ADO)を使用して実現される。ダイナミックウェブページは、カスタマイ
ズされた、ウェブベースのレポートサーバを形成するのに使用される、事前に画
定された様々なグラフやチャート(図13から16を参照のこと)を含む。レポ
ートサーバ36はまた、eメール、ファックス、プッシュプロトコル、あるいは
他の伝達方法によってレポートを広めるために構成される。
【0045】
IV.制御装置UI及びセッションセットアップ
図2は、(「プロファイル」とも呼ばれる)例の監視セッションが開かれ、ツ
リーウィンドウに表示されている、制御装置34の好ましい実施形態のためのメ
インスクリーンまたはコンソールを示す。監視セッションの詳細は、エージェン
ト(ホスト)コンピュータに、各エージェントコンピュータに割り当てられたテ
ストケース実行予定、及び各エージェントコンピュータに割り当てられるトラン
ザクションを示す拡大可能なセッションツリー46としてユーザにグラフで提示
される。セッションツリーは、画定されたあらゆる警報状態も示す。図2に示さ
れている簡略な例では、監視セッションは、単一トランザクション「フライト(f
lights)」、及び「5分おき、月曜日から金曜日まで、終日(Every 5 minute(s),
Mon − Fri, all day)」という実行スケジュールを割り当てられた、単一のエ
ージェントコンピュータ「idopc」を使用する。監視セッションは、トラン
ザクション「フライト」の応答時間が10秒を超える(Response time of transa
ction flights 1 > 10.00 sec)と、警報イベントがトリガされるであろう単一警
報を含む。拡大可能なツリーは、有利なことに、ドラッグアンドドロップ及びW
indows(登録商標)オペレーティングシステムによって提供されるその他
の標準的な機能で監視セッションを編集するために使用できる。図16に示され
るように、制御装置のUIは、ユーザがレポートサーバ36からレポートページ
を表示できるブラウザウィンドウも提供する。
リーウィンドウに表示されている、制御装置34の好ましい実施形態のためのメ
インスクリーンまたはコンソールを示す。監視セッションの詳細は、エージェン
ト(ホスト)コンピュータに、各エージェントコンピュータに割り当てられたテ
ストケース実行予定、及び各エージェントコンピュータに割り当てられるトラン
ザクションを示す拡大可能なセッションツリー46としてユーザにグラフで提示
される。セッションツリーは、画定されたあらゆる警報状態も示す。図2に示さ
れている簡略な例では、監視セッションは、単一トランザクション「フライト(f
lights)」、及び「5分おき、月曜日から金曜日まで、終日(Every 5 minute(s),
Mon − Fri, all day)」という実行スケジュールを割り当てられた、単一のエ
ージェントコンピュータ「idopc」を使用する。監視セッションは、トラン
ザクション「フライト」の応答時間が10秒を超える(Response time of transa
ction flights 1 > 10.00 sec)と、警報イベントがトリガされるであろう単一警
報を含む。拡大可能なツリーは、有利なことに、ドラッグアンドドロップ及びW
indows(登録商標)オペレーティングシステムによって提供されるその他
の標準的な機能で監視セッションを編集するために使用できる。図16に示され
るように、制御装置のUIは、ユーザがレポートサーバ36からレポートページ
を表示できるブラウザウィンドウも提供する。
【0046】
その一番上のレベルが図2に示される制御装置のメニューは、セットアップウ
ィザード及び警報ウィザード(後述される)を起動すること、既存の監視セッシ
ョンを開き、編集すること、監視セッションを開始、停止すること、監視セッシ
ョンとともに使用されるレポートサーバ36のアドレスを指定すること、データ
ベース42のコンテンツをクリアすること、及び警報通知を送信するために設定
値を指定することを含む、様々なセッション関連タスクを実行するための機能を
提供する。
ィザード及び警報ウィザード(後述される)を起動すること、既存の監視セッシ
ョンを開き、編集すること、監視セッションを開始、停止すること、監視セッシ
ョンとともに使用されるレポートサーバ36のアドレスを指定すること、データ
ベース42のコンテンツをクリアすること、及び警報通知を送信するために設定
値を指定することを含む、様々なセッション関連タスクを実行するための機能を
提供する。
【0047】
新しい監視セッションを作成するために、ユーザは、制御装置34にセットア
ップウィザード(図3から9)を起動させるPROFILE/NEWを選択する
。図3によって示されるように、ユーザは、最初に、セッション名を指定するよ
うにプロンプトを出される。セッション名は、ある特定の監視セッションのレポ
ートを後に検索したり、表示するための機構を提供する。図4に示されるように
、ユーザは、それから監視セッション内で含まれる過去に作成されたトランザク
ションを指定するための「トランザクション選択(Select Transaction)」画面を
提示される。ユーザは、レコーダ34Aを起動し、新しいトランザクションを記
録するためにNEWボタンを使用することもできる。トランザクションは、オプ
ションで、ウェブページ内の特定の値またはテキスト文字列などの予測されるサ
ーバ応答を指定する検証ポイントを含んでよい。代わりに、トランザクションは
、サーバ応答の内容を検証せずにトランザクションサーバにストレスを与えてよ
い。後述されるように、ユーザは、後に特定のトランザクションまたはトランザ
クションの集合を特定のエージェントコンピュータ40に割り当て、トランザク
ションごとにトランザクションサーバの性能を監視することができる。
ップウィザード(図3から9)を起動させるPROFILE/NEWを選択する
。図3によって示されるように、ユーザは、最初に、セッション名を指定するよ
うにプロンプトを出される。セッション名は、ある特定の監視セッションのレポ
ートを後に検索したり、表示するための機構を提供する。図4に示されるように
、ユーザは、それから監視セッション内で含まれる過去に作成されたトランザク
ションを指定するための「トランザクション選択(Select Transaction)」画面を
提示される。ユーザは、レコーダ34Aを起動し、新しいトランザクションを記
録するためにNEWボタンを使用することもできる。トランザクションは、オプ
ションで、ウェブページ内の特定の値またはテキスト文字列などの予測されるサ
ーバ応答を指定する検証ポイントを含んでよい。代わりに、トランザクションは
、サーバ応答の内容を検証せずにトランザクションサーバにストレスを与えてよ
い。後述されるように、ユーザは、後に特定のトランザクションまたはトランザ
クションの集合を特定のエージェントコンピュータ40に割り当て、トランザク
ションごとにトランザクションサーバの性能を監視することができる。
【0048】
好ましい実施形態では、ユーザは、何が監視目的で「トランザクション」を構
成するのかを自由に画定することができる。例えば、ユーザは、ユーザセッショ
ンを記録し始め、サーバとの任意の数のユーザ対話を記録し(書式提出、ページ
要求等)、記録を停止してから、ユーザ指定名(例えば、「ブラウズカタログ」
)でトランザクションとして結果を記憶することができる。さらに、トランザク
ションのそれ以後の編集の間、ユーザは、オプションで、トランザクションを複
数のさらに小さいトランザクションに分割したり、それ以外の修正を加えること
ができる。トランザクションは、複数のウェブサイトへのアクセスも含むことが
できる。好ましくは、トランザクションが十分な粒度で性能障害の特定を容易に
することがユーザによって画定される。例えば、ユーザが、各々のこのようなア
プリケーションが独立して監視することができるように、トランザクションサー
バ30上に配備される一時アプリケーションの各々に別個のトランザクションを
作成することを所望することがある。
成するのかを自由に画定することができる。例えば、ユーザは、ユーザセッショ
ンを記録し始め、サーバとの任意の数のユーザ対話を記録し(書式提出、ページ
要求等)、記録を停止してから、ユーザ指定名(例えば、「ブラウズカタログ」
)でトランザクションとして結果を記憶することができる。さらに、トランザク
ションのそれ以後の編集の間、ユーザは、オプションで、トランザクションを複
数のさらに小さいトランザクションに分割したり、それ以外の修正を加えること
ができる。トランザクションは、複数のウェブサイトへのアクセスも含むことが
できる。好ましくは、トランザクションが十分な粒度で性能障害の特定を容易に
することがユーザによって画定される。例えば、ユーザが、各々のこのようなア
プリケーションが独立して監視することができるように、トランザクションサー
バ30上に配備される一時アプリケーションの各々に別個のトランザクションを
作成することを所望することがある。
【0049】
セッション内に含まれるトランザクションは、オプションで特殊な非破壊、つ
まりトランザクションサーバ30の状態を変更しない「合成」トランザクション
を含んでよい。破壊的なトランザクションが使用されると、トランザクションサ
ーバ30は、オプションで、特殊で無害な(非破壊的)方法でこのようなトラン
ザクションを処理するように構成されてよい。これは、例えば、監視目的のため
にダミーアカウントをセットアップすることによって達成されてよい。加えて、
適切なトランザクションサーバ30がそのデータベースをロールバックするよう
に、あるいはそれ以外の場合、ある特定のダミーアカウント、クレジットカード
番号、ユーザ名、またはその他のユニークな要素が使用されるときにトランザク
ションを無視するように事前にプログラミングされてよい。
まりトランザクションサーバ30の状態を変更しない「合成」トランザクション
を含んでよい。破壊的なトランザクションが使用されると、トランザクションサ
ーバ30は、オプションで、特殊で無害な(非破壊的)方法でこのようなトラン
ザクションを処理するように構成されてよい。これは、例えば、監視目的のため
にダミーアカウントをセットアップすることによって達成されてよい。加えて、
適切なトランザクションサーバ30がそのデータベースをロールバックするよう
に、あるいはそれ以外の場合、ある特定のダミーアカウント、クレジットカード
番号、ユーザ名、またはその他のユニークな要素が使用されるときにトランザク
ションを無視するように事前にプログラミングされてよい。
【0050】
図5の「コンピュータ選択(Select Computers)」画面に示されるように、セッ
トアッププロセスの次のステップは、エージェントグループに含まれる1台以上
のコンピュータを選択することを含む。この画面からADD(追加)ボタンを選
択することによって、ユーザは、使用するために入手できるホストコンピュータ
の標準Windows NT(商標)ツリービューを表示し、そこから選択する
ことができる。ある実施形態では、ツリービューは、エージェント32がインス
トールされるそれらのコンピュータだけを表示する。別の実施形態では、ツリー
ビューは、エージェント32が記憶されていないコンピュータも一覧表示し、ユ
ーザがこのようなコンピュータ上にエージェントを遠隔でインストールするオプ
ションも提供する。前記に示されたように、使用するために入手できるコンピュ
ータは、オプションで、監視サービスプロバイダによって使用可能にされるコン
ピュータを含んでよい。このようなインプリメンテーションでは、セットアップ
ウィザード34は、このようなサービスプロバイダコンピュータ及びその各々の
属性のリストを特殊なインターネットホストから自動的に検索するように構成さ
れてよい。使用可能なサーバのリストを作成し、アクセスするための技法はこの
技術において公知であるため、ここに説明されていない。選択されたコンピュー
タは、各々のノードまたはアイコンとしてセッションツリー46に追加される。
トアッププロセスの次のステップは、エージェントグループに含まれる1台以上
のコンピュータを選択することを含む。この画面からADD(追加)ボタンを選
択することによって、ユーザは、使用するために入手できるホストコンピュータ
の標準Windows NT(商標)ツリービューを表示し、そこから選択する
ことができる。ある実施形態では、ツリービューは、エージェント32がインス
トールされるそれらのコンピュータだけを表示する。別の実施形態では、ツリー
ビューは、エージェント32が記憶されていないコンピュータも一覧表示し、ユ
ーザがこのようなコンピュータ上にエージェントを遠隔でインストールするオプ
ションも提供する。前記に示されたように、使用するために入手できるコンピュ
ータは、オプションで、監視サービスプロバイダによって使用可能にされるコン
ピュータを含んでよい。このようなインプリメンテーションでは、セットアップ
ウィザード34は、このようなサービスプロバイダコンピュータ及びその各々の
属性のリストを特殊なインターネットホストから自動的に検索するように構成さ
れてよい。使用可能なサーバのリストを作成し、アクセスするための技法はこの
技術において公知であるため、ここに説明されていない。選択されたコンピュー
タは、各々のノードまたはアイコンとしてセッションツリー46に追加される。
【0051】
ユーザが、セッションツリー46の中でコンピュータが選択された状態でED
IT(編集)ボタン(図5)を選択すると、ユーザは図6に図示されるような「
コンピュータ特性(Computer Properties)」画面を提示される。ユーザは、この
画面からコンピュータに様々な属性(特性)を割り当てる、あるいは過去に割り
当てられた属性を確認することができる。示される例では、属性型は、エージェ
ントコンピュータ40の場所(例えば、都市)、組織(例えば、会計部門)、及
びISPである。提供されてよいそれ以外の事前に画定された属性型は、例えば
、グループ名、コンピュータのオペレーティングシステム、コンピュータが接続
されるルータ、コンピュータのモデムまたはその他の接続速度、(特に、エージ
ェントがブラウザを使用する、またはエミュレートする場合)コンピュータのデ
フォルトウェブブラウザ、及びコンピュータのハードウェア構成を含む。さらに
、制御装置34及びレポートサーバ36は、ユーザに、1つ以上のユーザによっ
て画定される属性型を作成し、このような属性型を、事前に画定された属性型と
同じように使用するオプションを提供してよい。したがって、図中の特定の属性
及び属性型は単に例示的であり、本発明を制限することは意図されていないこと
が理解されなければならない。
IT(編集)ボタン(図5)を選択すると、ユーザは図6に図示されるような「
コンピュータ特性(Computer Properties)」画面を提示される。ユーザは、この
画面からコンピュータに様々な属性(特性)を割り当てる、あるいは過去に割り
当てられた属性を確認することができる。示される例では、属性型は、エージェ
ントコンピュータ40の場所(例えば、都市)、組織(例えば、会計部門)、及
びISPである。提供されてよいそれ以外の事前に画定された属性型は、例えば
、グループ名、コンピュータのオペレーティングシステム、コンピュータが接続
されるルータ、コンピュータのモデムまたはその他の接続速度、(特に、エージ
ェントがブラウザを使用する、またはエミュレートする場合)コンピュータのデ
フォルトウェブブラウザ、及びコンピュータのハードウェア構成を含む。さらに
、制御装置34及びレポートサーバ36は、ユーザに、1つ以上のユーザによっ
て画定される属性型を作成し、このような属性型を、事前に画定された属性型と
同じように使用するオプションを提供してよい。したがって、図中の特定の属性
及び属性型は単に例示的であり、本発明を制限することは意図されていないこと
が理解されなければならない。
【0052】
エージェントコンピュータに割り当てられる属性は、ある特定の属性グループ
(ある特定の属性または属性の集合を共用するコンピュータのグループ)に監視
されるとしてトランザクションサーバの性能を別個に表示するために使用するこ
とができる。例えば、ユーザは、場所属性「サンホセ(San Jose)」ま
たはISP属性「スプリント(Sprint)」のすべてのエージェントコンピ
ュータによって測定される応答時間のグラフを表示することができる。例のレポ
ートは図13から図16に図示され、後述される。ユーザは(後述されるように
)特定の属性に関連付けられた性能データを考慮から排除するために属性一部除
去済みのレポートを作成することもできる。属性グループごとに別々に性能を表
示、監視し、属性一部除去済みのレポートを作成する能力は、属性に特殊な性能
問題を特定するというタスクを大きく促進する。
(ある特定の属性または属性の集合を共用するコンピュータのグループ)に監視
されるとしてトランザクションサーバの性能を別個に表示するために使用するこ
とができる。例えば、ユーザは、場所属性「サンホセ(San Jose)」ま
たはISP属性「スプリント(Sprint)」のすべてのエージェントコンピ
ュータによって測定される応答時間のグラフを表示することができる。例のレポ
ートは図13から図16に図示され、後述される。ユーザは(後述されるように
)特定の属性に関連付けられた性能データを考慮から排除するために属性一部除
去済みのレポートを作成することもできる。属性グループごとに別々に性能を表
示、監視し、属性一部除去済みのレポートを作成する能力は、属性に特殊な性能
問題を特定するというタスクを大きく促進する。
【0053】
ユーザがコンピュータ選択画面からNEXT(次)ボタンを選択すると、「ト
ランザクション割り当て(Assign Transactions)」画面(図7)が表示される。
ユーザは、この画面から(過去に作成されたトランザクションリストからの)ト
ランザクションをエージェントグループ内の特定のコンピュータに割り当てるこ
とができる。ユーザは、コンピュータごとに、そのコンピュータが割り当てられ
たトランザクションを実行することになる順序も指定できる。トランザクション
はエージェントコンピュータ40に割り当てられるので、トランザクションは、
(コンピュータ「ドルフィン(dolphin)」についての図7と図8に示さ
れるように)その各々のコンピュータの子供達としてセッションツリー46に追
加される。
ランザクション割り当て(Assign Transactions)」画面(図7)が表示される。
ユーザは、この画面から(過去に作成されたトランザクションリストからの)ト
ランザクションをエージェントグループ内の特定のコンピュータに割り当てるこ
とができる。ユーザは、コンピュータごとに、そのコンピュータが割り当てられ
たトランザクションを実行することになる順序も指定できる。トランザクション
はエージェントコンピュータ40に割り当てられるので、トランザクションは、
(コンピュータ「ドルフィン(dolphin)」についての図7と図8に示さ
れるように)その各々のコンピュータの子供達としてセッションツリー46に追
加される。
【0054】
ユーザがトランザクション割り当て画面からNEXT(次)ボタンを選択する
と、ユーザがテストケース実行スケジュールを各コンピュータに割り当てること
ができるようにする「スケジュール割り当て(Assign Schedules)」画面が表示さ
れる(図8)。ユーザがセッションツリー46の中でコンピュータが選択された
状態でSCHEDULE(スケジュール)ボタンを選択すると、「スケジュール
特性(Schedule Properties)」ボックスが表示される(図9)。スケジュール特
性ボックスから、ユーザは、コンピュータに割り当てる、及び/または新しいス
ケジュールを画定するために事前に画定された実行スケジュール(例えば、「ウ
ィークデー(weekdays)」)を選択できる。図9に示されるように、定
期的なスケジュールが使用されてよい。定期的なスケジュールは、オプションで
擬似無作為スケジュールを含んでよい。図8に示されるように、スケジュールは
、各々のエージェントコンピュータの子供として、セッションツリー46に加え
られる。それ以外の実施形態では、スケジュールは、トランザクションごとに割
り当てられてよい。
と、ユーザがテストケース実行スケジュールを各コンピュータに割り当てること
ができるようにする「スケジュール割り当て(Assign Schedules)」画面が表示さ
れる(図8)。ユーザがセッションツリー46の中でコンピュータが選択された
状態でSCHEDULE(スケジュール)ボタンを選択すると、「スケジュール
特性(Schedule Properties)」ボックスが表示される(図9)。スケジュール特
性ボックスから、ユーザは、コンピュータに割り当てる、及び/または新しいス
ケジュールを画定するために事前に画定された実行スケジュール(例えば、「ウ
ィークデー(weekdays)」)を選択できる。図9に示されるように、定
期的なスケジュールが使用されてよい。定期的なスケジュールは、オプションで
擬似無作為スケジュールを含んでよい。図8に示されるように、スケジュールは
、各々のエージェントコンピュータの子供として、セッションツリー46に加え
られる。それ以外の実施形態では、スケジュールは、トランザクションごとに割
り当てられてよい。
【0055】
実行スケジュールは、トランザクションサーバ30の連続的またはほぼ連続的
な監視を提供するように選択されてよい。様々なエージェントコンピュータ40
が異なるときにトランザクションサーバ30を監視するように実行スケジュール
をずらすことによって、オプションで、長期間、任意の単一のエージェントコン
ピュータ40を使用することなく、トランザクションサーバ30を、連続的に(
1日あたり24時間)またはほぼ連続的に監視することができる。例えば、エー
ジェントコンピュータ40が地球中で分散される場合、スケジュールは、どのエ
ージェントコンピュータ40もその各々の地域内で従業員作業時間中の試験のた
めに使用されないように割り当てることができる。
な監視を提供するように選択されてよい。様々なエージェントコンピュータ40
が異なるときにトランザクションサーバ30を監視するように実行スケジュール
をずらすことによって、オプションで、長期間、任意の単一のエージェントコン
ピュータ40を使用することなく、トランザクションサーバ30を、連続的に(
1日あたり24時間)またはほぼ連続的に監視することができる。例えば、エー
ジェントコンピュータ40が地球中で分散される場合、スケジュールは、どのエ
ージェントコンピュータ40もその各々の地域内で従業員作業時間中の試験のた
めに使用されないように割り当てることができる。
【0056】
セットアップウィザードは、ユーザが連続的なまたはほぼ連続的な監視セッシ
ョンをセットアップするのを補助するために、オプションで1つ以上の機能(図
示されていない)を提供してよい。例えば、スケジュールがエージェントコンピ
ュータに割り当てられているので、ウィザードは、累積的な実行スケジュールの
中の「ギャップ」(トランザクションサーバが監視されていない時間)を自動的
に検出及び表示できるだろう。セットアップウィザードは、これらのギャップを
埋める実行スケジュールを自動的に作成するオプションも提供できるだろう。加
えて、少なくとも2台のエージェントコンピュータ40が、つねにテストケース
を実行するように予定され、その結果として単一のエージェントコンピュータの
故障によって、トランザクションサーバが監視されないままにならないことを保
証するための機能が提供できるだろう。
ョンをセットアップするのを補助するために、オプションで1つ以上の機能(図
示されていない)を提供してよい。例えば、スケジュールがエージェントコンピ
ュータに割り当てられているので、ウィザードは、累積的な実行スケジュールの
中の「ギャップ」(トランザクションサーバが監視されていない時間)を自動的
に検出及び表示できるだろう。セットアップウィザードは、これらのギャップを
埋める実行スケジュールを自動的に作成するオプションも提供できるだろう。加
えて、少なくとも2台のエージェントコンピュータ40が、つねにテストケース
を実行するように予定され、その結果として単一のエージェントコンピュータの
故障によって、トランザクションサーバが監視されないままにならないことを保
証するための機能が提供できるだろう。
【0057】
ユーザがスケジュール割り当てボックスからFINISH(終了)ボタン(図
8)を選択すると、セットアップウィザードが閉じ、ユーザは完全なセッション
ツリー46のビューを提示される。この時点で、制御装置34は、テストケース
と実行スケジュールを各々のエージェントコンピュータ40にディスパッチし、
様々なセッション構成データ(エージェントコンピュータのセッション名、トラ
ンザクション識別子、属性等)を、セッションデータベース42内での記憶のた
めにレポートサーバ36に送信する。制御装置40は、監視セッションの表現を
ローカル記憶装置38にも記憶する。制御コンピュータ35との間での情報の一
般的な流れは、図17と図18のデータフロー図に関して後述される。セットア
ッププロセスが完了すると、監視セッションは、ユーザによって停止または終了
されるまで無期限に続行される。
8)を選択すると、セットアップウィザードが閉じ、ユーザは完全なセッション
ツリー46のビューを提示される。この時点で、制御装置34は、テストケース
と実行スケジュールを各々のエージェントコンピュータ40にディスパッチし、
様々なセッション構成データ(エージェントコンピュータのセッション名、トラ
ンザクション識別子、属性等)を、セッションデータベース42内での記憶のた
めにレポートサーバ36に送信する。制御装置40は、監視セッションの表現を
ローカル記憶装置38にも記憶する。制御コンピュータ35との間での情報の一
般的な流れは、図17と図18のデータフロー図に関して後述される。セットア
ッププロセスが完了すると、監視セッションは、ユーザによって停止または終了
されるまで無期限に続行される。
【0058】
制御装置のコンソール(図2)内でセッションが開いた状態で、ユーザは、警
報ウィザード(Alerts Wizard)(図10から図12)を起動するためにメインメ
ニューからALERT/ADD(警報/追加)を選択することができる。図10
に示されるように、警報ウィザードは、警報生成の目的でリアルタイムで監視す
るために、ユーザが応答時間、可用性、パス/フェイル・ステータス、及び応答
データサイズを含む1つ以上の性能パラメータを指定できるようにする。チェッ
クボックス70を選択することによって、ユーザは、指定された時間枠でのパラ
メータの平均など、監視するために一定のパラメータ統計を指定することができ
る。
報ウィザード(Alerts Wizard)(図10から図12)を起動するためにメインメ
ニューからALERT/ADD(警報/追加)を選択することができる。図10
に示されるように、警報ウィザードは、警報生成の目的でリアルタイムで監視す
るために、ユーザが応答時間、可用性、パス/フェイル・ステータス、及び応答
データサイズを含む1つ以上の性能パラメータを指定できるようにする。チェッ
クボックス70を選択することによって、ユーザは、指定された時間枠でのパラ
メータの平均など、監視するために一定のパラメータ統計を指定することができ
る。
【0059】
図11と図12に示されるように、警報ウィザードは、監視されるパラメータ
についての通知基準を指定するための画面も提供する。図11に示される例では
、ユーザは、平均応答時間が指定閾値を超える、あるいは指定された頻度の閾値
(例えば、毎分10回)を超えるときはいつも通知されることを要求できる。図
12に示されるように、ユーザは、ページャーまたはeメールによって、警報状
態を通知されることを要求することもできる。
についての通知基準を指定するための画面も提供する。図11に示される例では
、ユーザは、平均応答時間が指定閾値を超える、あるいは指定された頻度の閾値
(例えば、毎分10回)を超えるときはいつも通知されることを要求できる。図
12に示されるように、ユーザは、ページャーまたはeメールによって、警報状
態を通知されることを要求することもできる。
【0060】
警報ウィザードは、ある種類のトランザクションが失敗するとき、及び/また
は失敗が特定の属性グループ内で検出されるときに通知されるオプション(示さ
れていない)を提供してもよい。このオプションを使用して、ユーザは、ユーザ
の各々の責任領域内に該当する問題が検出されるときはつねに通知されることを
要求できる。例えば、ある特定のビジネスプロセスを担当するシステム管理者は
、そのビジネスプロセスに対応するトランザクションが失敗するときに通知され
てよい。一般的な失敗を通知されるのを回避するために、この通知は、その他の
種類のトランザクションが無事に完了することを条件に作成されてよい。この特
徴のそれ以外の例は、以下を含む。すなわち、そのISPを使用する閾値数のエ
ージェントコンピュータがトランザクションサーバ(オプションで、トランザク
ションサーバが他のISPからアクセスできることを条件に)にアクセスできな
いときに、ISP管理者を通知すること、及びその事務所内の閾値数のエージェ
ントコンピュータ40が、トランザクションサーバ(オプションで、トランザク
ションサーバがその他の事務所からアクセスできることを条件に)にアクセスで
きないときにある特定の事務所を担当するシステム管理者に通知することである
。
は失敗が特定の属性グループ内で検出されるときに通知されるオプション(示さ
れていない)を提供してもよい。このオプションを使用して、ユーザは、ユーザ
の各々の責任領域内に該当する問題が検出されるときはつねに通知されることを
要求できる。例えば、ある特定のビジネスプロセスを担当するシステム管理者は
、そのビジネスプロセスに対応するトランザクションが失敗するときに通知され
てよい。一般的な失敗を通知されるのを回避するために、この通知は、その他の
種類のトランザクションが無事に完了することを条件に作成されてよい。この特
徴のそれ以外の例は、以下を含む。すなわち、そのISPを使用する閾値数のエ
ージェントコンピュータがトランザクションサーバ(オプションで、トランザク
ションサーバが他のISPからアクセスできることを条件に)にアクセスできな
いときに、ISP管理者を通知すること、及びその事務所内の閾値数のエージェ
ントコンピュータ40が、トランザクションサーバ(オプションで、トランザク
ションサーバがその他の事務所からアクセスできることを条件に)にアクセスで
きないときにある特定の事務所を担当するシステム管理者に通知することである
。
【0061】
本発明のその他の実施形態では、制御装置34の様々な機能は、レポートサー
バ36によって全体的にまたは部分的に実現できるだろう。例えば、警報ウィザ
ードの前述された機能、及び警報エンジン34Dの関連付けられる機能性は、ユ
ーザが警報状態を遠隔でセットアップし、修正できるように、さらにまたは代わ
りにレポートサーバ36によって実現できるだろう。警報状態がないかチェック
するタスクもエージェント32で実行できるだろう。
バ36によって全体的にまたは部分的に実現できるだろう。例えば、警報ウィザ
ードの前述された機能、及び警報エンジン34Dの関連付けられる機能性は、ユ
ーザが警報状態を遠隔でセットアップし、修正できるように、さらにまたは代わ
りにレポートサーバ36によって実現できるだろう。警報状態がないかチェック
するタスクもエージェント32で実行できるだろう。
【0062】
ある実施形態では、従来のウェブブラウザを使用してインターネット上でアク
セスされるサービスとしてのASP(アプリケーションサービスプロバイダ)は
、制御装置34の上位装置として働く。ASPのサーバを通して、各々のカスタ
マには、テストケースとセッションファイルのその各々のリポジトリへの安全な
アクセスが与えられる。監視セッションをセットアップするためのサービスのユ
ーザインタフェースは、通常、図2から図12に示されるのと同じであってよく
、ダイアログボックスは対応するウェブページで置き換えられる。テストスクリ
プト(トランザクション)は、サーバ側レコーダを使用して記録されてよい、及
び/またはダウンロード可能なレコーダを使用してカスタマによって記録されて
からサーバにアップロードされてよい。レポートサーバ36及び/またはエージ
ェントコンピュータ40も動作してよいASPは、それ以外、つまり、監視され
るトランザクションの種類の数、トランザクション実行イベントの数、使用され
るハードウェアリソースの量、及び監視セッションの時間スケジュールと期間だ
けではなく、以下の基準の1つ以上に基づく監視セッションについてもカスタマ
に請求してよい。このようにして制御装置34を動作する1つの重要な利点とは
、特殊ソフトウェアに対する必要なしに、インターネットアクセスを有する任意
のコンピュータから監視セッションを開始及び修正できるという点である。別の
利点とは、カスタマの、制御装置ソフトウェアをインストールし、維持しなけれ
ばならない重荷が軽減されるという点である。
セスされるサービスとしてのASP(アプリケーションサービスプロバイダ)は
、制御装置34の上位装置として働く。ASPのサーバを通して、各々のカスタ
マには、テストケースとセッションファイルのその各々のリポジトリへの安全な
アクセスが与えられる。監視セッションをセットアップするためのサービスのユ
ーザインタフェースは、通常、図2から図12に示されるのと同じであってよく
、ダイアログボックスは対応するウェブページで置き換えられる。テストスクリ
プト(トランザクション)は、サーバ側レコーダを使用して記録されてよい、及
び/またはダウンロード可能なレコーダを使用してカスタマによって記録されて
からサーバにアップロードされてよい。レポートサーバ36及び/またはエージ
ェントコンピュータ40も動作してよいASPは、それ以外、つまり、監視され
るトランザクションの種類の数、トランザクション実行イベントの数、使用され
るハードウェアリソースの量、及び監視セッションの時間スケジュールと期間だ
けではなく、以下の基準の1つ以上に基づく監視セッションについてもカスタマ
に請求してよい。このようにして制御装置34を動作する1つの重要な利点とは
、特殊ソフトウェアに対する必要なしに、インターネットアクセスを有する任意
のコンピュータから監視セッションを開始及び修正できるという点である。別の
利点とは、カスタマの、制御装置ソフトウェアをインストールし、維持しなけれ
ばならない重荷が軽減されるという点である。
【0063】
制御装置34がサービスとして上位装置として働かされる実施形態では、実行
スケジュールをエージェントコンピュータ40に割り当てるタスクは、エンドユ
ーザによってよりむしろ、ASPによって実行されてよい。この戦略は、それに
よりASPが、同時に存在できる分散監視セッションの総数を一般的に最大限に
するために負荷をエージェントコンピュータ全体に分散することができるため、
エージェントコンピュータ40が多くの異なるカスタマによって共用される場合
に特に有効である。カスタマがカスタマ自身のエージェントコンピュータ40の
実行スケジュールを制御するハイブリッドな方法も考えられるが、ASPは、A
SPの制御下にいる共用されたエージェントコンピュータの実行スケジュールを
管理する。
スケジュールをエージェントコンピュータ40に割り当てるタスクは、エンドユ
ーザによってよりむしろ、ASPによって実行されてよい。この戦略は、それに
よりASPが、同時に存在できる分散監視セッションの総数を一般的に最大限に
するために負荷をエージェントコンピュータ全体に分散することができるため、
エージェントコンピュータ40が多くの異なるカスタマによって共用される場合
に特に有効である。カスタマがカスタマ自身のエージェントコンピュータ40の
実行スケジュールを制御するハイブリッドな方法も考えられるが、ASPは、A
SPの制御下にいる共用されたエージェントコンピュータの実行スケジュールを
管理する。
【0064】
さらにほかの実施形態では、制御装置34は、トランザクションサーバのオペ
レータのイントラネットなどの個人のイントラネット上のサーバが制御装置34
の上位装置として働いてよい。このような構成では、制御装置は、好ましくは、
ASPが上位装置として働いた場合と同じに動作するが、オペレータにとっては
プライベートである。
レータのイントラネットなどの個人のイントラネット上のサーバが制御装置34
の上位装置として働いてよい。このような構成では、制御装置は、好ましくは、
ASPが上位装置として働いた場合と同じに動作するが、オペレータにとっては
プライベートである。
【0065】
V.性能レポート
図13から図15は、トランザクションサーバ30の遠隔監視を容易にするた
めにレポートサーバ36により提供されてよいグラフまたはチャートの種類の例
を示す。図13から図15に示される例は、5つのトランザクション、つまり注
文入力、在庫検出中のアイテム、注文ステータスのブラウズ、アカウント更新及
びストックから購入を含む監視セッションを示す。トランザクションは、4つの
地理的な地域に位置するエージェントコンピュータ40から実行されている。つ
まり、ニューヨーク、日本、英国、及びサンフランシスコである。複数のエージ
ェントコンピュータが、各々のこのような場所で使用されてよい。地理的な場所
の名前及び粒度は、セットアッププロセスの間にオペレータが画定することがで
きる。
めにレポートサーバ36により提供されてよいグラフまたはチャートの種類の例
を示す。図13から図15に示される例は、5つのトランザクション、つまり注
文入力、在庫検出中のアイテム、注文ステータスのブラウズ、アカウント更新及
びストックから購入を含む監視セッションを示す。トランザクションは、4つの
地理的な地域に位置するエージェントコンピュータ40から実行されている。つ
まり、ニューヨーク、日本、英国、及びサンフランシスコである。複数のエージ
ェントコンピュータが、各々のこのような場所で使用されてよい。地理的な場所
の名前及び粒度は、セットアッププロセスの間にオペレータが画定することがで
きる。
【0066】
グラフは、特定の時間フレーム(この例では現在の日)上で監視されるトラン
ザクションサーバの性能の様々な態様を示す。第1グラフ76(図13)は、5
つのトランザクションごとの最小トランザクション時間、平均トランザクション
時間及び最大トランザクション時間を示す。第2グラフ78(図13)は、トラ
ンザクションを区別するためにカラーコード化方式を使用して、トランザクショ
ンごとの、および毎時間隔ごとの平均応答時間を示す。第3グラフ80(図14
)は、レベルごとにユニークな色を使用して、5つのトランザクションごとのサ
ービスレベルの分布を示す。第4グラフ82は、毎時間隔及びトランザクション
ごとに、失敗したトランザクションのパーセンテージを示す。
ザクションサーバの性能の様々な態様を示す。第1グラフ76(図13)は、5
つのトランザクションごとの最小トランザクション時間、平均トランザクション
時間及び最大トランザクション時間を示す。第2グラフ78(図13)は、トラ
ンザクションを区別するためにカラーコード化方式を使用して、トランザクショ
ンごとの、および毎時間隔ごとの平均応答時間を示す。第3グラフ80(図14
)は、レベルごとにユニークな色を使用して、5つのトランザクションごとのサ
ービスレベルの分布を示す。第4グラフ82は、毎時間隔及びトランザクション
ごとに、失敗したトランザクションのパーセンテージを示す。
【0067】
図13に示されるように、レポートページは、好ましくは、ユーザが性能デー
タのカスタマイズされたビュー及び属性が一部除去されたビューを生成できるよ
うにするために、様々なリンク及び制御を含む。例えば、ユーザが「注文ステー
タスをブラウズ」トランザクションに「ドリルダウン」リンクを選択する場合、
図15のグラフ84,86を含むページが表示される。両方のグラフ84,86
とも、場所に依存した問題点を特定するために望ましい場合があるように、場所
によって分けられる注文ステータスブラウズ(Browse Order St
atus)とトランザクションのサーバ応答時間の態様を示す。これらのグラフ
84,86中の水平線は、ユーザによって画定される警報閾値を表す。ユーザは
注文ステータスブラウズトランザクションの場所に依存するグラフを表示するた
めに(場所に特殊なドリルダウンリンク90を選択することによって)このペー
ジから追加レベルをドリルダウンすることができる。
タのカスタマイズされたビュー及び属性が一部除去されたビューを生成できるよ
うにするために、様々なリンク及び制御を含む。例えば、ユーザが「注文ステー
タスをブラウズ」トランザクションに「ドリルダウン」リンクを選択する場合、
図15のグラフ84,86を含むページが表示される。両方のグラフ84,86
とも、場所に依存した問題点を特定するために望ましい場合があるように、場所
によって分けられる注文ステータスブラウズ(Browse Order St
atus)とトランザクションのサーバ応答時間の態様を示す。これらのグラフ
84,86中の水平線は、ユーザによって画定される警報閾値を表す。ユーザは
注文ステータスブラウズトランザクションの場所に依存するグラフを表示するた
めに(場所に特殊なドリルダウンリンク90を選択することによって)このペー
ジから追加レベルをドリルダウンすることができる。
【0068】
さらに、図13から図15に関して、「レポートパラメータ」ウィンドウ86
によって、ユーザは、様々なグラフ及びチャートを作成するために使用される時
間枠及び/または分解方法を修正することができる。分解方法を修正することに
より、ユーザはトランザクションごとに、及びエージェントコンピュータの属性
ごとに性能データを表示できる。ある実施形態では、性能データは、トランザク
ション(図13と図14に示される)ごとに、場所(図15に示される)ごとに
、組織(示されていない)ごとに、及びISP(示されていない)ごとに表示す
ることができる。それ以外の実施形態では、性能データは、オペレータによって
画定される属性型を含むその他の属性型に従って分類することができる。
によって、ユーザは、様々なグラフ及びチャートを作成するために使用される時
間枠及び/または分解方法を修正することができる。分解方法を修正することに
より、ユーザはトランザクションごとに、及びエージェントコンピュータの属性
ごとに性能データを表示できる。ある実施形態では、性能データは、トランザク
ション(図13と図14に示される)ごとに、場所(図15に示される)ごとに
、組織(示されていない)ごとに、及びISP(示されていない)ごとに表示す
ることができる。それ以外の実施形態では、性能データは、オペレータによって
画定される属性型を含むその他の属性型に従って分類することができる。
【0069】
「フィルタ」オプション88(図13から図15)によって、ユーザは、トラ
ンザクション単位で、及び属性の各々の単位で表示される情報を部分的に除去す
ることができる。この特徴を使用して、ユーザは、例えば、ある特定のトランザ
クション、場所、組織、ISPまたはその組み合わせに対応する性能データをふ
るってレポートから一部除くことができる。ある実施形態(図示されていない)
では、ユーザは、監視セッションで使用される各トランザクション及び各属性の
各々のチェックボックスを含むウェブ形式を完了することによって適用されるフ
ィルタを特定する。存在する場合、フィルタの適用は、グラフの上部にある注記
によって示される(例えば、「トランザクション:すべて 場所:英国、ニュー
ヨーク 組織:会計、マーケティング」)。
ンザクション単位で、及び属性の各々の単位で表示される情報を部分的に除去す
ることができる。この特徴を使用して、ユーザは、例えば、ある特定のトランザ
クション、場所、組織、ISPまたはその組み合わせに対応する性能データをふ
るってレポートから一部除くことができる。ある実施形態(図示されていない)
では、ユーザは、監視セッションで使用される各トランザクション及び各属性の
各々のチェックボックスを含むウェブ形式を完了することによって適用されるフ
ィルタを特定する。存在する場合、フィルタの適用は、グラフの上部にある注記
によって示される(例えば、「トランザクション:すべて 場所:英国、ニュー
ヨーク 組織:会計、マーケティング」)。
【0070】
グラフリストオプション90は、ユーザが、メインステータスレポートページ
上に表示されることになるデフォルトグラフの集合を指定できるようにする。「
設定値」オプション92は、ユーザが、「自動リフレッシュ」速度(例えば、5
分おき)及びレポートの中で使用される開始日/時刻などのその他の種類の設定
値を調整し、保存できるようになる。
上に表示されることになるデフォルトグラフの集合を指定できるようにする。「
設定値」オプション92は、ユーザが、「自動リフレッシュ」速度(例えば、5
分おき)及びレポートの中で使用される開始日/時刻などのその他の種類の設定
値を調整し、保存できるようになる。
【0071】
図16は、レポートサーバ36によって作成されてよい例「トランザクション
ヘルス分散」チャートを示す。この例では、チャートは、制御装置のインタフェ
ースのブラウザウィンドウを通して表示されている。チャートは2次元マトリッ
クスの形を取る。水平寸法は、数時間から数年の範囲で、ユーザによって修正で
きる時間枠を表す。この例では、列は(チャートの上部に沿って表示されるよう
な)当日の時間を表し、行は(左側に一覧表示されるような)監視されているト
ランザクションを表す。マトリックスのセルは、特定の時間枠の間の特定のトラ
ンザクションの応答時間を反映するために、カラーコード化される。各時間及び
各トランザクションは、選択時、ビューを変更させるハイパーリンクである。例
えば、ユーザがある特定の1時間をクリックすると、時間フレームはまさにその
1時間変化し、マトリックスの水平寸法はさらに小さい(例えば、5分または1
0分の)間隔に分割される。同様に、ユーザがトランザクションリンクをクリッ
クすると、垂直寸法は、チャートが、地理学上の場所(あるいはおそらく別のコ
ンピュータ属性)に従って分割され、選択されたトランザクションだけを示すよ
うに変化する。
ヘルス分散」チャートを示す。この例では、チャートは、制御装置のインタフェ
ースのブラウザウィンドウを通して表示されている。チャートは2次元マトリッ
クスの形を取る。水平寸法は、数時間から数年の範囲で、ユーザによって修正で
きる時間枠を表す。この例では、列は(チャートの上部に沿って表示されるよう
な)当日の時間を表し、行は(左側に一覧表示されるような)監視されているト
ランザクションを表す。マトリックスのセルは、特定の時間枠の間の特定のトラ
ンザクションの応答時間を反映するために、カラーコード化される。各時間及び
各トランザクションは、選択時、ビューを変更させるハイパーリンクである。例
えば、ユーザがある特定の1時間をクリックすると、時間フレームはまさにその
1時間変化し、マトリックスの水平寸法はさらに小さい(例えば、5分または1
0分の)間隔に分割される。同様に、ユーザがトランザクションリンクをクリッ
クすると、垂直寸法は、チャートが、地理学上の場所(あるいはおそらく別のコ
ンピュータ属性)に従って分割され、選択されたトランザクションだけを示すよ
うに変化する。
【0072】
前記例から明らかになるように、オペレータによって指定される属性を含む、
エージェントコンピュータの属性に基づいて性能データを別々に表示し、一部除
去する能力は、属性に特殊な問題を特定するというタスクを大幅に簡略化する。
特定の属性型は、例のレポートに示されているが、示される特徴が、ユーザによ
って割り当てられる属性型を含むその他の種類の属性に適用することができるこ
とが理解されなければならない。
エージェントコンピュータの属性に基づいて性能データを別々に表示し、一部除
去する能力は、属性に特殊な問題を特定するというタスクを大幅に簡略化する。
特定の属性型は、例のレポートに示されているが、示される特徴が、ユーザによ
って割り当てられる属性型を含むその他の種類の属性に適用することができるこ
とが理解されなければならない。
【0073】
レポートサーバ36は、好ましくは、発生した様々な警報イベントについての
情報を含む警報チャート(図示されていない)へのアクセスも提供する。警報イ
ベントごとに、このチャートは、例えば、警報名、警報重大度のカラーコード化
された表示、警報イベントの時刻、講じられた処置(例えば、「admin@m
erc−int.comに送信されるeメール」または「ログ済み専用」)、及
び送信された任意の警報メッセージのテキストを含んでよい。
情報を含む警報チャート(図示されていない)へのアクセスも提供する。警報イ
ベントごとに、このチャートは、例えば、警報名、警報重大度のカラーコード化
された表示、警報イベントの時刻、講じられた処置(例えば、「admin@m
erc−int.comに送信されるeメール」または「ログ済み専用」)、及
び送信された任意の警報メッセージのテキストを含んでよい。
【0074】
VI.データフロー及びデータベースコンテンツ
一般的な監視セッションのセットアップ及び実行中の構成要素間の情報の一般
的な流れは、ここで図17から図19に関して説明されるだろう。
的な流れは、ここで図17から図19に関して説明されるだろう。
【0075】
図17は、監視セッションの「セットアップ」または「プログラミング」段階
を示す。図17で左から右への矢印によって描かれるように、ユーザがセットア
ッププロセスを完了すると、制御装置34は、各々のエージェント32にテスト
ケース(トランザクション)及びスケジュールをディスパッチする。エージェン
ト32が遠隔エージェントコンピュータ40に常駐する場合、テストケース及び
スケジュールは、HTTPまたはAPI呼び出し経由の別のTCP/IPベース
のプロトコルを使用し、インターネット上で通信される。さらに図17に描かれ
るように、制御装置は、セッションデータベース42での記憶のために、(好ま
しくはHTTPを使用して)セッション構成データもレポートサーバ36に送信
する。構成データは、セッション名、エージェントコンピュータ40の識別子と
特性(属性)、及びトランザクションの識別子と名前を含む。レポートサーバ3
6が複数のビジネスエンティティにサービスを提供する場合、構成データは、セ
ッションが対応するビジネスエンティティのユーザ名またはその他の識別子も含
んでよい。
を示す。図17で左から右への矢印によって描かれるように、ユーザがセットア
ッププロセスを完了すると、制御装置34は、各々のエージェント32にテスト
ケース(トランザクション)及びスケジュールをディスパッチする。エージェン
ト32が遠隔エージェントコンピュータ40に常駐する場合、テストケース及び
スケジュールは、HTTPまたはAPI呼び出し経由の別のTCP/IPベース
のプロトコルを使用し、インターネット上で通信される。さらに図17に描かれ
るように、制御装置は、セッションデータベース42での記憶のために、(好ま
しくはHTTPを使用して)セッション構成データもレポートサーバ36に送信
する。構成データは、セッション名、エージェントコンピュータ40の識別子と
特性(属性)、及びトランザクションの識別子と名前を含む。レポートサーバ3
6が複数のビジネスエンティティにサービスを提供する場合、構成データは、セ
ッションが対応するビジネスエンティティのユーザ名またはその他の識別子も含
んでよい。
【0076】
表1は、ある例の実施形態について、監視セッションごとにセッションデータ
ベース42で作成され、レポートを作成するために使用されるテーブルを要約す
る。多岐に渡る代替データベーススキーマのいずれもが使用できるだろう。レポ
ートに表示される様々な測定規準(例えば、ある特定のウィンドウでの平均応答
時間)が、イベントメータテーブルの中に記憶されるデータを使用して計算され
る。
ベース42で作成され、レポートを作成するために使用されるテーブルを要約す
る。多岐に渡る代替データベーススキーマのいずれもが使用できるだろう。レポ
ートに表示される様々な測定規準(例えば、ある特定のウィンドウでの平均応答
時間)が、イベントメータテーブルの中に記憶されるデータを使用して計算され
る。
【0077】
【表1】
図17の下方矢印によって描かれるように、ユーザによってセットアップされ
るあらゆる警報が、セッション構成データとともに、ローカル記録装置38に記
憶される。警報は、さらに、または代わりに、レポートサーバ36に通信されて
よく、その場合、レポートサーバは警報状態がないかチェックし、警報状態をユ
ーザに通知するというタスクを取り扱ってよい。
るあらゆる警報が、セッション構成データとともに、ローカル記録装置38に記
憶される。警報は、さらに、または代わりに、レポートサーバ36に通信されて
よく、その場合、レポートサーバは警報状態がないかチェックし、警報状態をユ
ーザに通知するというタスクを取り扱ってよい。
【0078】
図18は、エージェントがテストケースを実行するときの代表的な遠隔エージ
ェント32のデータの流れを示す。実行プロセス中、エージェントは、応答時間
などの1つ以上の事前に画定された性能パラメータを監視しつつ、トランザクシ
ョンサーバ30とインターアクションをする(例えば、HTTPポストメッセー
ジ及び取得メッセージをトランザクションサーバ30に送信する)。エージェン
ト32は、テストケース内で画定されるあらゆる検証ポイント(例えば、予想値
またはテキスト文字列)もチェックする。各トランザクションを完了すると、エ
ージェント32は、HTTPまたは別のTCP/IPベースのプロトコルを使用
して制御装置34に結果として生じるトランザクション実行データを送信する。
トランザクション実行データは、好ましくはトランザクションID、トランザク
ションのための性能データ(応答時間及びパス/フェイル・ステータス)、トラ
ンザクション時間/日付スタンプ、及びエージェントコンピュータ40のホスト
IDを含む。エージェントは、代わりに、さらに頻繁に、またはより頻繁ではな
く(例えば、サーバ応答あたり1度またはテストケース実行あたり1度)その実
行を報告するように設計できるだろう。制御装置34は、性能データを任意の事
前に画定された警報状態に比較する。通知メッセージが画定された警報状態が満
たされると、制御装置は適切なエンティティに(図18中破線で表される)警報
通知メッセージを送信する。警報通知メッセージを受信すると、受信者は、関連
付けられた性能データを報告したエージェントコンピュータの場所または組織な
どの、警報イベントの詳細を得るためにレポートサーバ36にログインできる。
警報イベントは、制御装置コンピュータにローカルに記憶され、セッションツリ
ー46内に表示することもできるだろう。
ェント32のデータの流れを示す。実行プロセス中、エージェントは、応答時間
などの1つ以上の事前に画定された性能パラメータを監視しつつ、トランザクシ
ョンサーバ30とインターアクションをする(例えば、HTTPポストメッセー
ジ及び取得メッセージをトランザクションサーバ30に送信する)。エージェン
ト32は、テストケース内で画定されるあらゆる検証ポイント(例えば、予想値
またはテキスト文字列)もチェックする。各トランザクションを完了すると、エ
ージェント32は、HTTPまたは別のTCP/IPベースのプロトコルを使用
して制御装置34に結果として生じるトランザクション実行データを送信する。
トランザクション実行データは、好ましくはトランザクションID、トランザク
ションのための性能データ(応答時間及びパス/フェイル・ステータス)、トラ
ンザクション時間/日付スタンプ、及びエージェントコンピュータ40のホスト
IDを含む。エージェントは、代わりに、さらに頻繁に、またはより頻繁ではな
く(例えば、サーバ応答あたり1度またはテストケース実行あたり1度)その実
行を報告するように設計できるだろう。制御装置34は、性能データを任意の事
前に画定された警報状態に比較する。通知メッセージが画定された警報状態が満
たされると、制御装置は適切なエンティティに(図18中破線で表される)警報
通知メッセージを送信する。警報通知メッセージを受信すると、受信者は、関連
付けられた性能データを報告したエージェントコンピュータの場所または組織な
どの、警報イベントの詳細を得るためにレポートサーバ36にログインできる。
警報イベントは、制御装置コンピュータにローカルに記憶され、セッションツリ
ー46内に表示することもできるだろう。
【0079】
図18によってさらに描かれるように、制御装置34は、セッションデータベ
ース42の中への挿入のために(好ましくはHTTPプロトコルを使用して)ト
ランザクション実行データ及び任意の満たされた警報状態をウェブレポートサー
バ36に転送する。エージェント対制御装置の通信の場合でのように、制御装置
は、好ましくはトランザクション実行データを、トランザクション単位で実質的
にリアルタイムでレポートサーバ36に転送する。これは、自動化インタフェー
ス34C(図1)のAPIを通して好ましい実施形態で達成される。警報イベン
トが、警報エンジン34Dによって検出され、リアルタイムでレポートサーバ3
6に報告される。複数のエージェント32が同時にテストケースを実行するよう
に予定される場合、制御装置34は、複数のエージェントからのデータストリー
ムを同時に処理する。メイン制御装置ループは、このようにして以下の形を取る
。 Vuser(エージェント)からのメッセージを待機 API呼び出しを介しウェブレポートサーバへメッセージを送る ApmApi_reportTransaction (トランザクション、ホスト、ステータス値) 警報エンジンにメッセージを送る 待機に戻る 図18に示されるデータフロープロセスの様々な代替策が考えられる。例えば
、エージェント32は、トランザクション実行データを直接的にレポートサーバ
36に送信することができ、その場合、レポートサーバ30は、オプションで実
行データ(例えば、警報状態専用)のいくらかまたはすべてを制御装置に転送す
るだろう。加えて、指定される場所または組織内のすべてのエージェントコンピ
ュータ40が、制御装置34またはレポートサーバ36への伝送のため、あるい
はそれによる検索のためにそれらの性能データを集めるように構成できるだろう
。加えて、警報状態がないかチェックし、ユーザに警報状態を通知するタスクは
、制御装置34によってではなくむしろ、エージェント32によって、及び/ま
たはレポートサーバ30によって実行できるだろう。さらに、エージェント32
は、トランザクション実行データを「部分的に除去する」ように構成することが
でき、その結果として一定の事前に画定される基準を満たすそれらのトランザク
ションだけが報告される。これらの及びその他の代替策は、任意にユーザによっ
て構成可能なオプションとして提供できるだろう。
ース42の中への挿入のために(好ましくはHTTPプロトコルを使用して)ト
ランザクション実行データ及び任意の満たされた警報状態をウェブレポートサー
バ36に転送する。エージェント対制御装置の通信の場合でのように、制御装置
は、好ましくはトランザクション実行データを、トランザクション単位で実質的
にリアルタイムでレポートサーバ36に転送する。これは、自動化インタフェー
ス34C(図1)のAPIを通して好ましい実施形態で達成される。警報イベン
トが、警報エンジン34Dによって検出され、リアルタイムでレポートサーバ3
6に報告される。複数のエージェント32が同時にテストケースを実行するよう
に予定される場合、制御装置34は、複数のエージェントからのデータストリー
ムを同時に処理する。メイン制御装置ループは、このようにして以下の形を取る
。 Vuser(エージェント)からのメッセージを待機 API呼び出しを介しウェブレポートサーバへメッセージを送る ApmApi_reportTransaction (トランザクション、ホスト、ステータス値) 警報エンジンにメッセージを送る 待機に戻る 図18に示されるデータフロープロセスの様々な代替策が考えられる。例えば
、エージェント32は、トランザクション実行データを直接的にレポートサーバ
36に送信することができ、その場合、レポートサーバ30は、オプションで実
行データ(例えば、警報状態専用)のいくらかまたはすべてを制御装置に転送す
るだろう。加えて、指定される場所または組織内のすべてのエージェントコンピ
ュータ40が、制御装置34またはレポートサーバ36への伝送のため、あるい
はそれによる検索のためにそれらの性能データを集めるように構成できるだろう
。加えて、警報状態がないかチェックし、ユーザに警報状態を通知するタスクは
、制御装置34によってではなくむしろ、エージェント32によって、及び/ま
たはレポートサーバ30によって実行できるだろう。さらに、エージェント32
は、トランザクション実行データを「部分的に除去する」ように構成することが
でき、その結果として一定の事前に画定される基準を満たすそれらのトランザク
ションだけが報告される。これらの及びその他の代替策は、任意にユーザによっ
て構成可能なオプションとして提供できるだろう。
【0080】
図19は、標準ウェブブラウザ100を使用して、セッションデータベース4
2に遠隔でアクセスするプロセスを示す。示されるように、ユーザは、最初にユ
ーザ名/パスワードの組み合わせまたはそれ以外の認証方法を使用して自分のア
カウントにログインする。それ以降、ユーザは、そのアカウントに対応する1台
以上のサーバのために(前述されるような)カスタマイズされたリアルタイムの
ステータスレポートを表示する。レポートページが要求されると、データベース
42はアクセスされ、プログラミング方法を使用して計算される様々な性能測定
規準が、当業者によって公知であるプログラミング方法を使用して計算される。
2に遠隔でアクセスするプロセスを示す。示されるように、ユーザは、最初にユ
ーザ名/パスワードの組み合わせまたはそれ以外の認証方法を使用して自分のア
カウントにログインする。それ以降、ユーザは、そのアカウントに対応する1台
以上のサーバのために(前述されるような)カスタマイズされたリアルタイムの
ステータスレポートを表示する。レポートページが要求されると、データベース
42はアクセスされ、プログラミング方法を使用して計算される様々な性能測定
規準が、当業者によって公知であるプログラミング方法を使用して計算される。
【0081】
VII.検出及び報告の問題の付加的特徴
エラー状態及び性能問題を検出、報告するための3つのオプションの特徴がこ
こで説明されるだろう。これらの特徴の3つすべては、好ましくはエージェント
構成要素32の実行可能コードを通して部分的に実現される。
こで説明されるだろう。これらの特徴の3つすべては、好ましくはエージェント
構成要素32の実行可能コードを通して部分的に実現される。
【0082】
このような特徴の第1は、トランザクション実行中にトランザクションサーバ
30によって戻される画面をエージェントコンピュータ40に捕捉させてから、
トランザクションが成功ではない場合は、これらの画面捕捉をレポートサーバ3
6に転送させることを含む。エンドユーザがレポート内で失敗したトランザクシ
ョンをドリルダウンすると、レポートサーバ36は、失敗したトランザクション
のための画面表示の捕捉されたシーケンスを表示する、または表示するオプショ
ンを提示する。例えば、失敗したトランザクションがウェブページ上での予期さ
れていない、または紛失したメッセージを含んでいた場合、ユーザは予期せぬ応
答を先行した(エージェントによって提出される任意の形式データを含む)ウェ
ブページだけではなく、ウェブページ全体を表示できるだろう。この特徴の重要
な利点とは、ユーザが、失敗したトランザクションにつながったイベントのシー
ケンスを表示する能力である。
30によって戻される画面をエージェントコンピュータ40に捕捉させてから、
トランザクションが成功ではない場合は、これらの画面捕捉をレポートサーバ3
6に転送させることを含む。エンドユーザがレポート内で失敗したトランザクシ
ョンをドリルダウンすると、レポートサーバ36は、失敗したトランザクション
のための画面表示の捕捉されたシーケンスを表示する、または表示するオプショ
ンを提示する。例えば、失敗したトランザクションがウェブページ上での予期さ
れていない、または紛失したメッセージを含んでいた場合、ユーザは予期せぬ応
答を先行した(エージェントによって提出される任意の形式データを含む)ウェ
ブページだけではなく、ウェブページ全体を表示できるだろう。この特徴の重要
な利点とは、ユーザが、失敗したトランザクションにつながったイベントのシー
ケンスを表示する能力である。
【0083】
図20は、エージェント構成要素32内で実現される場合の画面捕捉プロセス
を示す。ブロック110から116によって描かれるように、エージェント32
がトランザクションサーバ30に要求を提出するたびに、エージェントは、トラ
ンザクションサーバによって戻される画面を捕捉し、この応答を、トランザクシ
ョン内で画定される、関連付けられた検証ポイントに対して比較する。画面表示
は、好ましくはビットマップイメージとして記憶されるが、代わりにHTML文
書及び関連付けられるオブジェクトなどの別の形式で記憶されてもよい。
を示す。ブロック110から116によって描かれるように、エージェント32
がトランザクションサーバ30に要求を提出するたびに、エージェントは、トラ
ンザクションサーバによって戻される画面を捕捉し、この応答を、トランザクシ
ョン内で画定される、関連付けられた検証ポイントに対して比較する。画面表示
は、好ましくはビットマップイメージとして記憶されるが、代わりにHTML文
書及び関連付けられるオブジェクトなどの別の形式で記憶されてもよい。
【0084】
トランザクションが終了すると、エージェント32は、トランザクションが無
事に完了したか否かを判断する。トランザクションは、例えばタイムアウトイベ
ントが発生する場合、不成功として処理されてもよい。トランザクションが失敗
した場合、エージェント32は、後の表示のために、結果的にセッションデータ
ベース42に画面表示を記憶するレポートサーバ36に、捕捉された画面表示の
シーケンスを表示する(ブロック120)。画面表示は、さらに、または代わり
に、表示のためにeメールによって人間のオペレータに送信できるだろう。トラ
ンザクションが無事に完了した場合には、画面表示は、レポートサーバ36に転
送されることなく廃棄される。
事に完了したか否かを判断する。トランザクションは、例えばタイムアウトイベ
ントが発生する場合、不成功として処理されてもよい。トランザクションが失敗
した場合、エージェント32は、後の表示のために、結果的にセッションデータ
ベース42に画面表示を記憶するレポートサーバ36に、捕捉された画面表示の
シーケンスを表示する(ブロック120)。画面表示は、さらに、または代わり
に、表示のためにeメールによって人間のオペレータに送信できるだろう。トラ
ンザクションが無事に完了した場合には、画面表示は、レポートサーバ36に転
送されることなく廃棄される。
【0085】
エージェント32に組み込まれてよい第2の特徴は、エージェントコンピュー
タ40とトランザクションサーバ30との間のネットワーク経路に沿って生じる
セグメント遅延を測定し、報告する能力である。セグメント遅延は、好ましくは
、市販されているマーキュリーインターアクティブ社のLoadRunner6
.0製品のNetwork Monitor構成要素を使用して測定される。好
ましくは、エージェント32のいくつかまたはすべては、経路遅延が事前に書き
込まれていた閾値を超えるときに(その各々のエージェントコンピュータ40の
上で)Network Monitorを起動するように、制御装置34を介し
て構成される。これらの閾値は、監視セッションをセットアップするときに、オ
プションで、ユーザによって指定されてよい。起動時、Network Mon
itorは、公知の方法を使用して、関連するエージェントコンピュータ40と
トランザクションサーバ30の各セグメントに沿って遅延を測定する。それから
、エージェント32は、これらの測定値を、ユーザが測定値をドリルダウンし、
表示できるようにするレポートサーバ36に報告する。測定された遅延は、Lo
adRunner6.0内に提供される好ましくは標準セグメント遅延及び経路
遅延のグラフを使用して提示される。セグメント遅延データは、例えば、ルータ
問題またはネットワークアーキテクチャ内のネックを検出するために使用されて
よい。
タ40とトランザクションサーバ30との間のネットワーク経路に沿って生じる
セグメント遅延を測定し、報告する能力である。セグメント遅延は、好ましくは
、市販されているマーキュリーインターアクティブ社のLoadRunner6
.0製品のNetwork Monitor構成要素を使用して測定される。好
ましくは、エージェント32のいくつかまたはすべては、経路遅延が事前に書き
込まれていた閾値を超えるときに(その各々のエージェントコンピュータ40の
上で)Network Monitorを起動するように、制御装置34を介し
て構成される。これらの閾値は、監視セッションをセットアップするときに、オ
プションで、ユーザによって指定されてよい。起動時、Network Mon
itorは、公知の方法を使用して、関連するエージェントコンピュータ40と
トランザクションサーバ30の各セグメントに沿って遅延を測定する。それから
、エージェント32は、これらの測定値を、ユーザが測定値をドリルダウンし、
表示できるようにするレポートサーバ36に報告する。測定された遅延は、Lo
adRunner6.0内に提供される好ましくは標準セグメント遅延及び経路
遅延のグラフを使用して提示される。セグメント遅延データは、例えば、ルータ
問題またはネットワークアーキテクチャ内のネックを検出するために使用されて
よい。
【0086】
第3の特徴は、ウェブサイト内での「中断されたリンク」(アクセス不可能な
ファイルまたはその他のオブジェクトへのリンク)を検出、報告するエージェン
ト32の能力に関わる。この特徴を使用して、ユーザは、ウェブサイトを定期的
に(例えば、一日に一度)徐行し、中断されたリンクがないかチェックするため
、及び発見される任意の中断されたリンクを報告するために、エージェントコン
ピュータ40の1台以上を遠隔でプログラムすることができる。中断リンクの位
置が見つかると、中断リンクのリストは、表示のため、及び/またはeメールに
よってユーザに送信されるためにレポートサーバ36に自動的に掲示されてよい
。各々の中断リンクは、見失われたオブジェクト及び中断されたリンクを含むペ
ージの各々の場所を示す、URLペアの形でユーザに報告されてよい。ウェブサ
イトを徐行し、中断リンクがないかチェックするための技法は、その技術におい
て公知であり、例えば、マーキュリーインターアクティブ社の米国特許第5,9
58,008号公報に記載されている。エージェント32によって検出される他
の種類の装置での場合と同じように、ある特定のオブジェクトが、いくつかのエ
ージェントコンピュータ40からアクセスできるが、他のエージェントコンピュ
ータからはアクセスできないとき、レポートサーバ40は、好ましくは、ユーザ
が、問題を経験したエージェントコンピュータの属性を別々に表示できるように
する。
ファイルまたはその他のオブジェクトへのリンク)を検出、報告するエージェン
ト32の能力に関わる。この特徴を使用して、ユーザは、ウェブサイトを定期的
に(例えば、一日に一度)徐行し、中断されたリンクがないかチェックするため
、及び発見される任意の中断されたリンクを報告するために、エージェントコン
ピュータ40の1台以上を遠隔でプログラムすることができる。中断リンクの位
置が見つかると、中断リンクのリストは、表示のため、及び/またはeメールに
よってユーザに送信されるためにレポートサーバ36に自動的に掲示されてよい
。各々の中断リンクは、見失われたオブジェクト及び中断されたリンクを含むペ
ージの各々の場所を示す、URLペアの形でユーザに報告されてよい。ウェブサ
イトを徐行し、中断リンクがないかチェックするための技法は、その技術におい
て公知であり、例えば、マーキュリーインターアクティブ社の米国特許第5,9
58,008号公報に記載されている。エージェント32によって検出される他
の種類の装置での場合と同じように、ある特定のオブジェクトが、いくつかのエ
ージェントコンピュータ40からアクセスできるが、他のエージェントコンピュ
ータからはアクセスできないとき、レポートサーバ40は、好ましくは、ユーザ
が、問題を経験したエージェントコンピュータの属性を別々に表示できるように
する。
【0087】
発明は、一定の好ましい実施形態という点で説明されてきたが、ここに述べら
れている特長及び優位点のすべてを提供しない実施形態を含む、通常の技術の熟
練者に明らかであるその他の実施形態も本発明の範囲内である。したがって、本
発明の範囲は、以下の請求項により画定される。方法クレームでは、参照符号は
説明の便宜上使用されるだけであり、方法を実行するある特定の順序を示さない
。
れている特長及び優位点のすべてを提供しない実施形態を含む、通常の技術の熟
練者に明らかであるその他の実施形態も本発明の範囲内である。したがって、本
発明の範囲は、以下の請求項により画定される。方法クレームでは、参照符号は
説明の便宜上使用されるだけであり、方法を実行するある特定の順序を示さない
。
【図1】 監視ツールの一般的なアーキテクチャを示し、ウェブベースのト
ランザクションサーバの性能を監視するために、監視ツールがどのようにして使
用されてよいのかを示す。
ランザクションサーバの性能を監視するために、監視ツールがどのようにして使
用されてよいのかを示す。
【図2】 図1に描かれている制御装置のメインユーザインタフェース画面
を示す。
を示す。
【図3】 監視セッションをセットアップするために使用される制御装置の
セットアップウィザード画面を示す。
セットアップウィザード画面を示す。
【図4】 監視セッションをセットアップするために使用される制御装置の
セットアップウィザード画面を示す。
セットアップウィザード画面を示す。
【図5】 監視セッションをセットアップするために使用される制御装置の
セットアップウィザード画面を示す。
セットアップウィザード画面を示す。
【図6】 監視セッションをセットアップするために使用される制御装置の
セットアップウィザード画面を示す。
セットアップウィザード画面を示す。
【図7】 監視セッションをセットアップするために使用される制御装置の
セットアップウィザード画面を示す。
セットアップウィザード画面を示す。
【図8】 監視セッションをセットアップするために使用される制御装置の
セットアップウィザード画面を示す。
セットアップウィザード画面を示す。
【図9】 監視セッションをセットアップするために使用される制御装置の
セットアップウィザード画面を示す。
セットアップウィザード画面を示す。
【図10】 制御装置の警報ウィザードの画面を示す。
【図11】 制御装置の警報ウィザードの画面を示す。
【図12】 制御装置の警報ウィザードの画面を示す。
【図13】 図1のウェブレポートサーバによって提供されるステータスレ
ポートウェブページ例を示す。
ポートウェブページ例を示す。
【図14】 図1のウェブレポートサーバによって提供される例のステータ
スレポートウェブページを示し、ユーザが、「ブラウズ注文ステータス」トラン
ザクションについて、図13のドリルダウンリンクを選択するときに戻される代
表的な「ドリルダウン」ページを示す。
スレポートウェブページを示し、ユーザが、「ブラウズ注文ステータス」トラン
ザクションについて、図13のドリルダウンリンクを選択するときに戻される代
表的な「ドリルダウン」ページを示す。
【図15】 図1のウェブレポートサーバによって提供される例のステータ
スレポートウェブページを示す。
スレポートウェブページを示す。
【図16】 図1のウェブレポートサーバによって提供される例のステータ
スレポートウェブページを示す。
スレポートウェブページを示す。
【図17】 監視セッションのセットアップと実行との間の構成要素間の情
報の流れを示すフロー図である。
報の流れを示すフロー図である。
【図18】 監視セッションのセットアップと実行との間の構成要素間の情
報の流れを示すフロー図である。
報の流れを示すフロー図である。
【図19】 監視セッションのセットアップと実行との間の構成要素間の情
報の流れを示すフロー図である。
報の流れを示すフロー図である。
【図20】 失敗したトランザクションに関する画面表示を捕捉するための
プロセスを示す。
プロセスを示す。
─────────────────────────────────────────────────────
フロントページの続き
(81)指定国 EP(AT,BE,CH,CY,
DE,DK,ES,FI,FR,GB,GR,IE,I
T,LU,MC,NL,PT,SE),OA(BF,BJ
,CF,CG,CI,CM,GA,GN,GW,ML,
MR,NE,SN,TD,TG),AP(GH,GM,K
E,LS,MW,MZ,SD,SL,SZ,TZ,UG
,ZW),EA(AM,AZ,BY,KG,KZ,MD,
RU,TJ,TM),AE,AG,AL,AM,AT,
AU,AZ,BA,BB,BG,BR,BY,BZ,C
A,CH,CN,CR,CU,CZ,DE,DK,DM
,DZ,EE,ES,FI,GB,GD,GE,GH,
GM,HR,HU,ID,IL,IN,IS,JP,K
E,KG,KP,KR,KZ,LC,LK,LR,LS
,LT,LU,LV,MA,MD,MG,MK,MN,
MW,MX,MZ,NO,NZ,PL,PT,RO,R
U,SD,SE,SG,SI,SK,SL,TJ,TM
,TR,TT,TZ,UA,UG,UZ,VN,YU,
ZA,ZW
Fターム(参考) 5B042 GA10 GA12 GA19 GB01 HH20
MA08 MC18 MC31 MC37
5B085 AC12 BA06 BG07
5B089 GB02 GB08 JA35 JB19 KA12
KB14 MC01 MC13 MC16
【要約の続き】
ワーク経路に沿った測定されたセグメント遅延、及び
「中断された」ウェブサイトリンクの識別子を含んでよ
い。許可された人員は、一連のカスタマイズ可能なレポ
ートを介して収集された性能データを表示するために、
標準的なウェブブラウザを使用してレポートサーバ(3
6)にアクセスできる。制御装置(34)を使用して、
ユーザは、トランザクションサーバ(30)の連続監視
またはほぼ連続監視に備える定期的な予定を含む、エー
ジェントコンピュータ(40)にテストケース実行予定
を割り当てることもできる。さらに、ユーザは、人員が
(例えば、ページャーなどにより)問題をただちに通知
される警報状態を指定することができる。制御装置(3
4)及びレポートサーバ(36)は、場所、組織及びこ
のようなコンピュータのISPなどのエージェントコン
ピュータ(40)の属性に従ってユーザがトランザクシ
ョンサーバ(30)の動作を監視できるようにするため
の機能も提供する。
Claims (47)
- 【請求項1】 (a)トランザクションサーバの性能を監視しつつ、シミュ
レートされたユーザとして配備されたトランザクションサーバでトランザクショ
ンを実行するように複数のコンピュータをプログラミングするステップと、 (b)コンピュータの少なくともいくつかが他のものとは異なる属性を有するよ
うに、複数のコンピュータに属性を割り当てるステップと、 (c)ステップ(a)の結果として複数のコンピュータによって生成される性能
データを受信、記憶し、性能データがトランザクションサーバの性能の少なくと
も1つのパラメータを示すステップと、 (d)ステップ(b)で割り当てられる複数の属性の各々に別々に性能データを
表示するステップと、 を有する、配備されたトランザクションサーバの性能を監視するための方法。 - 【請求項2】 ステップ(d)は、複数の地理的な場所の各々から監視され
るようにトランザクションサーバの性能を別々に示すレポートを作成することを
含む、請求項1に記載の方法。 - 【請求項3】 ステップ(d)は、複数の組織の各々から監視されるような
性能を別々に示すレポートを作成することを含む、請求項1に記載の方法。 - 【請求項4】 ステップ(d)は、複数のインターネットサービスプロバイ
ダの各々を通して監視される場合の性能を別々に示すレポートを作成することを
含む、請求項1に記載の方法。 - 【請求項5】 ステップ(a)は、複数のコンピュータに自動化された実行
スケジュールを割り当て、実行スケジュールはトランザクションを実行するため
のタイミングを指定することを含む、請求項1に記載の方法。 - 【請求項6】 ステップ(a)は、トランザクションサーバからの応答の、
ユーザによって選択される内容を検証するために複数のコンピュータのいくつか
をプログラミングすることを含む、請求項1に記載の方法。 - 【請求項7】 ステップ(a)は、テストケースをコンピュータにディスパ
ッチする制御装置プログラムを使用して、複数のコンピュータの少なくともいく
つかを遠隔でプログラミングすることを含む、請求項1に記載の方法。 - 【請求項8】 制御装置プログラムは、ウェブベースサービスとしてサーバ
上でホスト(host)される、請求項7に記載の方法。 - 【請求項9】 性能データが警報状態を満たすときに、警報メッセージを作
成し、伝送することを、さらに含む、請求項1に記載の方法。 - 【請求項10】 警報状態が、複数のコンピュータの属性に特定なサブセッ
トに特定である、請求項9に記載の方法。 - 【請求項11】 ステップ(c)は、トランザクションが実行されるにつれ
て実質的にはリアルタイムで性能データを受信し、記憶することを含む、請求項
1に記載の方法。 - 【請求項12】 複数のコンピュータの内の1台以上によって無害(非破壊
的)に実行される、有害(破壊的)なトランザクションを処理するように、トラ
ンザクションサーバをプログラミングすることを、さらに含む、請求項1に記載
の方法。 - 【請求項13】 複数のコンピュータの少なくともいくつかが、トランザク
ションサーバのエンドユーザによって使用されるコンピュータである、請求項1
に記載の方法。 - 【請求項14】 性能データは、失敗したトランザクションの間にトランザ
クションサーバによって戻される画面表示のシーケンスを含む、請求項1に記載
の方法。 - 【請求項15】 性能データは、複数コンピュータの1台以上によって測定
されるネットワークセグメント遅延を含む、請求項1に記載の方法。 - 【請求項16】 性能データは、複数のコンピュータの1台以上によって検
出される中断されたウェブサイトリンクの識別子を含む、請求項1に記載の方法
。 - 【請求項17】 トランザクションサーバの配備後動作を監視するために監
視セッション内に含むための複数のコンピュータを選択し、 トランザクションサーバを行使、監視するために複数のコンピュータにトラン
ザクションを割り当て、 複数の属性ごとに別々にトランザクションサーバの監視を可能とするために、
複数のコンピュータの特定のコンピュータに属性を割り当てる、 機能を、コンピュータによって実行されるときに、少なくとも提供する、制御
装置プログラムを記憶するコンピュータ読み取り可能媒体。 - 【請求項18】 属性は、コンピュータが位置する組織の名前を含む、請求
項17に記載のコンピュータ読み取り可能媒体。 - 【請求項19】 属性は、コンピュータが位置する地理的な地域の名前を含
む、請求項17に記載のコンピュータ読み取り可能媒体。 - 【請求項20】 属性は、(a)コンピュータによって使用されるインター
ネットサービスプロバイダ、及び(b)コンピュータが結合されるルータの少な
くとも1つ、を含む、請求項17に記載のコンピュータ読み取り可能媒体。 - 【請求項21】 属性はコンピュータの構成を含む、請求項17に記載のコ
ンピュータ読み取り可能媒体。 - 【請求項22】 制御装置プログラムは、複数の異なるコンピュータに複数
のトランザクションを割り当てるオプションを提供する、請求項17に記載のコ
ンピュータ読み取り可能媒体。 - 【請求項23】 制御装置プログラムは、トランザクションを実行するため
の複数のコンピュータに、実行スケジュールを割り当てるための機能を提供する
、請求項17に記載のコンピュータ読み取り可能媒体。 - 【請求項24】 制御装置プログラムは、ユーザが実行スケジュールを画定
するためのオプションを提供する、請求項23に記載のコンピュータ読み取り可
能媒体。 - 【請求項25】 制御装置プログラムは、トランザクションが対応するコン
ピュータの子供として表されるツリーとしてユーザに対して監視セッションをグ
ラフィックに表す、請求項17に記載のコンピュータ読み取り可能媒体。 - 【請求項26】 制御装置プログラムは、ツリー内の各々の子供としてコン
ピュータに割り当てられる実行スケジュールを、さらに表す、請求項25に記載
のコンピュータ読み取り可能媒体。 - 【請求項27】 表示のためにトランザクションサーバ性能データを分離す
るために割り当てられた属性を使用するレポートサーバ構成要素と組み合わされ
る、請求項17に記載のコンピュータ読み取り可能媒体。 - 【請求項28】 コンピュータが制御装置プログラムによって遠隔でプログ
ラムできるようにするために、複数のコンピュータにインストールされるように
適応されるエージェント構成要素と組み合わされる、請求項17に記載のコンピ
ュータ読み取り可能媒体。 - 【請求項29】制御装置プログラムは、警報状態を指定するユーザオプショ
ンを提供する、請求項17に記載のコンピュータ読み取り可能媒体。 - 【請求項30】 制御装置プログラムは、複数の属性の部分集合に特定であ
る警報状態を画定するオプションを提供する、請求項29に記載のコンピュータ
読み取り可能媒体。 - 【請求項31】 制御装置プログラムは、複数のコンピュータにトランザク
ションをディスパッチするための機能を実現する、請求項17に記載のコンピュ
ータ読み取り可能媒体。 - 【請求項32】 制御装置プログラムは、トランザクションを記録するため
の機能を含む、請求項17に記載のコンピュータ読み取り可能媒体。 - 【請求項33】 制御装置プログラムは、ユーザが、トランザクションサー
バからの予期される応答を指定するための機能を含む、請求項17に記載のコン
ピュータ読み取り可能媒体。 - 【請求項34】 トランザクションサーバが、グループによって実質的に連
続して監視されるように、トランザクションサーバの性能を監視しつつ、シミュ
レートされたユーザとして配備されたトランザクションサーバにアクセスするよ
うにコンピュータのグループを遠隔でプログラミングし、 警報状態がないかチェックするために実質的にはリアルタイムでグループによ
って作成される性能データを監視し、 警報状態の検出に応えて警報通知メッセージを作成する、 配備されたトランザクションサーバを監視するための方法。 - 【請求項35】 警報状態は、グループのコンピュータの属性に基づいたサ
ブセットに特定である、請求項34に記載の方法。 - 【請求項36】 実質的にリアルタイムでデータベースに性能データを記憶
し、 遠隔オンラインアクセスをデータベースに提供する、 ことをさらに含む、請求項34に記載の方法。 - 【請求項37】 オンラインアクセスを提供することが、性能データを表示
するための時間枠を指定するオプションをユーザに提供することを含む、請求項
36に記載の方法。 - 【請求項38】 グループはトランザクションサーバのエンドユーザのコン
ピュータを含む、請求項34に記載の方法。 - 【請求項39】 エージェント構成要素が、トランザクションサーバの性能
を監視しつつ、トランザクションサーバのシミュレートされたユーザとしてトラ
ンザクションを実行するように適応されて、トランザクションサーバのエンドユ
ーザのコンピュータを含む、複数のコンピュータ上にエージェント構成要素がイ
ンストールされ、 インストールされるエージェント構成要素によって実行されるトランザクショ
ンを複数のコンピュータに遠隔で割り当てる、 トランザクションサーバの動作を監視する方法。 - 【請求項40】 トランザクションを割り当てることが、コンピュータ単位
で、複数のコンピュータの各々に割り当てられるトランザクションを選択するこ
とを含む、請求項39に記載の方法。 - 【請求項41】 トランザクションを実行するための複数のコンピュータに
実行スケジュールを遠隔で割り当てることを含む、請求項40に記載の方法。 - 【請求項42】 実行スケジュールを割り当てることは、複数のコンピュー
タの各々によって使用される実行スケジュールを、コンピュータ単位で指定する
ことを含む、請求項41に記載の方法。 - 【請求項43】 複数のコンピュータによって収集される性能データを集め
、該性能データに対する遠隔アクセスを提供することをさらに含み、該性能デー
タはトランザクションサーバの性能を示す、請求項39に記載の方法。 - 【請求項44】 性能データは、トランザクションの実行中に複数のコンピ
ュータの少なくとも1台によって捕捉される画面表示のシーケンスを含む、請求
項43に記載の方法。 - 【請求項45】 性能データは、複数のコンピュータの少なくとも1台によ
って測定されるネットワーク経路セグメント遅延を含む、請求項43に記載の方
法。 - 【請求項46】 性能データは、複数のコンピュータの少なくとも1つによ
って検出される中断されたウェブサイトリンクの識別子を含む、請求項43に記
載の方法。 - 【請求項47】 トランザクションサーバのシミュレートされるユーザとし
てトランザクションを実行し、 トランザクション実行中に、トランザクションサーバによって戻される画面表
示のシーケンスを記憶し、 トランザクションが無事に完了したかどうかを判断し、 トランザクションが無事に完了しなかった場合に、それ以降の表示のために、
画面表示のシーケンスをサーバに転送する、 シミュレートされるユーザとしてトランザクションサーバを監視するようにプ
ログラミングされている複数のコンピュータの各々の上で、トランザクションサ
ーバの動作を監視する方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15182499P | 1999-09-01 | 1999-09-01 | |
US60/151,824 | 1999-09-01 | ||
US09/484,686 US6449739B1 (en) | 1999-09-01 | 2000-01-17 | Post-deployment monitoring of server performance |
US09/484,686 | 2000-01-17 | ||
PCT/US2000/024303 WO2001016753A2 (en) | 1999-09-01 | 2000-08-31 | Post-deployment monitoring of server performance |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003508849A true JP2003508849A (ja) | 2003-03-04 |
Family
ID=26849002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001520640A Pending JP2003508849A (ja) | 1999-09-01 | 2000-08-31 | サーバ性能の配備後監視 |
Country Status (6)
Country | Link |
---|---|
US (2) | US6449739B1 (ja) |
EP (1) | EP1214657A2 (ja) |
JP (1) | JP2003508849A (ja) |
AU (1) | AU763468B2 (ja) |
CA (1) | CA2380358A1 (ja) |
WO (1) | WO2001016753A2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008086034A (ja) * | 2003-05-21 | 2008-04-10 | Ixia | ネットワーク・トラフィックの自動特性記述 |
JP2011258098A (ja) * | 2010-06-11 | 2011-12-22 | Hitachi Ltd | 仮想計算機システム、仮想計算機システムの監視方法及びネットワーク装置 |
JP2017523526A (ja) * | 2014-07-30 | 2017-08-17 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 分散システムにおける故障解析のための視覚ツール |
US10884892B2 (en) | 2017-06-28 | 2021-01-05 | Fujitsu Limited | Non-transitory computer-readable storage medium, display control method and display control device for observing anomolies within data |
US11483227B2 (en) | 2020-10-13 | 2022-10-25 | Keysight Technologies, Inc. | Methods, systems and computer readable media for active queue management |
Families Citing this family (266)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6108637A (en) | 1996-09-03 | 2000-08-22 | Nielsen Media Research, Inc. | Content display monitor |
US6973490B1 (en) * | 1999-06-23 | 2005-12-06 | Savvis Communications Corp. | Method and system for object-level web performance and analysis |
US6449739B1 (en) | 1999-09-01 | 2002-09-10 | Mercury Interactive Corporation | Post-deployment monitoring of server performance |
US7206805B1 (en) | 1999-09-09 | 2007-04-17 | Oracle International Corporation | Asynchronous transcription object management system |
US7290056B1 (en) * | 1999-09-09 | 2007-10-30 | Oracle International Corporation | Monitoring latency of a network to manage termination of distributed transactions |
US6772107B1 (en) * | 1999-11-08 | 2004-08-03 | J.D. Edwards World Source Company | System and method for simulating activity on a computer network |
US6883120B1 (en) * | 1999-12-03 | 2005-04-19 | Network Appliance, Inc. | Computer assisted automatic error detection and diagnosis of file servers |
US7013251B1 (en) * | 1999-12-15 | 2006-03-14 | Microsoft Corporation | Server recording and client playback of computer network characteristics |
US7373376B1 (en) * | 1999-12-30 | 2008-05-13 | Keynote Systems, Inc. | Method and system for evaluating quality of service over the internet |
US6662226B1 (en) * | 2000-01-27 | 2003-12-09 | Inbit, Inc. | Method and system for activating and capturing screen displays associated with predetermined user interface events |
US7299281B1 (en) | 2000-01-27 | 2007-11-20 | Inbit, Inc. | Method and system for activating and capturing screen displays associated with predetermined user interface events |
US8510437B2 (en) * | 2000-01-27 | 2013-08-13 | Yawonba Holdings Au, Llc | Method and system for tracking screen activities |
US20030126258A1 (en) * | 2000-02-22 | 2003-07-03 | Conkright Gary W. | Web based fault detection architecture |
US7281040B1 (en) * | 2000-03-07 | 2007-10-09 | Cisco Technology, Inc. | Diagnostic/remote monitoring by email |
US7249192B1 (en) * | 2000-03-09 | 2007-07-24 | Hewlett-Packard Development Company, L.P. | Protocol for insuring exactly once semantics of transactions across an unordered, unreliable network |
US6892236B1 (en) * | 2000-03-16 | 2005-05-10 | Microsoft Corporation | System and method of generating computer system performance reports |
US6973489B1 (en) * | 2000-03-21 | 2005-12-06 | Mercury Interactive Corporation | Server monitoring virtual points of presence |
US7930285B2 (en) * | 2000-03-22 | 2011-04-19 | Comscore, Inc. | Systems for and methods of user demographic reporting usable for identifying users and collecting usage data |
US7260837B2 (en) * | 2000-03-22 | 2007-08-21 | Comscore Networks, Inc. | Systems and methods for user identification, user demographic reporting and collecting usage data usage biometrics |
US7111205B1 (en) * | 2000-04-18 | 2006-09-19 | Siemens Communications, Inc. | Method and apparatus for automatically reporting of faults in a communication network |
US7072935B2 (en) * | 2000-04-28 | 2006-07-04 | Agilent Technologies, Inc. | Filtering web proxy for recording web-based transactions that supports secure HTTP steps |
US7523180B1 (en) * | 2000-04-28 | 2009-04-21 | Microsoft Corporation | System and method for service chain management in a client management tool |
US6941339B1 (en) * | 2000-05-17 | 2005-09-06 | Unbound Technologies Inc. | Stated network portal system and method |
US20030009544A1 (en) * | 2000-06-05 | 2003-01-09 | Wach Raymond S. | Method of performing distributed load testing |
US7412501B2 (en) * | 2000-06-07 | 2008-08-12 | Microsoft Corporation | Event consumers for an event management system |
BR0111984A (pt) * | 2000-06-09 | 2003-12-30 | Gen Electric | Sistema e método para monitorar uma subestação de distribuição |
US6665822B1 (en) * | 2000-06-09 | 2003-12-16 | Cisco Technology, Inc. | Field availability monitoring |
AU2001270017B2 (en) * | 2000-06-21 | 2008-03-13 | Computer Associates Think, Inc. | Liveexception system |
US7278103B1 (en) * | 2000-06-28 | 2007-10-02 | Microsoft Corporation | User interface to display and manage an entity and associated resources |
US6961681B1 (en) * | 2000-09-12 | 2005-11-01 | Microsoft Corporation | System and method providing virtual applications architecture |
US6868539B1 (en) * | 2000-06-28 | 2005-03-15 | Microsoft Corp. | System and method providing single application image |
US6785666B1 (en) * | 2000-07-11 | 2004-08-31 | Revenue Science, Inc. | Method and system for parsing navigation information |
US6799213B1 (en) * | 2000-08-31 | 2004-09-28 | Sprint Communications Company, L.P. | System and method for performing interactive server load testing through use of one or more virtual users being configured as a server client capable of transmitting one or more server test actions |
US20020116491A1 (en) * | 2000-09-01 | 2002-08-22 | Boyd Eric L. | Method and system for probing a network |
AU9268901A (en) * | 2000-09-15 | 2002-03-26 | Wonderware Corp | An industrial process control data access server supporting multiple client dataexchange protocols |
US7117208B2 (en) * | 2000-09-28 | 2006-10-03 | Oracle Corporation | Enterprise web mining system and method |
US7287071B2 (en) * | 2000-09-28 | 2007-10-23 | Vignette Corporation | Transaction management system |
AU9124801A (en) * | 2000-09-28 | 2002-04-08 | Oracle Corp | Enterprise web mining system and method |
US8145742B1 (en) * | 2000-10-31 | 2012-03-27 | Red Hat, Inc. | Method of and apparatus for network administration |
US6950868B1 (en) * | 2000-10-31 | 2005-09-27 | Red Hat, Inc. | Method of and apparatus for remote monitoring |
US7032015B1 (en) | 2000-10-31 | 2006-04-18 | General Electric Company | System and method for integrating a power system over a network |
CA2327211A1 (en) * | 2000-12-01 | 2002-06-01 | Nortel Networks Limited | Management of log archival and reporting for data network security systems |
US9058416B2 (en) * | 2000-12-11 | 2015-06-16 | Peter K. Trzyna | System and method for detecting and reporting online activity using real-time content-based network monitoring |
WO2002048924A2 (en) * | 2000-12-12 | 2002-06-20 | Uri Wilensky | Distributed agent network using object based parallel modeling language to dynamically model agent activities |
US7937470B2 (en) * | 2000-12-21 | 2011-05-03 | Oracle International Corp. | Methods of determining communications protocol latency |
US7577701B1 (en) | 2001-01-22 | 2009-08-18 | Insightete Corporation | System and method for continuous monitoring and measurement of performance of computers on network |
AU2002250146A1 (en) * | 2001-02-28 | 2002-09-19 | Wily Technology, Inc. | Detecting a stalled routine |
US7082465B1 (en) * | 2001-03-27 | 2006-07-25 | Cisco Technology, Inc. | Web based management of host computers in an open protocol network |
US7461369B2 (en) * | 2001-03-30 | 2008-12-02 | Bmc Software, Inc. | Java application response time analyzer |
US7506047B2 (en) * | 2001-03-30 | 2009-03-17 | Bmc Software, Inc. | Synthetic transaction monitor with replay capability |
US7792948B2 (en) * | 2001-03-30 | 2010-09-07 | Bmc Software, Inc. | Method and system for collecting, aggregating and viewing performance data on a site-wide basis |
US20040205489A1 (en) * | 2001-04-09 | 2004-10-14 | Ncr Corporation | Operation of web sites on internet |
US7260827B1 (en) * | 2001-04-23 | 2007-08-21 | Unisys Corporation | Manual mode method of testing a video server for a video-on-demand system |
US6961766B2 (en) * | 2001-04-24 | 2005-11-01 | Oracle International Corp. | Method for extracting personalization information from web activity |
EP1384153A4 (en) * | 2001-05-04 | 2005-08-03 | Netqos Inc | CALCULATION OF RESPONSE TIME OF A SERVER SITE FOR ARBITRARY APPLICATIONS |
US20020170004A1 (en) * | 2001-05-08 | 2002-11-14 | Shugart Technology, Inc. | Storage area network monitor device and networked monitor system |
US20020169863A1 (en) * | 2001-05-08 | 2002-11-14 | Robert Beckwith | Multi-client to multi-server simulation environment control system (JULEP) |
US7197559B2 (en) * | 2001-05-09 | 2007-03-27 | Mercury Interactive Corporation | Transaction breakdown feature to facilitate analysis of end user performance of a server system |
US20020198985A1 (en) * | 2001-05-09 | 2002-12-26 | Noam Fraenkel | Post-deployment monitoring and analysis of server performance |
US6738933B2 (en) | 2001-05-09 | 2004-05-18 | Mercury Interactive Corporation | Root cause analysis of server system performance degradations |
US7197557B1 (en) * | 2001-05-29 | 2007-03-27 | Keynote Systems, Inc. | Method and system for evaluating quality of service for streaming audio and video |
US6874099B1 (en) * | 2001-05-31 | 2005-03-29 | Sprint Communications Company L.P. | Method and software for testing and performance monitoring |
US7546354B1 (en) * | 2001-07-06 | 2009-06-09 | Emc Corporation | Dynamic network based storage with high availability |
JP2004535019A (ja) * | 2001-07-06 | 2004-11-18 | コンピュータ アソシエイツ シンク,インコーポレイテッド | 仮想ユーザーインタフェースを提供するための方法及びシステム |
JP3863740B2 (ja) * | 2001-07-19 | 2006-12-27 | 日立電子サービス株式会社 | Webサーバの性能監視サービスシステム |
US7424526B1 (en) * | 2001-07-31 | 2008-09-09 | Sprint Communications Company L.P. | Internet service node incorporating a bandwidth measurement device and associated methods for evaluating data transfers |
GB0118665D0 (en) * | 2001-07-31 | 2001-09-19 | Hewlett Packard Co | Remote monitoring of computer devices |
US7111204B1 (en) * | 2001-08-01 | 2006-09-19 | Agilent Technologies, Inc. | Protocol sleuthing system and method for load-testing a network server |
AU2002317618A1 (en) * | 2001-08-06 | 2003-02-24 | Mercury Interactive Corporation | System and method for automated analysis of load testing results |
US6963874B2 (en) * | 2002-01-09 | 2005-11-08 | Digital River, Inc. | Web-site performance analysis system and method utilizing web-site traversal counters and histograms |
US6871293B2 (en) * | 2001-08-07 | 2005-03-22 | American Management Systems, Inc. | Gap detector detecting gaps between transactions transmitted by clients and transactions processed by servers |
JP4294912B2 (ja) * | 2001-08-13 | 2009-07-15 | ブラザー工業株式会社 | 端末情報通知システム、端末情報通知方法及びネットワーク端末装置 |
US20030074606A1 (en) * | 2001-09-10 | 2003-04-17 | Udi Boker | Network-based control center for conducting performance tests of server systems |
US6961769B2 (en) * | 2001-09-20 | 2005-11-01 | International Business Machines Corporation | Method, apparatus, and program for measuring server performance using multiple clients |
US7257516B2 (en) * | 2001-09-20 | 2007-08-14 | International Business Machines Corporation | Method, apparatus, and program for eliminating thread skew in multithreaded performance benchmarks |
US8055555B2 (en) * | 2001-09-25 | 2011-11-08 | Emc Corporation | Mediation device for scalable storage service |
US7552056B2 (en) | 2001-09-25 | 2009-06-23 | Emc Corporation | Scalable storage service registration application |
US7376730B2 (en) * | 2001-10-10 | 2008-05-20 | International Business Machines Corporation | Method for characterizing and directing real-time website usage |
US6993748B2 (en) * | 2001-10-26 | 2006-01-31 | Capital One Financial Corporation | Systems and methods for table driven automation testing of software programs |
US20030097445A1 (en) * | 2001-11-20 | 2003-05-22 | Stephen Todd | Pluggable devices services and events for a scalable storage service architecture |
US7035922B2 (en) * | 2001-11-27 | 2006-04-25 | Microsoft Corporation | Non-invasive latency monitoring in a store-and-forward replication system |
US7437450B1 (en) * | 2001-11-30 | 2008-10-14 | Cisco Technology Inc. | End-to-end performance tool and method for monitoring electronic-commerce transactions |
US8549048B2 (en) * | 2001-12-19 | 2013-10-01 | Emc Corporation | Workflow database for scalable storage service |
US7631035B2 (en) * | 2002-01-09 | 2009-12-08 | Digital River, Inc. | Path-analysis toolbar |
US20030131097A1 (en) * | 2002-01-09 | 2003-07-10 | Stephane Kasriel | Interactive path analysis |
US20030128231A1 (en) * | 2002-01-09 | 2003-07-10 | Stephane Kasriel | Dynamic path analysis |
US7043549B2 (en) * | 2002-01-31 | 2006-05-09 | International Business Machines Corporation | Method and system for probing in a network environment |
US7412502B2 (en) * | 2002-04-18 | 2008-08-12 | International Business Machines Corporation | Graphics for end to end component mapping and problem-solving in a network environment |
US7269651B2 (en) * | 2002-09-26 | 2007-09-11 | International Business Machines Corporation | E-business operations measurements |
US8527620B2 (en) | 2003-03-06 | 2013-09-03 | International Business Machines Corporation | E-business competitive measurements |
US8086720B2 (en) | 2002-01-31 | 2011-12-27 | International Business Machines Corporation | Performance reporting in a network environment |
US7047291B2 (en) | 2002-04-11 | 2006-05-16 | International Business Machines Corporation | System for correlating events generated by application and component probes when performance problems are identified |
US7130902B2 (en) * | 2002-03-15 | 2006-10-31 | Ge Mortgage Holdings, Llc | Methods and apparatus for detecting and providing notification of computer system problems |
US20030202009A1 (en) * | 2002-04-24 | 2003-10-30 | Stephane Kasriel | Integration toolbar |
US7490148B1 (en) | 2002-05-30 | 2009-02-10 | At&T Intellectual Property I, L.P. | Completion performance analysis for internet services |
US7159148B2 (en) * | 2002-06-11 | 2007-01-02 | Motorola, Inc. | Method for performance and fault management in a telecommunication network |
US20030233446A1 (en) * | 2002-06-12 | 2003-12-18 | Earl William J. | System and method for managing a distributed computing system |
US20030233453A1 (en) * | 2002-06-18 | 2003-12-18 | Institute For Information Industry | Topology probing method for mobile IP system |
US7877435B2 (en) * | 2002-06-20 | 2011-01-25 | International Business Machines Corporation | Method and system for transaction pipeline decomposition |
US8266270B1 (en) * | 2002-07-16 | 2012-09-11 | At&T Intellectual Property I, L.P. | Delivery performance analysis for internet services |
US7310798B1 (en) | 2002-08-19 | 2007-12-18 | Sprint Communications Company L.P. | Simulator tool for testing software in development process |
US7640342B1 (en) * | 2002-09-27 | 2009-12-29 | Emc Corporation | System and method for determining configuration of one or more data storage systems |
US20040064531A1 (en) * | 2002-10-01 | 2004-04-01 | Wisner Steven P. | System and process for projecting hardware requirements for a web site |
US6792460B2 (en) | 2002-10-02 | 2004-09-14 | Mercury Interactive Corporation | System and methods for monitoring application server performance |
US7216164B1 (en) * | 2002-10-09 | 2007-05-08 | Cisco Technology, Inc. | Methods and apparatus for determining the performance of a server |
US7870431B2 (en) * | 2002-10-18 | 2011-01-11 | Computer Associates Think, Inc. | Transaction tracer |
US7353264B2 (en) * | 2002-11-13 | 2008-04-01 | Hewlett-Packard Development Company, L.P. | Method and apparatus for optimizing client responsiveness and server performance |
US7346678B1 (en) * | 2002-11-14 | 2008-03-18 | Web Ex Communications, Inc. | System and method for monitoring and managing a computing service |
US7885974B2 (en) | 2002-11-18 | 2011-02-08 | Aol Inc. | Method and apparatus providing omnibus view of online and offline content of various file types and sources |
US7457864B2 (en) * | 2002-11-27 | 2008-11-25 | International Business Machines Corporation | System and method for managing the performance of a computer system based on operational characteristics of the system components |
US20040199618A1 (en) * | 2003-02-06 | 2004-10-07 | Knight Gregory John | Data replication solution |
US8726075B1 (en) * | 2003-02-14 | 2014-05-13 | At&T Intellectual Property Ii, L.P. | Method and apparatus for screenshot archiving to digital video disk (DVD) |
US20040205184A1 (en) * | 2003-03-06 | 2004-10-14 | International Business Machines Corporation | E-business operations measurements reporting |
EP1614253A2 (en) * | 2003-04-04 | 2006-01-11 | Computer Associates Think, Inc. | Method and system for management and configuration of remote agents |
US7155641B2 (en) * | 2003-05-15 | 2006-12-26 | Microsoft Corporation | System and method for monitoring the performance of a server |
JP4276895B2 (ja) * | 2003-05-26 | 2009-06-10 | 株式会社日立製作所 | 計測システム |
US7337176B1 (en) | 2003-08-29 | 2008-02-26 | Sprint Communications Company L.P. | Data loading tool for loading a database |
US7493386B2 (en) * | 2003-09-19 | 2009-02-17 | International Business Machines Corporation | Testing applications within a grid environment using ghost agents |
US7493387B2 (en) * | 2003-09-19 | 2009-02-17 | International Business Machines Corporation | Validating software in a grid environment using ghost agents |
US7472184B2 (en) * | 2003-09-19 | 2008-12-30 | International Business Machines Corporation | Framework for restricting resources consumed by ghost agents |
WO2005043300A2 (en) * | 2003-10-20 | 2005-05-12 | Empirix, Inc. | Computer language interpretation and optimization for server testing |
US7337431B1 (en) | 2003-12-23 | 2008-02-26 | Sprint Communications Company L.P. | Distributed large-scale application benchmark system |
KR100599936B1 (ko) * | 2003-12-24 | 2006-07-13 | 한국전자통신연구원 | 브이,이,엔,유,에스 시스템 |
US7328134B1 (en) | 2004-02-26 | 2008-02-05 | Sprint Communications Company L.P. | Enterprise integration test tool |
WO2005083571A1 (en) * | 2004-03-01 | 2005-09-09 | Izuki Corporation | A method of controlling the operation of a computing system arranged to interact with other entities |
US7363364B2 (en) * | 2004-03-30 | 2008-04-22 | At&T Delaware Intellectual Property, Inc. | Methods, systems, and products for verifying integrity of web-server served content |
US7426556B2 (en) | 2004-03-30 | 2008-09-16 | At&T Intellectual Property I, L.P. | Methods, systems, and products for verifying integrity of web-server served content |
US7216256B2 (en) | 2004-03-30 | 2007-05-08 | Bellsouth Intellectual Property Corporation | Methods, systems, and products for verifying integrity of web-server served content |
US7685273B1 (en) * | 2004-03-31 | 2010-03-23 | Compuware Corporation | Methods and apparatus for collecting and displaying performance metrics from a web site |
US8065410B1 (en) * | 2004-03-31 | 2011-11-22 | Compuware Corporation | Methods and apparatus for collecting performance metrics from a web site |
US20060031521A1 (en) * | 2004-05-10 | 2006-02-09 | International Business Machines Corporation | Method for early failure detection in a server system and a computer system utilizing the same |
US8180864B2 (en) * | 2004-05-21 | 2012-05-15 | Oracle International Corporation | System and method for scripting tool for server configuration |
US7509343B1 (en) * | 2004-06-09 | 2009-03-24 | Sprint Communications Company L.P. | System and method of collecting and reporting system performance metrics |
US7290205B2 (en) * | 2004-06-23 | 2007-10-30 | Sas Institute Inc. | System and method for management of document cross-reference links |
US20060031469A1 (en) * | 2004-06-29 | 2006-02-09 | International Business Machines Corporation | Measurement, reporting, and management of quality of service for a real-time communication application in a network environment |
US7346807B1 (en) | 2004-07-07 | 2008-03-18 | Sprint Communications Company L.P. | Optimizing transaction data for load testing |
US7133805B1 (en) | 2004-07-07 | 2006-11-07 | Sprint Communications Company L.P. | Load test monitoring system |
US20060020699A1 (en) * | 2004-07-23 | 2006-01-26 | D Esposito John J | Method and computer program for web site performance monitoring and testing by variable simultaneous angulation |
US20060064399A1 (en) * | 2004-09-21 | 2006-03-23 | Giuseppe De Sio | Method and system for testing distributed software applications |
KR100813395B1 (ko) | 2004-09-24 | 2008-03-12 | 주식회사 케이티 | 인스턴트 메신저 기반의 원격서버 감시시스템 및 방법 |
US8171474B2 (en) | 2004-10-01 | 2012-05-01 | Serguei Mankovski | System and method for managing, scheduling, controlling and monitoring execution of jobs by a job scheduler utilizing a publish/subscription interface |
ATE540361T1 (de) * | 2004-10-20 | 2012-01-15 | Telecom Italia Spa | Verfahren und system zur überwachung der leistungsfähigkeit einer client-server- architektur |
US7590508B1 (en) * | 2004-10-22 | 2009-09-15 | Sprint Communications Company L.P. | Method and system for forecasting usage costs and computer capacity |
KR20060084040A (ko) * | 2005-01-17 | 2006-07-21 | 삼성전자주식회사 | 동적 QoS 관리 장치 및 방법 |
US7546368B2 (en) * | 2005-06-01 | 2009-06-09 | Neustar, Inc. | Systems and methods for isolating local performance variation in website monitoring |
EP1739557A1 (en) * | 2005-06-30 | 2007-01-03 | Nortel Networks Limited | Method for analyzing browsing and device for implementing the method |
US20070019568A1 (en) * | 2005-07-22 | 2007-01-25 | Sbc Knowledge Ventures, L.P. | Method of monitoring network elements supporting virtual private networks |
US8130759B2 (en) | 2005-07-29 | 2012-03-06 | Opnet Technologies, Inc. | Routing validation |
US8140665B2 (en) * | 2005-08-19 | 2012-03-20 | Opnet Technologies, Inc. | Managing captured network traffic data |
US7623463B2 (en) * | 2005-09-09 | 2009-11-24 | International Business Machines Corporation | Performance evaluation of a network-based application |
GB2431315A (en) * | 2005-10-11 | 2007-04-18 | Agilent Technologies Inc | Testing a telecommunications network |
US8171174B2 (en) | 2006-01-19 | 2012-05-01 | Dell Products L.P. | Out-of-band characterization of server utilization via remote access card virtual media for auto-enterprise scaling |
US8078971B2 (en) * | 2006-01-24 | 2011-12-13 | Oracle International Corporation | System and method for scripting explorer for server configuration |
US8676958B1 (en) | 2006-02-10 | 2014-03-18 | Open Invention Network, Llc | System and method for monitoring the status of multiple servers on a network |
US7476013B2 (en) * | 2006-03-31 | 2009-01-13 | Federal Signal Corporation | Light bar and method for making |
US9346397B2 (en) | 2006-02-22 | 2016-05-24 | Federal Signal Corporation | Self-powered light bar |
US9002313B2 (en) * | 2006-02-22 | 2015-04-07 | Federal Signal Corporation | Fully integrated light bar |
US7746794B2 (en) * | 2006-02-22 | 2010-06-29 | Federal Signal Corporation | Integrated municipal management console |
US7810156B2 (en) * | 2006-04-20 | 2010-10-05 | Agiliance Inc. | Automated evidence gathering |
US8051163B2 (en) * | 2006-05-11 | 2011-11-01 | Computer Associates Think, Inc. | Synthetic transactions based on system history and load |
US7805510B2 (en) * | 2006-05-11 | 2010-09-28 | Computer Associates Think, Inc. | Hierarchy for characterizing interactions with an application |
US8656006B2 (en) * | 2006-05-11 | 2014-02-18 | Ca, Inc. | Integrating traffic monitoring data and application runtime data |
US7814191B2 (en) * | 2006-05-26 | 2010-10-12 | The Pnc Financial Services Group, Inc. | Methods and systems for network management using periodic status messages |
US7761550B2 (en) * | 2006-05-26 | 2010-07-20 | The Pnc Financial Services Group, Inc. | Network management for a plurality of agents using periodic status messages |
JP4896593B2 (ja) * | 2006-06-05 | 2012-03-14 | 株式会社日立製作所 | 性能監視方法、計算機及び計算機システム |
US20080004720A1 (en) * | 2006-06-29 | 2008-01-03 | Mckinney Howard M | System and method for determining unimportant probe locations by examination of byte code by identifying trivial methods |
EP1885083A1 (en) * | 2006-08-03 | 2008-02-06 | Acterna, LLC | Triple play services tester |
US8135990B2 (en) | 2006-08-11 | 2012-03-13 | Opnet Technologies, Inc. | Multi-variate network survivability analysis |
US8055747B2 (en) * | 2006-08-15 | 2011-11-08 | Microsoft Corporation | Message based network transmission for selection and auditing of internet services |
US8090766B2 (en) * | 2006-08-15 | 2012-01-03 | Microsoft Corporation | System and method to identify, rank, and audit network provided configurables |
US7979320B2 (en) * | 2006-08-15 | 2011-07-12 | Microsoft Corporation | Automated acquisition and configuration of goods and services via a network |
US9009680B2 (en) * | 2006-11-30 | 2015-04-14 | Ca, Inc. | Selecting instrumentation points for an application |
US20080148242A1 (en) * | 2006-12-18 | 2008-06-19 | Computer Associates Think, Inc. | Optimizing an interaction model for an application |
WO2008077111A1 (en) * | 2006-12-19 | 2008-06-26 | Gallup, Inc. | A state discovery automation for dynamic web applications |
US8429185B2 (en) * | 2007-02-12 | 2013-04-23 | Microsoft Corporation | Using structured data for online research |
US7917507B2 (en) * | 2007-02-12 | 2011-03-29 | Microsoft Corporation | Web data usage platform |
US7779127B2 (en) * | 2007-03-09 | 2010-08-17 | Hewlett-Packard Development Company, L.P. | System and method for determining a subset of transactions of a computing system for use in determing resource costs |
US8095649B2 (en) | 2007-05-09 | 2012-01-10 | Opnet Technologies, Inc. | Network delay analysis including parallel delay effects |
US8892718B2 (en) * | 2007-06-28 | 2014-11-18 | Neustar, Inc. | Monitoring web service transactions |
US8095650B1 (en) | 2007-07-30 | 2012-01-10 | Compuware Corporation | Methods and apparatus for real user monitoring including flash monitoring |
EP2198398A4 (en) * | 2007-08-28 | 2017-08-30 | Sugarcrm Inc. | Crm system and method having drilldowns, acls, shared folders, a tracker and a module builder |
WO2009049678A1 (en) * | 2007-10-18 | 2009-04-23 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and arrangements in a mobile telecommunications network |
US20090112809A1 (en) * | 2007-10-24 | 2009-04-30 | Caterpillar Inc. | Systems and methods for monitoring health of computing systems |
BRPI0722176A2 (pt) * | 2007-10-26 | 2014-04-08 | Ericsson Telefon Ab L M | Método para uso em uma rede de ip móvel de proxy, nó de âncora de mobilidade local, e, ponto de conexão de acesso móvel |
US8326970B2 (en) * | 2007-11-05 | 2012-12-04 | Hewlett-Packard Development Company, L.P. | System and method for modeling a session-based system with a transaction-based analytic model |
US8326971B2 (en) * | 2007-11-30 | 2012-12-04 | International Business Machines Corporation | Method for using dynamically scheduled synthetic transactions to monitor performance and availability of E-business systems |
US9021505B2 (en) * | 2007-12-07 | 2015-04-28 | Ca, Inc. | Monitoring multi-platform transactions |
US8645570B2 (en) * | 2007-12-20 | 2014-02-04 | Fast Health Corporation | System and method for the issuance of an emergency text alert in response to the redirection of a website |
US8214524B2 (en) * | 2007-12-21 | 2012-07-03 | Hostway Corporation | System and method for selecting an optimal authoritative name server |
US9021082B2 (en) * | 2008-01-30 | 2015-04-28 | Case Western Reserve University | Internet measurement system application programming interface |
US7831695B1 (en) * | 2008-02-18 | 2010-11-09 | Sprint Communications Company L.P. | System and method for it system migration management |
US9923790B2 (en) * | 2008-04-14 | 2018-03-20 | Evertz Microsystems Ltd. | Method and system for monitoring and controlling a video signal network |
JP5253949B2 (ja) * | 2008-09-26 | 2013-07-31 | ブラザー工業株式会社 | 通信装置、および通信プログラム |
US8645922B2 (en) * | 2008-11-25 | 2014-02-04 | Sap Ag | System and method of implementing a concurrency profiler |
US8326973B2 (en) | 2008-12-23 | 2012-12-04 | Novell, Inc. | Techniques for gauging performance of services |
US8266477B2 (en) | 2009-01-09 | 2012-09-11 | Ca, Inc. | System and method for modifying execution of scripts for a job scheduler using deontic logic |
US8635694B2 (en) * | 2009-01-10 | 2014-01-21 | Kaspersky Lab Zao | Systems and methods for malware classification |
US8028205B2 (en) * | 2009-03-30 | 2011-09-27 | Hartford Fire Insurance Company | System for providing performance testing information to users |
US8615739B2 (en) * | 2009-04-23 | 2013-12-24 | Hewlett-Packard Development Company, L.P. | Resource monitoring |
US8032791B2 (en) * | 2009-07-07 | 2011-10-04 | International Business Machines Corporation | Diagnosis of and response to failure at reset in a data processing system |
US8738710B1 (en) * | 2009-08-05 | 2014-05-27 | Nextel Communications Inc. | Systems and methods of providing push-to-application services |
US8666996B2 (en) * | 2009-12-23 | 2014-03-04 | Mastercard International Incorporated | Methods and systems for detecting broken links within a file |
US9274842B2 (en) | 2010-06-29 | 2016-03-01 | Microsoft Technology Licensing, Llc | Flexible and safe monitoring of computers |
US20130083664A1 (en) * | 2010-09-13 | 2013-04-04 | Jeffrey T. Harris | Remote management hardware platform for site monitoring with smart block i/o device |
US8543868B2 (en) | 2010-12-21 | 2013-09-24 | Guest Tek Interactive Entertainment Ltd. | Distributed computing system that monitors client device request time and server servicing time in order to detect performance problems and automatically issue alerts |
US9009185B2 (en) * | 2010-12-28 | 2015-04-14 | Sevone, Inc. | Scalable performance management system |
US8677324B2 (en) * | 2011-01-31 | 2014-03-18 | Hewlett-Packard Development Company, L.P. | Evaluating performance of an application using event-driven transactions |
US8707111B2 (en) * | 2011-02-09 | 2014-04-22 | Ebay Inc. | High-volume distributed script error handling |
US9641247B2 (en) * | 2011-05-03 | 2017-05-02 | Monolith Technology Holdings, Llc | System and method for monitoring unknown resources |
DE102012103654A1 (de) * | 2011-05-17 | 2012-11-22 | International Business Machines Corp. | Installieren und Prüfen einer Anwendung auf einer stark genutzten Computerplattform |
US8671108B2 (en) | 2011-09-02 | 2014-03-11 | Mastercard International Incorporated | Methods and systems for detecting website orphan content |
US9679296B2 (en) * | 2011-11-30 | 2017-06-13 | Retailmenot, Inc. | Promotion code validation apparatus and method |
US8725741B2 (en) | 2011-12-04 | 2014-05-13 | Riverbed Technology, Inc. | Assessing application performance with an operational index |
US20130305222A1 (en) * | 2012-05-11 | 2013-11-14 | Microsoft Corporation | Development System |
US9104630B1 (en) * | 2012-10-24 | 2015-08-11 | Google Inc. | Online account reset, rollback, and backup |
US9621480B2 (en) | 2013-03-04 | 2017-04-11 | Vigo Software Ltd | Data acquisition pertaining to connectivity of client applications of a service provider network |
US9767668B2 (en) | 2013-03-14 | 2017-09-19 | International Business Machines Corporation | Automatic adjustment of metric alert trigger thresholds |
US10592915B2 (en) | 2013-03-15 | 2020-03-17 | Retailmenot, Inc. | Matching a coupon to a specific product |
US9563907B2 (en) | 2013-06-13 | 2017-02-07 | Vigo Software Ltd | Offer based provision of fee based network access |
US9423921B2 (en) * | 2013-06-26 | 2016-08-23 | Nicolas Bissantz | System for providing information to a user |
US9111037B1 (en) | 2013-08-21 | 2015-08-18 | Ca, Inc. | Method and apparatus to enable mainframe computer testing for software testing management platform |
US10037554B2 (en) | 2013-10-30 | 2018-07-31 | Vigo Software Ltd | Aggregated billing for application-based network access and content consumption |
CN105683938A (zh) * | 2013-10-30 | 2016-06-15 | 慧与发展有限责任合伙企业 | 记录应用测试 |
US9753743B2 (en) | 2013-12-05 | 2017-09-05 | Entit Software Llc | Identifying a common action flow |
US9300679B1 (en) | 2013-12-16 | 2016-03-29 | 8X8, Inc. | System and method for monitoring computing servers for possible unauthorized access |
US9306985B1 (en) | 2014-03-25 | 2016-04-05 | 8X8, Inc. | User configurable data storage |
US10355943B1 (en) | 2014-04-04 | 2019-07-16 | 8X8, Inc. | Apparatus and methods of analyzing status of computing servers |
US10530935B1 (en) | 2014-04-04 | 2020-01-07 | 8×8, Inc. | Support services for virtual data centers |
US10862948B1 (en) | 2014-04-04 | 2020-12-08 | 8X8, Inc. | Virtual data centers |
US9628436B1 (en) | 2014-04-04 | 2017-04-18 | 8X8, Inc. | User-configurable dynamic DNS mapping for virtual services |
US11777814B1 (en) | 2014-04-04 | 2023-10-03 | 8X8, Inc. | User-configurable alerts for computing servers |
TWI552002B (zh) * | 2014-04-22 | 2016-10-01 | 財團法人工業技術研究院 | 公共雲資源動態配置方法及系統 |
US10397407B1 (en) | 2014-04-24 | 2019-08-27 | 8X8, Inc. | Apparatus and method for user configuration and reporting of virtual services |
US9189377B1 (en) * | 2014-06-02 | 2015-11-17 | Bank Of America Corporation | Automation testing using descriptive maps |
CN105335142B (zh) * | 2014-07-29 | 2019-03-15 | 国际商业机器公司 | 在事务处理系统中标识事务的性能瓶颈的方法和装置 |
US11195162B2 (en) * | 2014-10-06 | 2021-12-07 | Vmware, Inc. | System for defining and tracking transactions of mobile devices |
US10355964B2 (en) | 2014-10-31 | 2019-07-16 | At&T Intellectual Property I, L.P. | Method and system to capture selected network data |
US10002365B2 (en) | 2014-10-31 | 2018-06-19 | The Nielsen Company (Us), Llc | Methods and apparatus to identify publisher advertising behavior |
US11283697B1 (en) | 2015-03-24 | 2022-03-22 | Vmware, Inc. | Scalable real time metrics management |
US10594562B1 (en) | 2015-08-25 | 2020-03-17 | Vmware, Inc. | Intelligent autoscale of services |
US10313211B1 (en) * | 2015-08-25 | 2019-06-04 | Avi Networks | Distributed network service risk monitoring and scoring |
US9910756B2 (en) * | 2015-09-03 | 2018-03-06 | International Business Machines Corporation | Response-time baselining and performance testing capability within a software product |
US9955021B1 (en) | 2015-09-18 | 2018-04-24 | 8X8, Inc. | Analysis of call metrics for call direction |
US10044577B2 (en) * | 2015-11-04 | 2018-08-07 | International Business Machines Corporation | Visualization of cyclical patterns in metric data |
US9935857B1 (en) | 2015-12-17 | 2018-04-03 | 8X8, Inc. | Analysis of system conditions from endpoint status information |
US9697110B1 (en) | 2015-12-28 | 2017-07-04 | Bank Of America Corporation | Codeless system and tool for testing applications |
US11283900B2 (en) | 2016-02-08 | 2022-03-22 | Microstrategy Incorporated | Enterprise performance and capacity testing |
US10440153B1 (en) | 2016-02-08 | 2019-10-08 | Microstrategy Incorporated | Enterprise health score and data migration |
US10212041B1 (en) | 2016-03-04 | 2019-02-19 | Avi Networks | Traffic pattern detection and presentation in container-based cloud computing architecture |
US10931548B1 (en) | 2016-03-28 | 2021-02-23 | Vmware, Inc. | Collecting health monitoring data pertaining to an application from a selected set of service engines |
US10379930B2 (en) * | 2016-09-30 | 2019-08-13 | Brother Kogyo Kabushiki Kaisha | Non-transitory computer-readable medium storing computer-readable instructions for terminal device |
US10860703B1 (en) * | 2017-08-17 | 2020-12-08 | Walgreen Co. | Online authentication and security management using device-based identification |
US11729043B2 (en) * | 2017-10-06 | 2023-08-15 | Cisco Technology, Inc. | Traffic outage detection in the internet |
US10999168B1 (en) | 2018-05-30 | 2021-05-04 | Vmware, Inc. | User defined custom metrics |
US11044180B2 (en) | 2018-10-26 | 2021-06-22 | Vmware, Inc. | Collecting samples hierarchically in a datacenter |
US11582120B2 (en) | 2019-05-30 | 2023-02-14 | Vmware, Inc. | Partitioning health monitoring in a global server load balancing system |
US11637748B2 (en) | 2019-08-28 | 2023-04-25 | Microstrategy Incorporated | Self-optimization of computing environments |
US11210189B2 (en) | 2019-08-30 | 2021-12-28 | Microstrategy Incorporated | Monitoring performance of computing systems |
US11354216B2 (en) | 2019-09-18 | 2022-06-07 | Microstrategy Incorporated | Monitoring performance deviations |
US11360881B2 (en) | 2019-09-23 | 2022-06-14 | Microstrategy Incorporated | Customizing computer performance tests |
US11438231B2 (en) | 2019-09-25 | 2022-09-06 | Microstrategy Incorporated | Centralized platform management for computing environments |
CN111176930B (zh) * | 2019-12-10 | 2023-02-07 | 未鲲(上海)科技服务有限公司 | 组件运行数据处理方法、装置、计算机设备和存储介质 |
US11494292B2 (en) * | 2021-02-26 | 2022-11-08 | T-Mobile Usa, Inc. | Log-based automation testing |
US11811861B2 (en) | 2021-05-17 | 2023-11-07 | Vmware, Inc. | Dynamically updating load balancing criteria |
US11799824B2 (en) | 2021-06-14 | 2023-10-24 | Vmware, Inc. | Method and apparatus for enhanced client persistence in multi-site GSLB deployments |
CN115994076B (zh) * | 2023-03-23 | 2023-07-18 | 广州软件应用技术研究院 | 一种性能测试工具应用于负载机的自检方法、系统及平台 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5553235A (en) | 1992-10-23 | 1996-09-03 | International Business Machines Corporation | System and method for maintaining performance data in a data processing system |
US5577197A (en) * | 1992-10-29 | 1996-11-19 | Mci Communications Corporation | Test system for testing electronic transaction processing services at a common carrier network switch |
US5864659A (en) * | 1995-03-07 | 1999-01-26 | Intel Corporation | Computer server with improved reliability, availability and serviceability |
WO1996038733A1 (en) | 1995-06-02 | 1996-12-05 | Pure Software, Inc. | Remote monitoring of computer programs |
JP3367305B2 (ja) * | 1995-11-14 | 2003-01-14 | 三菱電機株式会社 | ネットワークシステム |
US5819066A (en) | 1996-02-28 | 1998-10-06 | Electronic Data Systems Corporation | Application and method for benchmarking a database server |
US5812780A (en) | 1996-05-24 | 1998-09-22 | Microsoft Corporation | Method, system, and product for assessing a server application performance |
US5938729A (en) | 1996-07-12 | 1999-08-17 | Microsoft Corporation | System and method for monitoring server performance at a client computer |
US5696701A (en) * | 1996-07-12 | 1997-12-09 | Electronic Data Systems Corporation | Method and system for monitoring the performance of computers in computer networks using modular extensions |
US5781703A (en) | 1996-09-06 | 1998-07-14 | Candle Distributed Solutions, Inc. | Intelligent remote agent for computer performance monitoring |
US5870559A (en) | 1996-10-15 | 1999-02-09 | Mercury Interactive | Software system and associated methods for facilitating the analysis and management of web sites |
US5732218A (en) * | 1997-01-02 | 1998-03-24 | Lucent Technologies Inc. | Management-data-gathering system for gathering on clients and servers data regarding interactions between the servers, the clients, and users of the clients during real use of a network of clients and servers |
US5787254A (en) | 1997-03-14 | 1998-07-28 | International Business Machines Corporation | Web browser method and system for display and management of server latency |
US5958010A (en) * | 1997-03-20 | 1999-09-28 | Firstsense Software, Inc. | Systems and methods for monitoring distributed applications including an interface running in an operating system kernel |
US6006260A (en) | 1997-06-03 | 1999-12-21 | Keynote Systems, Inc. | Method and apparatus for evalutating service to a user over the internet |
US5963963A (en) * | 1997-07-11 | 1999-10-05 | International Business Machines Corporation | Parallel file system and buffer management arbitration |
US5905868A (en) | 1997-07-22 | 1999-05-18 | Ncr Corporation | Client/server distribution of performance monitoring data |
AU8763198A (en) * | 1997-08-01 | 1999-02-22 | Ric Marshall | Entreprise simulation module |
US6324492B1 (en) * | 1998-01-20 | 2001-11-27 | Microsoft Corporation | Server stress testing using multiple concurrent client simulation |
US6205413B1 (en) | 1998-06-11 | 2001-03-20 | Chatschik Bisdikian | End-user oriented performance monitoring system for interactive end-to-end data communications |
US6189142B1 (en) * | 1998-09-16 | 2001-02-13 | International Business Machines Corporation | Visual program runtime performance analysis |
AU1200000A (en) * | 1998-09-30 | 2000-04-17 | Netscout Service Level Corporation | Evaluating computer resources by end-user emulation |
US6138157A (en) | 1998-10-12 | 2000-10-24 | Freshwater Software, Inc. | Method and apparatus for testing web sites |
US6243105B1 (en) | 1998-11-19 | 2001-06-05 | Ncr Corporation | Drill-down method to historical data in a performance monitor using a platform independent program |
US6446028B1 (en) * | 1998-11-25 | 2002-09-03 | Keynote Systems, Inc. | Method and apparatus for measuring the performance of a network based application program |
US6449739B1 (en) | 1999-09-01 | 2002-09-10 | Mercury Interactive Corporation | Post-deployment monitoring of server performance |
-
2000
- 2000-01-17 US US09/484,686 patent/US6449739B1/en not_active Expired - Lifetime
- 2000-08-31 AU AU71123/00A patent/AU763468B2/en not_active Ceased
- 2000-08-31 WO PCT/US2000/024303 patent/WO2001016753A2/en not_active Application Discontinuation
- 2000-08-31 EP EP00959879A patent/EP1214657A2/en not_active Withdrawn
- 2000-08-31 JP JP2001520640A patent/JP2003508849A/ja active Pending
- 2000-08-31 CA CA002380358A patent/CA2380358A1/en not_active Abandoned
-
2002
- 2002-05-31 US US10/161,460 patent/US6564342B2/en not_active Expired - Lifetime
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008086034A (ja) * | 2003-05-21 | 2008-04-10 | Ixia | ネットワーク・トラフィックの自動特性記述 |
JP4620103B2 (ja) * | 2003-05-21 | 2011-01-26 | イクシア | ネットワーク・トラフィックの自動特性記述 |
JP2011258098A (ja) * | 2010-06-11 | 2011-12-22 | Hitachi Ltd | 仮想計算機システム、仮想計算機システムの監視方法及びネットワーク装置 |
JP2017523526A (ja) * | 2014-07-30 | 2017-08-17 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 分散システムにおける故障解析のための視覚ツール |
US10884892B2 (en) | 2017-06-28 | 2021-01-05 | Fujitsu Limited | Non-transitory computer-readable storage medium, display control method and display control device for observing anomolies within data |
US11483227B2 (en) | 2020-10-13 | 2022-10-25 | Keysight Technologies, Inc. | Methods, systems and computer readable media for active queue management |
Also Published As
Publication number | Publication date |
---|---|
WO2001016753A3 (en) | 2001-11-29 |
EP1214657A2 (en) | 2002-06-19 |
US20020184575A1 (en) | 2002-12-05 |
US6449739B1 (en) | 2002-09-10 |
AU763468B2 (en) | 2003-07-24 |
US6564342B2 (en) | 2003-05-13 |
AU7112300A (en) | 2001-03-26 |
CA2380358A1 (en) | 2001-03-08 |
WO2001016753A2 (en) | 2001-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2003508849A (ja) | サーバ性能の配備後監視 | |
US6738933B2 (en) | Root cause analysis of server system performance degradations | |
US7197559B2 (en) | Transaction breakdown feature to facilitate analysis of end user performance of a server system | |
US9727405B2 (en) | Problem determination in distributed enterprise applications | |
US20020198985A1 (en) | Post-deployment monitoring and analysis of server performance | |
JP3526416B2 (ja) | 情報を監視し記録するための方法、装置及びプログラム記憶装置 | |
JP5607679B2 (ja) | 資産と、アプリケーションと、関係するアプリケーション相互の関連付けを行うサービスとの監視及び管理 | |
US6175832B1 (en) | Method, system and program product for establishing a data reporting and display communication over a network | |
US7478151B1 (en) | System and method for monitoring global network performance | |
US6505248B1 (en) | Method and system for monitoring and dynamically reporting a status of a remote server | |
US6895437B1 (en) | System for monitoring browsing activity of a visitor and decrementing a reference count upon a web page change for automatic unloading a client program | |
KR100763318B1 (ko) | 상거래 파이프라인 분해 방법 및 시스템 | |
WO2001069386A2 (en) | Monitoring operation of and interaction with services provided over a network | |
GB2357679A (en) | Monitoring of services provided over a network with recording and redisplay of user interactions with a web page | |
EP1064755A2 (en) | Providing network services through a common interface | |
WO2001027787A1 (en) | Event monitoring and closed-loop response system | |
Pham | Real user monitoring for internal web application | |
Singleton | Website performance monitoring | |
Norguet | Redbooks Paper | |
Hassell | Monitoring SBS Server Health and Performance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050726 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051227 |