JP2004094978A - 性能測定装置および性能測定方法 - Google Patents

Abstract

【課題】　異なる複数の測定条件を同時に入力できるようにするとともに、異なる複数の測定条件での情報処理システムの性能試験を自動的に連続して実行できるようにする。
【解決手段】　条件入力画面としてパラメータおよび設定値の入力欄が追加可能な表形式の画面を用いるとともに、条件入力画面を介して入力された互いに異なるパラメータ群のそれぞれ１つの設定値を、テストパターン制御部２１１にて、任意に組み合わせてテストパターンおよび設定値に関する情報であるパラメータファイルを自動的に生成し、生成したパラメータファイルに基づいて、実行制御部２２０により情報処理システムのサーバ１０３、クライアント端末１０４を制御して性能試験を１回の入力動作だけで連続して実行させることができるようにする。
【選択図】　図２

Description

　本発明は、異なる複数の測定条件での情報処理システムの性能を連続して測定する性能測定装置および性能測定方法に関する。

　従来から、さまざまな条件での情報処理システム（情報処理装置）のハードウェアおよびソフトウェアの性能を比較して評価するために、当該情報処理システムの性能を測定する方法として、ベンチマークテスト（以下、「ベンチマーク」とも称す。）があった。ベンチマークでは、測定対象である情報処理システムの測定条件を１つのベンチマーク毎に逐一入力して定義し、定義された測定条件に基づいて情報処理システムに処理を実行させ性能を測定していた。

　例えば、情報処理システムとしてメールサーバの性能を測定する場合には、メールサーバが有するＣＰＵ数、メールサーバを使用するユーザ数、および送受信される電子メールのデータサイズ等を測定条件として定義していた。そして、定義された測定条件に従って、ユーザ数と同数のクライアント端末およびオペレータをユーザ数と同数だけ用意してオペレータの手作業によりメールサーバへのアクセスを行ったり、定義された測定条件を仮想的なプロセスとしてデータ（プログラム）化してクライアント端末に実行させたりして、メールサーバの性能を測定していた。

　また、ある１つの測定条件での情報処理システムの性能を測定した後、異なる測定条件での情報処理システムの性能を測定しようとする場合には、オペレータが新たな測定条件を入力して再定義し、再定義された測定条件に基づいて情報処理システムに処理を実行させ性能を測定していた。すなわち、オペレータによる測定条件の入力作業およびベンチマークの実行を繰り返し行うことにより、異なる複数の測定条件での情報処理システムの性能を測定していた。このようにして、異なる複数の測定条件での情報処理システムの性能を測定し、測定結果を比較して評価することにより使用条件に最も適合するメールサーバの仕様を決定したりしていた。

　しかしながら、上述した従来のベンチマークの実行に関しては、以下のような問題点があった。
（第１の問題点）
　測定条件を定義するオペレータは、ベンチマークを実行しようとする度に測定条件を毎回定義しなければならず、新たな測定条件の入力作業や修正作業を行わなければならなかった。

　したがって、異なる複数の測定条件でのベンチマークをそれぞれ実行しようとする場合であっても、自動的にベンチマークを連続して実行することはできなかった。すなわち、オペレータは、１つの測定条件でのベンチマークの終了を確認した後、新たな１つの測定条件を入力し再定義するための入力作業および修正作業を行わねばならず、性能測定を実行する効率が非常に悪いという問題があった。

　さらに、例えば、情報処理システムが有するＣＰＵ数やメモリサイズ等の測定条件を変更してベンチマークをそれぞれ実行する場合には、従来は、測定条件に合わせてＣＰＵやメモリ等を挿抜しなければならなかった。したがって、ＣＰＵ数やメモリサイズ等を変更する場合においても、オペレータは１つの測定条件でのベンチマークの終了を確認した後、新たな測定条件を定義するためにＣＰＵやメモリ等の挿抜作業を行わねばならなかった。

　また、ベンチマークの種類や測定条件によっては、処理（ベンチマークの実行）が何時間もかかることがあり、例えば夜中にベンチマークの実行結果が得られる（ベンチマークが終了する）こともある。そのような場合、オペレータが不在であることが多いため、翌朝オペレータが操作するまでは次の測定条件の入力が行われず、無駄な時間を費やしてしまうという問題があった。

（第２の問題点）
　測定条件を定義する際、測定対象である情報処理システム（情報処理システムのアプリケーション）毎に異なる測定条件の定義が行われていた。例えば、情報処理システムとしてメールサーバの性能を測定する場合には、送受信される電子メールのデータサイズや、アクセスするユーザ数、およびユーザのアクセス頻度等の測定条件を定義していた。また、ウェブサーバの性能を測定する場合には、同時アクセス数、ユーザに提供する１つのコンテンツのデータサイズや、アプレットおよびサーブレットの有無等の測定条件を定義していた。

　このように測定対象である情報処理システム毎に定義する測定条件が異なるために、オペレータが測定条件を入力する際のユーザインタフェースも測定対象の情報処理システム毎に異なる固有のユーザインタフェースを有していた。したがって、同一のオペレータが、異なった様々な情報処理システムに対してベンチマークを実行しようとする場合には、情報処理システム毎に異なるユーザインタフェースを使用して測定条件の定義を行わねばならず、作業が煩雑であるとともに、利便性に欠けるという問題があった。

（第３の問題点）
　上記第１の問題点にて述べたように、異なる複数の条件でのベンチマークを実行するには、条件の一部分のみを変更した測定条件であっても、測定条件の各項目に対する入力作業を繰り返し行わねばならず、作業効率が非常に悪いとともに、オペレータによる測定条件の入力間違い等を引き起こしてしまうことがあった。変更された測定条件の異なる部分のみを再入力するようにしたとしても、測定条件の組み合わせが多くなると、再入力すべき測定条件を直し忘れたり、ある測定条件の入力を忘れてしまったりすることがあった。

　したがって、異なる複数の条件でのベンチマークを実行する場合には、測定条件の入力間違い等が存在しないように、入力すべき測定条件と入力された測定条件とが同じであるか否かの確認作業に多大な時間および労力を要してしまうという問題があった。さらに、当該確認作業にて、測定条件の入力間違い等が発見できなかった場合には、所望の測定条件でのベンチマークが行えないという問題があった。

　本発明は、このような問題を解決するためになされたものであり、異なる複数の測定条件を同時に入力できるようにするとともに、異なる複数の測定条件での情報処理システムの性能試験を自動的に連続して実行できるようにすることを目的とする。

　本発明の性能測定装置は、入力された測定条件に基づいて、所定のサービスを提供する情報処理システムの性能を測定する性能測定装置であって、上記測定条件に係る情報を入力するための条件入力画面を表示する表示手段と、上記表示手段により表示された上記条件入力画面に従って、上記測定条件に係る情報を入力する入力手段と、上記入力手段で入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、上記測定条件の互いに異なる項目の設定値を任意に組み合わせて上記性能試験データを生成する試験データ生成手段と、上記試験データ生成手段により生成された性能試験データに基づいて、上記情報処理システムの性能試験を実行する試験実行制御手段とを備え、上記条件入力画面は、少なくとも１つの情報処理装置からなり上記所定のサービスを提供する第１の情報処理装置群のハードウェアに関する入力部分と、少なくとも１つの情報処理装置からなり上記所定のサービスの提供を受ける第２の情報処理装置群のハードウェアに関する入力部分と、上記所定のサービスに関する入力部分とに分割されるとともに、上記所定のサービスに関する入力部分は、サービスの内容に応じて入力項目が設定され、且つ上記測定条件の同じ項目に複数の設定値が入力可能であることを特徴とする。

　本発明の性能測定装置の他の特徴とするところは、入力された測定条件に基づいて、所定のサービスを提供する情報処理システムの性能を測定する性能測定装置であって、上記測定条件を入力する為の少なくともサービス提供装置のハードウェア条件、サービスを受ける装置のハードウェア条件、サービスのトランザクション条件およびワークロード条件の領域に分割して構成され、且つ上記サービスのトランザクション条件とワークロード条件の項目はサービスに応じて条件入力画面を表示する表示手段と、上記表示手段を介して入力された測定条件を格納する測定条件格納手段と、上記測定条件格納手段に格納された測定条件に基づいて上記情報処理システムの性能試験を実行する制御手段とを備え、上記条件入力画面で入力される測定条件の同じ項目に複数の設定値が入力されたときには、制御手段は、測定条件の組み合わせを生成して測定条件格納手段に格納し、順次１組の測定条件を呼び出して性能試験を実行することを特徴とする。

　本発明の性能測定装置のその他の特徴とするところは、入力された測定条件に基づいて、所定のサービスを提供する情報処理装置の性能を測定する性能測定装置であって、上記測定条件に係る情報を入力するための条件入力画面を表示する表示手段と、上記表示手段により表示された上記条件入力画面に従って、上記測定条件に係る情報を入力する入力手段と、上記入力手段で入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、上記測定条件の互いに異なる項目の設定値を任意に組み合わせて上記性能試験データを生成する試験データ生成手段と、上記試験データ生成手段により生成された性能試験データに基づいて、上記情報処理装置の性能試験を実行する試験実行制御手段とを備え、上記条件入力画面は、上記所定のサービスを提供する第１の情報処理機能のハードウェアに関する入力部分と、上記所定のサービスの提供を受ける第２の情報処理機能のハードウェアに関する入力部分と、上記所定のサービスに関する入力部分とに分割されるとともに、上記所定のサービスに関する入力部分は、サービスの内容に応じて入力項目が設定され、且つ上記測定条件の同じ項目に複数の設定値が入力可能であることを特徴とする。

　本発明の性能測定方法は、入力された測定条件に基づいて、所定のサービスを提供する情報処理システムの性能を測定する性能測定方法であって、上記入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、条件入力画面を介して入力された上記測定条件の互いに異なる項目の設定値を任意に組み合わせて性能試験データを生成する試験データ生成ステップと、上記試験データ生成ステップにて生成した上記性能試験データに基づいて、上記情報処理システムの性能試験を実行する試験実行制御ステップとを有し、上記条件入力画面は、少なくとも１つの情報処理装置からなり上記所定のサービスを提供する第１の情報処理装置群のハードウェアに関する入力部分と、少なくとも１つの情報処理装置からなり上記所定のサービスの提供を受ける第２の情報処理装置群のハードウェアに関する入力部分と、上記所定のサービスに関する入力部分とに分割して、上記条件入力画面を上記所定のサービスに関わらず共通の形式にするとともに、上記所定のサービスに関する入力部分は、サービスの内容に応じて入力項目を設定したうえで上記測定条件の同じ項目に複数の設定値を入力可能に条件入力画面に表示したことを特徴とする。

　本発明の性能測定方法の他の特徴とするところは、入力された測定条件に基づいて、所定のサービスを提供する情報処理システムの性能を測定する性能測定方法であって、上記測定条件に係る情報を入力するための条件入力画面を表示する表示ステップと、上記表示ステップにて表示された上記条件入力画面に従って、上記測定条件に係る情報を入力する入力ステップと、上記入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、上記入力ステップにて入力された上記測定条件の互いに異なる項目の設定値を任意に組み合わせて上記性能試験データを生成する試験データ生成ステップと、上記試験データ生成ステップにて生成された性能試験データに基づいて、上記情報処理システムの性能試験を実行する試験実行制御ステップとを有し、上記条件入力画面は、少なくとも１つの情報処理装置からなり上記所定のサービスを提供する第１の情報処理装置群のハードウェアに関する入力部分と、少なくとも１つの情報処理装置からなり上記所定のサービスの提供を受ける第２の情報処理装置群のハードウェアに関する入力部分と、上記所定のサービスに関する入力部分とに分割されるとともに、上記所定のサービスに関する入力部分は、サービスの内容に応じて入力項目が設定され、且つ上記測定条件の同じ項目に複数の設定値が入力可能に条件入力画面に表示することを特徴とする。

　本発明の性能測定方法のその他の特徴とするところは、入力された測定条件に基づいて、所定のサービスを提供する情報処理装置の性能を測定する性能測定方法であって、上記入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、条件入力画面を介して入力された上記測定条件の互いに異なる項目の設定値を任意に組み合わせて性能試験データを生成する試験データ生成ステップと、上記試験データ生成ステップにて生成した上記性能試験データに基づいて、上記情報処理装置の性能試験を実行する試験実行制御ステップとを有し、上記条件入力画面は、上記所定のサービスを提供する第１の情報処理機能のハードウェアに関する入力部分と、上記所定のサービスの提供を受ける第２の情報処理機能のハードウェアに関する入力部分と、上記所定のサービスに関する入力部分とに分割して、上記条件入力画面を上記所定のサービスに関わらず共通の形式にするとともに、上記所定のサービスに関する入力部分は、サービスの内容に応じて入力項目が設定され、且つ上記測定条件の同じ項目に複数の設定値を入力可能に条件入力画面に表示したことを特徴とする。

　本発明の性能測定方法のその他の特徴とするところは、入力された測定条件に基づいて、所定のサービスを提供する情報処理装置の性能を測定する性能測定方法であって、上記測定条件に係る情報を入力するための条件入力画面を表示する表示ステップと、上記表示ステップにて表示された上記条件入力画面に従って、上記測定条件に係る情報を入力する入力ステップと、上記入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、上記入力ステップにて入力された上記測定条件の互いに異なる項目の設定値を任意に組み合わせて上記性能試験データを生成する試験データ生成ステップと、上記試験データ生成ステップにて生成された性能試験データに基づいて、上記情報処理装置の性能試験を実行する試験実行制御ステップとを有し、上記条件入力画面は、上記所定のサービスを提供する第１の情報処理機能のハードウェアに関する入力部分と、上記所定のサービスの提供を受ける第２の情報処理機能のハードウェアに関する入力部分と、上記所定のサービスに関する入力部分とに分割されるとともに、上記所定のサービスに関する入力部分は、サービスの内容に応じて入力項目が設定され、且つ上記測定条件の同じ項目に複数の設定値が入力可能に条件入力画面に表示することを特徴とする。

　本発明によれば、測定条件に係る情報を入力するための条件入力画面を、第１の情報処理装置群に関する部分と、第２の情報処理装置群に関する部分と、所定のサービスに関する部分とに分割して、所定のサービス内容に応じて入力項目が設定されるとともに、測定条件に複数の設定値を入力可能にして、入力された測定条件を基に互いに異なる項目の設定値を任意に組み合わせて自動的に生成した性能試験データに基づいて、情報処理システムに性能試験を実行させる。

　これにより、異なる複数の測定条件を同時に入力し、それを任意に組み合わせて自動的に複数の性能試験データが生成し、生成した複数の性能試験データに基づいて、情報処理システムに性能試験を実行させることができる。したがって、条件入力画面にて複数の設定値を同時に入力することにより、生成された複数の性能試験データが、情報処理システムに供給され異なる複数の測定条件でのベンチマークテストを自動的に連続して実行することができる。

　以下、本発明の一実施形態を図面に基づいて説明する。
　図１は、本発明の実施形態による性能測定装置を適用したベンチマークテスト制御装置を備えるベンチマークテストシステムの一構成例を示すブロック図である。なお、図１においては、クライアント・サーバ型システムの１つであり、電子メールの送受信を行うメールシステムの性能を測定するベンチマークテストシステムを一例として示している。

　図１において、１０１はベンチマークテスト制御装置（以下、「ベンチマーク制御装置」とも称す。）であり、条件入力画面、テストパターン選択画面および結果表示画面等を表示する。また、ベンチマーク制御装置１０１は、各パラメータの設定値をベンチマークのパラメータ群毎にグループ化した条件パターンの組み合わせであるテストパターン（測定条件）を生成したり、測定対象である情報処理システム１０２に実行するベンチマークの各パラメータの設定値を供給したりして、ベンチマークの実行を制御するものである。なお、ベンチマーク制御装置１０１の詳細については後述する。

　情報処理システム１０２は、メールサーバ１０３とクライアント端末１０４とにより構成される。
　メールサーバ１０３は、情報処理システム１０２にて電子メールを送受信したり、電子メールの管理を行ったりするものである。また、メールサーバ１０３は、ベンチマーク制御装置１０１からの指示に応じて、自らが有するＣＰＵの数、メモリサイズ等のハードウェア構成を変更したり、テストパターン（測定条件）が変わる毎にベンチマークでの測定結果（ＣＰＵ稼働率等のリソース情報）をベンチマーク制御装置１０１に供給したりする。

　クライアント端末１０４は、メールサーバ１０３に対してアクセスし電子メールの送受信を行う端末である。本実施形態においては、クライアント端末１０４は、ベンチマーク制御装置１０１から供給されるベンチマークの各パラメータの設定値に基づいて仮想プロセスを生成し、生成した仮想プロセスに従ってメールサーバ１０３に対してアクセスする。また、クライアント端末１０４は、テストパターン（測定条件）が変わる毎にベンチマークでの測定結果（アクセスに対するメールサーバ１０３の応答時間等）をベンチマーク制御装置１０１に供給したりする。

　ベンチマーク制御装置１０１と、メールサーバ１０３およびクライアント端末１０４は、個別の信号線を介して通信可能なようにそれぞれ接続されている。また、メールサーバ１０３とクライアント端末１０４とは、それぞれが備える図示しないネットワークインタフェースにより、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワーク１０５を介して互いに通信可能なように接続されている。

　なお、図１においては、ベンチマーク制御装置１０１と、メールサーバ１０３およびクライアント端末１０４とは、個別の信号線を介してそれぞれ接続するようにしているが、メールサーバ１０３およびクライアント端末１０４に対して通信可能なようにベンチマーク制御装置１０１をネットワーク１０５に接続するようにしても良い。

　また、図１では、２つのクライアント端末１０４を図示しているが、ベンチマークを実行し、その結果をベンチマーク制御装置１０１に供給できる処理能力さえあれば良く、クライアント端末１０４の数は任意である。

　図２は、本実施形態におけるベンチマーク制御装置１０１の構成例を示すブロック図である。なお、この図２において、図１に示したブロックと同一の機能を有するブロックには同一の符号を付し、重複する説明は省略する。

　図２において、ベンチマーク制御装置１０１は、ユーザインタフェース部２００、管理部２１０および実行制御部２２０により構成される。
　ユーザインタフェース部２００は、ユーザインタフェース生成部２０２を有するユーザインタフェース制御部２０１と、例えばディスプレイのような表示装置を備えた表示部２０３と、例えばキーボードやマウスのような入力装置を備えた入力部２０４とにより構成される。

　ユーザインタフェース制御部２０１は、入力部２０４から入力される情報（ベンチマークの測定条件値、テストパターンの選択（実行）／非選択（実行せず）等）を管理部２１０に供給する。また、ユーザインタフェース制御部２０１は、入力部２０４から入力された指示等に基づいて、データ（ファイル）を管理部２１０から読み出し、データ（ファイル）に応じたユーザインタフェースをユーザインタフェース生成部２０２にて生成して表示部２０３に供給する。

　表示部２０３は、ユーザインタフェース制御部２０１から供給される表示データに係る表示画面を表示するものであり、表示される表示画面には、条件入力画面、テストパターン選択画面、および結果表示画面等がある。

　ここで、上記条件入力画面は、オペレータがベンチマークのパラメータ（ＣＰＵ数、クライアント側のユーザ数、処理内容等の測定条件を入力する項目）を追加、削除したり、パラメータの設定値（測定条件値）を入力したりするための画面である。上記テストパターン選択画面は、入力されたベンチマークの条件パターン（パラメータの設定値）に基づいて作成した全テストパターンを表示し、実行するテストパターンの選択をオペレータに促すための画面である。また、上記結果表示画面は、実行したベンチマークでの性能の測定結果をオペレータ等に提示するための画面である。

　入力部２０４は、ベンチマークのパラメータおよび設定値を入力したり、全テストパターンの中から実行するテストパターンを選択したりして、ユーザインタフェース制御部２０１に供給する。

　管理部２１０は、ベンチマークのテストパターン、パラメータおよびその設定値、ベンチマークの測定結果等のデータを記憶したり、記憶したデータをユーザインタフェース部２００や実行制御部２２０に供給したりする。管理部２１０は、テストパターン生成部２１２およびパラメータファイル生成部２１３を有するテストパターン制御部２１１と、測定条件ファイル格納部２１４と結果記憶部２１５とにより構成される。

　テストパターン制御部２１１は、ユーザインタフェース部２００から供給されるベンチマークのパラメータおよび条件パターンに基づいて、ベンチマークの全テストパターンおよびパラメータファイルを生成する。また、テストパターン制御部２１１は、生成したテストパターンの中から実行するテストパターンの選択をオペレータに対して要求したり、実行するテストパターンに対応するパラメータファイルを実行制御部２２０に供給したりする。

　テストパターン生成部２１２は、入力部２０４より条件入力画面に従って入力され、ユーザインタフェース制御部２０１を介して供給されたベンチマークの条件パターンに応じて、ベンチマークの全テストパターンを生成する。すなわち、テストパターン生成部２１２は、互いに異なるパラメータ群の条件パターンの全ての組み合わせを自動的に生成する。

　パラメータファイル生成部２１３は、条件入力画面に従って入力部２０４より入力され、ユーザインタフェース制御部２０１を介して供給されたベンチマークの条件パターンに基づいて、全テストパターンのパラメータファイルを生成する。ここで、パラメータファイルとは、各パラメータ群のそれぞれ１つの条件パターンを組み合わせたベンチマークの測定条件（各パラメータの設定値）を示すものであり、１つのテストパターンに対して１つのパラメータファイルが存在する。

　例えば、ベンチマークのパラメータ群が４つあり、各パラメータ群にそれぞれ３通りの条件パターンが設定されている場合には、テストパターン生成部２１２は、８１通り（３×３×３×３）のテストパターンを生成する。このとき、パラメータファイル生成部２１３は、４つのパラメータ群からそれぞれ１つの条件パターンを選択して任意に組み合わせることにより、８１通りのテストパターンにそれぞれ対応する８１個のパラメータファイルを生成する。

　上述のようにしてそれぞれ生成されたテストパターンおよびパラメータファイルは、実行制御部２２０に適宜供給されるとともに、測定条件ファイル格納部２１４に格納して保存される。測定条件ファイル格納部２１４に保存されたテストパターンおよびパラメータファイルは、要求に応じて測定条件ファイル格納部２１４から読み出してユーザインタフェース部２００に供給することができ、次回以降のベンチマークにおけるパラメータおよびその設定値の入力に使用することができる。

　結果記憶部２１５は、１つのテストパターンのベンチマークが終了する毎に、実行制御部２２０内の後述する結果収集部２２５によりメールサーバ１０３およびクライアント端末１０４から収集されたベンチマークの実行結果（ＣＰＵ稼働率、処理応答時間等）を記憶する。

　実行制御部２２０は、サーバ制御部２２１とクライアント制御部２２２と結果収集部２２５とにより構成され、情報処理システム１０２におけるベンチマークの実行を制御する。
　サーバ制御部２２１は、管理部２１０内のテストパターン制御部２１１から実行するテストパターンのパラメータファイルが供給され、ベンチマークを実行する際、供給されたパラメータファイルに基づいて、ハードウェア構成や初期状態設定等をメールサーバ１０３に指示する。

　クライアント制御部２２２は、ベンチマークを実行する際にクライアント端末１０４の制御を行うものであり、実行制御データ出力部２２３およびプロセス制御部２２４を有する。

　実行制御データ出力部２２３は、テストパターン制御部２１１から供給された実行するテストパターンのパラメータファイルを実行制御データとしてクライアント端末１０４に供給する。これにより、クライアント端末１０４は、実行制御データとして供給されたパラメータファイルに基づいて、仮想プロセスを生成する。なお、実行制御データ出力部２２３が、供給されたパラメータファイルからクライアント端末１０４にて実行させる仮想プロセスを生成し、生成した仮想プロセスを実行させるためのデータを実行制御データとしてクライアント端末１０４に供給するようにしても良い。

　プロセス制御部２２４は、実行するテストパターンのパラメータファイルに基づいた仮想プロセスのクライアント端末１０４での実行を制御する。
　結果収集部２２５は、１つのテストパターンのベンチマークが終了する毎に、メールサーバ１０３およびクライアント端末１０４からベンチマークの実行結果（ＣＰＵ稼働率、処理応答時間等）を収集し、管理部２１０内の結果記憶部２１５に供給し記憶させる。

　次に、動作について説明する。
　図３は、図１に示すベンチマークテストシステムの処理動作を示すフローチャートである。

　まず、処理動作を開始すると、ステップＳ３０１にて、ユーザインタフェース制御部２０１は、アプリケーション選択画面（テスト選択画面）を表示部２０３に表示し、情報処理システム１０２にて性能測定の対象とするアプリケーションの選択を要求する。ここで、アプリケーション選択画面では、選択可能なアプリケーション名が、例えばリストボックス等のＧＵＩ（グラフィックユーザインタフェース）により一覧表示される。

　オペレータは、一覧表示されたアプリケーション名の中から入力部２０４を用いてアプリケーションを選択する。例えば、情報処理システム１０２にて、測定対象のアプリケーションが電子メールに関わるものであれば、アプリケーションとして"メール"を選択し、同様に、測定対象のアプリケーションがウェブに関わるものであれば"ウェブ"を選択し、データベースに関わるものであれば、"データベース"を選択する。

　次に、ステップＳ３０２にて、ユーザインタフェース生成部２０２は、ステップＳ３０１において選択されたアプリケーションに応じて、インタフェースである条件入力画面の内容（入力項目等）を生成する。

　具体的には、ユーザインタフェース生成部２０２は、条件入力画面を介して設定値の入力を要求するベンチマークのパラメータ（項目）を、サーバに依存するパラメータ（サーバ条件のパラメータ群）と、クライアントに依存するパラメータ（クライアント条件のパラメータ群）と、アプリケーションに依存するパラメータとに区分する。さらに、アプリケーションに依存するパラメータは、情報処理システム１０２での処理内容に関するトランザクションのパラメータ（トランザクション条件のパラメータ群）と、負荷に関するワークロードのパラメータ（ワークロード条件のパラメータ群）とに区分する。

　ユーザインタフェース生成部２０２は、選択されたアプリケーションに応じてインタフェースを生成する際、サーバに依存するパラメータおよびクライアントに依存するパラメータは、選択されたアプリケーションにかかわらず共通のパラメータとする。また、アプリケーションに依存するパラメータ（トランザクションのパラメータ、ワークロードのパラメータ）については、選択されたアプリケーションに応じて適切なパラメータ（項目）に変更する。しかしながら、アプリケーションに依存するパラメータの項目名を変えるだけで、条件入力画面における表示形式や基本的な入力方法等は同じである。

　例えば、選択されたアプリケーションが"メール"である場合には、ユーザインタフェース生成部２０２は、トランザクションのパラメータを、メールの送信、メールの受信（ＰＯＰプロトコルによるもの）、メールの受信（ＩＭＡＰプロトコルによるもの）等にする。また、ユーザインタフェース生成部２０２は、ワークロードのパラメータを、１つの電子メールのデータサイズ、同一のユーザからのアクセス間隔（時間）、ベンチマークの実行開始時点で電子メールを保有しているユーザ数、およびその電子メール数等にする。

　ユーザインタフェース制御部２０１は、選択されたアプリケーションに応じたインタフェースである条件入力画面を表示部２０３に表示させる。
　ステップＳ３０３にて、オペレータは、表示部２０３に表示された条件入力画面に従い入力部２０４を用いて、ベンチマークのパラメータの追加、削除を行ったり、パラメータの設定値を入力したりする。そして、パラメータの追加、削除、およびパラメータの設定値の入力が完了すると、パラメータおよび入力された設定値が管理部２１０内のテストパターン制御部２１１に供給される。

　図４は、条件入力画面の一例を示す図である。
　なお、図４においては、ベンチマークのパラメータの設定値を入力した条件入力画面を示している。

　図４に示すように、条件入力画面４４０は、サーバ条件のパラメータ群について表示するサーバ条件入力ウィンドウ４００、クライアント条件のパラメータ群について表示するクライアント条件入力ウィンドウ４１０と、トランザクション条件のパラメータ群について表示するトランザクション条件入力ウィンドウ４２０と、ワークロード条件のパラメータ群について表示するワークロード条件入力ウィンドウ４３０との４つのウィンドウにより構成される。

　サーバ条件入力ウィンドウ４００には、設定ボタン４０１および読込ボタン４０２が設けられている。オペレータが、入力部２０４を操作して設定ボタン４０１を押下（クリック）することにより、パラメータ表示部４０３に表示されている入力したパラメータおよび設定値が設定される、すなわち管理部２１０内のテストパターン制御部２１１に供給される。

　また、入力部２０４を操作して読込ボタン４０２を押下（クリック）することにより、リポジトリである測定条件ファイル格納部２１４に格納されている過去に設定されたパラメータおよびその設定値が読み出されて、パラメータ表示部４０３に表示される。この読込ボタン４０２を使用して、過去に設定したパラメータおよびその設定値を再利用することで、入力部２０４を用いてのパラメータおよびその設定値の入力作業を軽減するとともに、確認作業を簡素化したとしても入力間違い等の発生を防止することができる。

　さらに、サーバ条件入力ウィンドウ４００には、行挿入ボタン４０４および行削除ボタン４０５が設けられており、パラメータを追加しようとする際には、行挿入ボタン４０４を押下（クリック）することにより、パラメータ表示部４０３に１行追加される。同様に、パラメータを削除しようとする際には、削除しようとする行を選択して行削除ボタン４０５を押下（クリック）することにより、パラメータ表示部４０３から選択した行が削除される。

　パラメータ表示部４０３は、サーバ条件のパラメータおよびその設定値を表形式で表示する部分である。パラメータ表示部４０３では、サーバ名「マシン１」、がパラメータとして入力され、ベンチマークで使用するサーバ「マシン１」のＣＰＵ数およびメモリサイズが設定値として入力されている。

　すなわち、サーバ条件については、サーバ名（パラメータ）「マシン１」がパラメータ群を形成し、サーバ名「マシン１」の設定値であるＣＰＵ数「４」、メモリサイズ「１ＧＢ」が条件パターンＳ１を形成し、設定値であるＣＰＵ数「４」、メモリサイズ「２ＧＢ」が条件パターンＳ２を形成する。ここで、本実施形態では、メールサーバ１０３は１つであるため、サーバ名「マシン１」の設定値のみ入力しているが、複数のサーバを有する場合には、サーバ名を複数入力し、サーバ毎に設定値を入力することができる。

　また、クライアント条件入力ウィンドウ４１０、トランザクション条件入力ウィンドウ４２０およびワークロード条件入力ウィンドウ４３０についても、サーバ条件ウィンドウ４００と同様に、設定ボタン、読込ボタン、行挿入ボタンおよび行削除ボタンがそれぞれ設けられている。なお、各ウィンドウ４１０、４２０、４３０にそれぞれ設けられている設定ボタン、読込ボタン、行挿入ボタンおよび行削除ボタンの機能は、サーバ条件ウィンドウ４００に設けられた各ボタンの機能と同じであるので、説明は省略する。

　また、クライアント条件入力ウィンドウ４１０、トランザクション条件入力ウィンドウ４２０およびワークロード条件入力ウィンドウ４３０のそれぞれのパラメータ表示部４１３、４２３、４３３も、サーバ条件ウィンドウ４００と同様にアプリケーションにかかわらず表形式でパラメータおよびその設定値が表示され、サーバ条件と同様に、パラメータ群および条件パターン（クライアント条件Ｃ１、Ｃ２、Ｃ３、トランザクション条件Ｔ１、Ｔ２、ワークロード条件Ｗ１、Ｗ２）がそれぞれ形成される。

　なお、トランザクション条件の条件パターンには、トランザクションの割合を入力するようになっているが、トランザクションの割合を百分率で入力しても良いし、比率で入力しても良い。トランザクションの割合を比率で入力したとしても、ベンチマークの実行においては、百分率に換算し処理が実行される。

　また、図４では、サーバ条件、クライアント条件、トランザクション条件およびワークロード条件の各入力ウィンドウ４００、４１０、４２０、４３０により４分割した条件入力画面４４０を示しているが、条件入力画面４４０は４分割した表示画面に限らず、パラメータの設定値を入力したいウィンドウだけを表示するようにしても良いし、１つのウィンドウを表示するようにしても良い。

　また、図４においては、図示していないが、行挿入ボタンおよび行削除ボタンと同様に、条件パターンを追加しようとする際に、パラメータ表示部に１列追加するための列挿入ボタン、および条件パターンを削除しようとする際に、パラメータ表示部から選択した列を削除する列削除ボタンを、各ウィンドウ４００、４１０、４２０、４３０に設けるようにしても良い。

　図３に戻り、ステップＳ３０３において、全ての条件入力ウィンドウの設定ボタンが押下され、全てのパラメータと設定値（条件パターン）がテストパターン制御部２１１に供給されると、ステップＳ３０４にて、テストパターン制御部２１１内のテストパターン生成部２１２は、互いに異なるパラメータ群の条件パターンによる全ての条件パターンの組み合わせをテストパターンとして自動的に生成する。また、テストパターン制御部２１１内のパラメータファイル生成部２１３は、テストパターン生成部２１２と同様にして、全テストパターンにそれぞれ対応するパラメータファイルを生成する。

　これにより、入力された条件パターンの全ての組み合わせを網羅したテストパターンと、テストパターンに対応したパラメータの設定値からなるパラメータファイルがそれぞれ生成される。ステップＳ３０５にて、テストパターン制御部２１１は、ステップＳ３０４においてそれぞれ生成したテストパターンおよびパラメータファイルを測定条件ファイル格納部２１４に格納する。

　次に、ステップＳ３０６にて、テストパターン制御部２１１は、ステップＳ３０４において生成された全テストパターンをリスト化し、ユーザインタフェース制御部２０１を介して、図５に示すようなテストパターン選択画面を表示部２０３に表示させる。オペレータは、テストパターン選択画面に表示された全テストパターンの中から、入力部２０４を用いて、ベンチマークを実行するテストパターンを選択するとともに、ベンチマークの実行開始をテストパターン制御部２１１に指示する。

　図５は、テストパターン選択画面の一例を示す図である。
　図５に示すように、テストパターン選択画面では、各パラメータ群にて設定された条件パターンの全ての組み合わせ、すなわち全テストパターンが、複数のパラメータ群を適当に組み合わせることで、Ｘ系列の条件パターンとＹ系列の条件パターンとに２次元化して表示される。図５においては、一例として図４におけるクライアント条件の条件パターン（３通り）をＸ系列の条件パターンとし、サーバ条件、トランザクション条件およびワークロード条件の条件パターンを組み合わせた条件パターン（１２通り）をＹ系列の条件パターンとして示している。

　なお、テストパターン選択画面として表示するために全テストパターンを２次元化する際の複数のパラメータ群の組み合わせは、テストパターン制御部２１１が任意のパラメータ群を自動的に組み合わせても良いし、オペレータが入力部２０４を用いて指示できるようにして、指示に従ってテストパターン制御部２１１がパラメータ群を組み合わせても良い。

　また、表形式で表示されたテストパターン選択画面において、Ｘ系列の条件パターンとＹ系列の条件パターンとの各交差部が１つのテストパターンに該当する。さらに、テストパターン選択画面にて、Ｘ系列の条件パターンとＹ系列の条件パターンとの各交差部に設けられたチェックボックスは、当該交差部にて示されるテストパターンのベンチマークを実行するか否かを選択するためのものである。チェックボックスにチェックがある（選択されている）場合は、当該テストパターンのベンチマークを実行することを示し、チェックがない（選択されていない）場合には、当該テストパターンのベンチマークを実行しないことを示している。

　なお、テストパターン選択画面の表示開始時には、全てのチェックボックスをチェックした状態でテストパターン選択画面を表示する。これにより、チェックボックスのチェック漏れによる実行すべきベンチマークの漏れを防止することができる。また、実行ボタン５０１はベンチマークの実行開始を指示するためのものである。

　図３に戻り、ステップＳ３０６において、テストパターン選択画面上におけるチェックボックスの選択／非選択操作が、入力部２０４を用いてオペレータにより行われ、実行ボタン５０１が押下されると、ステップＳ３０７に進み、ベンチマークの実行開始がテストパターン制御部２１１に指示される。テストパターン制御部２１１は、ベンチマークの実行開始の指示を受けると、情報処理システム１０２に対するベンチマーク実行処理を開始する。このベンチマーク実行処理については、後述する。

　ステップＳ３０７でのベンチマーク実行処理が完了すると、ステップＳ３０８にて、ユーザインタフェース制御部２０２は、ステップＳ３０７において実行したベンチマークの測定結果を結果記憶部２１５から読み出し、所定の形式で表示部２０３に表示させ、ベンチマークテストシステムの処理動作が終了する。

　図６は、図３に示すベンチマーク実行処理の動作を詳細に示すフローチャートである。
　ベンチマーク実行処理では、まず、ステップＳ６０１にて、テストパターン制御部２１１は、入力された条件パターンに基づいて作成された全テストパターンのリストから１つのテストパターンを選択する。ステップＳ６０１でのテストパターン制御部２１１によるテストパターンの選択は、全テストパターンのリストにおいて、以前に選択していないテストパターンを１つずつ選択していく。

　次に、ステップＳ６０２にて、テストパターン制御部２１１は、ステップＳ６０１において選択したテストパターンが実行選択されているか否か、すなわち図５に示したようなテストパターン選択画面にてチェックボックスがチェックされているか否かを判断する。上記判断の結果、テストパターン制御部２１１は、ステップＳ６０１において選択したテストパターンが実行選択されていると判断した場合には、ステップＳ６０３に進み、実行選択されていないと判断した場合には、ステップＳ６０１に戻る。

　ステップＳ６０１において選択したテストパターンが実行選択されていると判断した場合に進むステップＳ６０３にて、テストパターン制御部２１１は、当該テストパターンに対応するパラメータファイルを読み出す。さらに、テストパターン制御部２１１は、読み出したパラメータファイルをサーバ制御部２２１およびクライアント制御部２２２にそれぞれ供給する。

　次に、ステップＳ６０４にて、サーバ制御部２２１は、ステップＳ６０３において供給されたパラメータファイルに基づいて、サーバ構成の変更をメールサーバ１０３に指示する。そして、メールサーバ１０３は、サーバ構成の変更指示をサーバ制御部２２１から受けると、指示に従いサーバ構成の変更を行う。

　このステップＳ６０４において行われるサーバ構成の変更の指示では、メールサーバ１０３のソフトウェア構成（例えば、電子メールシステムであればベンチマーク開始時の電子メール保有数等）に限らず、ハードウェア構成（例えば、使用するＣＰＵ数、メモリサイズ等）の変更を指示することも可能である。ハードウェア構成の変更では、例えば所定の命令を出力することによりＣＰＵ数やメモリサイズの制御を行うソフトウェアによる切り換え指示によりサーバ構成を変更し、メールサーバ１０３でのＣＰＵやメモリの挿抜は行わない。

　ステップＳ６０５にて、クライアント制御部２２２内の実行制御データ出力部２２３は、ステップＳ６０３において供給されたパラメータファイルを実行制御データとしてクライアント端末１０４に出力する。そして、ステップＳ６０６にて、クライアント端末１０４は、供給されたパラメータファイルに基づいて、仮想プロセスを生成する。

　さらに、クライアント制御部２２２内のプロセス制御部２２４が、クライアント端末１０４に仮想プロセスの実行開始を指示することで、クライアント端末１０４は、パラメータファイルに基づいて生成した仮想プロセスを実行する。これにより、情報処理システム１０２において、１つのテストパターンのベンチマークが実行される。

　クライアント端末１０４による仮想プロセスの実行が終了する、すなわち１つのテストパターンのベンチマークが終了すると、ステップＳ６０７にて、結果収集部２２５は、メールサーバ１０３およびクライアント端末１０４からベンチマークの実行結果（測定結果）をそれぞれ収集し、結果記憶部２１５に記憶させる。

　次に、ステップＳ６０８にて、テストパターン制御部２１１は、全テストパターンのリストに選択可能なテストパターン、すなわちステップＳ６０１にて選択されていないテストパターンがあるか否か判断する。判断の結果、選択可能なテストパターンがある場合には、ステップＳ６０１に戻り、上述したステップＳ６０１〜Ｓ６０８の処理を繰り返し、選択可能なテストパターンがなくなるまで上述したステップＳ６０１〜Ｓ６０８の処理を繰り返し行う。すなわち、全テストパターンのリストに表示されるテストパターンを全て選択するまで、上述したステップＳ６０１〜Ｓ６０８の処理を繰り返し行い、実行選択されたテストパターンでのベンチマークを自動的に連続して実行する。

　一方、選択可能なテストパターンがない、すなわちステップＳ６０１における選択処理で、全テストパターンの選択が完了した場合には、ベンチマーク実行処理を終了する。

　次に、結果表示画面について説明する。
　図７（Ａ）は、ベンチマークを実行したテストパターン毎に測定結果を表示する結果表示画面の一例を示す図である。

　図７（Ａ）において、７０１はベンチマークを実行した１つのテストパターンの測定結果を示すリストであり、テストパターン名、ベンチマークでの応答時間（平均値、分散値、最大値）、ＣＰＵ稼働率等が表示される。また、リスト７０１には、例えばＣＰＵ稼働率をグラフ化して表示するためのグラフボタン７０２が設けられており、入力部２０４の操作によりグラフボタン７０２が押下されると、図７（Ｂ）に示すような当該ベンチマークでのＣＰＵ稼働率のグラフを表示する結果表示画面に切り替わる。なお、図７（Ｂ）において、横軸はベンチマークの実行開始時からの時間であり、縦軸はＣＰＵ稼働率である。

　また、本実施形態におけるベンチマークテストシステムでは、全テストパターンの中から選択したテストパターンでのベンチマークを自動的に連続して行うとともに、ベンチマークの測定結果を結果記憶部２１５に記憶する。したがって、あるパラメータの設定値のみを変化させた複数のテストパターンでのベンチマークを容易に実行し、ベンチマークの測定結果を得ることができる。

　そこで、図７（Ａ）に示す結果表示画面には、上述したリスト７０１に加えて、当該テストパターンの１つのパラメータの設定値の変化に対する測定結果（図７（Ａ）においては、ＣＰＵ稼働率および応答時間）の変化を表示するための表示ボタン７０４、７０６が設けられている。

　例えば、使用するＣＰＵ数の変化に対するＣＰＵ稼働率の変化を表示させたいときには、オペレータは、入力部２０４を用いて、変化対象のパラメータを指定するためのリストボックス７０３にて「ＣＰＵ数」を選択した後、表示ボタン７０４を押下する。このとき、リスト７０１に測定結果が表示されているテストパターンに対してパラメータの設定値がＣＰＵ数だけ異なるテストパターンがある場合には、ユーザインタフェース制御部２０１は、ＣＰＵ数だけ異なるテストパターンでのベンチマークの測定結果を結果記憶部２１５から読み出す。

　さらに、ユーザインタフェース制御部２０１は、ＣＰＵ数だけ異なるテストパターンでのベンチマークの測定結果を、図７（Ｃ）に示すように横軸を変化対象のパラメータとしてグラフ化し表示する。

　なお、１つのパラメータの設定値を変化させたときの応答時間の変化を表示させたい場合には、リストボックス７０５、表示ボタン７０６を用いて、ＣＰＵ稼働率の変化を表示させるときと同様の操作を行えば良いので、説明は省略する。

　以上、詳しく説明したように本実施形態によれば、オペレータがベンチマークのパラメータを追加、削除したり、パラメータの設定値を入力したりするための条件入力画面をサーバ条件、クライアント条件およびアプリケーションに関する条件を入力する部分に分割し、さらにアプリケーションに関する条件については、トランザクション条件およびワークロード条件を入力する部分に分割する。さらに、実際にパラメータおよびパラメータの設定値を入力するパラメータ表示部を表形式で表示し、パラメータ欄や設定値の入力欄を追加、削除できるようにして１つのパラメータに対して複数の設定値を同時に設定したりできるようにする。そして、サーバ条件とクライアント条件については、アプリケーションによらず共通にし、アプリケーションに関するトランザクション条件とワークロード条件については、アプリケーションに応じてパラメータの内容は変わるものの、表形式で表示するような基本的な形式はアプリケーションによらず同じにする。

　これにより、オペレータは、パラメータ毎に任意の数の設定値を同時に入力することができ、１回のベンチマーク毎にその都度設定値を入力する必要がなくなり、パラメータの設定値の入力を非常に容易に行うことができる。また、パラメータ欄や設定値の入力欄を追加、削除したりできることで、変化させたいパラメータのみを表示させ設定値を入力することができる。

　また、本実施形態では、テストパターン制御部２１１にて、条件入力画面を介して入力されたパラメータと設定値（条件パターン）に基づいて、互いに異なるパラメータ群の条件パターンによる全ての組み合わせであるテストパターンと対応するパラメータファイルを生成する。さらに、全てのテストパターンの中から、テストパターン選択画面を介して実行するテストパターンを選択させ、情報処理システム１０２でのベンチマークを実行する。

　これにより、多くのパラメータがあったとしても、パラメータ毎に設定値を入力するだけで、全ての設定値の組み合わせ（テストパターン）が生成され、テストパターン選択画面を介して表示されたテストパターンの中から選択するだけで、多くの入力作業を行うことなく実行したいベンチマークに対応するテストパターンを容易に選択し、実行することができる。また、テストパターン選択画面にて複数のテストパターンを選択しても、テストパターンに対応するパラメータファイルがテストパターン制御部２１１から実行制御部２２０を介して情報処理システム１０２に順次供給され、ベンチマークが実行される。

　さらに、ベンチマークの際にハードウェアの構成を変更しなければならなくても、本実施形態では、ハードウェアを所定の命令により制御するようにしたので、実際に挿抜等の作業を行う必要がない。したがって、オペレータは、テストパターン選択画面にてテストパターンを選択するだけで、情報処理システム１０２では、複数のテストパターンでのベンチマークが自動的に連続して行われるので、従来に比べて複数のベンチマークに要する労力を低減できるとともに、時間も非常に短縮することができる。

　また、本実施形態では、ベンチマーク制御装置にベンチマークの実行結果を記憶する結果記憶部２１５を設けたので、パラメータの設定値を変化させた複数の実行結果を蓄積しておくことができ、測定対象システムの性能評価やサイジングに必要なデータの分析を行うことができる。

　なお、上述した本実施形態においては、ベンチマークを実行し性能を測定する情報処理システム１０２として電子メールシステムを一例として示したが、本発明は電子メールシステムに限らず、例えば、データベースサーバを有するシステムやウェブサーバを有するシステムにも適用することができる。異なるシステムでは、条件入力画面のアプリケーションに関する条件の項目が異なるだけで、動作等は電子メールシステムの場合と同じである。

　また、本実施形態では、サーバ１０３と複数のクライアント端末１０４とからなる情報処理システム１０２をベンチマークによる測定対象の一例として示したが、サーバに対応する情報処理機能（サーバ機能）と、クライアント端末に対応する情報処理機能（クライアント機能）との双方を備えた１つの情報処理装置を測定対象としても良い。

　また、本実施形態では、ベンチマーク制御装置１０１は、入力部２０４および表示部２０３を備えた一つの装置により構成されているが、例えば、入力部２０４および表示部２０３として他の端末装置を用いて、ネットワーク等の通信手段を介してベンチマーク制御装置に接続しても、本実施形態と同じ効果を得ることができる。

　なお、以上に説明した本実施形態の性能測定装置は、コンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどで構成できるものであり、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現でき、上記プログラムは本発明の実施形態に含まれる。また、コンピュータが上記機能を果たすように動作させるプログラムを、例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものであり、上記プログラムを記録した記録媒体は本発明の実施形態に含まれる。上記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。

　また、コンピュータがプログラムを実行し処理を行うことにより、上述の実施形態の機能が実現されるプログラムプロダクトは、本発明の実施形態に含まれる。上記プログラムプロダクトとしては、上述の実施形態の機能を実現するプログラム自体、上記プログラムが読み込まれたコンピュータ、ネットワークを介して通信可能に接続されたコンピュータに上記プログラムを提供可能な送信装置、および当該送信装置を備えるネットワークシステム等がある。

　また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理の全てあるいは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
　また、本発明をネットワーク環境で利用するべく、全部あるいは一部のプログラムが他のコンピュータで実行されるようになっていても良い。

　例えば、本実施形態に示した性能測定装置は、図８に示すようなコンピュータ機能８００を有し、そのＣＰＵ８０１により本実施形態での動作が実施される。

　コンピュータ機能８００は、上記図８に示すように、ＣＰＵ８０１と、ＲＯＭ８０２と、ＲＡＭ８０３と、キーボード（ＫＢ）８０９のキーボードコントローラ（ＫＢＣ）８０５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）８１０のＣＲＴコントローラ（ＣＲＴＣ）８０６と、ハードディスク（ＨＤ）８１１およびフレキシブルディスク（ＦＤ）８１２のディスクコントローラ（ＤＫＣ）８０７と、ネットワークインタフェースカード（ＮＩＣ）８０８とが、システムバス８０４を介して互いに通信可能に接続された構成としている。

　ＣＰＵ８０１は、ＲＯＭ８０２あるいはＨＤ８１１に記憶されたソフトウェア（プログラム）、あるいはＦＤ８１２より供給されるソフトウェア（プログラム）を実行することで、システムバス８０４に接続された各構成部を総括的に制御する。
　すなわち、ＣＰＵ８０１は、上述したような動作を行うための処理プログラムを、ＲＯＭ８０２、あるいはＨＤ８１１、あるいはＦＤ８１２から読み出して実行することで、本実施形態での動作を実現するための制御を行う。

　ＲＡＭ８０３は、ＣＰＵ８０１の主メモリあるいはワークエリア等として機能する。
　ＫＢＣ８０５は、ＫＢ８０９や図示していないポインティングデバイス等からの指示入力を制御する。
　ＣＲＴＣ８０６は、ＣＲＴ８１０の表示を制御する。
　ＤＫＣ８０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、および本実施形態における上記処理プログラム等を記憶するＨＤ８１１およびＦＤ８１２とのアクセスを制御する。
　ＮＩＣ８０８はネットワーク８１３上の他の装置と双方向にデータをやりとりする。

本発明の実施形態による性能測定装置を適用したベンチマークテスト制御装置を備えるベンチマークテストシステムの一構成例を示すブロック図である。 本実施形態におけるベンチマークテスト制御装置１０１の構成例を示すブロック図である。 ベンチマークテストシステムの処理動作を示すフローチャートである。 条件入力画面の一例を示す図である。 テストパターン選択画面の一例を示す図である。 図３に示すベンチマーク実行処理の動作を詳細に示すフローチャートである。 結果表示画面の一例を示す図である。 性能測定装置を実現可能なコンピュータの一構成例を示すブロック図である。

符号の説明

　１０１　ベンチマークテスト制御装置
　１０２　情報処理システム（メールシステム）
　１０３　メールサーバ
　１０４　クライアント端末
　１０５　ネットワーク
　２００　ユーザインタフェース部
　２０１　ユーザインタフェース制御部
　２０２　ユーザインタフェース生成部
　２０３　表示部
　２０４　入力部
　２１０　管理部
　２１１　テストパターン制御部
　２１２　テストパターン生成部
　２１３　パラメータファイル生成部
　２１４　測定条件ファイル格納部
　２１５　結果記憶部
　２２０　実行制御部
　２２１　サーバ制御部
　２２２　クライアント制御部
　２２３　実行制御データ出力部
　２２４　プロセス制御部
　２２５　結果収集部

Claims (13)

1. 　入力された測定条件に基づいて、所定のサービスを提供する情報処理システムの性能を測定する性能測定装置であって、
   　上記測定条件に係る情報を入力するための条件入力画面を表示する表示手段と、
   　上記表示手段により表示された上記条件入力画面に従って、上記測定条件に係る情報を入力する入力手段と、
   　上記入力手段で入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、上記測定条件の互いに異なる項目の設定値を任意に組み合わせて上記性能試験データを生成する試験データ生成手段と、
   　上記試験データ生成手段により生成された性能試験データに基づいて、上記情報処理システムの性能試験を実行する試験実行制御手段とを備え、
   　上記条件入力画面は、少なくとも１つの情報処理装置からなり上記所定のサービスを提供する第１の情報処理装置群のハードウェアに関する入力部分と、少なくとも１つの情報処理装置からなり上記所定のサービスの提供を受ける第２の情報処理装置群のハードウェアに関する入力部分と、上記所定のサービスに関する入力部分とに分割されるとともに、上記所定のサービスに関する入力部分は、サービスの内容に応じて入力項目が設定され、且つ上記測定条件の同じ項目に複数の設定値が入力可能であることを特徴とする性能測定装置。
2. 　上記所定のサービスに関する入力部分には、サービスのトランザクションに関する条件入力部分と、サービスのワークロードに関する条件入力部分とが配置されていることを特徴とする請求項１記載の性能測定装置。
3. 　上記性能試験データに基づいて、上記情報処理システムを構成する情報処理装置のハードウェアおよびソフトウェアの構成が設定可能であり、上記試験実行制御手段は、上記情報処理装置のハードウェアの構成を設定する際、当該情報処理装置に所定の命令を供給してハードウェアの構成を設定することを特徴とする請求項１または２に記載の性能測定装置。
4. 　上記試験データ生成手段により上記測定条件の互いに異なる項目の設定値を任意に組み合わせて生成した上記性能試験データを格納する試験データ格納手段をさらに備え、
   　上記入力手段により上記測定条件に係る情報を入力する際に、上記入力手段からの指示に応じて、上記試験データ格納手段に格納した性能試験データに基づいた上記測定条件の設定値を提供することを特徴とする請求項１〜３の何れか１項に記載の性能測定装置。
5. 　上記生成された性能試験データに基づいて、上記試験実行制御手段により上記情報処理システムに実行させた性能試験の測定結果を記憶する結果記憶手段をさらに備えることを特徴とする請求項１〜４の何れか１項に記載の性能測定装置。
6. 　上記試験データ生成手段により、上記測定条件の互いに異なる項目の設定値を任意に組み合わせて生成された全ての性能試験データのなかから上記情報処理システムの性能試験を実行する性能試験データを選択する選択手段をさらに備え、
   　上記試験実行制御手段は、上記選択手段により選択された性能試験データに基づく上記情報処理システムの性能試験だけを実行することを特徴とする請求項１〜５の何れか１項に記載の性能測定装置。
7. 　上記情報処理システムは、サーバコンピュータとクライアント端末を有し、
   　上記第１の情報処理装置群はサーバコンピュータであり、
   　上記第２の情報処理装置群はクライアント端末であることを特徴とする請求項１〜６の何れか１項に記載の性能測定装置。
8. 　入力された測定条件に基づいて、所定のサービスを提供する情報処理システムの性能を測定する性能測定装置であって、
   　上記測定条件を入力する為の少なくともサービス提供装置のハードウェア条件、サービスを受ける装置のハードウェア条件、サービスのトランザクション条件およびワークロード条件の領域に分割して構成され、且つ上記サービスのトランザクション条件とワークロード条件の項目はサービスに応じて条件入力画面を表示する表示手段と、
   　上記表示手段を介して入力された測定条件を格納する測定条件格納手段と、
   　上記測定条件格納手段に格納された測定条件に基づいて上記情報処理システムの性能試験を実行する制御手段とを備え、
   　上記条件入力画面で入力される測定条件の同じ項目に複数の設定値が入力されたときには、制御手段は、測定条件の組み合わせを生成して測定条件格納手段に格納し、順次１組の測定条件を呼び出して性能試験を実行することを特徴とする性能測定装置。
9. 　入力された測定条件に基づいて、所定のサービスを提供する情報処理装置の性能を測定する性能測定装置であって、
   　上記測定条件に係る情報を入力するための条件入力画面を表示する表示手段と、
   　上記表示手段により表示された上記条件入力画面に従って、上記測定条件に係る情報を入力する入力手段と、
   　上記入力手段で入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、上記測定条件の互いに異なる項目の設定値を任意に組み合わせて上記性能試験データを生成する試験データ生成手段と、
   　上記試験データ生成手段により生成された性能試験データに基づいて、上記情報処理装置の性能試験を実行する試験実行制御手段とを備え、
   　上記条件入力画面は、上記所定のサービスを提供する第１の情報処理機能のハードウェアに関する入力部分と、上記所定のサービスの提供を受ける第２の情報処理機能のハードウェアに関する入力部分と、上記所定のサービスに関する入力部分とに分割されるとともに、上記所定のサービスに関する入力部分は、サービスの内容に応じて入力項目が設定され、且つ上記測定条件の同じ項目に複数の設定値が入力可能であることを特徴とする性能測定装置。
10. 　入力された測定条件に基づいて、所定のサービスを提供する情報処理システムの性能を測定する性能測定方法であって、
    　上記入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、条件入力画面を介して入力された上記測定条件の互いに異なる項目の設定値を任意に組み合わせて性能試験データを生成する試験データ生成ステップと、
    　上記試験データ生成ステップにて生成した上記性能試験データに基づいて、上記情報処理システムの性能試験を実行する試験実行制御ステップとを有し、
    　上記条件入力画面は、少なくとも１つの情報処理装置からなり上記所定のサービスを提供する第１の情報処理装置群のハードウェアに関する入力部分と、少なくとも１つの情報処理装置からなり上記所定のサービスの提供を受ける第２の情報処理装置群のハードウェアに関する入力部分と、上記所定のサービスに関する入力部分とに分割して、上記条件入力画面を上記所定のサービスに関わらず共通の形式にするとともに、上記所定のサービスに関する入力部分は、サービスの内容に応じて入力項目を設定したうえで上記測定条件の同じ項目に複数の設定値を入力可能に条件入力画面に表示したことを特徴とする性能測定方法。
11. 　入力された測定条件に基づいて、所定のサービスを提供する情報処理システムの性能を測定する性能測定方法であって、
    　上記測定条件に係る情報を入力するための条件入力画面を表示する表示ステップと、
    　上記表示ステップにて表示された上記条件入力画面に従って、上記測定条件に係る情報を入力する入力ステップと、
    　上記入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、上記入力ステップにて入力された上記測定条件の互いに異なる項目の設定値を任意に組み合わせて上記性能試験データを生成する試験データ生成ステップと、
    　上記試験データ生成ステップにて生成された性能試験データに基づいて、上記情報処理システムの性能試験を実行する試験実行制御ステップとを有し、
    　上記条件入力画面は、少なくとも１つの情報処理装置からなり上記所定のサービスを提供する第１の情報処理装置群のハードウェアに関する入力部分と、少なくとも１つの情報処理装置からなり上記所定のサービスの提供を受ける第２の情報処理装置群のハードウェアに関する入力部分と、上記所定のサービスに関する入力部分とに分割されるとともに、上記所定のサービスに関する入力部分は、サービスの内容に応じて入力項目が設定され、且つ上記測定条件の同じ項目に複数の設定値が入力可能に条件入力画面に表示することを特徴とする性能測定方法。
12. 　入力された測定条件に基づいて、所定のサービスを提供する情報処理装置の性能を測定する性能測定方法であって、
    　上記入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、条件入力画面を介して入力された上記測定条件の互いに異なる項目の設定値を任意に組み合わせて性能試験データを生成する試験データ生成ステップと、
    　上記試験データ生成ステップにて生成した上記性能試験データに基づいて、上記情報処理装置の性能試験を実行する試験実行制御ステップとを有し、
    　上記条件入力画面は、上記所定のサービスを提供する第１の情報処理機能のハードウェアに関する入力部分と、上記所定のサービスの提供を受ける第２の情報処理機能のハードウェアに関する入力部分と、上記所定のサービスに関する入力部分とに分割して、上記条件入力画面を上記所定のサービスに関わらず共通の形式にするとともに、上記所定のサービスに関する入力部分は、サービスの内容に応じて入力項目が設定され、且つ上記測定条件の同じ項目に複数の設定値を入力可能に条件入力画面に表示したことを特徴とする性能測定方法。
13. 　入力された測定条件に基づいて、所定のサービスを提供する情報処理装置の性能を測定する性能測定方法であって、
    　上記測定条件に係る情報を入力するための条件入力画面を表示する表示ステップと、
    　上記表示ステップにて表示された上記条件入力画面に従って、上記測定条件に係る情報を入力する入力ステップと、
    　上記入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、上記入力ステップにて入力された上記測定条件の互いに異なる項目の設定値を任意に組み合わせて上記性能試験データを生成する試験データ生成ステップと、
    　上記試験データ生成ステップにて生成された性能試験データに基づいて、上記情報処理装置の性能試験を実行する試験実行制御ステップとを有し、
    　上記条件入力画面は、上記所定のサービスを提供する第１の情報処理機能のハードウェアに関する入力部分と、上記所定のサービスの提供を受ける第２の情報処理機能のハードウェアに関する入力部分と、上記所定のサービスに関する入力部分とに分割されるとともに、上記所定のサービスに関する入力部分は、サービスの内容に応じて入力項目が設定され、且つ上記測定条件の同じ項目に複数の設定値が入力可能に条件入力画面に表示することを特徴とする性能測定方法。

Images