JP2003196125A - 性能評価情報管理装置、性能評価装置、性能評価情報管理方法、性能評価方法、記録媒体およびプログラム - Google Patents

Abstract

(57)【要約】 【課題】 さまざまな測定条件での性能測定試験を情報
処理システムで実行することにより得られた性能評価情
報を共通の記憶媒体に保存蓄積し、一元的に管理できる
ようにする。 【解決手段】 評価対象の情報処理システム２００に
て、さまざまな測定条件で実行したベンチマークの実行
結果を結果取得部３０１によりそれぞれ取得し、取得し
た実行結果からそれぞれ得られる性能評価情報と、当該
性能評価情報に対応する測定条件とを関連付けて結果Ｄ
Ｂ３０４に記憶するようにして、さまざまな測定条件
と、その測定条件でのベンチマークにより得られた性能
評価情報とを含む複数の性能評価データを結果ＤＢ３０
４により一元的に管理することができるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、性能評価情報管理
装置、性能評価装置、性能評価情報管理方法、性能評価
方法、記録媒体およびプログラムに関し、特に、ベンチ
マークテストを実行することにより得られる情報処理シ
ステムの性能評価情報を管理する性能評価情報管理装置
に用いて好適なものである。

【０００２】

【従来の技術】従来から、情報処理システム（１つの情
報処理装置により構成される場合も含む。）のハードウ
ェアおよびソフトウェアの性能を評価するために、情報
処理システムの性能を測定する方法として、ベンチマー
クテスト（以下、「ベンチマーク」とも称す。）と呼ば
れる性能測定試験があった。ベンチマークでは、複数の
パラメータからなる測定条件を入力して定義し、定義し
た測定条件に応じた処理を評価対象の情報処理システム
に実行させ性能を測定していた。そして、測定により得
られた性能評価情報（ベンチマーク結果データ）を用い
て、例えば、新しく構築した情報処理システムの性能を
評価したり、情報処理システムが所望の性能要件を満足
するか否かを判断したりして、情報処理システムの性能
を評価していた。

【０００３】例えば、情報処理システムとして所定のサ
ービスを提供するサーバの性能を評価する場合には、サ
ーバが有するＣＰＵ数、サーバを使用するユーザ数、ユ
ーザのアクセス頻度および処理内容等を測定条件として
定義していた。そして、定義された測定条件をデータ
（プログラム）化して仮想的なプロセスを生成し、生成
した仮想的なプロセスをクライアント端末に実行させた
りしてサーバの性能を測定していた。

【０００４】

【発明が解決しようとする課題】ここで、従来のベンチ
マークでは、ある測定条件のベンチマークを評価対象の
情報処理システムで実行した際、その結果として得られ
る性能評価情報を、評価対象の情報処理システム毎ある
いは実行したベンチマーク毎に個別に保存し、それぞれ
独立して管理していた。そのため、従来は、過去に実行
したベンチマークにより得られた性能評価情報を検索し
たり、比較したりすることは非常に困難であった。

【０００５】例えば、過去に実行したベンチマークによ
り得られた性能評価情報を参照して、ある測定条件での
情報処理システムの性能を評価しようとする。このと
き、過去に得られた性能評価情報を参照しようとする者
（性能の評価を行う者）は、同様の情報処理システムお
よび測定条件でベンチマークを実行した事例を、性能評
価の報告書等から自らの記憶を頼りに手作業で検索し抽
出する。

【０００６】しかしながら、ベンチマークを行うための
ツール毎に性能評価情報の内容（項目）および出力形式
が異なったり、記載者毎に性能評価の報告書の記載等も
異なったりしているとともに、必ずしも同様の情報処理
システムおよび測定条件でベンチマークを実行した事例
を抽出できるとも限らなかった。したがって、過去に実
行したベンチマークにより得られた性能評価情報を検索
したり、比較したりすることは煩雑であるとともに、性
能の評価を行う者の時間および労力を非常に浪費してし
まう。

【０００７】本発明は、上述したような問題に鑑みてな
されたものであり、さまざまな測定条件での性能測定試
験を情報処理システムで実行することにより得られた性
能評価情報を共通の記憶媒体に保存蓄積し、一元的に管
理できるようにすることを目的とする。

【０００８】

【課題を解決するための手段】本発明の性能評価情報管
理装置は、評価対象の情報処理システムにて、複数の測
定条件で実行した性能測定試験の実行結果をそれぞれ取
得する結果取得手段と、上記結果取得手段により取得し
た実行結果からそれぞれ得られる性能評価情報と、当該
性能評価情報に対応する上記測定条件とを関連付けて記
憶媒体に記憶する情報記憶手段とを備えることを特徴と
する。

【０００９】本発明の性能評価情報管理装置の他の特徴
とするところは、外部から入力された検索条件に応じ
て、記憶媒体に記憶された性能評価情報および測定条件
を検索する情報検索手段をさらに備えることを特徴とす
る。

【００１０】本発明の性能評価情報管理装置のその他の
特徴とするところは、結果取得手段により取得した実行
結果から性能評価情報を抽出する情報抽出手段をさらに
備え、情報記憶手段は、上記情報抽出手段によりそれぞ
れ抽出した性能評価情報と、当該性能評価情報に対応す
る測定条件とを関連付けて記憶媒体に記憶することを特
徴とする。

【００１１】本発明の性能評価情報管理装置のその他の
特徴とするところは、性能評価情報と測定条件とは、付
与された識別番号により関連付けられることを特徴とす
る。本発明の性能評価情報管理装置のその他の特徴とす
るところは、性能評価情報は、情報処理システムでの性
能測定試験における処理に関わる情報と、リソースの使
用状況に関わる情報とを少なくとも含むことを特徴とす
る。本発明の性能評価情報管理装置のその他の特徴とす
るところは、情報記憶手段は、性能評価情報と測定条件
とを所定の保存形式で記憶媒体に記憶することを特徴と
する。

【００１２】本発明の性能評価装置は、評価対象の情報
処理システムにて、複数の測定条件で実行した性能測定
試験の実行結果をそれぞれ取得する結果取得手段と、上
記結果取得手段により取得した実行結果からそれぞれ得
られる性能評価情報と、当該性能評価情報に対応する上
記測定条件とを関連付けて記憶媒体に記憶する情報記憶
手段と、上記記憶媒体に記憶された上記性能評価情報と
測定条件とに基づいて、推奨測定条件を決定し提供する
測定条件提供手段とを備えることを特徴とする。

【００１３】本発明の性能評価装置の他の特徴とすると
ころは、測定条件提供手段により提供される推奨測定条
件に応じた情報処理システムでの性能測定試験の実行を
制御する実行制御手段をさらに備えることを特徴とす
る。

【００１４】本発明の性能評価装置のその他の特徴とす
るところは、性能評価情報と測定条件とに基づいて、上
記測定条件の変化に対する上記性能評価情報に示される
性能の変化を解析する変化解析手段をさらに備え、測定
条件提供手段は、上記変化解析手段による解析結果に基
づいて、推奨測定条件を決定することを特徴とする。本
発明の性能評価装置のその他の特徴とするところは、変
化解析手段は、測定条件の変化に対する性能評価情報に
示される性能の変化の割合を算出し、測定条件提供手段
は、上記変化解析手段により算出した性能の変化の割合
に基づいて、推奨測定条件を決定することを特徴とす
る。

【００１５】本発明の性能評価装置のその他の特徴とす
るところは、外部から入力された検索条件に応じて、記
憶媒体に記憶された性能評価情報および測定条件を検索
する情報検索手段をさらに備えることを特徴とする。

【００１６】本発明の性能評価情報管理方法は、評価対
象の情報処理システムにて、複数の測定条件で実行した
性能測定試験の実行結果をそれぞれ取得し、上記取得し
た実行結果からそれぞれ得られる性能評価情報と、当該
性能評価情報に対応する上記測定条件とを関連付けて記
憶媒体に記憶することを特徴とする。本発明の性能評価
情報管理方法の他の特徴とするところは、外部から入力
された検索条件に応じて、記憶媒体に記憶された性能評
価情報および測定条件を検索可能であることを特徴とす
る。

【００１７】本発明の性能評価方法は、評価対象の情報
処理システムにて、複数の測定条件で実行した性能測定
試験の実行結果をそれぞれ取得し、上記取得した実行結
果からそれぞれ得られる性能評価情報と、当該性能評価
情報に対応する上記測定条件とを関連付けて記憶媒体に
記憶し、上記記憶媒体に記憶した上記性能評価情報と測
定条件とに基づいて、推奨測定条件を決定し提供するこ
とを特徴とする。本発明の性能評価方法の他の特徴とす
るところは、提供される推奨測定条件に応じた性能測定
試験を情報処理システムにて実行させることを特徴とす
る。

【００１８】本発明のプログラムは、評価対象の情報処
理システムにて、複数の測定条件で実行した性能測定試
験の実行結果をそれぞれ取得する結果取得手段と、上記
結果取得手段により取得した実行結果からそれぞれ得ら
れる性能評価情報と、当該性能評価情報に対応する上記
測定条件とを関連付けて記憶媒体に記憶する情報記憶手
段としてコンピュータを機能させることを特徴とする。

【００１９】本発明のプログラムの他の特徴とするとこ
ろは、評価対象の情報処理システムにて、複数の測定条
件で実行した性能測定試験の実行結果をそれぞれ取得す
る結果取得手段と、上記結果取得手段により取得した実
行結果からそれぞれ得られる性能評価情報と、当該性能
評価情報に対応する上記測定条件とを関連付けて記憶媒
体に記憶する情報記憶手段と、上記記憶媒体に記憶され
た上記性能評価情報と測定条件とに基づいて、推奨測定
条件を決定し提供する測定条件提供手段としてコンピュ
ータを機能させることを特徴とする。

【００２０】本発明のプログラムのその他の特徴とする
ところは、評価対象の情報処理システムにて、複数の測
定条件で実行した性能測定試験の実行結果をそれぞれ取
得する結果取得ステップと、上記結果取得ステップにて
取得した実行結果からそれぞれ得られる性能評価情報
と、当該性能評価情報に対応する上記測定条件とを関連
付けて記憶媒体に記憶する情報記憶ステップと有する性
能評価情報管理方法の処理手順をコンピュータに実行さ
せることを特徴とする。

【００２１】本発明のプログラムのその他の特徴とする
ところは、評価対象の情報処理システムにて、複数の測
定条件で実行した性能測定試験の実行結果をそれぞれ取
得する結果取得ステップと、上記結果取得ステップにて
取得した実行結果からそれぞれ得られる性能評価情報
と、当該性能評価情報に対応する上記測定条件とを関連
付けて記憶媒体に記憶する情報記憶ステップと、上記記
憶媒体に記憶した上記性能評価情報と測定条件とに基づ
いて、推奨測定条件を決定し提供する測定条件提供ステ
ップとを有する性能評価方法の処理手順をコンピュータ
に実行させることを特徴とする。本発明のコンピュータ
読み取り可能な記録媒体は、上述したプログラムを記録
したことを特徴とする。

【００２２】

【発明の実施の形態】以下、本発明の一実施形態を図面
に基づいて説明する。 （第１の実施形態）図１は、本発明の第１の実施形態に
よる性能評価情報管理装置を適用した性能評価システム
の一構成例を示すブロック図である。

【００２３】図１において、１００は実行制御部であ
り、測定条件入力部１０１、実行制御データ生成部１０
２および実行制御データ出力部１０３により構成され
る。測定条件入力部１０１は、後述する測定（評価）対
象の情報処理システム２００において実行するベンチマ
ークの測定条件（パラメータおよびその設定値等）を入
力するためのものである。実行制御データ生成部１０２
は、測定条件入力部１０１に入力された測定条件に基づ
いて、情報処理システム２００においてベンチマークを
実行するための実行制御データを生成する。実行制御デ
ータ出力部１０３は、実行制御データ生成部１０２が生
成した実行制御データを情報処理システム２００に出力
する。

【００２４】情報処理システム２００は、測定（評価）
対象の情報処理システムであり、ベンチマークの測定条
件に応じた処理を実行する。情報処理システム２００
は、サーバ２０１とクライアント端末２０２とにより構
成される。

【００２５】サーバ２０１は、クライアント端末２０２
に所定のサービスを提供するものである。また、サーバ
２０１は、実行制御部１００から供給される実行制御デ
ータに応じて、自らが有するＣＰＵの数、メモリサイズ
等のハードウェア構成を変更したり、１つの測定条件で
のベンチマークが終了すると結果データ管理部３００に
実行結果（ＣＰＵ稼働率等のリソース情報）を出力した
りする。

【００２６】クライアント端末２０２は、サーバ２０１
が提供するサービスを受ける端末である。また、クライ
アント端末２０２は、実行制御部１００から供給される
実行制御データに基づいて仮想プロセスを生成し、生成
した仮想プロセスに従って、サーバ２０１に対するアク
セス等の処理を実行したり、１つの測定条件でのベンチ
マークが終了すると結果データ管理部３００に実行結果
（サーバ２０１の応答時間等）を出力したりする。な
お、仮想プロセスの生成は、クライアント端末２０２で
なく、実行制御部１００内の実行制御データ生成部１０
２で行っても良く、その場合には、仮想プロセスを実行
するためのデータが実行制御部１００から実行制御デー
タとして供給される。

【００２７】ここで、サーバ２０１とクライアント端末
２０２とは、それぞれが備える図示しないネットワーク
インタフェースにより、ＬＡＮ（Local Area Network）
やＷＡＮ（Wide Area Network）等のネットワーク２０
３を介して互いに通信可能なように接続されている。な
お、図１においては、１つのサーバ２０１と２つのクラ
イアント端末２０２とで構成される情報処理システム２
００を一例として示しているが、サーバおよびクライア
ント端末の数はそれぞれ任意である。

【００２８】結果データ管理部３００は、結果取得部３
０１、結果記憶部３０２、特徴量抽出部３０３、結果デ
ータベース（以下、「結果ＤＢ」と称す。）３０４、検
索実行部３０５、検索条件入力部３０６および検索結果
出力部３０７により構成される。

【００２９】結果取得部３０１は、１つの測定条件での
ベンチマークが情報処理システム２００で終了する毎
に、サーバ２０１およびクライアント端末２０２からベ
ンチマークの実行結果（ＣＰＵ稼働率、処理応答時間
等）を取得する。また、結果取得部３０１は、後述する
特徴量抽出部３０３にて抽出される性能評価情報として
の特徴量に対応する値を、取得したベンチマークの実行
結果から直ちに得られる場合（取得したベンチマークの
実行結果に特徴量が情報として含まれている場合）に
は、特徴量を結果ＤＢ３０４に出力する。上記結果取得
部３０１は、本発明の結果取得手段を構成する。

【００３０】結果記憶部３０２は、結果取得部３０１に
より取得されたベンチマークの実行結果を記憶するため
のものである。なお、結果記憶部３０２に記憶されるベ
ンチマークの実行結果は、ベンチマークの実行時に１回
の処理（例えば、サーバ２０１に対するアクセス等）毎
に逐次得られるベンチマークの詳細な実行結果である。
特徴量抽出部３０３は、結果記憶部３０２に記憶された
ベンチマークの詳細な実行結果から性能評価情報として
の特徴量を抽出（算出）し、結果ＤＢ３０４に出力す
る。上記特徴量抽出部３０３は、本発明の情報抽出手段
を構成する。

【００３１】結果ＤＢ３０４は、ベンチマークの測定条
件と、実行結果から得られた特徴量とを自らが備えるハ
ードディスク等の記憶媒体に記憶蓄積する。具体的に
は、結果ＤＢ３０４は、測定条件入力部１０１から供給
されるベンチマークの測定条件と、結果取得部３０１あ
るいは特徴量抽出部３０３から供給される、当該測定条
件でのベンチマークの実行結果から得られた特徴量と
を、図２に示すように１つのＩＤ（識別番号）により結
び付けて（関連付けて）記憶し蓄積する。上記結果ＤＢ
３０４は、本発明の情報記憶手段を構成する。

【００３２】図２は、結果ＤＢ３０４におけるデータ構
造の一例を示す図である。図２において、４０１はベン
チマーク条件データであり、ベンチマークの測定条件
（ＣＰＵ数、ユーザ数、アクセス頻度等）に係るデータ
である。４０２、４０３は、それぞれベンチマーク結果
データ、ベンチマークリソース結果データであり、ベン
チマークの実行結果から得られた特徴量に係るデータで
ある。ベンチマーク結果データ４０２は、ベンチマーク
の実行結果から得られた特徴量の応答時間やスループッ
ト（単位時間当たりの処理量）等の実際の処理に関わる
結果データである。また、ベンチマークリソース結果４
０３は、ベンチマークの実行結果から得られた特徴量の
ＣＰＵ稼働率等のベンチマーク実行時におけるリソース
（ハードウェア資源）の使用状況に関わる結果データで
ある。

【００３３】図２に示すように、ベンチマークの測定条
件およびベンチマークの実行結果から得られた特徴量
は、１つの測定条件でのベンチマーク毎に、１組のベン
チマーク条件データ（条件１、条件２、条件３、…）、
ベンチマーク結果データ（結果１、結果２、結果３、
…）およびベンチマークリソース結果データ（リソース
結果１、リソース結果２、リソース結果３、…）に分け
られる。１組のベンチマーク条件データ、ベンチマーク
結果データおよびベンチマークリソース結果データは、
１つの測定条件でのベンチマーク毎に同一のＩＤが付与
され管理される。

【００３４】なお、以下では、１つのＩＤにより結び付
けられたベンチマークの測定条件と、当該測定条件での
実行結果から得られた特徴量との組を性能評価データと
称す。

【００３５】図１に戻り、検索実行部３０５は、検索条
件入力部３０６を介して外部から入力された検索条件に
基づいて、検索条件を満足する性能評価データを結果Ｄ
Ｂ３０４から検索し、検索結果出力部３０７を介して検
索結果を外部に出力する。上記検索実行部３０５は、本
発明の情報検索手段を構成する。

【００３６】なお、上記図１においては、結果データ管
理部３００内に、ベンチマークの詳細な実行結果を記憶
する結果記憶部３０２を設けているが、結果データ管理
部３００内に結果記憶部３０２を設けずに、ベンチマー
クの詳細な実行結果を外部の記憶媒体（ハードディス
ク、磁気テープ等）に個別に保存し、当該外部の記憶媒
体から特徴量抽出部３０３にベンチマークの詳細な実行
結果を供給するようにしても良い。

【００３７】また、特徴量抽出部３０３にて抽出される
特徴量に対応する値が、結果取得部３０１により取得す
るベンチマークの実行結果に常に含まれている場合に
は、結果データ管理部３００は、結果記憶部３０２およ
び特徴量抽出部３０３を備えてなくとも良い。

【００３８】次に、上記図１に示した性能評価システム
の動作について説明する。まず、ベンチマークを実行し
て、測定条件と、実行結果から得られる性能評価情報と
しての特徴量とを結び付けて結果ＤＢ３０４に記憶し蓄
積する性能評価データ保存動作について説明し、次に結
果ＤＢ３０４に記憶し蓄積した性能評価データを検索す
る性能評価データ検索動作について説明する。

【００３９】＜性能評価データ保存動作＞まず、ベンチ
マークのオペレータは、図示しない入力装置等を用い
て、実行するベンチマークの測定条件（パラメータおよ
びその設定値等）を入力する。例えば、「ユーザ数」、
「アクセス頻度」、および「ＣＰＵ数」等の測定条件の
パラメータに対して、オペレータは入力装置等を用いて
「ユーザ数」＝“１００”、「アクセス頻度」＝
“２”、および「ＣＰＵ数」＝“２”等と入力する。入
力装置等を用いてオペレータにより入力された測定条件
は、測定条件入力部１０１に供給される。

【００４０】測定条件入力部１０１は、供給された測定
条件を実行制御データ生成部１０２および結果ＤＢ３０
４に供給する。測定条件が供給された実行制御データ生
成部１０２は、供給された測定条件に基づいて、情報処
理システム２００を構成するサーバ２０１およびクライ
アント端末２０２に対してそれぞれ供給するベンチマー
クの実行制御データを生成する。

【００４１】例えば、供給された測定条件が「ＣＰＵ
数」＝“２”である場合には、実行制御データ生成部１
０２は、ベンチマークの実行処理に使用するＣＰＵ数を
“２”にするようにハードウェア構成の変更を指示する
サーバ２０１の実行制御データを生成する。また、例え
ば、供給された測定条件が「ユーザ数」＝“１００”お
よび「アクセス頻度」＝“２”である場合には、実行制
御データ生成部１０２は、サーバ２０１に対する全ての
クライアント端末２０２からの全処理要求により、ユー
ザ数が“１００”およびアクセス頻度が“２”に相当す
る処理をサーバ２０１に実行させるように制御する各ク
ライアント端末２０２の実行制御データを生成する。

【００４２】実行制御データ生成部１０２がそれぞれ生
成したサーバ２０１およびクライアント端末２０２の実
行制御データは、実行制御データ出力部１０３によりサ
ーバ２０１およびクライアント端末２０２に対してそれ
ぞれ供給される。サーバ２０１は、供給された実行制御
データに応じて、自らのハードウェア構成を変更した
り、所定の初期設定を行ったりする。また、クライアン
ト端末２０２は、供給された実行制御データに基づい
て、ベンチマークにおける仮想プロセスをそれぞれ生成
する。

【００４３】さらに、ベンチマークの実行開始が実行制
御部１００より情報処理システム２００に対して指示さ
れると、クライアント端末２０２による仮想プロセスの
実行が開始され、情報処理システム２００においてベン
チマークが実行される。クライアント端末２０２による
仮想プロセスの実行が終了する、すなわち、１つの測定
条件でのベンチマークが情報処理システム２００におい
て終了すると、結果取得部３０１は、サーバ２０１およ
びクライアント端末２０２からベンチマークの実行結果
を取得する。取得したベンチマークの実行結果は、結果
記憶部３０２に供給され記憶される。

【００４４】次に、特徴量抽出部３０３は、応答時間の
平均値、分散値、最大値、９０％の確率で応答が返って
くる時間の値や、スループットや、ＣＰＵ稼働率等の特
徴量を結果記憶部３０２に記憶されたベンチマークの実
行結果から抽出（算出）する。特徴量抽出部３０３によ
り抽出された特徴量は、結果ＤＢ３０４に供給される。

【００４５】そして、測定条件入力部１０１から供給さ
れたベンチマークの測定条件と、特徴量抽出部３０３に
て実行結果から得られた性能評価情報としての特徴量と
が、１つの測定条件のベンチマーク毎に１組の性能評価
データとして結果ＤＢ３０４に記憶される。このとき、
性能評価データは、図３に示すような保存形式（フォー
マット）で結果ＤＢ３０４に記憶される。

【００４６】図３は、結果ＤＢ３０４に性能評価データ
を記憶する際の保存形式の一例を示す図である。ベンチ
マークにより得られる性能評価データ５０１、５０２、
５０３、…は、１つの測定条件のベンチマーク毎にそれ
ぞれ管理するための１つのＩＤと、ベンチマーク条件
（ユーザ数、アクセス頻度およびＣＰＵ数等）と、ベン
チマーク結果（応答時間の平均、分散およびスループッ
ト等）と、ベンチマークリソース結果（ＣＰＵ稼働率
等）とが並列に記述された一定の保存形式で結果ＤＢ３
０４に記憶される。

【００４７】なお、上述したように、結果取得部３０１
により取得されたベンチマークの実行結果から直ちに特
徴量が得られる場合には、測定条件入力部１０１から供
給されたベンチマークの測定条件と、結果取得部３０１
にて実行結果から直接得られた特徴量とを、１組の性能
評価データとして結果ＤＢ３０４に記憶するようにして
も良い。

【００４８】測定条件入力部１０１に入力される、さま
ざまな測定条件でのベンチマークにおいて、上述した処
理動作を繰り返し行うことにより、さまざまな測定条件
で実行したベンチマークにより得られた性能評価データ
が、共通の結果ＤＢ３０４に記憶され蓄積される。

【００４９】＜性能評価データ検索動作＞次に、結果Ｄ
Ｂ３０４に記憶し蓄積した性能評価データを検索する性
能評価データ検索動作について説明する。まず、さまざ
まな測定条件でのベンチマークによりそれぞれ得られた
性能評価データを検索しようとするオペレータは、図示
しない入力装置等を用いて、性能評価データの検索条件
を入力し、検索条件入力部３０６に供給する。ここで、
上記検索条件としては、ベンチマークの測定条件を入力
しても良いし、情報処理システムの性能要件を入力して
も良い。

【００５０】次に、検索条件入力部３０６は、供給され
た検索条件を検索実行部３０５に供給する。これによ
り、検索実行部３０５は、検索条件に合致する性能評価
データを結果ＤＢ３０４から検索して抽出し、抽出した
性能評価データを検索結果出力部３０７を介して出力す
る。オペレータは、検索結果出力部３０７より出力さ
れ、図示しない表示装置等に表示された検索結果を参照
する。

【００５１】例えば、ベンチマークの測定条件のユーザ
数が“１００〜２００”を検索条件として入力した場合
には、検索実行部３０５は、ユーザ数が１００〜２００
であるベンチマーク条件データを結果ＤＢ３０４から検
索する。検索実行部３０５は、ユーザ数が合致したベン
チマーク条件データに付与されているＩＤの性能評価デ
ータ（ユーザ数が合致したベンチマーク条件データ、お
よびそのベンチマーク結果データとベンチマークリソー
ス結果データ）を結果ＤＢ３０４から抽出する。さら
に、検索実行部３０５は、ユーザ数が合致した性能評価
データを検索結果として出力する。これにより、オペレ
ータは、検索結果として出力されたベンチマーク結果デ
ータとベンチマークリソース結果データとを参照して、
情報処理システムの性能を見積もることができる。

【００５２】また、例えば、情報処理システムの性能要
件として応答時間の平均が“５秒以内”を検索条件とし
て入力した場合には、検索実行部３０５は、応答時間の
平均が５秒以内であるベンチマーク結果データを結果Ｄ
Ｂ３０４から検索する。検索実行部３０５は、応答時間
の平均が５秒以内であるベンチマーク結果データに付与
されているＩＤの性能評価データを結果ＤＢ３０４から
抽出する。さらに、検索実行部３０５は、応答時間の平
均が５秒以内である性能評価データを検索結果として出
力する。これにより、オペレータは、検索結果として出
力されたベンチマーク条件データを参照して、情報処理
システムが備えるべきハードウェア等を見積もることが
できる。

【００５３】なお、上記図１においては、それぞれ１つ
の実行制御部１００、情報処理システム２００および結
果データ管理部３００により構成される性能評価システ
ムを一例として示したが、本発明はこれに限られるもの
ではなく、例えば、図４に示すような複数の実行制御部
１００−Ｎおよび情報処理システム２００−Ｎ（Ｎは自
然数）と、１つの結果データ管理部３００とにより性能
評価システムを構成することができる。

【００５４】図４は、第１の実施形態における性能評価
システムの一般的な構成例を示すブロック図である。図
４において、実行制御部１００−Ｎ（Ｎは自然数）は、
それぞれ図１に示した実行制御部１００と同様の機能を
備える。情報処理システム２００−Ｎ（Ｎは自然数）
は、図１に示した情報処理システム２００と同様に、実
行制御部１００−Ｎ（Ｎは自然数）から供給された実行
制御データに従って、ベンチマークを実行しベンチマー
クの実行結果を結果データ管理部３００に供給する任意
の情報処理システムである。

【００５５】結果データ管理部３００は、上記図１に示
す結果データ管理部であり、情報処理システム２００−
Ｎにおいてそれぞれ実行したベンチマークの性能評価デ
ータを記憶し蓄積する。すなわち、図４に示すように、
本実施形態における性能評価システムの結果データ管理
部３００は、複数の情報処理システム２００−Ｎにてそ
れぞれ実行したベンチマークにより得られる性能評価デ
ータを一元的に管理する。

【００５６】以上、詳しく説明したように本実施形態に
よれば、さまざまな測定条件で実行したベンチマークの
実行結果を結果取得部３０１により情報処理システム２
００から取得し、測定条件と、取得した実行結果から得
られた性能評価情報としての特徴量とを、１つの測定条
件のベンチマーク毎に関連付けて結果ＤＢ３０４に記憶
する。

【００５７】これにより、測定条件と、当該測定条件で
のベンチマークの実行結果からそれぞれ得られる性能評
価情報としての特徴量とからなる性能評価データが、１
つの測定条件でのベンチマーク毎に結果ＤＢ３０４に記
憶し蓄積することができ、さまざまな測定条件でのベン
チマークにより得られた性能評価情報をそれぞれ含む複
数の性能評価データを結果ＤＢ３０４に一元的に管理す
ることができる。したがって、さまざまな測定条件で実
行したベンチマークの性能評価データの検索および比較
を容易に行うことができる。

【００５８】また、検索条件に合致した性能評価データ
を結果ＤＢ３０４に記憶された複数の性能評価データの
中から検索して、検索結果に基づいて抽出した性能評価
データを出力するようにしたので、過去に実行したベン
チマークにより得られた性能評価データの検索を容易に
行うことができる。また、顧客等から多数の測定条件が
提示されたりしてパラメータの設定値を変更して複数の
ベンチマークを実行した場合には、当該複数のベンチマ
ークの性能評価データをそれぞれ検索して、得られた性
能評価データを容易に比較することができる。

【００５９】例えば、過去に実行したベンチマークとわ
ずかに異なる測定条件で（例えば、アプリケーションの
負荷に相当する測定条件を変更したり、情報処理システ
ムのハードウェア構成に相当する測定条件を変更したり
して）ベンチマークを実行しようとする場合には、ベン
チマークを実行しなくとも、過去に実行したベンチマー
クでの性能評価データを検索して参照および比較するこ
とにより、得られる性能評価データを推測して評価する
ことができる。

【００６０】また、結果ＤＢ３０４のデータ構造を、性
能評価データを構成するベンチマーク条件データ、ベン
チマーク結果データおよびベンチマークリソース結果デ
ータを１つのＩＤにて関連付けた並列のデータ構造とし
て相互に検索できるようにするとともに、検索条件とし
て、測定条件の構成要素に限らず、性能評価情報の構成
要素を入力することができるようにしたので、ベンチマ
ークの測定条件から得られる性能評価情報を検索するに
限らず、性能評価情報から測定条件等を検索することが
でき、結果ＤＢ３０４に記憶されている性能評価データ
を多面的に利用することができる。これにより、所望の
性能要件等を検索条件として入力することで、情報処理
システムが備えるべき構成（ハードウェア等）を参照す
ることができる。

【００６１】また、複数の性能評価データを結果ＤＢ３
０４に記憶する際、一定の保存形式で性能評価データを
それぞれ記憶するようにしたので、検索条件に合致した
性能評価データの検索、および検索結果を用いた性能評
価データの比較をさらに容易に行うことができる。

【００６２】（第２の実施形態）次に、本発明の第２の
実施形態について説明する。評価対象である情報処理シ
ステムの性能を全体的に（さまざまな条件下での性能
を）把握したりするためにベンチマークを実行する場合
には、あらゆる全てのベンチマークの測定条件でのベン
チマークを情報処理システムで実行し、性能評価データ
を取得することは非常に困難である。そのため、従来は
ベンチマークを実行するオペレータ等が、おおまかに設
定された情報処理システムの性能を測定したい測定条件
の範囲内で、性能評価データがほぼ均等に得られるよう
な幾つかの（例えば、５〜６つの）測定条件を決定して
ベンチマークを実行していた。さらに、決定した測定条
件での全てのベンチマーク終了後にベンチマークの実行
結果の整理および解析により、あらためて詳細に測定し
たい測定条件が生じた場合には、当該測定条件でのベン
チマークを実行していた。

【００６３】しかしながら、上述した従来の方法では、
性能評価データがほぼ均等に得られるような幾つかの測
定条件を決定してベンチマークを実行する際、測定条件
を決定するための指標となる情報がないため、例えば、
情報処理システムにおける性能の変化が少なく、性能に
関して得られる情報量が結果的に少ない測定条件でもベ
ンチマークを実行してみなければならないという問題が
あった。また、あらためて詳細に測定したい測定条件
は、全ての測定条件でのベンチマーク終了後の実行結果
を整理して解析しなければ判明しないという問題があっ
た。したがって、上述のようにして情報処理システムの
性能を全体的に把握し評価するには、労力を浪費すると
ともに多大な時間を要するという問題があった。

【００６４】そこで、本発明の第２の実施形態では、上
述した第１の実施形態による性能評価情報管理装置を利
用して、推奨するベンチマークの測定条件を自動的に提
示できるようにする。

【００６５】図５は、本発明の第２の実施形態による性
能評価装置を適用した性能評価システムの一構成例を示
すブロック図である。なお、この図５において、図１に
示したブロックと同一の機能を有するブロックには同一
の符号を付し、重複する説明は省略する。また、図１に
示したブロックと同一ではないが対応する機能を有する
ブロックには、同じ符号に'を付している。

【００６６】図５において、３００’は結果データ管理
部であり、上記図１に示した結果データ管理部３００
に、結果解析部３０８とパラメータ出力部３１０とをさ
らに設けたものである。結果解析部３０８は、変化量解
析部３０９を含み構成され、変化量解析部３０９による
解析結果に基づいて、情報処理システム２００の詳細な
性能評価データを得るための、推奨するベンチマークの
測定条件（推奨測定条件）を決定し出力する。変化量解
析部３０９は、結果ＤＢ３０４に蓄積された性能評価デ
ータに基づいて、情報処理システム２００における性能
変化の割合を解析する。測定条件出力部３１０は、結果
解析部３０８により決定し出力された推奨測定条件を外
部に出力するためのものである。ここで、上記結果解析
部３０８は、本発明の測定情報提供手段を構成し、上記
変化量解析部３０９は、本発明の変化解析手段を構成す
る。

【００６７】次に、上記図５に示す性能評価システムの
動作について説明する。図６は、第２の実施形態による
性能評価システムの処理動作を示すフローチャートであ
る。まず、ステップＳ６０１にて、オペレータは、図示
しない入力装置等を用いて、評価対象である情報処理シ
ステム２００にて測定可能な測定条件の範囲内である幾
つかの（例えば３〜４つの）ベンチマークの測定条件を
入力し、測定条件入力部１０１を介して実行制御データ
生成部１０２に順次供給する。なお、入力する測定条件
は、任意であり、例えば、測定条件の範囲内にて等間隔
に分割しても良いし、オペレータの過去の経験に基づい
たものであっても良い。また、オペレータは、測定条件
の最小値と最大値とを入力するだけで、実行制御部１０
０がその間を任意に自動的に分割するようにしても良
い。

【００６８】そして、上述した第１の実施形態での性能
評価データ保存動作と同様にして、供給された測定条件
でのベンチマークを実行し（ステップＳ６０２）、実行
したベンチマークの実行結果を収集して、性能評価デー
タを結果ＤＢ３０４に記憶蓄積する（ステップＳ６０
３）。この性能評価データ保存動作（ステップＳ６０
２、Ｓ６０３）を繰り返し行い、上記ステップＳ６０１
において入力した全ての測定条件でのベンチマークを実
行する。

【００６９】そして、上記ステップＳ６０１において入
力した全ての測定条件でのベンチマークの実行が終了し
て性能評価データが得られると（ステップＳ６０４の
Ｎ）、ステップＳ６０５に進む。

【００７０】ここで、情報処理システム２００の性能を
的確に把握したりする際に、情報処理システム２００の
性能に関して多くの情報量が得られる（実行したベンチ
マークにより得られた実行結果が大きな意味をなす）の
は、性能変化の挙動がかわり、性能変化の割合が大きい
（例えば、性能曲線を描いた際に小さな曲率を示す部
分）測定条件で得られるベンチマークの実行結果であ
る。そこで、ステップＳ６０５にて、変化量解析部３０
９は、上述したステップＳ６０１〜Ｓ６０４での動作に
より、結果ＤＢ３０４に記憶された性能評価データに基
づいて、ベンチマークを実行し評価するにあたり着目し
ている性能の変化の割合（性能変化の変化率）を自動で
計算する。

【００７１】変化量解析部３０９は、例えば、性能評価
データに基づいて、ベンチマークを実行した複数の測定
条件間での着目している性能の変化量をそれぞれ算出
し、さらに算出した変化量に基づいて、各測定条件間で
の性能変化の変化率を算出する。

【００７２】次に、ステップＳ６０６にて、結果解析部
３０８は、上記ステップＳ６０５において変化量解析部
３０９にて算出した性能変化の変化率の中で、大きな変
化率を示す測定点があるか否かを判断する。ここで、結
果解析部３０８は、例えば、予め設定された性能変化の
変化率の基準値と、変化量解析部３０９により算出され
た性能変化の変化率とを比較することにより変化率が大
きいか否かを判断するようにしても良いし、例えば、変
化量解析部３０９により算出された各測定条件間での性
能変化の変化率を互いに比較することにより変化率が大
きいか否かを判断するようにしても良い。

【００７３】上記判断の結果、性能変化の変化率が大き
い測定点があると判断した場合には、ステップＳ６０７
にて、結果解析部３０８は、上記性能変化の変化率が大
きい測定点におけるパラメータの設定値を含む推奨測定
条件を、測定条件出力部３１０を介して外部（例えば、
オペレータが使用可能な表示装置等）に出力し、処理を
終了する。また、上記ステップＳ６０６での判断の結
果、性能変化の変化率が大きい測定点がないと判断した
場合にも処理を終了する。

【００７４】上述した処理を繰り返し行うことにより、
さまざまな測定条件により得られた性能評価データが結
果ＤＢ３０４に蓄積されていくとともに、情報処理シス
テム２００において性能変化の変化率が大きい点を細か
く重点的に測定することができる。

【００７５】以上、説明したように本実施形態によれ
ば、上述した第１の実施形態にて得られる効果に加え、
結果ＤＢ３０４に記憶されている性能評価データに基づ
いて、評価対象である情報処理システム２００にて性能
変化の変化率が大きい測定点を推奨測定条件として出力
する。

【００７６】これにより、情報処理システム２００にて
性能変化の変化率が大きい測定点を重点的に測定し、性
能変化の変化率が小さい測定点は、粗い間隔で測定する
ことにより、情報処理システム２００における性能を、
少ない測定条件の数で効率良く測定することができる。

【００７７】また、結果ＤＢ３０４に記憶されている性
能評価データに基づいて、情報処理システム２００にて
性能変化の変化率を変化量解析部３０９により自動的に
算出し、結果解析部３０８により性能変化の変化率が大
きいか否かを判断するようにしたので、オペレータは性
能評価データの整理および解析を行わなくとも、次に測
定すべき測定条件を得ることができ、オペレータ等が性
能評価データ等の計算を行う手間を削減することができ
る。

【００７８】なお、上述した本実施形態では、結果解析
部３０８は、性能変化の変化率が大きい測定点における
パラメータの設定値を含む推奨測定条件を、測定条件出
力部３１０を介して外部に出力するようにしているが、
性能変化の変化率が大きい測定点におけるパラメータの
設定値のみを当該パラメータ名とともに出力するように
しても良い。

【００７９】（第３の実施形態）次に、本発明の第３の
実施形態について説明する。図７は、本発明の第３の実
施形態による性能評価装置を適用した性能評価システム
の一構成例を示すブロック図である。なお、この図７に
おいて、図１および図５に示したブロックと同一の機能
を有するブロックには同一の符号を付し、重複する説明
は省略する。また、図１および図５に示したブロックと
同一ではないが対応する機能を有するブロックには、同
じ符号に'を付している。

【００８０】上述した第２の実施形態における性能評価
システムでは、結果解析部３０８より出力された推奨測
定条件を、測定条件出力部３１０を介して外部に出力し
ていたが、第３の実施形態における性能評価システムで
は、結果解析部３０８より出力される推奨測定条件を測
定条件入力部１０１’に供給してベンチマークを自動的
に実行させるようにする。

【００８１】図７において、測定条件入力部１０１’
は、外部から供給されるベンチマークの測定条件および
測定条件出力部３１０から供給されるベンチマークの推
奨測定条件を入力するためのものである。ここで、本実
施形態において実行制御部１００は、本発明の実行制御
手段を構成する。

【００８２】次に、上記図７に示す性能評価システムの
動作について説明する。図８は、第３の実施形態による
性能評価システムの処理動作を示すフローチャートであ
る。

【００８３】図８において、ステップＳ８０１〜ステッ
プＳ８０６は、上記図６に示したステップＳ６０１〜ス
テップＳ６０６にそれぞれ対応しており、上述した第２
の実施形態における性能評価システムと同じ動作を行
い、ステップＳ８０６において、結果解析部３０８は、
変化量解析部３０９にて算出した性能変化の変化率の中
で大きな変化率を示す測定点があるか否かを判断する。

【００８４】上記判断の結果、性能変化の変化率が大き
い測定点があると判断した場合には、ステップＳ８０７
にて、結果解析部３０８は、上記性能変化の変化率が大
きい測定点におけるパラメータの設定値を含む推奨測定
条件を、測定条件出力部３１０を介して測定条件入力部
１０１’に出力する。そして、ステップＳ８０２〜ステ
ップＳ８０６の処理を再び行う。

【００８５】そして、上記ステップＳ８０６での判断の
結果、結果解析部３０８により性能変化の変化率が大き
い測定点がないと判断されるまで、ステップＳ８０２〜
ステップＳ８０７の処理を繰り返し行い、上記ステップ
Ｓ８０６での判断の結果、性能変化の変化率が大きい測
定点がないと判断した場合には処理を終了する。

【００８６】上述したようにして、性能評価システムに
て処理を行うことにより、例えば、図９に示すような性
能曲線を得ることができる。図９は、第３の実施形態に
おける性能評価システムにより得られる性能曲線の一例
を示す図である。図９に示す性能曲線は、パラメータ
「ＣＰＵ数」の設定値のみを変化させ、他のパラメータ
の設定値は固定とした測定条件での、情報処理システム
２００における単位時間当たりの処理能力（スループッ
ト）を示す性能曲線である。

【００８７】図９において、点Ｐ１、Ｐ２、Ｐ３、Ｐ
４、Ｐ５は、初期設定（図８のステップＳ８０１）にて
パラメータ「ＣＰＵ数」の設定値を、それぞれ“２”、
“４”、“６”、“８”、“１０”と設定したときの情
報処理システム２００でのスループットを示す点であ
る。図９に示すように、点Ｐ１〜Ｐ３の間では、ＣＰＵ
数の増加とともに、スループットもほぼ比例して増加
し、点Ｐ３〜Ｐ４の間では、ＣＰＵ数の増加に対してス
ループットはわずかに増加し、点Ｐ４〜Ｐ５の間では、
ＣＰＵ数の増加に対して、スループットはほぼ変わらず
同じ値を示す。

【００８８】上記点Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５に示
すような性能評価データが得られたとき、図７に示す結
果解析部３０８では、点Ｐ３〜Ｐ４間での性能変化の変
化率が大きいと判断され、点Ｐ３〜Ｐ４間に対応するパ
ラメータ「ＣＰＵ数」の設定値を“７”にした測定条件
を出力し、ベンチマークを実行することで点Ｐ３〜Ｐ４
間を補う点Ｐ６に示す性能評価データが得られ、図９に
示すような情報処理システム２００の性能曲線を得るこ
とができる。このようにして、情報処理システム２００
の詳細な性能曲線を得ることで、任意の測定条件での性
能評価データを推測したりすることができるとともに、
逆に性能要件を満足する情報処理システムの構成（ハー
ドウェアおよびソフトウェア）を推測することができ
る。

【００８９】以上、説明したように本実施形態によれ
ば、上述した第１および第２の実施形態により得られる
効果に加え、結果解析部３０８より出力された推奨測定
条件でのベンチマークを自動的に実行して性能評価デー
タを得る。これにより、オペレータに最小限の測定条件
をはじめに入力させるだけで、必要かつ適切な測定条件
を自動的に生成してベンチマークを実行し、情報処理シ
ステム２００における性能評価データを詳細に取得する
ことができるので、オペレータ等は測定中に何ら作業を
行わなくとも、非常に効率良く情報処理システム２００
における性能を自動的に測定し、性能評価データを取得
することができる。

【００９０】なお、以上に説明した実施形態の性能評価
情報管理装置および性能評価装置は、コンピュータのＣ
ＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどで構成できる
ものであり、ＲＡＭやＲＯＭに記憶されたプログラムが
動作することによって実現でき、上記プログラムは本発
明の実施形態に含まれる。また、コンピュータが上記機
能を果たすように動作させるプログラムを、例えばＣＤ
−ＲＯＭのような記録媒体に記録し、コンピュータに読
み込ませることによって実現できるものであり、上記プ
ログラムを記録した記録媒体は本発明の実施形態に含ま
れる。上記プログラムを記録する記録媒体としては、Ｃ
Ｄ−ＲＯＭ以外に、フレキシブルディスク、ハードディ
スク、磁気テープ、光磁気ディスク、不揮発性メモリカ
ード等を用いることができる。

【００９１】また、コンピュータがプログラムを実行し
処理を行うことにより、上述の実施形態の機能が実現さ
れるプログラムプロダクトは、本発明の実施形態に含ま
れる。上記プログラムプロダクトとしては、上述の実施
形態の機能を実現するプログラム自体、上記プログラム
が読み込まれたコンピュータ、ネットワークを介して通
信可能に接続されたコンピュータに上記プログラムを提
供可能な送信装置、および当該送信装置を備えるネット
ワークシステム等がある。

【００９２】また、コンピュータが供給されたプログラ
ムを実行することにより上述の実施形態の機能が実現さ
れるだけでなく、そのプログラムがコンピュータにおい
て稼働しているＯＳ（オペレーティングシステム）ある
いは他のアプリケーションソフト等と共同して上述の実
施形態の機能が実現される場合や、供給されたプログラ
ムの処理の全てあるいは一部がコンピュータの機能拡張
ボードや機能拡張ユニットにより行われて上述の実施形
態の機能が実現される場合も、かかるプログラムは本発
明の実施形態に含まれる。また、本発明をネットワーク
環境で利用するべく、全部あるいは一部のプログラムが
他のコンピュータで実行されるようになっていても良
い。

【００９３】例えば、上述した実施形態に示した性能評
価情報管理装置および性能評価装置は、図１０に示すよ
うなコンピュータ機能１０００を有し、そのＣＰＵ１０
０１により本実施形態での動作が実施される。

【００９４】コンピュータ機能１０００は、上記図１０
に示すように、ＣＰＵ１００１と、ＲＯＭ１００２と、
ＲＡＭ１００３と、キーボード（ＫＢ）１００９のキー
ボードコントローラ（ＫＢＣ）１００５と、表示部とし
てのＣＲＴディスプレイ（ＣＲＴ）１０１０のＣＲＴコ
ントローラ（ＣＲＴＣ）１００６と、ハードディスク
（ＨＤ）１０１１およびフレキシブルディスク（ＦＤ）
１０１２のディスクコントローラ（ＤＫＣ）１００７
と、ネットワークインタフェースカード（ＮＩＣ）１０
０８とが、システムバス１００４を介して互いに通信可
能に接続された構成としている。

【００９５】ＣＰＵ１００１は、ＲＯＭ１００２あるい
はＨＤ１０１１に記憶されたソフトウェア（プログラ
ム）、あるいはＦＤ１０１２より供給されるソフトウェ
ア（プログラム）を実行することで、システムバス１０
０４に接続された各構成部を総括的に制御する。すなわ
ち、ＣＰＵ１００１は、上述したような動作を行うため
の処理プログラムを、ＲＯＭ１００２、あるいはＨＤ１
０１１、あるいはＦＤ１０１２から読み出して実行する
ことで、本実施形態での動作を実現するための制御を行
う。

【００９６】ＲＡＭ１００３は、ＣＰＵ１００１の主メ
モリあるいはワークエリア等として機能する。ＫＢＣ１
００５は、ＫＢ１００９や図示していないポインティン
グデバイス等からの指示入力を制御する。ＣＲＴＣ１０
０６は、ＣＲＴ１０１０の表示を制御する。ＤＫＣ１０
０７は、ブートプログラム、種々のアプリケーション、
ユーザファイル、ネットワーク管理プログラム、および
本実施形態における上記処理プログラム等を記憶するＨ
Ｄ１０１１およびＦＤ１０１２とのアクセスを制御す
る。ＮＩＣ１００８はネットワーク１０１３上の他の装
置と双方向にデータをやりとりする。

【００９７】

【発明の効果】以上説明したように、本発明によれば、
さまざまな測定条件で評価対象の情報処理システムにて
実行した性能測定試験の実行結果をそれぞれ取得して、
当該実行結果からそれぞれ得られる性能評価情報と、そ
れに対応する測定条件とを関連付けて記憶媒体に記憶す
る。

【００９８】これにより、測定条件と性能評価情報とを
それぞれ関連付けた、複数の測定条件と性能評価情報と
の組を記憶媒体に、測定条件毎に記憶することができ、
さまざまな測定条件での性能測定試験により得られた性
能評価情報を一元的に管理することができる。したがっ
て、さまざまな測定条件での性能測定試験により得られ
た性能評価情報の検索および比較を容易に行うことがで
きる。

【００９９】また、外部から入力された検索条件に応じ
て、記憶媒体に記憶された性能評価情報および測定条件
を検索できるようにした場合には、過去に実行した性能
測定試験により得られた性能評価情報の検索および比較
を容易に行うことができる。

【０１００】また、記憶媒体に記憶した性能評価情報と
測定条件とに基づいて、推奨測定条件を決定し提供する
ようにした場合には、測定者等が性能評価情報等に基づ
いて計算を行わなくとも、情報処理システムの性能測定
に適切な測定条件を容易に取得することができるので、
効率良く、しかも少ない測定条件の数で情報処理システ
ムの性能を測定することができる。

【０１０１】また、提供される推奨測定条件に応じた性
能測定試験を情報処理システムにて自動的に実行させる
ようにした場合には、測定者に最小限の測定条件をはじ
めに入力させるだけで、自動的に情報処理システムの性
能を詳細に測定することができる。したがって、測定者
等は測定中に何ら作業を行わなくとも、非常に効率良く
情報処理システムの性能を測定し、性能評価情報を取得
することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態による性能評価情報管
理装置を適用した性能評価システムの一構成例を示すブ
ロック図である。

【図２】結果データベースにおけるデータ構造の一例を
示す図である。

【図３】性能評価データの保存形式の一例を示す図であ
る。

【図４】第１の実施形態における性能評価システムの一
般的な構成例を示すブロック図である。

【図５】本発明の第２の実施形態による性能評価装置を
適用した性能評価システムの一構成例を示すブロック図
である。

【図６】第２の実施形態における性能評価システムの処
理動作を示すフローチャートである。

【図７】本発明の第３の実施形態による性能評価装置を
適用した性能評価システムの一構成例を示すブロック図
である。

【図８】第３の実施形態における性能評価システムの処
理動作を示すフローチャートである。

【図９】第３の実施形態における性能評価システムによ
り得られる性能曲線の一例を示す図である。

【図１０】性能評価情報管理装置および性能評価装置を
実現可能なコンピュータの一構成例を示すブロック図で
ある。

【符号の説明】

１００ 実行制御部 １０１、１０１’ 測定条件入力部 １０２ 実行制御データ生成部 １０３ 実行制御データ出力部 ２００ 測定対象システム ２０１ サーバ ２０２ クライアント端末 ２０３ ネットワーク ３００、３００’ 結果データ管理部 ３０１ 結果取得部 ３０２ 結果記憶部 ３０３ 特徴量抽出部 ３０４ 結果データベース ３０５ 検索実行部 ３０６ 検索条件入力部 ３０７ 検索結果出力部 ３０８ 結果解析部 ３０９ 変化量解析部 ３１０ 測定条件出力部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 坂井 良文 東京都中央区新川二丁目20番15号 新日鉄 ソリューションズ株式会社内 (72)発明者 長谷川 達也 東京都中央区新川二丁目20番15号 新日鉄 ソリューションズ株式会社内 Ｆターム(参考） 5B042 GA12 HH20 MA08 MA09 MA14 MC23 MC25 MC29 MC33

Claims (20)

【特許請求の範囲】
1. 【請求項１】 評価対象の情報処理システムにて、複数
   の測定条件で実行した性能測定試験の実行結果をそれぞ
   れ取得する結果取得手段と、 上記結果取得手段により取得した実行結果からそれぞれ
   得られる性能評価情報と、当該性能評価情報に対応する
   上記測定条件とを関連付けて記憶媒体に記憶する情報記
   憶手段とを備えることを特徴とする性能評価情報管理装
   置。
2. 【請求項２】 外部から入力された検索条件に応じて、
   上記記憶媒体に記憶された上記性能評価情報および上記
   測定条件を検索する情報検索手段をさらに備えることを
   特徴とする請求項１に記載の性能評価情報管理装置。
3. 【請求項３】 上記結果取得手段により取得した実行結
   果から上記性能評価情報を抽出する情報抽出手段をさら
   に備え、 上記情報記憶手段は、上記情報抽出手段によりそれぞれ
   抽出した性能評価情報と、当該性能評価情報に対応する
   上記測定条件とを関連付けて上記記憶媒体に記憶するこ
   とを特徴とする請求項１または２に記載の性能評価情報
   管理装置。
4. 【請求項４】 上記性能評価情報と上記測定条件とは、
   付与された識別番号により関連付けられることを特徴と
   する請求項１〜３の何れか１項に記載の性能評価情報管
   理装置。
5. 【請求項５】 上記性能評価情報は、上記情報処理シス
   テムでの性能測定試験における処理に関わる情報と、リ
   ソースの使用状況に関わる情報とを少なくとも含むこと
   を特徴とする請求項１〜４の何れか１項に記載の性能評
   価情報管理装置。
6. 【請求項６】 上記情報記憶手段は、上記性能評価情報
   と上記測定条件とを所定の保存形式で上記記憶媒体に記
   憶することを特徴とする請求項１〜５の何れか１項に記
   載の性能評価情報管理装置。
7. 【請求項７】 評価対象の情報処理システムにて、複数
   の測定条件で実行した性能測定試験の実行結果をそれぞ
   れ取得する結果取得手段と、 上記結果取得手段により取得した実行結果からそれぞれ
   得られる性能評価情報と、当該性能評価情報に対応する
   上記測定条件とを関連付けて記憶媒体に記憶する情報記
   憶手段と、 上記記憶媒体に記憶された上記性能評価情報と測定条件
   とに基づいて、推奨測定条件を決定し提供する測定条件
   提供手段とを備えることを特徴とする性能評価装置。
8. 【請求項８】 上記測定条件提供手段により提供される
   推奨測定条件に応じた上記情報処理システムでの性能測
   定試験の実行を制御する実行制御手段をさらに備えるこ
   とを特徴とする請求項７に記載の性能評価装置。
9. 【請求項９】 上記性能評価情報と測定条件とに基づい
   て、上記測定条件の変化に対する上記性能評価情報に示
   される性能の変化を解析する変化解析手段をさらに備
   え、 上記測定条件提供手段は、上記変化解析手段による解析
   結果に基づいて、上記推奨測定条件を決定することを特
   徴とする請求項７または８に記載の性能評価装置。
10. 【請求項１０】 上記変化解析手段は、上記測定条件の
    変化に対する上記性能評価情報に示される性能の変化の
    割合を算出し、 上記測定条件提供手段は、上記変化解析手段により算出
    した性能の変化の割合に基づいて、上記推奨測定条件を
    決定することを特徴とする請求項９に記載の性能評価装
    置。
11. 【請求項１１】 外部から入力された検索条件に応じ
    て、上記記憶媒体に記憶された上記性能評価情報および
    上記測定条件を検索する情報検索手段をさらに備えるこ
    とを特徴とする請求項７〜１０の何れか１項に記載の性
    能評価装置。
12. 【請求項１２】 評価対象の情報処理システムにて、複
    数の測定条件で実行した性能測定試験の実行結果をそれ
    ぞれ取得し、 上記取得した実行結果からそれぞれ得られる性能評価情
    報と、当該性能評価情報に対応する上記測定条件とを関
    連付けて記憶媒体に記憶することを特徴とする性能評価
    情報管理方法。
13. 【請求項１３】 外部から入力された検索条件に応じ
    て、上記記憶媒体に記憶された上記性能評価情報および
    上記測定条件を検索可能であることを特徴とする請求項
    １２に記載の性能評価情報管理方法。
14. 【請求項１４】 評価対象の情報処理システムにて、複
    数の測定条件で実行した性能測定試験の実行結果をそれ
    ぞれ取得し、 上記取得した実行結果からそれぞれ得られる性能評価情
    報と、当該性能評価情報に対応する上記測定条件とを関
    連付けて記憶媒体に記憶し、 上記記憶媒体に記憶された上記性能評価情報と測定条件
    とに基づいて、推奨測定条件を決定し提供することを特
    徴とする性能評価方法。
15. 【請求項１５】 上記提供される推奨測定条件に応じた
    性能測定試験を上記情報処理システムにて実行させるこ
    とを特徴とする請求項１４に記載の性能評価方法。
16. 【請求項１６】 評価対象の情報処理システムにて、複
    数の測定条件で実行した性能測定試験の実行結果をそれ
    ぞれ取得する結果取得手段と、 上記結果取得手段により取得した実行結果からそれぞれ
    得られる性能評価情報と、当該性能評価情報に対応する
    上記測定条件とを関連付けて記憶媒体に記憶する情報記
    憶手段としてコンピュータを機能させるためのプログラ
    ム。
17. 【請求項１７】 評価対象の情報処理システムにて、複
    数の測定条件で実行した性能測定試験の実行結果をそれ
    ぞれ取得する結果取得手段と、 上記結果取得手段により取得した実行結果からそれぞれ
    得られる性能評価情報と、当該性能評価情報に対応する
    上記測定条件とを関連付けて記憶媒体に記憶する情報記
    憶手段と、 上記記憶媒体に記憶された上記性能評価情報と測定条件
    とに基づいて、推奨測定条件を決定し提供する測定条件
    提供手段としてコンピュータを機能させるためのプログ
    ラム。
18. 【請求項１８】 評価対象の情報処理システムにて、複
    数の測定条件で実行した性能測定試験の実行結果をそれ
    ぞれ取得する結果取得ステップと、 上記結果取得ステップにて取得した実行結果からそれぞ
    れ得られる性能評価情報と、当該性能評価情報に対応す
    る上記測定条件とを関連付けて記憶媒体に記憶する情報
    記憶ステップと有する性能評価情報管理方法の処理手順
    をコンピュータに実行させるためのプログラム。
19. 【請求項１９】 評価対象の情報処理システムにて、複
    数の測定条件で実行した性能測定試験の実行結果をそれ
    ぞれ取得する結果取得ステップと、 上記結果取得ステップにて取得した実行結果からそれぞ
    れ得られる性能評価情報と、当該性能評価情報に対応す
    る上記測定条件とを関連付けて記憶媒体に記憶する情報
    記憶ステップと、 上記記憶媒体に記憶された上記性能評価情報と測定条件
    とに基づいて、推奨測定条件を決定し提供する測定条件
    提供ステップとを有する性能評価方法の処理手順をコン
    ピュータに実行させるためのプログラム。
20. 【請求項２０】 請求項１６〜１９の何れか１項に記載
    のプログラムを記録したことを特徴とするコンピュータ
    読み取り可能な記録媒体。