JP2010157108A - ソフトウエア評価方法及びそれを実現する情報処理装置 - Google Patents

Abstract

【課題】評価対象ソフトウエアの動作シーケンスに沿った評価項目順の評価シナリオでソフトウエア評価を実施することにより、評価シナリオ実行に要する時間を適切に制御するソフトウエア評価方法及びそれを実現する情報処理装置を提供する。
【解決手段】複数のプログラムファイルで構成される装置制御用のソフトウエアの評価を行う場合に、複数のプログラムファイルから評価対象の複数のプログラムファイルを選択し、制御対象の装置の動作手順に対応させて設定されるプログラムファイルの実行順序に従う読み出しが可能なように、選択されたプログラムファイルを記憶し、選択されたプログラムファイルの実行順序に従ってプログラムファイルを順に読み出し、動作のシミュレーションによりプログラムファイルに対応する評価項目の評価を行う。
【選択図】図１

Description

本発明はソフトウエア評価方法及びそれを実現する情報処理装置に関する。特に、複数のプログラムファイルで構成されるソフトウエアの評価シナリオ作成方法及び評価シナリオを利用したソフトウエアの自動評価に関するものである。

ソフトウエアの不具合の修正や機能の追加などをした場合、不具合が修正されているか、また、新規機能が正しく追加されているかを評価すると共に、新しいエラーが生まれていないかどうかを評価する必要がある。

例えば、下記特許文献１は、プログラム修正時の再評価において、プログラム修正との関連機能の評価項目を選択して評価を実行する評価項目選択実行システムの例である。特許文献１は、修正プログラムファイルと該修正プログラムファイルを評価した項目を関連付けて管理し、再評価時に評価対象のプログラムファイルに対する評価項目を自動で抽出し、評価を実施するものである。特許文献１に示されるように、ソフトウエアの評価時に、プログラムファイルの修正内容に関連する評価項目のみを自動で抽出することで、評価効率の向上が期待される。
特開2003-91431公報

ここで、ソフトウエアの修正プログラムファイルが複数ある場合を考えてみる。実施する評価項目は複数となるものの、従来の評価項目選択実行システムでは、評価項目の実行順序が定められていないため、評価の際、評価項目がどのような順序で実行されるかは不定となる。しかし、評価効率と関係あるソフトウエアの評価に要する時間は、評価項目の実行順序に大きく依存する。

図２０は、従来のソフトウエア自動評価システムである。従来の評価シナリオ作成モジュール２００２は、評価対象ファイル情報記憶部２００３、ファイル−評価項目対応情報記憶部２００４、評価シナリオ出力部２００５から構成されている。図２０の構成において評価対象ファイルが複数であると、評価シナリオ作成モジュール２００２から作成される評価シナリオでは、評価項目の実行順は不順となり、評価するソフトウエアの動作シーケンスに沿った評価シナリオにならない場合がある。結果として、ソフトウエア動作シーケンスに沿っていない順序で評価項目が実行され、必要以上に評価に時間を要してしまい、効率のいい評価を行うことができない。

以下、評価時の評価項目の実行順序と評価所要時間の関係について、更に詳しく説明する。

図２１は、ソフトウエア評価時の評価項目の実行順と評価に要する時間の関係を模式的に表した図である。図２１では、処理Ａ→処理Ｂ→処理Ｃの順に動作を実行するソフトウエアに対して、処理Ｂと処理Ｃに修正を加え、処理Ｂに関連する評価［Ｂ］と、処理Ｃに関連する評価［Ｃ］を実施する場合の評価所要時間を示してある。

図２１中のケース１（２１０１）、ケース２（２１０２）はそれぞれ、
ケース１： 評価［Ｃ］→評価［Ｂ］の順に評価を実施した場合、
ケース２： 評価［Ｂ］→評価［Ｃ］の順に評価を実施した場合、
の評価所要時間である。

ケース１の場合、ソフトウエア動作開始から動作終了までの動作シーケンスのうち、処理［Ｂ］より動作終了に近い処理［Ｃ］に関する評価［Ｃ］を先に実施する。そのため、評価［Ｃ］の終了後、評価［Ｂ］実施のため再びソフトウエア動作シーケンスの動作開始まで戻り、評価［Ｂ］を実施する必要がある。評価の所要時間は、（評価［Ｃ］の所要時間 + 評価［Ｂ］の所要時間）となる。

ケース２の場合、評価項目の実施順序は、ソフトウエア動作シーケンスの順序通り、評価［Ｂ］→評価［Ｃ］と行うため、評価を実施するために再びソフトウエア動作シーケンスの動作開始まで戻る必要はない。評価の所要時間は、（評価［Ｃ］の所要時間）のみである。このように、ソフトウエア評価に要する時間は、評価時の評価項目の実行順序に依存している。

また、上出の特許文献１では、修正プログラムファイルと評価項目を対応付けて管理しているが、プログラムファイルは、一般的にソフトウエアのもつ機能ごとに作られている。図２１を用いてソフトウエアの機能とプログラムファイルの関係を説明すると、処理ＡはファイルＡ、処理ＢはファイルＢ、処理ＣはファイルＣにプログラムコードがあり、処理Ｂ、処理Ｃの修正は、ファイルＢ、ファイルＣを修正することになる。よって、プログラムファイルに関する評価項目を対応つけることで、該プログラムファイルが修正された際に評価すべき項目を管理できる。

本発明は、評価対象ソフトウエアの動作シーケンスに沿った評価項目順の評価シナリオでソフトウエア評価を実施することにより、評価シナリオ実行に要する時間を適切に制御するソフトウエア評価方法及びそれを実現する情報処理装置を提供する。

かかる課題を解決するために、本発明の情報処理装置は、複数のプログラムファイルで構成される装置制御用のソフトウエアの評価を行う情報処理装置であって、前記複数のプログラムファイルから評価対象の複数のプログラムファイルを選択するためのプログラムファイル選択手段と、制御対象の装置の動作手順に対応させて設定される前記選択されたプログラムファイルの実行順序に従う読み出しが可能なように、前記選択されたプログラムファイルを記憶するプログラムファイル記憶手段と、前記プログラムファイル記憶手段から、前記選択されたプログラムファイルの実行順序に従って前記選択されたプログラムファイルを順に読み出し、動作のシミュレーションによりプログラムファイルに対応する評価項目の評価を行うソフトウエア評価手段とを有することを特徴とする。

また、本発明のソフトウエア評価方法は、複数のプログラムファイルで構成される装置制御用のソフトウエアの評価を行うソフトウエア評価方法であって、前記複数のプログラムファイルから評価対象の複数のプログラムファイルを選択するためのプログラムファイル選択工程と、制御対象の装置の動作手順に対応させて設定される前記選択されたプログラムファイルの実行順序に従った読み出しが可能なように、前記選択されたプログラムファイルをプログラムファイル記憶手段に記憶するプログラムファイル記憶工程と、前記プログラムファイル記憶手段から、前記選択されたプログラムファイルの実行順序に従って前記選択されたプログラムファイルを順に読み出し、動作のシミュレーションによりプログラムファイルに対応する評価項目の評価を行うソフトウエア評価工程とを有することを特徴とする。

更に、上記ソフトウエア評価方法の各工程をコンピュータに実行させるためのプログラム、及び該プログラムを記憶したコンピュータが読み取り可能な記憶媒体を提供する。

本発明によれば、評価対象ソフトウエアの動作シーケンスに沿った評価項目の順序からなる評価シナリオでソフトウエア評価を実施することにより、結果として評価シナリオ実行に要する時間を適切に制御することができる。

また、本発明によれば、評価対象のプログラムファイル抽出からソフトウエア評価の実施までを自動で行う。そのため、評価シナリオ作成に要する工数を削減することができる。加えて、ソフトウエア評価時は、評価対象ソフトウエアの処理実行順序に沿った評価シナリオを使用する。そのため、ソフトウエアの処理動作シーケンスの中で、効率よくソフトウエア評価を行うことができる。

以下、添付図面に沿って本発明の実施形態を詳細に説明する。

［実施形態１］
本発明の実施形態１は、複数のプログラムファイルで構成される装置制御用のソフトウエアの評価を行う場合、ソフトウエアの処理動作上の実行シーケンスに基づいた複数のプログラムファイルの動作順序に従って評価シナリオを作成する。そして、かかる作成した評価シナリオを使って、ソフトウエア評価を自動で実施するものである。

本発明の実施形態に係る評価シナリオ作成システムは、コンピュータシステム上で実行されるプログラムとして実現されるものである。

＜本実施形態の評価シナリオ作成システムの概略構成例＞
図２は、本実施形態に係る評価シナリオ作成システムの概略構成例を示す図である。

本実施形態に係る評価シナリオ作成システムを実現するコンピュータシステム３０１は、以下の構成要素を有する。中央処理部３０２ａ（以下、ＣＰＵと呼ぶ）、主記憶部３０２ｂ（以下ＲＡＭと呼ぶ）、ハードディスク３０２ｃ等を内蔵した本体部３０２を有する。また、本体部３０２からの指示により画面表示を行う表示部３０３と、この本体部３０２にオペレータの指示や文字情報を入力するためのキーボード３０４とを有する。更に、表示部３０３上の任意の位置を指定することにより、その位置に表示されていたアイコン等に応じた指示を入力するマウス３０５を有する。

これらコンピュータシステム３０１の基本動作は、基本プログラムであるオペレーティングシステム（以下、ＯＳと記す）を介して実行される。以下、本実施形態では、コンピュータシステム３０１のＯＳをMicrosoft社のWindows（登録商標）OS（登録商標）の例で説明する。しかし、本発明はWindows（登録商標） OS上のシステムに限定されるものではない。

＜実施形態１のソフトウエア自動評価システムの機能構成例＞
図１は、本発明の実施形態１に係るソフトウエア自動評価システムの機能構成図である。

ソフトウエア自動評価システムは、評価シナリオ作成モジュール１０２と、評価シナリオ記憶部１０９、評価実行部１１０および評価実行環境設定部１１１から構成されている。

＜実施形態１の評価シナリオ作成モジュール１０２の構成例＞
実施形態１の評価シナリオ作成モジュール１０２は、次ぎの構成要素を有する。すなわち、評価対象ファイル情報記憶部１０３、ファイル−評価項目対応情報記憶部１０４、ファイル処理実行順序情報記憶部１０５、評価項目選定・ソート部１０６、評価シナリオ出力部１０７、およびインタフェースモジュール１０８である。

（インタフェースモジュール１０８）
インタフェースモジュール１０８は、ソフトウエア自動評価システムのオペレータ１０１（以下、単にオペレータと記す）が、評価シナリオ作成モジュール１０２の有する各種情報を設定するためのインタフェースである。インタフェースモジュール１０８は、公知の技術であるので詳述は避ける。

（評価対象ファイル情報記憶部１０３）
評価対象ファイル情報記憶部１０３は、評価対象とするプログラムファイルの情報を記憶する。評価対象ファイル情報記憶部１０３の評価対象ファイル情報は、オペレータがインタフェースモジュール１０８を介して指定した評価対象となるファイルの情報である。図３Ａに、評価対象ファイル情報記憶部１０３の構成例を示す。各ファイル名３１１に対応して処理内容３１２が記憶されている（具体例は、後述の図９参照）。

（ファイル−評価項目対応情報記憶部１０４）
ファイル−評価項目対応情報記憶部１０４は、当該プログラムファイルの評価を行う際に実施する評価項目と当該プログラムファイルとが対応付けられた情報を記憶する。ファイル−評価項目対応情報記憶部１０４は、評価シナリオ作成モジュール１０２が評価シナリオを作成する前に、予め定義されている必要がある。なお、評価シナリオ作成モジュール１０２内では、プログラムファイルおよび評価項目を、プログラムファイルごとおよび評価項目ごとに固有のＩＤをつけてデータを扱う。しかし、ここでは、わかりやすさのために、プログラムファイル、評価項目を表す際には、ファイルごとおよび評価項目に付けられる固有のＩＤではなく、ファイル名、評価項目名で表記する。図３Ｂに、ファイル−評価項目対応情報記憶部１０４の構成例を示す。各ファイル名３２１に対応して評価項目３２２が記憶されている（具体例は、後述の図１０Ａ参照）。

ここで、オペレータ１０１がインタフェースモジュール１０８を介して、評価対象ファイル情報を指定する際のインタフェース例を、図４に示す。図４は、評価対象ファイルを指定するグラフィカルオペレータインタフェース（以下、ＧＵＩと記す）の例である。図４の評価対象ファイル選択ウィンドウ４０１は、図２の表示部３０３に表示される。かかるＧＵＩから評価対象のプログラムファイル選択が行われ、選択されたプログラムファイル記憶が行われる。

評価対象ファイル選択ウィンドウ４０１は、選択ファイル名表示欄４０２と、ファイル選択チェックボックス４０３と、ＯＫボタン４０４と、キャンセルボタン４０５から構成される。オペレータ１０１は、マウス３０５を利用して、選択ファイル表示名欄４０２に表示されている評価項目の選定対象となるプログラムファイル名に対応するファイル選択チェックボックス４０３にチェックを入れ、評価対象のプログラムを指定する。評価対象のプログラムを指定後、マウス３０５でＯＫボタン４０４をクリックすると、評価対象ファイルの選択ボックスの情報を確定し、評価シナリオ作成モジュール１０２は評価シナリオの作成を開始する。一方、キャンセルボタン４０５をクリックすると、評価対象ファイル選択ウィンドウ４０１の表示以降、オペレータ１０１が行った設定変更を全て無効にする。なお、図４中のファイル名には、ファイル−評価項目対応情報記憶部１０４にあるファイルの名前が選択肢として表示される。

（ファイル処理実行順序情報記憶部１０５）
ファイル処理実行順序情報記憶部１０５は、評価対象ソフトウエアの動作シーケンスに基づいて、当該プログラムファイルがプログラムファイル全体の中で動作する順序（以下、この順序をファイル処理実行順序と記す）を表した情報である。ファイル処理実行順序情報記憶部１０５は、ファイル−評価項目対応情報記憶部１０４と同様、評価シナリオ作成時には、予め定義されている必要がある。

図５Ａに、ファイル処理実行順序情報を設定するＧＵＩの例を示す。図５Ａのファイル処理実行順序設定ウィンドウ５０１は、図２の表示部３０３上に表示される。ファイル処理実行順序設定ウィンドウ５０１は、ファイル名表示欄５０２と、ファイル処理実行順序アップボタン５０３と、ファイル処理実行順序ダウンボタン５０４、ＯＫボタン５０５、キャンセルボタン５０６で構成されている。ファイル名表示欄５０２は、プログラムファイル名が表示される欄であり、ファイル名表示欄５０２の上位に表示されるファイル名ほどファイル処理実行順序が早く、ファイル名表示欄５０２の下位になるほど、ファイル処理実行順序が遅いことを示す。

オペレータ１０１は、マウス３０５を使用して、ファイル処理実行順序を変更するファイル名のファイル名表示欄５０２を選択する。続いて、ファイル処理実行順序を変更するファイルをファイル処理実行順序を早い方へ変更する場合は、ファイル処理実行順序アップボタン５０２をクリックしてファイル処理実行順序の設定行う。一方、ファイル処理実行順序を遅い方へ変更する場合は、ファイル処理実行順序ダウンボタン５０３をクリックしてファイル処理実行順序の設定行う。マウス３０５でＯＫボタン５０４をクリックすると、ファイル処理実行順序の情報を確定する。キャンセルボタン５０５をクリックすると、ファイル処理実行順序設定ウィンドウ５０１の表示以降、オペレータが行った設定変更を全て無効にする。このようにして。ファイル処理実行順序指定が行われる。

図５Ｂにファイル処理実行順序情報記憶部１０５の構成例を示す。図５Ｂ中の処理実行順序の数値５１２がファイル処理実行順序を示す。本実施形態では、プログラムファイル５１１の処理実行順序が早い方が数値が小さい値であるものとする。図５Ｂが示す情報は、各プログラムファイル５１１のソフトウエア動作シーケンス全体の中での動作順番は、実行順序が早い方から、program2.c → program3.c → program1.cとなることを示している。

（評価項目選定・ソート部１０６）
評価項目選定・ソート部１０６は、評価対象ファイル情報記憶部１０３に記憶された評価対象ファイルから、図４の表示画面で選択された評価対象ファイル選択情報１０６ａを有する（上述の図６及び図１０Ｃ参照）。

評価項目選定・ソート部１０６は、評価対象ファイル選択情報１０６ａの選択された評価対象ファイルをキーとして、ファイル−評価項目対応情報記憶部１０４から評価対象ファイルに対応する評価項目を検索する。また、評価対象ファイルをキーとして、ファイル処理実行順序情報記憶部１０５から評価対象ファイルの処理実行順序を検索する。そして、検索された評価項目とファイル処理実行順序との情報を関連付ける。

次に、評価項目実行順序がソフトウエア処理動作シーケンスの早いほうから順番に評価が実行されるように、検索した複数の評価項目をファイル処理実行順序が昇順になるようにソートする。なお、ソートの方法は、バブルソート、２分木ソートなど、いずれのソートアルゴリズムを使用してもよい。

（評価シナリオ出力部１０７）
評価シナリオ出力部１０７は、評価項目選定・ソート部１０６が選定してファイル処理実行順にソートした評価項目を、評価項目選定・ソート部がソートした順序通りに予め指定された評価シナリオの出力形式で、評価シナリオ記憶部１０９に出力する。

＜実施形態１の評価シナリオ記憶部１０９の構成例＞
図６は、実施形態１のオペレータにより選択された評価対象ファイル選択情報１０６ａと、ソート後に出力された評価シナリオ記憶部１０９の構成例を示す図である。図６の上段が評価対象ファイル選択情報１０６ａ、図６の下段がソート後の評価シナリオ記憶部１０９の構成例である。

評価項目選定・ソート部１０６で処理実行順にソートされた結果が評価シナリオ出力部１０７から出力されて、処理実行順に記憶される。処理実行順序６１１に対応して、各ファイル名６１２、対応する処理６１３、対応する評価項目６１４が記憶されている（具体例は、後述の図１０Ｃ参照）。

評価実行部１１０は、かかる評価シナリオ記憶部１０９の記憶順にソフトウエアの評価を実行する。

＜実施形態１の評価実行部１１０の構成例＞
評価実行部１１０は、評価シナリオ出力部１０７が評価シナリオ記憶部１０９に評価シナリオを出力したことをトリガとし、評価実行環境設定部１１１に対して評価シナリオに基づく評価に必要な入力設定を行う。そして、評価シナリオに基づいた評価を開始する。また、評価実行部１１０は、評価開始後、評価実行環境設定部１１１の出力結果を監視することにより、ソフトウエアの評価及び検証を行う。なお、評価実行部１１０の機能及び動作は、公知の技術であるので詳述は避ける。

＜実施形態１の評価実行環境設定部１１１の構成例＞
評価実行環境設定部１１１は、ソフトウエア評価を実行する環境情報を記憶する。例えば、コンピュータシステム上でソフトウエア評価を行う場合には、ソフトウエア動作およびソフトウエアの制御対象物の各種装置の挙動シミュレーションを構築する情報処理装置が、評価実行環境設定部１１１の評価実行環境となる。また、ソフトウエアの制御対象物の機器装置を使用しソフトウエア評価を行う場合には、ソフトウエアの制御対象の機械装置と該機械装置を動作させるための周辺装置および構成物の全てが、評価実行環境設定部１１１の評価実行環境となる。本例では、評価実行環境設定部１１１の評価実行環境をコンピュータシステム上で評価を行う場合と、機器装置を使用して評価を行う場合とのどちらとも限定されない。

＜実施形態１の評価シナリオ作成モジュール１０２の動作手順例＞
図７Ａは、実施形態１の評価シナリオ作成モジュール１０２の動作手順例を示すフローチャートである。かかるフローチャートに対応するプログラムは、図２のハードディスク３０２ｃに格納されており、主記憶部（ＲＡＭ）３０２ｂにロードされて中央処理部（ＣＰＵ）３０２ａにより実行される。

まず、ステップＳ６０１で、ＣＰＵ３０２ａは、図５Ａの表示画面からのオペレータの処理実行順序の設定により、図５Ｂのファイル処理実行順序情報を作成する。次に、ＣＰＵ３０２ａは、図４の表示画面からのオペレータの指示により、図３Ａの評価対象ファイル情報から評価対象ファイルを選択する。

ステップＳ６０３では、ＣＰＵ３０２ａは、ファイル処理実行順序情報に基づいて評価対象ファイルをソートする。かかるソート例については、以下、図７Ｂに従って詳細に説明する。ステップＳ６０４で、ＣＰＵ３０２ａは、ソートされてファイル処理実行順序に並べられた評価対象ファイルを図６のように評価シナリオ記憶部１０９に出力する。

以下、ＣＰＵ３０２ａは、評価シナリオ記憶部１０９の評価シナリオの順に評価実行部１１０で評価を実行するが、かかる処理については詳説しない。

（評価項目選択・ソート部１０６の処理手順例：Ｓ６０３−１）
ここで、図７ＡのステップＳ６０３における評価項目選択・ソート部１０６の処理の流れについて説明する。図７Ｂは、評価項目選択・ソート手段１０６の処理手順例を示したフローチャートである。オペレータが評価対象ファイルを指定した後、評価項目選定・ソート手段１０６が処理を開始する。

まず、ＣＰＵ３０２ａは、指定された評価対象ファイル情報のプログラムファイルに対応する評価項目を、図３Ｂのファイル−評価項目対応情報記憶部１０４から抽出する(Ｓ７０１)。次に、ＣＰＵ３０２ａは、評価対象ファイルのファイル処理実行順序を図５Ｂのファイル処理実行順序情報記憶部１０５から取得し(Ｓ７０２)する。そして、評価対象ファイルをキーにして、図３Ｂの評価項目と図５Ｂのファイルの処理実行順序の情報を関連付ける(Ｓ７０３)。

評価対象ファイルに対応する評価項目を、当該プログラムファイルのファイル処理実行順序が昇順（つまり、ファイル処理実行が早い順）になるようにソートする(Ｓ７０４)。評価項目のファイルの処理実行順序が全て昇順になったら、ソート処理を終了する(Ｓ７０５)。その結果、図６のような処理実行順序が全て昇順になった評価シナリオが作成される。

本実施形態１の評価シナリオ作成システムには、図２０の従来技術には無いファイル処理実行順序情報記憶部１０５と評価項目選定・ソート部１０６が付加され、評価対象ファイルの処理実行順序に従った評価が可能になる。その結果、評価所要時間が短縮される。

＜実施形態１を電子写真装置の制御ソフトウエアの評価に適用した例＞
ここで、電子写真装置を制御するためのファームウエアが複数のプログラムファイルから構成されるソフトウエアであり、この電子写真装置のファームウエアの評価シナリオを作成し、作成した評価シナリオで評価を行う場合を例に挙げる。

（電子写真装置８０１の構成例）
図８は、評価対象ファームウエアの制御対象装置である電子写真装置８０１の断面図である。

電子写真装置８０１は、図８に示すように記録紙Sを収納するカセット８０２を有する。前記カセット８０２上には、記録紙をピックアップするピックアップローラ８０３、更にピックアップされた記録紙をくり出す給紙ローラ８０４が設けられている。そして、給紙ローラ８０４の下流には給紙された記録紙Ｓを後述のレジストローラまで搬送する搬送ローラ８０５が配設されている。

前記搬送ローラ８０５の下流には、画像の副走査同期信号に記録紙Ｓを同期させて搬送するレジストローラ８０７が配設されており、該レジストローラ８０７の直前には用紙センサであるレジ前センサ８０６が配設されている。レジストローラ８０７の下流には、レーザスキャナ部８０９からのレーザ光により画像を形成する画像形成部８０８が配設されている。さらに、画像形成部８０８の下流には定着器８１０が配設されており、定着器８１０の下流には定着排紙ローラ８１１が、その下流には定着排紙センサ８１２が配接されている。定着排紙センサの下流には排紙トレイ８１５への搬送路がある。排紙トレイ８１５への搬送路下流には、排紙搬送ローラ８１３、８１４が配設されて、排紙トレイ８１５まで記録紙Ｓを搬送する。

電子写真装置８０１は、前記の機能の他に下記の機能を有し、電子写真装置のファームウエアは下記機能を制御している。ピックアップローラ８０３、給紙ローラ８０４、搬送ローラ８０５は、不図示の給紙モータを駆動源とする。また、レジストローラ８０７から下流の用紙搬送ローラ（画像形成部８０８の感光ドラム、転写ローラ、定着器８１０の定着ローラを含む）は、全て不図示のメインモータを駆動源としている。ピックアップローラ８０３は不図示のカム機構によって上下動する構成になっており、カム機構駆動のトリガを不図示のピックアップソレノイドによってコントロールする。レジストローラ８０７は不図示のレジストローラクラッチを介してメインモータからの駆動力を受けており、レジストローラクラッチの制御によって駆動停止が制御される。画像形成部８０８の光学機構は、半導体レーザと半導体レーザからのレーザ光を反射させるポリゴンミラーを回転させ感光ドラム上にレーザ光を照射させるスキャナモータとを有している。また、定着器には定着器を加熱するための定着ヒータ、定着器の温度を測定するサーミスタ、ヒータへの通電接続、または遮断をコントロールするリレーを有している。

以上に示した構成と機能を有する電子写真装置８０１は、カセット８０２から記録紙Ｓをピックアップし、ピックアップに続き記録紙Ｓを給紙する。次に、画像形成部８０８の感光ドラム上にレーザ光を照射し、レーザ照射部分に電荷を帯びたトナーを載せてトナー画像を形成し、搬送した記録紙Ｓに感光ドラム上に載ったトナー画像を転写する。トナー画像を転写した記録紙Ｓを定着器８１０へ搬送し、転写されたトナー画像を熱で記録紙Ｓに定着させ、記録紙Ｓを排紙トレイ８１５へ排紙し、印刷物を作成する。

（評価対象ファイル情報記憶部１０３の具体例）
本例での電子写真装置ファームウエアのプログラムファイル名および各プログラムファイルが行う処理を記憶する評価対象ファイル情報記憶部１０３の例を、図９に示す。図９のように、各プログラムファイル名９０１に対応してその処理内容９０２が記憶されている。

（ファイル−評価項目対応情報記憶部１０４の具体例）
ファイル−評価項目対応情報記憶部１０４は、各プログラムファイルでの評価項目を図１０Ａのように記憶している。図１０Ａでは、各プログラムファイル名１００１に対応する評価項目１００２が記憶されている。なお、本実施形態ではファイル−評価項目対応情報が予め準備されている例で説明するが、かかる各プログラムファイルでの評価項目をオペレータが設定できるように構成してもよい。

（ファイル処理実行順序情報記憶部１０５の具体例）
オペレータにより選択されたプログラムファイルについて、オペレータが処理実行順序を設定した結果のファイル処理実行順序情報記憶部１０５の構成例を、図１０Ｂに示す。図１０Ｂでは、選択された順の各プログラムファイル名１０１１に対応してオペレータが設定した処理実行順序１０１２が記憶されている。

（評価シナリオ作成の具体例）
続いて、評価シナリオ記憶部１０９に記憶する評価シナリオを作成する具体的手順を説明する。

まず、オペレータが、図４のような表示画面から評価対象ファイルを選択する。本例では、例えば図１０Ｃの上段に示すように、３つのプログラムファイルが選択されたとする。

評価対象ファイル選択情報１０６ａが更新されたことをトリガに、評価項目選定・ソート部１０６が処理を開始する。評価項目選定・ソート部１０６は、ファイル処理実行順序情報記憶部１０５の処理実行順序情報に基づいて、評価実行順序の昇順に選択されたプログラムファイルを並べ替える。そして、評価シナリオ出力部１０７が、シナリオ出力形式に従った形で評価シナリオ記憶部１０９に評価シナリオを出力する。

（評価シナリオ記憶部１０９の具体例）
図１０Ｃは、実施形態１のオペレータにより選択された評価対象ファイル選択情報１０６ａと、ソート後に出力された評価シナリオ記憶部１０９の構成例を示す図である。図１０Ｃの上段が評価対象ファイル選択情報１０６ａである。図１０Ｃは、前記図９，図１０Ａ，図１０Ｂ、図１０Ｃの上段に基づいて作成された評価シナリオ記憶部１０９の具体例である。図１０Ｃの下段では、選択されて処理実行順序でソートされた結果、処理実行順序ＩＤ１０２１に対応して、各プログラムファイル名１０２２、処理１０２３、評価項目１０２４が記憶されている。

評価項目選定・ソート部１０６で処理実行順にソートされた結果が評価シナリオ出力部１０７から出力され、評価実行部１１０は、かかる評価シナリオ記憶部１０９の記憶順にソフトウエアの評価を実行する。

（実施形態１と従来例との比較）
ここで、本例のファームウエアを評価対象のソフトウエアとした場合の評価所要時間について、従来例の場合の評価所要時間と比較する。図１１は、従来例と本実施形態１でのそれぞれの評価に要する時間を示したものである。

図１１の上段に、従来の評価シナリオ作成モジュール（図２１参照）で作成した評価シナリオで評価を行った場合（ケース１：１１０１）の評価所要時間を示す。ファームウエアの動作シーケンスを考慮せずに評価シナリオを作成する。その場合、（画像形成テスト→給紙制御テスト）の順で評価を行うように評価シナリオが作成された場合、評価に要する時間は画像形成テストの所要時間(図１１中の［1］)と給紙制御テストの所要時間(図１１中の［2］)を要する。

一方、図１１の下段は、本実施形態の評価シナリオ作成モジュール（図１参照）で作成した評価シナリオで評価を行った場合（ケース２：１１０２）の評価所要時間を示す。実施形態１の評価シナリオであれば、評価対象のソフトウエアのファイル処理実行順序を考慮して評価シナリオが作成されるので、（給紙制御テスト→画像形成テスト）の両者のテスト処理を実行しても、図１１中の［1］の時間しか要しない。よって、同じ評価項目を行う場合でも、本実施形態１で評価シナリオを作成した場合の方が、評価に要する時間が短縮され、効率よくソフトウエアテストを実行できる。

＜実施形態１の効果＞
上記のように、オペレータが指定した評価対象のプログラムファイルを評価対象ファイルとし、評価シナリオ作成対象のソフトウエアを構成するプログラムファイルの処理順序の情報に従って、評価シナリオを作成する。これにより、ソフトウエア評価項目の実行を、評価対象のソフトウエアの処理動作順序にそったものにすることができる。つまり、評価対象ソフトウエアの処理実行順序に沿って評価を行うことができるので、評価対象ソフトウエアの処理動作シーケンスの中で、効率よく評価を行うことができる。結果として、ソフトウエア評価に要する時間を削減でき、ソフトウエア評価効率をあげることができる。

［実施形態２］
上記実施形態１では、ソフトウエアを構成する複数のプログラムファイルに対して、評価対象ソフトウエアの動作シーケンスに基づいてファイル処理実行順序を付けて、前記ファイル処理実行順序に従って評価項目を並べ替えて評価シナリオを作成した。しかし、必ずしもプログラムファイルの動作シーケンス順と評価項目に関するプログラム動作順序が一致するわけではない。そこで、本実施形態２では、評価シナリオ作成モジュール内で、プログラムファイルに関連付けられた評価項目の全てに対してソフトウエアの動作シーケンスを考慮した評価項目の実行順序を示す情報を保持する。そして、ソフトウエア評価に必要な評価項目を選定し、選定した評価項目を評価項目実行順序に従って実施する評価項目評価シナリオを作成し、前記作成した評価シナリオを使ってソフトウエア評価を自動で実施するものである。

＜実施形態２のソフトウエア自動評価システムの機能構成例＞
図１２Ａは、本発明の実施形態２に係るソフトウエア自動評価システムの機能構成図である。

ソフトウエア自動評価システムは、実施形態２の評価シナリオ作成モジュール１２０２、評価シナリオ記憶部１２０９、評価実行部１１０、および評価実行環境設定部１１１から構成されている。ここで、図１と同じ参照番号の構成要素は機能及び動作が基本的に同様であり、以下では実施形態１との相違点を説明する。なお、作成された評価シナリオを記憶する評価シナリオ記憶部１２０９の役割は実施形態１と同様であるが、実施形態１との相違を明瞭にするためその構成を変化させている。

＜実施形態２の評価シナリオ作成モジュール１２０２の構成例＞
評価シナリオ作成モジュール１２０２は、実施形態１のファイル処理実行順序情報１０５が評価項目実行順序情報１２０５に変更になっている。その結果、評価項目選定・ソート部１２０６の動作が実施形態１と多少異なっている。他の図１と同じ参照番号の構成要素は、同様の機能及び動作であるので説明は省く。

（評価項目実行順序情報記憶部１２０５）
評価項目実行順序情報１２０５は、ファイル−評価項目対応情報１０４で扱われている評価項目における、評価対象ソフトウエアの動作シーケンス中での評価実施順序を示した情報である。図１２Ｂに、前述の実施形態１の具体例に対応する、評価項目実行順序情報１２０５の構成例を示す。評価項目実行順序情報１２０５には、評価項目１２１１に対応して処理実行順序１２１２が記憶されている。このように、評価項目１２１１に対応する処理実行順序格納がなされている。

（評価項目選定・ソート部１２０６）
また、評価項目選定・ソート部１２０６は、ファイル−評価項目対応情報１０４と評価項目実行順序情報１２０５から評価項目選定と評価項目の評価実行順決定に関する情報を抽出する。そして、評価項目を評価実行順序情報に従って評価実行順にソートする。図１２Ｃは、本実施形態２における、評価対象ファイル選択情報１２０６ａと、ソート後の評価シナリオ記憶部１２０９の評価シナリオとの構成例を示す図である。図１２Ｃの上段が評価対象ファイル選択情報１２０６ａである。図１２Ｃは、前記図９，図１０Ａ，図１２Ｂ、図１２Ｃの上段に基づいて作成された評価シナリオ記憶部１２０９の具体例である。図１２Ｃの下段では、選択されて処理実行順序でソートされた結果、処理実行順序ＩＤ１２２１に対応して、各評価項目１２２２、プログラムファイル名１２２３、処理１２２４が記憶されている。

評価項目選定・ソート部１２０６で処理実行順にソートされた結果が評価シナリオ出力部１０７から出力され、評価実行部１１０は、かかる評価シナリオ記憶部１２０９の記憶順にソフトウエアの評価を実行する。

＜実施形態２の評価シナリオ作成モジュール１２０２の動作手順例＞
図７Ａは、実施形態２の評価シナリオ作成モジュール１２０２の評価項目選定・ソート部１２０６の動作手順例を示すフローチャートである。かかるフローチャートに対応するプログラムは、図２のハードディスク３０２ｃに格納されており、主記憶部（ＲＡＭ）３０２ｂにロードされて中央処理部（ＣＰＵ）３０２ａにより実行される。なお、評価シナリオ作成モジュール１２０２の全体の手順は、実施形態１の図７Ａと同様である。

（評価項目選定・ソート部１２０６の動作手順例：Ｓ６０３−２）
まず、評価項目選定・ソート部１２０６は、評価対象ファイルとして指定されているプログラムファイルに対応する評価項目をファイル−評価項目対応情報記憶部１０３から抽出する(Ｓ１３０１)。次に、ステップＳ１３０１で抽出した評価項目をキーとして評価項目実行順序の情報を評価項目実行順序情報記憶部１２０５から抽出する(Ｓ１３０２)。続けて、ステップＳ１３０１で抽出した評価項目をキーとして評価項目と当該評価項目の実行順序情報を関連付ける(Ｓ１３０３)。この結果が、図１２Ｃの上段の評価対象ファイル選択情報１２０６ａである。

ステップＳ１３０３で関連付けを行った評価項目と当該評価項目の実行順序が昇順になるように評価項目をソートする(Ｓ１３０４)。そして評価項目の実行順序が全て昇順になったら(Ｓ１３０５)、評価項目選定・ソート処理を終了する。ソートを終了した後の結果が、図１２Ｃの下段である。

＜実施形態２の効果＞
上記のように、評価シナリオ作成システムのオペレータが、評価対象のプログラムファイルを指定し、ソフトウエアが行う処理動作上の処理実行シーケンスに基づいて決定した評価項目の実施順序に従って評価シナリオを作成する。これにより、プログラムファイルの動作シーケンス順と評価項目に関するプログラム動作順序が一致していない場合においても、ソフトウエア評価項目の実行を、評価対象のソフトウエアの処理動作順序と同じようにすることができる。つまり、評価対象ソフトウエアの処理実行順序に沿って評価を行うことができるので、評価対象ソフトウエアの処理動作シーケンスの中で、効率よく評価を行うことができる。

［実施形態３］
本発明の実施形態１及び２では、ソフトウエア自動評価システムで扱う評価対象のソフトウエアが固定であった。ソフトウエア自動評価システムで、評価シナリオを作成できるソフトウエアが固定であると、作成できる評価シナリオは、ある１つのソフトウエアに対するものだけである。そこで、本実施形態３では、１つの評価シナリオ作成モジュールで、複数のソフトウエアに対する評価シナリオを作成できるように、複数のソフトウエアに関する評価シナリオ作成に必要な情報を評価シナリオ作成システム内に格納する。そして、オペレータから指定された評価シナリオ作成対象ソフトウエアにあわせて、評価シナリオ作成に必要な情報の参照先を変更し、評価シナリオを作成するものである。

＜実施形態３のソフトウエア自動評価システムの機能構成例＞
図１４は、本実施形態３に係るソフトウエア自動評価システムの機能構成例を示す図である。実施形態１と同様、実施形態３のソフトウエア自動評価システムも、評価シナリオ作成モジュール１４０２、評価シナリオ記憶部１０９、評価実行部１１０、評価実行環境１１１から構成されている。評価シナリオ１０９、評価実行部１１０、および評価実行環境１１１は、実施形態１とその機能及び動作は同様である。以下、実施形態１との相違部分である評価シナリオ作成モジュール１４０２について説明する。

＜実施形態３の評価シナリオ作成モジュール１４０２の構成例＞
実施形態３の評価シナリオ作成モジュール１４０２は、実施形態１の評価シナリオ作成モジュール１０２に、新たに評価シナリオ作成対象ソフトウエア指定情報記憶部１４１２が加わったものである。また、図１４中の評価対象ファイル情報記憶部１４０３、ファイル−評価項目対応情報記憶部１４０４、ファイル処理実行順序情報記憶部１４０５は、選択される各評価対象ソフトウエアに対応して複数の組が記憶される。それぞれの構成は、実施形態１と同様である。

新規情報である評価シナリオ作成対象ソフトウエア指定情報記憶部１４１２には、オペレータが指定した評価シナリオ作成対象のソフトウエアに対応して、上記使用される各情報を読み出すためのプログラムＩＤが記憶される。オペレータは、インタフェースモジュール１０８を介して、評価シナリオ作成対象のソフトウエアを指定する。オペレータが指定した評価シナリオ作成対象ソフトウエアの情報は、評価シナリオ作成モジュール１４０２に格納される。

図１５Ｂに、評価シナリオ作成対象ソフトウエア情報記憶部１４１２の構成例を示す。評価シナリオ作成対象ソフトウエア情報記憶部１４１２には、評価シナリオ作成モジュール１４０２に準備されたソフトウエア名１５１２に対応して、ファイルＩＤ１５１３が記憶されている。オペレータが選択したソフトウエアには選択フラグ１５１１に"1"がセットされる。評価シナリオ作成モジュール１４０２は、選択フラグ１５１１に"1"がセットされたプログラムについて、ファイルＩＤにより対応する各情報を使用して、実施形態１と同様の評価シナリ作成処理を行う。

ここで、オペレータが評価シナリオ作成対象ソフトウエア情報記憶部１４１２に格納されたプログラムから評価対象プログラムを設定する方法例を挙げる。図１５Ａは、オペレータが対象ソフトウエアを選択するＧＵＩの例である。図１５Ａのシナリオ作成対象ソフトウエア選択ウィンドウ１５０１は、オペレータ１０１と評価シナリオ作成モジュール１４０２を結ぶインタフェースである。図１４中のインタフェースモジュール１０８を使用してシナリオ作成対象のソフトウエア情報がやりとりされる。

シナリオ作成対象ソフトウエア選択ウィンドウ１５０１は、ソフトウエア名表示欄１５０２と、ソフトウエア選択ボックス１５０３、ＯＫボタン１５０４、キャンセルボタン１５０５から構成される。ソフトウエア名表示欄１５０２は、ファイル−評価項目対応情報１４０４を定義しているソフトウエア名が表示される。オペレータは、マウス３０５を使用して、シナリオ作成対象のソフトウエアに対応するソフトウエア選択ボックス１５０３を選択する。マウス３０５でＯＫボタン１５０４をクリックすると、シナリオ作成対象ソフトウエアの選択ボックスの情報を確定する。一方、キャンセルボタン１５０５をクリックすると、シナリオ作成対象ソフトウエア選択ウィンドウ１５０１の表示以降、オペレータが行った設定変更を全て無効にする。

上述のように、実施形態３では、複数のソフトウエアの評価シナリオを作成するために、ソフトウエアごとにファイル−評価項目対応情報を保持している。また、ソフトウエアごとに、当該プログラムファイルが属するソフトウエアの情報と評価項目、またはファイル処理実行順序を保持する。そうすることで、オペレータが指定した評価シナリオ作成対象のソフトウエアに対するプログラムファイル、および前記プログラムファイルに対するファイル処理実行順序と評価項目を抽出することができる。

なお、実施形態３では、評価シナリオ作成時の評価項目並び順を決める際、実施形態１のようにファイル処理実行順序情報に従った。しかし、実施形態２のように、ファイル処理実行順序情報ではなく評価項目実行順序情報に従って評価シナリオ作成時の評価項目並び順を決める評価シナリオ作成モジュールにおいても、実施形態３で示した方法を使用することができる。

＜実施形態３の効果＞
上記のように、オペレータが評価シナリオ作成対象ソフトウエアを指定し、前記指定したソフトウエアに対する評価シナリオを作成することができる。これにより、１つの評価シナリオ作成システムで複数のソフトウエアの評価シナリオを作成、評価することができ、ユーザビリティーを向上することができる。

［実施形態４］
本発明の実施形態１乃至３では、評価シナリオ作成システムのオペレータが評価項目選定対象ファイルを選択していた。本実施形態４は、複数のプログラムファイルで構成され、かつ、プログラムファイルバージョン管理システムや構成管理システムなどプログラムファイルの変更履歴を残すプログラムファイルが管理されているソフトウエアを評価する場合の処理を提案する。この場合、実施形態４において、ソフトウエアを構成するプログラムファイルの更新情報から、プログラムファイルの更新を定期的にチェックする。そして、更新されたプログラムファイルを検出し、検出したプログラムファイルに関する評価項目からソフトウエアの動作シーケンスを考慮した評価シナリオを作成するものである。すなわち、プログラムファイルの変更情報から評価対象ファイルを自動で決定する。そこで、評価シナリオ作成システムのオペレータが評価対象ファイルを指定することなく、前回の評価シナリオ作成以降に変更されたプログラムファイルに関する評価項目のシナリオを作成することができる。よって、評価対象ファイル指定からソフトウエア評価実施までの全てを自動で実施することができ、ソフトウエア評価の工数を削減し、効率よくソフトウエア評価を実施できる。なお、実施形態４では、ソフトウエアの評価を実行する環境として、コンピュータ上で実現されるシミュレーションシステムを使用する場合について説明する。

＜実施形態４のソフトウエア自動評価システムの機能構成例＞
図１６は、実施形態４に係るソフトウエア自動評価システムの機能構成例を示す図である。

図１６に示すように、このソフトウエア自動評価システムは、評価シナリオ作成モジュール起動部１６０１と、評価シナリオ作成モジュール１６０２とを有する。また、評価シナリオ記憶部１０９、評価実行部１６１０、評価実行環境記憶部１６１１、および、システムを構成するファイル管理システム１６１４を有する。以下、各構成要素の機能について説明する。

＜実施形態４の評価シナリオ作成トリガ発生部１６０１の構成例＞
評価シナリオ作成トリガ発生部１６０１は、評価シナリオを作成するトリガを発生させ、評価シナリオ作成モジュール１６０２を起動する。実施形態１乃至３では、評価シナリオ作成システムのオペレータが行う評価シナリオ作成対象ファイルの選択が、評価シナリオ作成のトリガとなっていた。本実施形態４では、評価シナリオ作成のトリガをかけるのは、オペレータではなく、評価シナリオ作成システムが実装されているコンピュータシステム上の機能である評価シナリオ作成トリガ発生部１６０１である。

評価シナリオ作成トリガ発生１６０１は、評価シナリオ作成モジュール１６０２を起動させる機能を有する。Windows（登録商標） OSでは、標準で用意されているアプリケーション"タスク スケジューラ"で、指定日時にバッチ処理を行うことができる。例えば、この"タスク スケジューラ"の機能を利用し、評価シナリオ作成トリガを発生するバッチ処理を作成し、"タスク スケジューラ"で指定日時にバッチ処理を実行することで評価シナリオ作成トリガを発生することができる。もちろん、評価シナリオ作成モジュールの起動は、前述した方法に限定するものではない。

＜実施形態４のファイル管理システム１６１４の構成例＞
ファイル管理システム１６１４は、管理対象のソフトウエアを構成する全てのプログラムファイル（１６１５−１、１６１５−２）と、ファイルごとの更新情報（１６１６−１、１６１６−２）を管理するシステムである。ファイル更新履歴記憶であるファイル更新情報１６１６−１、１６１６−２は、ファイルごとにファイルの更新日時を記録するもの、ファイルバージョンを残すもの、更新日時とファイルバージョンの両方を残すもの、などがある。

図１７に、あるプログラムファイルのファイルバージョンとファイル更新日時情報の更新履歴を残しているファイル更新情報の例を挙げる。図１７中の１７０１の"head 1.21"は、当該プログラムファイルの最新バージョンを示している。１７０２は、当該プログラムファイルに付けられたタグ名とファイルバージョンの対応を示している。１７０３は、当該ファイルのファイルバージョン１．２１のファイル変更日時を示している。図１７に示したようなファイル更新情報、ファイル管理システムについては、既存のシステムであるので、詳述は省略する。

＜実施形態４の評価シナリオ作成モジュール１６０２の構成例＞
評価シナリオ作成モジュール１６０２の構成要素において、先の実施形態１〜３と同様の構成要素は同じ参照番号で示している。

評価シナリオ作成モジュール１６０２は、評価シナリオを作成する対象のソフトウエアを定義した評価シナリオ作成対象ソフトウエア指定情報記憶部１４１２（図１５Ｂ参照）を有する。また、評価対象として選択されたソフトウエアを構成するプログラムファイルの中から、予め定められた条件を満たすプログラムファイルを評価対象のプログラムファイルとして抽出する評価対象ファイル抽出部１６０８を有する。また、ファイル−評価項目対応情報記憶部１４０４と、ファイル処理実行順序情報記憶部１４０５と、評価項目選定・ソート部１０６、および評価シナリオ出力部１０７から構成されている。以下、先の実施形態１〜３で既に説明した構成要素についての説明は省く。

（評価対象ファイル抽出部１６０８）
評価対象ファイル抽出部１６０８は、評価対象ファイルの抽出条件情報（以下、評価対象ファイル抽出条件情報と記す）記憶部１６１３と、評価対象ファイル情報記憶部１４０３を有する。評価対象ファイルの抽出条件は、ファイル更新日時もしくはファイルに付けられたタグ名である。評価対象ファイル抽出部１６０８は、評価対象ファイル抽出時に使用した評価対象ファイル抽出条件を評価対象ファイル抽出条件情報１６１３に残す。評価対象ファイル抽出条件がファイル更新日時である場合、評価対象ファイル抽出を実施した日時情報を、評価対象ファイル抽出条件がタグ名である場合、評価対象ファイルを抽出に使用したタグ名を、評価対象ファイル抽出条件情報記憶部１６１３に残す。

評価対象ファイル抽出部１６０８は、評価シナリオ作成対象ソフトウエア指定情報１４１２で示されるソフトウエアのファイル更新情報１６１５を読み取り、評価対象ファイル抽出条件に合致するプログラムファイルを検索する。

評価対象ファイル抽出条件がファイル更新日時である場合、ファイル管理システムの保持するファイル更新情報１６１５と評価対象ファイル抽出条件情報１６１３が示す日時とを比較する。比較の結果として、評価対象ファイル抽出条件情報１６１３が示す日時以降に更新されたプログラムファイルを評価対象プログラムファイルとし抽出する。評価対象ファイル抽出条件がタグ名である場合、ファイル管理システムの保持するファイル更新情報１６１５と評価対象ファイル抽出条件情報が示すタグ名が付けられた日時とを比較する。比較の結果として、評価対象ファイル抽出条件情報１６１３が示すタグ名が付けられた日時以降に更新されたプログラムファイルを評価対象プログラムファイルとし抽出する。

なお、評価対象ファイル抽出部１６０８は、評価シナリオ作成対象ソフトウエア指定情報記憶部１４１２に記憶されているソフトウエアごとに、評価対象ファイル抽出条件情報を保持している。また、評価対象ファイル抽出時点で、評価実行部１６１０に対してファイル管理システムの評価対象ソフトウエアの実行ファイル保存を指示（以下、実行ファイル保存指示と記す）する機能を有している。

＜実施形態４の評価シナリオ作成モジュール１６０２の動作手順例＞
以下に、評価対象ファイル抽出部１６０８が評価対象ファイルを抽出するまでの処理フローを説明する。なお、評価シナリオ作成モジュール１６０２の全体の手順は、実施形態１の図７Ａと同様であり、ステップＳ６０２がオペレータの指定によらず、評価対象ファイルの抽出手順に置き換わる。

図１８は、評価対象ファイル抽出部１６０８が評価対象のファイルを検出する処理手順例を示すフローチャートである。かかるフローチャートに対応するプログラムは、図２のハードディスク３０２ｃに格納されており、主記憶部（ＲＡＭ）３０２ｂにロードされて中央処理部（ＣＰＵ）３０２ａにより実行される。実施形態１で既述したように、評価シナリオ作成モジュールでは、プログラムファイル、評価項目の全てに識別ＩＤをつけて管理する。本実施形態４では、評価シナリオ作成ソフトウエア指定情報記憶部１４１２に記憶されている評価対象ソフトウエアを構成するプログラムファイルに、整数値のファイルＩＤをつけている。かかる整数値のファイルＩＤは、評価対象ソフトウエアを識別するＩＤと該評価対象ソフトウエアを構成するプログラムファイルを識別するＩＤとからなるものとする。

まず、評価ファイル抽出部１６０８は、評価シナリオ作成トリガ発生部１６０１から評価シナリオ作成のトリガを受けると、処理対象のプログラムファイルを示すファイルＩＤ情報を"１"にする（Ｓ１８０１）。そして、評価シナリオ作成対象ソフトウエア指定情報記憶部１４１２に記憶されるソフトウエアのファイルＩＤ情報が示すファイル更新情報１６１６があるかをチェックする（Ｓ１８０２）。ステップＳ１８０２で読み込むファイル更新情報１６１６がある場合、ファイル更新情報１６１６の読込みを行う（Ｓ１８０３）。

次に、ステップＳ１８０３で読み込んだ情報が、評価対象ファイル抽出条件情報が示すファイル更新日時もしくはタグ名が付けられた日時以降に更新されたプログラムファイルであるかをチェックする（Ｓ１８０４）。ステップＳ１８０４でのチェックの結果、ファイル更新情報１６１６が評価対象ファイル抽出条件情報以降の情報であった場合、当該ファイルを評価対象ファイルと判断する。そして、当該ファイル情報を含むソフトウエアとファイルとを識別する情報を評価対象ファイル情報情報１０６ａに記録する（Ｓ１８０５）。

ステップＳ１８０５の処理後、処理対象のプログラムファイルを示すファイルＩＤ情報をインクリメントし（Ｓ１８０６）、ファイルＩＤ情報が評価対象ソフトウエアを構成するプログラムファイル数を超えていないかをチェックする（Ｓ１８０７）。ステップＳ１８０７のチェックの結果、ファイルＩＤ情報がプログラムファイル数を越えていなければ、ステップＳ１８０２に戻り、読み込むファイル更新情報１６１６があるかをチェックする。ステップＳ１８０７のチェックで、ファイルＩＤ情報がプログラムファイル数を越えていれば、評価対象ファイル抽出処理を終える。

なお、図１８の更新プログラムファイルチェック、すなわち、評価対象ファイルの抽出処理は、評価シナリオ作成トリガ発生部１６０１が発生するトリガを受けて行う。

評価項目選定・ソート部１０６によるソートの結果、評価シナリオ出力部１０７から出力されて評価シナリオ記憶部１０９に記憶される評価シナリオは、各ソフトウエア単位で処理実行順序に並んだものとなる。なお、ソフトウエア間にも実行処理順序の関連がある場合は、ソフトウエアの実行順序も考慮されてよいが、煩雑さを避けるためここでは説明は省く。

＜実施形態４の評価実行部１６１０の構成例＞
評価実行部１６１０の基本的な機能は、実施形態１乃至３と同様である。ただし、実施形態４の評価実行部１６１０は、評価実行部１４１０の機能に加えて次ぎの記憶を有する。すなわち、評価対象ファイル抽出部１６０８からの実行ファイル保存指示を受け、評価対象ソフトウエアの挙動シミュレーション時に使用するソフトウエア実行ファイル１６１７を保存して保持する機能を有する。評価実行部１６１０が、評価対象ソフトウエアの実行ファイルを保存する方法は、公知の技術であるので詳述は避ける。かかるソフトウエア実行ファイル１６１７による評価実行により、プログラムファイル更新が行われる。

＜実施形態４の評価実行環境記憶部１６１１の構成例＞
評価実行環境１６１１の基本的な機能は、実施形態１乃至３と同様である。実施形態４では、評価実行環境記憶部１６１１は、組み込み計算機搭載ソフトウエアと該計算機の制御対象物の各種機能の挙動をシミュレーションする情報処理装置である。すなわち、情報処理装置は、組み込み計算機搭載ソフトウエアを異なる計算機上で実行する計算機シミュレータと制御対象物の各種機能を模擬する複数の装置シミュレータとから構成されるシミュレーション環境１６１８である。シミュレーション環境１６１８は、評価実行部１６１０が保持しているソフトウエア実行ファイル１６１７を使用し、評価対象ソフトウエアの動作シミュレーションを行う。

＜実施形態４の効果＞
上記のように、ファイル管理システムの保持するプログラムファイルの更新情報から、評価対象ファイルを自動で決定する。そのため、評価シナリオ作成システムのオペレータが評価対象ファイルを指定することなく、前回の評価シナリオ作成以降に変更されたプログラムファイルに関する評価項目のシナリオを作成することができる。よって、評価対象ファイル指定からソフトウエア評価実施までの全てを自動で実施することができ、ソフトウエア評価の工数を削減し、効率よくソフトウエア評価を実施できる。

［実施形態５］
実施形態４では、ソフトウエア評価を実行するシミュレーション環境が固定であった。しかし、評価対象のプログラムファイルに応じて評価項目はさまざまである。従って、評価項目の全てを１つのシミュレーションモデルで実施できるようにするには、１つのシミュレーションモデルに多くの機能をもたせるため、シミュレーションモデルが複雑で大規模になってしまう。また、評価項目の全てを１つのシミュレーションモデルで実施するため、評価項目によっては必要以上のシミュレーション精度のシミュレーションモデルを使用して、ソフトウエア評価を実行することになる。そのため、シミュレーションを実行する計算機への処理負荷を増大させることになる。

そこで、実施形態５では、シミュレーションシステムを使用しソフトウエア評価を行う場合に、評価シナリオ作成モジュールが評価項目と前記評価項目実施時に使用するシミュレーションモデルとを対応付けた情報を保持する。そして、作成した評価シナリオでソフトウエア評価を実施する時に、評価シナリオ内の評価項目に応じて、ソフトウエア評価に適したシミュレーション環境に切替えるものである。評価実行環境を評価シナリオに応じてシミュレーションモデルを切替えることで、シミュレーションを実行する計算機への処理負荷を必要最小限にとどめつつ、目的に応じて必要十分な精度をもったシミュレーション環境でソフトウエアの評価ができる。

＜実施形態５のソフトウエア自動評価システムの機能構成例＞
図１９は、実施形態５に係るソフトウエア自動評価システムの機能構成例を示す図である。

実施形態５のソフトウエア自動評価システムは、以下の構成からなる。すなわち、評価シナリオ作成トリガ発生部１６０１、評価シナリオ作成モジュール１９０２、ファイル管理システム１６１４、評価シナリオ記憶部１０９、評価実行部１９１０、および評価実行環境記憶部１９１１から構成されている。なお、実施形態１乃至４と同様の構成要素には、同じ参照番号を付与し、説明は省略する。

実施形態５では、評価シナリオ作成モジュール１９０２が作成した評価シナリオ記憶部１０９の評価シナリオを構成する評価項目に応じて、評価実行環境記憶部１９１１のシミュレーションモデル切替えを実現する。そのため、実施形態５の評価シナリオ作成モジュール１９０２には、実施形態４に１つの新規情報が加わる。また、評価実行部１９１０にも実施形態４に１つの新規手段が加わる。更に、評価実行環境記憶部１９１１では、実施形態４に１つの新規手段が加わり、また、シミュレーション環境１９１７が複数のシミュレーションモデル１９１７−１〜１９１７−３を有した構成になっている。

＜実施形態５の評価シナリオ作成モジュール１９０２の構成例＞
評価シナリオ作成モジュール１９０２に加わった新規情報とは、評価項目と前記評価項目実施時に使用するシミュレーションモデルとを対応付けた評価項目−シミュレーションモデル対応情報記憶部１９２０である。評価シナリオ作成モジュール１９０２が、ファイル−評価項目対応情報記憶部１０４と評価項目−シミュレーションモデル対応情報記憶部１９２０とを有する。それで、評価項目に適したシミュレーションモデルで評価対象ファイルに関する評価項目を実行することができる。

＜実施形態５の評価実行部１９１０の構成例＞
評価実行部１９１０には、評価実行環境記憶部１９１１のシミュレーションモデル１９１７のいずれのミュレーションモデルを使用するかを評価実行環境記憶部１９１１に対して指定するモデル指定部１９１８が新規手段として加わっている。

＜実施形態５の評価実行環境記憶部１９１１の構成例＞
評価実行環境記憶部１９１１には、モデル指定部１９１８から指定されたモデルにシミュレーションモデルを切替えるモデル切替部１９１９が加わっている。

＜実施形態５の評価実行例＞
評価実行部１９１０は、評価シナリオ記憶部１０９の評価シナリオの次の評価項目を開始する前に、評価シナリオ作成モジュール１９０２に、次に実施する評価項目を通知する。次に、実施する評価項目の通知を受けた評価シナリオ作成モジュール１９０２は、評価項目−シミュレーションモデル対応情報記憶部１９２０を参照し、評価実行部１９１０から通知された評価項目に対するシミュレーションモデルの情報を返す。評価実行部１９１０は、評価シナリオ作成モジュール１９０２から返送されたシミュレーションモデル情報に従い、モデル指定部１９１８から評価実行環境記憶部１９１１に、次の評価項目で使用するシミュレーションモデルの指定を行う。評価実行環境記憶部１９１１は、評価実行部１９１０からのモデル指定指示を受け取ると、モデル切替部１９１９が、モデル指定部１９１８から指定されたシミュレーションモデルに切替える。なお、評価シナリオに応じてシミュレーションモデルを切替える方法は、公知であるため詳述は避ける。

＜実施形態５の効果＞
上記のように、評価シナリオ作成モジュールが、評価項目の評価実施に適したシミュレーションモデルの情報を管理し、評価シナリオに応じてシミュレーションモデルを切替える。これにより、シミュレーションを実行する計算機への処理負荷を必要最小限にとどめつつ、目的に応じて必要十分な精度をもったシミュレーション環境でソフトウエアの評価ができるようになる。結果として、ソフトウエア評価効率を向上することができる。

［他の実施形態］
なお、上記実施形態１乃至５は、それぞれ独立に説明したが、これらの特徴を適切に組み合わせることも可能であり、これらも本発明に含まれる。

また、様々な実施形態を詳述したが、本発明は、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。例えば、スキャナ、プリンタ、ＰＣ、複写機、複合機及びファクシミリ装置の如くである。

本発明は、前述した実施形態の各機能を実現するソフトウェアプログラムを、システム若しくは装置に対して直接または遠隔から供給する。そして、そのシステム等に含まれるコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。

従って、本発明の機能・処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、上記機能・処理を実現するためのコンピュータプログラム自体も本発明の一つである。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、記録媒体としては、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

また、プログラムは、クライアントコンピュータのブラウザを用いてインターネット／イントラネットのウェブサイトからダウンロードしてもよい。すなわち、該ウェブサイトから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードしてもよいのである。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるウェブサイトからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明の構成要件となる場合がある。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布してもよい。この場合、所定条件をクリアしたユーザにのみ、インターネット／イントラネットを介してウェブサイトから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報で暗号化されたプログラムを復号して実行し、プログラムをコンピュータにインストールしてもよい。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現されてもよい。なお、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ってもよい。もちろん、この場合も、前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ってもよい。このようにして、前述した実施形態の機能が実現されることもある。

実施形態１に係るソフトウエア自動評価システムの機能構成例を示す図である。 本実施形態に係るソフトウエア自動評価システムの概略構成例を示す図である。 実施形態１の評価対象ファイル情報記憶部１０３の構成例を示す図である。 実施形態１のファイル−評価項目対応情報記憶記憶部１０４の構成例を示す図である。 本実施形態に係る評価対象ファイル情報を設定するＧＵＩの例を示した図である。 本実施形態に係るファイル処理実行順序情報を設定するＧＵＩの例を示した図である。 実施形態１に係るファイル処理実行順序情報記憶部１０５の構成例を示した図である。 実施形態１の評価シナリオ作成例を示す図である。 本実施形態の評価シナリオ作成モジュールの処理手順を示すフローチャートである。 実施形態１に係る評価項目選択・ソート部の処理手順例を示すフローチャートである。 本実施形態で示す具体例の評価対象ファームウエアの制御対象装置である電子写真装置の断面図である。 本実施形態で示す具体例の電子写真装置ファームウエアのプログラムファイル構成例を示した図である。 本実施形態で示す具体例のファイル−評価項目対応情報の構成例を示した図である。 実施形態１で示す具体例のファイル処理実行順序情報の構成例を示した図である。 実施形態１で示す具体例の評価シナリオ作成例を示す図である。 実施形態１で示す具体例における、従来の評価シナリオと本発明の評価シナリオで評価を実施した際の評価所要時間の関係についての模式図である。 実施形態２に係るソフトウエア自動評価システムの機能構成例を示す図である。 実施形態２で示す具体例の評価項目実行順序情報記憶部１２０５の構成例を示す図である。 実施形態２で示す具体例の評価シナリオ作成例を示す図である。 実施形態２に係る評価項目選択・ソート部の処理手順例を示すフローチャートである。 実施形態３に係るソフトウエア自動評価システムの機能構成例を示す図である。 実施形態３に係る評価シナリオ作成対象ソフトウエア情報を設定するＧＵＩの例を示した図である。 実施形態３に係る評価シナリオ作成対象ソフトウエア指定情報記憶部１４１２の構成例を示す図である。 実施形態４に係るソフトウエア自動評価システムの機能構成例を示す図である。 実施形態４に係るファイル更新情報の例を示した図である。 実施形態４に係る評価対象ファイル抽出部の処理手順例を示すフローチャートである。 実施形態５に係るソフトウエア自動評価システムの機能構成例を示す図である。 従来のソフトウエア自動評価システムの機能構成例を示す図である。 評価項目実行順と評価所要時間の関係についての模式図である。

Claims (22)

1. 複数のプログラムファイルで構成される装置制御用のソフトウエアの評価を行う情報処理装置であって、
   前記複数のプログラムファイルから評価対象の複数のプログラムファイルを選択するためのプログラムファイル選択手段と、
   制御対象の装置の動作手順に対応させて設定される前記選択されたプログラムファイルの実行順序に従う読み出しが可能なように、前記選択されたプログラムファイルを記憶するプログラムファイル記憶手段と、
   前記プログラムファイル記憶手段から、前記選択されたプログラムファイルの実行順序に従って前記選択されたプログラムファイルを順に読み出し、動作のシミュレーションによりプログラムファイルに対応する評価項目の評価を行うソフトウエア評価手段とを有することを特徴とする情報処理装置。
2. 前記プログラムファイル選択手段は、オペレータにより前記複数のプログラムファイルから評価対象の複数のプログラムファイルを選択するためのオペレータインタフェースを含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記複数のプログラムファイルの実行順序を指定するための実行順序指定手段を更に有し、
   前記プログラムファイル記憶手段は、前記指定された実行順序に従う順序で前記選択されたプログラムファイルを記憶することを特徴とする請求項１に記載の情報処理装置。
4. 前記実行順序指定手段は、オペレータにより前記選択されたプログラムファイルの実行順序を指定するためのオペレータインタフェースを含むことを特徴とする請求項３に記載の情報処理装置。
5. 前記プログラムファイル記憶手段は、前記複数のプログラムファイルの評価項目に対応して実行順序を格納する実行順序格納手段を有し、前記選択されたプログラムファイルの評価項目に対応して格納された実行順序に従う順序で前記選択されたプログラムファイルを記憶することを特徴とする請求項１に記載の情報処理装置。
6. 複数のソフトウエアから評価の対象となるソフトウエアを選択するためのソフトウエア選択手段を更に有し、
   前記プログラムファイル選択手段は、前記選択されたソフトウエアを構成する前記複数のプログラムファイルから評価対象の複数のプログラムファイル選択することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記ソフトウエア選択手段は、オペレータにより前記複数のソフトウエアから評価対象となるソフトウエアを選択するためのオペレータインタフェースを含むことを特徴とする請求項６に記載の情報処理装置。
8. 前記複数のプログラムファイルの更新履歴を記憶する更新履歴記憶手段と、
   前記更新履歴記憶手段に記憶された更新履歴に基づいて、対応するプログラムファイルを更新するプログラムファイル更新手段とを更に有し、
   前記プログラムファイル記憶手段は、前記更新されたプログラムファイルを実行順序で記憶することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記ソフトウエア評価手段は、
   前記複数のプログラムファイルの評価項目に対応して異なる複数の制御対象の装置のシミュレーションモデルを有し、
   前記選択されたプログラムファイルの評価項目に対応して指定された制御対象の装置のシミュレーションモデルを使って、前記選択されたプログラムファイルの動作のシミュレーションにより対応する評価項目の評価を行うことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記装置制御用のソフトウエアは、装置を制御するＣＰＵが実行するソフトウエアであることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 複数のプログラムファイルで構成される装置制御用のソフトウエアの評価を行うソフトウエア評価方法であって、
    前記複数のプログラムファイルから評価対象の複数のプログラムファイルを選択するためのプログラムファイル選択工程と、
    制御対象の装置の動作手順に対応させて設定される前記選択されたプログラムファイルの実行順序に従った読み出しが可能なように、前記選択されたプログラムファイルをプログラムファイル記憶手段に記憶するプログラムファイル記憶工程と、
    前記プログラムファイル記憶手段から、前記選択されたプログラムファイルの実行順序に従って前記選択されたプログラムファイルを順に読み出し、動作のシミュレーションによりプログラムファイルに対応する評価項目の評価を行うソフトウエア評価工程とを有することを特徴とするソフトウエア評価方法。
12. 前記プログラムファイル選択工程では、オペレータによりオペレータインタフェースを介して前記複数のプログラムファイルから評価対象のプログラムファイルが選択されることを特徴とする請求項１１に記載のソフトウエア評価方法。
13. 前記プログラムファイル記憶工程は、前記選択されたプログラムファイルの実行順序を指定するための実行順序指定工程とを有し、前記指定された実行順序に従う順序で前記選択されたプログラムファイルを記憶することを特徴とする請求項１１に記載のソフトウエア評価方法。
14. 前記実行順序指定工程では、オペレータによりオペレータインタフェースを介して前記選択されたプログラムファイルの実行順序が指定されることを特徴とする請求項１３に記載のソフトウエア評価方法。
15. 前記プログラムファイル記憶工程では、前記選択されたプログラムファイルの評価項目に対応して格納された実行順序に従う順序で前記選択されたプログラムファイルを記憶することを特徴とする請求項１１に記載のソフトウエア評価方法。
16. 複数のソフトウエアから評価を行うソフトウエアを選択するためのソフトウエア選択工程を更に有し、
    前記プログラムファイル選択工程では、前記選択されたソフトウエアを構成する前記複数のプログラムファイルからプログラムファイルを選択することを特徴とする請求項１１乃至１５のいずれか１項に記載のソフトウエア評価方法。
17. 前記ソフトウエア選択工程では、オペレータによりオペレータインタフェースを介して前記複数のソフトウエアから評価を行うソフトウエアが選択されることを特徴とする請求項１６に記載のソフトウエア評価方法。
18. 前記複数のプログラムファイルの更新履歴を更新履歴記憶手段に記憶する更新履歴記憶工程と、
    前記更新履歴記憶手段に記憶された更新履歴に基づいて、対応するプログラムファイルを更新するプログラムファイル更新工程とを更に有し、
    前記プログラムファイル記憶工程では、前記更新されたプログラムファイルを実行順序で記憶することを特徴とする請求項１１乃至１７のいずれか１項に記載のソフトウエア評価方法。
19. 前記ソフトウエア評価工程では、前記複数のプログラムファイルの評価項目に対応して異なる複数の制御対象の装置のシミュレーションモデルから、前記選択されたプログラムファイルの評価項目に対応して指定された制御対象の装置のシミュレーションモデルを使って、前記選択されたプログラムファイルの動作のシミュレーションにより対応する評価項目の評価を行うことを特徴とする請求項１１乃至１８のいずれか１項に記載のソフトウエア評価方法。
20. 前記装置制御用のソフトウエアは、装置を制御するＣＰＵが実行するソフトウエアであることを特徴とする請求項１１乃至１９のいずれか１項に記載のソフトウエア評価方法。
21. 請求項１１乃至２０のいずれか１項に記載のソフトウエア評価方法の各工程をコンピュータに実行させるためのプログラム。
22. 請求項２１に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images