JP2001306359A

JP2001306359A - 自動評価システム

Info

Publication number: JP2001306359A
Application number: JP2000119722A
Authority: JP
Inventors: Kazuyoshi Takeda; 和義武田; Yukinobu Momozono; 幸信桃薗
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2000-04-20
Filing date: 2000-04-20
Publication date: 2001-11-02
Also published as: US20020007254A1

Abstract

(57)【要約】【課題】アプリケーションプログラムの品質を保持す
るとともに、自動評価における安定性を確保する自動評
価システムを提供することを課題とする。【解決手段】任意の入力イベントと任意の入力イベン
トに対する参照出力結果により、ターゲットシステム上
で動作するアプリケーションプログラムを自動評価する
自動評価システム１において、アプリケーションプログ
ラムによる動作をシミュレーションするシミュレーショ
ン装置２とアクセス可能であり、シミュレーション装置
２による任意の入力イベントに対するシミュレーション
結果と参照出力結果とを比較することによって、自動評
価することを特徴する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、キー入力等の入力
イベントとこの入力イベントに対する出力画面等の参照
出力結果により、マイクロコンピュータ（以下、マイコ
ンと記載する）等のターゲットシステム上で動作するア
プリケーションプログラムを自動評価する自動評価シス
テムに関する。

【０００２】

【従来の技術】近年、マイコンは、家電製品等の様々な
装置に組み込まれ、広く利用されている。マイコンは、
組み込み先の装置の仕様や周辺装置等に対応して動作す
るために、アプリケーションプログラムが内蔵ＲＯＭ
［ＲｅａｄＯｎｌｙＭｅｍｏｒｙ］に書き込まれて
いる。また、液晶表示装置（以下、ＬＣＤ［Ｌｉｑｕｉ
ｄＣｒｙｓｔａｌＤｉｓｐｌａｙ］と記載する）も、
家電製品等の様々な装置に組み込まれている。そのた
め、マイコンは、ユーザによるキー入力等の入力イベン
トが入力されると、アプリケーションプログラムによっ
てこの入力イベントに対する出力画面をＬＣＤに出力さ
せる。そこで、マイコンのアプリケーションプログラム
による動作を確認する場合、マイコンの組み込み先の装
置の仕様に対応した多数の入力イベントに対する出力結
果を確認しておかなければならない。

【０００３】そのため、マイコンの開発では、ハードウ
エアの開発とともに、アプリケーションプログラムの開
発も重要となる。アプリケーションプログラムの開発に
は、インサーキットエミュレータ（以下、ＩＣＥ［Ｉｎ
ＣｉｒｃｕｉｔＥｍｕｌａｔｏｒ］）等が利用されて
いる。ＩＣＥは、ターゲットボード上でアプリケーショ
ンプログラムによる動作をエミューションすることがで
きる。前記したように、アプリケーションプログラムの
動作確認は、確認しなければならない入力イベントが多
数ある。そのため、ＩＣＥを利用して直接作業者が入力
イベントを入力する場合、入力に長時間要するととも
に、作業者が入力ミスする可能性もある。また、入力イ
ベントとエミュレーション結果を画面出力等で作業者が
確認する場合、長時間を要するとともに、作業者が確認
ミスする可能性がある。さらに、この動作確認によるア
プリケーションプログラムの評価では、評価精度を向上
させるために、同一の入力イベントに対する評価を繰り
返し行っている。そこで、アプリケーションプログラム
の動作確認を高精度かつ効率的に行うために、多数の入
力イベントを繰り返し自動的に入力できるとともに、こ
の入力イベントに対する出力結果を自動評価する自動評
価システムが利用されている。

【０００４】図４に従来のマイコンのアプリケーション
プログラムの自動評価を行うための構成図を示す。自動
評価システム５０は、パーソナルコンピュータ（以下、
パソコンと記載する）ＰＣ上で構成され、パソコンＰＣ
のディスク装置ＤＵとのアクセスが可能である。さら
に、自動評価システム５０は、ターゲットボードＴＢに
入力イベントを入力するために、エミュレーション用拡
張ボード５０ａを備える。一方、ＩＣＥ５１は、パソコ
ンＰＣにＲＳ２３２等を介して接続するとともに、ター
ゲットボードＴＢに接続する。また、パソコンＰＣ上に
はデバッガ５２が構成され、ＩＣＥ５１でアプリケーシ
ョンプログラムＡＰをエミュレーションしながら、デバ
ッガ５２でデバッグを行うことができる。アプリケーシ
ョンプログラムＡＰの自動評価を行う場合、まず、作業
者は、複数の入力イベントが格納された入力イベントフ
ァイルＩＦとこの入力イベントに対する参照出力結果が
格納されたリファレンス出力ファイルＯＦを用意する。
そして、自動評価システム５０が起動されると、自動評
価システム５０は、ディスク装置ＤＵから入力イベント
ファイルＩＦに格納された入力イベントおよびリファレ
ンス出力ファイルＯＦに格納された参照出力結果を読み
出す。そして、自動評価システム５０は、エミュレーシ
ョン用拡張ボード５０ａを介してこの入力イベントをタ
ーゲットボードＴＢに入力する。すると、ＩＣＥ５１が
この入力イベントに対するアプリケーションプログラム
ＡＰによる動作をエミュレーションし、出力結果を自動
評価システム５０に出力する。そして、自動評価システ
ム５０は、この出力結果と参照出力結果を比較してこの
出力結果が正しいか否かを判定し、判定結果を結果ログ
ファイル等に出力する。さらに、自動評価システム５０
は、複数の入力イベントに対して、この入力、比較およ
び判定を繰り返し自動的に実行し、アプリケーションプ
ログラムＡＰを自動的に評価する。

【０００５】

【発明が解決しようとする課題】しかしながら、自動評
価システム５０とＩＣＥ５１での自動評価では、自動評
価システム５０とターゲットボードＴＢ間でデータのや
りとりをしはければならないので、自動評価用の機能を
組み込む必要がある。つまり、自動評価システム５０
は、入力イベントをエミュレーション用のデータに変換
するために、エミュレーション用拡張ボード５０ａが必
要となる。さらに、ターゲットボードＴＢには、入力イ
ベントを受信するために拡張ボード用インターフェース
ＴＢａが組み込まれ、出力結果をパソコンＰＣに出力す
るためにパソコン用インターフェースＴＢｂが組み込ま
れる。また、アプリケーションプログラムＡＰにも、自
動評価システム５０からの入力イベントの解析や出力結
果をパソコンＰＣに出力するためにＶＲＡＭ［Ｖｉｓｕ
ａｌＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ］に
データ送信等を行うための自動評価システム用インター
フェースプログラムＩＰが組み込まれる。そのため、こ
の自動評価で評価するアプリケーションプログラムＡＰ
は、実際にマイコンに組み込まれるアプリケーションプ
ログラムと異なるとともに、実際のマイコンで行なわれ
る処理より自動評価システム用インターフェースプログ
ラムＩＰ分負荷が重くなる。このように自動評価用の機
能を追加することによって、自動評価における不安定要
因が増大するるとともに、評価対象であるアプリケーシ
ョンプログラムＡＰ自体の品質が低下する。

【０００６】そこで、本発明の課題は、アプリケーショ
ンプログラムの品質を保持するとともに、自動評価にお
ける安定性を確保する自動評価システムを提供すること
である。

【０００７】

【課題を解決するための手段】前記課題を解決した本発
明に係る自動評価システムは、任意の入力イベントと前
記任意の入力イベントに対する参照出力結果により、タ
ーゲットシステム上で動作するアプリケーションプログ
ラムを自動評価する自動評価システムにおいて、前記ア
プリケーションプログラムによる動作をシミュレーショ
ンするシミュレーション装置とアクセス可能であり、前
記シミュレーション装置による前記任意の入力イベント
に対するシミュレーション結果と前記参照出力結果とを
比較することによって、自動評価することを特徴する。
この自動評価システムによれば、シミュレーション装置
とのアクセスを可能とすることにより、シミュレーショ
ン装置の入力イベントに対するシミュレーション結果を
利用して自動評価することができる。このとき、シミュ
レーション装置は、入力イベントに基づいて、アプリケ
ーションプログラムによる動作を通常のシミュレーショ
ンを行う。そのため、アプリケーションプログラムに自
動評価用の機能を組み込む必要がない。

【０００８】さらに、前記自動評価システムにおいて、
前記シミュレーション装置および前記自動評価システム
がアクセス可能な記憶手段を備え、前記シミュレーショ
ン装置が前記記憶手段に記憶した前記シミュレーション
結果を、前記参照出力結果と比較することを特徴とす
る。この自動評価システムによれば、自動評価システム
とシミュレーション装置がアクセス可能な記憶手段を備
えることによって、自動評価システムとシミュレーショ
ン装置間でのアクセスが可能となる。そのため、自動評
価システムとシミュレーション装置による自動評価で
は、自動評価を行うために自動評価用の機能を組み込む
必要がない。

【０００９】

【発明の実施の形態】以下に、図面を参照して、本発明
に係る自動評価システムの実施の形態を説明する。図１
は自動評価システムおよびシミュレーション装置が動作
するパーソナルコンピュータの構成図、図２は自動評価
システムとシミュレーション間のアクセスの説明図、図
３は入力イベントと参照出力結果の一例であり、（ａ）
はキー入力、（ｂ）は（ａ）図のキー入力前のＬＣＤの
参照出力画面、（ｃ）は（ａ）図のキー入力に対するＬ
ＣＤの参照出力画面である。

【００１０】本発明に係る自動評価システムは、ターゲ
ットシステム上で動作するアプリケーションプログラム
を、シミュレーション装置によるシミュレーション結果
を利用して自動評価することができる。このとき、シミ
ュレーション装置は、入力イベントに対してシミュレー
ションを行い、そのシミュレーション結果を出力する通
常の処理を行う。そのため、アプリケーションプログラ
ムには、自動評価用の機能を組み込む必要がない。

【００１１】なお、ターゲットシステムは、アプリケー
ションプログラムに基づて動作し、例えば、マイコン等
である。また、入力イベントは、ターゲットシステムの
組み込み先の装置の仕様に対応して設定し、組み込み先
の装置の入力手段によって対象となる入力イベントが異
なる。対象となる入力イベントとしては、例えば、キー
入力、音声入力等である。参照出力結果は、入力イベン
トに対するターゲットシステムの正常な出力であり、タ
ーゲットシステムの組み込み先の装置の仕様に対応して
設定し、組み込み先の装置の出力手段によって対象とな
る参照出力結果が異なる。対象となる参照出力結果は、
例えば、画面出力、音声出力等である。

【００１２】本実施の形態では、自動評価システムを、
自動評価プログラムを記憶した記憶媒体を介してパソコ
ン内に自動評価プログラムをロードし、この自動評価プ
ログラムによる動作をパソコンで実行させて自動評価を
行う自動評価システムとして構成した。さらに、この自
動評価システムは、入力イベントおよび参照出力結果を
取り入れるために、パソコンに接続したディスク装置を
利用する。また、本実施の形態では、シミュレーション
装置を、シミュレーションプログラムを記憶した記憶媒
体を介してパソコン内にシミュレーションプログラムを
ロードし、このシミュレーションプログラムによる動作
をパソコンで実行させてシミュレーションを行うシミュ
レータとして構成した。なお、自動評価システムとシミ
ュレータは、同一のパソコン内に構成する。また、本実
施の形態では、ターゲットシステムをマイコンとする。
さらに、本実施の形態では、マイコンは、組み込む先と
してゲーム、時計、データバンク等、外部からのキー
（ボタン）入力が可能であり、ＬＣＤに画面出力する装
置に組み込まれるものとする。

【００１３】まず、図１を参照して、自動評価システム
１およびシミュレータ２の全体構成について説明する。
自動評価システム１は、パソコンＰＣのディスク装置Ｄ
Ｕによって自動評価プログラムを記憶した記憶媒体から
自動評価プログラムが読み込まれ、さらに図示しないＲ
ＡＭ［ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ］に
自動評価プログラムがロードされ、そして中央処理装置
ＣＰで実行されて自動評価を行う。なお、ディスク装置
ＤＵは、フロッピディスクや光ディスク等の記憶媒体に
対応して読み書きできる装置とする。また、自動評価シ
ステム１は、ディスク装置ＤＵから入力イベントファイ
ルＩＦに格納された入力イベントを読み込み、この入力
イベントをシミュレータ２に送信する。さらに、自動評
価システム１は、ディスク装置ＤＵからリファレンス出
力ファイルＯＦに格納された参照出力結果を読み込み、
シミュレータ２の入力イベントに対するシミュレーショ
ン結果と比較して自動評価する。なお、自動評価システ
ム１は、評価結果をディスク装置ＤＵに結果ログファイ
ルとして格納したり、ディスプレイＤＰに画面出力す
る。

【００１４】シミュレータ２は、パソコンＰＣのディス
ク装置ＤＵによってシミュレーションプログラムを記憶
した記憶媒体からシミュレーションプログラムが読み込
まれ、さらに図示しないＲＡＭにシミュレーションプロ
グラムがロードされ、そして中央処理装置ＣＰで実行さ
れてシミュレーションを行う。また、シミュレータ２
は、ディスク装置ＤＵからマイコンのアプリケーション
プログラムＡＰを読み込み、このアプリケーションプロ
グラムＡＰによる動作をシミュレーションする。なお、
シミュレータ２は、自動評価システム１から入力イベン
トが送信されると、この入力イベントに基づいてアプリ
ケーションプログラムＡＰによる動作をシミュレーショ
ンする。そして、シミュレータ２は、このシミュレーシ
ョン結果を、パソコンＰＣのＲＡＭ１０に記憶させる
（図２参照）。

【００１５】また、シミュレータ２は、組み込み装置の
キー入力に対応してキーボードＫＢによって外部からの
操作が可能であり、組み込み装置のＬＣＤの画面出力に
対応してディスプレイＤＰにＬＣＤ画面を出力する。

【００１６】なお、シミュレーションを行いながらアプ
リケーションプログラムＡＰのデバッグを行うために、
シミュレータ２はデバッガ３に接続される。デバッガ３
は、パソコンＰＣのディスク装置ＤＵによってデバッグ
プログラムを記憶した記憶媒体からデバッグプログラム
が読み込まれ、図示しないＲＡＭにロードされ、そして
中央処理装置ＣＰで実行されてデバッグを行う。デバッ
ガ３は、シミュレータ２の起動／停止、シミュレータ２
上でのデータの参照やデータの書き換え等を行うことが
できる。さらに、デバッガ３は、アプリケーションプロ
グラムＡＰをステップ毎に実行させたり、ブレークした
りすることができる。

【００１７】ここで、入力イベントファイルＩＦとリフ
ァレンス出力ファイルＯＦについて説明しておく。入力
イベントファイルＩＦおよびリファレンス出力ファイル
ＯＦは、自動評価システム１の入力イベントデータ作成
機能およびリファレンスデータ作成機能を利用して作成
したり、または予めエディタによって作成する。

【００１８】まず、入力イベントファイルＩＦを自動評
価システム１で作成する場合について説明する。まず、
マイコンの組み込み装置の各キーを、自動評価システム
１によってキーボードＫＢの各キーに割り当てる。そし
て、ユーザが、組み込み装置の仕様に対応して多数の入
力イベントを用意し、キーを１つ１つ入力する。する
と、自動評価システム１が、１つの入力イベント毎にキ
ーの種類と入力順序を入力イベントデータとして確定す
る。最後に、自動評価システム１が、全ての入力イベン
トに対する入力イベントデータを入力イベントファイル
ＩＦに格納する。なお、入力イベントファイルＩＦは、
任意のファイル名が付されて記憶媒体に記憶され、ディ
スク装置ＤＵから読み出し可能な状態にセットされる。
ちなみに、入力イベントファイルＩＦは、マイコンの仕
様変更、組み込み装置の仕様変更、評価内容の変更等に
対応して、変更可能である。例えば、図３の（ａ）図に
示すように、１つの入力イベント２０として［Ａ］キー
押下、［Ｂ］キー押下、［Ｃ］キー押下の順にキー操作
が行なわれたとする。この場合、入力イベント２０は、
入力イベントデータとして、Ａ，Ｂ，Ｃキーの種類とこ
のキーの入力順序が入力イベントデータとして入力イベ
ントファイルＩＦに格納される。

【００１９】次に、リファレンス出力ファイルＯＦを自
動評価システム１で作成する場合について説明する。リ
ファレンス出力ファイルＯＦは、１つの入力イベントに
対して１つの参照出力結果を対応させたリファレンスデ
ータが格納されるので、入力イベントファイルＩＦの作
成に対応して作成する。ユーザが入力イベントとしてキ
ーを入力する毎に、自動評価システム１がこのキー入力
を入力イベントとしてシミュレータ２に送信する。そし
て、シミュレータ２が、このキー入力に対してシミュレ
ーションを行い、シミュレーション結果をディスプレイ
ＤＰに表示する。表示後、ユーザが、ディスプレイＤＰ
の表示内容を確認し、正しければ参照出力結果として確
定する。ちなみに、組み込み装置の出力手段がＬＣＤな
ので、この参照出力結果（リファレンスデータ）は、Ｌ
ＣＤの表示用の画像データとＬＣＤに表示する際の位置
データである。なお、アプリケーションプログラムＡＰ
が開発途中の場合には、アプリケーションプログラムＡ
Ｐのバージョンアップに対応してリファレンス出力ファ
イルＯＦを作成する。このとき、リファレンス出力ファ
イルＯＦは、アプリケーションプログラムＡＰのバグ修
正箇所や仕様変更箇所等を自動評価の項目に追加し、ア
プリケーションプログラムＡＰの変更箇所を含めた自動
評価を行うことができるものとする。あるいは、ユーザ
が、１つの入力イベントのキーを入力した後、自動評価
システム１のリファレンスデータ作成用エディタによっ
て、ＬＣＤの表示用の画像データを参照出力結果として
作成してもよい。最後に、自動評価システム１が、全て
の参照出力結果に対するリファレンスデータをリファレ
ンス出力ファイルＯＦに格納する。なお、リファレンス
出力ファイルＯＦは、任意のファイル名が付されて記憶
媒体に記憶され、ディスク装置ＤＵから読み出し可能な
状態にセットされる。そして、リファレンス出力ファイ
ルＯＦは、入力イベントファイルＩＦ内にそのファイル
名が記述され、入力イベントファイルＩＦに応じて読み
出される。したがって、リファレンス出力ファイルＯＦ
は、入力イベントファイルＩＦに対応して変更する。例
えば、図３の（ｂ）図に示すように、入力イベント２０
が入力される前には、ＬＣＤの参照出力画面２１におい
て、左上端に［＿］が表示されているとする。そして、
入力イベント２０として（ａ）図のキー入力が行なわれ
ると、（ｃ）図に示すように、ＬＣＤの参照出力画面２
２において、左上端から右方に［ＡＢＣ＿］が参照出力
結果２３として表示される。この場合、参照出力結果２
３は、リファレンスデータとして、「ＡＢＣ＿」のＬＣ
Ｄの表示用の画像データとＬＣＤ画面上での表示位置デ
ータがリファレンス出力ファイルＯＦに格納される。

【００２０】それでは、図２を参照して、自動評価シス
テム１とシミュレータ２の自動評価を行う時の動作につ
いて説明する。

【００２１】自動評価システム１は、ユーザによって起
動されると、ディスク装置ＤＵから入力イベントファイ
ルＩＦに格納された入力イベントデータＩＤをパソコン
ＰＣ内にロードする。なお、入力イベントファイルＩＦ
は、ユーザによってファイル名で指定される。入力イベ
ントファイルＩＦがロードされると、自動評価システム
１は、入力イベントファイルＩＦに記述されているファ
イル名のリファレンス出力ファイルＯＦに格納されてい
るリファレンスデータＲＤをパソコンＰＣ内にロードす
る。

【００２２】そして、自動評価システム１は、入力イベ
ントデータＩＤから１つの入力イベントをシミュレータ
２に送信する。入力イベントの送信には、パソコンのＯ
Ｓ［ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ］のＡＰＩ［Ａ
ｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍｍｉｎｇＩｎ
ｔｅｒｆａｃｅ］コマンドを利用する。例えば、ＯＳが
Ｗｉｎｄｏｗｓ（登録商標）の場合、ＡＰＩコマンドの
ＦｉｎｄＷｉｎｄｏｗを使って、シミュレータ２のウイ
ンドウハンドルを取得する。そして、ＡＰＩコマンドの
ＰｏｓｔＭｅｓｓａｇｅを使って、入力イベントデータ
ＩＤ中の１つの入力イベントをウインドウハンドルに送
信する。つまり、自動評価システム１とシミュレータ２
間では、ＡＰＩコマンドをよって入力イベントの送信が
可能となる。ちなみに、自動評価システム１およびシミ
ュレータ２は、ＡＰＩコマンド等のＯＳに備わる機能を
使用するので、入力イベントを送信するために特別に機
能を追加しなくてもよい。

【００２３】入力イベントが送信される毎に、シミュレ
ータ２は、この入力イベントに基づいてアプリケーショ
ンプログラムＡＰによる動作をシミュレーションする。
そして、シミュレータ２は、ディスプレイＤＰに表示す
るために、シミュレーション結果としてＬＣＤの表示用
の画像データおよび位置データをＲＡＭ１０に一時記憶
する。ちなみに、シミュレータ２は、このＲＡＭ１０に
記憶されているＬＣＤの表示用の画像データをディスプ
レイＤＰに表示も行う。ちなみに、ここで行なわれるシ
ミュレータ２の処理は、通常のアプリケーションプログ
ラムＡＰによる動作をシミュレーションする処理と同様
であり、自動評価を行うために特別の処理を行わない。
したがって、アプリケーションプログラムＡＰは、実際
にマイコンに搭載されるアプリケーションプログラムと
同一のものを使用できる。なお、ＲＡＭ１０は、パソコ
ンＰＣの内蔵ＲＡＭであり、自動評価システム１とシミ
ュレータ２で共有可能なＲＡＭである。したがって、Ｒ
ＡＭ１０は、自動評価システム１およびシミュレータ２
からアクセス可能である。つまり、自動評価システム１
とシミュレータ２間では、ＲＡＭ１０を介してシミュレ
ーション結果に対するやりとりが可能となる。ちなみ
に、自動評価システム１およびシミュレータ２は、パソ
コンＰＣのＲＡＭ１０を利用するので、シミュレーショ
ン結果を参照するために特別の機能を追加しなくてもよ
い。なお、ＲＡＭ１０は、パソコンのＶＲＡＭであって
もよい。なお、本実施の形態では、ＲＡＭ１０が、特許
請求の範囲に記載された記憶手段に相当する。

【００２４】シミュレーション後、自動評価システム１
は、ＲＡＭ１０に記憶されているシミュレーション結果
を参照する。そして、自動評価システム１は、このシミ
ュレーション結果とロードされているリファレンスデー
タＲＤ中のシミュレータ２に送信した入力イベントに対
応する参照出力結果であるリファレンスデータ（ＬＣＤ
の表示用の画像データおよび位置データ）を比較する。
自動評価システム１は、両結果が一致するか否かで判定
し、入力イベントに対するアプリケーションプログラム
ＡＰの動作を評価する。さらに、自動評価システム１
は、この判定結果を、結果ログファイルに格納する。結
果ログファイルには、判定結果を全て格納してもよい
し、シミュレーション結果と参照出力結果が異なる場合
だけ判定結果を格納してもよい。なお、自動評価システ
ム１は、シミュレーション結果と参照出力結果を並べて
ディスプレイＤＰに表示し、ユーザに確認可能な状態と
してもてもよい。また、自動評価システム１は、判定結
果をディスプレイＤＰに表示してもよい。

【００２５】そして、１つの入力イベントに対する評価
が終了する毎に、自動評価システム１は、入力イベント
データＩＤに格納されている次の入力イベントに対し
て、前記した処理を繰り返し、自動評価を行う。そし
て、入力イベントデータＩＤの全ての入力イベントに対
する評価が終了すると、自動評価システム１は、ユーザ
の指示に従って結果ログファイルをハードディスク等の
記憶媒体に記憶し、自動評価を終了する。

【００２６】この自動評価システム１によれば、自動評
価システム１とシミュレータ２間のアクセスがＡＰＩコ
マンドやＲＡＭ１０等によって可能となる。そのため、
自動評価システム１からシミュレータ２へ入力イベント
を送信およびシミュレータ２のシミュレーション結果を
自動評価システム１で参照するために、自動評価システ
ム１およびシミュレータ２に特別の機能を追加しなくて
もよい。さらに、アプリケーションプログラムＡＰも、
自動評価用の機能を組み込む必要はなく、実際にマイコ
ンに搭載するアプリケーションプログラムと同一のもの
でよい。

【００２７】以上、本発明は、前記の実施の形態に限定
されることなく、様々な形態で実施される。例えば、自
動評価システムとシミュレーション装置間でアクセス可
能とするためにＡＰＩコマンドやＲＡＭを利用したが、
これらの手段に限定されず、他の手段を利用してもよ
い。また、自動評価システムおよびシミュレータを同一
のパソコンに構成したが、ワークステーション等の他の
電子計算機に構成してもよい。

【００２８】

【発明の効果】本発明の請求項１に係る自動評価システ
ムは、シミュレーション装置とのアクセスを可能とする
ことにより、シミュレーション装置の入力イベントに対
するシミュレーション結果を利用して自動評価すること
ができる。この際、シミュレーション装置は入力イベン
トに対して通常のシミュレーションするだけなので、ア
プリケーションプログラムに自動評価用の機能を組み込
む必要がない。そのため、アプリケーションプログラム
の品質は、ターゲットシステムに搭載するアプリケーシ
ョンプログラムと等価である。

【００２９】本発明の請求項２に係る自動評価システム
は、自動評価システムとシミュレーション装置がアクセ
ス可能な記憶手段を備えることによって、自動評価シス
テムとシミュレーション装置間でのアクセスが可能とな
る。そのため、自動評価システムとシミュレーション装
置による自動評価では、自動評価を行うために自動評価
用の機能を組み込む必要がない。その結果、自動評価に
おける安定性が確保される。

【図面の簡単な説明】

【図１】本実施の形態に係る自動評価システムおよびシ
ミュレーション装置が動作するパーソナルコンピュータ
の構成図である。

【図２】本実施の形態に係る自動評価システムとシミュ
レーション間のアクセスの説明図である。

【図３】入力イベントと参照出力結果の一例であり、
（ａ）は入力イベントであるキー入力、（ｂ）は（ａ）
図のキー入力前のＬＣＤの参照出力画面、（ｃ）は参照
結果である（ａ）図のキー入力に対するＬＣＤの参照出
力画面である。

【図４】従来のマイコンのアプリケーションプログラム
の自動評価を行うための構成図である。

【符号の説明】

１・・・自動評価システム２・・・シミュレータ（シミュレーション装置）１０・・・ＲＡＭ（記憶手段）２０・・・入力イベント２３・・・参照出力結果ＡＰ・・・アプリケーションプログラム

Claims

【特許請求の範囲】

【請求項１】任意の入力イベントと前記任意の入力イ
ベントに対する参照出力結果により、ターゲットシステ
ム上で動作するアプリケーションプログラムを自動評価
する自動評価システムにおいて、前記アプリケーションプログラムによる動作をシミュレ
ーションするシミュレーション装置とアクセス可能であ
り、前記シミュレーション装置による前記任意の入力イベン
トに対するシミュレーション結果と前記参照出力結果と
を比較することによって、自動評価することを特徴する
自動評価システム。
【請求項２】前記シミュレーション装置および前記自
動評価システムがアクセス可能な記憶手段を備え、前記シミュレーション装置が前記記憶手段に記憶した前
記シミュレーション結果を、前記参照出力結果と比較す
ることを特徴とする請求項１に記載の自動評価システ
ム。