JP2005196672A

JP2005196672A - 試験装置および試験方法

Info

Publication number: JP2005196672A
Application number: JP2004004533A
Authority: JP
Inventors: Tomohito Kudo; 智史工藤
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2004-01-09
Filing date: 2004-01-09
Publication date: 2005-07-21

Abstract

【課題】被試験機が所望の動作をしているか否かを効率的に判定することができる試験方法および試験装置を提供する。
【解決手段】被試験機１を試験する手順を表す操作シナリオ１１を解釈して操作命令を抽出するシナリオ解釈部１２と、操作命令に基づいて被試験機を操作する操作部１３と、操作部１３によって操作される被試験機１の動作状況を測定し、その結果である動作状況情報を生成する測定部１４と、１つの操作シナリオに対して、動作状況情報を予め定める複数の測定履歴に分割して出力する分割部１５と、前記複数の測定履歴と、各測定履歴に対応して予め設定される期待履歴とに基づいて、各測定履歴が対応する期待履歴と同一であるか否かを判定するとともに、各測定履歴の判定結果に基づいて、被試験機１の操作シナリオ１１に対する動作が妥当であるか否かを判定する結果判定部１７を含む。
【選択図】図１

Description

本発明は、被試験機を試験する試験方法および試験装置に関する。

図８は、従来の試験方法を説明するための図である。被試験機１は、入力操作するための入力操作部２と、入力操作に対する結果を表示する表示部３と、入力操作に対する結果を外部に出力する出力部４とを備える、たとえば携帯電話装置および携帯情報端末装置である。被試験機１の出力部４に電気的に接続される測定装置５は、たとえばシリアル信号を解釈するパーソナルコンピュータおよび波形データを解釈するオシロスコープなどである。

このような被試験機１に実装されるソフトウェアおよびハードウェアが新規に開発されたり変更された場合、その被試験機１が仕様通りに動作するかを検証する必要がある。試験作業者は、入力操作部２の操作手順および各操作段階における確認項目を対にして列挙した文書またはデータである操作シナリオ６に従って、被試験機１の入力操作部４を操作する。試験作業者は、操作シナリオ２に記載される確認項目、被試験機１の表示部３に表示される情報および測定装置５で測定された情報が一致しているか否かを、逐次、目視で判定していた。

携帯電話装置のソフトウェアを試験する方法の典型的な従来技術が、特許文献１に記載されている。特許文献１の携帯電話ソフトウェア自動試験方法では、改訂前後のソフトウェアをインストールした２台の携帯電話機に対して試験シナリオに従って同一操作を行い、操作に対する各々の電話機動作を収集して試験結果を作成し、２台の電話機の試験結果を比較して判定結果を作成することによって、改訂箇所の変更と、非改訂箇所の非変更とを試験する。

特開２００３−９９２８７号公報

図８に示す従来の試験方法では、試験作業者は、操作シナリオ６に基づいて被試験機１の入力操作部２を入力操作するとともに、被試験機１の表示部３に表示される情報と、測定装置５によって測定される情報とを同時に確認する必要がある。被試験機１の表示部３に表示される情報および測定装置５で測定される情報は、刻々と変化する。試験作業者が被試験機１の表示部３を確認している間に、測定装置５で測定した情報を見落としたり、測定装置５で測定される情報を確認している間に、被試験機１の表示部３の表示を見落としたりする危険性があり、被試験機１の動作の妥当性の判定ミスおよび判定漏れが生じる恐れがある。

また特許文献１の試験方法では、改訂前後のソフトウェアをインストールした２台の電話機に対して試験シナリオに従って同一操作を行い、操作に対する各々の電話機動作を収集した試験結果を比較して、合否判定を行っている。不合格と判定された場合、改訂したソフトウェアのエラー箇所を特定するため、試験シナリオからエラーが発生するまでの操作を抽出する必要があるけれども、特許文献１の試験方法では、試験シナリオからエラーが発生するまでの操作を抽出することができないので、試験シナリオをテキストエディタなどで表示させて、作業者の目視などによってエラーが発生した箇所を抽出し、テキストエディタで試験シナリオを編集しなければならない。近年の多機能携帯電話などのように、試験しなければならない項目が多く、試験シナリオが長大となる場合、試験シナリオからエラーが発生するまでの操作を抽出するために多大な手間がかかる。

本発明の目的は、被試験機が所望の動作をしているか否かを効率的に判定することができる試験方法および試験装置を提供することである。

本発明は、被試験機を試験する手順を表す操作シナリオを解釈して操作命令を抽出するシナリオ解釈手段と、
操作命令に基づいて被試験機を操作する操作手段と、
前記操作手段によって操作される被試験機の動作状況を測定し、その結果である動作状況情報を生成する測定手段と、
１つの操作シナリオに対して、前記動作状況情報を予め定める複数の測定履歴に分割して出力する分割手段とを含むことを特徴とする試験装置である。

また本発明は、前記操作シナリオは、前記動作状況情報を複数の測定履歴に分割することを表す分割命令を含み、
前記シナリオ解釈部は、操作シナリオを解釈して分割命令を抽出し、
前記分割手段は、前記分割命令に基づいて前記動作状況情報を複数の測定履歴に分割することを特徴とする。

また本発明は、前記複数の測定履歴と、各測定履歴に対応して予め設定される期待履歴とに基づいて、各測定履歴が対応する期待履歴と同一であるか否かを判定するとともに、各測定履歴の判定結果に基づいて、被試験機の操作シナリオに対する動作が妥当であるか否かを判定する判定手段をさらに含むことを特徴とする。

また本発明は、被試験機を試験する手順を表す操作シナリオを解釈して操作命令を抽出するシナリオ解釈工程と、
操作命令に基づいて被試験機を操作する操作工程と、
前記操作工程において操作される被試験機の動作状況を測定し、その結果である動作状況情報を生成する測定工程と、
１つの操作シナリオに対して、前記動作状況情報を予め定める複数の測定履歴に分割して出力する分割工程とを含むことを特徴とする試験方法である。

本発明によれば、シナリオ解釈手段は、被試験機を試験する手順を表す操作シナリオを解釈して操作命令を抽出する。操作手段は、操作命令に基づいて被試験機を操作する。測定手段は、前記操作手段によって操作される被試験機の動作状況を測定し、その結果である動作状況情報を生成する。分割手段は、１つの操作シナリオに対して、前記動作状況情報を予め定める複数の測定履歴に分割して出力する。このように操作シナリオに基づいて操作される被試験機の動作状況である動作状況情報が複数の測定履歴に分割される。非試験機の動作状況を確認するとき、操作シナリオの手順の数が多いと、１つの動作状況情報の容量が大きくなり、このような動作状況情報から、ある操作命令に対する被試験機の動作状況を抽出することが困難になる。本発明では、動作状況情報が複数の測定履歴に分割されるので、動作状況情報の容量が大きくても、各測定履歴の容量は小さくなるので、被試験機のある操作指令に対する動作状況を効率的に抽出することができる。したがって被試験機の操作シナリオに対する動作を容易に把握して、被試験機が所望の動作をしているか否か、非試験機がどの操作指令に対して不所望な動作をしているかなどを効率的に確認することができる。

また本発明によれば、前記操作シナリオは、前記動作状況情報を複数の測定履歴に分割することを表す分割命令を含み、前記シナリオ解釈部は、操作シナリオを解釈して分割命令を抽出し、前記分割手段は、前記分割命令に基づいて前記動作状況情報を複数の測定履歴に分割する。このように操作シナリオに分割命令を予め含ませておくことによって、動作状況情報を、操作シナリオにおける操作命令に対応する動作状況を含む測定履歴に分割することができる。

また本発明によれば、判定手段は、前記複数の測定履歴と、各測定履歴に対応して予め設定される期待履歴とに基づいて、各測定履歴が対応する期待履歴と同一であるか否かを判定するとともに、各測定履歴の判定結果に基づいて、被試験機の操作シナリオに対する動作が妥当であるか否かを判定する。これによって被試験機が不所望な動作をしている測定履歴を容易に抽出できるとともに、被試験機の動作が妥当であるか否かをも判定することができる。

また本発明によれば、シナリオ解釈工程では、被試験機を試験する手順を表す操作シナリオを解釈して操作命令を抽出する。操作工程では、操作命令に基づいて被試験機を操作すると、測定工程では、前記操作工程において操作される被試験機の動作状況を測定し、その結果である動作状況情報を生成する。分割工程では、１つの操作シナリオに対して、前記動作状況情報を予め定める複数の測定履歴に分割して出力する。このように操作シナリオに基づいて操作される被試験機の動作状況である動作状況情報が複数の測定履歴に分割される。非試験機の動作状況を確認するとき、操作シナリオの手順の数が多いと、１つの動作状況情報の容量が大きくなり、このような動作状況情報から、ある操作命令に対する被試験機の動作状況を抽出することが困難になる。本発明では、動作状況情報が複数の測定履歴に分割されるので、動作状況情報の容量が大きくても、各測定履歴の容量は小さくなるので、被試験機のある操作指令に対する動作状況を効率的に抽出することができる。したがって被試験機の操作シナリオに対する動作を容易に把握して、被試験機が所望の動作をしているか否か、非試験機がどの操作指令に対して不所望な動作をしているかなどを効率的に確認することができる。

図１は、本発明の実施の一形態の試験装置１０を示すブロック図である。試験装置１０は、操作シナリオ１１に従って、携帯電話装置および携帯情報端末装置などの被試験機１に実装されるソフトウェアおよびハードウェアを試験する。被試験機１は、図８に示す従来の制御方法における被試験機１と同様の構成であり、入力操作部２、表示部３および出力部４を備える。操作シナリオ１１は、試験をするために被試験機１を操作する手順を表す操作命令と、後述する分割命令と、後述する判定命令とが時系列順に列挙されるデータである。試験装置１０は、シナリオ解釈部１２、操作部１３、測定部１４、分割部１５、記憶部１６および結果判定部１７を含んで構成される。

シナリオ解釈手段であるシナリオ解釈部１２は、操作シナリオ１１を解釈して、操作シナリオ１１に含まれる操作命令、分割命令および判定命令を抽出して、操作命令を操作部１３に与え、分割命令を分割部１５に与え、判定命令を結果判定部１７に与える。操作手段である操作部１３は、シナリオ解釈部１２からの操作命令に基づいて、被試験機１に備えられるボタンなどの入力操作部２を操作する。測定部１４は、被試験機１の出力部４にに接続され、前記操作部１３によって操作される被試験機１の動作状況を測定し、その結果である動作状況情報を生成する。

分割手段である分割部１５は、１つの操作シナリオに対して、測定部１４によって生成される動作状況情報を、予め定める複数の測定履歴に分割して出力する。記録部１７は、たとえばランダムアクセスメモリ（略称：ＲＡＭ）などの記録装置で実現され、分割部１５からの複数の測定履歴を記録するとともに、各測定履歴に対応して予め設定される期待履歴を記録する。判定手段である結果判定部１７は、記録部１７に記録される個々の測定履歴と期待履歴とに基づいて、各測定履歴が対応する期待履歴と同一であるか否かを判定するとともに、各測定履歴の判定結果に基づいて、被試験機の操作シナリオに対する動作が妥当であるか否かを判定して、これらの判定結果を表示するなどして出力する。

操作部１３は、たとえば被試験機１の入力操作部２を押圧するようなボタン押圧手段を用いて、被試験機１の入力操作部２を入力操作してもよいし、ＲＳ２３２Ｃケーブルを介して被試験機１の出力部４に電気的に接続して、電気信号を用いて被試験機１を操作するようにしてもよい。また操作部１３は、被試験機１の回路基板上にプローブと呼ばれる端子を電気的に接続して、電気信号を用いて被試験機１を操作するようにしてもよい。また被試験機１のソフトウェアを試験する場合は、ＲＳ２３２Ｃケーブルを介して被試験機１の出力部４に電気的に接続して、オペレーティングシステム（略称：ＯＳ）を介したメッセージ通信を行って、被試験機１を操作するようにしてもよい。

測定部１４は、たとえばオシロスコープおよびスペクトラムアナライザなどの測定機器で実現されてもよく、ＲＳ２３２ＣおよびＧＰＩＢ（General Purpose Interface Bus）などの接続ケーブルを介して被試験機１の出力部に電気的に接続して、電気信号を用いで被試験機１の動作状況を測定するようにしてもよい。

分割部１６は、たとえばその内部にＲＡＭなどの一時的に複数の動作状況情報を記憶する記憶手段を備え、測定部１４からの動作状況情報を前記記憶手段が既に記憶している以前の動作状況情報に加えて逐次追加記憶し、シナリオ解釈部１２からの分割命令に基づいて前記記憶手段が記憶している全ての動作状況情報をまとめて１つの操作履歴として出力し、前記記憶手段が記憶している動作状況情報を全て消去するようにしてもよい。本実施の形態において、シナリオ解釈部１２、分割部１６および結果判定部１７は、たとえば中央演算処理装置（略称：ＣＰＵ）で実現されてもよい。

図２は、操作シナリオ１１の一例を示す図である。操作シナリオ１はテキスト形式で記述されるデータであってもよい。操作シナリオ１１の各行には操作命令、分割命令および判定命令などの命令を含ませることが可能であり、それらの行を順に並べることによって、命令をその順序で実行することができる。操作シナリオ１１の行番号３、８、１７および２２のように「Ｓｅｎｄ１」で始まる行は、分割部１５に与える分割命令が含まれており、「Ｓｅｎｄ１」に続く文字列、たとえば「記録開始」、「分割命令」および「記録終了」などの文字列は、分割部１５に与える分割命令である。操作シナリオ１１の行番号５、１０〜１４および１９のように「Ｂｕｔｔｏｎ」で始まる行は、操作部１３に与える操作命令が含まれており、「Ｂｕｔｔｏｎ」に続く文字列、たとえば「電源ボタン」、「１ボタン」、「２ボタン」、「３ボタン」、「４ボタン」、「発信ボタン」および「終話ボタン」などの文字列は、操作部１３に与える操作命令である。

操作シナリオ１１の行番号２４のように「Ｓｅｎｄ２」で始まる行は、結果判定部１７に与える判定命令を表し、「Ｓｅｎｄ２」に続く文字列、たとえば「合否判定」などの文字列は、結果判定部８０に与える判定命令である。操作シナリオ１１の行番号６および１５のように「Ｗａｉｔ」で始まる行は、指定した時間が経過するまで操作シナリオ１１による操作を休止する命令を表し、「Ｗａｉｔ」に続く数字列、たとえば「５０００」および「１００００」などの数字列は、休止する時間をミリ秒単位で表す。なお操作が休止されている間も測定部１４による測定工程である動作状況の測定および動作状況情報の生成は行われている。操作シナリオ１１の行番号１の行のように「／／」で始まる行、ならびに行番号２、４、７、９、１６、１８、２１および２３の行のような空白行はコメント行であり、特に処理は行わない。

シナリオ解釈部１２は、シナリオ解釈工程において、操作シナリオ１１を行番号１の行から最後の行、図２では行番号２４の行に至るまで、行番号１の行から順に各行を解釈して各種命令を抽出して、抽出した命令を操作部１３、分割部１５および結果判定部１７に与える。操作シナリオ１１の行番号１および２の行はコメント行であるので、シナリオ解釈部１２は、特に処理は行わず、操作部１３、分割部１５および結果判定部１７には命令を与えずに、次の行の処理に進む。操作シナリオ１１の行番号３の行は「Ｓｅｎｄ１」で始まる行であるので、シナリオ解釈部１２は、この行を分割命令として抽出して、「Ｓｅｎｄ１」に続く文字列である「記録開始」を分割部１５に与える。分割部１５は、シナリオ解釈部１２からの分割命令である「記録開始」に基づいて、測定部１４が生成した動作状況情報の記録を開始する。操作シナリオ１１の行番号４の行は空白行すなわちコメント行なので、シナリオ解釈部１２は、処理を行なわずに次の行の処理に進む。

操作シナリオ１１の行番号５の行は「Ｂｕｔｔｏｎ」で始まる行であるので、シナリオ解釈部１２は、この行を操作命令として抽出して、「Ｂｕｔｔｏｎ」に続く文字列である「電源ボタン」を操作部１３に与える。操作部１３は、操作工程において、シナリオ解釈部１２からの操作命令である「電源ボタン」に基づいて、前記操作命令「電源ボタン」に予め設定された操作、たとえば被試験機１の入力操作部２の電源ボタンを押圧するなどの操作を行う。被試験機１の入力操作部２を操作すると、多くの場合、被試験機１の動作状況が変化する。測定部１４は常に被試験機１の動作状況を測定しているので、被試験機１の動作状況が変化すると、測定部１４は、このような変化を表す動作状況情報を生成して、分割部１５が前記動作状況情報を収集する。操作シナリオ１１の行番号６の行は、「Ｗａｉｔ」で始まる行であるので、シナリオ解釈部１２は、この行を操作シナリオ１１による操作を休止する命令として抽出し、「Ｗａｉｔ」に続く数字列である「５０００」に基づいて、５０００ミリ秒が経過するまで操作シナリオ１１に基づく被試験機１の操作を操作部１３に休止させる。操作シナリオ１１の行番号７の行はコメント行であるので、シナリオ解釈部１２は、処理を行わずに次の行に進む。

操作シナリオ１１の行番号８の行は、「Ｓｅｎｄ１」で始まる行であるので、シナリオ解釈部１２は、分割工程において、この行を分割命令として抽出し、「Ｓｅｎｄ１」に続く文字列である「分割命令」を分割部１５に与える。分割部１５は、シナリオ解釈部１２からの分割命令である「分割命令」に基づいて、測定部１４からの動作状況情報のうち、操作シナリオ１１の行番号５および６の命令に対応する動作状況情報、換言すれば、操作シナリオ１１の前回の分割命令である行番号３の行の「記録開始」よりも後であって、今回の分割命令である行番号８の行の「分割命令」までに生成された動作状況情報を１つの測定履歴に分割して出力する。記録部１６は、分割部１５から出力された測定履歴を１つのファイルとして記録する。操作シナリオ１１の行番号９の行はコメント行であるので、シナリオ解釈部１２は、処理を行わずに次の行に進む。

操作シナリオ１１の行番号１０〜１４の行は、「Ｂｕｔｔｏｎ」で始まる行であるので、シナリオ解釈部１２は、行番号５の行と同様に行番号１０〜１４の行を操作命令として抽出し、行番号１０〜１４の行の「Ｂｕｔｔｏｎ」に続く文字列である「１ボタン」、「２ボタン」、「３ボタン」、「４ボタン」および「発信ボタン」を操作部１３に与える。操作部１３は、操作工程において、シナリオ解釈部１２からの操作命令である「１ボタン」、「２ボタン」、「３ボタン」、「４ボタン」および「発信ボタン」に基づいて、前記各操作命令「１ボタン」、「２ボタン」、「３ボタン」、「４ボタン」および「発信ボタン」に予め設定された操作、たとえば被試験機の入力操作部２の１ボタンを押圧する、２ボタンを押圧する、３ボタンを押圧する、４ボタンを押圧する、発信ボタンを押圧するなどの操作を順次行なう。操作シナリオ１１の行番号１５の行は、「Ｗａｉｔ」で始まる行であるので、シナリオ解釈部１２は、この行を操作シナリオ１１に基づく操作を休止する命令として抽出し、「Ｗａｉｔ」に続く数字列である「１００００」に基づいて、１００００ミリ秒が経過するまで操作シナリオ１１に基づく被試験機１の操作を操作部１３に休止させる。操作シナリオ１１の行番号１６の行はコメント行であるので、シナリオ解釈部１２は、処理を行わずに次の行に進む。

操作シナリオ１１の行番号１７の行は、「Ｓｅｎｄ１」で始まる行であるので、シナリオ解釈部１２は、分割工程において、この行を分割命令として抽出し、「Ｓｅｎｄ１」に続く文字列である「分割命令」を分割部１５に与える。分割部１５は、シナリオ解釈部１２からの分割命令である「分割命令」に基づいて、測定部１４からの動作状況情報のうち、操作シナリオ１１の行番号１０〜１５の命令に対応する動作状況情報、換言すれば、操作シナリオ１１の前回の分割命令である行番号７の行の「分割命令」よりも後であって、今回の分割命令である行番号１７の行の「分割命令」までに生成された動作状況情報を１つの測定履歴に分割して出力する。記録部１６は、分割部１５から出力された測定履歴を１つのファイルとして記録する。操作シナリオ１１の行番号１８の行はコメント行であるので、シナリオ解釈部１２は、処理を行わずに次の行に進む。

操作シナリオ１１の行番号１９の行は、「Ｂｕｔｔｏｎ」で始まる行であるので、シナリオ解釈部１２は、この行を操作命令として抽出し、「Ｂｕｔｔｏｎ」に続く文字列である「終話ボタン」を操作部１３に与える。操作部１３は、操作工程において、シナリオ解釈部１２からの操作命令である「終話ボタン」に予め設定された操作、たとえば被試験機１の入力操作部２の終話ボタンを押圧するなどの操作を行う。操作シナリオ１１の行番号２０の行は、「Ｗａｉｔ」で始まる行であるので、シナリオ解釈部１２は、これを操作シナリオに基づく操作を休止する命令として抽出し、「Ｗａｉｔ」に続く数字列である「５０００」に基づいて、５０００ミリ秒が経過するまで操作シナリオ１１に基づく被試験機１の操作を操作部１３に休止させる。操作シナリオ１１の行番号２１の行は、コメント行であるので、シナリオ解釈部１２は、処理を行わず次の行に進む。

操作シナリオ１１の行番号２２の行は、「Ｓｅｎｄ１」で始まる行であるので、シナリオ解釈部１２は、この行を分割命令として抽出し、「Ｓｅｎｄ１」に続く文字列である「記録終了」を分割部１５に与える。分割部１５は、シナリオ解釈部１１からの分割命令である「記録終了」に基づいて、測定部１４が生成した動作状況情報の記録を終了する。このとき、分割部１５は、測定部１４からの動作状況情報のうち、操作シナリオ１１の行番号１９および２０の命令に対応する動作状況情報、換言すれば、操作シナリオ１１の前回の分割命令である行番号１７の行の「分割命令」よりも後であって、今回の分割命令である行番号２２の行の「記録終了」までに生成された動作状況情報を１つの測定履歴に分割して出力する。記録部１６は分割部１５から出力された測定履歴を１つのファイルとして記録する。操作シナリオ１１の行番号２３の行はコメント行であるので、シナリオ解釈部１２は、処理を行わずに次の行に進む。

行番号２４の行は、「Ｓｅｎｄ２」で始まる行であるので、シナリオ解釈部１２は、これを判定命令として抽出し、「Ｓｅｎｄ２」に続く文字列である「合否判定」を結果判定部１７に与える。結果判定部１７は、シナリオ解釈部１１からの判定命令である「合否判定」に基づいて、判定工程である合否判定を行う。図２に示す操作シナリオでは、行番号８、１７および２２の３箇所において測定履歴が記録部１６に記録されるので、３つの測定履歴が記録部１６に記録されており、結果判定部１７は、これらの測定履歴に対して合否判定を行う。

図３は、図２に示す操作シナリオ１１の概略および操作シナリオ１１に基づいて試験が行われたときに作成される測定履歴が、操作シナリオ１１のどの操作に対応しているかを説明するための図である。操作シナリオ１１は、大略的には、記録開始に始まり、記録終了で終わる履歴記録部分と合否判定部分とを含み、前記履歴記録部分は、分割命令と、前記分割命令によによって分割された複数の操作命令とを含む。たとえば図２に示す操作シナリオ１１の行番号５および６は、図３の操作シナリオにおける操作内容１に該当し、図２に示す操作シナリオ１１の行番号１０〜１５は、図３の操作シナリオにおける操作内容２に該当し、図２に示す操作シナリオ１１の行番号１９および２０は、図３の操作シナリオにおける操作内容３に該当する。図３に示すこれらの３つの操作内容１〜３と、操作シナリオ１１に基づいて記録された図２に示す３つの測定履歴１〜３は、それぞれ１対１で対応している。したがって各操作内容１〜３に含まれる操作シナリオ１１に含まれる操作命令による操作を実行していた期間において測定された動作状況に基づいて生成された各測定履歴１〜３は、操作シナリオの各操作内容１〜３にそれぞれ対応している。

結果判定部１７が合否判定を行うときは、測定履歴１〜３と、前記測定履歴に個別に対応する期待履歴１〜３とを個別に比較することで合否を判定する。具体的には、結果判定部１７は、個別判定１では、測定履歴１と期待履歴１とを比較判定し、個別判定２では、測定履歴２と期待履歴２とを比較判定し、個別判定３では、測定履歴３と期待履歴３とを比較判定し、さらに個別判定１〜３の結果に基づいて総合判定を行う。たとえば３つの個別判定１〜３が全て合格の場合には、総合判定を合格とし、個別判定のいずれか１つでも不合格の場合には、総合判定を不合格としてもよい。

図４は、図３に示す測定履歴１の一例を示す図である。図４に示す測定履歴１は、被試験機１０の電源が投入されていない状態から試験を開始したときの、電源を投入して待ち受け状態になるまでの測定時刻および測定内容が動作状況として記録されている。測定履歴は、テキスト形式で記述されるデータであってもよい。

図５は、図３に示す期待履歴１の一例を示す図である。期待履歴は、期待される測定内容が、期待される時系列順に記されている。図５に示す期待履歴１は、被試験機１の電源が投入されていない状態から待ち受け状態に正常に遷移する場合、測定部１４によって測定したときに期待される情報として定義されている。期待履歴は、テキスト形式で記述されるデータであってもよい。

図６は、結果判定部１７による個別判定の手順を示すフローチャートである。一例として、図４に示す測定履歴１と期待履歴１との個別判定１の手順を以下に説明する。ステップｓ０で手順が開始されて、ステップｓ１に進む。

ステップｓ１では、結果判定部１７は、期待履歴に含まれる情報を取得して、ステップｓ２に進む。図５に示す期待履歴１の場合、結果判定部１７は、まず行番号１の「止まり木チャネルスキャン」という情報を取得する。

ステップｓ２では、結果判定部１７は、測定履歴に含まれる情報を取得して、ステップｓ３に進む。図４に示す測定履歴１の場合、結果判定部１７は、まず行番号１の「電源投入」という情報を取得する。

ステップｓ３では、結果判定部１７は、ステップｓ１で取得した期待履歴の情報と、ステップｓ２で取得した測定履歴の情報とを比較して同一であるか否かを判定し、同一であると判定するとステップｓ４に進み、同一でないと判定するとステップｓ５に進む。図５に示す期待履歴１および図４に示す測定履歴１の場合、結果判定部１７は、期待履歴１の行番号が１の「止まり木チャネルスキャン」と測定履歴１の行番号が１の「電源投入」とは同一ではないと判断するので、ステップｓ５に進む。

ステップｓ４では、結果判定部１７は、期待履歴に含まれる全ての情報を取得したか否かを判定し、全ての情報を取得したと判定するとステップｓ６に進み、個別判定を合格として全ての手順を終了し、全ての情報を取得していないと判定するとステップｓ１に戻る。

ステップｓ５では、結果判定部１７は、測定履歴に含まれる全ての情報を取得したか否かを判定し、全ての情報を取得したと判定するとステップｓ７に進み、個別判定を不合格として全ての手順を終了し、全ての情報を取得していないと判断するとステップｓ２に戻る。

図４に示す測定履歴１の行番号１の情報を取得した時点では、まだ行番号２以降の情報が残っているので、ステップｓ２に戻り、測定履歴１の次の行番号２の「止まり木チャネルスキャン」という情報を取得する。続くステップｓ３では、図５に示す期待履歴１の行番号１の情報「止まり木チャネルスキャン」と、前記ステップｓ２において取得した行番号２の情報「止まり木チャネルスキャン」とが同一であるので、ステップｓ４に進む。ステップｓ４では、図５に示す期待履歴１の行番号１の情報を取得した時点では、まだ行番号２以降の情報が残っているので、ステップｓ１に戻り、期待履歴１の次の行番号２の「止まり木チャネル起動」という情報を取得して、ステップｓ２に進む。以下同様にしてステップｓ１〜ステップｓ５を繰返して、ステップｓ６またはステップｓ７で終了する。

このように期待履歴に含まれる各情報に対して、測定履歴の各情報が、期待履歴に含まれる情報の内容ととも一致しているか否かの判定をステップｓ１〜ステップｓ５を繰返すことによって行う。図５に示す期待履歴１および図４に示す測定履歴１では、測定履歴１には、期待履歴１に含まれる情報が全て含まれているとともに、順序も同じであるので、結果判定部１７は、測定履歴１と期待履歴１とは同一であると判定して、個別判定１に関しては合格であると判定する。その後、個別判定１と同様にして、個別判定２および３も判定すればよい。ここで個別判定が合格とは、測定履歴には、それに対応する期待履歴に含まれる情報が全て含まれているとともに、それらの情報の順序も同じということである。この場合、結果判定部１７は、測定履歴と期待履歴とが同一であるとみなし、被試験機１が所望の動作をしていることがわかる。また個別判定が不合格とは、測定履歴には、それに対応する期待履歴に含まれる情報が含まれていなかったり、前記測定履歴に含まれている情報の順序と、それに対応する期待履歴に含まれる情報の順序とが異なっていることである。この場合、結果判定部１７は、測定履歴と期待履歴とが同一ではないとみなし、被試験機１が不所望な動作をしていることがわかる。

図７は、結果判定部１７が出力する判定結果情報の一例を示す図である。判定結果情報は、たとえばテキスト形式で記述されるデータであってもよい。判定結果情報は、操作シナリオ識別子、個別判定数、総合判定結果、個別判定結果、ならびに個別判定に用いた期待履歴名および測定履歴名などを含む。判定結果情報の行番号１の行は、複数の操作シナリオ１１のうちどの操作シナリオ１１を実行したかを識別するための識別子を表し、「識別子」に続く文字列、たとえば「００１」は、図２に示す操作シナリオ１１の行番号１の「試験Ｎｏ．００１」であることを表す。判定結果情報の行番号２の行は、個別判定を行った回数を表し、「個別判定数」に続く数字列、たとえば「３」は個別判定を行った回数が３回であることを表す。判定結果情報の行番号３の行は、個別判定の結果に基づく総合判定結果を表し、「総合判定」に続く文字列、たとえば「不合格」は総合判定結果が不合格であることを表す。

判定結果情報の行番号６〜８のように「ＤＡＴＡ｛」で始まる行と、「｝」で始まる行とによって挟まれる行は、個別判定情報である。個別判定情報は、１つの判定結果情報において、個別判定数で表される数だけ存在し、図７に示す判定結果情報では３つ存在する。個別判定情報における行番号６、１２および１８の行は、個別判定に用いた期待履歴の名称を表し、「期待値」に続く文字列、たとえば「期待値１」、「期待値２」および「期待値３」は、各個別判定で用いた期待履歴の名称である。個別判定情報における行番号７、１３および１９の行は、個別判定に用いた測定履歴の名称を表し、「測定履歴」に続く文字列、たとえば「測定履歴１」、「測定履歴２」および「測定履歴３」は、各個別判定で用いた測定履歴の名称である。個別判定情報における行番号８、１４および２０の行は、個別判定の結果を表し、「判定」に続く文字列、たとえば「合格」および「不合格」は個別判定結果である。個別判定情報における行番号４、１０および１６の行は、コメント行であり何ら情報は含まない。

具体的に述べると、結果判定情報の行番号１の行は、「識別子」で始まる行であるので、「識別子」に続く文字列である「００１」で識別されるＮｏ．００１の操作シナリオ１１の判定結果であることを表す。結果判定情報の行番号２の行は、「個別判定数」で始まる行であるので、個別判定の回数を表し、「個別判定数」に続く数字列である「３」は、個別判定を３回行ったことを表す。結果判定情報の行番号３の行は、「総合判定」で始まる行であるので、個別判定結果に基づく総合判定結果を表し、「総合判定」に続く文字列である「不合格」は総合判定結果が不合格であることを表す。なお総合判定結果が合格であった場合は、「総合判定」に続く文字列を「合格」とする。結果判定情報の行番号４の行は、コメント行なので、情報は何も含まれない。

結果判定情報の行番号５の行は、「ＤＡＴＡ｛」で始まる行であるので、この行から「｝」で始まる行番号９の行までが１つ目の個別判定情報を表す。結果判定情報の行番号６の行は、「期待履歴」で始まる行であるので、「期待履歴」に続く文字列である「期待履歴１」は、１つ目の個別判定に用いた期待履歴の名称である。結果判定情報の行番号７の行は、「測定履歴」で始まる行であるので、「測定履歴」に続く文字列である「測定履歴１」は、１つ目の個別判定に用いた測定履歴の名称である。結果判定情報の行番号８の行は、「判定」で始まる行であるので、「判定」に続く文字列である「合格」は、１つ目の個別判定の結果が合格であることを表す。結果判定情報の行番号１０の行は、コメント行であるので、情報は何も含まれない。

結果判定情報の行番号１１の行は、「ＤＡＴＡ｛」で始まる行であるので、この行から「｝」で始まる行番号１５の行までが２つ目の個別判定情報を表す。結果判定情報の行番号１２の行は、「期待履歴」で始まる行であるので、「期待履歴」に続く文字列である「期待履歴２」は、２つ目の個別判定に用いた期待履歴の名称である。結果判定情報の行番号１３の行は、「測定履歴」で始まる行であるので、「測定履歴」に続く文字列である「測定履歴２」は、２つ目の個別判定に用いた測定履歴の名称である。結果判定情報の行番号１４の行は、「判定」で始まる行であるので、「判定」に続く文字列である「不合格」は、２つ目の個別判定の結果が不合格であることを表す。結果判定情報の行番号１６の行は、コメント行であるので、情報は何も含まれない。

結果判定情報の行番号１７の行は、「ＤＡＴＡ｛」で始まる行であるので、この行から「｝」で始まる行番号２１の行までが３つ目の個別判定情報を表す。結果判定情報の行番号１８の行は、「期待履歴」で始まる行であるので、「期待履歴」に続く文字列である「期待履歴３」は、３つ目の個別判定に用いた期待履歴の名称である。結果判定情報の行番号１９の行は、「測定履歴」で始まる行であるので、「測定履歴」に続く文字列である「測定履歴３」は、３つ目の個別判定に用いた測定履歴の名称である。結果判定情報の行番号２０の行は、「判定」で始まる行であるので、「判定」に続く文字列である「合格」は、３つ目の個別判定の結果が合格であることを表す。

エラー箇所を特定する手順について説明する。図７に示す結果判定情報では、行番号３の総合判定の結果が、不合格であるので、個別判定のいずれかが不合格であることがわかる。個別判定の結果は結果判定情報の行番号８、１４および２０の行に記載されており、行番号１４の行の結果が不合格である。したがって２つ目の個別判定が不合格であることがわかる。２つ目の個別判定に用いた測定履歴と期待履歴とは、それぞれ結果判定情報の行番号１２および１３の行に記載される「測定履歴２」および「期待履歴２」であり、「測定履歴２」および「期待値２」を参照することによって、被試験機１が不所望な動作をしているエラー箇所を特定することができる。

以上のように本実施の形態の試験装置１０によれば、シナリオ解釈部１２は、被試験機１を試験する手順を表す操作シナリオ１１を解釈して操作命令を抽出する。操作部１３は、操作命令に基づいて被試験機１を操作する。測定部１４は、操作部１３によって操作される被試験機１の動作状況を測定し、その結果である動作状況情報を生成する。分割部１５は、１つの操作シナリオ１１に対して、前記動作状況情報を予め定める複数の測定履歴に分割して出力する。このように操作シナリオ１１に基づいて操作される被試験機１の動作状況である動作状況情報が複数の測定履歴に分割される。非試験機１の動作状況を確認するとき、操作シナリオ１１の手順の数が多いと、１つの動作状況情報の容量が大きくなり、このような動作状況情報から、ある操作命令に対する被試験機１の動作状況を抽出することが困難になる。本発明では、動作状況情報が複数の測定履歴に分割されるので、動作状況情報の容量が大きくても、各測定履歴の容量は小さくなるので、被試験機１のある操作指令に対する動作状況を効率的に抽出することができる。したがって被試験機１の操作シナリオに対する動作を容易に把握して、被試験機１が所望の動作をしているか否か、非試験機１がどの操作指令に対して不所望な動作をしているかなどを効率的に確認することができる。

また本実施の形態の試験装置１０によれば、操作シナリオ１１は、前記動作状況情報を複数の測定履歴に分割することを表す分割命令を含み、シナリオ解釈部１２は、操作シナリオ１１を解釈して分割命令を抽出し、分割部１５は、前記分割命令に基づいて前記動作状況情報を複数の測定履歴に分割する。このように操作シナリオ１１に分割命令を予め含ませておくことによって、動作状況情報を、操作シナリオ１１における操作命令に対応する動作状況を含む測定履歴に分割することができる。

また本実施の形態の試験装置１０によれば、結果判定部１７は、前記複数の測定履歴と、各測定履歴に対応して予め設定される期待履歴とに基づいて、各測定履歴が対応する期待履歴と同一であるか否かを判定するとともに、各測定履歴の判定結果に基づいて、被試験機１の操作シナリオ１１に対する動作が妥当であるか否かを判定する。これによって被試験機１が不所望な動作をしている測定履歴を容易に抽出できるとともに、被試験機１の動作が妥当であるか否かをも判定することができる。

本発明の実施の一形態の試験装置１０を示すブロック図である。操作シナリオ１１の一例を示す図である。図２に示す操作シナリオ１１の概略および操作シナリオ１１に基づいて試験が行われたときに作成される測定履歴が、操作シナリオ１１のどの操作に対応しているかを説明するための図である。図３に示す測定履歴１の一例を示す図である。図３に示す期待履歴１の一例を示す図である。結果判定部１７による個別判定の手順を示すフローチャートである。結果判定部１７が出力する判定結果情報の一例を示す図である。従来の試験方法を説明するための図である。

符号の説明

１０試験装置
１２シナリオ解釈部
１３操作部
１４測定部
１５分割部
１７結果判定部

Claims

被試験機を試験する手順を表す操作シナリオを解釈して操作命令を抽出するシナリオ解釈手段と、
操作命令に基づいて被試験機を操作する操作手段と、
前記操作手段によって操作される被試験機の動作状況を測定し、その結果である動作状況情報を生成する測定手段と、
１つの操作シナリオに対して、前記動作状況情報を予め定める複数の測定履歴に分割して出力する分割手段とを含むことを特徴とする試験装置。
前記操作シナリオは、前記動作状況情報を複数の測定履歴に分割することを表す分割命令を含み、
前記シナリオ解釈部は、操作シナリオを解釈して分割命令を抽出し、
前記分割手段は、前記分割命令に基づいて前記動作状況情報を複数の測定履歴に分割することを特徴とする請求項１記載の試験装置。
前記複数の測定履歴と、各測定履歴に対応して予め設定される期待履歴とに基づいて、各測定履歴が対応する期待履歴と同一であるか否かを判定するとともに、各測定履歴の判定結果に基づいて、被試験機の操作シナリオに対する動作が妥当であるか否かを判定する判定手段をさらに含むことを特徴とする請求項１または２記載の試験装置。
被試験機を試験する手順を表す操作シナリオを解釈して操作命令を抽出するシナリオ解釈工程と、
操作命令に基づいて被試験機を操作する操作工程と、
前記操作工程において操作される被試験機の動作状況を測定し、その結果である動作状況情報を生成する測定工程と、
１つの操作シナリオに対して、前記動作状況情報を予め定める複数の測定履歴に分割して出力する分割工程とを含むことを特徴とする試験方法。