JP2002157144A

JP2002157144A - ソフトウェア自動試験方式

Info

Publication number: JP2002157144A
Application number: JP2000350692A
Authority: JP
Inventors: Masatsugu Nakada; 雅嗣中田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2000-11-17
Filing date: 2000-11-17
Publication date: 2002-05-31
Anticipated expiration: 2020-11-17
Also published as: JP3504605B2

Abstract

(57)【要約】【課題】ソフトウェア自動試験方式において、人的誤
りを排除して試験の正当性を保証することにより、信頼
性の向上を図ると共に、試験に要する工数の短縮を図
る。【解決手段】計算機と、表示装置３０と、記憶装置５
０と、試験装置６０とを有するコンピュータシステム本
体２０を備え、デザインレビュー等にもとづくソフトウ
ェア設計情報５１を記憶装置５０に設定するソフトウェ
ア設計支援手段２１と、ソフトウェア設計情報５１にも
とづいたソフトウェア試験を自動化するためのソフトウ
ェア試験手段２２とをコンピュータシステム本体２０に
設けた構成とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ソフトウェア自
動試験方式、特に、ソフトウェア試験に関する一連の作
業をソフトウェア設計情報にもとづいて自動化するソフ
トウェア自動試験方式に関するものである。

【０００２】

【従来の技術】従来のコンピュータシステムにおけるソ
フトウェア開発では、その試験作業が占める割合が大き
く、また試験における作業の誤りや試験内容の不足がコ
ンピュータシステム開発完了後に発覚した場合などに発
生する手戻り作業は十分大きな問題となる場合が多いた
め、従来から試験の自動化という取り組みがさまざまな
方法により実施されてきた。

【０００３】図１３は、その一例を示すもので、特開平
７−５６７６８号公報や特開平５−１３４８９６号公報
にも開示されているように、試験に使用するテストデー
タを自動的に生成するものである。この図において、１
は被試験プログラムのインタフェースやデータ型などに
ついての各種の定義で、作業者２が試験のために事前に
実施するものである。３は定義１にもとづいて作成され
るテストデータ生成条件で、データ項目、入出力ファイ
ル、テストデータの重み付けなどのデータ作成条件等が
含まれる。４は自動化手段で、テストデータ生成条件３
を参照してテストデータ５を生成する。特に、テストデ
ータの重み付けが事前の定義に含まれている場合には、
優先的に試験すべきデータを生成するというものであっ
た。

【０００４】この場合には、作業者が実施した定義１と
被試験プログラムの設計情報との整合が取れているかど
うかの検証は作業者の裁量によることとなるため、定義
１の作業に誤りが発生した場合、それにもとづいて自動
生成したテストデータ５を使用した試験の正当性は保証
されないこととなる。

【０００５】図１４は、他のテストデータの自動生成の
例を示すものであり、例えば特開平３−２８２６３７号
公報に開示されているものである。この図において、６
は被試験プログラムで、自動化手段４がこれを参照して
静的に解析することにより、インタフェースやデータ型
を抽出してテストデータ５を生成するというものであっ
た。

【０００６】この場合は、まだ正当性の確認されていな
い試験対象のプログラム６をテストデータ生成の元とし
ているため、被試験プログラム６のソースコードに誤り
があった場合、その誤りに準じたテストデータ５が生成
される可能性があり、そのテストデータ５を使用した試
験においては被試験プログラム６の誤りを検出すること
は困難であると言える。従って、この方法は、被試験プ
ログラム６が設計仕様通りに作成されているかどうかを
検証するための試験にはならない。

【０００７】図１５は、従来の自動試験方式の更に他の
例を示すもので、先に挙げた特開平５−１３４８９６号
公報に開示されているものである。これは、試験結果の
検証に関するものであり、図において、７はテスト結果
検証用データで、作業者２が定義１にもとづいて作成し
たものであり、自動化手段４は、テスト結果検証用デー
タ７を参照して試験実施後のテストデータ５の検証を自
動的に実施するものであった。この場合には、作業者が
事前に結果として出力されるべきデータを定義している
検証であるため、定義作業に誤りが発生した場合には、
正しい試験結果が得られた場合でも検証時に結果不正と
いう判定が下されることが起こり得る。

【０００８】また、従来の技術で解決される範囲は、図
１６（ａ）に示すように、プログラムの最小単位である
関数８についての試験の自動化であり、あるまとまった
機能単位であるタスクの試験は対象とされていなかっ
た。従って、ＯＳによりスケジューリングされる動作
や、特にＲＴＯＳによってプログラムの実行がタスクの
優先度に準じて中断／再開されるようなプリエンプティ
ブな動作の検証を自動化する方法が提供されているもの
ではなかった。従来、タスク単位の試験では、図１６
（ｂ）に示すように、被試験タスク９を駆動するための
イベントを入力するために、試験用のタスク１０，１１
を用意する場合が多いが、この場合には、試験用のタス
ク１０，１１についても設計／製作／試験する必要があ
った。

【０００９】さらに、上述した従来の技術は、いずれも
ネィティブ開発についての自動化の例であり、クロス開
発における試験を自動化する手段については開示してい
ない。クロス開発においては、図１７に示すように、製
作したプログラム１２を実行環境のＣＰＵ言語に変換す
るクロスコンパイラ１３を使用することにより実行形式
ファイル１４として生成し、その実行形式ファイル１４
を専用の試験装置１５Ａ、１５Ｂ…１５Ｎに読み込むこ
とにより試験を実施することが一般的である。この場
合、試験項目毎に試験装置が解釈できるコマンド群を定
義し、これらを試験装置に読み込ませることによる半自
動化が為されてきた。しかし、この場合も、作業者によ
るコマンド定義において誤りが発生する可能性は否めな
いものであり、その定義の正当性が作業者により十分に
検証されていない場合は自動化の効果は半減する。ま
た、試験装置が異なる場合、そのコマンド定義方法も異
なり、操作手順についても試験装置に依存したものであ
るため、同じソフトウェアの試験においても同じ試験装
置が用意できない場合などは試験装置毎のコマンド群お
よび操作手順を習得する必要があり、試験そのものより
もその準備作業に時間を要していた。ソフトウェアの論
理試験（シミュレーション）とハードウェアに搭載した
形での試験において使用される試験装置は一般的に異な
るものであるため、この場合も同様のことが言える。

【００１０】

【発明が解決しようとする課題】従来のソフトウェア自
動試験方式は上述のように構成されており、ソフトウェ
ア試験の自動化において、作業者が全く介在しないとい
うことは極めて困難と言える。この場合、自動化された
試験作業の何処に作業者が介在するかということが問題
となってくるが、それは人の作業誤りが試験全体に与え
る影響を極小化でき、その誤りによる影響を容易に回復
できる作業箇所に他ならない。即ち、人が介在した際に
発生し得る誤りによって既に実施されたはずの試験自体
の正当性が保証されないのでは、自動化する前の作業と
比べて誤りが発生する作業箇所が試験そのものである
か、自動化のために行う作業になるかの違いだけであ
り、自動化による効果は小さいものとなるばかりか、作
業誤りの検出自体も困難となる場合がある。従って、作
業者が実施する作業に誤りが発生した場合においても、
既に実施した試験の正当性は保証され、試験の内容が不
足している程度の影響に収める必要がある。

【００１１】この発明は、上記のような課題に対処する
ために為されたものであり、ソフトウェア設計情報にも
とづいたソフトウェア試験情報を自動生成し、さらに、
ネイティブあるいはクロス開発に限定されずにタスク単
位の動作検証を含むソフトウェア試験に係る一連の作業
を自動化することにより、従来の自動化方式では発生す
る可能性のあった人的誤りを排除し、試験の正当性を保
証すると共に試験に費やす時間を短縮し、かつ試験装置
に依存しない試験手順で実施することのできるソフトウ
ェア自動試験方式を提供しようとするものである。

【００１２】

【課題を解決するための手段】この発明に係るソフトウ
ェア自動試験方式は、計算機と、表示装置と、記憶装置
と、試験装置とを有するコンピュータシステム本体を備
え、デザインレビュー等にもとづくソフトウェア設計情
報を記憶装置に設定するソフトウェア設計支援手段と、
ソフトウェア設計情報にもとづいたソフトウェア試験を
自動化するためのソフトウェア試験手段とをコンピュー
タシステム本体に設けたものである。

【００１３】この発明に係るソフトウェア自動試験方式
は、また、ソフトウェア試験手段が、ソフトウェア設計
情報にもとづいて被試験プログラムの試験項目および試
験規格を自動的に抽出する試験仕様生成手段を備えたも
のである。

【００１４】この発明に係るソフトウェア自動試験方式
は、また、試験項目に対応した試験装置を制御するため
の制御情報ファイルを自動的に生成する制御情報生成手
段を備えたものである。

【００１５】この発明に係るソフトウェア自動試験方式
は、また、試験項目に対応した試験を実施するための試
験用プログラムのソースコードを自動的に生成する試験
プログラム生成手段を備えたものである。

【００１６】この発明に係るソフトウェア自動試験方式
は、また、制御情報ファイルにもとづいて試験装置を制
御することにより、試験装置毎の試験手順によることな
く試験を実施する試験実行手段を備えたものである。

【００１７】この発明に係るソフトウェア自動試験方式
は、また、試験実行手段によって実施された試験の実行
結果と試験規格とを照合することにより、試験結果を自
動的に検証する試験結果検証手段を備えたものである。

【００１８】この発明に係るソフトウェア自動試験方式
は、また、ソフトウェア試験手段が、ソフトウェア設計
情報にもとづいて被試験プログラムの試験項目および試
験規格を自動的に抽出する試験仕様生成手段と、試験項
目に対応した試験装置を制御するための制御情報ファイ
ルを自動的に生成する制御情報生成手段と、試験項目に
対応した試験を実施するための試験用プログラムのソー
スコードを自動的に生成する試験プログラム生成手段
と、制御情報ファイルにもとづいて試験装置を制御する
ことにより、試験装置毎の試験手順によることなく試験
を実施する試験実行手段と、試験実行手段によって実施
された試験の実行結果と試験規格とを照合することによ
り、試験結果を自動的に検証する試験結果検証手段とを
備えたものである。

【００１９】この発明に係るソフトウェア自動試験方式
は、また、ソフトウェア設計情報にもとづいて試験項目
に対する重要度情報を出力するものである。

【００２０】この発明に係るソフトウェア自動試験方式
は、また、ソフトウェア試験が、ＯＳにより実行管理さ
れる単位のタスクをＯＳと組み合わせた形態で実施され
るようにしたものである。

【００２１】この発明に係るソフトウェア自動試験方式
は、また、ＯＳがマルチタスクＯＳとされるものであ
る。

【００２２】この発明に係るソフトウェア自動試験方式
は、また、ＯＳが複数のタスクを各タスクの優先度に従
って実行管理するＲＴＯＳとされるものである。

【００２３】この発明に係るソフトウェア自動試験方式
は、また、ソフトウェア試験を、ソフトウェア開発に使
用するホストマシンのＣＰＵと、実際にソフトウェアを
動作させるハードウェアのＣＰＵとが同じである場合の
ネイティブ開発、およびそれらが異なる場合のクロス開
発、のいずれのソフトウェア試験にも適用し得るように
したものである。

【００２４】

【発明の実施の形態】実施の形態１．以下、この発明の
実施の形態１を図にもとづいて説明する。図１は、実施
の形態１の構成を示すブロック図である。この図におい
て、２０はソフトウェア自動試験システムのシステム本
体で、このシステム本体には、表示装置３０、キーボー
ド等の入力装置４０、記憶装置５０、および試験装置６
０が接続されている。また、２１はシステム本体２０に
格納されたソフトウェア設計支援手段、２２は同じくシ
ステム本体２０に格納されたソフトウェア試験手段で、
試験仕様生成手段２６Ａ、制御情報生成手段２６Ｂ、試
験プログラム生成手段２６Ｃ、試験実行手段２６Ｄ、お
よび試験結果検証手段２６Ｅから構成されている。ま
た、５１は記憶装置５０に格納されたソフトウェア設計
情報、５２は同じく記憶装置５０に格納されたソフトウ
ェア試験情報で、ソフトウェア設計情報５１を元にして
このシステムにより生成される試験項目５６Ａ、試験規
格５６Ｂ、試験装置制御情報５６Ｃ、試験プログラム５
６Ｄ、および試験結果５６Ｅを含むものである。

【００２５】なお、図１でシステム本体２０の各手段と
記憶装置５０の各情報との間に表示されている実線矢印
は、矢印方向への設定機能を示し、点線矢印は矢印方向
への参照機能を示すものである。また、この実施の形態
は、ＲＴＯＳ上で稼働するタスクの試験手順に、この発
明による方式を適用した例を示すものである。なお、被
試験タスクへの入力イベントは、ＯＳを使用したタスク
間通信方式として一般的であるメッセージ通信を用いる
こととして説明する。

【００２６】ソフトウェア設計情報５１は、その構成内
容を図２に示すように、開発する各ソフトウェアに共通
する情報であるソフトウェア共通設計情報５３、および
試験対象のソフトウェアに関する設計情報であるプログ
ラム設計情報５４から構成され、ソフトウェア共通設計
情報５３は、ＣＰＵ情報５７Ａ、ＲＯＭ情報５７Ｂ、Ｒ
ＡＭ情報５７Ｃ、制御デバイス情報５７Ｄから構成され
るハードウェア情報５７と、ＯＳ情報５８Ａ、タスク情
報５８Ｂ、タスク間インタフェース情報５８Ｃ、タスク
間シーケンス情報５８Ｄ、タスク間共通データ情報５８
Ｅから構成されるソフトウェア情報５８と、開発ホスト
情報５９Ａ、開発ディレクトリ情報５９Ｂ、プログラム
言語情報５９Ｃ、試験装置情報５９Ｄ、言語処理系情報
５９Ｅから構成される開発環境情報５９とを含む。ま
た、プログラム設計情報５４は、状態遷移表５４Ａやモ
ジュール仕様５４Ｂなどのように、入力イベントに対す
る被試験プログラムの出力イベントや内部データ遷移値
が判断可能な設計情報より構成されている。

【００２７】以上のような内容を有するソフトウェア設
計情報５１は、ソフトウェア設計作業時にデザインレビ
ューなどにより十分に検討された情報であり、ソフトウ
ェア設計支援手段２１を用いて本システムに入力される
が、上述した従来の技術のように、別途ソフトウェア試
験のために定義されたものではない。後述するソフトウ
ェア試験の各手順はこのソフトウェア設計情報５１にも
とづいて実施されることになる。

【００２８】次に、図３にもとづいて試験仕様生成手段
２６Ａによる試験項目５６Ａ、試験規格５６Ｂの生成手
順について説明する。この手順では、ステップＳ１１に
おいてソフトウェア設計情報５１におけるタスク間イン
タフェース情報５８Ｃより被試験タスクへの入力イベン
トを全て抽出し、ステップＳ１２において別途作業者に
より入力イベントの連続数として定義される試験レベル
２０１から試験レベル分の入力イベントの組合せを生成
することによりこれを試験項目５６Ａとし、さらにステ
ップＳ１３において各試験項目に対する入力イベント発
生時の被試験タスクの出力イベントおよびデータ遷移値
をプログラム設計情報５４にもとづいて決定したものを
試験規格５６Ｂとして記憶装置５０に格納する。また、
試験項目５６Ａについては、ステップＳ１４において、
ソフトウェア設計情報５１にもとづいた優先度情報が付
加される。これは、被試験タスクの入出力イベントの組
合せがタスク間シーケンス情報として定義されているも
のを優先度１、被試験タスクへの入力イベントに対して
出力イベントが発生するもので優先度１以外のものを優
先度２、被試験タスクへの入力イベントに対して被試験
タスクの各データ値に変化が発生するもので優先度１、
２以外の試験項目を優先度３、優先度１、２、３以外を
優先度４の試験項目とするものである。

【００２９】図４は、試験レベル２０１、即ち、イベン
トの連続数を２として定義すると共に、被試験タスクを
タスク２とした場合のソフトウェア設計情報を例示する
もので、（ａ）はタスク間インタフェース情報と、試験
項目とする入力イベントの組み合わせの例を示し、
（ｂ）はタスク間シーケンス情報として定義された
（１）〜（４）の被試験タスクの入出力イベントの組み
合わせ例および試験項目とする入力イベントの組み合わ
せの例を示す。また、（ｃ）はプログラム設計情報とし
て被試験タスクの状態遷移表を使用した場合の各試験項
目に対する優先度決定の例を示すもので、被試験タスク
のデータを状態番号のみとしている。なお、試験項目と
して示されている入力イベントの組み合わせで、例え
ば、「１Ａ→１Ａ」とあるのは、被試験タスクであるタ
スク２にメッセージ１Ａが入力された後、再度メッセー
ジ１Ａが入力されるケースを示し、「１Ａ→３Ａ」とあ
るのは、メッセージ１Ａが入力された後に、メッセージ
３Ａが入力されるケースを示す。他の組み合わせ表示に
ついても同様である。

【００３０】また、（ｃ）の状態遷移表は、例えば、メ
ッセージ１Ａについては、このメッセージ１Ａが被試験
タスクであるタスク２に入力された時（この状態を状態
番号＝１としている）、タスク２はメッセージ２Ａを送
信して状態番号＝２に移行し、状態番号＝２では、メッ
セージ１Ａが入力されてもＮＯＰ（ノーオペレーショ
ン）であり、その後、また、メッセージ１Ａが入力され
た時（この状態を状態番号＝３としている）、タスク２
はメッセージ２Ｃを送信することを示している。上述の
状態番号＝１の状態は、図４（ｂ）のタスク間シーケン
ス情報で（１）として定義されているケースであり、状
態番号＝３の状態は、同じくタスク間シーケンス情報で
（３）として定義されているケースである。また、状態
遷移表のメッセージ１Ｂについては、このメッセージ１
Ｂがタスク２に入力された時（この状態を状態番号＝１
としている）、タスク２はメッセージ２Ｂを送信して状
態番号＝３に移行することを示しており、その他の状態
番号とメッセージとの関係も同様である。メッセージ１
Ｂについての状態番号＝１の状態は、図４（ｂ）のタス
ク間シーケンス情報では（２）として定義されているケ
ースである。

【００３１】なお、試験項目については、例えば、「１
Ａ→３Ａ」は、タスク間シーケンス情報で（３）として
定義されているケースであるため、優先度は１となり、
「１Ａ→１Ｂ」は、タスク間シーケンス情報の（１）〜
（４）の定義とは異なるケースであるため、優先度は２
となっている。このような優先度情報を参考にして、試
験作業者が図３のステップＳ１５において、実際に試験
対象項目として決定することにより、その試験項目に試
験対象情報が付加される。これにより、試験レベルにも
とづいて生成された全試験項目に対して試験対象項目が
占める割合を算出することも可能となる。

【００３２】次に、図５に示す制御情報生成手段２６Ｂ
による試験装置制御情報５６Ｃの生成手順について説明
する。試験装置制御情報５６Ｃは、試験装置６０への試
験モジュールの読み込み、試験モジュールの起動、被試
験タスクへのイベント入力、および試験結果としての被
試験タスクの入出力イベント、データ遷移値などを収集
する試験制御手順を試験装置のコマンド書式を使用して
書いた試験手順ファイルである。以下、試験制御手順を
図６に示す。まず、ステップＳ２１において、試験モジ
ュールを試験装置６０へロードする。ここで、試験モジ
ュールは図７（ｂ）における試験時のソフトウェア構成
に示す各ソフトウェアを実行形式のファイルとして生成
したものである。各ソフトウェアの詳細については後述
する。

【００３３】次に、ステップＳ２２において試験タスク
へブレークポイントを設定する。設定箇所は、試験タス
クが疑似タスクへメッセージを送信する直前であり、こ
れについても詳細は後述する。次に、ステップＳ２３に
おいて試験モジュールを起動することにより試験モジュ
ールを構成する各タスクが動作する。ステップＳ２４で
は入力イベントの設定として試験タスクのデータ領域に
試験項目に対応した被試験タスクへの送信メッセージを
表わすビット列を設定するが、この処理はステップＳ２
２にて設定したブレークポイントにより試験タスクの動
作が一時的に停止された状態で行われる。従って、ステ
ップＳ２４に示す試験タスクの再開は、このブレークポ
イントからの動作の再開を意味する。ステップＳ２４
は、試験項目の入力イベント数の分だけ繰り返され（図
示の場合は２回）、その後、ステップＳ２５にて試験結
果を試験結果ファイルに格納する。試験結果は、試験規
格として定義されている被試験タスクの入出力イベント
履歴および入力イベント毎のデータ遷移値を含み、他に
ソースコードレベルの実行網羅率であるカバレッジデー
タや特定区間の処理時間などを含んでも良い。

【００３４】次に、試験プログラム生成手段２６Ｃによ
る試験プログラムのソースコード生成手順について説明
する。マルチタスクＯＳ上で稼働するタスクの試験の場
合、試験プログラムは図７（ｂ）に示すように被試験タ
スク７０への入力イベントを発生する試験タスク７１
と、試験タスク７１からの入力イベントを被試験タスク
７０へ転送し、被試験タスクの出力イベントを受け取る
疑似タスク７２、７３から構成される。疑似タスク７
２，７３は、図７（ａ）に示す実際のソフトウェア構成
上で被試験タスク（タスク２）とインタフェースを取る
タスク（タスク１、タスク３）の数だけ用意し、これら
の疑似タスクを実際の優先度で生成・起動することによ
り、実際の優先度に準じたプリエンプティブな動作の検
証が可能となる。この時、試験タスク７１は疑似タスク
７２，７３や被試験タスク７０の動作を中断しないよう
に、試験系で最低値の優先度で生成・起動する。

【００３５】図８に試験プログラム生成手段２６Ｃによ
る生成手順を示す。まず、ステップＳ３１にて試験タス
ク７１のソースコードを、ステップＳ３２にて必要数分
の疑似タスク７２，７３のソースコードを、ソフトウェ
ア設計情報５１として定義されているプログラム言語に
て生成する。プログラム仕様は、図９に示す試験時の各
タスクの処理フローに準ずる。

【００３６】図１０は、各タスクの初期化時のシーケン
スを示すものである。試験タスク７１は、タスク情報に
もとづいた属性を使用して被試験タスク７０を生成、起
動する。これにより、タスクの実行権は被試験タスク７
０に移行し、被試験タスクは必要な初期化処理を実行し
た後、メッセージ受信待ち状態になる。被試験タスク７
０がメッセージ受信待ちになると、試験タスクに再び実
行権が移行し、各疑似タスク７２，７３を生成、起動す
る。各疑似タスクが生成、起動される毎に実行権はそれ
らのタスクへ移行するが、すぐにメッセージ受信待ち状
態になり、再び試験タスクに実行権が戻る。その後、試
験タスク７１は試験装置制御情報にて設定されたブレー
クポイントにおいてその動作を一時停止する。なお、試
験タスク７１はＯＳへ別途登録し、試験モジュール起動
時にＯＳより起動されるようにする。

【００３７】図１１は、図１０の初期化シーケンスに続
くメッセージ通信シーケンスを示すものである。試験タ
スク７１が一時停止している状態において、試験装置制
御情報により試験タスク７１のデータ領域に試験項目に
対応する被試験タスク７０への送信メッセージが設定さ
れた後、試験タスク７１は動作を再開する。再開した試
験タスク７１は、メッセージを該当する疑似タスク７３
へ送信することにより疑似タスク７３に実行権が移行す
る。疑似タスク７３は受信メッセージが試験タスク７１
からの場合、そのメッセージを被試験タスク７０へ送信
する。メッセージ送信元の疑似タスク７３の優先度が被
試験タスク７０より低い場合はメッセージ送信によっ
て、また、高い場合は疑似タスク７３がメッセージ受信
待ちになった後、被試験タスク７０が動作する。被試験
タスク７０がメッセージを送信する場合は、該当する疑
似タスク７２が受信する。疑似タスク、被試験タスクの
動作が全て完了し、各タスクともメッセージ受信待ち状
態になると、試験タスク７１に実行権が移行し、再度、
試験装置により一時停止される。続く入力イベントがあ
る場合は、この動作を繰り返すことにより被試験タスク
７０へ順次イベントが入力される。入力イベントがなく
なった場合は、試験装置制御情報に従って必要な試験結
果がファイルに格納されることになる。なお、この場
合、各タスクの実行優先度は、高い方から疑似タスク
３、被試験タスク、疑似タスク１、試験タスクの順とさ
れている。

【００３８】次に、図１２に示す試験実行手段２６Ｄお
よび試験結果検証手段２６Ｅの実行手順について説明す
る。ステップＳ４１において、作業者が画面表示された
試験項目を実行選択することにより、試験実行手段２６
Ｄは試験装置制御情報を試験装置６０へ入力し、試験装
置の試験プロセスを起動し、ステップＳ４２において試
験プロセスの完了待ちとなる。試験装置６０は、制御情
報手順に従って試験を実行し、試験プロセスが完了する
と試験装置６０は試験結果ファイルを出力する。試験プ
ロセスが完了すると、ステップＳ４３により試験装置６
０が出力した試験結果５６Ｅを記憶装置５０に格納す
る。続いて、試験結果検証手段２６Ｅにより、ステップ
Ｓ５１において試験結果５６Ｅと試験規格５６Ｂとの照
合を自動的に行い、ステップＳ５２においてその整合性
を判定する。試験結果５６Ｅと試験規格５６Ｂとが合致
する場合は、ステップＳ５３により試験は正常完了した
ことを画面表示する。試験結果５６Ｅと試験規格５６Ｂ
とが不整合を起こす場合は、ステップＳ５４により試験
結果５６Ｅが不合格であることと共に不整合箇所の情報
を画面表示する。

【００３９】

【発明の効果】この発明に係るソフトウェア自動試験方
式は以上のように構成されているため、ソフトウェア設
計情報にもとづいたソフトウェア試験の自動化が可能と
なり、試験における人的誤りを排除して試験の正当性を
保証することができる結果、信頼性の向上を図ることが
できる他、試験に要する工数も短縮することができる。

【図面の簡単な説明】

【図１】この発明の実施の形態１の構成を示すブロッ
ク図である。

【図２】実施の形態１のソフトウェア設計情報の構成
を示す説明図である。

【図３】試験仕様生成手段による生成手順を示すフロ
ー図である。

【図４】ソフトウェア設計情報の一例と、それにもと
づく試験項目の優先度決定の一例を示す説明図である。

【図５】制御情報生成手段による生成手順を示すフロ
ー図である。

【図６】試験制御手順を示すフロー図である。

【図７】試験時のソフトウェア構成を示すブロック図
である。

【図８】試験プログラム生成手段による生成手順を示
すフロー図である。

【図９】試験時の各タスクの処理手順を示すフロー図
である。

【図１０】試験時の各タスクの初期化シーケンスを示
す図である。

【図１１】試験時の各タスクのメッセージ通信シーケ
ンスを示す図である。

【図１２】試験実行手段および試験結果検証手段によ
る実行手順を示すフロー図である。

【図１３】従来のソフトウェア自動試験方式の一例を
示すブロック図である。

【図１４】従来のソフトウェア自動試験方式の他の例
を示すブロック図である。

【図１５】従来のソフトウェア自動試験方式の更に他
の例を示すブロック図である。

【図１６】従来のソフトウェア自動試験方式における
タスク単位の試験方式を示す概略図である。

【図１７】従来のクロス開発におけるソフトウェア自
動試験の形態を示す概略図である。

【符号の説明】

２０システム本体、２１ソフトウェア設計支援
手段、２２ソフトウェア試験手段、２６Ａ
試験仕様生成手段、２６Ｂ制御情報生成手段、
２６Ｃ試験プログラム生成手段、２６Ｄ試験
実行手段、２６Ｅ試験結果検証手段、３０
表示装置、４０入力装置、５０記憶装置、
５１ソフトウェア設計情報、５２ソフトウェ
ア試験情報、５３ソフトウェア共通設計情報、
５４プログラム設計情報、５６Ａ試験項目、
５６Ｂ試験規格、５６Ｃ試験装置制御情報、５
６Ｄ試験プログラム、５６Ｅ試験結果、５
７ハードウェア情報、５８ソフトウェア情報、
５９開発環境情報、６０試験装置。

Claims

【特許請求の範囲】

【請求項１】計算機と、表示装置と、記憶装置と、試
験装置とを有するコンピュータシステム本体を備え、デ
ザインレビュー等にもとづくソフトウェア設計情報を上
記記憶装置に設定するソフトウェア設計支援手段と、上
記ソフトウェア設計情報にもとづいたソフトウェア試験
を自動化するためのソフトウェア試験手段とを上記コン
ピュータシステム本体に設けたことを特徴とするソフト
ウェア自動試験方式。
【請求項２】ソフトウェア試験手段は、ソフトウェア
設計情報にもとづいて被試験プログラムの試験項目およ
び試験規格を自動的に抽出する試験仕様生成手段を備え
たことを特徴とする請求項１記載のソフトウェア自動試
験方式。
【請求項３】試験項目に対応した試験装置を制御する
ための制御情報ファイルを自動的に生成する制御情報生
成手段を備えたことを特徴とする請求項２記載のソフト
ウェア自動試験方式。
【請求項４】試験項目に対応した試験を実施するため
の試験用プログラムのソースコードを自動的に生成する
試験プログラム生成手段を備えたことを特徴とする請求
項２記載のソフトウェア自動試験方式。
【請求項５】制御情報ファイルにもとづいて試験装置
を制御することにより、試験装置毎の試験手順によるこ
となく試験を実施する試験実行手段を備えたことを特徴
とする請求項３記載のソフトウェア自動試験方式。
【請求項６】試験実行手段によって実施された試験の
実行結果と試験規格とを照合することにより、試験結果
を自動的に検証する試験結果検証手段を備えたことを特
徴とする請求項５記載のソフトウェア自動試験方式。
【請求項７】ソフトウェア試験手段は、ソフトウェア
設計情報にもとづいて被試験プログラムの試験項目およ
び試験規格を自動的に抽出する試験仕様生成手段と、上
記試験項目に対応した試験装置を制御するための制御情
報ファイルを自動的に生成する制御情報生成手段と、上
記試験項目に対応した試験を実施するための試験用プロ
グラムのソースコードを自動的に生成する試験プログラ
ム生成手段と、上記制御情報ファイルにもとづいて試験
装置を制御することにより、試験装置毎の試験手順によ
ることなく試験を実施する試験実行手段と、上記試験実
行手段によって実施された試験の実行結果と上記試験規
格とを照合することにより、試験結果を自動的に検証す
る試験結果検証手段とを備えたことを特徴とする請求項
１記載のソフトウェア自動試験方式。
【請求項８】ソフトウェア設計情報にもとづいて試験
項目に対する重要度情報を出力することを特徴とする請
求項２〜請求項７のいずれか1項記載のソフトウェア自
動試験方式。
【請求項９】ソフトウェア試験は、オペレーティング
システム（以下、ＯＳと称す）により実行管理される単
位のソフトウェア（以下、タスクと称す）をＯＳと組み
合わせた形態で実施し得るようにしたことを特徴とする
請求項１記載のソフトウェア自動試験方式。
【請求項１０】ＯＳは、複数のタスクを実行管理する
ＯＳ（以下、マルチタスクＯＳと称す）であることを特
徴とする請求項９記載のソフトウェア自動試験方式。
【請求項１１】ＯＳは、複数のタスクを各タスクの優
先度に従って実行管理するリアルタイムＯＳ（以下、Ｒ
ＴＯＳと称す）であることを特徴とする請求項９記載の
ソフトウェア自動試験方式。
【請求項１２】ソフトウェア試験は、ソフトウェア開
発に使用するホストマシンのＣＰＵと、実際にソフトウ
ェアを動作させるハードウェアのＣＰＵとが同じである
場合のソフトウェア開発（以下、ネイティブ開発と称
す）、およびそれらが異なる場合のソフトウェア開発
（以下、クロス開発と称す）のいずれのソフトウェア試
験にも適用し得るようにしたことを特徴とする請求項１
記載のソフトウェア自動試験方式。