JP2000057015A - ソフトウェアのテスト装置および記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ソフトウェアのテスト作業全体を自動化し、
テストをより効率的に行えるようにする。 【解決手段】 ソフトウェアのテストで行われる一連の
内部作業をそれぞれ支援するための複数種類の内部作業
支援手段３〜９のうち、ユーザからの指示に従った適切
な内部作業支援手段を適切な順番で起動するように制御
するテスト作業フロー制御手段２を設けることにより、
テスト計画以降のソフトウェアのテスト作業全体を自動
化することができるようにし、テスト内の各内部作業間
で行われていたデータの過不足の調整や、自動化されて
いない作業を行うための人間の労力を大幅に削減するこ
とができるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はソフトウェアのテス
ト装置および記録媒体に関し、特に、プログラム開発の
テスト工程においてテストを行う際に使用するテスト支
援ツールに用いて好適なものである。

【０００２】

【従来の技術】近年、コンピュータシステムが世の中の
至る所において多種多様な用途で使用されており、その
利用範囲はますます広がりつつある。そして、エンドユ
ーザのコンピュータシステムに対する要望も日増しに膨
れ上がり、非常に高機能なものが求められるようになっ
てきている。これに伴い、これらのコンピュータシステ
ムに搭載するために開発されるソフトウェア（プログラ
ム）は、複雑かつ膨大な規模のものとなってきている。
そのため、このソフトウェアの開発工程の一環として行
うべきテストも膨大な量となってきている。

【０００３】ところが、実際のソフトウェア開発工程で
は、最終的な製品の納期が決められる一方で、設計や実
装といったテスト以外の工程により多くの労力を投入さ
れる傾向があるため、後工程であるテスト作業に十分な
期間や人的資源を投入することは現実上困難な場合が多
く、その効率化が強く望まれている。特に、プログラム
修正後や保守段階で繰り返し行われる再テストは、自動
化への要望が強い。また、テスト作業において定型化可
能なものを極力自動化し、テスト担当者の作業負荷を軽
減することも望まれている。

【０００４】

【発明が解決しようとする課題】このような背景のもと
で、テスト作業の自動化への試みが続けられてきている
が、従来、この自動化は、テスト工程で行われる複数の
内部作業のうちのどれか１つ、あるいは幾つかの作業だ
けに対象を絞って行われており、テスト工程全体を通し
て行われることはなかった。

【０００５】すなわち、テスト工程は大別して、テスト
計画、テスト設計、テスト作成、テスト実行、テスト評
価およびテスト管理の各内部作業から成るが、従来のテ
スト支援ツールは、各内部作業ごと、しかもその多くは
テスト実行作業を更に分割した作業ごとに別個に開発さ
れていた。特に、テスト評価作業を支援するためのテス
ト支援ツールは、機能的に乏しいものであった。つま
り、テスト評価作業では、ソフトウェア仕様書などから
期待される正解値（以下、これをテストオラクルと呼
ぶ）とテスト実行結果とを比較することができるだけ
で、総合的なテスト評価を行うことはできなかった。

【０００６】このため、ある作業を受け持つツールと別
の作業を受け持つツールとの間で伝えられるべきテスト
情報の種類が食い違ったり、情報の形式が異なったりす
ることが多かった。また、１つのツールで支援される範
囲は、テスト工程全体に及ぶことはなかった。

【０００７】したがって、人間がテスト情報の過不足を
調整したり、ツール間でテスト情報を伝達するために、
テスト情報を記述したファイルの形式を変換したりする
必要があった。また、テスト作業の進行に合わせて、そ
の都度人間が適切なツールを選択し、それを起動させて
操作する必要があった。

【０００８】しかしながら、これら人間によって行われ
ている作業は、本来余分なものであり、各内部作業が自
動化されたとしても依然としてテスト作業に多大な労力
がかかってしまうという問題があった。また、これらの
作業を人間が行うことによって人為的なミスが生じる恐
れもあり、テストの信頼性が低下するという問題もあっ
た。

【０００９】また、テスト作業においては、テスト対象
となるソースコードおよび設計仕様書に対して、テスト
対象を実行するためのテストドライバ、テストの際に使
用するテストデータ、テストオラクル、テスト仕様など
の各テスト成果物を作成するが、これらをどのような構
成とするか、そして、ファイルシステム上にどのように
格納するかについては、作業を行う人間の各自の判断に
任されていた。

【００１０】このため、テスト成果物の構成や品質は、
実際に作業を行う人間のノウハウに依存していた。その
結果、未熟な作業者が作成するテスト成果物の構成が歪
であったり、他人の作成したテスト成果物の内容を理解
するのに手間取ったりするという問題もあった。

【００１１】本発明は、このような問題を解決するため
に成されたものであり、ソフトウェアのテスト作業全体
を自動化し、テストをより効率的に行えるようにするこ
とを目的とする。例えば、テストの各内部作業間でテス
ト情報の伝達を正確に行えるようにし、これにより、テ
スト全体の作業効率と作業品質とを共に向上させること
を目的とする。また、個々の内部作業を支援するための
複数のテスト支援ツールを制御できるようにし、テスト
作業者が直接的に複数のテスト支援ツールを制御しなけ
ればならなくなる面倒を極力避けることで、テスト作業
者の負荷を軽減できるようにすることを目的とする。ま
た、上記個々の内部作業を支援するための複数のテスト
支援ツールが出力したテスト情報を、自動的に１つの報
告書にまとめ上げることにより、テスト作業者の負荷を
軽減できるようにすることを目的とする。

【００１２】また、本発明は、テスト評価作業における
テスト終了判定を支援する際に、従来のようにテスト実
行結果とテストオラクルとの比較結果を利用するだけで
なく、例えば、メモリエラーの検出結果やテストカバレ
ッジ（テスト対象のプログラムに対するテストの達成度
を定量的に測定するための指標の１つ）の計測結果等を
合わせて総合的にテスト結果を判定することにより、テ
スト評価作業の品質をより向上させることを目的とす
る。

【００１３】また、本発明は、テスト作業の間に作成さ
れるテスト成果物の構成を規定し、その雛形を提供する
ことで標準化を図り、テスト作業者によるばらつきをな
くすことにより、テスト成果物の品質とテスト作業効率
とを共に向上させることを目的とする。

【００１４】

【課題を解決するための手段】本発明によるソフトウェ
アのテスト装置は、ソフトウェアのテストで行われる一
連の内部作業をそれぞれ支援するための複数種類の内部
作業支援手段と、ユーザからの指示に従った適切な内部
作業支援手段を適切な順番で起動するように制御するテ
スト作業フロー制御手段とを設けたことを特徴とする。
このように構成した本発明によれば、ユーザがテスト作
業フロー制御手段に対して所望の作業指示を与えれば、
テスト作業フロー制御手段によってユーザからの作業指
示に従った適切な内部作業支援手段が適切な順番で自動
的に起動されるようになるので、ユーザは、適切なツー
ルを一々選択して起動したり、各内部作業間でデータの
過不足を調整したりすることなどを行わなくても済む。

【００１５】本発明の他の態様では、上記複数種類の内
部作業支援手段のうちの１つであるテスト実行支援手段
が、上記実質的に内部作業を行う各種ツールへの制御情
報を個別に管理し、同等の機能を持つ複数のツールを選
択的に利用することができるように構成されることを特
徴とする。このように構成した本発明によれば、同じ機
能を有する複数のツールを、それらのツールに合わせて
制御情報を変えてやることによって選択的に切り替えて
利用することが可能となる。

【００１６】本発明のその他の態様では、上記複数種類
の内部作業支援手段のうちの１つであるテスト評価支援
手段が、実質的に内部作業を行う各種ツールの少なくと
も１つがテスト実行時に出力するテスト情報を読み込
み、それらの情報を統合したものをテスト結果として出
力することを特徴とする。このように構成した本発明に
よれば、テスト評価作業において、テスト実行結果とテ
ストオラクルとを比較した結果だけでなく、テスト対象
のプログラム内に潜むメモリ処理関連のバグの検出結果
や、テスト対象のプログラムに対してどの程度テストが
達成しているかの定量的な検出結果が合わせて評価され
るようになるので、実際の製品に合わせた総合的なテス
ト評価を行うことが可能となる。

【００１７】本発明のその他の態様では、ソフトウェア
のテストで行われる一連の内部作業全体に対して統一的
なＧＵＩ手段を設けたことを特徴とする。このように構
成した本発明によれば、各ツール毎に起動方法や操作方
法が異なっていても、統一的なＧＵＩ手段を通じて各ツ
ールの起動および操作を実行することが可能となる。

【００１８】本発明のその他の態様では、テスト成果物
の雛形を典型的なテスト種類ごとに予め用意しておき、
上記複数種類の内部作業支援手段のうちの１つであるテ
スト設計支援手段およびテスト作成支援手段が、作成対
象のテスト成果物を上記雛形を基に作成することを特徴
とする。このように構成した本発明によれば、テスト成
果物の作成作業を簡易化することが可能となるととも
に、誰が作成してもある程度同じレベルのものが作成さ
れるようになる。

【００１９】また、本発明のコンピュータ読み取り可能
な記録媒体は、ソフトウェアのテストで行われる一連の
内部作業をそれぞれ支援するための複数種類の内部作業
支援手段、およびユーザからの指示に従った適切な内部
作業支援手段を適切な順番で起動するように制御するテ
スト作業フロー制御手段としてコンピュータを機能させ
るためのプログラムを記録したことを特徴とする。

【００２０】本発明の他の態様では、上記複数種類の内
部作業支援手段は、ビルドツール、クリーンツール、テ
スト実行ツール、メモリエラー検出ツール、カバレッジ
計測ツール、およびパフォーマンス計測ツールのうちの
少なくとも１つを、それぞれ個別にあるいは組み合わせ
て起動して、これらのツールと協働することによりテス
ト実行作業を支援するテスト実行支援手段を少なくとも
含むことを特徴とする。

【００２１】本発明のその他の態様では、上記複数種類
の内部作業支援手段は、ビルドツール、クリーンツー
ル、テスト実行ツール、メモリエラー検出ツール、カバ
レッジ計測ツール、およびパフォーマンス計測ツールの
うちの少なくとも１つがテスト実行時に出力するテスト
情報を読み込み、それらの情報を統合したものをテスト
結果として出力するテスト評価支援手段を少なくとも含
むことを特徴とする。

【００２２】本発明のその他の態様では、上記複数種類
の内部作業支援手段は、作成対象のテスト成果物を、典
型的なテスト種類ごとに予め用意しておいたテスト成果
物の雛形を基に作成するテスト設計支援手段およびテス
ト作成支援手段を少なくとも含むことを特徴とする。

【００２３】

【発明の実施の形態】以下に、本発明の一実施形態を図
面に基づいて説明する。図１は、本実施形態によるソフ
トウェアのテスト装置の機能構成を示すブロック図であ
る。

【００２４】図１に示すように、本実施形態によるソフ
トウェアのテスト装置は、ＧＵＩ手段１と、テスト作業
フロー制御手段２と、テスト設計支援手段３と、テスト
作成支援手段４と、テスト実行支援手段５と、テスト評
価支援手段６と、テストデータ管理支援手段７と、テス
ト管理支援手段８と、画面管理手段９とを備えており、
これらは、例えばＣＰＵ、ＲＯＭおよびＲＡＭなどから
なるマイクロコンピュータにより構成されている。

【００２５】また、上記テスト実行支援手段５により起
動される既存のテスト内部作業支援ツールとしては、ビ
ルドツール１１、クリーンツール１２、テスト実行ツー
ル１３、メモリエラー検出ツール１４、カバレッジ計測
ツール１５、パフォーマンス計測ツール１６がある。同
様に、上記テスト管理支援手段８により起動される既存
のテスト内部作業支援ツールとして、版構成管理ツール
１７がある。

【００２６】上記ＧＵＩ手段１は、図示しないディスプ
レイ上に表示されるグラフィカル・ユーザ・インタフェ
ースを用いてユーザから入力されたテスト作業指示を、
テスト作業フロー制御手段２に通知するものである。ま
た、画面管理手段９から画面データ２９として受け取っ
た各テスト作業支援手段３〜８の作業結果を図示しない
ディスプレイ上に表示する。

【００２７】テスト作業フロー制御手段２は、ＧＵＩ手
段１から伝達されたテスト作業指示の内容を解釈し、そ
の作業指示内容に照らし合わせて、テスト設計支援手段
３、テスト作成支援手段４、テスト実行支援手段５、テ
スト評価支援手段６、テストデータ管理支援手段７、テ
スト管理支援手段８および画面管理手段９の中から適切
なものに対し、適切な順序で適切な作業指示を行うもの
である。

【００２８】すなわち、ＧＵＩ手段１から伝えられるユ
ーザのテスト作業指示は、例えば、どういう言語のソー
スに対してどういうテストをどういう範囲で行うかとい
ったテスト条件として与えられる。このテスト条件によ
って、各手段３〜９の中で使用する手段が異なってく
る。そこでテスト作業フロー制御手段２は、そのテスト
条件を解釈して適切なテスト作業支援手段に対する作業
指示に分解し、それらの作業指示を適切な順番に従って
供給する。

【００２９】テスト設計支援手段３は、与えられた作業
指示に従って、テストを作成あるいは削除するものであ
る。また、テスト作成支援手段４は、与えられた作業指
示に従って、テスト内の個々の成果物（テストシナリ
オ、テストプログラム、テストドライバ、テストデー
タ、テストオラクルなど）を編集するものである。

【００３０】本実施形態においては、テスト設計および
作成のための雛型を数種類備えている。例えば、テスト
設計支援手段３が起動されると、ユーザにより指定され
たテスト種別（単体テスト、結合テスト、システムテス
トなど）やテスト対象言語（Ｃ＋＋、Ｊａｖａなど）か
ら、テスト成果物構造に従ったディレクトリ構造の雛形
がまず自動的に生成される。また、テスト作成支援手段
４が起動されると、上記ディレクトリ構造に従った各テ
スト成果物のテンプレートファイルが自動的に生成され
る。なお、テストデータとテストオラクルは自動生成さ
れない。

【００３１】すなわち、本実施形態では、テスト成果物
の雛形を典型的なテスト種類ごとに予め容易しておき、
テスト設計作業においてはテスト設計支援手段３が、テ
スト作成作業においてはテスト作成支援手段４が、作成
対象のテスト成果物を上記雛形を基にその時点での作業
情報を追加した上で自動的に生成する。このようにして
生成された雛形の内容はカスタマイズすることが可能で
あり、ユーザの好みに合ったテスト成果物を最終的に作
ることが可能である。

【００３２】このように、本実施形態では、テスト作業
の間に作成されるテスト成果物の構成をテストの内容に
応じて規定し、その雛形を提供することで標準化を図っ
ている。これにより、テスト成果物の構成や品質が、実
際に作業を行う人間のノウハウに依存することがなくな
り、テスト作業者によるばらつきをなくすことができ
る。よって、未熟な作業者が作成しても熟練した作業者
が作成してもほぼ同じ結果を得ることができるようにな
るとともに、他人の作成したテスト成果物でも内容を理
解するのが容易になる。

【００３３】次いで、テスト実行支援手段５は、与えら
れた作業指示に従って、テスト対象プログラムを構築し
たり、実行したり、削除したりするものである。これら
の作業を行う際には、必要に応じて既存のビルドツール
１１、クリーンツール１２、テスト実行ツール１３、メ
モリエラー検出ツール１４、カバレッジ計測ツール１
５、パフォーマンス計測ツール１６を起動する。

【００３４】このテスト実行支援手段５は、テスト作業
フロー制御手段２より与えられた作業指示に従って、テ
スト実行単位を任意に選択することが可能である。すな
わち、作業指示の内容によってどのツールを使用するか
が異なるので、テスト実行支援手段５は、与えられた作
業指示から各ツール１１〜１６のうちのどのツールをど
の順番で使用するかを解釈し、適切な順番で各ツールを
起動する。

【００３５】すなわち、このテスト実行支援手段５は、
既存のビルドツール１１、クリーンツール１２、テスト
実行ツール１３、メモリエラー検出ツール１４、カバレ
ッジ計測ツール１５、およびパフォーマンス計測ツール
１６を、それぞれ個別にあるいは組み合わせて起動する
ことができるように構成され、これらのツールと協働す
ることによりテスト実行作業を支援する。

【００３６】また、このテスト実行支援手段５は、ＧＵ
Ｉ手段１を通じて、使用するツールに依存することのな
い単純かつ統一的なＧＵＩ操作を提供するものである。
すなわち、ビルドツール１１を１つ例にとっても、既存
のものは各社から提供されており、起動方法や操作方法
がそれぞれ異なっている。しかしながら、ユーザが直接
目にするインタフェースはテスト実行支援手段５が備え
る単純なものであり、個々のツール１１〜１６が備える
ものではない。

【００３７】個々のツール１１〜１６のユーザ・インタ
フェースに対する入力は、ＧＵＩ手段１を通じて入力さ
れた指示をテスト実行支援手段５自身が解釈し、その指
示を必要に応じて各ツール１１〜１６用のものに翻訳し
て同等のユーザ・インタフェース部分に与えることによ
って実現される。これにより、ユーザは、使用するツー
ルが変わってもそのユーザ・インタフェースを特に意識
することなく同じ操作でテストを実行することができ
る。

【００３８】つまり、テスト作業フロー制御手段２によ
り制御されるテスト実行支援手段５は、実質的に内部作
業を行う各ツール１１〜１６への制御情報を個別に管理
することができ、入出力インタフェースが根本的に変わ
らなければ、同等の機能を持つ複数のツールを選択的に
利用することができる。例えば、本実施形態のテスト装
置を利用する組織ごとに内部作業を行うツールが異なっ
ていても、制御情報だけを変更すれば本実施形態のテス
ト装置と協働することが可能となる。

【００３９】なお、上記の各ツール１１〜１６は既存の
ものであり、そのもの自体は本発明に特有の機能を持た
ないので、ここでは詳しい説明を省略し、以下に一般的
な機能のみを簡単に説明する。ビルドツール１１は、テ
スト対象の実行プログラムを構築するためのツールであ
る。クリーンツール１２は、テスト実行において作成さ
れる中間成果物を削除するためのツールである。

【００４０】また、テスト実行ツール１３は、テストシ
ナリオによって定められた範囲でテストを実行するため
のツールである。メモリエラー検出ツール１４は、作成
されたテストプログラム内に潜むメモリ処理関連のバグ
を自動的に見つけ出すためのツールである。カバレッジ
計測ツール１５は、テスト対象のプログラムに対してど
の程度テストが達成しているかを定量的に見定めること
を自動的に行うためのツールである。パフォーマンス計
測ツール１６は、プログラムのパフォーマンスが思わし
くない場合に、当該個所の特定を自動的に行うためのツ
ールである。

【００４１】次いで、テスト評価支援手段６は、上記既
存の各種テスト内部作業支援ツール１１〜１６の実行出
力を統合し、総合的なテスト結果２７を作成するもので
ある。すなわち、従来の評価ツールにおいては、テスト
実行結果とテストオラクルとを比較するだけであった
が、本実施形態では、各ツール１１〜１６の実行出力、
つまり、ビルド結果出力２１、クリーン結果出力２２、
テスト実行結果出力２３、メモリエラー検出結果出力２
４、カバレッジ計測結果出力２５、パフォーマンス計測
結果出力２６のうち実際に出力されたものを全て統合し
て評価を行っている。

【００４２】すなわち、テスト評価支援手段６は、上記
ビルドツール１１、クリーンツール１２、テスト実行ツ
ール１３、メモリエラー検出ツール１４、カバレッジ計
測ツール１５、およびパフォーマンス計測ツール１６が
テスト実行時に出力するテスト情報を読み込み、それら
の情報を統合したもの（各実行出力ファイルの記載内容
を適切な形式にまとめ、１つのファイルとしたもの）を
テスト結果２７としてＧＵＩ手段１およびテキスト形式
のファイルに出力する。

【００４３】図２は、このテスト評価支援手段６より出
力されるテスト結果２７の例を示している。この図２の
例では、テスト実行結果出力２３とテストオラクル（図
示せず）との比較結果に加えて、メモリエラーの検出結
果やテストカバレッジの計測結果が合わせて評価されて
いる。

【００４４】すなわち、テスト実行結果出力２３とテス
トオラクルとの照合結果（テストケース結果一覧）、メ
モリエラー検出結果出力２４、テストカバレッジ計測結
果出力２５がそれぞれ示されるとともに、これらを総合
的に判断した結果が最上段にＰＡＳＳ／ＦＡＩＬの別で
表されている。最上段のテスト総合結果は、個々のツー
ルのテスト結果が全てＰＡＳＳで、総合カバレッジ値が
所定の値以上で、しかもメモリエラーが全くない場合に
ＰＡＳＳとなり、それ以外の場合にはＦＡＩＬとなる。

【００４５】このように、本実施形態によれば、単にテ
スト実行結果出力とテストオラクルとの照合を行うだけ
でなく、他のツールでの実行結果出力を加味して評価す
るようにしたので、総合的でより詳細なテスト結果を自
動的に判定することができ、テスト評価作業の品質をよ
り向上させることができる。また、テスト作業者は、総
合判定結果である図２のようなテスト結果２７の最上段
の表示を見れば、良い結果が得られたかどうかを直ちに
判断することができる。

【００４６】次いで、テストデータ管理支援手段７は、
各テスト作業において発生した各種のテスト情報を管理
するものである。例えば、テストの進捗度（生成した複
数のテストがそれぞれどの段階まで完了しているか等）
を表わすグラフを作成したり、あるテスト対象のテスト
中に発見されたバグの件数を表わすグラフを作成したり
する。各支援手段３〜９で作成された各種データは、テ
スト作業データ２８としてデータベースに順次蓄積され
るので、テストデータ管理支援手段７はこのテスト作業
データ２８を用いて上述した処理を行う。

【００４７】このように、本実施形態では、各テスト作
業支援手段３〜９で作成された各種テスト作業データ２
８は、全て同じデータベース内に統一された記述形式で
格納される。これにより、各ツール間で伝達されるテス
ト情報の形式統一が図られ、ユーザが形式統一のために
データの過不足を調整したり変更を加えたりしなくても
済む。

【００４８】テスト管理支援手段８は、与えられた作業
指示に従って、作成されたテスト成果物の版および構成
の管理を行うものである。この作業を行う際には、必要
に応じて既存の版構成管理ツール１７を起動し、これと
協働してテスト管理作業を支援する。すなわち、テスト
工程の間には、テスト仕様書、テストデータファイル等
多数のファイルが作成されるが、テスト管理支援手段８
は、これらのデータの整合性をとりながら版および構成
を管理する。

【００４９】このテスト管理支援手段８もテスト実行支
援手段５と同様に、使用するツールに依存することのな
い単純かつ統一的なＧＵＩ操作を提供するものである。
したがって、ユーザは、使用するツールが変わってもそ
のユーザ・インタフェースを特に意識することなく同じ
操作で版構成管理を実行することができる。

【００５０】画面管理手段９は、上記各種テスト作業支
援手段３〜８が行った作業結果を画面情報に変換し、そ
れをＧＵＩ手段１に引き渡すものである。この画面管理
手段９は、各種テスト作業の結果を例えばＨＴＭＬ形式
のドキュメントとして表示するためのテンプレートを持
ち、テンプレートの各項目内にテスト作業の結果得られ
たデータを挿入して、ＧＵＩ手段１に供給する。

【００５１】以下に、本実施形態における動作の概要を
示す。まず、ユーザがＧＵＩ手段１に対し、テスト作業
内容を指示する。ＧＵＩ手段１は、ユーザから指示され
たテスト作業内容を、テスト作業フロー制御手段２に伝
える。このとき、ユーザからの指示内容が不適切な場合
は、その旨を画面上に表示する。

【００５２】テスト作業フロー制御手段２は、当該指示
されたテスト作業を行うのに必要な１つ以上のテスト作
業支援手段（各支援手段３〜８のどれか）を選択し、適
切な順序で呼び出す。ここで呼び出されたテスト作業支
援手段は、それぞれが担当するテスト作業を自ら行う
か、あるいは、組み込まれた内部作業支援ツール（各ツ
ール１１〜１７のどれか）に行わせ、その作業結果をテ
スト作業データ２８として報告する。

【００５３】指示されたテスト作業が完了すると、テス
ト作業フロー制御手段２は、次に画面管理手段９を呼び
出す。画面管理手段９は、蓄積されたテスト作業データ
２８から作業結果を報告するための画面データ２９を作
成し、ＧＵＩ手段１を呼び出す。ＧＵＩ手段１は、作成
された画面データ２９を表示して、テスト作業結果をユ
ーザに通知する。

【００５４】以下、図１に示した本実施形態によるソフ
トウェアのテスト装置の動作を、図３および図４に示す
具体例を参照しながら説明する。図３は、メモリエラー
検出とカバレッジ計測とを伴ったテストプログラムのビ
ルドおよびテスト実行を行う場合の動作を説明するため
の流れ図である。なお、図３において、処理の順序は図
の上から下に向かって流れるものとする。

【００５５】図３において、ユーザからメモリエラー検
出とカバレッジ計測とを伴ったテストプログラムのビル
ドとテスト実行を行うように指示を受けたＧＵＩ手段１
は、テスト作業フロー制御手段２にその指示内容を伝え
る。テスト作業フロー制御手段２は、その指示内容を解
釈し、その指示に合った適切なテスト作業支援手段に対
して作業内容を伝える。今の例では、まずテスト実行支
援手段５に適切な作業内容を伝える。

【００５６】指示を受けたテスト実行支援手段５は、ま
ず、メモリエラー検出ツール１４とカバレッジ計測ツー
ル１５とを起動し、それぞれが持つメモリエラー検出用
ライブラリおよびテストカバレッジ計測用ライブラリ
と、テスト対象ソースファイル３１とをリンクさせるよ
うに、ビルドツール１１に対して指示を出す。これを受
けてビルドツール１１は、指示に従い、メモリエラー検
出用ライブラリ１４とテストカバレッジ計測用ライブラ
リ１５とテスト対象ソースファイル３１とをリンクし、
テストプログラム３２を作成する。

【００５７】次にテスト実行支援手段５は、テスト実行
ツール１３を呼び出し、指定されたテストを実行する。
テスト実行後、テストプログラムはテスト実行結果出力
２３と、これとテストオラクルとの照合結果出力３３
と、メモリエラー検出結果出力２４と、カバレッジ計測
結果出力２５とをそれぞれ別のファイルに書き出す。

【００５８】次に、テスト作業フロー制御手段２は、テ
スト評価支援手段６を呼び出し、上記４つの出力ファイ
ル２３〜２５，３３の記載内容と、ビルド結果出力２１
の記載内容とを適切な形式にまとめ、１つのファイルと
してテスト結果２７を生成する。画面管理手段９は、こ
のテスト結果２７を画面データ２９に取り入れてＧＵＩ
手段１を呼び出す。ＧＵＩ手段１は、画面上にテスト結
果２７を表示する。

【００５９】図４は、新規にテスト設計を行う場合の動
作を説明するための流れ図である。この図４においても
処理の順序は図の上から下に向かって流れるものとす
る。図４において、ユーザから新規テストの設計指示を
受けたＧＵＩ手段１は、テスト作業フロー制御手段２に
その指示内容を伝える。テスト作業フロー制御手段２
は、その指示内容を解釈し、その指示に合った適切なテ
スト作業支援手段に対して作業内容を伝える。今の例で
は、まずテスト設計支援手段３に適切な作業内容を伝え
る。

【００６０】テスト設計支援手段３は、テストの雛形４
１を利用して、指定された名称でテスト用ディレクトリ
４２を作成する。テスト用ディレクトリ４２には、例え
ばテスト仕様格納用のディレクトリが作成され、更にこ
のテスト仕様格納用のディレクトリには、テスト仕様書
ファイルが作成される。テスト設計支援手段３は、この
作業結果をテスト作業データ２８として報告する。

【００６１】次に、テスト作業フロー制御手段２は、画
面管理手段９を呼び出す。画面管理手段９は、報告され
たテスト作業データ２８の内容に従って、適切な画面デ
ータ２９を生成し、その表示をＧＵＩ手段１に指示す
る。ＧＵＩ手段１は、テストを設計した旨のメッセージ
を画面に出力する。

【００６２】以上詳しく説明したように、本実施形態に
よれば、ソフトウェアのテスト工程で行われる一連の内
部作業をそれぞれ支援するための複数種類のテスト作業
支援手段３〜９のうち、ユーザからの指示に従った適切
なテスト作業支援手段を適切な順番で起動するように制
御するテスト作業フロー制御手段２を設けたので、テス
ト計画以降のソフトウェアのテスト作業全体を自動化す
ることができる。しかもこの自動化は、テスト設計から
テスト完了までの一連の作業を必ず全て行ってしまうも
のではなく、ユーザが希望するテスト作業内容に合った
もののみの自動化であるので、より作業現場の実態に即
した自動化を図ることができる。

【００６３】このようなテスト作業の自動化により、テ
スト内の各内部作業間で行われていたデータの過不足の
調整や、自動化されていない作業を行うための人間の労
力を大幅に削減することができる。しかも、このように
人間の作業を排除することにより、人為的なミスの入り
込む余地を削減し、テスト作業の品質を向上させること
もできる。

【００６４】また、上記テスト作業フロー制御手段２
は、実質的に内部作業を行う既存のテスト支援ツール１
１〜１７への制御情報を個別に管理することができるの
で、同等の機能を持つ複数のツールを選択的に利用する
ことができる。例えば、本実施形態のテスト装置を利用
する組織ごとに内部作業を行う既存テスト支援ツールが
異なっていても、制御情報だけを変更すれば本実施形態
のテスト装置と協働することが可能となる。

【００６５】また、従来複数のテスト支援ツールを用い
た場合は、各ツール毎に起動方法や操作方法が異なって
いたが、本実施形態ではテスト作業全体に対して統一的
なＧＵＩ手段１を設けたので、利用者からみた操作性が
格段に向上するととともに、本実施形態のツールを容易
に習熟することができる。

【００６６】また、テスト評価作業においてテスト結果
の判定を行う際に、単にテスト実行出力とテストオラク
ルとの照合を行うだけではなく、メモリエラー検出結果
やカバレッジ計測結果など他のツール出力も加味して評
価するテスト評価支援手段６を設けたので、総合的なテ
スト結果を自動的に判定することができ、テスト評価の
品質を向上させることができる。

【００６７】また、テスト成果物の雛形をファイルある
いはディレクトリの形で作成するテスト設計支援手段３
およびテスト作成支援手段４を設けたので、これまでテ
スト成果物の構成を検討するために人間が費やした労力
や具体的な作成作業の一部を排除することができ、作業
効率を向上させるとともに、テスト成果物に対して一定
レベルの品質を確保することができる。

【００６８】なお、以上の実施形態で説明した各手段と
してコンピュータのＣＰＵ、記憶装置等を動作させるよ
うに作成したプログラムを用いることによって、コンピ
ュータを上記テスト装置として使用することができる。
その場合、当該プログラムを情報記録媒体に記録し、そ
の情報記録媒体をコンピュータに読み込ませることで達
成できる。情報記録媒体の例としては、例えばＲＯＭ、
フロッピーディスク、ハードディスク、光ディスク、光
磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性の
メモリカード等を用いることができる。

【００６９】

【発明の効果】本発明は上述したように、ソフトウェア
のテストで行われる一連の内部作業をそれぞれ支援する
ための複数種類の内部作業支援手段に関し、ユーザから
の指示に従った適切な内部作業支援手段を適切な順番で
起動するように制御するテスト作業フロー制御手段を設
けたので、ソフトウェアのテスト作業全体を自動化する
ことができ、テスト内の各内部作業間で行われていたデ
ータの過不足の調整や、自動化されていない作業を行う
ための人間の労力を大幅に削減することができる。しか
も、このように人間の作業を排除することにより、人為
的なミスの入り込む余地を削減し、テスト作業の品質を
向上することもできる。

【００７０】本発明の他の特徴によれば、実質的に内部
作業を行う各種ツールへの制御情報を個別に管理し、同
等の機能を持つ複数のツールを選択的に利用することが
できるようにテスト実行支援手段を構成したので、例え
ば、本発明を利用する組織毎に内部作業を行う既存テス
ト支援ツールが異なっていても、制御情報だけを変更す
れば本発明のテスト装置と協働することが可能となる。

【００７１】本発明のその他の特徴によれば、実質的に
内部作業を行う各種ツールがテスト実行時に出力するテ
スト情報を読み込み、それらの情報を統合したものをテ
スト結果として出力するようにテスト評価支援手段を構
成したので、テスト評価作業においてテスト結果の判定
を行う際に、単にテスト実行出力とテストオラクルとの
照合を行うだけではなく、例えばメモリエラー検出結果
やカバレッジ計測結果も加味して評価することで、総合
的なテスト結果を自動的に判定することができ、テスト
評価作業の品質を向上させることができる。

【００７２】本発明のその他の特徴によれば、ソフトウ
ェアのテストで行われる一連の内部作業全体に対して統
一的なＧＵＩ手段を設けたので、各ツール毎に起動方法
や操作方法が異なっていても、上記統一的なＧＵＩ手段
を通じて各ツールの起動および操作を実行することがで
き、ユーザからみた操作性が格段に向上するとととも
に、本発明のテスト装置を容易に習熟することができ
る。

【００７３】本発明のその他の特徴によれば、テスト成
果物の雛形を典型的なテスト種類ごとに予め用意してお
き、テスト設計支援手段およびテスト作成支援手段が、
作成対象のテスト成果物を上記雛形を基に作成するよう
にしたので、これまでテスト成果物の構成を検討するた
めに人間が費やした労力や具体的な作成作業の一部を排
除することができ、作業効率を向上させるとともに、テ
スト成果物に対して一定レベルの品質を確保することが
できる。

【図面の簡単な説明】

【図１】本発明の一実施形態によるソフトウェアのテス
ト装置の構成例を示す機能ブロック図である。

【図２】テスト評価支援手段によるテスト評価のレポー
トの一例を示す図である。

【図３】メモリエラー検出とカバレッジ計測とを伴った
テストプログラムのビルドおよびテスト実行を行う場合
の動作を説明するための流れ図である。

【図４】新規にテスト設計を行う場合の動作を説明する
ための流れ図である。

【符号の説明】

１ ＧＵＩ手段 ２ テスト作業フロー制御手段 ３ テスト設計支援手段 ４ テスト作成支援手段 ５ テスト実行支援手段 ６ テスト評価支援手段 ７ テストデータ管理支援手段 ８ テスト管理支援手段 ９ 画面管理手段 １１ ビルドツール １２ クリーンツール １３ テスト実行ツール １４ メモリエラー検出ツール １５ カバレッジ計測ツール １６ パフォーマンス計測ツール １７ 版構成管理ツール ２８ テスト作業データ ２９ 画面データ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 坂口 雄 東京都千代田区大手町２−６−３ 新日本 製鐵株式会社内 Ｆターム(参考） 5B042 AA01 BB12 BB14 BB19 FA04 FA08 FB09 FD07 FD08 FD13 FD15 5B076 EC05 EC07

Claims (12)

【特許請求の範囲】
1. 【請求項１】 ソフトウェアのテストで行われる一連の
   内部作業をそれぞれ支援するための複数種類の内部作業
   支援手段と、 ユーザからの指示に従った適切な内部作業支援手段を適
   切な順番で起動するように制御するテスト作業フロー制
   御手段とを設けたことを特徴とするソフトウェアのテス
   ト装置。
2. 【請求項２】 上記複数種類の内部作業支援手段は、テ
   スト設計作業を支援するためのテスト設計支援手段と、 テスト作成作業を支援するためのテスト作成支援手段
   と、 テスト実行作業を支援するためのテスト実行支援手段
   と、 テスト評価作業を支援するためのテスト評価支援手段
   と、 テストデータ管理作業を支援するためのテストデータ管
   理支援手段と、 テスト管理作業を支援するためのテスト管理手段のうち
   の少なくとも何れかを含むことを特徴とする請求項１に
   記載のソフトウェアのテスト装置。
3. 【請求項３】 上記テスト実行支援手段は、実質的に内
   部作業を行う各種ツールの少なくとも１つを、それぞれ
   個別にあるいは組み合わせて起動することができるよう
   に構成され、これらのツールと協働することによりテス
   ト実行作業を支援することを特徴とする請求項２に記載
   のソフトウェアのテスト装置。
4. 【請求項４】 上記テスト実行支援手段は、上記実質的
   に内部作業を行う各種ツールへの制御情報を個別に管理
   し、同等の機能を持つ複数のツールを選択的に利用する
   ことができるように構成されることを特徴とする請求項
   ３に記載のソフトウェアのテスト装置。
5. 【請求項５】 上記テスト評価支援手段は、実質的に内
   部作業を行う各種ツールの少なくとも１つがテスト実行
   時に出力するテスト情報を読み込み、それらの情報を統
   合したものをテスト結果として出力することを特徴とす
   る請求項２に記載のソフトウェアのテスト装置。
6. 【請求項６】 上記テスト評価支援手段は、各ツール出
   力の各記載内容を適切な形式にまとめ、１つのファイル
   として出力することを特徴とする請求項５に記載のソフ
   トウェアのテスト装置。
7. 【請求項７】 上記ソフトウェアのテストで行われる一
   連の内部作業全体に対して統一的なＧＵＩ手段を設けた
   ことを特徴とする請求項１に記載のソフトウェアのテス
   ト装置。
8. 【請求項８】 テスト成果物の雛形を典型的なテスト種
   類ごとに予め用意しておき、上記テスト設計支援手段お
   よびテスト作成支援手段は、作成対象のテスト成果物を
   上記雛形を基に作成することを特徴とする請求項２に記
   載のソフトウェアのテスト装置。
9. 【請求項９】 ソフトウェアのテストで行われる一連の
   内部作業をそれぞれ支援するための複数種類の内部作業
   支援手段、およびユーザからの指示に従った適切な内部
   作業支援手段を適切な順番で起動するように制御するテ
   スト作業フロー制御手段としてコンピュータを機能させ
   るためのプログラムを記録したことを特徴とするコンピ
   ュータ読み取り可能な記録媒体。
10. 【請求項１０】 上記複数種類の内部作業支援手段は、
    ビルドツール、クリーンツール、テスト実行ツール、メ
    モリエラー検出ツール、カバレッジ計測ツール、および
    パフォーマンス計測ツールのうちの少なくとも１つを、
    それぞれ個別にあるいは組み合わせて起動して、これら
    のツールと協働することによりテスト実行作業を支援す
    るテスト実行支援手段を少なくとも含むことを特徴とす
    る請求項９に記載のコンピュータ読み取り可能な記録媒
    体。
11. 【請求項１１】 上記複数種類の内部作業支援手段は、
    ビルドツール、クリーンツール、テスト実行ツール、メ
    モリエラー検出ツール、カバレッジ計測ツール、および
    パフォーマンス計測ツールのうちの少なくとも１つがテ
    スト実行時に出力するテスト情報を読み込み、それらの
    情報を統合したものをテスト結果として出力するテスト
    評価支援手段を少なくとも含むことを特徴とする請求項
    ９または１０に記載のコンピュータ読み取り可能な記録
    媒体。
12. 【請求項１２】 上記複数種類の内部作業支援手段は、
    作成対象のテスト成果物を、典型的なテスト種類ごとに
    予め用意しておいたテスト成果物の雛形を基に作成する
    テスト設計支援手段およびテスト作成支援手段を少なく
    とも含むことを特徴とする請求項９〜１０の何れか１項
    に記載のコンピュータ読み取り可能な記録媒体。