JP2000057014A - テスト装置、テストケース評価装置、およびテスト結果解析装置 - Google Patents

Abstract

(57)【要約】 【課題】 被テスト対象物に潜在する仕様の誤りを検出
するのに必要十分な動作検証テストを効率よく行う。 【解決手段】 被テスト対象物に対して入力されるテス
トケースと前記被テスト対象物の仕様とから、想定され
る誤りの検出能力を示す誤り検出データを各テストケー
スごとに予め生成する誤り情報生成部２を具備し、誤り
検出データに基づき、少なくとも前記テストケースの評
価および検証結果からの前記誤りの特定のうちの１つを
行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テスト装置、テス
トケース評価装置、およびテスト結果解析装置に関す
る。特に、ソフトウェアなどの被テスト対象物が仕様に
従って正常に動作するか否かの検証を行うテストにおい
て、想定される誤りの検出能力に応じてテストケースを
選択・補完し、又テストの実行結果から被テスト対象物
の誤りを示すことによって、被テスト対象物に潜在する
誤りを検出するのに必要十分なテストを効率よく行うた
めの技術に関する。

【０００２】

【従来の技術】近年、ソフトウェア開発は大規模化かつ
複雑高度化しており、これに伴ってソフトウェアの動作
の検証を行うテストも大規模化している。

【０００３】このテストの一般的手順を以下に説明す
る。まず、テストされる対象物（ソフトウェア）の仕様
に基づき、テストツール上でソフトウエアに入力される
テストケースが生成される。ここで、テストケースと
は、所望するテストのパターンを記述したものであり、
通常、各変数・状態の初期値と被テスト対象に与える命
令シーケンスとで構成される。次に、このテストケース
に基づき、被テスト対象物であるソフトウエアのテスト
が実行される。ユーザーは、このテスト実行で得られた
実行結果を解析して、被テスト対象の仕様の誤り（仕様
との相違、バグ）を検出し、デバッグ・プログラム修正
を行う。これらの手順が、入力テストケースに関して所
望する動作が得られるまで繰り返して行われる。

【０００４】従来より、テストの大規模化・複雑化を背
景として、上述した手順のうちのテストケースの作成・
テストの実行についての自動化技術が実用に供されてい
る。

【０００５】第１に、テストケースの生成フェーズにお
いては、テストケース生成作業を機械的に行うことが、
ソフトウエアの大規模化に応じた大量のテストケースを
自動生成することを可能としている。このテストケース
の自動生成では、状態遷移図やフローチャート等で記述
されるソフトウエアの仕様やソフトウエアのソースコー
ド自体などの入力内容に従って、各テストケースが決定
・生成される。

【０００６】第２に、テストの実行フェーズにおいて
は、各種のテストツールに対して用意されたテストケー
スが逐次自動で読み込まれて、ソフトウエアが実行され
る。この各テストケースについて実行されたテスト結果
が判定され、出力される。このテスト結果の判定手法に
は、例えば、あらかじめ実行結果データを用意してお
き、実際の実行結果が実行結果データに一致すれば合格
とする方法、異常な動作を定義しておき、異常な動作が
検出された場合に不合格とする方法、適用したテストケ
ースに対して最後まで実行できれば合格とする方法など
がある。

【０００７】このように、何度も繰り返し行われるテス
ト関連作業を自動的・機械的に行うことによって、テス
ト関連作業におけるコストの軽減が図られていた。

【０００８】

【発明が解決しようとする課題】しかしながら、従来の
ソフトウェアのテストには、以下の問題点があった。

【０００９】即ち、第１に、機械的に作成されたテスト
ケースは、仕様に示される組み合わせパターンを網羅す
べく生成されるため、ケースの数が膨大である。この生
成されたテストケースは、誤りの検出能力（即ち、被テ
スト対象ソフトウエアに潜在するバグを検出する能力）
も一律ではなく、検出能力の高いものと低いものとが混
在している。しかし、従来はどのテストケースがどの誤
りを検出するのに有効かを判断する有効な手段がなかっ
た。従って、これら全てのテストケースを使って一様に
テストを行っていた。こうしたテストは非効率的であ
り、開発コストを増大させていた。加えて、機械的手段
で膨大に生成されたテストケースの集合が、必ずしも充
分な誤り検出能力を有しているとは限らない。しかし、
従来は生成されたテストケースの集合が誤りを検出する
のに有効であるかどうかを判断する有効な手段がなかっ
た。従って当該テストが誤りを検出するために充分にな
されたことを保証することは困難であった。

【００１０】また、第２に、テストケースの数の多さに
伴って、テスト実行により出力されるテスト結果の数も
多くなる。加えて、一般にはある一つの誤りに対し複数
のテストケースが不合格となるため、テスト結果からあ
る誤りを特定するためには、多くの不合格となったテス
ト結果を解析しなければならない。このため、テスト結
果の解析・デバッグ作業が非効率的であった。

【００１１】これらの要因により、ソフトウエアのテス
ト実行作業・結果解析作業の各段階作業が長期化し、開
発コストを増大させていた。

【００１２】以上のように、本発明は、上記の問題点を
解決するためになされたものである。

【００１３】そしてその目的とするところは、テストケ
ースの誤り検出能力を事前に評価することで、被テスト
対象物に潜在する誤りを検出するのに必要十分なテスト
を効率よく行うことを可能とするテスト装置、およびテ
ストケース評価装置を提供することにある。

【００１４】又、他の目的は、テストの実行結果に従
い、容易に被テスト対象物中の誤りを示すことで、テス
ト結果の解析・デバッグの効率化を図ることを可能とす
るテスト装置、およびテスト結果解析装置を提供するこ
とにある。

【００１５】

【課題を解決するための手段】上記の課題を達成するた
めの本発明の特徴は、予め被テスト対象に想定される誤
りとテストケースとの対応関係である誤り検出データを
求め、この誤り検出データを利用してテスト実行・解析
を行う点にある。

【００１６】この誤り検出データはテスト関連作業の各
フェーズで利用される。まず、第１には、この誤り検出
データによりテストケースの事前評価を行う。第２に
は、この誤り検出データによりテストの実行結果から被
テスト対象物に潜在する誤りを示す。

【００１７】かかる機能を実現するために、請求項１の
発明は、仕様に基づいて作成された被テスト対象物が前
記仕様に従って動作するか否かの検証を行うテスト装置
であって、前記被テスト対象物に対する入力テストケー
スと前記被テスト対象物の仕様とから、想定される誤り
の検出能力を示す誤り検出データを各テストケースごと
に予め生成する誤り情報生成部を具備し、前記誤り検出
データに基づき、少なくとも前記テストケースの評価お
よび検証結果からの前記誤りの特定のうちの１つを行う
ことを特徴とするものである。

【００１８】上記構成によれば、各テストケースごとの
誤り検出能力を予め取得することが可能となる。つま
り、この各テストケースごとの誤り検出能力を用いてテ
ストケースの評価やテスト結果の解析を効率よく行い、
テストのコスト削減を図ることが可能となるのである。

【００１９】また、請求項２の発明は、仕様に基づいて
作成された被テスト対象物が前記仕様に従って動作する
か否かの検証の際に入力されるテストケースの評価を行
うテストケース評価装置であって、前記被テスト対象物
に対する入力テストケースと前記被テスト対象物の仕様
とから、想定される誤りの検出能力を示す誤り検出デー
タを各テストケースごとに予め生成する誤り情報生成部
を具備し、前記誤り検出データに基づき各テストケース
の評価を行うことを特徴とすることにより、与えられた
テストケース集合の中から誤り検出に有効なテストケー
スを選択的に抽出したり、他方与えられたテストケース
集合では検出しにくい誤りを指摘することが可能とす
る。つまり、無駄なテストを抑制したり、与えられたテ
ストケースの足りない部分を補完する作業が効率化さ
れ、テストのコスト削減が実現される。

【００２０】また、請求項３の発明は、仕様に基づいて
作成された被テスト対象物が前記仕様に従って動作する
か否かの検証の結果を解析するテスト結果解析装置であ
って、被テスト対象物に対する入力テストケースごとの
予め想定される１または複数の誤りの検出能力を示す誤
り検出データと、前記被テスト対象物の検証の結果デー
タとの比較を行い、該比較結果に基づいて、前記被テス
ト対象に存在する誤りを示す実行結果解析データを生成
することにより、被テスト対象物に実際に存在する可能
性の高い誤りを示すことができる。このため、存在する
可能性の高い誤りから優先的に探索することが可能とな
る。また、不合格となったテスト結果を原因別に分類す
ることができる。このため、テスト結果から誤りを特定
する作業にかかるコストを削減することが可能となる。

【００２１】また、請求項４の発明は、前記誤り情報生
成部は、さらに、被テスト対象物の原仕様の一部または
全部を変更した誤り仕様を生成する誤り仕様生成部と、
前記原仕様及び前記誤り仕様を被テスト対象物に対する
入力テストケースごとに実行して前記各仕様の実行結果
を出力する仕様実行部とを具備し、前記誤り検出データ
は、前記仕様実行部が行った、前記原仕様の各テストケ
ースごとの仕様実行結果と前記誤り仕様の各テストケー
スごとの仕様実行結果との比較結果に基づき生成される
ことを特徴とする。

【００２２】上記構成によれば、原仕様に誤りを意図的
に埋め込んだ誤り仕様を仮想的に実行し、原仕様の実行
結果と相違する結果を生ずるテストケースを、誤り検出
に有効なテストケースであると予め判定することができ
る。このように容易に各テストケースの誤り検出能力を
算出し、与えられたテストケース集合の中から誤り検出
に有効なテストケースを選択的に抽出したり、他方与え
られたテストケース集合では検出しにくい誤りを指摘す
ることが可能となる。つまり、無駄なテストを抑制した
り、与えられたテストケースの足りない部分を補完する
作業が効率化され、テストのコスト削減が実現される。

【００２３】また、請求項５の発明は、前記誤り検出デ
ータは、各テストケースについての、前記仕様の仕様実
行結果および前記各テストケースに定義された命令シー
ケンス中の仕様実行の終了地点データを含むことによ
り、原仕様の実行結果と誤り仕様の実行結果とを比較し
て、容易に誤り検出データを生成することが可能とす
る。

【００２４】また、請求項６の発明は、前記実行結果解
析データは、被テスト対象物についての各誤りの検出に
有効な第１のテストケース群と、テストの実行結果が前
記誤り検出データと一致した第２のテストケース群と、
前記第１のテストケース群と前記第２のテストケース群
との比較により得られ、被テスト対象物に各誤りが存在
する可能性を示す評価結果とを含むことにより、仕様に
応じて想定される各誤りごとにテストケースとの相関関
係やテストされるソフトウエアとの相関関係を容易に把
握することが可能となる。

【００２５】さらに、請求項７の発明（記録媒体）は、
被テスト対象物に対して、被テスト対象物が仕様に従っ
て動作するか否かの検証の際に入力されるテストケース
の評価を行うテストケース評価プログラムを格納したコ
ンピュータ読み取り可能な記録媒体であって、前記被テ
スト対象物に対する入力テストケースと前記被テスト対
象物の仕様とから、予め想定される誤りについての誤り
検出能力を示す誤り検出データを各テストケースごとに
予め生成する誤り情報生成ステップと、前記誤り検出デ
ータに基づき各テストケースの評価を行うテストケース
抽出ステップとを含むことを特徴とする。

【００２６】上記構成によれば、請求項２の発明と同
様、与えられたテストケース集合の中から誤り検出に有
効なテストケースを選択的に抽出したり、他方与えられ
たテストケース集合では検出しにくい誤りを指摘するこ
とが可能とする。つまり、無駄なテストを抑制したり、
与えられたテストケースの足りない部分を補完する作業
が効率化され、テストのコスト削減が実現される。

【００２７】さらに、請求項８の発明は、前記誤り情報
生成ステップは、さらに、被テスト対象物の原仕様の一
部または全部を変更した誤り仕様を生成する誤り仕様生
成ステップと、前記原仕様及び前記誤り仕様を被テスト
対象物に対する入力テストケースごとに実行する仕様実
行ステップと、前記原仕様の各テストケースごとの仕様
実行結果と前記誤り仕様の各テストケースごとの仕様実
行結果との比較結果に基づき前記誤り検出データを生成
する誤り情報抽出ステップとを含むことを特徴とする。

【００２８】上記構成によれば、請求項４の発明と同
様、原仕様に誤りを意図的に埋め込んだ誤り仕様を仮想
的に実行し、原仕様の実行結果と相違する結果を生ずる
テストケースを、誤り検出に有効なテストケースである
と予め判定することができる。このように容易に各テス
トケースの誤り検出能力を算出し、与えられたテストケ
ース集合の中から誤り検出に有効なテストケースを選択
的に抽出したり、他方与えられたテストケース集合では
検出しにくい誤りを指摘することが可能となる。つま
り、無駄なテストを抑制したり、与えられたテストケー
スの足りない部分を補完する作業が効率化され、テスト
のコスト削減が実現される。

【００２９】

【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を詳細に説明する。

【００３０】第１の実施形態 第１の実施形態は、仕様の誤りのパターンと各テストケ
ースの対応関係を用いて、テストケースを事前に評価す
る機能を提供するものである。

【００３１】図１に示すように、本発明の実施形態に係
るテスト装置１の構成は、テストの対象となるソフトウ
エアのテストに用いる入力テストケース６の分析・評価
を行って、各テストケースごとに誤り検出を行うための
情報を記録した誤り情報テーブル７を出力するテストケ
ース評価部２と、被テスト対象ソフトウエアをテストケ
ース１１に従ってテストし、被テスト対象ソフトウエア
に実際にどのような誤りが存在するかを評価した誤り評
価データ１４を出力するテスト結果解析部３とに大別さ
れる。第１の実施形態は、このうちのテストケース評価
部２により実現される。

【００３２】テストケース評価部２は、テスト対象のソ
フトウエアの仕様５とテストケース集合６とを入力と
し、入力テストケース６の分析・評価を行ってテストの
対象となるソフトウエアの誤り検出を行うための情報を
記録した誤り情報テーブル７を出力する。

【００３３】このテストケース評価部２は、さらに、テ
スト対象ソフトウエアの仕様（以下、単に仕様と称す
る）５に誤りを意図的に埋め込んで誤り仕様２２を生成
する誤り仕様生成部２１と、誤り仕様２２を生成するた
めの情報を記録する仕様変更データベース２０と、仕様
５と誤り仕様２２とをそれぞれ入力テストケース６に従
って実行する仕様実行部２３と、仕様の実行結果である
仕様／誤り仕様実行結果テーブル２４上の仕様５と誤り
仕様２２との仕様の実行の結果を比較・解析して誤り情
報テーブル７を生成する誤り情報抽出部２５により構成
される。

【００３４】尚、仕様変更データベース２０の編成は、
柔軟なアクセスが可能な関係型データベースであること
が望ましいが、必ずしも関係型データベースに限定され
ず任意の編成方式が可能である。仕様・誤り仕様実行結
果テーブル２４・誤り情報テーブル７などの各テーブル
も、アクセス頻度・データ規模などに応じて適宜配置場
所やデータ編成を変更することができる。各テーブルの
内容詳細については後述する。

【００３５】次に、第１の実施形態におけるハードウエ
ア構成を説明する。第１の実施形態に係るテストケース
評価装置２の実施には、以下で説明する処理を実現する
プログラムを作成し、この作成したプログラムをロード
することでこの処理を実行可能とするコンピュータシス
テムを用いる。このコンピュータシステムには、いわゆ
る汎用機、ワークステーション、ＰＣ、ＮＣ（Network
Computer）等が含まれる。第１の実施形態で用いるコン
ピュータシステムのハードウエアは、各種処理を行うた
めＣＰＵと、プログラムメモリ・データメモリ等のメモ
リと、ＦＤ・ＣＤなどの外部記憶装置と、キーボード・
マウス等の入力装置と、ディスプレー・プリンタ等の出
力装置とを備える。

【００３６】さらに、第１の実施形態を実施するコンピ
ュータシステムは、単一のコンピュータであってもよ
く、また例えばローカル又はリモートにネットワーク接
続されたサーバーマシンとクライアントマシンとにより
構成されてもよい。ソフトウエアの開発規模や開発人員
構成に応じて、仕様変更データベース２０・テストケー
ス６・仕様５・誤り情報テーブル７などの任意のデータ
をサーバーマシンに記憶し、テストケース評価装置２や
テスト結果解析装置３のエンジン部分（処理部分）のみ
をクライアントマシンで並行的に実行することで、処理
効率を向上させることができる。

【００３７】尚、上述したテストケース評価装置２を実
現するためのプログラムは、各種記録媒体に保存するこ
とができる。かかる記録媒体を、上記ハードウエアを具
備するコンピュータにより読み出し、当該プログラムを
実行することにより、本発明が実施されることができ
る。ここで記録媒体とは、例えばメモリ・磁気ディスク
・光ディスク等、プログラムを記録することができる装
置全般を含む。

【００３８】第１の実施形態は上記のように構成されて
おり、以下その処理の流れを順に説明する。

【００３９】まず、処理内容の説明に先立って第１の実
施形態の以下の説明で用いられる仕様、テストケース等
の例を示す。

【００４０】（１）仕様 第１の実施形態では、テスト対象のソフトウエアの仕様
は図２で示されるような状態遷移図によって記述されて
いるものとする。図２中の各ノードの意味を説明する。

【００４１】丸型ノードは、ソフトウェアの状態を表す
ノードである。例えば図２のノードＮ１はソフトウェア
の状態がＳ１であることを示す。

【００４２】菱型ノードは、条件分岐を表すノードであ
る。例えば図２１のノードＮ３は、変数Ｐの値が１であ
るかどうかによって、次の処理がノードＮ４になるかノ
ードＮ６になるかが決まることを示す。

【００４３】凹型五角形ノードは、受信処理を表すノー
ドである。例えば図２のノードＮ２は、ソフトウェア
が、メッセージＭＩＮ１が外部から送られてくるのを待
つことを示す。

【００４４】凸型五角形ノードは、送信処理を表すノー
ドである。例えば図２のノードＮ４は、ソフトウェア
が、メッセージＭＯＵＴ１を外部に送信することを示
す。

【００４５】四角形ノードは、上記以外の通常処理を表
すノードである。例えば図２のノードＮ９は、ソフトウ
ェアが、変数ＲＣの値を１増加させることを示す。

【００４６】尚、状態遷移が菱型ノード以外で分岐して
いる場合は、次に行われる処理によって分岐先が定まる
ことを表す。例えばノードＮ１の状態の後、ＭＩＮ１が
受信されれば分岐先はノードＮ２となり、ＭＩＮ２が受
信されれば分岐先はノードＮ７となる。

【００４７】尚、第１の実施形態では状態遷移図による
仕様の表現を例としたが、仕様の表現はこれに限定され
ず、フローチャートなどの他の表現を用いて本発明を実
施することも可能である。

【００４８】（２）テストケース 図３に、第１の実施形態で用いるテストケース集合の一
例を示す。このテストケース集合は５つのテストケース
ｂ１〜ｂ５からなる。表の各列が１つのテストケースを
表している。各テストケースは初期状態と命令シーケン
スとからなる。初期状態は、テスト開始時のテスト対象
ソフトウエアの状態と変数の値とを表す。例えば、テス
トケースｂ１を用いたテストの開始時には、対象の状態
がＳ１かつ変数ＰとＲＣの値がそれぞれ１と２００であ
ることになる。命令シーケンスは、テスト実行時にどの
ような命令をどのような順序で行うかを指定する。例え
ば、テストケースｂ１を用いたテストの実行には、ｂ１
の命令シーケンスの各命令が上の行から１行ずつ順に実
行されていくものとする。命令シーケンスの各命令の意
味は、以下のように定められているものとする。

【００４９】・ＳＥＮＤ（message） テスト対象に対
し、メッセージmessageを送信 ・ＷＡＩＴ（message） メッセージ受信をしながら、
テスト対象からメッセージmessageが送られるまで待つ ・ＴＥＳＴ（状態：state） テスト対象の状態がstate
となるのを待つ

【００５０】第１の実施形態では、命令シーケンスを最
後まで正常に実行できたとき、そのテストケースについ
てのテストは合格であると判定される。通常の実行に充
分な時間を経過しても命令シーケンスの実行が終わらな
い場合、不合格であると判定する。この時間は、ユーザ
が推測に基づいて指定するものとする。

【００５１】例えば、図３のｂ１の命令シーケンスを用
いてテストを行う場合、テスト実行部３１は図３に示す
以下のような命令を順に実行する。

【００５２】1）.テスト対象の状態をＳ１、変数ＰとＲ
Ｃの値をそれぞれ１と２００に設定する。 2）.次に、テスト対象にメッセージＭＩＮ１を送信す
る。 3）.テスト対象からメッセージＭＯＵＴ１が返ってくる
まで待つ。 4）.テスト対象の状態がＳ２となるのを待つ。

【００５３】これらの命令を最後まで正常に実行できた
場合に、テスト対象はｂ１のテストケースについて合格
であるとする。通常の実行に充分な時間を経過しても
3）.においてメッセージＭＯＵＴ１が返ってこない、も
しくは4）.においてテスト対象の状態がＳ２とならない
場合に、不合格であるとする。

【００５４】尚、上記では、テストケースに定義された
命令シーケンスをすべて正常に実行できるか否かをタイ
ムアウトにより判断する例を説明した。但し、テスト実
行の合否の判定方法はこれに限定されない。例えば、テ
スト対象のＡＰＩ（Application Programming Interfac
e）を介して、又はテスト対象に変数内容を表示するコ
ードを挿入することによって、テスト実行中における所
定の変数の値を確認することで判定するなど、種々の変
形が可能である。

【００５５】（３）テストの実行例 図２の仕様に基づいたソフトウェアに対し、図３のテス
トケースｂ１を適用してのテストを行った場合の流れの
一例を以下に説明する。このテストの実行は、後述する
テスト実行部３１で行われる。仮にテスト対象ソフトウ
ェアが仕様に忠実に作成できている（即ち誤りがなく作
成できている）とすると、例えば次のような流れでテス
ト対象の実行が行われる。

【００５６】1）.テスト対象の状態が１、変数ＰとＲＣ
の値がそれぞれ１と２００に設定される。（図２のノー
ドＮ１） 2）.テスト実行部３１がテスト対象にメッセージＭＩＮ
１を送信する。（図３のｂ１テストケースの命令シーケ
ンス１行目） 3）.テスト対象はメッセージＭＩＮ１を受信する。（図
２のノードＮ２） 4）.テスト対象は変数Ｐの値が１であるかどうかを調べ
る。（図２のノードＮ３） 5）.テスト対象はメッセージＭＯＵＴ１を送信する。
（図２のノードＮ４） 6）.テスト対象の状態がＳ２に変化する。（図２のノー
ドＮ５） 7）.テスト実行部３１がテスト対象の状態がＳ２となっ
ていることを確認し、テストケースｂ１についてテスト
は合格と判定する。（図３のｂ１テストケースの命令シ
ーケンス３行目）

【００５７】次に、上述の例を用いて、第１の実施形態
に係るテストケース評価装置２における誤り仕様生成部
２１、仕様実行部２３、誤り情報抽出部２５における処
理の流れを順に説明する。

【００５８】（１）誤り仕様生成処理 誤り仕様生成部２１の行う誤り仕様生成処理の内容を以
下に説明する。

【００５９】先に、以下の処理で用いられる仕様変更デ
ータベースおよび仕様変更情報について説明する。

【００６０】各仕様について想定している各誤りそれぞ
れについて、誤り仕様を生成するための仕様変更情報が
予め定義されているものとする。これら各仕様変更情報
は仕様変更データベース２０に用意されているものとす
る。仕様変更情報は、仕様をどう変更すべきかを表す
「仕様変更操作」と、仕様のどの部分（ノード）を変更
すべきかを表す「仕様変更場所」の２つの情報から構成
される。

【００６１】次に、誤り仕様生成部２１の処理手順を、
図４のフローチャートを用いて説明する。

【００６２】まず、想定している誤りの一つに着目する
（Ｓ１０）。想定している誤りそれぞれについて、Ｓ１
１からＳ１５の処理を繰り返す（Ｓ１６）。着目順序は
任意で良い。

【００６３】次に、仕様変更データベース２０中の、着
目している誤りに対応する仕様変更情報を参照する（Ｓ
１１）。

【００６４】参照した仕様変更情報の仕様変更場所に当
てはまる個所の一つに着目し、Ｓ１３、Ｓ１４を実行す
る。仕様変更場所に当てはまる個所それぞれについて、
これを繰り返す（Ｓ１５）。順序は任意で良い。

【００６５】入力された仕様のコピーを作成し、着目し
た個所について仕様変更操作で指定された変更を行う
（Ｓ１３）。

【００６６】変更した仕様のコピーに対し、着目した誤
りと変更を施した個所を記録する（Ｓ１４）。

【００６７】最後に変更を施された仕様のコピーの集合
を誤り仕様の集合とする（Ｓ１７）。

【００６８】上記の図４の処理フローを、理解のためさ
らに具体例をもって説明する。

【００６９】ここでは２つの誤りを想定し、図２の仕様
に対して誤り仕様生成の処理を適用した場合を示す。仕
様に埋め込む誤りの一例として、「処理抜け誤り」と
「分岐先固定誤り」を想定する。「処理抜け誤り」に対
する仕様変更情報の仕様変更操作を「処理を一つ抜
く」、仕様変更場所を「通常処理ノード」とする。「受
信分岐先固定誤り」に対する仕様変更操作を「何を受信
しても、常に同じノードに分岐させる」、仕様変更場所
を「受信分岐先ノード」とする。

【００７０】1）.「処理抜け誤り」に着目する。（Ｓ１
０） 2）.仕様変更データベース２０から「処理抜け誤り」に
対応する仕様変更情報を参照する。（Ｓ１１） 3）.仕様変更場所の「通常処理ノード」のうち、ノード
Ｎ９に着目する。（Ｓ１２） 4）.図２の仕様のコピーを作成し、ノードＮ９の処理を
抜く。（Ｓ１３） 5）.変更した仕様に対し、施した変更「処理を抜く」と
変更個所「ノードＮ９」の２つの情報を記録する。（Ｓ
１４） 6）.「通常処理ノード」のうち、ノードＮ１０に着目
し、2）.〜5）.と同様の操作を行う。（Ｓ１２〜Ｓ１
４） 7）.「受信分岐先固定誤り」に着目する。（Ｓ１０） 8）.仕様変更データベース２０から「受信分岐先固定誤
り」に対応する仕様変更情報を参照する。（Ｓ１１） 9）．仕様変更場所の「受信分岐先ノード」のうち、ノ
ードＮ２に着目する。（Ｓ１２） 10）.図２の仕様のコピーを作成し、ノードＮ２におい
て何を受信しても常にノードＮ２に分岐するよう変更を
施す。（Ｓ１３） 11）.変更した仕様に対し、施した変更「何を受信して
も常にノードＮ２に分岐するよう変更」と変更個所「ノ
ードＮ２」の２つの情報を記録する。（Ｓ１４） 12）.「受信分岐先ノード」のうち、ノードＮ７に着目
し、8）.〜11）.と同様の操作を行う。（Ｓ１２〜Ｓ１
４） 13）.変更を加えた４つの仕様を誤り仕様の集合とす
る。（Ｓ１７） 以後上記の例を用いて説明を行っていくため、ノードＮ
９の処理抜け誤りの誤り仕様をｍ１、ノードＮ１０の処
理抜け誤り仕様をｍ２、ノードＮ２の受信分岐先固定誤
りの誤り仕様をｍ３、ノードＮ７の受信分岐先固定誤り
の誤り仕様をｍ４と呼ぶ。ｍ１〜ｍ４の誤り仕様をそれ
ぞれ図５乃至図８に示す。

【００７１】誤り仕様の集合が生成されると、次に仕様
実行部２３により仕様の実行が行われる。

【００７２】（２）仕様実行処理 仕様実行部２３の行う仕様実行処理の内容を以下に説明
する。尚、以下において仕様実行とは、仕様を模擬的に
動作させて仮想的な実行を行うことをいう。仕様に入力
を与えて模擬的に動作させることで、仕様どおりにつく
られたソフトウェアがどのように動作するかを確認する
ことができる。この仕様実行は、例えば、仕様の各記述
方法に対応した既存のインタープリターなどを利用して
行うことができる。

【００７３】仕様実行部２３の入力は、仕様５と誤り仕
様の集合２２とテストケース集合６との３つである。仕
様実行部２３は、仕様５と各誤り仕様２２に対して各テ
ストケース６を適用して仕様実行を行い、実行結果を仕
様／誤り仕様実行結果テーブル２４（以下、単に仕様実
行結果テーブルと称する）に記録する。仕様実行部２３
は、実行に要する時間を計測するためのタイマを備え
る。仕様実行部２３は、一つのテストケースに関する実
行が所定のタイムアウト時間を超えた場合、その時点で
実行を中止し、そこでの実行結果を記録する。このタイ
ムアウト時間はユーザによって指定され、その値は正常
な実行が終了するのに充分であると考えられる時間を指
定するものとする。

【００７４】先に、以下の処理で用いられる仕様・誤り
仕様実行結果テーブル２４について説明する。仕様実行
結果テーブル２４の内容の一例を図９に示す。仕様実行
結果テーブル２４は、列はテストケースの識別子、行は
仕様または誤り仕様の識別子で指定されるテーブルであ
る。これらの仕様の識別子は、仕様の名前・ポインタな
ど、識別対象を参照可能なものなら何でも良い。テーブ
ルの各セルには、行で指定される仕様または誤り仕様に
対して、列で指定されるテストケースを適用して仕様実
行を行った結果が記録される。セルに記録される情報
は、「テストケース合否」と「実行終了地点」の２つで
ある。ここで、「テストケース合否」はテストケースに
ついて実行した結果、そのテストケースについて合格と
判定されたか否かを表す。「実行終了地点」はテストケ
ースのどの部分まで正常に実行できたかを表す。

【００７５】次に、仕様実行部２３の処理手順を、図１
０のフローチャートを用いて説明する。

【００７６】まず、与えられたテストケースの一つに着
目し、Ｓ２１、Ｓ２２の処理を実行する（Ｓ２０）。与
えられたテストケースそれぞれについて、これを繰り返
す（Ｓ２３）。順序は任意で良い。

【００７７】与えられた仕様を、着目したテストケース
に従って仕様実行する（Ｓ２１）。

【００７８】仕様実行の結果（テストケース合否、実行
終了地点）を、仕様実行結果テーブル２４中に記録する
（Ｓ２２）。記録する場所は、与えられた仕様と着目し
たテストケースによって指定されるセルを選択する。

【００７９】次に、誤り仕様の一つに着目し、Ｓ２５か
らＳ２８の処理を実行する。誤り仕様それぞれについ
て、これを繰り返す（Ｓ２９）。繰り返す順序は任意で
良い。

【００８０】与えられたテストケースの一つに着目し、
Ｓ２６、Ｓ２７の処理を実行する（Ｓ２５）。与えられ
たテストケースそれぞれについて、これを繰り返す（Ｓ
２８）。順序は任意で良い。

【００８１】着目した誤り仕様を、着目したテストケー
スに従って仕様実行する（Ｓ２６）。

【００８２】仕様実行の結果（テストケース合否、実行
終了地点）を仕様実行結果テーブル２４に記録する（Ｓ
２７）。記録する場所は着目した誤り仕様と着目したテ
ストケースによって指定されるセルを選択する。

【００８３】上記の図１０の処理フローを、理解のため
さらに具体例をもって以下に説明する。ここでは、図２
の元々の仕様とｍ１〜ｍ４の誤り仕様（図５〜図８）、
図３のテストケース集合等を入力とした場合の仕様実行
処理を説明する。

【００８４】1）.テストケースｂ１に着目する。（Ｓ２
０） 2）.図２の仕様の動作を着目したテストケースｂ１に従
って仕様実行する。仕様実行を行うと、仕様実行部２３
はノードＮ１からノードＮ２、ノードＮ３、ノードＮ
４、ノードＮ５の順に処理を行う。命令シーケンスが全
て正常に実行できるので、ｂ１については合格と判断さ
れる。従って、仕様実行結果テーブル２４の図２の仕様
とテストケースｂ１によって指定されるセルに結果（テ
ストケース合否は合格、実行終了地点は命令シーケンス
中の３行目）を記録する。（Ｓ２１、Ｓ２２） 3）.その他（ｂ２〜ｂ５）のテストケースについても、
Ｓ２１、Ｓ２２の処理を繰り返す。（Ｓ２３） 4）.誤り仕様ｍ１に着目する。（Ｓ２４） 5）.テストケースｂ４に着目する（Ｓ２５）。ｍ１の動
作を、着目したテストケースに従って仕様実行する（Ｓ
２６）。仕様実行を行うと、ノードＮ１からノードＮ
７、ノードＮ８、ノードＮ１０、ノードＮ１１、ノード
Ｎ１２と処理が進み、次にノードＮ１に戻って、ノード
Ｎ１、ノードＮ７、ノードＮ８、ノードＮ１０…という
処理が行われる。但し、ＲＣが２００でないので、メッ
セージＭＯＵＴ３はいつまで経っても送信されず、ｂ４
の命令シーケンスは５行目で止まったままとなる。その
ため、いずれ仕様実行装置がタイムアウトを起こし、ｂ
４については不合格と判断されることになる。従って、
仕様実行結果テーブルの誤り仕様ｍ１とテストケースｂ
４によって指定されるセルに、結果（テストケース合否
は不合格、実行終了地点は命令シーケンス中の４行目）
を記録する。（Ｓ２７） 6）.その他のテストケース（ｂ１，ｂ２，ｂ３，ｂ５）
についても、Ｓ２６、Ｓ２７の処理を繰り返す。（Ｓ２
８） 7）.その他の誤り仕様（ｍ２〜ｍ４）についても、Ｓ２
５からＳ２８の処理を繰り返す。（Ｓ２９） 以上の処理によって、図９に示す仕様実行結果テーブル
２４が得られる。図９中で、各セルの情報のうち、上の
行がテストケース合否、下の行が実行終了地点を示す。

【００８５】（３）誤り情報抽出処理 次に、誤り情報抽出部２５の行う誤り情報抽出処理の内
容を以下に説明する。

【００８６】誤り情報抽出部２５は、仕様実行結果テー
ブル２４を入力として、誤り仕様と誤り動作を起こすテ
ストケースとの対応を抽出して、誤り情報テーブル７を
生成する処理を行う。

【００８７】先に、以下の処理で生成される誤り情報テ
ーブル７について説明する。誤り情報テーブル７の内容
の一例を図１１に示す。

【００８８】誤り情報テーブル７は、列はテストケース
の識別子、行は誤り仕様の識別子で指定されるテーブル
である。これらの識別子は仕様実行結果テーブル２４で
用いたものと同じものを用いる。セルに記録される情報
も、仕様実行結果テーブル２４と同じものを記録する
が、あるテストケースに着目した際に、元々の仕様と実
行結果が同じである誤り仕様に対応するセルについては
空欄とする。

【００８９】以下に、誤り情報抽出部２５の処理手順
を、図１２のフローチャートを用いて説明する。

【００９０】まず、仕様結果テーブル２４の一つの列に
着目し、Ｓ４１からＳ４５までの処理を行う。仕様実行
結果テーブル２４の各列それぞれについてこれを繰り返
す（Ｓ４６）。順序は任意で良い。

【００９１】仕様実行結果テーブル２４の行のうち、誤
り仕様に対応する行の一つに着目し、Ｓ４２からＳ４４
の処理を行う。各誤り仕様に対応する行それぞれについ
て、これを繰り返す（Ｓ４５）。順序は任意で良い。

【００９２】着目した行と列で指定されるセルの内容
と、同じ列の与えられた仕様に対応する行で指定された
セルの内容とを比較する（Ｓ４２）。この比較結果から
不合格のものを抽出する。すなわち、比較結果の内容が
同じなら、Ｓ４５に進む。内容が異なれば、着目した行
と列に対応するセルの内容を、誤り情報テーブルの対応
するセルに記録する（Ｓ４４）。

【００９３】上記の図１２の処理フローを、理解のため
さらに具体例をもって以下に説明する。ここでは、図９
の仕様実行結果テーブル２４と図３のテストケース集合
６を入力とした場合の処理を説明する。

【００９４】1）.仕様実行結果テーブルの列ｂ２に着目
する。（Ｓ４０） 2）.仕様実行結果テーブルの行ｍ１に着目する。（Ｓ４
１） 3）.行ｍ１と列ｂ２で指定されるセルの内容と、列ｂ２
と与えられた仕様に対応する行で指定されたセルの内容
を比較する。内容は同じ（合格かつ２行目まで正常に実
行）であるので、このまま次の処理に移る（Ｓ４２、Ｓ
４３） 4）.仕様実行結果テーブルの行ｍ４に着目する。（Ｓ４
１） 5）.行ｍ４と列ｂ２で指定されるセルの内容と、列ｂ２
と与えられた仕様に対応する行で指定されたセルの内容
を比較する（Ｓ４２）。内容が異なるので、行ｍ４と列
ｂ２で指定されるセルの内容（不合格かつ１行目まで正
常に実行）を、誤り情報テーブルのセル行ｍ４と列ｂ２
で指定されるセルに記録する。（Ｓ４３、Ｓ４４） 6）.他の行ｍ２，ｍ３についてもＳ４２〜Ｓ４４の処理
を繰り返す。（Ｓ４５） 7）.他の列ｂ１，ｂ３，ｂ４，ｂ５についてもＳ４１〜
Ｓ４５の処理を繰り返す。（Ｓ４６） 上記の処理によって生成される誤り情報テーブル７の内
容を図１１に示す。

【００９５】第１の実施形態によれば、以下のような効
果が得られる。

【００９６】すなわち、誤り情報テーブル７は、各テス
トケースの誤り検出能力に関する情報を持っており、テ
ストケース集合全体や各テストケースの評価を行うこと
が可能である。

【００９７】たとえば、テストケースｂ５の列には２つ
の空でないセルがあり、それらの誤り仕様識別子はそれ
ぞれｍ３とｍ４である。これは、テストケースｂ５の誤
り仕様ｍ３とｍ４について適用すると、与えられた仕様
と違う結果が得られることを示している。このことか
ら、テストケースｂ５は誤り仕様ｍ３とｍ４で埋め込ん
だ誤りを検出するのに有効であるといえる。また、空欄
の少ないテストケースほど多くの誤りに対して有効であ
り、逆に空欄の多いテストケースは誤り検出能力が低い
と言える。これによってテストケースを分類したり、誤
り検出能力の高いものを抽出することで、効率的なテス
トの実行ができる。

【００９８】また、誤り仕様に着目すると、ｍ２の行に
属するセルは全て空である。このことから、ｂ１〜ｂ５
のテストケース集合はｍ２で埋め込んだ誤りを検出する
のに有効でないことが判る。このようなテストケース集
合の弱点を明らかにすることで、テストケースの弱点を
補う作業を軽減したり、どんな誤りが検出されずに残り
うるかを推測することが可能となる。

【００９９】第２の実施の形態以下、本発明の第２の実
施形態において、第１の実施形態と異なる点についての
み、図面を用いて詳細に説明する。

【０１００】第２の実施形態は、仕様の誤りのパターン
と各テストケースの対応関係を用いて、テスト対象ソフ
トウエアにどのような誤りが潜在するかを解析する機能
を提供するものである。

【０１０１】第２の実施形態は、図１に示す本発明の実
施形態に係るテスト装置１のうちの、テスト結果解析装
置３により実現される。

【０１０２】尚、第２の実施形態は、第１の実施形態と
組み合わせて、即ちまずテストケース評価装置２による
テストケース評価フェーズが行われた後、さらにテスト
結果解析装置３によるテスト結果解析フェーズを行うべ
く構成されてもよい。あるいは、予めテストの対象とな
るソフトウエアについての誤り情報テーブル７が得られ
ていれば、テスト結果解析装置３によるテスト結果解析
フェーズを単独で実施することが可能である。

【０１０３】図１に示すように、テスト結果解析装置３
は、テスト対象のソフトウェア１２とテストケース集合
１１と誤り情報テーブル７を入力とし、テスト対象に実
際にどのような誤りが存在するかについての評価を行
い、その結果を誤り評価データ１４として出力する。

【０１０４】テスト結果解析装置３は、さらに、各テス
トケース１１についてテスト対象ソフトウェア１２のテ
ストを行うテスト実行部３１と、テスト実行部３１にお
けるテストの結果と誤り情報テーブル７を比較・解析し
て実際にどんな誤りが存在するかについての評価を行う
テスト結果評価部３３とにより構成される。

【０１０５】第２の実施形態のハードウエア構成は第１
の実施形態と同様であるため説明を省略する。

【０１０６】第２の実施形態に係るテスト結果解析装置
３は上記のように構成されており、以下その処理の流れ
につき説明する。ここでは第２の実施形態に係るテスト
実行部３１、テスト結果評価部３３における処理の流れ
を順に説明する。

【０１０７】（１）テスト実行処理 まず、テスト実行部３１の行うテスト実行処理の内容を
以下に説明する。

【０１０８】テスト結果解析処理では、まず、テスト実
行部３１にテストケース集合１１とテスト対象ソフトウ
エア１２が入力され、実際にテストを行って実行結果を
記録する処理が行われる。

【０１０９】テスト実行部３１は、与えられたテストケ
ースの集合１１を用いて実際にテストを行い、結果をテ
スト実行結果テーブル３２として記録する。尚、与えら
れるテストケース集合１１は、第１の実施形態の入力で
あるテストケース集合とすることも可能であるが、誤り
情報テーブル７に従って選択的に抽出・補完されたテス
トケース集合とすることが、テスト実行の効率化の面か
ら望ましい。このテスト実行部３１は実行に要する時間
を計測するためのタイマを備えており、一つのテストケ
ースに関する実行が所定のタイムアウト時間を超えた場
合、その時点で実行を中止し、そこでの実行結果をテス
ト実行結果テーブル３２に記録する。このタイムアウト
時間はユーザによって指定され、その値は正常な実行が
終了するのに充分であると考えられる時間を指定するも
のとする。

【０１１０】先に、以下の処理で生成されるテスト実行
結果テーブル３２について説明する。

【０１１１】図１３に、テスト実行結果テーブル３２の
内容の一例を示す。テスト実行結果テーブル３２は、テ
ストケースの識別子によって列を指定する１行のテーブ
ルである。このテスト実行結果テーブル３２は各テスト
対象ソフトウエアごとに生成される。各セルには、列に
対応するテストケースを適用した際の実行結果が記録さ
れる。各実行結果は「テストケース合否」と「実行終了
地点」の二つの情報から構成される。ここで、「テスト
ケース合否」はテストケースについて実行した結果、そ
のテストケースについて合格と判断されたか否かを示
す。「実行終了地点」はテストケースのどの部分まで正
常に実行できたかを示す。

【０１１２】次に、テスト実行部３１の処理手順を、図
１４のフローチャートを用いて説明する。

【０１１３】まず、テストケースの一つに着目し、Ｓ５
１、Ｓ５２の処理を実行する（Ｓ５０）。各テストケー
スについてこれを繰り返す（Ｓ５３）。順序は任意で良
い。

【０１１４】着目したテストケースに従い、テスト対象
ソフトウェアを動作させる（Ｓ５１）。

【０１１５】テスト対象ソフトウェアの動作結果（テス
トケース合否、実行終了地点）をテスト実行結果テーブ
ル３２に記録する（Ｓ５２）。

【０１１６】上記の図１４の処理フローを、理解のため
さらに具体例をもって以下に説明する。ここでは、図３
のテストケース、図２の仕様に対応するソフトウェア、
図１１の誤り情報データテーブルを入力とした場合のテ
スト実行部３１の処理を説明する。

【０１１７】1）.テストケースｂ１に着目する。（Ｓ５
０） 2）.テスト対象ソフトウェアをテストケースｂ１に従っ
て動作させる（Ｓ５１）。その結果、命令シーケンスが
１行目から３行目まで全て正常に実行できたとすると、
テスト対象ソフトウェアはｂ１について合格と判断す
る。このとき、テスト実行結果テーブルのｂ１によって
指定される列に結果（テストケース合否は合格、実行終
了地点は命令シーケンス中の３行目）を記録する。（Ｓ
５２） 3）.テストケースｂ３に着目する。（Ｓ５０） 4）.テスト対象ソフトウェアをテストケースｂ５に従っ
て動作させる（Ｓ５１）。その結果、命令シーケンスの
２行目でメッセージを待っているうちにタイムアウト終
了してしまったとすると、テスト対象ソフトウェアはｂ
５について不合格と判断する。このとき、テスト実行結
果テーブルのｂ５によって指定される列に結果（テスト
ケース合否は不合格、実行終了地点は命令シーケンス中
の１行目）を記録する。（Ｓ５２） 5）.その他（ｂ２，ｂ４，ｂ５）のテストケースについ
ても、Ｓ５１、Ｓ５３の処理を繰り返す（Ｓ５３）。

【０１１８】上記の処理によって、図１３のテスト実行
結果テーブルが得られたものとする。図１３中の各セル
の情報は、上の行がテストケース合否、下の行が実行終
了地点を示している。

【０１１９】（２）テスト結果評価処理 テスト実行結果テーブル３２が生成されると、テスト結
果評価部３３による処理に移る。テスト結果評価部３３
はテスト実行結果テーブル３２と誤り情報テーブル７を
入力とし、誤り評価データ１４を生成する。

【０１２０】先に、以下の処理で生成される誤り評価デ
ータ１４について説明する。

【０１２１】図１５に、図１１の誤り情報テーブルと図
１３のテスト実行結果テーブルから得られる誤り評価デ
ータ１４の内容の一例を示す。誤り評価データ１４は、
テスト実行結果テーブル３２を集計した結果に基づく、
各誤りの存在する可能性についての評価結果である。誤
り評価データには、「有効なテストケース」、「実行結
果の一致したテストケース」、「評価結果」の３つのデ
ータ項目があり、これらのデータが各誤り仕様ごとに記
録される。「有効なテストケース」には、その誤りを検
出するのに有効なテストケースの集合が記録される。
「実行結果の一致したテストケース」には、有効なテス
トケースのうち、テスト対象の実行結果が誤り情報の結
果に一致したテストケースの集合が記録される。「評価
結果」は誤りの存在する可能性についての評価結果であ
り、Ａ，Ｂ，Ｃ，−の４段階で表現される。各段階の意
味を以下に示す。

【０１２２】1).Ａは、有効なテストケースの集合が空
でなく、かつ有効なテストケースの集合と実行結果の一
致したテストケースの集合が完全に一致した場合の評価
を表す。当該テスト対象に仕様の誤りが存在する（仕様
どおりでない）可能性が高いことを示す。

【０１２３】2).Ｂは、有効なテストケースの集合と実
行結果の一致したテストケースの集合がともに空でな
く、かつそれらが一致しない場合の評価を表す。その誤
りが存在する可能性はＡほとではないが、Ｃよりも高い
ことを示す。

【０１２４】3).Ｃは、有効なテストケースの集合が空
でなく、かつ実行結果の一致したテストケースの集合が
空である場合の評価を表す。その誤りが存在しない可能
性が高いことを示す。

【０１２５】4).−は、有効なテストケースの集合が空
である場合の評価を表す。判定不能であることを表す。

【０１２６】以下に、テスト結果評価部３３の処理手順
を、図１６のフローチャートを用いて説明する。

【０１２７】まず、誤り情報テーブル７の一つの誤りの
仕様に着目し、Ｓ６２からＳ６３の処理を行う。誤り情
報テーブルの各誤り仕様それぞれについて、これを繰り
返す（Ｓ６４）。順序は任意で良い。

【０１２８】着目した誤り仕様の行に属するセルのう
ち、空でないものに着目し、Ｓ６２の処理を行う（Ｓ６
２）。同じ行の空でないセルそれぞれについて、これを
繰り返す（Ｓ６３）。順序は任意で良い。

【０１２９】誤り評価データ１４をＳ６１で着目した誤
り仕様に関して参照する。参照した部分の「有効なテス
トケース」項目に、Ｓ６２で着目したセルに対応するテ
ストケースを追加する（Ｓ６２）。

【０１３０】テスト実行結果テーブル３２の一つのセル
に着目し、Ｓ６６〜Ｓ６８の処理を行う（Ｓ６５）。テ
スト実行結果テーブルの各セルについてこれを繰り返す
（Ｓ６９）。順序は任意で良い。

【０１３１】Ｓ６５で着目したセルに対応するテストケ
ースに関して、誤り情報テーブル７を参照する。参照し
た列に属するセルのうち、Ｓ６５で着目したセルと内容
が一致するものに着目し、Ｓ６７の処理を行う。参照し
た列で内容が一致する各セルについて、これを繰り返す
（Ｓ６８）。

【０１３２】誤り評価データ１４をＳ６６で着目したセ
ルに対応する誤り仕様に関して参照する。参照した部分
の「実行結果が一致したテストケース」項目に、Ｓ６５
で着目したセルに対応するテストケースを追加する（Ｓ
６７）。

【０１３３】誤り評価データ１４の誤り仕様の一つに着
目し、Ｓ７１の処理を行う（Ｓ７０）。誤り評価データ
１４の各誤り仕様について、これを繰り返す（Ｓ７
２）。順序は任意で良い。

【０１３４】着目した誤り仕様について、以下の基準に
従って評価結果を記録する（Ｓ７１）。

【０１３５】まず、有効なテストケースの集合が空でな
く、かつ有効なテストケースの集合と実行結果の一致し
たテストケースの集合が完全に一致した場合には、評価
結果はＡとする。

【０１３６】有効なテストケースの集合と実行結果の一
致したテストケースの集合がともに空でなく、かつそれ
らが一致しない場合には、評価結果はＢとする。

【０１３７】有効なテストケースの集合が空でなく、か
つ実行結果の一致したテストケースの集合が空である場
合には、評価結果はＣとする。

【０１３８】有効なテストケースの集合が空である場合
には、評価結果は−とする。

【０１３９】上記の図１６の処理フローを、理解のため
さらに具体例をもって以下に説明する。ここでは、図１
１の誤り情報テーブルと図１３のテスト実行結果テーブ
ルを入力とした場合のテスト結果評価部３３の処理を説
明する。

【０１４０】1）.誤り情報テーブルの誤り仕様ｍ１に着
目する。（Ｓ６０） 2）.誤り情報テーブルのセルのうち、行ｍ１と列ｂ４で
指定されるセルに着目する。（Ｓ６１） 3）.誤り評価データをｍ１に関して参照する。参照した
部分の「有効なテストケース」項目に、テストケースｂ
４を追加する。（Ｓ６２） 4）.誤り情報テーブルの他の誤り仕様（ｍ２〜ｍ４）に
ついても、Ｓ６１、Ｓ６２の処理を繰り返す。（Ｓ６
４） 5）.テスト実行結果テーブルのｂ４に対応するセルに着
目する。（Ｓ６５） 6）.テストケースｂ４に関して、誤り情報テーブルを参
照する。誤り情報テーブルの列ｂ４に属するセルのう
ち、行ｍ１と列ｂ４で指定されるセルに着目する。（Ｓ
６６） 7）.誤り評価データを誤り仕様ｍ１に関して参照する。
参照した部分の「実行結果が一致したテストケース」項
目に、テストケースｂ４を追加する。（Ｓ６７） 8）.テスト実行結果テーブルの他のセル（ｂ２〜ｂ５に
対応するセル）についても、Ｓ６６〜Ｓ６８の処理を繰
り返す。（Ｓ６９） 9）.誤り評価データの誤り仕様ｍ１に着目する。（Ｓ７
０） 10）.誤り仕様ｍ１について、有効なテストケースの集
合が空でなく、かつ有効なテストケースの集合と実行結
果の一致したテストケースの集合が完全に一致するの
で、誤り仕様ｍ１の評価結果はＡとなる。（Ｓ７１） 11）.誤り評価データの他の誤り仕様（ｍ２〜ｍ４）に
ついても、Ｓ７１の処理を実行する（Ｓ７２）。

【０１４１】上記の処理により、図１５に示す内容の誤
り評価データが得られる。

【０１４２】図１５に示す評価結果を参照することで、
ｍ１において埋め込んだ誤り（ノードＮ９処理抜け）が
存在する可能性が高いこと、ｍ３の誤り（ノードＮ２受
信遷移先固定）が存在する可能性は低いこと、ｍ２の誤
り（ノードＮ１０処理抜け）については有効なテストケ
ースがなく判定不能であること等を容易に把握すること
ができる。

【０１４３】第２の実施形態によれば、以下のような効
果が得られる。

【０１４４】すなわち、誤り評価データを参照すること
により、ユーザーが不合格のテスト結果からソフトウエ
ア処理上のどこで仕様と一致しないのかを示す誤り位置
を探るデバッグの際に、当該テスト対象ソフトウエアに
存在する可能性の高い誤りから優先的に探すことができ
る。例えば図１５の誤り評価データの場合では、存在す
る可能性の高いｍ１の誤りから探し、逆に可能性の低い
ｍ３は後回しにする、といったデバッグ手順をとること
ができ、デバッグ効率が大幅に向上する。

【０１４５】また、テスト結果の誤りを原因別に分類す
ることができる。例えば図１３では、ｂ４とｂ５の２つ
のテストケースが不合格となっているが、図１３のテス
ト実行結果テーブルだけを参照したのではこれらが同一
の原因によるものか、それぞれ違う原因によるものかの
判定ができない。ここで図１５の誤り評価データを参照
すると、ｂ４とｍ１の誤りを原因としている可能性が高
く、一方ｂ５はｍ３またはｍ４の誤りを原因としている
可能性が高いことが容易に把握できる。従って、それぞ
れのテストケースの実行による誤りが、個別に原因を持
っている可能性が高いと判断することができる。

【０１４６】

【発明の効果】以上説明したように、本発明によれば、
以下に記載されるような効果を奏する。

【０１４７】即ち、本発明においては、被テスト対象物
に想定される誤りに応じた各テストケースごとの誤り検
出能力を示すデータを出力する機能を提供する。この誤
り検出データをテスト実行に先だって各テストケースに
適用することによって、与えられたテストケース集合の
中から誤り検出能力の高いテストケースを選択的に抽出
したり、他方では与えられたテストケース集合では検出
しにくい誤りを事前に認識・テストケースを補完するこ
とができる。従って、被テスト対象に潜在する誤りを検
出するのに必要十分なテストケースにより、テストを効
率よく、迅速に行うことが可能となる。

【０１４８】また、誤り検出データをテスト実行後のテ
スト実行結果に適用することによって、被テスト対象物
に実際に存在する可能性の高い誤り（誤りの原因、パタ
ーン）の箇所や種別を容易に知ることができ、これらの
誤りを優先的に探してデバッグすることができる。ま
た、不合格となったテスト結果を原因別に分類すること
などもできる。従って、テスト実行結果から誤りを特定
する解析・デバッグ作業を効率よく、迅速に行うことが
可能となる。

【０１４９】このように、本発明を用いれば、テストの
精度を維持しつつテストにおけるコスト削減が実現さ
れ、ひいてはソフトウエア開発期間の短縮および精度の
向上がもたらされる。

【図面の簡単な説明】

【図１】本発明の実施形態に係るテスト装置、テストケ
ース評価装置、およびテスト結果解析装置の機能構成を
示すブロック図である。

【図２】本発明の実施形態におけるテストの対象となる
ソフトウエアの仕様の一例を示す図である。

【図３】本発明の実施形態におけるテストケースの集合
の一例を示す図である。

【図４】本発明の第１の実施形態に係る誤り仕様生成部
の処理アルゴリズムを示すフローチャートである。

【図５】本発明の実施形態における誤り仕様の一例を示
す図である。

【図６】本発明の実施の形態における誤り仕様の例を示
す図である。

【図７】本発明の実施形態における誤り仕様の一例を示
す図である。

【図８】本発明の実施の形態における誤り仕様の一例を
示す図である。

【図９】本発明の第１の実施形態における仕様／誤り仕
様実行結果テーブルの一例を示す図である。

【図１０】本発明の第１の実施形態に係る仕様実行部の
処理アルゴリズムを示すフローチャートである。

【図１１】本発明の実施形態における誤り情報テーブル
の一例を示す図である。

【図１２】本発明の第１の実施形態に係る誤り情報抽出
部の処理アルゴリズムを示すフローチャートである。

【図１３】本発明の第２の実施形態におけるテスト結果
実行テーブルの一例を示す図である。

【図１４】本発明の第２の実施形態に係るテスト実行部
の処理アルゴリズムを示すフローチャートである。

【図１５】本発明の第２の実施形態における誤り評価デ
ータの一例を示す図である。

【図１６】本発明の第２の実施形態に係るテスト結果評
価部の処理アルゴリズムを示すフローチャートである。

【符号の説明】

１ テスト装置 ２ テストケース評価部 ３ テスト結果解析部 ５ 仕様 ６ テストケース集合 ７ 誤り情報テーブル １１ 評価後テストケース集合 １２ テスト対象ソフトウエア １４ 誤り評価データ ２０ 仕様変更データベース ２１ 誤り仕様生成部 ２２ 誤り仕様の集合 ２３ 仕様実行部 ２４ 仕様／誤り仕様実行結果テーブル ２５ 誤り情報抽出部 ３１ テスト実行部 ３２ テスト実行結果テーブル ３３ テスト結果評価部

Claims (8)

【特許請求の範囲】
1. 【請求項１】 仕様に基づいて作成された被テスト対象
   物が前記仕様に従って動作するか否かの検証を行うテス
   ト装置であって、 前記被テスト対象物に対する入力テストケースと前記被
   テスト対象物の仕様とから、想定される誤りの検出能力
   を示す誤り検出データを各テストケースごとに予め生成
   する誤り情報生成部を具備し、 前記誤り検出データに基づき、少なくとも前記テストケ
   ースの評価および検証結果からの前記誤りの特定のうち
   の１つを行うことを特徴とするテスト装置。
2. 【請求項２】 仕様に基づいて作成された被テスト対象
   物が前記仕様に従って動作するか否かの検証の際に入力
   されるテストケースの評価を行うテストケース評価装置
   であって、 前記被テスト対象物に対する入力テストケースと前記被
   テスト対象物の仕様とから、想定される誤りの検出能力
   を示す誤り検出データを各テストケースごとに予め生成
   する誤り情報生成部を具備し、 前記誤り検出データに基づき各テストケースの評価を行
   うことを特徴とするテストケース評価装置。
3. 【請求項３】 仕様に基づいて作成された被テスト対象
   物が前記仕様に従って動作するか否かの検証の結果を解
   析するテスト結果解析装置であって、 被テスト対象物に対する入力テストケースごとの予め想
   定される１または複数の誤りの検出能力を示す誤り検出
   データと、前記被テスト対象物の検証の結果データとの
   比較を行い、 該比較結果に基づいて、前記被テスト対象に存在する誤
   りを示す実行結果解析データを生成することを特徴とす
   るテスト結果解析装置。
4. 【請求項４】 前記誤り情報生成部は、さらに、 被テスト対象物の原仕様の一部または全部を変更した誤
   り仕様を生成する誤り仕様生成部と、 前記原仕様及び前記誤り仕様を被テスト対象物に対する
   入力テストケースごとに実行して前記各仕様の実行結果
   を出力する仕様実行部とを具備し、 前記誤り検出データは、前記仕様実行部が行った、前記
   原仕様の各テストケースごとの仕様実行結果と前記誤り
   仕様の各テストケースごとの仕様実行結果との比較結果
   に基づき生成されることを特徴とする請求項２に記載の
   テストケース評価装置。
5. 【請求項５】 前記誤り検出データは、各テストケース
   についての、前記仕様の仕様実行結果および前記各テス
   トケースに定義された命令シーケンス中の仕様実行の終
   了地点データを含むことを特徴とする請求項４に記載の
   テストケース評価装置。
6. 【請求項６】 前記実行結果解析データは、被テスト対
   象物についての各誤りの検出に有効な第１のテストケー
   ス群と、 テストの実行結果が前記誤り検出データと一致した第２
   のテストケース群と、 前記第１のテストケース群と前記第２のテストケース群
   との比較により得られ、被テスト対象物に各誤りが存在
   する可能性を示す評価結果とを含むことを特徴とする請
   求項３に記載のテスト結果解析装置。
7. 【請求項７】 被テスト対象物に対して、被テスト対象
   物が仕様に従って動作するか否かの検証の際に入力され
   るテストケースの評価を行うテストケース評価プログラ
   ムを格納したコンピュータ読み取り可能な記録媒体であ
   って、 前記被テスト対象物に対する入力テストケースと前記被
   テスト対象物の仕様とから、予め想定される誤りについ
   ての誤り検出能力を示す誤り検出データを各テストケー
   スごとに予め生成する誤り情報生成ステップと、 前記誤り検出データに基づき各テストケースの評価を行
   うテストケース抽出ステップとを含むことを特徴とする
   テストケース評価プログラムを格納したコンピュータ読
   み取り可能な記録媒体。
8. 【請求項８】 前記誤り情報生成ステップは、さらに、 被テスト対象物の原仕様の一部または全部を変更した誤
   り仕様を生成する誤り仕様生成ステップと、 前記原仕様及び前記誤り仕様を被テスト対象物に対する
   入力テストケースごとに実行する仕様実行ステップと、 前記原仕様の各テストケースごとの仕様実行結果と前記
   誤り仕様の各テストケースごとの仕様実行結果との比較
   結果に基づき前記誤り検出データを生成する誤り情報抽
   出ステップとを含むことを特徴とする請求項７に記載の
   テストケース評価プログラムを格納したコンピュータ読
   み取り可能な記録媒体。