JP2022186542A - テストケース生成装置、テストケース生成方法 - Google Patents

Abstract

【課題】バグが発生したパラメータ値に関わるテスト項目を重点的に生成するテストケース生成装置及び方法を提供する。【解決手段】方法は、入力項目であるパラメータ値を１つまたは複数含むテスト項目をテスト対象プログラムに与えて実行した結果の入力を受け付け、実行した結果から得られるバグ発生率に基づいて、パラメータ値ごとにバグ要因の可能性の高さである重要度を算出し、算出された重要度が第１の所定の条件を満たす場合に、重要度に対応するパラメータ値を決定し、テストの重点箇所または／および非重点箇所を示すテスト観点に反映する。反映されたテスト観点に基づいてテスト項目を生成し、生成されたテスト項目の数が閾値を超えていた場合に、第２の所定の条件を満たす重要度に対応するパラメータ値を決定し、決定したパラメータ値をテスト観点の非重点箇所に反映してテスト項目の数を抑制して、抑制された数のテスト項目を出力する。【選択図】図２

Description

本発明は、テストケース生成装置、テストケース生成方法に関する。

本技術分野の先行技術として、特開２０１３－７７１２４号公報（特許文献１）がある。この公報には、「ソフトウェアテストの因子網羅テストのテストケースを生成し、前記因子網羅テストのリストを生成するソフトウェアテストケース生成装置であって、前記生成されたテストケースを記憶する記憶部と、前記生成されたテストケースに従ったソフトウェアテストの実行履歴を記憶するテスト実行履歴記憶部と、重点的にテストを実行すべき因子及び水準の要注意水準の判定条件を記憶する判断基準記憶部と、前記要注意水準の判定条件に従って、要注意の因子及び水準の組合せを判定する要注意水準組合せ分析部と要注意水準と判定された因子及び水準の組合せである要注意水準組合せを記憶する要注意水準組合せ記憶部と、前記ソフトウェアテストの実行履歴及び前記要注意水準組合せに基づいて、効率的なテストケースを生成する効果的テストケース生成部と、を備える」ことが記載されている(要約参照)。

特開２０１３－７７１２４号公報

前記特許文献１には、バグ検出効率を高めるテストケース生成方法が記載されている。しかし、特許文献１のテストケース生成方法では、バグが発生したパラメータ値に関わるテスト項目をバグの発生頻度に応じて重点的に生成することができない。

本発明の一側面としては、バグが発生したパラメータ値に関わるテスト項目をバグの発生頻度に応じて重点的に生成することが可能な技術を提供することを目的とする。

本発明の一態様にかかるテストケース生成装置は、コンピュータにより行われる処理のテストケースを生成するテストケース生成装置であって、入力項目であるパラメータ値を１つまたは複数含むテスト項目をテスト対象プログラムに与えて実行した結果の入力を受け付けるテスト結果入力処理と、前記実行した結果から得られるバグ発生率に基づいて、前記パラメータ値ごとにバグ要因の可能性の高さである重要度を算出するパラメータ値重要度解析処理と、算出された前記重要度が第１の所定の条件を満たす場合に、当該重要度に対応するパラメータ値を決定し、テストの重点箇所または／および非重点箇所を示すテスト観点に反映するテスト観点決定処理と、反映された前記テスト観点に基づいてテスト項目を生成するテスト項目生成処理と、生成された前記テスト項目の数が閾値を超えていた場合に、第２の所定の条件を満たす前記重要度に対応する前記パラメータ値を決定し、決定した前記パラメータ値を前記テスト観点の非重点箇所に反映して前記テスト項目の数を抑制するテスト項目抑制処理と、を行う演算装置と、抑制された数の前記テスト項目を出力するテスト項目出力処理、を行う出力装置と、を有することを特徴とするテストケース生成装置として構成される。

本発明の一態様によれば、バグが発生したパラメータ値に関わるテスト項目をバグの発生頻度に応じて重点的に生成することができる。

テストケース生成装置の構成例を示すブロック図である。 テストケース生成装置の処理を説明するフローチャートである。 パラメータ及びパラメータ値の説明例である。 テスト項目及びテスト実行結果の記入例である。 パラメータ値重要度解析処理の説明例である。 パラメータ値重要度解析処理のフローチャートである。 テスト観点決定処理の説明例である。 テスト項目生成処理において生成されたテスト項目の例である。 テスト項目抑制処理のフローチャートである。 テスト項目抑制処理において、テスト項目再生成後に得られたテスト項目の例である。 実施例２における、テストケース生成装置の処理を説明するフローチャートである。 コンピュータの概略の一例を示す図である。

以下、本発明の実施形態であるテストケース生成装置の例について図面を用いて説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。

図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。

以下の説明では、「データベース」、「テーブル」、「リスト」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ＸＸテーブル」、「ＸＸリスト」等を「ＸＸ情報」と呼ぶことがある。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いた場合、これらについてはお互いに置換が可能である。

同一あるいは同様な機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。

また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ））によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）および／またはインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路（例えばＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ））を含んでいてもよい。

プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

図１は、本実施形態におけるテストケース生成装置の構成例を示す図である。

テストケース生成装置１００は、図１に示すように、テスト結果入力処理１０１を実行する処理部、ユーザ判断入力処理１０２を実行する処理部、パラメータ値重要度解析処理１０３を実行する処理部、テスト観点決定処理１０４を実行する処理部、テスト項目生成処理１０５を実行する処理部、テスト項目抑制処理１０６を実行する処理部、パラメータ値重要度保持部１０７、ユーザ判断保持部１０８、テスト観点保持部１０９、テスト項目出力処理１１０を実行する処理部を有する。

図１に示したテストケース生成装置１００は、例えば、図１２（コンピュータ概略図）に示すような、ＣＰＵ１６０１と、メモリ１６０２と、ＨＤＤ(Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ)等の外部記憶装置１６０３と、ＣＤ(Ｃｏｍｐａｃｔ Ｄｉｓｋ)やＵＳＢメモリ等の可搬性を有する記憶媒体１６０８に対して情報を読み書きする読書装置１６０７と、キーボードやマウス等の入力装置１６０６と、ディスプレイ等の出力装置１６０５と、通信ネットワークに接続するためのＮＩＣ(Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ)等の通信装置１６０４と、これらを連結するシステムバス等の内部通信線(システムバスという)１６０９と、を備えた一般的なコンピュータ１６００により実現できる。

テストケース生成装置１００に記憶され、あるいは処理に用いられる様々なデータ（例えば、パラメータ値重要度保持部１０７、ユーザ判断保持部１０８、テスト観点保持部１０９に記憶されるデータ）は、ＣＰＵ１６０１がメモリ１６０２または外部記憶装置１６０３から読み出して利用することにより実現可能である。また、テストケース生成装置１００が有する各処理部（例えば、テスト結果入力処理１０１、ユーザ判断入力処理１０２、パラメータ値重要度解析処理１０３、テスト観点決定処理１０４、テスト項目生成処理１０５、テスト項目抑制処理１０６、テスト項目出力処理１１０を実行する各処理部）は、ＣＰＵ１６０１が外部記憶装置１６０３に記憶されている所定のプログラムをメモリ１６０２にロードして実行することにより実現可能である。

上述した所定のプログラムは、読書装置１６０７を介して記憶媒体１６０８から、あるいは、通信装置１６０４を介してネットワークから、外部記憶装置１６０３に記憶(ダウンロード)され、それから、メモリ１６０２上にロードされて、ＣＰＵ１６０１により実行されるようにしてもよい。また、読書装置１６０７を介して、記憶媒体１６０８から、あるいは通信装置１６０４を介してネットワークから、メモリ１６０２上に直接ロードされ、ＣＰＵ１６０１により実行されるようにしてもよい。

以下では、テストケース生成装置１００が、ある１つのコンピュータにより構成される場合を例示するが、これらの機能の全部または一部が、クラウドのような１または複数のコンピュータに分散して設けられ、ネットワークを介して互いに通信することにより同様の機能を実現してもよい。

テスト結果入力処理１０１は、未実行のテスト項目を受け取り、テストを実行した結果を記載する。

ユーザ判断入力処理１０２は、ユーザが、重要度が高い、または重要度が低いと判断したパラメータないしパラメータ値を受け取る。

パラメータ値重要度解析処理１０３は、テストの実行結果を基に、バグ要因の可能性を解析し、パラメータ値の重要度を決定する。

テスト観点決定処理１０４は、テスト結果、及びユーザ判断を基に重要度が高いと判定したパラメータ値を用いてテスト観点を決定する。

テスト項目生成処理１０５は、テスト観点を基にテスト項目を生成する。

テスト項目抑制処理１０６は、生成されたテスト項目が閾値を超えていた場合に、テスト結果、及びユーザ判断を基に重要度が低いと判定したパラメータ値をテスト観点に反映し、テスト項目を抑制する。

パラメータ値重要度保持部１０７は、パラメータ値重要度解析処理１０３において、決定したパラメータ値の重要度を保持する。

ユーザ判断保持部１０８は、ユーザ判断入力処理１０２において、ユーザから入力された重要度が高いパラメータないしパラメータ値、重要度が低いパラメータないしパラメータ値を保持する。

テスト観点保持部１０９は、テスト観点決定処理１０４において、決定したテスト観点を保持する。

テスト項目出力処理１１０は、テスト項目生成処理１０５、及びテスト項目抑制処理１０６の結果、決定したテスト項目を出力する。

図２は、テストケース生成装置１００の処理を説明するフローチャート１５０である。

ステップ１５１は、予め用意した初回テスト項目の入力を受け付ける。

ステップ１５２は、テスト結果入力処理１０１を行う。

ステップ１５３は、終了条件の判断を行う。その際、テスト項目数、バグ件数を判断基準として用いる。テスト項目数に関しては、初回時にはステップ１５１の入力結果を、２回目以降はステップ１５９の出力結果を用いる。バグ件数に関しては、ステップ１５２の結果を用いる。

本実施例では、十分な数のテストを実施し、十分な数のバグを検出したと判断された場合、すなわち、テスト項目数、バグ件数が指定数を上回っている場合に終了条件を満たしたと判断され（ステップ１５３；Ｙｅｓ）、フローチャート１５０を終了する。そうでない場合には（ステップ１５３；Ｎｏ）、ステップ１５４に処理を進める。

ステップ１５４は、パラメータ値重要度解析処理１０３を、ステップ１５５は、ユーザ判断入力処理１０２を、ステップ１５６は、テスト観点決定処理１０４をそれぞれ行う。また、ステップ１５７は、テスト項目生成処理１０５を、ステップ１５８は、テスト項目抑制処理１０６を、ステップ１５９は、テスト項目出力処理１１０をそれぞれ行う。ステップ１５９終了後はステップ１５３に戻り、終了条件を満たすまで繰り返し行う。

図３は、パラメータ及びパラメータ値のテスト対象例２００の説明図である。パラメータとは、プログラムに外部から入力されるデータ項目で、プログラムの動作に影響を与える。パラメータ値とは、各パラメータの取りうる値を指す。

パラメータ及びパラメータ値のテスト対象例２００は、テスト対象パラメータ２０１とテスト対象パラメータ値２０２から構成されている。図３の場合、テスト対象パラメータ２０１はA,B,Cの3つのパラメータを含む。テスト対象パラメータ値２０２は、Aに関するパラメータ値a1,a2と、Bに関するパラメータ値b1,b2,b3と、Cに関するパラメータ値c1,c2,c3,c4を含む。

図４は、テスト結果入力処理１０１の処理における、テスト項目とその実行結果の例３００の説明図である。テスト項目とは、プログラムの動作確認のために用意するもので、一般的に実行条件やデータなどを示す。本実施例では、パラメータに対応するパラメータ値１つ、または複数のパラメータ値の組み合わせを指す。

テスト項目とその実行結果の例３００は、テスト項目番号３０１と実行対象のテスト項目３０２とテスト実行結果３０３を含む。

例えば、図４の場合、実行対象のテスト項目３０２は、テスト対象パラメータ２０１であるA,B,Cのパラメータ値の組み合わせで構成されており、各パラメータA,B,Cに対して、テスト対象パラメータ値２０２のいずれかの値が代入されている。

テスト実行結果３０３は、バグ検出の有無を表している。バグを検出した場合に1、バグ未検出の場合に0をテスト実行結果３０３に記載する。

図５は、パラメータ値重要度解析処理１０３の処理における、パラメータ値重要度の解析例４００の説明図である。

パラメータ値重要度の解析例４００は、解析対象パラメータ・パラメータ値４０１とバグ発生率４０２とパラメータ値重要度４０３を含み、図５ではバグ発生率４０２の高い順に解析対象パラメータ・パラメータ値４０１を表示している。パラメータ値重要度４０３は、パラメータ値のバグ発生率に応じて定められる、パラメータ値の重要度を示すものである。

解析対象パラメータ・パラメータ値４０１は、テスト対象パラメータ２０１とテスト対象パラメータ値２０２の組み合わせで構成される。

バグ発生率４０２は、解析対象パラメータ・パラメータ値４０１を含むテスト項目(実行対象のテスト項目３０２)のうち、バグを検出したテスト項目(テスト実行結果３０３が1となった実行対象のテスト項目３０２)の割合である。

図６は、パラメータ値重要度解析処理１０３を説明する、重要度解析処理のフローチャート５００である。

ステップ５０１は、解析対象パラメータ・パラメータ値４０１を読み込む。

ステップ５０２は、ステップ５０１で読み込んだパラメータ値ごとに、図４に含まれる実行対象のテスト項目３０２に出現する数をカウントする。

ステップ５０３は、ステップ５０１で読み込んだパラメータ値ごとに、テスト実行結果３０３が１、すなわちバグを検出した実行対象のテスト項目３０２に出現する数をカウントする。

ステップ５０４は、ステップ５０１で読み込んだパラメータ値ごとに、バグ発生率４０２を算出する。

ステップ５０５は、バグ発生率４０２に従って、パラメータ値重要度４０３を算出する。本実施例では、バグ発生率４０２が高いほど、対応する解析対象パラメータ・パラメータ値４０１はバグ要因の可能性が高いと判断され、パラメータ値重要度４０３の値は大きくなる。パラメータ値重要度４０３の値は、大きいほど重要なパラメータ値であることを意味しており、テスト対象パラメータ値２０２に含まれるパラメータ値の個数分だけ値が設定される。なお、バグ発生率４０２が等しい解析対象パラメータ・パラメータ値４０１のパラメータ値重要度４０３は等しくなる。

以下では、図４のテスト項目とその実行結果の例３００を例として、図５のパラメータ値重要度の解析例４００のバグ発生率４０２、及びパラメータ値重要度４０３の導出過程を示す。

まず、図５の解析対象パラメータ・パラメータ値４０１のうちA=a1のバグ発生率４０２を求める場合を考える。ステップ５０２において、実行対象のテスト項目３０２の中にa1を含むテスト項目数は、#1,#2,#5,#9,#10,#12の６件とカウントされる。そのうちステップ５０３において、テスト実行結果３０３が1となった実行対象のテスト項目３０２の数は、#2,#5,#9,#10,#12の５件である。よって、ステップ５０４において、A=a1のバグ発生率４０２は5/6*100 = 83% と算出される。同様にして、A=a1以外の解析対象パラメータ・パラメータ値４０１のバグ発生率４０２は図５に示す通りである。

次に、図５の各解析対象パラメータ・パラメータ値４０１に対して、パラメータ値重要度４０３を求める場合を考える。図５の各解析対象パラメータ・パラメータ値４０１の数は合計９であるため、最も重要度が高い解析対象パラメータ・パラメータ値４０１のパラメータ値重要度４０３の値は９となる。バグ発生率４０２算出の結果、バグ発生率４０２が最も高い解析対象パラメータ・パラメータ値４０１はA=a1で、パラメータ値重要度４０３の値は、最も重要度が高い９であると判定される。

一方、バグ発生率４０２が最も低い解析対象パラメータ・パラメータ値４０１はC=c1で、パラメータ値重要度４０３の値は、最も重要度が低い１であると判定される。

このように求められた解析対象パラメータ・パラメータ値４０１と、それに対応するパラメータ値重要度４０３の組み合わせをパラメータ値重要度保持部１０７に保持する。

図７は、テスト観点決定処理１０４の処理における、テスト観点決定例６００の説明図である。

テスト観点とは、一般的にテスト対象の機能、性能を確認するために、必要となるテストの視点をまとめたものを指す。特に本実施例では、テスト実施の重点箇所と非重点箇所を示したものを指す。これにより、バグ要因の可能性が高い箇所をターゲットにできる。また、バグ要因の可能性が低い箇所を抑制することもできる。

テスト観点６０１の記述例は、重点箇所６０２を示す場合と非重点箇所６０３を示す場合の２種類ある。重点箇所６０２の場合、テスト観点６０１は「...に関して重点的にテストする」と記載され、非重点箇所６０３の場合、テスト観点６０１は「...に関するテスト項目を抑制する」と記載される。

「...」には、テスト対象パラメータ値２０２のいずれかの値が代入される。そのテスト対象パラメータ値２０２は、パラメータ値重要度解析処理１０３の結果、パラメータ値重要度４０３が最も高いと判定された解析対象パラメータ・パラメータ値４０１となる。

例えば図５の場合、パラメータ値重要度４０３が最も高い解析対象パラメータ・パラメータ値４０１はA=a1であると判定されたため、テスト観点６０１は重点箇所６０２に基づいて「A=a1に関して重点的にテストする」と記載される。

なお、ユーザ判断入力処理１０２は、ユーザからの入力である、重点箇所６０２を示すパラメータないしパラメータ値を受け取る。ただし、その入力は必須ではない。パラメータ値の入力がある場合、パラメータ値重要度解析処理１０３の結果よりも優先して、入力結果のパラメータないしパラメータ値がテスト観点６０１に反映される。また、パラメータの入力がある場合、そのパラメータに対応するテスト対象パラメータ値２０２全てに対して同様の処理（例えば、図２のステップ１５４以降の処理）を行う。

これにより、バグ発生率４０２から判断したパラメータ値重要度４０３以外にもテスト観点６０１を決定可能なため、テスト観点６０１の決定方法は柔軟性がある。

図８は、テスト項目生成処理１０５の処理における、テスト項目生成例７００の説明図である。

テスト項目生成例７００は、テスト項目生成番号７０１と生成対象のテスト項目７０２を含む。テスト項目生成処理１０５は、テスト観点決定処理１０４の処理で記載されたテスト観点６０１を基に、テスト項目生成例７００を生成する。

例えば図８の場合、テスト観点決定処理１０４の結果、重点箇所６０２に基づいたテスト観点６０１が「A=a1に関して重点的にテストする」と決定したため、A=a1を組み合わせに含むテスト項目が生成対象となり、テスト項目生成番号７０１が#13から#18までの６件生成される。

ただし、既に存在しているテスト項目(この場合、図４のテスト項目とその実行結果の例３００に含まれるテスト項目)は、生成の対象外となる。

図９は、テスト項目抑制処理１０６を説明する、抑制処理のフローチャート８００である。

ステップ８０１は、テスト項目生成処理１０５の処理で生成されたテスト項目生成例７００を読み込む。

ステップ８０２は、ステップ８０１で読み込んだテスト項目生成数と予め設定した上限値とを比較する。生成数が上限値を上回っていない場合（ステップ８０２；Ｎｏ）、以下のステップ８０３、８０４、８０５の抑制処理を行わずに、フローチャート８００を終了する。そうでない場合には（ステップ８０２；Ｙｅｓ）、ステップ８０３へ処理を進める。

ステップ８０３は、これまで抑制対象として選出していないパラメータ値のうち、最もパラメータ値重要度４０３が低い解析対象パラメータ・パラメータ値４０１を、非重点箇所６０３の抑制対象のパラメータ値として選出する。

なお、ユーザ判断入力処理１０２は、ユーザからの入力である、非重点箇所６０３を示すパラメータないしパラメータ値も受け取る。ただし、その入力は必須ではない。入力がある場合、パラメータ値重要度解析処理１０３の結果よりも優先して、入力結果のパラメータないしパラメータ値が抑制対象として選出される。

ステップ８０４は、ステップ８０３で選出された抑制対象のパラメータ値を、テスト観点６０１に反映して修正する。この際、該当するパラメータ値を「...」に当てはめた上で、非重点箇所６０３に関する記述「...に関するテスト項目を抑制する」をテスト観点６０１に記載する。

ステップ８０５は、ステップ８０４で修正したテスト観点６０１を基にテスト項目を抑制し、生成するテスト項目数を調整する。この際、ステップ８０３で選出した抑制対象のパラメータ値以外の組み合わせは網羅できるように抑制する。

図１０は、テスト項目抑制処理１０６の処理における、テスト項目抑制例９００の説明図である。テスト項目抑制例９００は、テスト項目抑制処理１０６の結果、図８のテスト項目生成例７００のうち、抑制後のテスト項目を示している。

例えば、図９のステップ８０２において、テスト項目生成処理１０５後のテスト項目総数は図４と図８と合わせて18で、仮に予め設定したテスト項目数の上限値が16であった場合、ステップ８０３に進む。

図４において、パラメータ値重要度解析処理１０３の処理の結果、パラメータ値重要度４０３が最も低い解析対象パラメータ・パラメータ値４０１はC=c1であると判定されたため、ステップ８０３では重要度の低いパラメータ値としてC=c1が選出される。ユーザ判断入力処理１０２において抑制対象のパラメータないしパラメータ値が入力されない場合、C=c1が抑制対象のパラメータ値となる。

ステップ８０４では、ステップ８０３の結果を基に、非重点箇所６０３に関する記述「C=c1に関するテスト項目を抑制する」をテスト観点６０１に記載する。

その後ステップ８０５では、ステップ８０４の結果を基に、抑制対象のパラメータ値C=c1に関するテスト項目を抑制する。その結果、図８のテスト項目生成例７００のうち、テスト項目生成番号７０１が#13,#15のテスト項目が削除の対象となる。C=c1以外の組み合わせである(A,B)=(a1,b1),(a1,b2)は#14,#16にも存在するため、この２つのテスト項目#13,#15を削除する。

ステップ８０２の処理に再び進み、テスト項目総数は図４と図１０と合わせて16となるため、抑制処理のフローチャート８００を終了する。

このように、本実施例では、コンピュータにより行われる処理のテストケースを生成するテストケース生成装置１００において、入力項目であるパラメータ値を１つまたは複数含むテスト項目をテスト対象プログラムに与えて実行した結果の入力を受け付けるテスト結果入力処理１０１と、実行した結果から得られるバグ発生率（例えば、バグ発生率４０２）に基づいて、パラメータ値ごとにバグ要因の可能性の高さである重要度を算出するパラメータ値重要度解析処理１０３と、算出された重要度が第１の所定の条件（例えば、最も高い重要度であること）を満たす場合に、当該重要度に対応するパラメータ値を決定し、テストの重点箇所または／および非重点箇所を示すテスト観点に反映するテスト観点決定処理１０４と、反映されたテスト観点に基づいてテスト項目を生成するテスト項目生成処理１０５と、生成されたテスト項目の数が閾値を超えていた場合に、第２の所定の条件（例えば、最も低い重要度であること）を満たす重要度に対応するパラメータ値を決定し、決定したパラメータ値をテスト観点の非重点箇所に反映してテスト項目の数を抑制するテスト項目抑制処理１０６と、を行う演算装置と、抑制された数のテスト項目を出力するテスト項目出力処理１１０、を行う出力装置と、を有する。したがって、テストの実行結果を基にパラメータ値ごとにバグ要因の可能性を数値化し、テストの重点箇所/非重点箇所を示すテスト観点に反映することで、バグ要因の可能性が高いパラメータ値に関するテスト項目を重点的に生成することができる。また、テスト観点を用いて特定のパラメータ値に焦点を当てたテスト項目の追加・抑制を行うため、個々のパラメータ値の重要度を考慮したテスト項目の生成が可能となり、バグ検出におけるテスト効率向上が見込まれる。

また、上記演算装置は、ユーザから、上記第１の所定の条件を満たすパラメータないしパラメータ値、上記第２の所定条件を満たすパラメータないしパラメータ値、またはその両方の入力を受け付けるユーザ判断入力処理１０２、を行い、上記テスト観点決定処理において、上記ユーザ判断入力処理で入力されたパラメータないしパラメータ値を基に更新した上記重要度に基づいて、上記テスト観点に反映する上記パラメータ値を決定する。したがって、ユーザ自身が、重要度が高い、または重要度が低いと判断したパラメータないしパラメータ値を入力して、パラメータないしパラメータ値を調整することができる。

本実施例では、直前のテスト結果以外のデータも入力を受け付けるテストケース生成装置の例を説明する。

そのような場合、テスト結果入力処理１０１は、直前にテストを実行したテスト項目、及び事前に記憶装置に記憶したそれ以外のテスト項目を受け取り、テストの実行結果を記載する。

図１１は、実施例２における、テストケース生成装置１００の処理を説明するフローチャート２５０である。図１１では、予め用意した初回テスト項目の入力およびテスト結果入力処理１０１が、直前にテストを実行したテスト項目について行われるステップ（ステップ１５１－１および１５２－１）と、事前に記憶装置に記憶したそれ以外のテスト項目について行われるステップ（ステップ１５１－２および１５２－２）とにより行われ、それぞれのステップについての終了条件が、ステップ１５３において判断される。その他の処理は実施例１と同様である。

このように、本実施例では、上記演算装置は、上記テスト結果入力処理において、直前のテスト結果と、過去のテスト結果との入力を受け付け、上記テスト観点決定処理において、上記直前のテスト結果および上記過去のテスト結果の中から得られるバグ発生率に基づいて、上記重要度を算出する。したがって、現時点で行ったテスト結果に加え、過去のテスト結果を考慮して、重要度を定めることができる。

本実施例では、重要度の高いパラメータないしパラメータ値、低いパラメータないしパラメータ値の数を受け付けるテストケース生成装置の例を説明する。

そのような場合、ユーザ判断入力処理１０２は、重要度の高いパラメータないしパラメータ値の数(M個)、低いパラメータないしパラメータ値の数(N個)を受け付ける。重要度の高いパラメータないしパラメータ値の数(M個)、低いパラメータないしパラメータ値の数(N個)は、以下のように定めることができる。例えば、最も重要度の高いパラメータないしパラメータ値から順に低くなるパラメータないしパラメータ値の数を上記M個とし、最も重要度の低いパラメータないしパラメータ値から順に高くなるパラメータないしパラメータ値の数を上記N個として定めることができる。

また、テスト観点決定処理１０４は、パラメータ値重要度解析処理１０３の結果、パラメータ値重要度４０３が最も高いと判定されたものから順にM個の解析対象パラメータ・パラメータ値４０１をテスト観点６０１に反映する。図７では、テスト観点６０１が１レコード記述される場合を例示したが、本実施例では、Mレコードのテスト観点６０１が記述されることとなる。

さらに、テスト項目抑制処理１０６に関して、ステップ８０３は、これまで抑制対象として選出していないパラメータ値のうち、最もパラメータ値重要度４０３が低いものから順にN個の解析対象パラメータ・パラメータ値４０１を、非重点箇所６０３の抑制対象のパラメータ値として選出する。その後、ステップ８０４は、ステップ８０３で選出したN個の解析対象パラメータ・パラメータ値４０１をテスト観点６０１に反映する。図７では、テスト観点６０１が１レコード記述される場合を例示したが、本実施例では、Nレコードのテスト観点６０１が記述されることとなる。上記以外の処理に関しては、実施例１と同様である。

このように、本実施例では、上記演算装置は、上記ユーザ判断入力処理において、上記第１の所定の条件として一定の閾値以上、上記重要度が高いパラメータないしパラメータ値の数（例えば、上記M個）の入力を受け付け、上記第２の所定の条件として一定の閾値以上、上記重要度が低いパラメータないしパラメータ値の数（例えば、上記N個）の入力を受け付け、上記テスト観点決定処理において、上記ユーザ判断入力処理で入力された数のパラメータないしパラメータ値を基に更新した上記重要度に基づいて、上記テスト観点に反映する上記パラメータ値を決定する。したがって、最も重要度が高いものあるいは最も重要度が低いものから順に複数のパラメータないしパラメータ値をテスト観点に反映することができる。

本実施例では、パラメータ値重要度の決定方法に関して、パラメータ値の複数の組合せも考慮するテストケース生成装置の例を説明する。

そのような場合、パラメータ値重要度解析処理１０３に関して、解析対象パラメータ・パラメータ値４０１は、テスト対象パラメータ２０１とテスト対象パラメータ値２０２の組み合わせを複数用いて構成される。バグ発生率４０２、パラメータ値重要度４０３は、実施例１と同様の手順で導出される。例えば、解析対象パラメータ・パラメータ値４０１がA=a1かつB=b1である解析対象パラメータ・パラメータ値の組み合わせについて、バグ発生率４０２、パラメータ値重要度４０３を算出してもよい。その他の処理は、実施例１と同様である。

このように、本実施例では、上記演算装置は、上記パラメータ値重要度解析処理において、一のパラメータ値（例えば、図５における「A=a1」）と他の一のパラメータ値（例えば、図５における「B=b1」）との組み合わせ（例えば、上記「A=a1」かつ上記「B=b1」である組み合わせ）において上記重要度を算出する。例えば、上記「A=a1」のバグ発生率「83%」と、上記「B=b1」のバグ発生率「75%」との平均値を用いて、上記重要度を算出する。これにより、バグ発生率を複数のパラメータ値により平準化したうえで重要度を算出することができる。

本実施例では、ユーザからの入力としてパラメータないしパラメータ値の入力ではなく、ソースコードを入力するテストケース生成装置の例を説明する。

そのような場合、ユーザ判断入力処理１０２は、ユーザからの入力としてソースコードを受け付ける。ソースコードのパス等を解析することで、パラメータないしパラメータ値の重要度を自動的に導出する。その他の処理は実施例１と同様である。

このように、本実施例では、上記演算装置は、上記パラメータ値重要度解析処理において、上記テスト対象プログラムのソースコードを解析し、当該解析結果に基づいて、上記パラメータ値の重要度を判定する。したがって、ユーザがパラメータないしパラメータ値を入力することなく、重要度を判定することができる。また、上記テスト対象プログラムのソースコードが頻繁に修正される場合であっても、当該修正に応じたパラメータないしパラメータ値を入力することなく、ソースコードを読み込んで解析するだけで自動的に上記パラメータ値の重要度を判定することができるようになる。

本実施例では、バグ要因の可能性に加え、さらにテストの網羅率に基づいてパラメータ値の重要度を決定するテストケース生成装置の例を説明する。これは出現頻度の低いパラメータ値に関して、重要度を高くすることでテストケース数を増やすものである。

そのような場合、パラメータ値重要度解析処理１０３の処理における、パラメータ値重要度の解析例４００は、バグ発生率４０２に加え、さらに網羅率を含めてよい。

網羅率とは、特定のパラメータ値に着目した場合に、考えられる全てのテストケース数のうち、テスト結果入力処理１０１に入力されたテストケース数の割合である。

例えば、解析対象パラメータ・パラメータ値４０１のうちA=a1の網羅率を求める場合を考える。テスト対象パラメータB,Cの取りうる値の組合せを考えると、A=a1を含む全てのテストケースは1*3*4=12件である。そのうち、図４においてA=a1を含むテストケースは#1,#2,#5,#9,#10,#12の6件である。よって、A=a1の網羅率は6/12*100=50%となる。同様にして、他の解析対象パラメータ・パラメータ値４０１の網羅率も算出可能である。また、網羅率が低い解析対象パラメータ・パラメータ値４０１のパラメータ値重要度４０３を高くする。例えば、本実施例では、バグ発生率４０２と上記網羅率とを掛け合わせて得られる値の大きさが大きいほど重要度を高くする一方、当該値の大きさが小さいほど重要度を低くする、というように重要度を決定することができる。その他の処理は実施例１と同様である。

このように、本実施例では、上記演算装置は、上記パラメータ値重要度解析処理において、テストの網羅率が低いパラメータ値の重要度を高くする。したがって、テストの網羅率を考慮してパラメータ値の重要度を定めることができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する事によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD (Solid State Drive) 等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００ テストケース生成装置
１０１ テスト結果入力処理
１０２ ユーザ判断入力処理
１０３ パラメータ値重要度解析処理
１０４ テスト観点決定処理
１０５ テスト項目生成処理
１０６ テスト項目抑制処理
１０７ パラメータ値重要度保持部
１０８ ユーザ判断保持部
１０９ テスト観点保持部
１１０ テスト項目出力処理

Claims (8)

1. コンピュータにより行われる処理のテストケースを生成するテストケース生成装置であって、
   入力項目であるパラメータ値を１つまたは複数含むテスト項目をテスト対象プログラムに与えて実行した結果の入力を受け付けるテスト結果入力処理と、
   前記実行した結果から得られるバグ発生率に基づいて、前記パラメータ値ごとにバグ要因の可能性の高さである重要度を算出するパラメータ値重要度解析処理と、
   算出された前記重要度が第１の所定の条件を満たす場合に、当該重要度に対応するパラメータ値を決定し、テストの重点箇所または／および非重点箇所を示すテスト観点に反映するテスト観点決定処理と、
   反映された前記テスト観点に基づいてテスト項目を生成するテスト項目生成処理と、
   生成された前記テスト項目の数が閾値を超えていた場合に、第２の所定の条件を満たす前記重要度に対応する前記パラメータ値を決定し、決定した前記パラメータ値を前記テスト観点の非重点箇所に反映して前記テスト項目の数を抑制するテスト項目抑制処理と、を行う演算装置と、
   抑制された数の前記テスト項目を出力するテスト項目出力処理、を行う出力装置と、
   を有することを特徴とするテストケース生成装置。
2. 前記演算装置は、ユーザから、前記第１の所定の条件を満たすパラメータないしパラメータ値、前記第２の所定条件を満たすパラメータないしパラメータ値、またはその両方の入力を受け付けるユーザ判断入力処理、を行い、
   前記テスト観点決定処理において、前記ユーザ判断入力処理で入力されたパラメータないしパラメータ値を基に更新した前記重要度に基づいて、前記テスト観点に反映する前記パラメータ値を決定する、
   ことを特徴とする請求項１に記載のテストケース生成装置。
3. 前記演算装置は、前記テスト結果入力処理において、直前のテスト結果と、過去のテスト結果との入力を受け付け、
   前記テスト観点決定処理において、前記直前のテスト結果および前記過去のテスト結果の中から得られるバグ発生率に基づいて、前記重要度を算出する、
   ことを特徴とする請求項１に記載のテストケース生成装置。
4. 前記演算装置は、前記ユーザ判断入力処理において、前記第１の所定の条件として一定の閾値以上、前記重要度が高いパラメータないしパラメータ値の数の入力を受け付け、前記第２の所定の条件として一定の閾値以上、前記重要度が低いパラメータないしパラメータ値の数の入力を受け付け、
   前記テスト観点決定処理において、前記ユーザ判断入力処理で入力された数のパラメータないしパラメータ値を基に更新した前記重要度に基づいて、前記テスト観点に反映する前記パラメータ値を決定する、
   ことを特徴とする請求項２に記載のテストケース生成装置。
5. 前記演算装置は、前記パラメータ値重要度解析処理において、一のパラメータ値と他の一のパラメータ値との組み合わせにおいて前記重要度を算出する、
   ことを特徴とする請求項１に記載のテストケース生成装置。
6. 前記演算装置は、前記パラメータ値重要度解析処理において、前記テスト対象プログラムのソースコードを解析し、当該解析結果に基づいて、前記パラメータ値の重要度を判定する、
   ことを特徴とする請求項１に記載のテストケース生成装置。
7. 前記演算装置は、前記パラメータ値重要度解析処理において、テストの網羅率が低いパラメータ値の重要度を高くする、
   ことを特徴とする請求項１に記載のテストケース生成装置。
8. コンピュータにより行われる処理のテストケースを生成するテストケース生成方法であって、
   入力項目であるパラメータ値を１つまたは複数含むテスト項目をテスト対象プログラムに与えて実行した結果の入力を受け付け、
   前記実行した結果から得られるバグ発生率に基づいて、前記パラメータ値ごとにバグ要因の可能性の高さである重要度を算出し、
   算出された前記重要度が第１の所定の条件を満たす場合に、当該重要度に対応するパラメータ値を決定し、テストの重点箇所または／および非重点箇所を示すテスト観点に反映し、
   反映された前記テスト観点に基づいてテスト項目を生成し、
   生成された前記テスト項目の数が閾値を超えていた場合に、第２の所定の条件を満たす前記重要度に対応する前記パラメータ値を決定し、決定した前記パラメータ値を前記テスト観点の非重点箇所に反映して前記テスト項目の数を抑制し、
   抑制された数の前記テスト項目を出力する、
   ことを特徴とするテストケース生成方法。

Images