JP2021096685A - テスト実行プログラム、テスト実行方法、およびテスト実行装置 - Google Patents

Abstract

【課題】バグ局所化にあたりノイズとなる情報を切り分け可能にするテスト実行装置を提供する。【解決手段】テスト実行装置は、本体プログラム内にロギング命令を埋め込むＳ２３０１。特定処理を実行Ｓ２３０２し、テストプログラム内のテスト対象ロジックを特定する。特定したテスト対象ロジックに基づいて、テストプログラム内にロギング制御命令を埋め込むＳ２３０３。記録処理を実行Ｓ２３０４し、テストプログラムを実行し、カバレッジ情報を記録する。カバレッジ情報に基づいて、本体プログラム内の各命令文についての疑惑値を算出Ｓ２３０５する。算出した疑惑値が高い順に命令文をソートして示すランキング表を生成Ｓ２３０６して出力する。【選択図】図２３

Description

本発明は、テスト実行プログラム、テスト実行方法、およびテスト実行装置に関する。

従来、ソフトウェアの開発者は、ソフトウェアを実現するソースコード内から、ソフトウェアに意図しない挙動を起こさせるバグの原因となる箇所を探し、バグの原因となる箇所を修正する。ここで、ソースコード内から、バグの原因となる箇所を絞り込み易くし、開発者の作業負担の低減化を図るための、バグ局所化（Ｆａｕｌｔ Ｌｏｃａｌｉｚａｔｉｏｎ）と呼ばれる技術がある。

この技術の一種としては、例えば、ＳＢＦＬ（Ｓｐｅｃｔｒｕｍ−Ｂａｓｅｄ Ｆａｕｌｔ Ｌｏｃａｌｉｚａｔｉｏｎ）と呼ばれるものがある。ＳＢＦＬは、ソースコードに対して複数のテストを実行し、それぞれのテストの実行結果の妥当性と、それぞれのテストで実行されたソースコード内の命令文を記録したログ情報とに基づいて、命令文ごとに、バグの原因である可能性の高さを示す疑惑値（Ｓｕｓｐｉｃｉｏｕｓｎｅｓｓ Ｓｃｏｒｅ）を算出する。そして、ＳＢＦＬは、開発者が、算出された疑惑値を参照可能にし、バグの原因となる箇所を絞り込み易くする。

先行技術としては、例えば、テストケースごとに分析対象のプログラムのテストを実行し、テストケースごとのテスト結果および分析対象のプログラムの各行の実行回数を記録し、分析対象のプログラムの各行と実行回数との組ごとにリスクを算出するものがある。リスクは、分析対象のプログラムの行の、バグの原因である可能性の高さを示す。また、例えば、ロードされたＪａｖａプログラムの中に動作情報を出力するための監視命令を挿入した監視用Ｊａｖａプログラムを生成し、監視用Ｊａｖａプログラムを実行して動作情報を取得し、動作情報を分析して分析結果を表示する技術がある。ここで、Ｊａｖａは、登録商標である。

特開２０１４−１８２４５１号公報 特開２０１０−０３３５４３号公報

しかしながら、従来技術では、ソースコード内のバグの原因となる箇所を発見することが難しい場合がある。例えば、ＳＢＦＬは、命令文ごとに、バグの原因である可能性の高さを示す疑惑値を算出するにあたり、ノイズとなる情報を除去することができず、疑惑値を算出する精度が悪いため、開発者は、疑惑値を参照しても、バグの原因となる箇所を発見することが難しい。

１つの側面では、本発明は、バグ局所化にあたりノイズとなる情報を切り分け可能にすることを目的とする。

１つの実施態様によれば、テスト対象コードと、前記テスト対象コードに対するテストを実行するテスト実行コードとを取得し、取得した前記テスト対象コードと、取得した前記テスト実行コードとをテキスト解析した結果に基づいて、前記テスト実行コード内で、前記テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定し、前記テスト実行コードを実行した結果、特定した前記呼出命令文により前記テスト対象コード内の命令文群が呼び出されたことに応じて実行された、前記テスト対象コード内の命令文を識別可能にする情報を記録するテスト実行プログラム、テスト実行方法、およびテスト実行装置が提案される。

一態様によれば、バグ局所化にあたりノイズとなる情報を切り分け可能になる。

図１は、実施の形態にかかるテスト実行方法の一実施例を示す説明図である。 図２は、バグ発見システム２００の一例を示す説明図である。 図３は、テスト実行装置１００のハードウェア構成例を示すブロック図である。 図４は、テスト実行装置１００の機能的構成例を示すブロック図である。 図５は、テスト実行装置１００の具体的な機能的構成例を示すブロック図である。 図６は、テスト対象ロジックを特定する流れを示す説明図である。 図７は、カバレッジ情報を記録する流れを示す説明図である。 図８は、本体プログラム８１０とテストプログラム８００との一例を示す説明図である。 図９は、テスト対象ロジックを特定する一例を示す説明図（その１）である。 図１０は、テスト対象ロジックを特定する一例を示す説明図（その２）である。 図１１は、テスト対象ロジックを特定する一例を示す説明図（その３）である。 図１２は、テスト対象ロジックを特定する一例を示す説明図（その４）である。 図１３は、テスト対象ロジックを特定する一例を示す説明図（その５）である。 図１４は、カバレッジ情報を記録する一例を示す説明図（その１）である。 図１５は、カバレッジ情報を記録する一例を示す説明図（その２）である。 図１６は、カバレッジ情報を記録する一例を示す説明図（その３）である。 図１７は、カバレッジ情報を記録する一例を示す説明図（その４）である。 図１８は、カバレッジ情報を記録する一例を示す説明図（その５）である。 図１９は、カバレッジ情報を記録する一例を示す説明図（その６）である。 図２０は、ランキング表２２００を生成する一例を示す説明図（その１）である。 図２１は、ランキング表２２００を生成する一例を示す説明図（その２）である。 図２２は、ランキング表２２００を生成する一例を示す説明図（その３）である。 図２３は、全体処理手順の一例を示すフローチャートである。 図２４は、特定処理手順の一例を示すフローチャートである。 図２５は、記録処理手順の一例を示すフローチャートである。

以下に、図面を参照して、本発明にかかるテスト実行プログラム、テスト実行方法、およびテスト実行装置の実施の形態を詳細に説明する。

（実施の形態にかかるテスト実行方法の一実施例）
図１は、実施の形態にかかるテスト実行方法の一実施例を示す説明図である。テスト実行装置１００は、バグ局所化を実現し、ソースコード内から、バグの原因となる箇所を絞り込み易くし、開発者の作業負担の低減化を図ることができるコンピュータである。テスト実行装置１００は、例えば、サーバやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などである。

従来では、バグ局所化を実現する際には、ＳＢＦＬが用いられる傾向がある。ＳＢＦＬは、ソースコード内のそれぞれの命令文に対応付けて、当該命令文の実行時に通知を出力する新たな命令文を、ソースコード内に書き込んでおく。ＳＢＦＬは、ソースコード内の命令文群をテスト実行用に呼び出す複数のテスト実行コードを実行することにより、ソースコードに対し、複数のテストを実行する。テストは、ソースコードの処理内容の妥当性を判定することを目的とし、具体的には、ソースコード内のいずれかの命令文群の処理内容の妥当性を判定することを目的とする。テスト実行用とは、テストを実行し、処理内容の妥当性を判定するために、命令文群を呼び出すことを意味する。ＳＢＦＬは、それぞれのテストの実行結果の妥当性を判定し、また、出力される通知に基づいて、それぞれのテストで実行されたソースコード内の命令文を記録したログ情報を生成する。

ＳＢＦＬは、それぞれのテストの実行結果の妥当性と、それぞれのテストで実行されたソースコード内の命令文を記録したログ情報とに基づいて、命令文ごとに、バグの原因である可能性の高さを示す疑惑値を算出する。ＳＢＦＬは、開発者が、算出された疑惑値を参照可能にし、または、算出された疑惑値が高い順に、ソースコード内の命令文を参照可能にし、バグの原因となる命令文を絞り込み易くする。また、所定の演算装置が、算出された疑惑値が高い順に、ソースコード内の命令文に対して、所定のルールによる自動変換を試行し、バグの原因となる命令文がなくなるか否かを検査することにより、バグの原因となる命令文を自動修正するようにしてもよい。

しかしながら、ＳＢＦＬは、命令文ごとに、バグの原因である可能性の高さを示す疑惑値を算出するにあたり、ノイズとなる情報を除去することができないため、疑惑値を算出する精度が悪いという問題がある。例えば、テスト実行コードは、ソースコード内の命令文群をテスト実行用に呼び出す他に、テスト準備用またはテスト検証用などに呼び出す場合がある。テスト準備用とは、テストを実行する前準備を実施するために、命令文群を呼び出すことを意味する。前準備は、例えば、変数の設定や初期化などである。テスト検証用とは、テストを実行した後処理を実施するために、命令文群を呼び出すことを意味する。後処理は、例えば、テストの実行内容が妥当であるか否かを確認することである。このため、ＳＢＦＬは、ログ情報に、テスト実行用に命令文群を呼び出したことに応じて実行された命令文と、テスト準備用またはテスト検証用などに命令文群を呼び出したことに応じて実行された命令文とを、識別不能に記録してしまう。従って、ＳＢＦＬは、ログ情報から、ノイズとなる情報を除去することができない。

結果として、ＳＢＦＬは、バグの原因となる命令文以外については、相対的に高い疑惑値を算出してしまい、バグの原因となる命令文については、相対的に低い疑惑値を算出してしまうことがある。例えば、バグの原因となる命令文の疑惑値が、上位から１１番目になってしまう場合が考えられる。ここで、開発者が、疑惑値が高い順に命令文を検査するとすれば、バグの原因となる命令文を検査する前に、実際には検査不要な１０つの命令文について検査しなければならず、作業負担の増大化を招く。具体的には、開発者が、１つの命令文を検査する際にかかる時間コストが１０分であれば、バグの原因となる命令文の疑惑値が最上位になる場合に比べて、開発者の作業時間が１００分増大することになる。

また、所定の演算装置が、疑惑値が高い順に、命令文に対して、所定のルールによる自動変換を試行するとすれば、バグの原因となる命令文に対して自動変換を試行する前に、バグの原因とならない１０つの命令文に対しても自動変化を試行しなければならない。このため、所定の演算装置にかかる処理負担の増大化を招く。具体的には、所定の演算装置が、１つの命令文に対して自動変換を試行する際にかかる時間コストが６０分であれば、バグの原因となる命令文の疑惑値が最上位になる場合に比べて、所定の演算装置の処理時間が６００分増大することになる。

ここで、下記非特許文献１を参考に、テスト実行コードが、２以上のテストのそれぞれのテストに対応する命令文群を含む場合、疑惑値を算出する精度を向上すべく、テスト実行コードを分割するように、ＳＢＦＬを改良した新たな手法１が考えられる。手法１により、分割後のそれぞれのテスト実行コード内で、ソースコード内の命令文群をテスト準備用またはテスト検証用などに呼び出す回数を削減し、疑惑値を算出する精度を向上することが期待される。

非特許文献１ ： Ｘｕａｎ， Ｊｉｆｅｎｇ， ａｎｄ Ｍａｒｔｉｎ Ｍｏｎｐｅｒｒｕｓ． “Ｔｅｓｔ ｃａｓｅ ｐｕｒｉｆｉｃａｔｉｏｎ ｆｏｒ ｉｍｐｒｏｖｉｎｇ ｆａｕｌｔ ｌｏｃａｌｉｚａｔｉｏｎ．” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２２ｎｄ ＡＣＭ ＳＩＧＳＯＦＴ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｆｏｕｎｄａｔｉｏｎｓ ｏｆ Ｓｏｆｔｗａｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ． ＡＣＭ， ２０１４．

しかしながら、手法１でも、生成されるログ情報から、ノイズとなる情報を除去することはできないため、疑惑値を算出する精度を向上することは難しい。例えば、手法１でも、分割後のそれぞれのテスト実行コード内で、ソースコード内の命令文群をテスト準備用またはテスト検証用などに呼び出すことを排除することはできず、生成されるログ情報から、ノイズとなる情報を除去することはできない。

また、下記非特許文献２を参考に、テスト対象クラスと、テスト実行クラスとの対応関係を特定し、対応関係を基に、クラス単位で、テスト対象であるか否かを区別し、バグ局所化の精度の向上を図るように、ＳＢＦＬを改良した新たな手法２も考えられる。具体的には、手法２は、動的な依存解析と、クラス内のテキストの類似度、クラス名の類似度に基づいて、テスト対象クラスと、テスト実行クラスとの対応関係を特定する。そして、手法２は、命令文ごとに疑惑値を算出した後、テスト対象クラスではないクラスに関する命令文と疑惑値との組を削除することにより、ノイズと判断した命令文と疑惑値との組を削除し、バグ局所化の精度の向上を図る。

非特許文献２ ： Ｑｕｓｅｆ， Ａｂｄａｌｌａｈ， ｅｔ ａｌ． “Ｒｅｃｏｖｅｒｉｎｇ ｔｅｓｔ−ｔｏ−ｃｏｄｅ ｔｒａｃｅａｂｉｌｉｔｙ ｕｓｉｎｇ ｓｌｉｃｉｎｇ ａｎｄ ｔｅｘｔｕａｌ ａｎａｌｙｓｉｓ．” Ｊｏｕｒｎａｌ ｏｆ Ｓｙｓｔｅｍｓ ａｎｄ Ｓｏｆｔｗａｒｅ ８８ （２０１４）： １４７−１６８．

ここで、手法２では、クラス単位でしか、命令文と疑惑値との組がノイズであるか否かを判断することができず、命令文と疑惑値との組を除去することができない。このため、手法２では、例えば、ノイズとなる命令文と疑惑値との組を除去しきることが難しく、バグ局所化の精度を向上することは難しい。また、手法２は、動的な依存解析に相当するため、処理負担の増大化を招く。

また、下記非特許文献３を参考に、テスト対象メソッドと、テスト実行メソッドとの対応関係を特定し、対応関係を基に、メソッド単位で、テスト対象であるか否かを区別し、バグ局所化の精度の向上を図るように、ＳＢＦＬを改良した新たな手法３も考えられる。具体的には、手法３は、静的な依存解析により、オブジェクトの状態変化を追跡し、テスト対象メソッドを特定することになる。この際、手法３は、テスト対象メソッドと、テスト実行メソッドとの１対１の対応関係を特定する。そして、手法３は、命令文ごとに疑惑値を算出した後、テスト対象メソッドではないメソッドに関する命令文と疑惑値との組を削除し、バグ局所化の精度の向上を図る。

非特許文献３ ： Ｇｈａｆａｒｉ， Ｍｏｈａｍｍａｄ， Ｃａｒｌｏ Ｇｈｅｚｚｉ， ａｎｄ Ｋｏｎｓｔａｎｔｉｎ Ｒｕｂｉｎｏｖ． “Ａｕｔｏｍａｔｉｃａｌｌｙ ｉｄｅｎｔｉｆｙｉｎｇ ｆｏｃａｌ ｍｅｔｈｏｄｓ ｕｎｄｅｒ ｔｅｓｔ ｉｎ ｕｎｉｔ ｔｅｓｔ ｃａｓｅｓ．” ２０１５ ＩＥＥＥ １５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｏｕｒｃｅ Ｃｏｄｅ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｎｉｐｕｌａｔｉｏｎ （ＳＣＡＭ）． ＩＥＥＥ， ２０１５．

ここで、手法３は、１対１の対応関係しか特定することができないため、１つのテスト実行メソッドに対し、複数のテスト対象メソッドがある場合には適用することが難しい。このため、手法３は、ノイズとなる命令文と疑惑値との組を除去しきることが難しく、バグ局所化の精度を向上することは難しい。また、手法３は、オブジェクトの状態変化を伴わない場合には適用することができない。また、手法３は、静的な依存解析に相当し、オブジェクトの状態変化を正確に追跡することが難しい場合がある。

また、ソースコード内のいずれかの命令文群は、いずれかのテストにおけるテスト対象となっていなくても、他のテストにおけるテスト対象とはなっている場合がある。命令文群は、クラスやメソッドである。これに対し、手法２および手法３は、テストごとに、ソースコード内のいずれかの命令文群が、テスト対象であるか否かを区別することができない。このため、手法２および手法３は、ノイズとなる命令文と疑惑値との組を精度よく除去することができず、バグ局所化の精度を向上することは難しい。

また、テスト実行コード内で、ソースコード内の命令文群をテスト実行用に呼び出す箇所と、テスト準備用またはテスト検証用などに呼び出す箇所とを区別可能に、テスト実行コードを、人手で書き換える場合が考えられる。この場合、開発者にかかる作業負担の増大化を招いてしまう。

そこで、本実施の形態では、ソースコード内の命令文群を、テスト実行用に呼び出した場合であるか否かを区別しながら、実行された命令文を識別可能に記録することができるテスト実行方法について説明する。このテスト実行方法によれば、バグ局所化にあたりノイズとなる情報を切り分け可能にすることができる。

（１−１）テスト実行装置１００は、テスト対象コード１０１と、テスト対象コード１０１に対するテストを実行するテスト実行コード１０２とを取得する。テスト対象コード１０１は、ソースコードである。テスト対象コード１０１は、例えば、Ｊａｖａ言語により記述される。テスト対象コード１０１は、複数あってもよい。テスト実行コード１０２は、ソースコードである。テスト実行コード１０２は、例えば、Ｊａｖａ言語により記述される。テスト実行コード１０２は、複数あってもよい。テスト実行装置１００は、例えば、テスト対象コード１０１と、テスト実行コード１０２との入力を受け付けることにより、テスト対象コード１０１と、テスト実行コード１０２とを取得する。

（１−２）テスト実行装置１００は、取得したテスト対象コード１０１と、取得したテスト実行コード１０２とをテキスト解析する。テスト実行装置１００は、テキスト解析した結果に基づいて、テスト実行コード１０２内で、テスト対象コード１０１内の命令文群をテスト実行用に呼び出す呼出命令文を特定する。命令文群は、命令文の集まりであり、例えば、パッケージ、クラス、メソッドなどの単位の命令文の集まりである。命令文群は、数段の入れ子構造になり得る。例えば、パッケージ、クラス、メソッドは、入れ子構造になり、具体的には、パッケージは、１以上のクラスを含み、また、クラスは、１以上のメソッドを含む。

テスト実行装置１００は、例えば、テスト対象コード１０１をテキスト解析し、テスト対象コード１０１内の数段の入れ子構造の命令文群のうち、それぞれの段の命令文群に付された名称を特定する。また、テスト実行装置１００は、テスト実行コード１０２をテキスト解析し、テスト実行コード１０２内の数段の入れ子構造の命令文群のうち、それぞれの段の命令文群に付された名称を特定する。そして、テスト実行装置１００は、特定した名称の類似度に基づいて、テスト実行コード１０２内で、テスト対象コード１０１内の命令文群をテスト実行用に呼び出す呼出命令文を特定する。図１の例では、テスト実行装置１００は、命令文群Ｇ１を呼び出す呼出命令文Ｃ１と、命令文群Ｇ２を呼び出す呼出命令文Ｃ２とのうち、呼出命令文Ｃ１を特定する。

（１−３）テスト実行装置１００は、テスト実行コード１０２を実行した結果、特定した呼出命令文によりテスト対象コード１０１内の命令文群が呼び出されたことに応じて実行された、テスト対象コード１０１内の命令文を識別可能にする情報を記録する。図１の例では、テスト実行装置１００は、テスト実行コード１０２を実行した結果、特定した呼出命令文Ｃ１により命令文群Ｇ１がテスト実行用に呼び出されたことに応じて実行された、命令文群Ｇ１内の命令文を識別可能にする情報を記録する。

ここで、呼出命令文Ｃ２は、特定されておらず、呼出命令文Ｃ２により命令文群Ｇ２が呼び出されたことに応じて実行された、命令文群Ｇ２内の命令文を識別可能にする情報は、ノイズとなる情報であると判断される。具体的には、テスト実行用以外で実行された命令文は、開発者がテストにより処理内容を確認したい命令文ではないと判断されるため、テスト実行用以外で実行された命令文を識別可能にする情報は、ノイズとなる情報であると判断される。

このため、テスト実行装置１００は、呼出命令文Ｃ２により命令文群Ｇ２が呼び出されたことに応じて実行された、命令文群Ｇ２内の命令文を識別可能にする情報については記録しなくてもよい。また、テスト実行装置１００は、呼出命令文Ｃ２により命令文群Ｇ２が呼び出されたことに応じて実行された、命令文群Ｇ２内の命令文を識別可能にする情報を、ノイズとなる情報として記録してもよい。これにより、テスト実行装置１００は、バグ局所化にあたりノイズとなる情報を切り分け可能にすることができる。

このため、テスト実行装置１００は、バグ局所化にあたり有用な情報を、ノイズとなる情報と切り分けて、疑惑値を精度よく算出可能にすることができる。結果として、テスト実行装置１００は、開発者が、精度よく算出した疑惑値を参照可能にすることができ、バグの原因となる箇所を絞り込み易くすることができ、開発者にかかる作業負担の低減化を図ることができる。また、テスト実行装置１００は、精度よく算出した疑惑値に基づいて、バグの原因となる箇所を自動修正可能にすることができ、開発者にかかる作業負担の低減化を図ることができる。

また、テスト実行装置１００は、クラス単位やメソッド単位の粒度ではなく、命令文単位の粒度で、バグ局所化にあたり有用な情報と、ノイズとなる情報とを切り分けることができる。命令文単位の粒度は、例えば、行単位の粒度である。このため、テスト実行装置１００は、ノイズとなる情報を精度よく除去可能にすることができ、疑惑値を精度よく算出可能にすることができる。

また、テスト実行装置１００は、テキスト解析により、テスト実行コード１０２内で、テスト対象コード１０１内の命令文群をテスト実行用に呼び出す呼出命令文を特定するため、処理負担の増大化を抑制することができる。また、テスト実行装置１００は、テスト実行コード１０２内で、テスト対象コード１０１内の命令文群をテスト実行用に呼び出す呼出命令文を特定するにあたり、命令文群と、呼出命令文とを多対多でも特定することができる。このため、テスト実行装置１００は、バグ局所化にあたりノイズとなる情報を、精度よく切り分け可能にすることができる。また、テスト実行装置１００は、オブジェクトの状態変化を伴わない場合にも適用することができる。

また、テスト実行装置１００は、テスト対象コード１０１内のいずれかの命令文群が、いずれかのテストにおけるテスト対象とはなっていないが、他のテストにおけるテスト対象とはなっている場合などにも適用することができる。このため、テスト実行装置１００は、バグ局所化にあたりノイズとなる情報を精度よく切り分け可能にすることができ、バグ局所化の利便性の向上を図ることができる。また、開発者は、人手で、テスト実行コード１０２内で、テスト対象コード１０１内の命令文群をテスト実行用に呼び出す箇所を判別可能にしなくてもよいため、作業負担の低減化を図ることができる。

ここでは、テスト対象コード１０１やテスト実行コード１０２が、Ｊａｖａ言語により記述される場合について説明したが、これに限らない。例えば、テスト対象コード１０１やテスト実行コード１０２が、Ｊａｖａ言語以外により記述される場合があってもよい。Ｊａｖａ言語以外は、例えば、Ｃ言語である。

ここでは、テスト実行装置１００が、テスト対象コード１０１と、テスト実行コード１０２との入力を受け付けることにより、テスト対象コード１０１と、テスト実行コード１０２とを取得する場合について説明したが、これに限らない。例えば、テスト実行装置１００が、テスト対象コード１０１と、テスト実行コード１０２とを、他のコンピュータから受信することにより取得する場合があってもよい。この場合、テスト実行装置１００と、他のコンピュータとを含むバグ発見システム２００が形成される。

（バグ発見システム２００の一例）
次に、図２を用いて、図１に示したテスト実行装置１００を適用した、バグ発見システム２００の一例について説明する。

図２は、バグ発見システム２００の一例を示す説明図である。図２において、バグ発見システム２００は、テスト実行装置１００と、クライアント装置２０１とを含む。

バグ発見システム２００において、テスト実行装置１００とクライアント装置２０１は、有線または無線のネットワーク２１０を介して接続される。ネットワーク２１０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどである。

テスト実行装置１００は、テスト対象コード１０１と、テスト実行コード１０２とを、クライアント装置２０１から受信する。テスト実行装置１００は、受信したテスト対象コード１０１と、テスト実行コード１０２とをテキスト解析した結果に基づいて、テスト実行コード１０２内で、テスト対象コード１０１内の命令文群をテスト実行用に呼び出す呼出命令文を特定する。テスト実行装置１００は、テスト実行コード１０２を実行した結果、特定した呼出命令文によりテスト対象コード１０１内の命令文群が呼び出されたことに応じて実行された、テスト対象コード１０１内の命令文を識別可能にする情報を記録する。

テスト実行装置１００は、記録した情報に基づいて、テスト対象コード１０１内の命令文ごとに、バグの原因である可能性の高さを示す疑惑値を算出する。ここで、テスト実行装置１００は、テスト実行コード１０２を実行した結果、実行されなかったテスト対象コード１０１内の命令文については、疑惑値を算出しなくてもよい。また、テスト実行装置１００は、テスト実行コード１０２を実行した結果、特定した呼出命令文によりテスト対象コード１０１内の命令文群が呼び出されたことに応じて実行されなかったテスト対象コード１０１内の命令文についても、疑惑値を算出しなくてもよい。そして、テスト実行装置１００は、算出した疑惑値が高い順に、テスト対象コード１０１内の命令文を識別する情報をソートする。テスト実行装置１００は、ソートした結果を、クライアント装置２０１に送信する。

クライアント装置２０１は、開発者に用いられるコンピュータである。クライアント装置２０１は、テスト対象コード１０１と、テスト実行コード１０２とを、テスト実行装置１００に送信する。クライアント装置２０１は、疑惑値が高い順に、テスト対象コード１０１内の命令文を識別する情報をソートした結果を、テスト実行装置１００から受信して出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、他のコンピュータへの送信、または、記憶領域への記憶などである。クライアント装置２０１は、例えば、サーバやＰＣ、スマートフォン、端末装置などである。これにより、クライアント装置２０１は、開発者が、バグの原因となる箇所を絞り込み易くすることができる。

ここでは、テスト実行装置１００が、記録した情報に基づいて、命令文ごとの疑惑値を算出し、算出した疑惑値が高い順に、命令文を識別する情報をソートし、ソートした結果を、クライアント装置２０１に送信する場合について説明したが、これに限らない。例えば、テスト実行装置１００が、記録した情報を、クライアント装置２０１に送信する場合があってもよい。この場合、クライアント装置２０１は、受信した情報に基づいて、命令文ごとの疑惑値を算出し、算出した疑惑値が高い順に、命令文を識別する情報をソートし、ソートした結果を出力する。

また、例えば、テスト実行装置１００が、記録した情報に基づいて、命令文ごとの疑惑値を算出し、命令文ごとの疑惑値を、クライアント装置２０１に送信する場合があってもよい。この場合、クライアント装置２０１は、受信した疑惑値が高い順に、命令文を識別する情報をソートし、ソートした結果を出力する。

（テスト実行装置１００のハードウェア構成例）
次に、図３を用いて、テスト実行装置１００のハードウェア構成例について説明する。

図３は、テスト実行装置１００のハードウェア構成例を示すブロック図である。図３において、テスト実行装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、メモリ３０２と、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、記録媒体Ｉ／Ｆ３０４と、記録媒体３０５とを有する。また、各構成部は、バス３００によってそれぞれ接続される。

ここで、ＣＰＵ３０１は、テスト実行装置１００の全体の制御を司る。メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることで、コーディングされている処理をＣＰＵ３０１に実行させる。

ネットワークＩ／Ｆ３０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ３０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ３０３は、例えば、モデムやＬＡＮアダプタなどである。

記録媒体Ｉ／Ｆ３０４は、ＣＰＵ３０１の制御に従って記録媒体３０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ３０４は、例えば、ディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどである。記録媒体３０５は、記録媒体Ｉ／Ｆ３０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体３０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体３０５は、テスト実行装置１００から着脱可能であってもよい。

テスト実行装置１００は、上述した構成部のほか、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、テスト実行装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を複数有していてもよい。また、テスト実行装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を有していなくてもよい。

（クライアント装置２０１のハードウェア構成例）
クライアント装置２０１のハードウェア構成例は、図３に示した、テスト実行装置１００のハードウェア構成例と同様であるため、説明を省略する。

（テスト実行装置１００の機能的構成例）
次に、図４を用いて、テスト実行装置１００の機能的構成例について説明する。

図４は、テスト実行装置１００の機能的構成例を示すブロック図である。テスト実行装置１００は、記憶部４００と、取得部４０１と、特定部４０２と、記録部４０３と、解析部４０４と、出力部４０５とを含む。

記憶部４００は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域によって実現される。以下では、記憶部４００が、テスト実行装置１００に含まれる場合について説明するが、これに限らない。例えば、記憶部４００が、テスト実行装置１００とは異なる装置に含まれ、記憶部４００の記憶内容がテスト実行装置１００から参照可能である場合があってもよい。

取得部４０１〜出力部４０５は、制御部の一例として機能する。取得部４０１〜出力部４０５は、具体的には、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、ネットワークＩ／Ｆ３０３により、その機能を実現する。各機能部の処理結果は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶される。

記憶部４００は、各機能部の処理において参照され、または更新される各種情報を記憶する。記憶部４００は、例えば、１以上のテスト対象コードを記憶する。テスト対象コードは、ソースコードである。テスト対象コードは、例えば、Ｊａｖａ言語により記述される。テスト対象コードは、Ｊａｖａ言語以外により記述される場合があってもよい。Ｊａｖａ言語以外は、例えば、Ｃ言語である。テスト対象コードは、命令文群を含む。命令文群は、パッケージ、クラス、メソッドなどである。テスト対象コード内で、命令文群は、数段の入れ子構造になり得る。

記憶部４００は、例えば、１以上のテスト実行コードを記憶する。テスト実行コードは、ソースコードである。テスト実行コードは、テスト対象コードに対するテストを実行することを、処理内容として規定するソースコードである。テスト実行コードは、例えば、Ｊａｖａ言語により記述される。テスト実行コードは、Ｊａｖａ言語以外により記述される場合があってもよい。Ｊａｖａ言語以外は、例えば、Ｃ言語である。テスト実行コードは、命令文群を含む。命令文群は、パッケージ、クラス、メソッドなどである。テスト実行コード内で、命令文群は、数段の入れ子構造になり得る。テスト実行コードは、複数ある場合、テスト対象コードに対し、互いに種類が異なるテストを実行することが好ましい。

取得部４０１は、各機能部の処理に用いられる各種情報を取得する。取得部４０１は、取得した各種情報を、記憶部４００に記憶し、または、各機能部に出力する。また、取得部４０１は、記憶部４００に記憶しておいた各種情報を、各機能部に出力してもよい。取得部４０１は、例えば、ユーザの操作入力に基づき、各種情報を取得する。ユーザは、例えば、開発者である。取得部４０１は、例えば、テスト実行装置１００とは異なる装置から、各種情報を受信してもよい。

取得部４０１は、例えば、テスト対象コードと、テスト実行コードとを取得する。取得部４０１は、例えば、ユーザの操作入力に基づき、テスト対象コードと、テスト実行コードとの入力を受け付けることにより、テスト対象コードと、テスト実行コードとを取得する。取得部４０１は、例えば、テスト対象コードと、テスト実行コードとを、着脱可能な記録媒体３０５から読み出すことにより取得する場合があってもよい。取得部４０１は、例えば、テスト対象コードと、テスト実行コードとを、他のコンピュータから受信することにより取得する場合があってもよい。他のコンピュータは、例えば、クライアント装置２０１である。取得部４０１は、テスト対象コードに対し、互いに種類が異なるテストを実行する複数のテスト実行コードを取得してもよい。

取得部４０１は、いずれかの機能部の処理を開始する開始トリガーを受け付けてもよい。開始トリガーは、例えば、ユーザによる所定の操作入力があったことである。開始トリガーは、例えば、他のコンピュータから、所定の情報を受信したことであってもよい。開始トリガーは、例えば、いずれかの機能部が所定の情報を出力したことであってもよい。取得部４０１は、例えば、テスト対象コードと、テスト実行コードとを取得したことを、特定部４０２〜出力部４０５の処理を開始する開始トリガーとして受け付ける。

特定部４０２は、取得したテスト実行コード内で、取得したテスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定する。特定部４０２は、例えば、テスト対象コードと、テスト実行コードとをテキスト解析した結果に基づいて、テスト実行コード内で、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定する。

特定部４０２は、具体的には、テスト実行コード内で、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文となる候補を検出する。特定部４０２は、テスト実行コード内で、検出した候補が記述されたメソッドに対応する名称と、テスト対象コード内で、検出した候補により呼び出される命令文群が記述されたメソッドに対応する名称との第１の類似度を算出する。特定部４０２は、算出した第１の類似度に基づいて、検出した候補の中から、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定する。

特定部４０２は、より具体的には、検出した候補のうち、第１の類似度が第１の閾値以上である候補を、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文として特定する。テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文の特定に、第１の類似度を用いる具体例は、図９を用いて後述する。これにより、特定部４０２は、バグ局所化にあたり有用な情報と、ノイズとなる情報とを切り分ける指標となる情報を得ることができる。

特定部４０２は、具体的には、テスト実行コード内で、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文となる候補を検出する。特定部４０２は、テスト実行コード内で、検出した候補が記述されたクラスに対応する名称と、テスト対象コード内で、検出した候補により呼び出される命令文群が記述されたクラスに対応する名称との第２の類似度を算出する。特定部４０２は、算出した第２の類似度に基づいて、検出した候補の中から、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定する。

特定部４０２は、より具体的には、検出した候補のうち、第２の類似度が第２の閾値以上である候補を、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文として特定する。テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文の特定に、第２の類似度を用いる具体例は、図１０を用いて後述する。これにより、特定部４０２は、バグ局所化にあたり有用な情報と、ノイズとなる情報とを切り分ける指標となる情報を得ることができる。

特定部４０２は、具体的には、テスト実行コード内で、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文となる候補を検出する。特定部４０２は、テスト実行コード内で、検出した候補が記述されたパッケージに対応するアドレスと、テスト対象コード内で、検出した候補により呼び出される命令文群が記述されたパッケージに対応するアドレスとの近似度を算出する。特定部４０２は、算出した近似度に基づいて、検出した候補の中から、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定する。

特定部４０２は、より具体的には、検出した候補のうち、近似度が第３の閾値以上である候補を、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文として特定する。テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文の特定に、近似度を用いる具体例は、図１１を用いて後述する。これにより、特定部４０２は、バグ局所化にあたり有用な情報と、ノイズとなる情報とを切り分ける指標となる情報を得ることができる。

特定部４０２は、具体的には、第１の類似度と、第２の類似度と、近似度とのうち、少なくとも２つ以上の組み合わせに基づいて、検出した候補の中から、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定する場合があってもよい。この場合、特定部４０２は、検出した候補のうち、第１の類似度が第１の閾値以上であり、第２の類似度が第２の閾値以上であり、かつ、近似度が第３の閾値以上である候補を、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文として特定する。これにより、特定部４０２は、バグ局所化にあたり有用な情報と、ノイズとなる情報とを切り分ける指標となる情報を得ることができる。

特定部４０２は、テスト実行コードが複数ある場合、テスト実行コードごとに、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定してもよい。

記録部４０３は、テスト実行コードを実行する。記録部４０３は、テスト実行コードを実行した結果、特定した呼出命令文によりテスト対象コード内の命令文群が呼び出されたことに応じて実行された、テスト対象コード内の命令文を識別可能にする第１の情報を記録する。記録部４０３は、例えば、特定した呼出命令文によりテスト対象コード内の命令文群が呼び出されたことに応じて実行された、テスト対象コード内の命令文を識別する情報を、有用を示すフラグと対応付けた第１の情報を記録する。これにより、記録部４０３は、バグ局所化にあたり有用な情報を、第１の情報として記録し、利用可能にすることができ、ノイズとなる情報と切り分けることができる。

記録部４０３は、テスト実行コードを実行した結果、特定した呼出命令文以外によりテスト対象コード内の命令文群が呼び出されたことに応じて実行された、テスト対象コード内の命令文を識別可能にする第２の情報を記録する。記録部４０３は、例えば、特定した呼出命令文以外によりテスト対象コード内の命令文群が呼び出されたことに応じて実行された、テスト対象コード内の命令文を識別する情報を、ノイズを示すフラグと対応付けた第２の情報を記録する。これにより、記録部４０３は、バグ局所化にあたりノイズとなる情報を、第２の情報として記録し、利用可能にすることができる。

第２の情報は、特定した呼出命令文により命令文群が呼び出されたことに応じては実行されず、かつ、特定した呼出命令文以外により命令文群が呼び出されたことに応じて実行された、テスト対象コード内の命令文を識別可能にしてもよい。これにより、記録部４０３は、第１の情報と、第２の情報との重複を回避することができる。

記録部４０３は、具体的には、テスト対象コード内に、テスト対象コード内のそれぞれの命令文に対応付けて、当該命令文が実行されたことに応じて、当該命令文を識別する情報を含む第１の通知を出力する第１の命令文を書き込む。記録部４０３は、テスト実行コード内に、特定した呼出命令文に対応付けて、特定した呼出命令文が実行される直前に、特定した呼出命令文を識別する情報を含む第２の通知を出力する第２の命令文を書き込む。記録部４０３は、テスト実行コード内に、特定した呼出命令文に対応付けて、特定した呼出命令文が実行された直後に、特定した呼出命令文を識別する情報を含む第３の通知を出力する第３の命令文を書き込む。

記録部４０３は、テスト実行コードを実行した結果、出力された第１の通知と、出力された第２の通知と、出力された第３の通知とに基づいて、第１の情報を記録する。記録部４０３は、テスト実行コードを実行した結果、出力された第１の通知と、出力された第２の通知と、出力された第３の通知とに基づいて、第２の情報を記録する。これにより、記録部４０３は、バグ局所化にあたり有用な情報を、第１の情報として記録し、利用可能にすることができ、ノイズとなる情報と切り分けることができる。また、記録部４０３は、バグ局所化にあたりノイズとなる情報を、第２の情報として記録し、利用可能にすることができる。

記録部４０３は、テスト実行コードが複数ある場合、テスト実行コードごとに、第１の情報と第２の情報とのうち、少なくとも第１の情報を記録してもよい。

解析部４０４は、テストの実行結果の妥当性を判定する。解析部４０４は、判定した妥当性と、記録した第１の情報とに基づいて、テスト対象コード内のそれぞれの命令文の、バグの原因である可能性の高さを示す第１の疑惑値を算出する。解析部４０４は、テスト対象コード内のそれぞれの命令文に対応付けて、算出した第１の疑惑値を記録する。これにより、解析部４０４は、バグ局所化を実現し、開発者が、バグとなる箇所を絞り込み易くすることができる。

解析部４０４は、算出した第１の疑惑値に基づいて、テスト対象コード内のそれぞれの命令文を識別する情報をソートしてもよい。これにより、解析部４０４は、バグ局所化を実現し、開発者が、バグとなる箇所を絞り込み易くすることができる。

解析部４０４は、テストの実行結果の妥当性を判定する。解析部４０４は、判定した妥当性と、記録した第１の情報とに基づいて、テスト対象コード内のそれぞれの命令文の、バグの原因である可能性の高さを示す第１の疑惑値を算出する。解析部４０４は、判定した妥当性と、記録した第１の情報と、記録した第２の情報とに基づいて、テスト対象コード内のそれぞれの命令文の、バグの原因である可能性の高さを示す第２の疑惑値を算出する。解析部４０４は、テスト対象コード内のそれぞれの命令文に対応付けて、算出した第１の疑惑値と、算出した第２の疑惑値とを記録する。これにより、解析部４０４は、バグ局所化を実現し、開発者が、バグとなる箇所を絞り込み易くすることができる。

解析部４０４は、算出した第１の疑惑値と、算出した第２の疑惑値とに基づいて、テスト対象コード内のそれぞれの命令文を識別する情報をソートしてもよい。これにより、解析部４０４は、バグ局所化を実現し、開発者が、バグとなる箇所を絞り込み易くすることができる。

出力部４０５は、いずれかの機能部の処理結果を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、ネットワークＩ／Ｆ３０３による外部装置への送信、または、メモリ３０２や記録媒体３０５などの記憶領域への記憶である。これにより、出力部４０５は、いずれかの機能部の処理結果を利用者に通知可能にし、テスト実行装置１００の利便性の向上を図ることができる。

出力部４０５は、例えば、テスト対象コード内のそれぞれの命令文に対応付けて、算出した第１の疑惑値を出力する。これにより、出力部４０５は、第１の疑惑値を、開発者が参照可能にすることができる。出力部４０５は、算出した第１の疑惑値に基づいて、テスト対象コード内のそれぞれの命令文を識別する情報をソートした結果を出力する。これにより、出力部４０５は、ソートした結果を、開発者が参照可能にすることができる。

出力部４０５は、テスト対象コード内のそれぞれの命令文に対応付けて、算出した第２の疑惑値を出力する。これにより、出力部４０５は、第１の疑惑値と、第２の疑惑値とを、開発者が参照可能にすることができる。解析部４０４は、算出した第１の疑惑値と、算出した第２の疑惑値とに基づいて、テスト対象コード内のそれぞれの命令文を識別する情報をソートした結果を出力する。これにより、出力部４０５は、ソートした結果を、開発者が参照可能にすることができる。

（テスト実行装置１００の具体的な機能的構成例）
次に、図５を用いて、テスト実行装置１００の具体的な機能的構成例について説明する。

図５は、テスト実行装置１００の具体的な機能的構成例を示すブロック図である。テスト実行装置１００は、本体プログラム５０１と、テストプログラム５０２とを有する。図中のＰＲＧは、プログラムを意味する。テスト実行装置１００は、ロギング命令埋込部５１１と、テスト対象ロジック特定部５２１と、ロギング制御命令埋込部５３１と、テスト実行＆カバレッジ記録部５４１と、疑惑値算出部５５１とを含む。

ロギング命令埋込部５１１は、本体プログラム５０１を取得する。ロギング命令埋込部５１１は、本体プログラム５０１内のそれぞれの命令文に対応付けて、本体プログラム５０１内にロギング命令を埋め込み、ロギング命令が埋め込まれた本体プログラム５１２を出力する。ロギング命令は、本体プログラム５０１内の命令文に対応付けられ、本体プログラム５０１内の当該命令文が実行されたことに応じて、本体プログラム５０１内の当該命令文が実行されたことの通知を出力する処理内容を規定する。

テスト対象ロジック特定部５２１は、本体プログラム５０１と、テストプログラム５０２とを取得する。テスト対象ロジック特定部５２１は、本体プログラム５０１と、テストプログラム５０２とに基づいて、テスト対象ロジックを特定し、テスト対象ロジック特定結果５２２を出力する。テスト対象ロジックは、本体プログラム５０１内のクラスやメソッドなどの命令文群を呼び出して実行する、テストプログラム５０２内の箇所である。テスト対象ロジックは、命令文群をテスト実行用に呼び出す呼出命令文に対応する。以下の説明では、テストプログラム５０２内の、テスト対象ロジック以外の箇所を、「テスト対象外ロジック」と表記する場合がある。

ロギング制御命令埋込部５３１は、テスト対象ロジック特定結果５２２に基づいて、テストプログラム５０２内のそれぞれのテスト対象ロジックに対応付けて、テストプログラム５０２内にロギング制御命令を埋め込む。ロギング制御命令は、ロギング命令を制御する処理内容を規定する。ロギング制御命令は、例えば、本体プログラム５１２内の命令文が、テスト対象ロジックとして実行されたか、または、テスト対象外ロジックとして実行されたかを区別し、ロギング命令が通知を出力するように制御する処理内容を規定する。ロギング制御命令埋込部５３１は、ロギング制御命令が埋め込まれたテストプログラム５３２を出力する。

テスト実行＆カバレッジ記録部５４１は、テストプログラム５３２を実行し、外部制御機能付きのカバレッジ記録ロガープログラム５４０により、カバレッジ情報５４２を記録する。カバレッジ情報５４２は、テスト成否＆テスト対象ロジック・テスト対象外ロジックを区別可能に、テストにおいて実行された命令文を記録する。テスト成否とは、テスト実行結果が妥当であるか否かを意味する。疑惑値算出部５５１は、カバレッジ情報５４２に基づいて、テスト対象ロジック・テスト対象外ロジックを区別し、命令文ごとの疑惑値を算出し、疑惑行ランキング表５５２を出力する。疑惑行ランキング表５５２は、疑惑値の高い順に、命令文となる本体プログラム５１２の行をソートし、当該命令文の疑惑値を対応付けて示した表である。

（テスト実行装置１００の動作の流れ）
次に、図６および図７を用いて、テスト実行装置１００の動作の流れについて説明する。まず、図６を用いて、テスト実行装置１００が、テストプログラム内のテスト対象ロジックを特定する流れについて説明する。

図６は、テスト対象ロジックを特定する流れを示す説明図である。図６において、テスト実行装置１００は、テストプログラム６０１と、本体プログラム６０２とを取得する。

テストプログラム６０１は、オブジェクト指向言語により記述され、例えば、Ｊａｖａ言語により記述される。例えば、テストプログラム６０１は、１以上のパッケージにより形成され、パッケージは、１以上のクラスにより形成され、クラスは、１以上のメソッドにより形成される。

本体プログラム６０２は、オブジェクト指向言語により記述され、例えば、Ｊａｖａ言語により記述される。例えば、本体プログラム６０２は、１以上のパッケージにより形成され、パッケージは、１以上のクラスにより形成され、クラスは、１以上のメソッドにより形成される。

テスト実行装置１００は、テストプログラム６０１と、本体プログラム６０２とをテキスト解析し、メソッド名の類似性と、クラス名の類似性と、パッケージ位置の近似性とに基づいて、テスト対象ロジックを特定する。

ここで、例えば、開発者は、テストプログラム６０１を開発する際、可読性や開発規則などを考慮し、テストプログラム６０１内のメソッドに付与するメソッド名を決定する傾向がある。以下の説明では、上記傾向を「第１の傾向」と表記する場合がある。

具体的には、開発者は、テストを実行するテストプログラム６０１内のメソッドには、当該テストにより確認したい内容を表現する名称を付与する傾向がある。また、具体的には、開発者は、本体プログラム６０２内の第１のメソッドに対し、テストを実行するように記述したテストプログラム６０１内の第２のメソッドには、当該第１のメソッドと比較的類似したメソッド名を付与する傾向がある。より具体的には、開発者は、第１のメソッドが、メソッド名「Ａｄｄ」であれば、第２のメソッドには、「ＴｅｓｔＡｄｄ」のようなメソッド名を付与する傾向がある。

同様に、例えば、開発者は、テストプログラム６０１を開発する際、可読性や開発規則などを考慮し、テストプログラム６０１内のクラスに付与するクラス名を決定する傾向がある。以下の説明では、上記傾向を「第２の傾向」と表記する場合がある。

具体的には、開発者は、テストプログラム６０１内のクラスには、テストにより確認したい内容を表現する名称を付与する傾向がある。また、具体的には、開発者は、本体プログラム６０２内の第１のクラスに対し、テストを実行するように記述したテストプログラム６０１内の第２のクラスには、当該第１のクラスと比較的類似したクラス名を付与する傾向がある。より具体的には、開発者は、第１のクラスが、クラス名「Ａｄｄ」であれば、第２のクラスには、「ＴｅｓｔＡｄｄ」のようなクラス名を付与する傾向がある。

また、例えば、開発者は、テストプログラム６０１を開発する際、可読性や開発規則などを考慮し、パッケージを論理的に意味がある単位で区切っており、テストプログラム６０１のパッケージが存在するパッケージ位置を決定する傾向がある。以下の説明では、上記傾向を「第３の傾向」と表記する場合がある。パッケージ位置は、例えば、コンピュータ内の記憶領域のアドレスである。具体的には、開発者は、本体プログラム６０２内の第１のパッケージに対し、テストを実行するように記述したテストプログラム６０１内の第２のパッケージを、当該第１のパッケージと比較的近似したパッケージ位置に配置する傾向がある。

テスト実行装置１００は、例えば、第１の傾向と、第２の傾向と、第３の傾向とを考慮し、メソッド名の類似性と、クラス名の類似性と、パッケージ位置の近似性とに基づいて、テスト対象ロジックを特定する。

テスト実行装置１００は、具体的には、テストプログラム６０１内で、本体プログラム６０２内の命令文群を呼び出すテスト対象ロジックの候補を検出する。次に、テスト実行装置１００は、検出した候補のうち、呼び出す命令文群との間で、メソッド名に関する第１の類似度が、第１の閾値以上である候補を抽出する。第１の類似度は、例えば、候補を含むメソッドに対応するメソッド名と、呼び出す命令文群を含むメソッドに対応するメソッド名とのＪａｃｃａｒｄ係数値である。

また、テスト実行装置１００は、抽出した候補のうち、呼び出す命令文群との間で、クラス名に関する第２の類似度が、第２の閾値以上である候補をさらに抽出する。第２の類似度は、例えば、候補を含むクラスに対応するクラス名と、呼び出す命令文群を含むクラスに対応するクラス名とのＪａｃｃａｒｄ係数値である。

候補を含むクラスに対応するクラス名とは、候補を含むクラスに付与されたクラス名の他、候補を含むクラスの祖先または子孫であるクラスに付与されたクラス名などを用いてもよい。呼び出す命令文群を含むクラスに対応するクラス名とは、呼び出す命令文群を含むクラスに付与されたクラス名の他、呼び出す命令文群を含むクラスの祖先または子孫であるクラスに付与されたクラス名などを用いてもよい。

また、テスト実行装置１００は、抽出した候補のうち、呼び出す命令文群との間で、パッケージ位置に関する近似度が、第３の閾値以上である候補をさらに抽出する。近似度は、例えば、候補を含むパッケージに対応するパッケージ位置と、呼び出す命令文群を含むパッケージに対応するパッケージ位置との近さを表す。

呼び出す命令文群を含むパッケージに対応するパッケージ位置とは、呼び出す命令文群を含むパッケージが存在するパッケージ位置の他、呼び出す命令文群を含むクラスの祖先クラスまたは子孫クラスを含むパッケージが存在するパッケージ位置などを用いてもよい。

テスト実行装置１００は、抽出した候補を、テスト対象ロジックに決定する。図６の例では、テスト実行装置１００は、ｔｅｓｔＡｄｄ（）やｔｅｓｔＧｅｔＦｒｏｍＥｍｐｔｙＬｉｓｔなどを、テスト対象ロジックに決定する。次に、図７を用いて、テスト実行装置１００が、カバレッジ情報を記録する流れについて説明する。

図７は、カバレッジ情報を記録する流れを示す説明図である。図７において、テスト実行装置１００は、ロガー７００を有する。ロガー７００は、ロギング命令により出力された通知に基づいて、カバレッジ情報を記録するプログラムである。カバレッジ情報は、いずれのテストの実行時に、いずれの命令文が実行されたかを、識別可能に記録する。

ここで、テスト実行装置１００は、テスト対象ロジックを区別し、テスト対象ロジックの開始と、テスト対象ロジックの終了とを、ロガー７００に通知し、通知に応じて、ロガー７００にカバレッジ情報を記録する記録方法を切り替えさせる。ここで、ロガー７００は、テスト対象ロジックの開始の通知から、テスト対象ロジックの終了の通知までの間、ロギング命令により出力された通知を、テスト対象ロジックとして実行された命令文に関する通知であり、有用であるとして、カバレッジ情報に記録する。

一方で、ロガー７００は、テスト対象ロジックの開始の通知を受ける前、ロギング命令により出力された通知を、テスト対象外ロジックとして実行された命令文に関する通知であり、バグ局所化にあたりノイズであるとして、カバレッジ情報に記録する。また、ロガー７００は、テスト対象ロジックの終了の通知を受けた後、ロギング命令により出力された通知を、テスト対象外ロジックとして実行された命令文に関する通知であり、バグ局所化にあたりノイズであるとして、カバレッジ情報に記録する。

これにより、テスト実行装置１００は、テスト対象ロジック内で実行された命令文と、テスト対象外ロジック内で実行された命令文とを区別しながら、カバレッジ情報を記録することができる。このため、テスト実行装置１００は、バグ局所化にあたり有用な情報と、ノイズとなる情報とを切り分けてカバレッジ情報を記録することができ、疑惑値を算出する精度を向上可能にすることができる。結果として、テスト実行装置１００は、開発者が、バグの原因となる命令文を絞り込み易くすることができる。

（テスト実行装置１００の動作の一例）
次に、図８〜図２２を用いて、テスト実行装置１００の動作の一例について説明する。まず、図８を用いて、本体プログラム８１０とテストプログラム８００との一例について説明する。

図８は、本体プログラム８１０とテストプログラム８００との一例を示す説明図である。図８において、テストプログラム８００は、オブジェクト指向言語により記述され、例えば、Ｊａｖａ言語により記述される。テストプログラム８００は、１以上のパッケージにより形成され、パッケージは、１以上のクラスにより形成され、クラスは、１以上のメソッドにより形成される。

テストプログラム８００は、例えば、本体プログラム８１０内の命令文群８１１，８１２などを、テスト実行用に、または、テスト準備用やテスト検証用などに呼び出す。命令文群８１１，８１２などは、さらに、本体プログラム８１０内の命令文群８１３などを呼び出してもよい。本体プログラム８１０は、オブジェクト指向言語により記述され、例えば、Ｊａｖａ言語により記述される。本体プログラム８１０は、１以上のパッケージにより形成され、パッケージは、１以上のクラスにより形成され、クラスは、１以上のメソッドにより形成される。

図８の例では、「ｔｅｓｔ」を接頭辞とするメソッド１つが、テスト１つに対応する。他のメソッドは、例えば、処理共通化のための補助メソッドである。また、図８の例では、テストプログラム８００内の太字部分が、テストプログラム８００内のテスト対象ロジックに対応する。具体的には、メソッド「ＬｉｓｔＴｅｓｔ＃ｔｅｓｔＡｄｄＡｎｄＧｅｔ」内のテスト対象ロジックは、「ＩＬｉｓｔ＃ａｄｄ」と「ＩＬｉｓｔ＃ｇｅｔ」と「ＩＬｉｓｔ＃ｇｅｔＦｉｒｓｔ」の３つである。

また、図８の例では、テストプログラム８００で呼び出されているメソッドは、ｃｒｅａｔｅＬｉｓｔ（）とａｓｓｅｒｔＥｑｕａｌ（）と以外、本体プログラム８１０内に定義されている。例えば、ｉｎｆｏ（）とｇｅｔＶａｌ（）とｃｒｅａｔｅ（）となどは、本体プログラム８１０内に定義されている。ｃｒｅａｔｅＬｉｓｔ（）は、処理共通化のための補助メソッドであり、テストプログラム８００内に定義され、具体的には、ＬｉｓｔＴｅｓｔ内に定義されているとする。「ａｓｓｅｒｔ」を接頭辞とするメソッドは、値の検証のための補助メソッドであり、テストプログラム８００内に定義され、具体的には、ＬｉｓｔＴｅｓｔ以外のクラス内に定義されているとする。

以下の説明で、「ｓｓｓ．ｔｔｔ．ｕｕｕ．ＡＡＡ＃ｘｘｘ」との表記がある場合、ｓｓｓ．ｔｔｔ．ｕｕｕが、パッケージ名を表し、ＡＡＡが、クラス名を表し、ｘｘｘが、メソッド名を表す。また、「ＡＡＡ：ｎｎＬ」との表記がある場合、ＡＡＡが、クラス名を表し、ｎｎが、行数を表す。

次に、図９〜図１３を用いて、テスト実行装置１００が、テスト対象ロジックを特定する一例について説明する。具体的には、テスト実行装置１００が、テスト対象ロジックとして、「ＩＬｉｓｔ＃ａｄｄ」と「ＩＬｉｓｔ＃ｇｅｔ」と「ＩＬｉｓｔ＃ｇｅｔＦｉｒｓｔ」の３つを特定する一例について説明する。以下の説明では、主に、メソッド「ＬｉｓｔＴｅｓｔ＃ｔｅｓｔＡｄｄＡｎｄＧｅｔ」を一例として説明する。

図９〜図１３は、テスト対象ロジックを特定する一例を示す説明図である。図９において、テスト実行装置１００は、テスト対象ロジックの候補を抽出する。テスト実行装置１００は、例えば、テストプログラム８００内のテストメソッドごとに、呼出関係を解析する。そして、テスト実行装置１００は、解析した結果に基づいて、テストプログラム８００内に記述され、テストプログラム８００から呼び出されている本体プログラム８１０内のメソッドを、テスト対象ロジックの候補として抽出する。

ここで、ｃｒｅａｔｅＬｉｓｔ、および、ａｓｓｅｒｔを接頭辞とするメソッドは、テストプログラム８００内に定義されており、抽出されない。また、テストメソッド「ｔｅｓｔＡｄｄＡｎｄＧｅｔ」から直接呼び出されているメソッド以外に、ｃｒｅａｔｅＬｉｓｔなどの非公開メソッドを辿って呼び出されるメソッドも、候補として抽出される。テスト実行装置１００は、抽出した候補を、表９００を用いて記憶する。次に、図１０の説明に移行する。

図１０において、テスト実行装置１００は、表９００のそれぞれの候補について、テストメソッドとのメソッド名に関する第１の類似度を算出する。表９００のそれぞれの候補の左に記載した括弧内の数字は、算出された第１の類似度である。テスト実行装置１００は、表９００の候補のうち、算出した第１の類似度が閾値Ｔ_ms以上である候補を抽出し、表１０００を用いて記憶する。

テスト実行装置１００は、例えば、メソッド名を形成する単語集合に対し、Ｊａｃｃａｒｄ係数値を算出し、第１の類似度に設定する。この際、テスト実行装置１００は、メソッド名の先頭または末尾の「ｔｅｓｔ」の単語を除去して、第１の類似度を算出してもよい。

図１０の例では、テスト実行装置１００は、「ｔｅｓｔＡｄｄＡｎｄＧｅｔ」を形成する単語集合Ｔ１＝｛ａｄｄ，ａｎｄ，ｇｅｔ｝と、「ｇｅｔＦｉｒｓｔ」を形成する単語集合Ｔ２＝｛ｇｅｔ，ｆｉｒｓｔ｝とを特定する。そして、テスト実行装置１００は、「ｔｅｓｔＡｄｄＡｎｄＧｅｔ」と「ｇｅｔＦｉｒｓｔ」の第１の類似度として、Ｊ（Ｔ１，Ｔ２）＝｜Ｔ１∩Ｔ２｜／｜Ｔ１∪Ｔ２｜＝（１／４）を算出する。次に、図１１の説明に移行する。

図１１において、テスト実行装置１００は、表１０００のそれぞれの候補について、テストクラスとのクラス名に関する第２の類似度を算出する。表１０００のそれぞれの候補の左に記載した括弧内の数字は、算出された第２の類似度である。テスト実行装置１００は、表１０００の候補のうち、算出した第２の類似度が閾値Ｔ_cs以上である候補を抽出し、表１１００を用いて記憶する。

テスト実行装置１００は、例えば、クラス名を形成する単語集合に対し、Ｊａｃｃａｒｄ係数値を算出し、第２の類似度に設定する。この際、テスト実行装置１００は、テストクラス「ＸＸＸ」と、候補を含むクラス「ＡＡＡ」との第２の類似度として、「ＡＡＡ」の祖先クラスおよび子孫クラスのそれぞれの、「ＸＸＸ」とのクラス名に関する類似度のうち、最大の類似度を採用してもよい。この際、テスト実行装置１００は、クラス名の先頭または末尾の「ｔｅｓｔ」の単語を除去して、第２の類似度を算出してもよい。

図１１の例では、テスト実行装置１００は、候補を直接含むクラス「ＩＬｉｓｔ」と、テストクラス「ＬｉｓｔＴｅｓｔ」との類似度（１／２）を算出する。また、テスト実行装置１００は、候補を直接含むクラス「ＩＬｉｓｔ」の祖先クラスおよび子孫クラスとして、「ＩＣｏｌｌｅｃｔｉｏｎ」、「Ｌｉｓｔ」、「ＬｉｎｋｅｄＬｉｓｔ」などを特定する。テスト実行装置１００は、特定した「ＩＣｏｌｌｅｃｔｉｏｎ」、「Ｌｉｓｔ」、「ＬｉｎｋｅｄＬｉｓｔ」などと、テストクラス「ＬｉｓｔＴｅｓｔ」との類似度（０）、（１）、（１／２）などを算出する。そして、テスト実行装置１００は、第２の類似度として（１）を採用する。次に、図１２の説明に移行する。

図１２において、テスト実行装置１００は、表１１００のそれぞれの候補について、パッケージ位置に関する近似度を算出する。パッケージ位置は、例えば、階層構造である。表１１００のそれぞれの候補の左に記載した括弧内の数字は、算出された近似度である。テスト実行装置１００は、表１１００の候補のうち、算出した近似度が閾値Ｔ_pn以上である候補を抽出し、表１２００を用いて記憶する。

ここで、階層構造をディレクトリ構造として扱い、パッケージＰ１からパッケージＰ２へと移動するためのディレクトリ移動回数をｄとする。テスト実行装置１００は、例えば、パッケージＰ１とパッケージＰ２との近似度として、Ｎ（Ｐ１，Ｐ２）＝１／（１＋ｄ）を算出する。テスト実行装置１００は、具体的には、パッケージ「ｘｘｘ．ｙｙｙ」とパッケージ「ｘｘｘ．ａａａ．ｂｂｂ」との近似度を算出する際、「／ｘｘｘ／ｙｙｙ」と「／ｘｘｘ／ａａａ／ｂｂｂ」とのディレクトリ移動回数ｄ＝３を算出し、近似度１／４を算出する。

図１２の例では、テスト実行装置１００は、候補を直接含むパッケージ「ｘｘｘ．ｕｔｉｌ．ｌｉｓｔ．ＩＬｉｓｔ」と、テストクラスを含むパッケージ「ｘｘｘ．ｕｔｉｌ．ｌｉｓｔ．ｉｍｐｌ．ＬｉｓｔＴｅｓｔ」との近似度（１／２）を算出する。

また、テスト実行装置１００は、候補を直接含むクラスの祖先クラスおよび子孫クラスを含むパッケージを特定する。祖先クラスおよび子孫クラスは、例えば、「ｘｘｘ．ｕｔｉｌ．ＩＣｏｌｌｅｃｔｉｏｎ」、「ｘｘｘ．ｕｔｉｌ．ｌｉｓｔ．ｉｍｐｌ．Ｌｉｓｔ」、「ｘｘｘ．ｕｔｉｌ．ｌｉｓｔ．ｉｍｐｌ．ＬｉｎｋｅｄＬｉｓｔ」などである。テスト実行装置１００は、特定したパッケージと、テストクラスを含むパッケージ「ｘｘｘ．ｕｔｉｌ．ｌｉｓｔ．ｉｍｐｌ．ＬｉｓｔＴｅｓｔ」との近似度（１／３）、（１）、（１）などを算出する。そして、テスト実行装置１００は、近似度として（１）を採用する。次に、図１３の説明に移行する。

図１３において、テスト実行装置１００は、それぞれのテストメソッドに対し、近似度が閾値Ｔ_pn以上として抽出された候補を、テスト対象ロジックとして、表１３００を用いて記憶する。次に、図１４〜図１９を用いて、テスト実行装置１００が、カバレッジ情報を記録する一例について説明する。具体的には、テスト実行装置１００が、テスト対象ロジックに応じて命令文を実行中であるか否かを区別し、カバレッジ情報を記録する一例について説明する。

図１４〜図１９は、カバレッジ情報を記録する一例を示す説明図である。図１４において、テスト実行装置１００は、テストプログラム８００内に、ロギング制御命令を埋め込む。図１４の例では、テストプログラム８００内の太字部分が、埋め込んだロギング制御命令である。以下の説明では、埋込後のテストプログラム８００を「テストプログラム１４００」と表記する場合がある。

Ｌｏｇｇｅｒ．ｔｅｓｔＳｔａｒｔ（“テストメソッド名”）は、テストメソッド名と共に、テストの開始の通知をロガーに出力することを規定する。Ｌｏｇｇｅｒ．ｔｅｓｔＥｎｄ（“テストメソッド名”）は、テストメソッド名と共に、テストの終了の通知をロガーに出力することを規定する。

Ｌｏｇｇｅｒ．ＬｏｇｉｃＳｔａｒｔ（“テストメソッド名”）は、テストメソッド名と共に、テスト対象ロジックの開始の通知をロガーに出力することを規定する。テスト対象ロジックが、複数のテストで用いられる場合、括弧内の“テストメソッド名”は、複数あってもよい。Ｌｏｇｇｅｒ．ＬｏｇｉｃＥｎｄ（“テストメソッド名”）は、テストメソッド名と共に、テスト対象ロジックの終了の通知をロガーに出力することを規定する。テスト対象ロジックが、複数のテストで用いられる場合、括弧内の“テストメソッド名”は、複数あってもよい。

これにより、テスト実行装置１００は、ロガーが、テスト対象ロジックが実行中であるか否かを把握可能にすることができ、バグ局所化にあたり有用な情報と、ノイズとなる情報とを切り分ける基準を取得可能にすることができる。次に、図１５の説明に移行する。

図１５において、テスト実行装置１００は、本体プログラム８１０内に、ロギング命令を埋め込む。図１５の例では、本体プログラム８１０内の太字部分が、埋め込んだロギング命令である。Ｌｏｇｇｅｒ．Ｌｏｇ（“クラス名：行数”）は、クラス名と共に、本体プログラム８１０内の当該クラス名のクラス内にあり、テストにおいて実行された命令文を示す行数の通知をロガーに出力することを規定する。以下の説明では、埋込後の本体プログラム８１０を「本体プログラム１５００」と表記する場合がある。

これにより、テスト実行装置１００は、ロガーが、テストの実行時に、本体プログラム１５００内のいずれのクラス内のいずれの命令文が実行されたかを把握可能にすることができ、バグ局所化のためのカバレッジ情報を収集可能にすることができる。

以上より、ロガーは、テスト対象ロジックとして本体プログラム１５００内の命令文が実行されたのか、または、テスト対象外ロジックとして本体プログラム１５００内の命令文が実行されたのかを区別して、カバレッジ情報を記録可能になる。次に、図１６の説明に移行する。

図１６において、テスト実行装置１００は、ロギング制御命令を埋め込んだテストプログラム１４００を実行する。テスト実行装置１００は、テストプログラム１４００の実行時、ロガーにより、カバレッジ情報を記録する。ロガーは、テストプログラム１４００の実行時、Ｌｏｇｇｅｒ．Ｌｏｇ（“クラス名：行数”）により通知されたクラス名と行数とを、テスト対象ロジックが実行中であるか否かに応じて、有用またはノイズを示すフラグと対応付けて、カバレッジ情報に記録する。

図１６の例では、ロガーは、テスト対象ロジック「ｔｅｓｔＡｄｄＧｅｔ」や「ｔｅｓｔＡｄｄＡｌｌ」が実行中に、「Ｌｉｓｔ：１２Ｌ」の通知を受け付けた場合、「Ｌｉｓｔ：１２Ｌ」を、有用を示すフラグと対応付けて、カバレッジ情報に記録する。一方で、ロガーは、テスト対象外ロジックが実行中に、「Ｌｉｓｔ：１２Ｌ」の通知を受け付けた場合、「Ｌｉｓｔ：１２Ｌ」を、ノイズを示すフラグと対応付けて、カバレッジ情報に記録する。

これにより、テスト実行装置１００は、ロガーにより、バグ局所化にあたり有用な情報と、ノイズとなる情報とを切り分けて、カバレッジ情報を記録することができる。このため、テスト実行装置１００は、カバレッジ情報に基づいて、疑惑値を算出する精度を向上可能にすることができ、バグ局所化の精度を向上可能にすることができる。次に、図１７〜図１９の説明に移行し、テスト実行装置１００が、ロギング制御命令を埋め込んだテストプログラム１４００を実行し、カバレッジ情報を記録する具体例について説明する。

図１７において、テスト実行装置１００は、テストプログラム１４００内の０３番の行を実行後、ロギング制御命令Ｌｏｇｇｅｒ．ｔｅｓｔＳｔａｒｔ（“ｔｅｓｔＡｄｄＡｎｄＧｅｔ”）を実行する。テスト実行装置１００は、実行したロギング制御命令により、ロガーに、テストメソッドのメソッド名「ｔｅｓｔＡｄｄＡｎｄＧｅｔ」と共に、テストメソッドの開始の通知を出力する。

ここで、ロガーは、入力された通知に基づいて、メソッド名「ｔｅｓｔＡｄｄＡｎｄＧｅｔ」のテストメソッドの開始を認識するが、テスト対象ロジックの開始の通知がまだないため、テスト対象ロジックが実行中ではないと認識する。

次に、テスト実行装置１００は、テストプログラム１４００内の０４番の行を実行し、本体プログラム１５００内のＤａｔｅ｛・・・｝内のｇｅｔ（）｛・・・｝を呼び出し、ｇｅｔ（）｛・・・｝内の命令文を実行する。この際、テスト実行装置１００は、例えば、ロギング命令Ｌｏｇｇｅｒ．Ｌｏｇ（“Ｄａｔｅ：３８Ｌ”）により、ロガーに、クラス名「Ｄａｔｅ」と行「３８Ｌ」とを対応付けた通知を出力する。この通知は、クラス名「Ｄａｔｅ」のクラス内の行「３８Ｌ」にある命令文が実行されたことを意味する。

ここで、ロガーは、テスト対象ロジックが実行中ではないと認識しており、今回実行された命令文は、テストにより処理内容を確認したい命令文ではなく、今回実行された命令文に関するカバレッジ情報は、バグ局所化にあたりノイズとなると判断する。このため、ロガーは、通知されたクラス名「Ｄａｔｅ」と行「３８Ｌ」との通知を、ノイズのフラグと対応付けて、カバレッジ情報に記録する。ノイズのフラグは、例えば、図２０に後述する△である。次に、図１８の説明に移行する。

図１８において、テスト実行装置１００は、テストプログラム１４００内の０５番の行を実行し、１１番の行に移行する。テスト実行装置１００は、テストプログラム１４００内の１１番の行を実行し、１２番の行を実行後、ロギング制御命令Ｌｏｇｇｅｒ．ＬｏｇｉｃＳｔａｒｔ（“ｔｅｓｔＡｄｄＡｎｄＧｅｔ”，“ｔｅｓｔＡｄｄＡＬＬ”）を実行する。テスト実行装置１００は、実行したロギング制御命令により、ロガーに、テストメソッドのメソッド名と共に、テスト対象ロジックの開始の通知を出力する。

ここで、ロガーは、テスト対象ロジックの開始の通知があったため、メソッド名「ｔｅｓｔＡｄｄＡｎｄＧｅｔ」のテストメソッドの実行中であり、かつ、テスト対象ロジックが実行中であると認識する。

次に、テスト実行装置１００は、テストプログラム１４００内の１３番の行を実行し、本体プログラム１５００内のＬｉｓｔ ｉｍｐｌｅｍｅｎｔｓ ＩＬｉｓｔ｛・・・｝内のａｄｄ（ＩＥｌｅｍｅｎｔ ｅ）｛・・・｝を呼び出す。テスト実行装置１００は、呼び出したａｄｄ（ＩＥｌｅｍｅｎｔ ｅ）｛・・・｝内の命令文を実行する。この際、テスト実行装置１００は、例えば、ロギング命令Ｌｏｇｇｅｒ．Ｌｏｇ（“Ｌｉｓｔ：１２Ｌ”）により、ロガーに、クラス名「Ｌｉｓｔ」と行「１２Ｌ」とを対応付けた通知を出力する。この通知は、クラス名「Ｌｉｓｔ」のクラス内の行「１２Ｌ」にある命令文が実行されたことを意味する。

ここで、ロガーは、テスト対象ロジックが実行中であると認識しており、今回実行された命令文は、テストにより処理内容を確認したい命令文であり、今回実行された命令文に関するカバレッジ情報は、バグ局所化にあたり有用であると判断する。このため、ロガーは、通知されたクラス名「Ｌｉｓｔ」と行「１２Ｌ」との通知を、有用を示すフラグと対応付けて、カバレッジ情報に記録する。有用を示すフラグは、例えば、図２０に後述する○である。次に、図１９の説明に移行する。

図１９において、テスト実行装置１００は、テストプログラム１４００内の１３番の行の次に記述された、ロギング制御命令Ｌｏｇｇｅｒ．ＬｏｇｉｃＥｎｄ（“ｔｅｓｔＡｄｄＡｎｄＧｅｔ”，“ｔｅｓｔＡｄｄＡＬＬ”）を実行する。テスト実行装置１００は、実行したロギング制御命令により、ロガーに、テストメソッドのメソッド名と共に、テスト対象ロジックの終了の通知を出力する。

ここで、ロガーは、テスト対象ロジックの終了の通知があったため、メソッド名「ｔｅｓｔＡｄｄＡｎｄＧｅｔ」のテストメソッドの実行中であるが、テスト対象ロジックが実行中ではなくなったと認識する。

次に、テスト実行装置１００は、テストプログラム１４００内の０５番の行の次に記述された、ロギング制御命令Ｌｏｇｇｅｒ．ＬｏｇｉｃＳｔａｒｔ（“ｔｅｓｔＡｄｄＡｎｄＧｅｔ”）を実行する。テスト実行装置１００は、実行したロギング制御命令により、ロガーに、テストメソッドのメソッド名と共に、テスト対象ロジックの開始の通知を出力する。

ここで、ロガーは、テスト対象ロジックの開始の通知があったため、メソッド名「ｔｅｓｔＡｄｄＡｎｄＧｅｔ」のテストメソッドの実行中であり、かつ、テスト対象ロジックが実行中であると認識する。同様に、テスト実行装置１００は、テストプログラム１４００内の行を順に実行していく。

そして、テスト実行装置１００は、テストプログラム１４００内の０９番の行を実行後、ロギング制御命令Ｌｏｇｇｅｒ．ｔｅｓｔＥｎｄ（“ｔｅｓｔＡｄｄＡｎｄＧｅｔ”）を実行する。テスト実行装置１００は、実行したロギング制御命令により、ロガーに、テストメソッドのメソッド名「ｔｅｓｔＡｄｄＡｎｄＧｅｔ」と共に、テストメソッドの終了の通知を出力する。

ここで、ロガーは、入力された通知に基づいて、メソッド名「ｔｅｓｔＡｄｄＡｎｄＧｅｔ」のテストメソッドの終了を認識する。これにより、テスト実行装置１００は、テストプログラム１４００を実行し、ロガーは、バグ局所化にあたり有用な情報と、ノイズとなる情報とを切り分けながら、カバレッジ情報を記録していくことができる。次に、図２０〜図２２を用いて、テスト実行装置１００が、記録されたカバレッジ情報に基づいて、ランキング表２２００を生成する一例について説明する。

図２０〜図２２は、ランキング表２２００を生成する一例を示す説明図である。図２０において、テスト実行装置１００は、テストメソッドごとに、テストメソッドの実行結果の妥当性と、それぞれの行位置にある命令文について記録したカバレッジ情報とを纏めた表２０００を生成する。

妥当性は、成功または失敗である。成功は、テストメソッドの処理内容が意図通りであることを示す。失敗は、テストメソッドの処理内容が意図通りではないことを示す。○は、命令文が、テスト対象ロジックとして実行され、有用と判断されたことを示す。△は、命令文が、テスト対象外ロジックとして実行され、ノイズと判断されたことを示す。×は、命令文が実行されなかったことを示す。次に、図２１の説明に移行する。

図２１において、テスト実行装置１００は、表２０００の△を×に置き換えた表２１１０を生成する。テスト実行装置１００は、表２１１０に基づいて、行位置ごとの疑惑値を算出する。行位置の疑惑値は、例えば、行位置にある命令文が、テストメソッドの実行結果が「失敗」である場合に実行された回数が多いほど、値が大きくなるように算出される。実行された回数は、表２１１０において、実行結果が「失敗」のテストメソッドに対応付けられた○の数により算出される。

そして、テスト実行装置１００は、算出した疑惑値が閾値Ｔ_susp以上の行位置を抽出し、算出した疑惑値が大きい順に抽出した行位置をソートした結果Ａを、表２１１１を用いて記憶する。これにより、テスト実行装置１００は、バグの原因となる箇所である可能性が比較的高いと判断した行位置を、開発者が参照可能にすることができる。

また、テスト実行装置１００は、表２０００の△を○に置き換えた表２１２０を生成する。テスト実行装置１００は、表２１２０に基づいて、行位置ごとの疑惑値を算出する。行位置の疑惑値は、例えば、行位置にある命令文が、テストメソッドの実行結果が「失敗」である場合に実行された回数が多いほど、値が大きくなるように算出される。実行された回数は、表２１２０において、実行結果が「失敗」のテストメソッドに対応付けられた○の数により算出される。

そして、テスト実行装置１００は、算出した疑惑値が閾値Ｔ_susp以上の行位置を抽出し、算出した疑惑値が大きい順に抽出した行位置をソートした結果Ｂを、表２１２１を用いて記憶する。これにより、テスト実行装置１００は、少なくともバグの原因となる箇所である可能性があると判断した行位置を、開発者が参照可能にすることができる。次に、図２２の説明に移行する。

図２２において、テスト実行装置１００は、表２１１１の下部に、表２１２１を連結し、ランキング表２２００を生成して出力する。これにより、テスト実行装置１００は、ランキング表２２００を開発者が参照可能にすることができる。開発者は、ランキング表２２００を上位から参照すれば、△を×に置き換えたノイズ除去状態で精度よく算出された疑惑値に基づく、ランキング表２２００内の表２１１１の部分にある信頼性が比較的高い結果Ａを、結果Ｂよりも先に確認することができる。このため、開発者は、バグの原因となる箇所である可能性が比較的高いと判断された行位置から順に、バグの原因となる箇所であるか否かを検証することができ、バグの原因となる箇所を発見し易くすることができる。

一方で、開発者は、△を○に置き換えたノイズ非除去状態で算出された疑惑値に基づく、ランキング表２２００内の表２１２１の部分にある結果Ｂも確認することができる。このため、開発者は、バグの原因となる箇所を見落とす確率の低減化を図ることができる。

ここでは、テスト実行装置１００は、△を×に置き換えたノイズ除去状態で精度よく算出された疑惑値に基づく結果Ａと、△を○に置き換えたノイズ非除去状態で算出された疑惑値に基づく結果Ｂとを両方出力する場合について説明したが、これに限らない。例えば、テスト実行装置１００が、△を×に置き換えたノイズ除去状態でのみ、疑惑値を算出し、結果Ａだけを出力する場合があってもよい。

ここでは、テスト実行装置１００が、△を×に置き換えたノイズ除去状態で疑惑値を算出すると共に、△を○に置き換えたノイズ非除去状態でも疑惑値を算出する場合について説明したが、これに限らない。例えば、テスト実行装置１００が、○と△と×とに異なる重み付けを行い、１種類の疑惑値を算出する場合があってもよい。また、テスト実行装置１００が、△を×に置き換えたノイズ除去状態で算出した疑惑値と、△を○に置き換えたノイズ非除去状態で算出した疑惑値との重み付け和を算出し、新たな疑惑値を算出する場合があってもよい。

（全体処理手順）
次に、図２３を用いて、テスト実行装置１００が実行する、全体処理手順の一例について説明する。全体処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。

図２３は、全体処理手順の一例を示すフローチャートである。図２３において、テスト実行装置１００は、本体プログラム８１０内にロギング命令を埋め込む（ステップＳ２３０１）。

次に、テスト実行装置１００は、図２４に後述する特定処理を実行し、テストプログラム８００内のテスト対象ロジックを特定する（ステップＳ２３０２）。そして、テスト実行装置１００は、特定したテスト対象ロジックに基づいて、テストプログラム８００内にロギング制御命令を埋め込む（ステップＳ２３０３）。

次に、テスト実行装置１００は、図２５に後述する記録処理を実行し、テストプログラム８００を実行し、カバレッジ情報を記録する（ステップＳ２３０４）。そして、テスト実行装置１００は、カバレッジ情報に基づいて、本体プログラム８１０内の各命令文についての疑惑値を算出する（ステップＳ２３０５）。

次に、テスト実行装置１００は、算出した疑惑値が高い順に命令文をソートして示すランキング表を生成して出力する（ステップＳ２３０６）。この際、テスト実行装置１００は、疑惑値が閾値以上の命令文を選択的に、疑惑値が高い順にソートし、ランキング表を生成してもよい。そして、テスト実行装置１００は、全体処理を終了する。これにより、テスト実行装置１００は、疑惑値を精度よく算出することができ、算出した疑惑値に基づいて、開発者が、バグの原因となる箇所を絞り込み易くすることができる。

（特定処理手順）
次に、図２４を用いて、テスト実行装置１００が実行する、特定処理手順の一例について説明する。特定処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。

図２４は、特定処理手順の一例を示すフローチャートである。図２４において、テスト実行装置１００は、呼出関係を解析する（ステップＳ２４０１）。次に、テスト実行装置１００は、呼出関係を解析した結果に基づいて、テストプログラム８００から呼び出されている本体プログラム８１０内のメソッドを抽出し、テスト対象ロジックの候補を特定する（ステップＳ２４０２）。

そして、テスト実行装置１００は、メソッド名の類似性に基づいて、特定した候補をフィルタリングし、メソッド名の類似性に関する条件を満たす候補を抽出する（ステップＳ２４０３）。また、テスト実行装置１００は、クラス名の類似性に基づいて、抽出した候補をさらにフィルタリングし、クラス名の類似性に関する条件を満たす候補を抽出する（ステップＳ２４０４）。また、テスト実行装置１００は、パッケージの近似性に基づいて、抽出した候補をさらにフィルタリングし、パッケージの近似性に関する条件を満たす候補を抽出する（ステップＳ２４０５）。

次に、テスト実行装置１００は、抽出した候補を、テスト対象ロジックに特定する（ステップＳ２４０６）。そして、テスト実行装置１００は、特定処理を終了する。これにより、テスト実行装置１００は、バグ局所化にあたり有用な情報と、ノイズとなる情報とを切り分ける基準を得ることができる。

（記録処理手順）
次に、図２５を用いて、テスト実行装置１００が実行する、記録処理手順の一例について説明する。記録処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。

図２５は、記録処理手順の一例を示すフローチャートである。図２５において、テスト実行装置１００は、未処理のテストメソッドを選択する（ステップＳ２５０１）。

次に、テスト実行装置１００は、選択したテストメソッドのｉ行目の命令文を実行する（ステップＳ２５０２）。そして、テスト実行装置１００は、ｉ行目の命令文が、テスト対象ロジックとして実行されたか否かを判定する（ステップＳ２５０３）。

ここで、テスト対象ロジックとして実行されている場合（ステップＳ２５０３：Ｙｅｓ）、テスト実行装置１００は、ステップＳ２５０４の処理に移行する。一方で、テスト対象ロジック以外として実行されている場合（ステップＳ２５０３：Ｎｏ）、テスト実行装置１００は、ステップＳ２５０５の処理に移行する。

ステップＳ２５０４では、テスト実行装置１００は、ｉ行目の命令文と対応付けて、テスト対象ロジックとして実行されたことを示すカバレッジ情報を記録する（ステップＳ２５０４）。そして、テスト実行装置１００は、ステップＳ２５０７の処理に移行する。

ステップＳ２５０５では、テスト実行装置１００は、ｉ行目の命令文と対応付けてカバレッジ情報が記録済みであるか否かを判定する（ステップＳ２５０５）。ここで、記録済みである場合（ステップＳ２５０５：Ｙｅｓ）、テスト実行装置１００は、ステップＳ２５０７の処理に移行する。一方で、記録済みではない場合（ステップＳ２５０５：Ｎｏ）、テスト実行装置１００は、ステップＳ２５０６の処理に移行する。

ステップＳ２５０６では、テスト実行装置１００は、ｉ行目の命令文と対応付けて、テスト対象ロジック以外として実行されたことを示すカバレッジ情報を記録する（ステップＳ２５０６）。そして、テスト実行装置１００は、ステップＳ２５０７の処理に移行する。

ステップＳ２５０７では、テスト実行装置１００は、選択したテストメソッドの最終行の命令文まで実行したか否かを判定する（ステップＳ２５０７）。ここで、最終行の命令文まで実行していない場合（ステップＳ２５０７：Ｎｏ）、テスト実行装置１００は、ｉをインクリメントし（ステップＳ２５０８）、ステップＳ２５０２の処理に戻る。一方で、最終行の命令文まで実行している場合（ステップＳ２５０７：Ｙｅｓ）、テスト実行装置１００は、ステップＳ２５０９の処理に移行する。

ステップＳ２５０９では、テスト実行装置１００は、未処理のテストメソッドがあるか否かを判定する（ステップＳ２５０９）。ここで、未処理のテストメソッドがある場合（ステップＳ２５０９：Ｙｅｓ）、テスト実行装置１００は、ステップＳ２５０１の処理に戻る。一方で、未処理のテストメソッドがない場合（ステップＳ２５０９：Ｎｏ）、テスト実行装置１００は、記録処理を終了する。これにより、テスト実行装置１００は、バグ局所化にあたり有用な情報と、ノイズとなる情報とを切り分けて、カバレッジ情報を記録することができる。

ここで、テスト実行装置１００は、図２３〜図２５の各フローチャートの一部ステップの処理の順序を入れ替えて実行してもよい。例えば、ステップＳ２４０３〜Ｓ２４０５の処理の順序は入れ替え可能である。また、テスト実行装置１００は、図２３〜図２５の各フローチャートの一部ステップの処理を省略してもよい。例えば、ステップＳ２４０３〜Ｓ２４０５のいずれかの処理は省略可能である。

以上説明したように、テスト実行装置１００によれば、テスト対象コードと、テスト対象コードに対するテストを実行するテスト実行コードとを取得することができる。テスト実行装置１００によれば、取得したテスト対象コードと、取得したテスト実行コードとをテキスト解析した結果に基づいて、テスト実行コード内で、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定することができる。テスト実行装置１００によれば、テスト実行コードを実行した結果、特定した呼出命令文によりテスト対象コード内の命令文群が呼び出されたことに応じて実行された、テスト対象コード内の命令文を識別可能にする情報を記録することができる。これにより、テスト実行装置１００は、バグ局所化にあたり有用な情報と、ノイズとなる情報とを切り分け可能にすることができる。

テスト実行装置１００によれば、テスト実行コードを実行した結果、特定した呼出命令文以外によりテスト対象コード内の命令文群が呼び出されたことに応じて実行された、テスト対象コード内の命令文を識別可能にする第２の情報を記録することができる。これにより、テスト実行装置１００は、バグ局所化にあたりノイズとなると判断した情報も、利用可能にすることができる。

テスト実行装置１００によれば、テスト実行コードを実行した結果、特定した呼出命令文に応じては実行されず、かつ、特定した呼出命令文以外に応じて実行された、テスト対象コード内の命令文を識別可能にする第２の情報を記録することができる。これにより、テスト実行装置１００は、バグ局所化にあたりノイズとなると判断した情報も、利用可能にすることができる。また、テスト実行装置１００は、第１の情報と第２の情報との重複を回避することができ、処理の煩雑化や処理量の増大を回避することができる。

テスト実行装置１００によれば、テストの実行結果の妥当性を判定することができる。テスト実行装置１００によれば、判定した妥当性と、記録した情報とに基づいて、テスト対象コード内のそれぞれの命令文の、バグの原因である可能性の高さを示す疑惑値を算出することができる。テスト実行装置１００によれば、テスト対象コード内のそれぞれの命令文に対応付けて、算出した疑惑値を出力することができる。これにより、テスト実行装置１００は、開発者が、疑惑値を参照可能にし、バグの原因となる箇所を発見し易くすることができる。

テスト実行装置１００によれば、算出した疑惑値に基づいて、テスト対象コード内のそれぞれの命令文を識別する情報をソートして出力することができる。これにより、テスト実行装置１００は、開発者が、疑惑値に基づきテスト対象コード内のそれぞれの命令文を識別する情報をソートした結果を参照可能にし、バグの原因となる箇所を発見し易くすることができる。

テスト実行装置１００によれば、テストの実行結果の妥当性を判定することができる。テスト実行装置１００によれば、判定した妥当性と、記録した情報とに基づいて、テスト対象コード内のそれぞれの命令文の、バグの原因である可能性の高さを示す第１の疑惑値を算出することができる。テスト実行装置１００によれば、判定した妥当性と、記録した情報と、記録した第２の情報とに基づいて、テスト対象コード内のそれぞれの命令文の、バグの原因である可能性の高さを示す第２の疑惑値を算出することができる。テスト実行装置１００によれば、テスト対象コード内のそれぞれの命令文に対応付けて、算出した第１の疑惑値と、算出した第２の疑惑値とを出力することができる。これにより、テスト実行装置１００は、開発者が、第１の疑惑値と、第２の疑惑値とを参照可能にし、バグの原因となる箇所を発見し易くすることができる。

テスト実行装置１００によれば、算出した第１の疑惑値と、算出した第２の疑惑値とに基づいて、テスト対象コード内のそれぞれの命令文を識別する情報をソートして出力することができる。これにより、テスト実行装置１００は、開発者が、第１の疑惑値と第２の疑惑値とに基づきテスト対象コード内のそれぞれの命令文を識別する情報をソートした結果を参照可能にし、バグの原因となる箇所を発見し易くすることができる。

テスト実行装置１００によれば、テスト実行コード内で、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文となる候補を検出することができる。テスト実行装置１００によれば、テスト実行コード内で、検出した候補が記述されたメソッドに対応する名称と、テスト対象コード内で、検出した候補により呼び出される命令文群が記述されたメソッドに対応する名称との第１の類似度を算出することができる。テスト実行装置１００によれば、算出した第１の類似度に基づいて、検出した候補の中から、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定することができる。これにより、テスト実行装置１００は、開発者のメソッド名の命名傾向に基づき、呼出命令文を精度よく検出することができる。

テスト実行装置１００によれば、テスト実行コード内で、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文となる候補を検出することができる。テスト実行装置１００によれば、テスト実行コード内で、検出した候補が記述されたクラスに対応する名称と、テスト対象コード内で、検出した候補により呼び出される命令文群が記述されたクラスに対応する名称との第２の類似度を算出することができる。テスト実行装置１００によれば、算出した第２の類似度に基づいて、検出した候補の中から、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定することができる。これにより、テスト実行装置１００は、開発者のクラス名の命名傾向に基づき、呼出命令文を精度よく検出することができる。

テスト実行装置１００によれば、テスト実行コード内で、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文となる候補を検出することができる。テスト実行装置１００によれば、テスト実行コード内で検出した候補が記述されたパッケージに対応するアドレスと、テスト対象コード内で検出した候補により呼び出される命令文群が記述されたパッケージに対応するアドレスとの近似度を算出することができる。テスト実行装置１００によれば、算出した近似度に基づいて、検出した候補の中から、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定することができる。これにより、テスト実行装置１００は、開発者のパッケージの配置傾向に基づき、呼出命令文を精度よく検出することができる。

テスト実行装置１００によれば、テスト対象コード内に、テスト対象コード内のそれぞれの命令文に対応付けて、当該命令文が実行されたことに応じて、当該命令文を識別する情報を含む第１の通知を出力する第１の命令文を書き込むことができる。テスト実行装置１００によれば、テスト実行コード内に、特定した呼出命令文に対応付けて、特定した呼出命令文が実行される直前に、特定した呼出命令文を識別する情報を含む第２の通知を出力する第２の命令文を書き込むことができる。テスト実行装置１００によれば、テスト実行コード内に、特定した呼出命令文に対応付けて、特定した呼出命令文が実行された直後に、特定した呼出命令文を識別する情報を含む第３の通知を出力する第３の命令文を書き込むことができる。テスト実行装置１００によれば、テスト実行コードを実行した結果、出力された第１の通知と、出力された第２の通知と、出力された第３の通知とに基づいて、情報を記録することができる。これにより、テスト実行装置１００は、ロガーを用いて、情報を記録可能にすることができる。

テスト実行装置１００によれば、テスト対象コードに対し、互いに種類が異なるテストを実行する複数のテスト実行コードを取得することができる。テスト実行装置１００によれば、テスト実行コードごとに、テスト対象コードと、テスト実行コードとをテキスト解析した結果に基づいて、テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定することができる。テスト実行装置１００によれば、テスト実行コードごとに、テスト実行コードを実行した結果、特定した呼出命令文によりテスト対象コード内の命令文群が呼び出されたことに応じて実行された命令文を識別可能にする情報を記録することができる。これにより、テスト実行装置１００は、テスト実行コードが複数ある場合に適用することができる。

なお、本実施の形態で説明したテスト実行方法は、予め用意されたプログラムをＰＣやワークステーションなどのコンピュータで実行することにより実現することができる。本実施の形態で説明したテスト実行プログラムは、コンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。記録媒体は、ハードディスク、フレキシブルディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ、ＭＯ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などである。また、本実施の形態で説明したテスト実行プログラムは、インターネットなどのネットワークを介して配布してもよい。

上述した実施の形態に関し、さらに以下の付記を開示する。

（付記１）テスト対象コードと、前記テスト対象コードに対するテストを実行するテスト実行コードとを取得し、
取得した前記テスト対象コードと、取得した前記テスト実行コードとをテキスト解析した結果に基づいて、前記テスト実行コード内で、前記テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定し、
前記テスト実行コードを実行した結果、特定した前記呼出命令文により前記テスト対象コード内の命令文群が呼び出されたことに応じて実行された、前記テスト対象コード内の命令文を識別可能にする情報を記録する、
処理をコンピュータに実行させることを特徴とするテスト実行プログラム。

（付記２）前記記録する処理は、
さらに、前記テスト実行コードを実行した結果、特定した前記呼出命令文以外により前記テスト対象コード内の命令文群が呼び出されたことに応じて実行された、前記テスト対象コード内の命令文を識別可能にする第２の情報を記録する、ことを特徴とする付記１に記載のテスト実行プログラム。

（付記３）前記記録する処理は、
さらに、前記テスト実行コードを実行した結果、特定した前記呼出命令文により前記テスト対象コード内の命令文群が呼び出されたことに応じては実行されず、かつ、特定した前記呼出命令文以外により前記テスト対象コード内の命令文群が呼び出されたことに応じて実行された、前記テスト対象コード内の命令文を識別可能にする第２の情報を記録する、ことを特徴とする付記１に記載のテスト実行プログラム。

（付記４）前記テストの実行結果の妥当性を判定し、
判定した前記妥当性と、記録した前記情報とに基づいて、前記テスト対象コード内のそれぞれの命令文の、バグの原因である可能性の高さを示す疑惑値を算出し、
前記テスト対象コード内のそれぞれの命令文に対応付けて、算出した前記疑惑値を出力する、処理を前記コンピュータに実行させることを特徴とする付記１〜３のいずれか一つに記載のテスト実行プログラム。

（付記５）算出した前記疑惑値に基づいて、前記テスト対象コード内のそれぞれの命令文を識別する情報をソートして出力する、処理を前記コンピュータに実行させることを特徴とする付記４に記載のテスト実行プログラム。

（付記６）前記テストの実行結果の妥当性を判定し、
判定した前記妥当性と、記録した前記情報とに基づいて、前記テスト対象コード内のそれぞれの命令文の、バグの原因である可能性の高さを示す第１の疑惑値を算出し、
判定した前記妥当性と、記録した前記情報と、記録した前記第２の情報とに基づいて、前記テスト対象コード内のそれぞれの命令文の、バグの原因である可能性の高さを示す第２の疑惑値を算出し、
前記テスト対象コード内のそれぞれの命令文に対応付けて、算出した前記第１の疑惑値と、算出した前記第２の疑惑値とを出力する、処理を前記コンピュータに実行させることを特徴とする付記２または３に記載のテスト実行プログラム。

（付記７）算出した前記第１の疑惑値と、算出した前記第２の疑惑値とに基づいて、前記テスト対象コード内のそれぞれの命令文を識別する情報をソートして出力する、処理を前記コンピュータに実行させることを特徴とする付記６に記載のテスト実行プログラム。

（付記８）前記テスト実行コード内で、前記テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文となる候補を検出し、
前記テスト実行コード内で、検出した前記候補が記述されたメソッドに対応する名称と、前記テスト対象コード内で、検出した前記候補により呼び出される命令文群が記述されたメソッドに対応する名称との第１の類似度を算出する、処理を前記コンピュータに実行させ、
前記特定する処理は、
算出した前記第１の類似度に基づいて、検出した前記候補の中から、前記テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定する、ことを特徴とする付記１〜７のいずれか一つに記載のテスト実行プログラム。

（付記９）前記テスト実行コード内で、前記テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文となる候補を検出し、
前記テスト実行コード内で、検出した前記候補が記述されたクラスに対応する名称と、前記テスト対象コード内で、検出した前記候補により呼び出される命令文群が記述されたクラスに対応する名称との第２の類似度を算出する、処理を前記コンピュータに実行させ、
前記特定する処理は、
算出した前記第２の類似度に基づいて、検出した前記候補の中から、前記テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定する、ことを特徴とする付記１〜８のいずれか一つに記載のテスト実行プログラム。

（付記１０）前記テスト実行コード内で、前記テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文となる候補を検出し、
前記テスト実行コード内で、検出した前記候補が記述されたパッケージに対応するアドレスと、前記テスト対象コード内で、検出した前記候補により呼び出される命令文群が記述されたパッケージに対応するアドレスとの近似度を算出する、処理を前記コンピュータに実行させ、
前記特定する処理は、
算出した前記近似度に基づいて、検出した前記候補の中から、前記テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定する、ことを特徴とする付記１〜９のいずれか一つに記載のテスト実行プログラム。

（付記１１）前記テスト対象コード内に、前記テスト対象コード内のそれぞれの命令文に対応付けて、当該命令文が実行されたことに応じて、当該命令文を識別する情報を含む第１の通知を出力する第１の命令文を書き込み、
前記テスト実行コード内に、特定した前記呼出命令文に対応付けて、特定した前記呼出命令文が実行される直前に、特定した前記呼出命令文を識別する情報を含む第２の通知を出力する第２の命令文と、特定した前記呼出命令文が実行された直後に、特定した前記呼出命令文を識別する情報を含む第３の通知を出力する第３の命令文とを書き込む、処理を前記コンピュータに実行させ、
前記記録する処理は、
前記テスト実行コードを実行した結果、出力された前記第１の通知と、出力された前記第２の通知と、出力された前記第３の通知とに基づいて、前記情報を記録する、ことを特徴とする付記１〜１０のいずれか一つに記載のテスト実行プログラム。

（付記１２）前記取得する処理は、
前記テスト対象コードに対し、互いに種類が異なるテストを実行する複数のテスト実行コードを取得し、
前記特定する処理は、
前記テスト実行コードごとに、前記テスト対象コードと、前記テスト実行コードとをテキスト解析した結果に基づいて、前記テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定し、
前記記録する処理は、
前記テスト実行コードごとに、前記テスト実行コードを実行した結果、特定した前記呼出命令文により前記テスト対象コード内の命令文群が呼び出されたことに応じて実行された、前記テスト対象コード内の命令文を識別可能にする情報を記録する、ことを特徴とする付記１〜１１のいずれか一つに記載のテスト実行プログラム。

（付記１３）テスト対象コードと、前記テスト対象コードに対するテストを実行するテスト実行コードとを取得し、
取得した前記テスト対象コードと、取得した前記テスト実行コードとをテキスト解析した結果に基づいて、前記テスト実行コード内で、前記テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定し、
前記テスト実行コードを実行した結果、特定した前記呼出命令文により前記テスト対象コード内の命令文群が呼び出されたことに応じて実行された、前記テスト対象コード内の命令文を識別可能にする情報を記録する、
処理をコンピュータが実行することを特徴とするテスト実行方法。

（付記１４）テスト対象コードと、前記テスト対象コードに対するテストを実行するテスト実行コードとを取得し、
取得した前記テスト対象コードと、取得した前記テスト実行コードとをテキスト解析した結果に基づいて、前記テスト実行コード内で、前記テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定し、
前記テスト実行コードを実行した結果、特定した前記呼出命令文により前記テスト対象コード内の命令文群が呼び出されたことに応じて実行された、前記テスト対象コード内の命令文を識別可能にする情報を記録する、
制御部を有することを特徴とするテスト実行装置。

１００ テスト実行装置
１０１ テスト対象コード
１０２ テスト実行コード
２００ バグ発見システム
２０１ クライアント装置
２１０ ネットワーク
３００ バス
３０１ ＣＰＵ
３０２ メモリ
３０３ ネットワークＩ／Ｆ
３０４ 記録媒体Ｉ／Ｆ
３０５ 記録媒体
４００ 記憶部
４０１ 取得部
４０２ 特定部
４０３ 記録部
４０４ 解析部
４０５ 出力部
５０１，５１２，６０２，８１０ 本体プログラム
５０２，５３２，６０１，８００ テストプログラム
５１１ ロギング命令埋込部
５２１ テスト対象ロジック特定部
５２２ テスト対象ロジック特定結果
５３１ ロギング制御命令埋込部
５４０ カバレッジ記録ロガープログラム
５４１ テスト実行＆カバレッジ記録部
５４２ カバレッジ情報
５５１ 疑惑値算出部
５５２ 疑惑行ランキング表
７００ ロガー
８１１〜８１３ 命令文群
９００，１０００，１１００，１２００，１３００，２０００，２１１０，２１１１，２１２０，２１２１ 表
２２００ ランキング表

Claims (13)

1. テスト対象コードと、前記テスト対象コードに対するテストを実行するテスト実行コードとを取得し、
   取得した前記テスト対象コードと、取得した前記テスト実行コードとをテキスト解析した結果に基づいて、前記テスト実行コード内で、前記テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定し、
   前記テスト実行コードを実行した結果、特定した前記呼出命令文により前記テスト対象コード内の命令文群が呼び出されたことに応じて実行された、前記テスト対象コード内の命令文を識別可能にする情報を記録する、
   処理をコンピュータに実行させることを特徴とするテスト実行プログラム。
2. 前記記録する処理は、
   さらに、前記テスト実行コードを実行した結果、特定した前記呼出命令文以外により前記テスト対象コード内の命令文群が呼び出されたことに応じて実行された、前記テスト対象コード内の命令文を識別可能にする第２の情報を記録する、ことを特徴とする請求項１に記載のテスト実行プログラム。
3. 前記記録する処理は、
   さらに、前記テスト実行コードを実行した結果、特定した前記呼出命令文により前記テスト対象コード内の命令文群が呼び出されたことに応じては実行されず、かつ、特定した前記呼出命令文以外により前記テスト対象コード内の命令文群が呼び出されたことに応じて実行された、前記テスト対象コード内の命令文を識別可能にする第２の情報を記録する、ことを特徴とする請求項１に記載のテスト実行プログラム。
4. 前記テストの実行結果の妥当性を判定し、
   判定した前記妥当性と、記録した前記情報とに基づいて、前記テスト対象コード内のそれぞれの命令文の、バグの原因である可能性の高さを示す疑惑値を算出し、
   前記テスト対象コード内のそれぞれの命令文に対応付けて、算出した前記疑惑値を出力する、処理を前記コンピュータに実行させることを特徴とする請求項１〜３のいずれか一つに記載のテスト実行プログラム。
5. 算出した前記疑惑値に基づいて、前記テスト対象コード内のそれぞれの命令文を識別する情報をソートして出力する、処理を前記コンピュータに実行させることを特徴とする請求項４に記載のテスト実行プログラム。
6. 前記テストの実行結果の妥当性を判定し、
   判定した前記妥当性と、記録した前記情報とに基づいて、前記テスト対象コード内のそれぞれの命令文の、バグの原因である可能性の高さを示す第１の疑惑値を算出し、
   判定した前記妥当性と、記録した前記情報と、記録した前記第２の情報とに基づいて、前記テスト対象コード内のそれぞれの命令文の、バグの原因である可能性の高さを示す第２の疑惑値を算出し、
   前記テスト対象コード内のそれぞれの命令文に対応付けて、算出した前記第１の疑惑値と、算出した前記第２の疑惑値とを出力する、処理を前記コンピュータに実行させることを特徴とする請求項２または３に記載のテスト実行プログラム。
7. 算出した前記第１の疑惑値と、算出した前記第２の疑惑値とに基づいて、前記テスト対象コード内のそれぞれの命令文を識別する情報をソートして出力する、処理を前記コンピュータに実行させることを特徴とする請求項６に記載のテスト実行プログラム。
8. 前記テスト実行コード内で、前記テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文となる候補を検出し、
   前記テスト実行コード内で、検出した前記候補が記述されたメソッドに対応する名称と、前記テスト対象コード内で、検出した前記候補により呼び出される命令文群が記述されたメソッドに対応する名称との第１の類似度を算出する、処理を前記コンピュータに実行させ、
   前記特定する処理は、
   算出した前記第１の類似度に基づいて、検出した前記候補の中から、前記テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定する、ことを特徴とする請求項１〜７のいずれか一つに記載のテスト実行プログラム。
9. 前記テスト実行コード内で、前記テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文となる候補を検出し、
   前記テスト実行コード内で、検出した前記候補が記述されたクラスに対応する名称と、前記テスト対象コード内で、検出した前記候補により呼び出される命令文群が記述されたクラスに対応する名称との第２の類似度を算出する、処理を前記コンピュータに実行させ、
   前記特定する処理は、
   算出した前記第２の類似度に基づいて、検出した前記候補の中から、前記テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定する、ことを特徴とする請求項１〜８のいずれか一つに記載のテスト実行プログラム。
10. 前記テスト実行コード内で、前記テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文となる候補を検出し、
    前記テスト実行コード内で、検出した前記候補が記述されたパッケージに対応するアドレスと、前記テスト対象コード内で、検出した前記候補により呼び出される命令文群が記述されたパッケージに対応するアドレスとの近似度を算出する、処理を前記コンピュータに実行させ、
    前記特定する処理は、
    算出した前記近似度に基づいて、検出した前記候補の中から、前記テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定する、ことを特徴とする請求項１〜９のいずれか一つに記載のテスト実行プログラム。
11. 前記テスト対象コード内に、前記テスト対象コード内のそれぞれの命令文に対応付けて、当該命令文が実行されたことに応じて、当該命令文を識別する情報を含む第１の通知を出力する第１の命令文を書き込み、
    前記テスト実行コード内に、特定した前記呼出命令文に対応付けて、特定した前記呼出命令文が実行される直前に、特定した前記呼出命令文を識別する情報を含む第２の通知を出力する第２の命令文と、特定した前記呼出命令文が実行された直後に、特定した前記呼出命令文を識別する情報を含む第３の通知を出力する第３の命令文とを書き込む、処理を前記コンピュータに実行させ、
    前記記録する処理は、
    前記テスト実行コードを実行した結果、出力された前記第１の通知と、出力された前記第２の通知と、出力された前記第３の通知とに基づいて、前記情報を記録する、ことを特徴とする請求項１〜１０のいずれか一つに記載のテスト実行プログラム。
12. テスト対象コードと、前記テスト対象コードに対するテストを実行するテスト実行コードとを取得し、
    取得した前記テスト対象コードと、取得した前記テスト実行コードとをテキスト解析した結果に基づいて、前記テスト実行コード内で、前記テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定し、
    前記テスト実行コードを実行した結果、特定した前記呼出命令文により前記テスト対象コード内の命令文群が呼び出されたことに応じて実行された、前記テスト対象コード内の命令文を識別可能にする情報を記録する、
    処理をコンピュータが実行することを特徴とするテスト実行方法。
13. テスト対象コードと、前記テスト対象コードに対するテストを実行するテスト実行コードとを取得し、
    取得した前記テスト対象コードと、取得した前記テスト実行コードとをテキスト解析した結果に基づいて、前記テスト実行コード内で、前記テスト対象コード内の命令文群をテスト実行用に呼び出す呼出命令文を特定し、
    前記テスト実行コードを実行した結果、特定した前記呼出命令文により前記テスト対象コード内の命令文群が呼び出されたことに応じて実行された、前記テスト対象コード内の命令文を識別可能にする情報を記録する、
    制御部を有することを特徴とするテスト実行装置。

Images