JP2023005300A - 解析装置、解析方法 - Google Patents

Abstract

【課題】テストが失敗した原因がテスト対象ソフトウエア、テストデータ、テストスクリプト、およびテスト環境のいずれであるかを特定できる。【解決手段】解析装置は、テストを実行する環境であるテスト環境において、テスト対象ソフトウエアのテストが失敗した際の原因を特定する解析装置であって、テストでは、テスト対象ソフトウエアの実行と実行結果の確認が、人が介入することなくテストスクリプトにより実行され、テストデータは、テストの実行時にテスト対象ソフトウエアおよびテストスクリプトに読み込まれるデータであり、テスト対象ソフトウエア、テストデータ、テストスクリプト、およびテスト環境のそれぞれについて、変更の有無に基づき失敗原因スコアを算出するスコア算出部と、失敗原因スコアに基づき、テストが失敗した原因が、テスト対象ソフトウエア、テストデータ、テストスクリプト、およびテスト環境のいずれであるかを推定する推定部と、を備える。【選択図】図１

Description

本発明は、解析装置、および解析方法に関する。

ソフトウエアの品質を確保する重要性が増しており、不具合を発見するためのツールなども開発されている。特許文献１には、不具合管理ツールにおける成果物である不具合、構成管理ツールにおける成果物であるリビジョン、テスト管理ツールにおける成果物であるテスト項目について、前記テスト管理ツール、前記構成管理ツール、前記不具合管理ツールから、前記成果物毎にテスト結果を含む所定の管理ツールデータを入力し、前記不具合に関連する前記テスト結果が、失敗から成功または成功から失敗に変化するまでの期間を抽出する期間抽出部と、前記期間抽出部による抽出期間における前記成果物間の属性変化の関係を利用し、前記不具合と前記不具合に関係のある他の前記成果物との関連付けにおける関連候補の絞り込みを行う絞り込み処理部とを備える成果物の関連候補生成装置が開示されている。

特開２０１５－６９６１５号公報

特許文献１に記載されている発明では、テストが失敗した原因を特定できない。

本発明の第１の態様による解析装置は、テストを実行する環境であるテスト環境において、テスト対象ソフトウエアのテストが失敗した際の原因を特定する解析装置であって、前記テストでは、テスト対象ソフトウエアの実行と実行結果の確認が、人が介入することなくテストスクリプトにより実行され、テストデータは、前記テストの実行時に前記テスト対象ソフトウエアおよび前記テストスクリプトに読み込まれるデータであり、テスト対象ソフトウエア、テストデータ、テストスクリプト、およびテスト環境のそれぞれについて、変更の有無に基づき失敗原因スコアを算出するスコア算出部と、失敗原因スコアに基づき、前記テストが失敗した原因が、テスト対象ソフトウエア、テストデータ、テストスクリプト、およびテスト環境のいずれであるかを推定する推定部と、を備える。
本発明の第２の態様による解析方法は、テストを実行する環境であるテスト環境において、テスト対象ソフトウエアのテストが失敗した際の原因をコンピュータが特定する解析方法であって、前記テストでは、テスト対象ソフトウエアの実行と実行結果の確認が、人が介入することなくテストスクリプトにより実行され、テストデータは、前記テストの実行時に前記テスト対象ソフトウエアおよび前記テストスクリプトに読み込まれるデータであり、テスト対象ソフトウエア、テストデータ、テストスクリプト、およびテスト環境のそれぞれについて、変更の有無に基づき失敗原因スコアを算出することと、失敗原因スコアに基づき、前記テストが失敗した原因が、テスト対象ソフトウエア、テストデータ、テストスクリプト、およびテスト環境のいずれであるかを推定することと、を含む解析方法。

本発明によれば、テストが失敗した原因がテスト対象ソフトウエア、テストデータ、テストスクリプト、およびテスト環境のいずれであるかを特定できる。

第１の実施の形態における解析装置の機能構成図 解析装置のハードウエア構成図 解析装置が解析するテストの概要を説明する図 構成情報の一例を示す図 テストケース情報の一例を示す図 スコア計算ルール情報の一例を示す図 変更履歴情報の一例を示す図 テスト実行情報の一例を示す図 スコア集計情報の一例を示す図 名称対応情報の一例を示す図 出力装置への出力例を示す図 第１の実施の形態におけるスコア算出部の処理を示すフローチャート スコア算出処理の詳細を説明するフローチャート 第２の実施の形態における解析装置の機能構成図 拡張テストケース情報の一例を示す図 スコア計算拡張ルール情報の一例を示す図 拡張スコア集計情報の一例を示す図 要素定義情報の一例を示す図 要素関連情報の一例を示す図 条件式初期値の一例を示す図 詳細構成情報の一例を示す図 詳細関連情報の一例を示す図 表示生成部による出力装置への出力例を示す図 ルール生成部の処理を示すフローチャート ルール生成部の処理を示すフローチャート 条件式追加処理の詳細を示すフローチャート 条件式追加処理の詳細を示すフローチャート 差分値算出処理の詳細を示すフローチャート 第２の実施の形態におけるスコア算出部の処理を示すフローチャート 第２の実施の形態におけるスコア算出部の処理を示すフローチャート テスト追加実行部の処理を示すフローチャート

―第１の実施の形態―
以下、図１～図１３を参照して、本発明に係る解析装置の第１の実施の形態を説明する。

図１は、ソフトウエアのテスト結果を解析する解析装置１の機能構成図である。解析装置１はその機能として、スコア算出部１５１と、推定部１５２と、表示生成部１５３と、を備える。解析装置１は記憶部８４を備える。記憶部８４には、テストケース情報１０１と、スコア計算ルール情報１０２と、変更履歴情報１０３と、テスト実行情報１０４と、スコア集計情報１０５と、名称対応情報１０６とが格納される。

図２は、解析装置１のハードウエア構成図である。解析装置１は、中央演算装置であるＣＰＵ８１と、読み出し専用の記憶装置であるＲＯＭ８２と、読み書き可能な記憶装置であるＲＡＭ８３と、記憶部８４と、入出力インタフェース８５とを備える。解析装置１は、入出力インタフェース８５を介して、入力装置２および出力装置３と接続される。入力装置２は、キーボードやマウスである。出力装置３は、映像を表示する装置、たとえば液晶ディスプレイである。ただし入力装置２と出力装置３が一体化されたタッチパネルなどを用いてもよい。入力装置２は、解析装置を使用する人間（以下では、「ユーザ」と呼ぶ）の入力を解析装置１に伝達する。出力装置３は、解析装置１が出力する情報をユーザに提示する。

ＣＰＵ８１がＲＯＭ８２に格納されるプログラムをＲＡＭ８３に展開して実行することでスコア算出部１５１、推定部１５２、および表示生成部１５３を実現する。ただし、ＣＰＵ８１、ＲＯＭ８２、およびＲＡＭ８３の組み合わせの代わりに書き換え可能な論理回路であるＦＰＧＡ（Field Programmable Gate Array）や特定用途向け集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）によりスコア算出部１５１、推定部１５２、および表示生成部１５３が実現されてもよい。またスコア算出部１５１、推定部１５２、および表示生成部１５３は、ＣＰＵ８１、ＲＯＭ８２、およびＲＡＭ８３の組み合わせの代わりに、異なる構成の組み合わせ、たとえばＣＰＵ８１、ＲＯＭ８２、ＲＡＭ８３とＦＰＧＡの組み合わせにより実現されてもよい。

記憶部８４は不揮発性の記憶装置、たとえばハードディスクドライブやフラッシュメモリである。なお記憶部８４に格納される情報のほとんどはあらかじめ作成されたものであり、スコア集計情報１０５のみがスコア算出部１５１および推定部１５２により作成される。入出力インタフェース８５は、汎用の通信インタフェースでもよいし、入力装置２や出力装置３の仕様にあわせた専用のインタフェースでもよい。

図３は、解析装置１が解析するテストの概要を説明する図である。本実施の形態において解析対象となるテストは、ソフトウエアを対象としている。ただしソフトウエアそのものだけでなく、ソフトウエアに付帯する条件もテストに影響を与えるため、これらもテスト項目に含める。具体的には本実施の形態では、テスト対象ソフトウエアＳｒｃ、テストデータＤａｔ、テストスクリプトＴｓ、およびテスト環境Ｅｎｖの４つをテストの構成要素とする。テストごとに様々な条件が異なるが、テスト対象ソフトウエアＳｒｃ、テストデータＤａｔ、テストスクリプトＴｓ、およびテスト環境Ｅｎｖの４つの構成要素が組み合わされる点は共通している。

なお以下では、テスト対象ソフトウエアＳｒｃ、テストデータＤａｔ、テストスクリプトＴｓ、およびテスト環境Ｅｎｖを構成要素の「種類」と呼ぶことがある。また、これらの構成要素は概念的なものであり、実際には具体的なものが用いられる。たとえばテスト対象ソフトウエアＳｒｃには、複数のソースコードやアイコンなどのリソースが含まれ、それらは開発の状況に応じて更新されてバージョン番号が変更される。

テスト対象ソフトウエアＳｒｃは、本来的にテスト対象となるソフトウエアである。テスト対象ソフトウエアＳｒｃはたとえば、１または複数のソースコードから構成される。図２に示す例では、テスト対象ソフトウエアＳｒｃには２つのソースコードが含まれるが、開発の進行にともないソースコードの数が増減することがある。また、各ソースコードは内容が変更されるたびにバージョン番号が変更される。すなわち、テストごとにソースコードのバージョンが異なってもよいし、ソースコードの数が異なってもよい。テスト対象ソフトウエアＳｒｃには、ソースコード以外にも、たとえば静的にリンクするライブラリが含まれてもよい。

テストデータＤａｔは、テスト実行時にテスト対象ソフトウエアＳｒｃおよびテストスクリプトＴｓが読み込むデータであり、たとえば変数名とその値の組合せである。テストデータＤａｔは、１または複数のデータから構成される。これらのデータはテスト対象ソフトウエアＳｒｃに応じて用意されるものであり、たとえばテキストデータ、画像データ、音声データなど、またはこれらの組合せである。図２に示す例では、テストデータＤａｔは１つのサンプルデータから構成される。各データは内容が変更されるたびにバージョン番号が変更される。

テストスクリプトＴｓは、テストにおけるテスト対象ソフトウエアＳｒｃの実行と実行結果の確認を、人が介入することなく実行するためのスクリプトファイルである。テストスクリプトＴｓはたとえば、シェルスクリプトやバッチファイルである。図２に示す例では、テストスクリプトＴｓは１つのスクリプトから構成される。各スクリプトは内容が変更されるたびにバージョン番号が変更される。なお本実施の形態では便宜的にテスト「スクリプト」と呼んでいるが、スクリプトであることは必須ではなく、プログラムそのものでもよい。

テスト環境Ｅｎｖは、テストのために利用するハードウエア、およびテストのために利用するソフトウエアであってテスト対象ソフトウエアＳｒｃを除くソフトウェアである。図２に示す例ではテスト環境Ｅｎｖは、ＯＳとハードウエア構成の２つから構成される。テスト環境が変更または更新されるたびにそれらのバージョンが更新される。なお本図の説明において、構成が変更されるたびにバージョン番号が変更されると説明したが、この代わりに構成の名称を変更してもよい。詳しくは後述する。

図４は、構成情報１００の一例を示す図である。構成情報１００は、テスト対象ソフトウエアＳｒｃ、テストデータＤａｔ、テストスクリプトＴｓ、およびテスト環境Ｅｎｖのそれぞれの具体的な構成と、構成ＩＤとの対応を示す情報である。ただし構成情報１００には各構成のバージョン番号は含まれない。換言すると構成情報１００は、各構成のバージョン情報と組み合わされることで、各テストの条件を特定できる情報である。本実施の形態では、構成ＩＤは「Ｋ」と数字との組合せである。たとえばテスト対象ソフトウエアＳｒｃにおいて構成ＩＤが「Ｋ１」の場合は、テスト対象ソフトウエアＳｒｃが「初期演算ソースコード」と「メイン処理ソースコード」の２つから構成されることが示されている。

なお図４では、作図の都合によりテスト対象ソフトウエアＳｒｃ、テストデータＤａｔ、テストスクリプトＴｓ、およびテスト環境Ｅｎｖの４つをまとめて記載しているが、それぞれの構成ＩＤは独立している。たとえばあるテストにおいて、テスト対象ソフトウエアＳｒｃは構成ＩＤが「Ｋ２」、テストデータＤａｔは構成ＩＤが「Ｋ４」、テストスクリプトＴｓは構成ＩＤが「Ｋ１」、テスト環境Ｅｎｖは構成ＩＤが「Ｋ２」という組合せでもよい。

図５は、テストケース情報１０１の一例を示す図である。テストケース情報１０１は、テストケースごとの構成を示す情報である。テストケース情報１０１は複数のレコードから構成され、各レコードはテストケースＩＤ１０１１と、構成ＩＤ１０１２と、のフィールドを含む。テストケースＩＤ１０１１には、テストケースの識別子が格納される。本実施の形態において「テストケース」とは、テストを構成するテスト対象ソフトウエアＳｒｃ、テストデータＤａｔ、テストスクリプトＴｓ、およびテスト環境Ｅｎｖのそれぞれについて構成ＩＤを指定した組合せである。たとえばテストケースＩＤが「ＴＣ１」は、テスト対象ソフトウエアＳｒｃの構成「Ｋ１」と、テストデータＤａｔの構成「Ｋ１」と、テストスクリプトＴｓの構成「Ｋ１」と、テスト環境Ｅｎｖの構成「Ｋ１」と、の組合せである。

図６は、スコア計算ルール情報１０２の一例を示す図である。スコア計算ルール情報１０２は、失敗原因スコアを計算するルールに関する情報である。失敗原因スコアとは、テストが失敗した原因が、テストスクリプトＴｓ、テストデータＤａｔ、テスト対象ソフトウエアＳｒｃ、およびテスト環境Ｅｎｖのいずれにあるのかを特定するためのスコアである。失敗原因スコアは、テストスクリプトＴｓ、テストデータＤａｔ、テスト対象ソフトウエアＳｒｃ、およびテスト環境Ｅｎｖのそれぞれに対してテストごとに算出される。初期値はゼロであり、４つのうちスコアが最も大きいものがテスト失敗の原因と判断される。

スコア計算ルール情報１０２は複数のレコードから構成され、各レコードはルールＩＤ１０２１と、条件式１０２２と、加算値１０２３と、のフィールドを含む。ルールＩＤ１０２１は、スコアを算出するルールの識別子であり、「Ｒ」と数字の組合せで表される。条件式１０２２はスコアを加算する条件式であり、条件式が成り立つ場合に加算値１０２３に記載の値がそれぞれの失敗原因スコアに加算される。加算値１０２３は、条件式が成立する場合に失敗原因スコアに加算される値を示している。

条件式は独自に適宜された関数が含まれる。関数「IsChangedV」は、テスト構成の特定の種類が第１のバージョンから第２のバージョンまでに変化があるか否かを出力する関数である。関数「IsChangedV」は、変化がある場合には「true」を出力し、変化がない場合には「false」を出力する。関数「IsChangedV」は、第１引数がテスト構成の種類を表し、第２引数が第１のバージョンを示す数値を表し、第３引数が第２のバージョンを示す数値を表す。第２引数および第３引数の数値は整数であり、「１」以上は特定のバージョン番号そのもの、「０」が現在のバージョン、「－１」が前回のバージョン、「－２」が２回前のバージョン、以下同様にマイナスの値が大きいほど過去のバージョンを意味する。

たとえば「IsChangedV(Ts_x, -1,0)」は、前回の実行時から今回までにテストスクリプトＴｓに変化があるか否かを出力する。ただし第３引数はデフォルト引数として「０」が設定されている。すなわち「IsChangedV(Ts_x, -1)」と「IsChangedV(Ts_x, -1,0)」とは同じ入力を意味する。

図７は、変更履歴情報１０３の一例を示す図である。変更履歴情報１０３は、テストの構成物の変更履歴を示す情報である。変更履歴情報１０３は複数のレコードから構成され、各レコードは、種類１０３１と、構成ＩＤ１０３２と、バージョン１０３３と、変更日時１０３４と、のフィールドを有する。種類１０３１は、テスト対象ソフトウエアＳｒｃ、テストデータＤａｔ、テストスクリプトＴｓ、およびテスト環境Ｅｎｖのいずれかを示す情報である。構成ＩＤ１０３２は、構成を特定する情報である、構成情報１００において示した構成ＩＤ１００１のいずれかである。バージョン１０３３は、構成のバージョンを特定する情報である。

なお本実施の形態では説明を簡潔にするために同一の構成ではバージョン番号が同一とするが、同一構成内でもバージョン番号が異なってもよい。その場合にはそれぞれのバージョン番号を指定する情報がバージョン１０３３となる。変更日時１０３４は、バージョンが変更された日時である。図３の例を前提とする図６の例によれば、テストスクリプトＴｓの構成ＩＤが「Ｋ１」である「自動実行スクリプト」は、バージョン「１」が日本時間の「２０２１年２月３日 ４時５分３２秒」に作成されたことが示されている。

図８は、テスト実行情報１０４の一例を示す図である。テスト実行情報１０４は、各テストの構成およびテストの実行を管理する情報である。前述のテストケースは、構成のバージョンを特定していなかったが、テスト実行情報１０４ではバージョンも特定されている。テスト実行情報１０４は複数のレコードから構成され、各レコードは、テスト実行ＩＤ１０４１、テストケースＩＤ１０４２、構成ＩＤとバージョン１０４３、優先度１０４４、およびテスト状態１０４５のフィールドを有する。

テスト実行ＩＤ１０４１は、テストを気別する識別子であり、「Ｅ」と数字の組合せで表される。テストケースＩＤ１０４２は、テストケース情報１０１におけるテストケースＩＤ１０１１と同一である。構成ＩＤとバージョン１０４３は、テストスクリプトＴｓ、テストデータＤａｔ、テスト対象ソフトウエアＳｒｃ、およびテスト環境Ｅｎｖのそれぞれについての、各構成の構成ＩＤおよびバージョン番号である。具体的には、テストケース情報１０１における構成ＩＤ１０１１と、スコア集計情報１０５におけるバージョン１０５３との組合せである。なおテストケースＩＤと、構成ＩＤとの組合せはテストケース情報１０１に示されているので、この点でテストケース情報１０１とテスト実行情報１０４の情報は重複している。

優先度１０４４は、テストを実行する優先度である。優先度１０４４が「高」に設定されたレコードのテスト実行ＩＤにより特定されるテストは、優先度１０４４が「低」に設定されたレコードのテスト実行ＩＤにより特定されるテストよりも先に実行される。

テスト状態１０４５は、テストの実行前後、またはテストの実行結果を示す情報である。図８に示す例では、テスト状態１０４５の「成功」および「失敗」はテストを実行済みであることを示し、テスト状態１０４５の「未開始」はテストを実行していないことを示す。テスト状態１０４５の「成功」は実行済みのテストが成功したことを示し、テスト状態１０４５の「失敗」は実行済みのテストが失敗したことを示す。本実施の形態においてテストの成功とは、テスト対象ソフトウエアＳｒｃの実行結果が開発者の意図したとおりであったことを意味する。本実施の形態においてテストの失敗とは、テスト対象ソフトウエアＳｒｃの実行結果が開発者の意図したとおりではなかったことを意味する。

図９は、スコア集計情報１０５の一例を示す図である。スコア集計情報１０５は、テストごとの失敗原因スコアの集計結果および推定される失敗の原因を示す表である。スコア集計情報１０５は、スコア算出部１５１および推定部１５２により生成される。スコア集計情報１０５は複数のレコードから構成され、各レコードは、テスト実行ＩＤ１０５１、失敗原因スコア１０５２、ルールＩＤ１０５３、および推定失敗原因１０５４のフィールドを有する。テスト実行ＩＤ１０５１は、テスト実行情報１０４のテスト実行ＩＤ１０４１と同一である。失敗原因スコア１０５２は、スコア計算ルール情報１０２に基づきスコア算出部１５１により算出される値である。ルールＩＤ１０５３は、スコア算出部１５１により入力されるルールＩＤ１０２１の列挙である。推定失敗原因１０５４は、推定部１５２により推定される失敗の原因である。

図１０は、名称対応情報１０６の一例を示す図である。名称対応情報１０６は、符号と名称の対応表であり、具体的にはテスト失敗要因の種類ＩＤと、失敗要因種類、すなわち構成の種類との対応を示す。

図１１は、出力装置３への出力例を示す図である。具体的には、ある１つのテスト実行結果に対する解析結果の一例を示している。図１１に示す例では、テスト実行ＩＤが「Ｅ１」の結果を示しており、上部にはテスト実行ＩＤと、そのテストにおけるテストケースのＩＤが示される。画面中央には、失敗要因、構成ＩＤ、バージョン、失敗原因、スコア、およびルールＩＤの一覧表が表示される。失敗要因には、テストスクリプトＴｓ、テストデータＤａｔ、テスト対象ソフトウエアＳｒｃ、およびテスト環境Ｅｎｖのそれぞれの名称が格納される。構成ＩＤおよびバージョンには、対象となるテスト、この例ではテスト実行ＩＤが「Ｅ１」のテストにおける構成ＩＤとバージョンが表示される。

失敗原因には、失敗の原因と推定される項目に「ＹＥＳ」が表示される。スコアおよびルールＩＤには、失敗原因スコアと、そのスコア値の要因となったルールＩＤが表示される。図１１に示す例では、ルールＩＤが「Ｒ１」のルールのみが該当し、テストスクリプトＴｓの失敗原因スコアのみに加算がされた。そのため４つのうち最もスコアタが高いのはテストスクリプトＴｓなので、テストスクリプトの失敗原因の欄に「ＹＥＳ」が表示されている。なお、適用されるルールが複数存在する場合にはルールＩＤの欄には複数のルールＩＤが記載される。

図１２は、スコア算出部１５１の処理を示すフローチャートである。以下に説明するスコア算出部１５１の処理は、１つ以上のテストの実行が完了し、テスト実行情報１０４の１つ以上のレコードが完成している状態で実行が開始される。またこの場合に、スコア集計情報１０５にはテスト実行情報１０４に記載されているテスト実行ＩＤのレコードは記載されていない。たとえばテスト実行情報１０４にはＥ１～Ｅ３の３つのレコードが記録され、スコア集計情報１０５には何ら情報が記録されていない状態で以下に説明するスコア算出部１５１の処理が開始される。

ステップＳ３０１ではスコア算出部１５１は、スコア集計情報１０５にレコードを追加し、処理対象とするテスト実行ＩＤを記載する。続くステップＳ３０２ではスコア算出部１５１は、テスト状態１０４５が「失敗」のレコードを１つ読み込む。テスト状態１０４５が「失敗」のレコードが複数存在する場合には、まだ読み込んでいないいずれか１つのレコードを読み込む。以下では、本ステップにおいて読み込んだレコードを「対象テストレコード」と呼ぶ。

続くステップＳ３０３ではスコア算出部１５１は、スコア計算ルール情報１０２から利用フラグ１０２４が「ＴＲＵＥ」のレコードを読み込む。利用フラグ１０２４が「ＴＲＵＥ」のレコードが複数存在する場合には、まだ読み込んでいないいずれか１つのレコードを読み込む。以下では、本ステップにおいて読み込んだレコードを「対象ルールレコード」と呼ぶ。続くステップＳ３０４ではスコア算出部１５１は、対象テストレコードおよび対象ルールレコードを用いて、スコア算出処理を実行する。スコア算出処理の詳細は後述する。

続くステップＳ３０５ではスコア算出部１５１は、スコア計算ルール情報１０２を参照し、また対象ルールレコードとしていない利用フラグ１０２４が「ＴＲＵＥ」のレコードが存在するか否かを判断する。利用フラグ１０２４が「ＴＲＵＥ」のレコードがまだ他に存在すると判断する場合はステップＳ３０３に戻り、利用フラグ１０２４が「ＴＲＵＥ」のレコードはもう他に存在しないと判断する場合はステップＳ３０６に進む。

ステップＳ３０６ではスコア算出部１５１は、まだ対象テストレコードとしていないテスト状態１０４５が「失敗」のレコードが存在するか否かを判断する。テスト状態１０４５が「失敗」のレコードがまだ他に存在すると判断する場合はステップＳ３０２に戻り、テスト状態１０４５が「失敗」のレコードが他に存在しないと判断する場合は図１２に示す処理を終了する。たとえばテスト実行情報１０４にテスト状態１０４５が「失敗」のレコードが３つあり、スコア計算ルール情報１０２に利用フラグ１０２４が「Ｔｒｕｅ」のレコードが５つある場合には、ステップＳ３０４のスコア算出処理は、３と５の積で１５回実行される。

図１３は、図１２におけるステップＳ３０４、すなわちスコア算出処理の詳細を説明するフローチャートである。ステップＳ３１１ではスコア算出部１５１は、対象ルールレコードにおける条件式を評価する。具体的にはスコア算出部１５１は、条件式の値を算出して条件の成否を判断する。続くステップＳ３１２ではスコア算出部１５１は、ステップＳ３１１における評価の結果に従い、対象ルールレコードにおける条件を満たすか否かを判断する。スコア算出部１５１は、条件を満たすと判断する場合はステップＳ３１３に進み、条件を満たさないと判断する場合は図１３に示す処理を終了する。

ステップＳ３１３ではスコア算出部１５１は、スコア集計情報１０５における図１２のステップＳ３０１で追加したレコードのルールＩＤ１０５３に、対象ルールレコードのルールＩＤ１０２１を追加する。ただし加算値１０２３がゼロの失敗原因には追加しない。たとえば、対象テストレコードが図７の最上段に示す「Ｅ１」のレコードで、対象ルールレコードが図５の最上段に示す「Ｒ１」のレコードの場合には、テストスクリプトＴｓ以外は値がゼロなので、スコア集計情報１０５のルールＩＤ１０５３には「Ｔｓ」の欄のみ「Ｒ１」を記載し、他の欄には記載しない。

続くステップＳ３１４ではスコア算出部１５１は、スコア集計情報１０５の失敗原因スコア１０５２に対象ルールレコードの加算値１０２３を失敗原因スコア１０５２に加算して図１３に示す処理を終了する。ただしスコアの初期値はゼロなので、１つのルールしか該当しない場合には、失敗原因スコア１０５２の値は該当するルールの加算値１０２３の値そのものになる。スコア算出部１５１による処理が完了すると、スコア集計情報１０５の各レコードは、テスト実行ＩＤ１０５１、失敗原因スコア１０５２、およびルールＩＤ１０５３が記載された状態になり、推定失敗原因１０５４は空欄のままとなる。

推定部１５２は、スコア算出部１５１が生成したスコア集計情報１０５の各レコードの推定失敗原因１０５４を記載する。具体的には推定部１５２はスコア集計情報１０５の各レコードにおいて失敗原因スコア１０５２の値を比較し、最大の値を有する失敗原因の名称を推定失敗原因１０５４に記載する。最大の値を有する失敗原因が複数存在する場合には、推定部１５２はそれらすべてを推定失敗原因１０５４に記載する。

表示生成部１５３は、テスト実行情報１０４、およびスコア集計情報１０５を参照して図１１に示した表示画面の映像を生成して入出力インタフェース８５に出力する。まず表示生成部１５３は、表示対象とするテストのテスト実行ＩＤが外部から指定されて処理が開始される。表示生成部１５３は、指定されたテスト実行ＩＤを画面右上に、たとえば「Ｅ１」と記載する。

次に表示生成部１５３は、指定されたテスト実行ＩＤに対応するテスト実行情報１０４のレコードを特定する。そして特定されたレコードに記載されたテストケースＩＤ１０４２、および構成ＩＤとバージョン１０４３の値を画面に転記する。さらに表示生成部１５３は、指定されたテスト実行ＩＤに対応する、スコア集計情報１０５のレコードを特定し、失敗原因スコア１０５２およびルールＩＤ１０５３の値を画面に転記する。最後に表示生成部１５３は、推定失敗原因１０５４に対応する失敗原因の欄に「ＹＥＳ」を記載して処理を終了する。

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）解析装置１は、テストを実行する環境であるテスト環境Ｅｎｖにおいて、テスト対象ソフトウエアＳｒｃのテストが失敗した際の原因を特定する。このテストでは、テスト対象ソフトウエアの実行と実行結果の確認が、人が介入することなくテストスクリプトＴｓにより実行される。テストデータＤａｔは、テストの実行時にテスト対象ソフトウエアＳｒｃおよびテストスクリプトＴｓに読み込まれるデータである。テスト対象ソフトウエアＴｓ、テストデータＤａｔ、テストスクリプトＴｓ、およびテスト環境Ｅｎｖのそれぞれについて、変更の有無に基づき失敗原因スコア１０５２を算出するスコア算出部１５１と、失敗原因スコア１０５２に基づき、テストが失敗した原因が、テスト対象ソフトウエアＳｒｃ、テストデータＤａｔ、テストスクリプトＴｓ、およびテスト環境Ｅｎｖのいずれであるかを特定する推定部１５２と、を備える。そのため、テストが失敗した原因がテスト対象ソフトウエアＳｒｃ、テストデータＤａｔ、テストスクリプトＴｓ、およびテスト環境Ｅｎｖのいずれであるかを特定することができる。

ソフトウエアのテストは、テスト対象ソフトウエアＳｒｃの品質向上を目的として行われるが、テストを構成する他の要素、すなわちテストデータＤａｔ、テストスクリプトＴｓ、およびテスト環境Ｅｎｖが原因で失敗することがある。テスト環境Ｅｎｖなどを含めたテストの全般に詳しい熟練者ならば、テストが失敗した原因を早期に突き止めることができるが、経験の浅い者にはテストが失敗した原因を特定することが容易ではない。しかし解析装置１を用いることで、熟練者以外でもテストが失敗した原因を容易に特定でき、ソフトウエア開発の効率を向上できる。

（２）解析装置１は、条件式１０２２と、条件式１０２２に該当した場合に加算される失敗原因スコアの加算値１０２３との組合せを複数含むスコア計算ルール情報１０２が格納される記憶部８４を備える。スコア算出部１５１は、スコア計算ルール情報１０２に基づき失敗原因スコア１０５２を算出する。解析装置１は、失敗原因スコア１０５２および失敗原因スコア１０５２の算出に用いられた条件式を示す情報であるルールＩＤ１０５３を含む映像情報、たとえば図１１に示したもの、を生成する表示生成部１５３と、表示生成部１５３が生成する映像情報を出力装置３に出力する入出力インタフェース８５と、を備える。そのため解析装置１は、ユーザに失敗原因を特定した理由を提示できる。

（３）条件式１０２２は、テスト対象ソフトウエアＳｒｃ、テストデータＤａｔ、テストスクリプトＴｓ、およびテスト環境Ｅｎｖのそれぞれの構成要素である詳細構成要素の変更に関するものである。そのため解析装置１は、客観的な事実を用いて失敗の原因を特定できる。

（変形例１）
上述した第１の実施の形態では、解析装置１は１つのハードウエア装置として説明した。しかし、解析装置１と同様の機能を複数のハードウエア装置が分担して実現する、解析システムとして構成されてもよい。

―第２の実施の形態―
図１４～図３１を参照して、解析装置の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、スコア計算ルール情報１０２を生成する点で、第１の実施の形態と異なる。

図１４は第２の実施の形態における解析装置１Ａの機能構成図である。本実施の形態における解析装置１Ａは、第１の実施の形態の構成に加えて、ルール生成部１６１と、テスト追加実行部１６２と、優先度変更部１６３と、失敗原因修正部１６４とをさらに備える。また記憶部Ｍには、要素定義情報１１１と、要素関連情報１１２と、条件式初期値１１３と、詳細構成情報１１４と、詳細関連情報１１５とがさらに格納される。また記憶部Ｍには、テストケース情報１０１の代わりに拡張テストケース情報１０１Ａが格納され、スコア計算ルール情報１０２の代わりにスコア計算拡張ルール情報１０２Ａが格納され、スコア集計情報１０５の代わりに拡張スコア集計情報１０５Ａが格納される。さらに、スコア算出部１５１Ａおよび表示生成部１５３Ａの動作が第１の実施の形態と異なる。

第１の実施の形態では、記憶部８４に格納される情報のほとんどがあらかじめ作成されていたが、本実施の形態ではこの限りではない。本実施の形態では、構成情報１００、変更履歴情報１０３、名称対応情報１０６、要素定義情報１１１、要素関連情報１１２、条件式初期値１１３、詳細構成情報１１４、および詳細関連情報１１５があらかじめ作成される。拡張テストケース情報１０１Ａは、一部のレコードがテスト追加実行部１６２により追加される。スコア計算拡張ルール情報１０２Ａは、ルール生成部１６１により生成される。ただしスコア計算拡張ルール情報１０２Ａにあらかじめいくつかのレコードが記録されていてもよい。テスト実行情報１０４は、一部のレコードがテスト追加実行部１６２により書き込まれ、一部のレコードの優先度１０４４が優先度変更部１６３により書き込まれる。拡張スコア集計情報１０５Ａは、失敗原因修正部１６４により一部のフィールドに書き込まれる。

図１５は、拡張テストケース情報１０１Ａの一例を示す図である。拡張テストケース情報１０１Ａは、第１の実施の形態におけるテストケース情報１０１の各レコードに、確認１０１３のフィールドが追加されている。確認１０１３はテストの結果をコンピュータとオペレータのいずれが判断するかを示す。確認１０１が「自動」であるテストケースは、テストスクリプトＴｓによりテストの結果が成功および失敗のいずれであるかが判断される。確認１０１が「手動」であるテストケースは、オペレータによりテストの結果が成功および失敗のいずれであるかが判断される。

図１６は、スコア計算拡張ルール情報１０２Ａの一例を示す図である。スコア計算拡張ルール情報１０２Ａは、第１の実施の形態におけるスコア計算ルール情報１０２の各レコードに、詳細化状態１０２５および信頼度１０２６のフィールドが追加されている。詳細化状態１０２５は、既存のルールをもとに詳細なルールを作成する過程で書き換えられる。具体的には詳細化状態１０２５は、初期状態の「未詳細化」から、「詳細化中」および「差分値未計算」を経て、最終の「完了」に遷移する。信頼度１０２６は、ルールの信頼性を示す０～１．０の数値であり、初期値は最も信頼が高いことを示す「１．０」である。

スコア計算拡張ルール情報１０２Ａには、第１の実施の形態の蹴るスコア計算ルール情報１０２にはない、以下の条件式が含まれる。関数「IsChangedT」は、テスト構成の特定の種類が第１の時刻から第２の時刻までに変化があるか否かを出力する関数である。変化がある場合には「true」を出力し、変化がない場合には「false」を出力する。関数「IsChangedT」は、第１引数がテスト構成の種類を表し、第２引数が第１の時刻を示す数値を表し、第３引数が第２の時刻を示す数値を表す。関数「IsSuccess」は、引数が条件式であり、引数の条件式の評価結果が「true」であるか否かを出力する。

図１７は、拡張スコア集計情報１０５Ａの一例を示す図である。拡張スコア集計情報１０５Ａは、第１の実施の形態におけるスコア集計情報１０５の各レコードに、ユーザ入力１０５５のフィールドが追加されている。ユーザ入力１０５５は、ユーザが入力したテストの失敗原因であり、テストスクリプトＴｓ、テストデータＤａｔ、テスト対象ソフトウエアＳｒｃ、およびテスト環境Ｅｎｖのいずれかである。テストが実行されると、推定失敗原因１０５４とユーザ入力１０５５の少なくとも一方のフィールドが入力される。

図１８は、要素定義情報１１１の一例を示す図である。要素定義情報１１１は、構成要素の種類ごとに分類を細分化した要素種類を示す。すなわち、第１の実施の形態の冒頭において各テストは、テストスクリプトＴｓ、テストデータＤａｔ、テスト対象ソフトウエアＳｒｃ、およびテスト環境Ｅｎｖの４つの構成要素からなると説明したが、各構成要素の種類を細分化したのが要素種類である。要素定義情報１１１は複数のレコードから構成され、各レコードは種類１１１１、要素種類１１１２、および構成名称１１１３のフィールドを有する。種類１１１１は、テストの構成要素であるいずれの種類であるかを示す。要素種類１１１２は、細分化された構成の種類である。構成名称１１１３は、詳細構成の名称である。なお以下では、要素種類を「詳細構成要素」とも呼ぶ。

この図１８に示す例では、Ｓｒｃは、インタフェースであるＳｒｃＩｆと、定数・変数ＳｒｃＶと、処理ロジックＳｒｃＬｏｇｉｃと、コメントＳｒｃＣｍｔと、コンポーネントＳｒｃＣｏｍｐに細分化されることが示されている。なお図１８に示す例ではいずれの種類も２つ以上の構成に細分化されているが、全ての種類を細分化することは必須の構成ではなく少なくとも１つの種類の構成が細分化されればよい。なお詳しくは後述するが、要素種類も分類にすぎず具体的な構成を示すものではない。そのため、要素種類に個別ＩＤを組み合わせることで具体的な構成と対応付ける。

図１９は、要素関連情報１１２の一例を示す図である。要素関連情報１１２は、詳細構成同士の関連を示す。要素関連情報１１２は１以上のレコードから構成され、各レコードは要素Ａ１１２１、要素Ｂ１１２２、および関連性１１２３のフィールドを有する。要素Ａ１１２１および要素Ｂ１１２２は、いずれかの詳細構成を示す。関連性１１２３は、要素Ａ１１２１と要素Ｂ１１２２との関係を示す。図１９の最初のレコードに示す例では、関連性１１２３は「ＡからＢへの一方向」なので、要素Ａ１１２１の変更が要素Ｂ１１２２に影響するが、要素Ｂ１１２２の変更は要素Ａ１１２１には影響しないことが示されている。

２番目のレコードにおける関連性１１２３は「双方向」なので、いずれを変更しても他方に影響があることが示されている。なお要素Ａと要素Ｂは便宜的なものであり、最初のレコードにおいて要素Ａと要素Ｂとを入れ替えて、関連性１１２３を逆方向の「ＢからＡへの一方向」としても同じことを意味する。

図２０は、条件式初期値１１３の一例を示す図である。条件式初期値１１３は、ルール生成部１６１が読み込んで、複数の条件式１０２２を生成するための初期値である。条件式初期値１１３は１以上のレコードから構成され、各レコードは初期式ＩＤ１１３１と条件式１１３２とを含む。初期式ＩＤ１１３１は、初期式の識別子である。条件式１１３２は、初期の条件式である。詳しくは後述するが、ルール生成部１６１がこの条件式１１３２を用いて様々な条件式を作成する。

図２１は、詳細構成情報１１４の一例を示す図である。詳細構成情報１１４は、構成の種類ごとの構成ＩＤと、詳細構成の具体的な構成、すなわち要素種類と個別ＩＤの組合せとの対応を示す情報である。要素定義情報１１１においてテストの構成の種類ごとに詳細な分類を説明したが、それらはあくまで分類であり具体的な構成ではない。そのため本実施の形態では、要素種類と個別ＩＤとを組み合わせることで具体的な構成と対応付ける。詳細構成情報１１４は、構成１１４１と詳細構成１１４２との対応を示しており、具体的には種類ごとの構成ＩＤと、要素種類および個別ＩＤの組合せとの対応を示している。

図２２は、詳細関連情報１１５の一例を示す図である。詳細関連情報１１５は、具体的な構成同士の関連であり、要素関連情報１１２に示される種別同士の一般的な相関よりも具体的な点が異なる。詳細関連情報１１５は１以上のレコードから構成され、各レコードは要素Ｘ１１５１、要素Ｙ１１５２、関係１１５３、および類似度１１５４のフィールドを有する。要素Ｘ１１５１および要素Ｙ１１５２は、具体的な構成を特定する、要素種類と個別ＩＤとの組合せである。関係１１５３は要素Ｘ１１５１と要素Ｙ１１５２の関係であり、「類似」、「ＸがＹに依存」、および「ＹがＸに依存」のいずれかである。類似度１１５４は、要素Ｘ１１５１と要素Ｙ１１５２とが類似する度合いであり、０～１の値で表される。なお、関係１１５３が「類似」の場合のみ類似度１１５４に値が設定される。

図２３は、表示生成部１５３Ａによる出力装置３への出力例を示す図である。具体的には、ある１つのテスト実行結果に対する解析結果と、ユーザによる入力の一例を示している。表示生成部１５３Ａは、第１の実施の形態における表示生成部１５３の処理を行い、さらにユーザによる入力装置２を用いた入力操作を出力装置３に反映させる。第１の実施の形態における図１０との相違点は、失敗原因の欄が「計算」と「ユーザ指定」とに細分化されたことである。「計算」と「ユーザ指定」のうち、「計算」の欄には第１の実施の形態と同様に推定部１５２が推定した失敗の原因が「ＹＥＳ」で示される。「ユーザ指定」の欄にはユーザの入力により値が入力される。

「ユーザ指定」の欄は、たとえば符号Ｇ２１で示すようにラジオボタンが配置され、４つのうち１つのみをユーザは選択できる。ユーザがいずれかを選択した後で、符号Ｇ２２で示すボタンを選択することにより、ユーザが入力した値が解析装置１に拡張スコア集計情報１０５Ａのユーザ入力１０５５の値として入力される。図２３に示す例では、未選択が白丸で表され、選択が黒丸で表されている。

図２４および図２５は、ルール生成部１６１の処理を示すフローチャートである。ルール生成部１６１が処理を開始する時点では、スコア計算拡張ルール情報１０２Ａにはいくつかのレコードが存在してもよいし、一切のレコードが存在しなくてもよい。ルール生成部１６１はまずステップＳ３４１において、初期式１１３を読み込んで、全ての条件式１１３２をスコア計算拡張ルール情報１０２Ａの条件式１０２２の欄に転記し、詳細化状態１０２５、信頼度１０２６、および利用フラグ１０２４に初期値を設定する。具体的には、詳細化状態１０２５には「未詳細化」、信頼度１０２６には「１．０」、利用フラグ１０２４には「Ｔｒｕｅ」を設定して次のステップＳ３４２に進む。

続くステップＳ３４２ではルール生成部１６１は、スコア計算拡張ルール情報１０２Ａにおいて詳細化状態１０２５が「未詳細化」であるレコードを任意に１つ選択する。以下では、ステップＳ３４２において選択したレコードを「詳細化対象レコード」と呼ぶ。続くステップＳ３４３ではルール生成部１６１は、ステップＳ３４２において選択した詳細化対象レコードの詳細化状態１０２５を「詳細化中」に変更する。続くステップＳ３４４ではルール生成部１６１は、詳細化対象レコードを対象に後述する条件式追加処理を実行し、続くステップＳ３４５ではルール生成部１６１は、処理対象レコードの詳細化状態１０２５を「差分値未計算」に変更する。

続くステップＳ３４６ではルール生成部１６１は、スコア計算拡張ルール情報１０２Ａに詳細化状態１０２５が「未詳細化」であるレコードが存在するか否かを判断する。ルール生成部１６１は、詳細化状態１０２５が「未詳細化」であるレコードがまだ存在すると判断する場合にはステップＳ３４２に戻り、詳細化状態１０２５が「未詳細化」であるレコードはもう存在しないと判断する場合は丸囲みのＡを経由して図２５のステップＳ３５０に進む。

図２５のステップＳ３５０ではルール生成部１６１は、スコア計算拡張ルール情報１０２Ａにおいて詳細化状態１０２５が「差分値未計算」であるレコードを任意に１つ選択する。以下では、ステップＳ３４２において選択したレコードを「差分対象レコード」と呼ぶ。続くステップＳ３４３ではルール生成部１６１は、差分対象レコードの詳細化状態１０２５を「詳細化中」に変更する。続くステップＳ３４４ではルール生成部１６１は、差分対象レコードを対象に後述する差分地算出理を実行し、続くステップＳ３４５ではルール生成部１６１は、差分対象レコードの詳細化状態１０２５を「完了」に変更する。

続くステップＳ３５４ではルール生成部１６１は、スコア計算拡張ルール情報１０２Ａに詳細化状態１０２５が「差分値未計算」であるレコードが存在するか否かを判断する。ルール生成部１６１は、詳細化状態１０２５が「差分値未計算」であるレコードがまだ存在すると判断する場合にはステップＳ３５０に戻り、詳細化状態１０２５が「差分値未計算」であるレコードはもう存在しないと判断する場合はステップＳ３５５に進む。

ステップＳ３５５ではルール生成部１６１は、スコア計算拡張ルール情報１０２Ａにおいて加算値１０２３の４種類全てのスコアが所定の閾値、たとえば０．５未満であるレコードの利用フラグ１０２４を「Ｆａｌｓｅ」に変更する。続くステップＳ３５６ではルール生成部１６１は、スコア計算拡張ルール情報１０２Ａにおいて信頼度１０２６の値が所定の閾値、たとえば０．４未満であるレコードの利用フラグ１０２４を「Ｆａｌｓｅ」に変更して図２５に示す処理を終了する。

図２６および図２７は、図２４におけるステップＳ３４４の処理、すなわち条件式追加処理の詳細を示すフローチャートである。以下では個別に説明しないが、図２６および図２７において生成した条件式は周防筧さん拡張ルール情報１０２Ａの新たなレコードに追加されるが、このレコードの詳細化状態１０２５ははじめから「完了」に設定される。また、信頼度１０２６が「１」に設定され、利用フラグ１０２４が「Ｔｒｕｅ」に設定される点は、先ほどと同様である。

前述のように、条件式追加処理が実行される前に詳細化対象レコードが決定されている。まずステップＳ３６１においてルール生成部１６１は、詳細化対象レコードにおける条件式は上位概念、すなわちＴｓ、Ｄａｔ、Ｓｒｃ、およびＥｎｖのいずれかを含むか否かを判断する。ルール生成部１６１は、いずれかの上位概念を含むと判断する場合はステップＳ３６２に進み、いずれの上位概念も含まないと判断する場合はステップＳ３６３に進む。

ステップＳ３６２ではルール生成部１６１は、要素定義情報１１１を参照して、上位概念をそれぞれの下位概念に置き換えた条件式をスコア計算拡張ルール情報１０２Ａの新たなレコードに追加してステップＳ３６３に進む。たとえば詳細化対象レコードの条件式がＳｒｃを含む場合には、条件式のＳｒｃを、ＳｒｃＩｆ、ＳｒｃＶ、ＳｒｃＬｏｇｉｃ、ＳｒｃＣｍｔ、ＳｒｃＣｏｍｐのそれぞれに置き換えた５つの条件式を追加する。なお、追加されたレコードの詳細化状態１０２５などには初期値、すなわち詳細化状態１０２５には「未詳細化」、信頼度１０２６には「１．０」、利用フラグ１０２４には「Ｔｒｕｅ」が設定される。

ステップＳ３６３ではルール生成部１６１は、詳細化対象レコードにおける条件式およびステップＳ３６２において追加された条件式が、要素関連情報１１２に含まれるいずれかの要素種類を含むか否かを判断する。ルール生成部１６１は、要素関連情報１１２に含まれるいずれかの要素種類を含むと判断する場合はステップＳ３６４に進み、要素関連情報１１２に含まれるいずれの要素種類も含まないと判断する場合は、丸囲みのＢを経由して図２７に進む。

以下では、ステップＳ３６３において要素関連情報１１２に含まれると判断された要素種類と対になる要素種類を「相関要素」と呼ぶ。たとえば、詳細化対象レコードにおける条件式およびステップＳ３６２において追加された条件式のいずれかにＴｓＡｓが含まれていた場合には、図１９の例によれば２番目のレコードの記載から、ＳｒｃＬｏｇｉｃが相関要素と呼ばれる。

ステップＳ３６４ではルール生成部１６１は、要素関連情報１１２に含まれるいずれかの要素種類を含む条件式に対して、相関要素の変更があることを論理積とする条件式を追加する。たとえば、詳細化対象レコードにおける条件式およびステップＳ３６２において追加された条件式のいずれかが「IsChangedV(TsAs_x, -1) = true」の場合には、ステップＳ３６４において次の条件式が生成される。すなわち、既存の条件式に含まれる「ＴａＡｓ」は、「ＳｒｃＬｏｇｉｃ」に依存することが詳細関連情報１１５から判明すると、「ＳｒｃＬｏｇｉｃ」に変更があることを示す条件式である「IsChangedV(SrcLogic_x, -1) = true」との論理積である、「IsChangedV(TsAs_x, -1) = true && IsChangedV(SrcLogic_x, -1) = true」という条件式が追加される。この条件式がスコア計算拡張ルール情報１０２Ａにおいて「Ｒ１５」のルールＩＤで示されている。

続くステップＳ３６５ではルール生成部１６１は、要素関連情報１１２に含まれるいずれかの要素種類を含む条件式に対して、相関要素の変更がないことを論理積とする条件式を追加する。すなわちステップＳ３６３とは逆の条件との論理積をとる。すなわちステップＳ３６３の例と同様の前提に立てば、本ステップでは「IsChangedV(TsAs_x, -1) = true && IsChangedV(SrcLogic_x, -1) = false」という条件式が追加される。この条件式がスコア計算拡張ルール情報１０２Ａにおいて「Ｒ１６」のルールＩＤで示されている。ステップＳ３６５の処理が完了するとルール生成部１６１は丸囲みのＢを経由して図２７に進む。

図２７においてルール生成部１６１は、まずステップ３７１において、詳細化対象レコードにおける条件式およびステップＳ３６２において追加された条件式のいずれかが、時間指定を含むか否かを判断する。いずれかの条件式が時間指定を含むと判断する場合はステップＳ３７２に進み、いずれの条件式も時間指定を含まないと判断する場合はステップＳ３７３に進む。ステップＳ３７２ではルール生成部１６１は、時間指定を含む式において指定されている時間を補集合に置き換えた条件式をスコア計算拡張ルール情報１０２Ａの新たなレコードに追加してステップＳ３７３に進む。

ステップＳ３７３ではルール生成部１６１は、詳細化対象レコードにおける条件式およびステップＳ３６２において追加された条件式のいずれかが、バージョン指定を含むか否かを判断する。いずれかの条件式がバージョン指定を含むと判断する場合はステップＳ３７４に進み、いずれの条件式もバージョン指定を含まないと判断する場合はステップＳ３７５に進む。ステップＳ３７４ではルール生成部１６１は、バージョン指定を含む式において指定されているバージョンを補集合に置き換えた条件式をスコア計算拡張ルール情報１０２Ａの新たなレコードに追加してステップＳ３７５に進む。

ステップＳ３７５ではルール生成部１６１は、詳細化対象レコードにおける条件式およびステップＳ３６２において追加された条件式のいずれかが、時間指定またはバージョン指定を含むか否かを判断する。いずれかの条件式が時間指定またはバージョン指定を含むと判断する場合はステップＳ３７６に進み、いずれの条件式もバージョン指定を含まないと判断する場合は図２７に示す処理を終了する。

ステップＳ３７６ではルール生成部１６１は、時間指定またはバージョン指定を含む条件式に対して、直前のバージョンでテストが成功したことを追加の論理積とする条件式を追加して図２７に示す処理を終了する。たとえば、詳細化対象レコードにおける条件式およびステップＳ３６２において追加された条件式のいずれかが「IsChangedV(TsAs_x, -1) = true」の場合には、直前のバージョンでテストが成功したことを示す条件式である「IsSuccess(Replace(Ts, Version(Ts, -1)) = true」との論理積である、「IsChangedV(TsAs_x, -1) = true && IsSuccess(Replace(Ts, Version(Ts, -1)) = true」という条件式が追加される。

図２８は、図２５のステップＳ３５２における、差分値算出処理の詳細を示すフローチャートである。まずステップＳ３８１ではルール生成部１６１は、変数ｒＴｏｔａｌ、ｒＴｓ、ｒＤａｔ、ｒＳｒｃ、およびｒＥｎｖをゼロで初期化する。これらの変数は、トータル件数のカウント、Ｔｓのカウント、Ｄａｔのカウント、Ｓｒｃのカウント、Ｅｎｖのカウントに用いられるカウンタである。

続くステップＳ３８２ではルール生成部１６１は、テスト実行情報１０４からテスト状態１０４５が「成功」または「失敗」のレコードを１つ選択する。以下では、本ステップにおいて選択したレコードを「選択レコード」と呼ぶ。続くステップＳ３８３ではルール生成部１６１は、必要に応じて詳細構成情報１１４、詳細関連情報１１５、および変更履歴情報１０３を参照して選択レコードにおける条件式の条件を満たすか否かを判断する。ルール生成部１６１は条件式を満たすと判断する場合はステップＳ３８４に進み、条件式を満たさないと判断する場合はステップＳ３８６に進む。ステップＳ３８４ではルール生成部１６１は、変数ｒＴｏｔａｌの値を「１」だけ増加させ、続くステップＳ３８５ではルール生成部１６１は、ユーザが入力する失敗の原因に基づき、対応するｒＴｓ、ｒＤａｔ、ｒＳｒｃ、およびｒＥｎｖのいずれか１つの値を「１」だけ増加させてステップＳ３８６に進む。

ステップＳ３８６ではルール生成部１６１は、テスト状態１０４５が「成功」または「失敗」のレコードをすべて選択したか否かを判断する。すべて選択したと判断する場合はステップＳ３８７に進み、選択していないレコードがあると判断する場合はステップＳ３８２に戻る。ステップＳ３８７ではルール生成部１６１は、ｒＴｓ、ｒＤａｔ、ｒＳｒｃ、およびｒＥｎｖのそれぞれをｒＴｏｔａｌで除算する。続くステップＳ３８８ではルール生成部１６１は、ステップＳ３８７の算出結果をスコア計算拡張ルール情報１０２Ａの加算値１０２３の各欄に記載して、差分値算出処理を終了する。

図２９および図３０は、第２の実施の形態におけるスコア算出部１５１Ａの処理を示すフローチャートである。第１の実施の形態の図１２～図１３に示した処理との違いは、ステップＳ３０３とステップＳ３０４との間に処理が追加されている点である。本実施の形態では、ステップＳ３０３の処理が終了すると丸囲みのＣを経由して図３０に示す処理を行い、それらの処理が完了するとステップＳ３０４以降の処理を実行する。

図３０において、スコア算出部１５１Ａは条件式の評価に必要なすべてのテストが実行済であるか否かを判断する。スコア算出部１５１Ａは全てのテストが実行済であると判断する場合は図３０の処理を終了して図２９に戻り、条件式の評価に必要なテストが１つでも完了していないと判断する場合はステップＳ３９２に進む。ステップＳ３９２ではスコア算出部１５１Ａは、条件式の評価に必要であるが実行が予定されていないテストが存在するか否かを判断する。スコア算出部１５１Ａは、実行が予定されていないテストが存在すると判断する場合はステップＳ３９３に進み、必要なすべてのテストは実行が予定されていると判断する場合はステップＳ３９４に進む。

ステップＳ３９３ではスコア算出部１５１Ａは、条件式の評価に必要であり実行が予定されていないテストを実行するためのテスト項目をテスト追加実行部１６２に生成させてステップＳ３９４に進む。この際にテスト追加実行部１６２は、優先度１０４４を「高」に設定した新たなレコードをテスト実行情報１０４に追加する。ステップＳ３９４ではスコア算出部１５１Ａは、不図示のテスト実行部を呼び出して所定時間待機時間だけ待機した後でステップＳ３９１に戻る。以上が図３０に示す処理の説明である。なお本フローチャートではスコア算出部１５１Ａがテスト実行部を呼び出したが、テスト追加実行部１６２がテスト実行部を呼び出してもよい。

テスト実行部は、テスト実行情報１０４の記載に従ってテストを実行する。ただし実際のテストの実行内容は、該当するテストスクリプトＴｓに記載されているのでテスト実行部の動作の詳細は説明を省略する。

図３１は、テスト追加実行部１６２の処理を示すフローチャートである。ステップＳ４０１ではテスト追加実行部１６２は、テスト実行情報１０４においてテスト状態１０４５が「未開始」のレコードを優先度１０４４が高いほうから１つ読み込む。本ステップで読み込んだレコードを、本フローチャートの以下の説明では「実行レコード」と呼ぶ。続くステップＳ４０２ではテスト追加実行部１６２は、ステップＳ４０１において読み込んだ実行レコードのテストを実行するために、該当するテストスクリプトを実行する。たとえば図７における「Ｅ３」のテスト実行ＩＤを有するレコードを読み込んだ場合には、構成ＩＤは「Ｋ２」でバージョンが「Ｖ１」のテストスクリプトを実行する。

続くステップＳ４０３ではテスト追加実行部１６２は、拡張テストケース情報１０１Ａを参照して、実行するテストの確認１０１３の値が「自動」と「手動」のいずれであるかを判断する。テスト追加実行部１６２は、確認１０１３が「自動」であると判断する場合はステップＳ４０４に進み、確認１０１３が「手動」であると判断する場合はステップＳ４０５に進む。ステップＳ４０４ではテスト追加実行部１６２は、テストスクリプトが出力するテスト結果、すなわち「成功」または「失敗」を、テスト実行情報１０４における実行レコードのテスト状態１０４５に記録してステップＳ４０６に進む。

ステップＳ４０５ではテスト追加実行部１６２は、ユーザによる入力装置からの入力に基づき、テスト結果をテスト実行情報１０４における実行レコードのテスト状態１０４５に記録してステップＳ４０６に進む。ステップＳ４０６ではテスト追加実行部１６２は、テスト状態１０４５が「未開始」のレコードが存在するか否かを判断する。テスト追加実行部１６２は、「未開始」のレコードが存在すると判断する場合はステップＳ４０１に戻り、「未開始」のレコードが存在しないと判断する場合は図３１に示す処理を終了する。

上述した第２の実施の形態によれば、次の作用効果が得られる。
（４）条件式１０２２は、テスト対象ソフトウエアＳｒｃ、テストデータＤａｔ、テストスクリプトＴｓ、およびテスト環境Ｅｎｖのそれぞれの構成要素である詳細構成要素の変更、詳細構成要素同士の依存関係、ならびに詳細構成要素同士の類似関係に関するものである。そのため解析装置１は、複数の観点から失敗の原因を特定できる。

（５）解析装置１Ａは、スコア計算ルール情報の条件式におけるテスト対象ソフトウエアＳｒｃ、テストデータＤａｔ、テストスクリプトＴｓ、およびテスト環境Ｅｎｖのそれぞれを詳細構成要素に置き換えた新たな条件式をスコア計算拡張ルール情報１０２Ａに追加する、ルール生成部１６１をさらに備える。この処理は図２６のステップＳ３６１～Ｓ３６２に示されている。そのため、第１の実施の形態のようにユーザがスコア計算ルール情報１０２を全て用意する必要がない。

（６）ルール生成部１６１は、図２６のＳ３６３～Ｓ３６５に示すように、詳細構成要素同士の関連に基づいて新たな条件式をさらに追加する。そのため、第１の実施の形態のようにユーザがスコア計算ルール情報１０２を全て用意する必要がない。

（７）ルール生成部１６１は、図２７のＳ３７１～Ｓ３７６に示すようにスコア計算拡張ルール情報１０２Ａの条件式に含まれる時間またはバージョンを変更した新たな条件式を生成してスコア計算拡張ルール情報１０２Ａに追加する。そのため、第１の実施の形態のようにユーザがスコア計算ルール情報１０２を全て用意する必要がない。

（８）解析装置１Ａは、条件式１０２２を評価するために必要なテスト項目を新たに生成して実行させるテスト追加実行部１６２を備える。そのため、条件式の評価に必要なテストを追加で実行できる。

上述した各実施の形態および変形例において、機能ブロックの構成は一例に過ぎない。別々の機能ブロックとして示したいくつかの機能構成を一体に構成してもよいし、１つの機能ブロック図で表した構成を２以上の機能に分割してもよい。また各機能ブロックが有する機能の一部を他の機能ブロックが備える構成としてもよい。

上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１、１Ａ…解析装置
８４…記憶部
８５…入出力インタフェース
１０１…テストケース情報
１０１Ａ…拡張テストケース情報
１０２…スコア計算ルール情報
１０２Ａ…スコア計算拡張ルール情報
１０３…変更履歴情報
１０４…テスト実行情報
１０５…スコア集計情報
１０５Ａ…拡張スコア集計情報
１０６…名称対応情報
１５１、１５１Ａ…スコア算出部
１５２…推定部
１５３、１５３Ａ…表示生成部
１６１…ルール生成部
１６２…テスト追加実行部
１６３…優先度変更部
１６４…失敗原因修正部

Claims (8)

1. テストを実行する環境であるテスト環境において、テスト対象ソフトウエアのテストが失敗した際の原因を特定する解析装置であって、
   前記テストでは、テスト対象ソフトウエアの実行と実行結果の確認が、人が介入することなくテストスクリプトにより実行され、
   テストデータは、前記テストの実行時に前記テスト対象ソフトウエアおよび前記テストスクリプトに読み込まれるデータであり、
   テスト対象ソフトウエア、テストデータ、テストスクリプト、およびテスト環境のそれぞれについて、変更の有無に基づき失敗原因スコアを算出するスコア算出部と、
   失敗原因スコアに基づき、前記テストが失敗した原因が、テスト対象ソフトウエア、テストデータ、テストスクリプト、およびテスト環境のいずれであるかを推定する推定部と、を備える解析装置。
2. 請求項１に記載の解析装置において、
   条件式と、前記条件式に該当した場合に加算される前記失敗原因スコアの加算値との組合せを複数含むスコア計算ルール情報が格納される記憶部をさらに備え、
   前記スコア算出部は、前記スコア計算ルール情報に基づき前記失敗原因スコアを算出し、
   前記失敗原因スコアおよび前記失敗原因スコアの算出に用いられた前記条件式を示す情報を含む映像情報を生成する表示生成部と、
   前記表示生成部が生成する前記映像情報を表示部に出力する入出力インタフェースと、をさらに備える解析装置。
3. 請求項１に記載の解析装置において、
   条件式と、前記条件式に該当した場合に加算される前記失敗原因スコアの加算値との組合せを複数含むスコア計算ルール情報が格納される記憶部をさらに備え、
   前記条件式は、テスト対象ソフトウエア、テストデータ、テストスクリプト、およびテスト環境のそれぞれの構成要素である詳細構成要素の変更、前記詳細構成要素同士の依存関係、ならびに前記詳細構成要素同士の類似関係に関する、解析装置。
4. 請求項３に記載の解析装置において、
   前記スコア計算ルール情報の前記条件式におけるテスト対象ソフトウエア、テストデータ、テストスクリプト、およびテスト環境のそれぞれを前記詳細構成要素に置き換えた新たな条件式を前記スコア計算ルール情報に追加する、ルール生成部をさらに備える、解析装置。
5. 請求項４に記載の解析装置において、
   前記ルール生成部は、前記詳細構成要素同士の関連に基づいて新たな条件式をさらに追加する、解析装置。
6. 請求項４に記載の解析装置において、
   前記ルール生成部は、前記スコア計算ルール情報の前記条件式に含まれる時間またはバージョンを変更した新たな条件式を生成して前記スコア計算ルール情報に追加する、解析装置。
7. 請求項３に記載の解析装置において、
   前記条件式を評価するために必要なテスト項目を新たに生成して実行させるテスト追加実行部をさらに備える、解析装置。
8. テストを実行する環境であるテスト環境において、テスト対象ソフトウエアのテストが失敗した際の原因をコンピュータが特定する解析方法であって、
   前記テストでは、テスト対象ソフトウエアの実行と実行結果の確認が、人が介入することなくテストスクリプトにより実行され、
   テストデータは、前記テストの実行時に前記テスト対象ソフトウエアおよび前記テストスクリプトに読み込まれるデータであり、
   テスト対象ソフトウエア、テストデータ、テストスクリプト、およびテスト環境のそれぞれについて、変更の有無に基づき失敗原因スコアを算出することと、
   失敗原因スコアに基づき、前記テストが失敗した原因が、テスト対象ソフトウエア、テストデータ、テストスクリプト、およびテスト環境のいずれであるかを推定することと、を含む解析方法。
   

Images