JP2022136477A - テスト制御プログラム、情報処理装置およびテスト制御方法 - Google Patents

Abstract

【課題】リグレッションテストのエラー発生時における対処を得るための負荷の軽減を図る。【解決手段】情報処理装置１は、対象ソフトウェアの変更に伴い動作させる動作テストを実行する際に、対象ソフトウェアまたはテストプログラムの動作ログである第１ログと、テストプログラムの開始時刻および終了時刻を示す第２ログと、を記憶部に記録する。情報処理装置１は、特定のテストプログラムを用いた動作テストに関するエラーチェックを実行する場合に、第２ログに基づいて、第１ログの全体から特定のテストプログラムに対応するログを抽出する。情報処理装置１は、複数のエラーそれぞれについて、エラーに対応する第１ログを記憶したエラー情報に基づいて、抽出されたログの中からエラーに対応するログを特定する。【選択図】図８

Description

本発明は、テスト制御プログラムなどに関する。

ソフトウェア製品では、例えば、バージョンアップまたはレベルアップがされたり、修正パッチが適用されたりすることによる変更がされる場合がある。また、ソフトウェア製品を実行する環境において、ＯＳ（Operating System）または関連製品の修正が適用される場合がある。かかる場合には、ソフトウェア製品では、従来機能を保証するための確認テストが必要になる。従来機能の保証確認のテストは、リグレッションテスト（ＲＴ）と呼ばれる。

リグレッションテストの実施により期待した結果が得られなかった場合には、原因調査が必要になる。原因調査として、人がログファイルを用いて調査することが知られている。原因としては、該当製品または該当製品の修正パッチの不具合、関連製品または関連製品の修正パッチの不具合、テスト時に手動で環境構築したことによる環境構築の誤りなどが考えられる。該当製品または該当製品の修正パッチ、および、関連製品または関連製品の修正パッチは、リグレッションテストの実施の前に十分なテストが実施されている。このため、リグレッションテストの実施により期待した結果が得られなかった原因は、テスト時に手動で環境構築したことによる誤りであることが多い。

ここで、リグレッションテストの改善を試みる技術が開示されている（例えば、特許文献１参照）。かかる技術では、プログラムの変更が認証試験の各テスト項目の合否にどのように影響するのかを確認するために、リグレッションテストが実施される。かかる場合に、テスト装置は、既に実施したテスト結果情報がエラーの場合には、当該テスト結果情報に対応付いたテスト項目をスキップさせることで、テスト時間短縮を行う（例えば、特許文献１参照）。

特開２０１７－０３３１６１号公報

しかしながら、リグレッションテストの実施によりテスト結果がエラーの場合に、原因調査に時間を要するという問題がある。すなわち、原因調査として、人がログファイルを用いて調査するので、原因調査に時間を要する。特に、環境構築の誤りに起因するエラーの場合には、エラーの原因や対処を得るには負荷がかかる。

１つの側面では、リグレッションテストにおいて、エラー発生時における対処を得るための負荷を軽減することを目的とする。

１つの態様では、テスト制御プログラムは、対象ソフトウェアの変更に伴い動作させる動作テストを実行する際に、前記対象ソフトウェアまたはテストプログラムの動作ログである第１ログと、前記テストプログラムの開始時刻および終了時刻を示す第２ログと、を記憶部に記録し、特定のテストプログラムを用いた前記動作テストに関するエラーチェックを実行する場合に、前記第２ログに基づいて、前記第１ログの全体から前記特定のテストプログラムに対応するログを抽出し、複数のエラーそれぞれについて、エラーに対応する第１ログを記憶したエラー情報に基づいて、抽出されたログの中からエラーに対応するログを特定する、処理をコンピュータに実行させる。

１つの態様によれば、リグレッションテストにおいて、エラー発生時における対処を得るための負荷を軽減することができる。

図１は、実施例に係る情報処理装置の機能構成の一例を示すブロック図である。 図２は、実施例に係るテスト実行ファイルの一例を示す図である。 図３は、実施例に係るテストログの一例を示す図である。 図４は、実施例に係るテスト結果ログの一例を示す図である。 図５は、実施例に係るエラー出力ログの一例を示す図である。 図６は、実施例に係る製品／システムログの一例を示す図である。 図７は、実施例に係るエラー対照テーブルの一例を示す図である。 図８は、実施例に係る解析結果出力の一例を示す図である。 図９Ａは、実施例に係るエラー解析のフローチャートの一例を示す図（１）である。 図９Ｂは、実施例に係るエラー解析のフローチャートの一例を示す図（２）である。 図１０は、キーワードに基づくエラー解析処理のフローチャートの一例を示す図である。 図１１は、テスト制御プログラムを実行するコンピュータの一例を示す図である。

以下に、本願の開示するテスト制御プログラム、情報処理装置およびテスト制御方法の実施例を図面に基づいて詳細に説明する。なお、実施例によりこの発明が限定されるものではない。

［情報処理装置の構成］
図１は、実施例に係る情報処理装置の構成を示す機能ブロック図である。実施例に係る情報処理装置１は、対象のソフトウェア製品のリグレッションテストにおけるテスト時の環境構築の誤りに起因するエラーの原因と対処を自動的に特定し、出力する。ここでいうリグレッションテスト（ＲＴ）とは、対象のソフトウェア製品の変更に伴い、システムの従来機能の保証を確認するテストのことをいう。対象のソフトウェアの製品の変更には、当該製品のバージョンアップまたはレベルアップや、当該製品の修正パッチの適用が挙げられる。また、対象のソフトウェアの製品の変更には、ＯＳまたは関連製品の修正の適用が含まれる。

［情報処理装置の機能構成］
図１は、実施例に係る情報処理装置の機能構成の一例を示す図である。図１に示すように、情報処理装置１は、制御部１０と、記憶部２０とを有する。制御部１０は、情報処理装置１全体を司る処理部であり、テスト実行部１１、第１のエラー解析部１２、第２のエラー解析部１３および解析結果出力部１４を有する。なお、テスト実行部１１は、記録部の一例である。第１のエラー解析部１２は、抽出部の一例である。第１のエラー解析部１２および第２のエラー解析部１３は、特定部の一例である。

記憶部２０は、各種データや制御部１０が実行するプログラムなどを記憶する。例えば、記憶部２０は、テストプログラム２１、テスト実行ファイル２２、テストログ２３、テスト結果ログ２４、エラー出力ログ２５、製品／システムログ２６およびエラー対照テーブル２７を記憶する。

テストプログラム２１は、リグレッションテストに用いられるテスト用のプログラムである。テストプログラム２１は、１個存在しても良いし、複数個存在しても良い。各テストプログラム２１には、例えば、テスト項目に対応するコードやコマンドが記述される。

テスト実行ファイル２２は、テストを実行するために用いられるファイルである。テスト実行ファイル２２には、例えば、各テストプログラム２１の実行順に、各テストプログラム２１の開始時刻および終了時刻を、後述するテストログ２３へ出力する旨の指示が設定される。加えて、テスト実行ファイル２２には、各テストプログラム２１の実行時のエラーを後述するエラー出力ログ２５へ出力する旨の指示が設定される。この指示は、例えば、ＯＳのコマンドプロンプト上で利用できるコマンドによって設定される。なお、テスト実行ファイル２２は、例えば、バッチファイルであるが、これに限定されるものではない。

ここで、テスト実行ファイル２２の一例を、図２を参照して説明する。図２は、実施例に係るテスト実行ファイルの一例を示す図である。

図２に示すように、テスト実行ファイル２２には、テストプログラム２１として「Ｔｅｓｔ０１」が実行される場合のログを出力する旨の指示が設定されている。例えば、符号ａ１で示される行には、テストの開始時刻をテストログ２３として「ＴｅｓｔＬｏｇ．ｌｏｇ」へ出力する旨の指示が設定されている。符号ａ２で示される行には、テストプログラム２１として「Ｔｅｓｔ０１」の開始時刻をテストログ２３として「ＴｅｓｔＬｏｇ．ｌｏｇ」へ出力する旨の指示が設定されている。符号ａ３で示される行には、テストプログラム２１として「Ｔｅｓｔ０１」を実行する旨の指示が設定されている。さらに、実行した結果について、標準出力をエラー出力ログとしての「Ｔｅｓｔ０１．ｓｏｌｏｇ」へ出力する旨の指示と、標準エラー出力をエラー出力ログとしての「Ｔｅｓｔ０１．ｓｅｌｏｇ」へ出力する旨の指示が設定されている。また、テストプログラム２１としての「Ｔｅｓｔ０１」内でテスト結果がテスト結果ログ２４に出力されるように設定されている場合には、例えば、テスト結果ログ２４として「ＴｅｓｔＲｅｓｕｌｔ．ｌｏｇ」へテスト結果が出力される。そして、符号ａ４で示される行には、テストプログラム２１として「Ｔｅｓｔ０１」の終了時刻をテストログ２３として「ＴｅｓｔＬｏｇ．ｌｏｇ」へ出力する旨の指示が設定されている。

図１に戻って、テストログ２３、テスト結果ログ２４、エラー出力ログ２５および製品／システムログ２６は、テストを実行した結果の各種ログであり、エラー解析に用いられる。テストログ２３は、各テストプログラム２１の開始および終了のタイムスタンプを記憶する。テスト結果ログ２４は、各テストプログラム２１の判定結果を記憶する。判定結果には、例えば、成功を示す「Ｓｕｃｃｅｓｓ」または失敗を示す「Ｆａｉｌｕｒｅ」が記憶される。エラー出力ログ２５は、テストプログラム２１および対象のソフトウェア製品の標準出力や標準エラー出力を記憶する。エラー出力ログ２５は、標準出力や標準エラー出力をリダイレクトした出力先に記憶される。製品／システムログ２６は、対象のソフトウェア製品やシステムによって検出されたログを記憶する。

ここで、テストログ２３、テスト結果ログ２４、エラー出力ログ２５および製品／システムログ２６の一例を、図３～図６を参照して説明する。図３は、実施例に係るテストログの一例を示す図である。図３に示すように、テストログ２３のファイル名は、「ＴｅｓｔＬｏｇ．ｌｏｇ」である。テストログ２３は、テスト識別子（テスト番号）およびテストの各種タイムスタンプを対応付けて記憶する。各種タイムスタンプには、テストの開始時刻、テストプログラム２１の開始時刻および終了時刻などが挙げられる。一例として、符号ｂ１で示される行には、テスト番号が「０７」である場合のテストの開始時刻「Ｎｏｖ／２０２０ １３：４０：１８」が記憶されている。符号ｂ２で示される行には、テスト番号が「０７」である場合のテストプログラム２１として「Ｔｅｓｔ０１」の開始時刻「Ｎｏｖ／２０２０ １３：４０：２０」が記憶されている。符号ｂ３で示される行には、テスト番号が「０７」である場合のテストプログラム２１として「Ｔｅｓｔ０１」の終了時刻「Ｎｏｖ／２０２０ １３：４２：０８」が記憶されている。

図４は、実施例に係るテスト結果ログの一例を示す図である。図４に示すように、テスト結果ログ２４のファイル名は、「ＴｅｓｔＲｅｓｕｌｔ．ｌｏｇ」である。テスト結果ログ２４は、各テストプログラム２１の判定結果を記憶する。一例として、符号ｃ１で示される行には、テストプログラム２１が「Ｔｅｓｔ０１」である場合に、判定結果として失敗を示す「Ｆａｉｌｕｒｅ」を記憶している。

図５は、実施例に係るエラー出力ログの一例を示す図である。図５に示すように、エラー出力ログ２５における標準出力のファイル名は、「Ｔｅｓｔ０１．ｓｏｌｏｇ」である。「Ｔｅｓｔ０１．ｓｏｌｏｇ」は、標準出力のログを記憶している。エラー出力ログ２５における標準エラー出力のファイル名は、「Ｔｅｓｔ０１．ｓｅｌｏｇ」である。「Ｔｅｓｔ０１．ｓｅｌｏｇ」は、標準エラー出力のログを記憶している。

図６は、実施例に係る製品／システムログの一例を示す図である。図６に示すように、製品／システムログ２６のファイル名は、「ａｃｃｅｓｓ．ｌｏｇ」である。「ａｃｃｅｓｓ．ｌｏｇ」は、対象のソフトウェア製品やシステムによって検出されたログを記憶している。

図１に戻って、エラー対照テーブル２７は、過去に発生したエラーに対応するログ（エラー解析ルールテーブル）と、エラーに対応した調査コマンド（詳細調査テーブル）と、エラーに対する原因および対処（エラー原因情報テーブル）とを関連付けて記憶する。ここでいうエラーは、環境構築の誤りに起因するエラーである。環境構築の誤りに起因するエラーに関し、エラー対照テーブル２７は、予め過去ログなどから生成される。なお、後述する第１のエラー解析部１２および第２のエラー解析部１３が、エラー対照テーブル２７を用いて、テストプログラム２１を実行した結果出力されるエラーと照合することによって、出力されるエラーを解析する。

ここで、実施例に係るエラー対照テーブル２７の一例を、図７を参照して説明する。図７は、実施例に係るエラー対照テーブルの一例を示す図である。図７に示すように、エラー対照テーブル２７は、エラー解析ルールテーブル、詳細調査テーブルおよびエラー原因情報テーブルを含む。

エラー解析ルールテーブルは、原因特定の手掛かりとなるキーワードを蓄積する。例えば、エラー解析ルールテーブルは、Ｎｏ、ファイル名、キーワード、フラグおよびポインタを対応付けた情報である。Ｎｏは、項番を示す。ファイル名は、ログの種類に応じたファイルの名称である。ログの種類には、標準出力ログ、標準エラー出力ログ、製品／システムログなどが含まれる。キーワードは、過去に発生したエラーに対応するログの内容を示す。フラグは、原因判明フラグであり、キーワードに基づいて原因が判明するか否かを示すフラグである。フラグが「０」である場合には、原因が判明したことを示す。フラグが「１」である場合には、原因が判明せず、詳細な調査が必要であることを示す。ポインタは、フラグに応じた遷移先のアドレスを示す。ポインタは、フラグが「０」（原因判明）の場合には、エラー原因情報テーブルの所定のＮｏに対応するアドレスを示す。ポインタは、フラグが「１」（詳細調査）の場合には、詳細調査テーブルの所定のＮｏに対応するアドレスを示す。

詳細調査テーブルは、エラー解析ルールテーブルでキーワードと一致した場合に、より詳細な情報を取得するためのコマンド群を蓄積する。例えば、詳細調査テーブルは、Ｎｏ、コマンド、キーワード、フラグおよびポインタを対応付けた情報である。Ｎｏは、エラー解析ルールテーブルのポインタや詳細調査テーブルのポインタと紐付く。コマンドは、エラー原因について、より詳細な情報を取得するためのコマンドである。キーワードは、詳細な情報を示す。フラグは、原因判明フラグであり、キーワードに基づいて原因が判明するか否かを示すフラグである。フラグが「０」である場合には、原因が判明したことを示す。フラグが「１」である場合には、原因が判明せず、さらに詳細な調査が必要であることを示す。ポインタは、フラグに応じた遷移先のアドレスを示す。ポインタは、フラグが「０」（原因判明）の場合には、エラー原因情報テーブルの所定のＮｏに対応するアドレスを示す。ポインタは、フラグが「１」（詳細調査）の場合には、詳細調査テーブルの所定のＮｏに対応するアドレスを示す。なお、ポインタは、エラー原因情報テーブルを遷移先とする場合に限定されず、再び詳細調査テーブルを遷移先とする場合もある。

エラー原因情報テーブルは、エラーの原因および対処方法を蓄積する。例えば、エラー原因情報テーブルは、Ｎｏ、原因、対処、種別および詳細を対応付けた情報である。Ｎｏは、エラー解析ルール情報テーブルのポインタや詳細調査テーブルのポインタと紐付く。原因は、エラーの原因を示す。対処は、エラーの対処方法を示す。種別は、原因および対処から判別されるエラーの種別を示す。例えば、種別には、エラーの原因となった環境変数などが含まれる。詳細は、種別が設定されたファイルを示す。例えば、詳細には、環境変数が設定されたファイルの名称などが含まれる。

一例として、エラー解析ルールテーブルについて、Ｎｏが「３」である場合に、ファイル名として「ＳＴＤＯＵＴ（エラー出力）」、キーワードとして「ＡＤＰＴ－３２０００ メッセージの送信に失敗しました」と記憶している。加えて、フラグとして「１（詳細調査）」、ポインタとして「２０１」と記憶している。そして、詳細調査テーブルについて、Ｎｏが「２０１」である場合に、コマンドとして「ｌｉｓｔＣｌｕｓｔｅｒ」、キーワードとして「ｃｌｕｓｔｅｒ＿Ａが未起動」と記憶している。加えて、フラグとして「０（原因）」、ポインタとして「１０３」と記憶している。そして、エラー原因情報テーブルについて、Ｎｏが「１０３」である場合に、原因として「ｃｌｕｓｔｅｒ＿Ａが起動されていない」、対処として「ｃｌｕｓｔｅｒ＿Ａを起動する」、種別として「ｐｒｏｄｕｃｔ」と記憶している。

別例として、詳細調査テーブルを再び遷移先とする場合を説明する。エラー解析ルールテーブルについて、Ｎｏが「３」である場合に、ファイル名が「ＳＴＤＯＵＴ（エラー出力）」である場合に、キーワードとして「ＡＤＰＴ－３２０００ メッセージの送信に失敗しました」と記憶している。加えて、フラグとして「１（詳細調査）」、ポインタとして「２０１」と記憶している。そして、詳細調査テーブルについて、Ｎｏが「２０１」である場合に、コマンドとして「ｌｉｓｔＣｌｕｓｔｅｒ」、キーワードとして「サービスが起動されていない」と記憶している。加えて、フラグとして「１（詳細調査）」、ポインタとして「２０２」と記憶している。そして、再び詳細調査テーブルについて、Ｎｏが「２０２」である場合に、コマンドとして「ｌｉｓｔｓｅｒｖｉｃｅ」、キーワードとして「未起動」と記憶している。加えて、フラグとして「０（原因）」、ポインタとして「１０６」と記憶している。そして、エラー原因情報テーブルについて、Ｎｏが「１０６」である場合に、原因として「サービスが起動されていない」、対処として「サービスを起動する」と記憶している。

図１に戻って、テスト実行部１１は、対象ソフトウェアの製品の変更に伴い動作させるリグレッションテストを実行する。例えば、テスト実行部１１は、テスト実行ファイル２２を起動する。起動されたテスト実行ファイル２２は、ファイル内に記述されたコマンドに応じて、テストの開始時刻をテストログ２３に出力する。また、テスト実行ファイル２２は、記述されたコマンドに応じて、テストプログラム２１の開始時刻、終了時刻をテストログ２３に出力する。また、テスト実行ファイル２２は、記述されたコマンドに応じて、テストプログラム２１を実行し、テスト結果をテスト結果ログ２４に出力するとともに、エラーとなった箇所に応じてエラー情報をエラー出力ログ２５や製品／システムログ２６に出力する。

第１のエラー解析部１２は、リグレッションテストに関するエラー解析を実行する場合に、テストログ２３に基づいて、エラーログの全体から特定のテストプログラム２１に対応するログを抽出する。例えば、第１のエラー解析部１２は、テスト結果ログ２４からテストプログラム２１の名前とテスト結果を取得する。第１のエラー解析部１２は、テストログ２３を参照して、テスト結果が失敗を示すテストプログラム２１について、テストログ２３を参照して、開始時刻と終了時刻を取得し、開始時刻と終了時刻から得られるテスト実行時間帯を取得する。これにより、第１のエラー解析部１２は、テストログ２３からエラー解析の対称範囲を絞り込むことができる。そして、第１のエラー解析部１２は、エラー出力ログ２５および製品／システムログ２６から、対象のテストプログラム２１のテスト実行時間帯のログを抽出する。そして、第１のエラー解析部12は、抽出したログを一時フォルダに出力する。

また、第１のエラー解析部１２は、エラー対照テーブル２７に基づいて、抽出されたログの中からエラーに対応するログを特定する。例えば、第１のエラー解析部１２は、エラー対照テーブル２７のエラー解析ルールテーブルを参照して、抽出されたログの中でログの内容がキーワードと一致するログを特定する。

また、第１のエラー解析部１２は、エラー対照テーブル２７に基づいて、特定したログと関連付けられた対処情報を出力する。例えば、第１のエラー解析部１２は、エラー対照テーブル２７のエラー解析ルールテーブルについて、特定したログと一致したキーワードに対応するフラグを参照して、原因判明しているか否かを判定する。そして、第１のエラー解析部１２は、原因判明している場合には、エラー解析ルールテーブルのポインタから関連付けられた、エラー原因情報テーブルの該当Ｎｏのレコードを参照して、テストプログラム２１の名前、エラーの原因および対処を解析結果出力部１４に出力する。

第２のエラー解析部１３は、エラー対照テーブル２７に基づいて、特定したログと関連付けられた調査用コマンドを発行する。例えば、第２のエラー解析部１３は、エラー対照テーブル２７のエラー解析ルールテーブルについて、特定したログと一致したキーワードに対応するフラグを参照して、原因判明しているか否かを判定する。そして、第２のエラー解析部１３は、原因判明していない場合には、エラー解析ルールテーブルのポインタから関連付けられた、詳細調査テーブルの該当Ｎｏのレコードを参照して、調査用コマンドを取得する。そして、第２のエラー解析部１３は、取得した調査用コマンドを発行する。なお、特定したログがキーワードと一致しているが原因が判明しない一例として、同一のメッセージのログ（エラーメッセージ）であっても異なる原因から出力される場合が挙げられる。かかる場合に、第２のエラー解析部１３が、調査用コマンドを用いて、特定したログのエラーをさらに解析するのである。

また、第２のエラー解析部１３は、調査用コマンドを発行した後、エラー対照テーブル２７に基づいて、特定したログと関連付けられた対処情報を出力する。例えば、第２のエラー解析部１３は、調査用コマンドを発行した結果が詳細調査テーブルのキーワードにあるか否かを判定する。第２のエラー解析部１３は、調査用コマンドを発行した結果が詳細調査テーブルのキーワードにある場合には、キーワードの内容について、原因判明しているか否かを判定する。そして、第２のエラー解析部１３は、原因判明している場合には、詳細調査テーブルのポインタから関連付けられた、エラー原因情報テーブルの該当Ｎｏのレコードを参照して、テストプログラム２１の名前、エラーの原因および対処を解析結果出力部１４に出力する。また、第２のエラー解析部１３は、原因判明していない場合には、再び、詳細調査テーブルのポインタから関連付けられた、詳細調査テーブルの該当Ｎｏのレコードを参照して、調査用コマンドを発行して、発行した結果からエラー解析処理を行う。

解析結果出力部１４は、解析結果を出力する。例えば、解析結果出力部１４は、第１のエラー解析部１２または第２のエラー解析部１３から出力されたテストプログラム２１の名前、エラーの原因および対処を含む解析結果を出力する。

［解析結果出力の一例］
ここで、解析結果出力の一例を、図８を参照して説明する。図８は、実施例に係る解析結果出力の一例を示す図である。図８に示す解析結果出力は、テスト実行部１１によって「Ｔｅｓｔ０１」のテストプログラム２１が実行された場合の解析結果の一例である。ここでは、「Ｔｅｓｔ０１．ｓｅｌｏｇ」に格納されたログと一致したキーワードが「ＡＤＰＴ－３２０００ メッセージの送信に失敗しました」であることが表わされている。なお、ログは、図５の「Ｔｅｓｔ０１．ｓｅｌｏｇ」に記憶された内容に対応する。また、ここでいうキーワードは、図７のエラー解析ルールテーブルのＮｏ３のキーワードに対応する。

さらに、「ｌｉｓｔＣｌｕｓｔｅｒ」という調査用コマンドが発行された結果が「Ｔｅｓｔ０１Ａｎａｌｙｚｅ．ｌｏｇ」に格納され、格納された内容と一致したキーワードが「ｃｌｕｓｔｅｒ Ａが未起動」であることが表わされている。なお、ここでいうキーワードは、図７の詳細調査テーブルのＮｏ２０１に対応する１行目のキーワードに対応する。

そして、エラー原因が「ｃｌｕｓｔｅｒ Ａが起動されていない」であることが表わされている。対処方法が「ｃｌｕｓｔｅｒ Ａを起動する」であることが表わされている。なお、ここでいうエラー原因および対処方法は、図７のエラー原因情報テーブルのＮｏ１０３に対応する原因および対処に対応する。

すなわち、「Ｔｅｓｔ０１」のテストプログラム２１が実行され、「ＡＤＰＴ－３２０００ メッセージの送信に失敗しました」のエラーログが出力される場合に、解析結果出力部１４は、エラーログに対するエラー原因および対処方法をユーザに提示する。

［エラー解析のフローチャート］
図９Ａおよび図９Ｂは、実施例に係るエラー解析のフローチャートの一例を示す図である。なお、テスト実行部１１によってテスト実行ファイル２２が起動され、テストプログラム２１（ＴＰ）が実行されたとする。そして、テストログ２３、テスト結果ログ２４、エラー出力ログ２５および製品／システムログ２６にそれぞれログが格納されているとする。

図９Ａに示すように、第１のエラー解析部１２は、テストプログラム２１（ＴＰ）の個数分繰り返す（ステップＳ１１）。第１のエラー解析部１２は、テスト結果ログ２４からＴＰ名とテスト結果を取得する（ステップＳ１２）。そして、第１のエラー解析部１２は、テスト結果が成功であるか否かを判定する（ステップＳ１３）。テスト結果が成功であると判定した場合には（ステップＳ１３；Ｙｅｓ）、第１のエラー解析部１２は、次のＴＰの処理に進むべく、ステップＳ１１に移行する。

一方、テスト結果が失敗であると判定した場合には（ステップＳ１３；Ｎｏ）、第１のエラー解析部１２は、テストログ２３からＴＰ名と開始時刻／終了時刻のタイムスタンプを取得する（ステップＳ１４）。そして、第１のエラー解析部１２は、開始時刻／終了時刻のタイムスタンプからＴＰの実行時間帯を絞り込む（ステップＳ１５）。

続いて、第１のエラー解析部１２は、ログファイルの個数分ステップＳ１７を繰り返す（ステップＳ１６）。すなわち、第１のエラー解析部１２は、対象のログファイルからＴＰの実行時間帯のログを抽出して一時フォルダに出力する（ステップＳ１７）。例えば、第１のエラー解析部１２は、対象のログファイルをエラー出力ログ２５として、エラー出力ログ２５からＴＰの実行時間帯のログを抽出して一時フォルダに出力する。また、第１のエラー解析部１２は、対象のログファイルを製品／システムログ２６として、エラー出力ログ２５からＴＰの実行時間帯のログを抽出して一時フォルダに出力する。

図９Ｂに示すように、第１のエラー解析部１２は、エラー対照テーブル２７の情報の個数分ステップＳ１９～ステップＳ２４を繰り返す（ステップＳ１８）。第１のエラー解析部１２は、エラー対照テーブル２７から１行を取り出す（ステップＳ１９）。そして、第１のエラー解析部１２は、取り出した１行について、エラー対照テーブル２７のファイル名を取り出す（ステップＳ２０）。すなわち、第１のエラー解析部１２は、取り出したエラー解析ルールテーブルの中の１行に含まれるファイル名を取り出す。

続いて、第１のエラー解析部１２は、抽出されたログの個数分ステップＳ２２～ステップＳ２４を繰り返す（ステップＳ２１）。すなわち、第１のエラー解析部１２は、一時フォルダに出力されたログであってＴＰの実行時間帯の抽出されたログを１個分取得する。以降、取得したログを対象のログと記述する。

そして、第１のエラー解析部１２は、取得した対象のログのログファイルがエラー対照テーブル２７のファイル名に該当するか否かを判定する（ステップＳ２２）。対象のログのログファイルがエラー対照テーブル２７のファイル名に該当しないと判定した場合には（ステップＳ２２；Ｎｏ）、第１のエラー解析部１２は、抽出された次のログの処理をすべく、ステップＳ２１に移行する。

一方、対象のログファイルがエラー対照テーブル２７のファイル名に該当すると判定した場合には（ステップＳ２２；Ｙｅｓ）、第１のエラー解析部１２および第２のエラー解析部１３は、エラー対照テーブル２７の対象の情報と、対象のログとに関し、キーワードに基づくエラー解析処理を行う。なお、かかるキーワードに基づくエラー解析処理のフローチャートは、後述する。

そして、第１のエラー解析部１２は、キーワードに基づくエラー解析処理に基づき、エラー解析処理結果が有るか否かを判定する（ステップＳ２４）。エラー解析処理結果が有ると判定した場合には（ステップＳ２４；Ｙｅｓ）、第１のエラー解析部１２は、次のＴＰを処理が全て終了していない場合には、ステップＳ１１に移行する。また、第１のエラー解析部１２は、ＴＰの処理が全て終了した場合には、エラー解析処理を終了する。

一方、エラー解析処理結果が無いと判定した場合には（ステップＳ２４；Ｎｏ）、第１のエラー解析部１２は、抽出されたログの個数分の処理が全て終了していない場合には、抽出された次のログの処理をすべく、ステップＳ２１に移行する。また、第１のエラー解析部１２は、抽出されたログの個数分の処理が全て終了した場合には、エラー対照テーブル２７の次の情報の処理が終了していない場合には、ステップＳ１８に移行する。また、第１のエラー解析部１２は、エラー対照テーブル２７の情報の処理が全て終了した場合には、原因判明できなかったので、ＴＰ名と“原因不明”および“要調査”とを出力する（ステップＳ２５）。そして、第１のエラー解析部１２は、次のＴＰを処理が全て終了していない場合には、ステップＳ１１に移行する。また、第１のエラー解析部１２は、ＴＰの処理が全て終了した場合には、エラー解析処理を終了する。

図１０は、キーワードに基づくエラー解析処理のフローチャートの一例を示す図である。図１０に示すように、第１のエラー解析部１２は、対象のログとエラー対照テーブル２７の対象の情報のキーワードとが一致するか否かを判定する（ステップＳ３１）。例えば、第１のエラー解析部１２は、対象のログと、エラー対照テーブル２７のエラー解析ルールテーブルにおける対象レコードに含まれるキーワードとが一致するか否かを、ｇｒｅｐコマンドを用いて検索すれば良い。対象のログとエラー対照テーブル２７の対象の情報のキーワードとが一致しないと判定した場合には（ステップＳ３１；Ｎｏ）、第１のエラー解析部１２は、対象のログについて、エラー解析処理結果が無いと判断し、キーワードに基づくエラー解析処理を終了する。

一方、対象のログとエラー対照テーブル２７の対象の情報のキーワードとが一致すると判定した場合には（ステップＳ３１；Ｙｅｓ）、第１のエラー解析部１２は、原因判明するか否かを判定する（ステップＳ３２）。例えば、第１のエラー解析部１２は、エラー対照テーブル２７のエラー解析ルールテーブルにおける対象レコードのフラグを参照して、原因判明であることを示す「０」であるか否かを判定する。原因判明すると判定した場合には（ステップＳ３２；Ｙｅｓ）、第１のエラー解析部１２は、対象のログについて、原因と対処を出力すべく、ステップＳ３９に移行する。

一方、原因判明しないと判定した場合には（ステップＳ３２；Ｎｏ）、第２のエラー解析部１３は、エラー対照テーブル２７の情報のリンク先の詳細調査テーブルを参照する（ステップＳ３３）。例えば、第２のエラー解析部１３は、エラー対照テーブル２７のエラー解析ルールテーブルのポインタから関連付けられた、詳細調査テーブルの該当Ｎｏのレコードを参照する。

そして、第２のエラー解析部１３は、詳細調査テーブルから調査コマンドを取得する（ステップＳ３４）。そして、第２のエラー解析部１３は、取得した調査コマンドを実行して結果を取得する（ステップＳ３５）。そして、第２のエラー解析部１３は、調査コマンドの結果が詳細調査テーブルのキーワードに有るか否かを判定する（ステップＳ３６）。キーワードに無いと判定した場合には（ステップＳ３６；Ｎｏ）、第２のエラー解析部１３は、対象のログについて、エラー解析処理結果が無いと判断し、キーワードに基づくエラー解析処理を終了する。

一方、キーワードが有ると判定した場合には（ステップＳ３６；Ｙｅｓ）、第２のエラー解析部１３は、原因判明するか否かを判定する（ステップＳ３７）。原因判明すると判定した場合には（ステップＳ３７；Ｙｅｓ）、第２のエラー解析部１３は、対象のログについて、原因と対処を出力すべく、ステップＳ３９に移行する。

一方、原因判明しないと判定した場合には（ステップＳ３７；Ｎｏ）、第２のエラー解析部１３は、詳細調査テーブルの該当情報のリンク先からさらに詳細調査テーブルを参照する（ステップＳ３８）。例えば、第２のエラー解析部１３は、エラー対照テーブル２７の詳細調査テーブルのポインタから関連付けられた、詳細調査テーブルの該当Ｎｏのレコードを参照する。そして、第２のエラー解析部１３は、再び対象の調査コマンドを実行すべく、ステップＳ３４に移行する。

ステップ３９において、第１のエラー解析部１２および第２のエラー解析部１３は、原因判明できたので、ＴＰ名およびエラー対照テーブル２７の情報の原因と対処を出力する（ステップＳ３９）。そして、第１のエラー解析部１２および第２のエラー解析部１３は、対象のログについて、エラー解析処理結果が有ると判断し、キーワードに基づくエラー解析処理を終了する。

なお、実施例では、第１のエラー解析部１２は、エラー対照テーブル２７のエラー解析ルールテーブルを参照して、テスト時間帯を絞り込んだログについて、キーワードと一致するログを特定すると説明した。また、第２のエラー解析部１３は、調査コマンドを発行した結果の内容が詳細調査テーブルのキーワードにあるか否かを判定すると説明した。しかしながら、第１のエラー解析部１２および第２のエラー解析部１３は、キーワードとの照合について、全部一致に限定されず、一部一致であっても良い。すなわち、第１のエラー解析部１２は、エラー対照テーブル２７のエラー解析ルールテーブルを参照して、テスト時間帯を絞り込んだログについて、キーワードと一部一致するログを特定しても良い。また、第２のエラー解析部１３は、調査用コマンドを発行した結果の内容が詳細調査テーブルのキーワードに含まれているか否か、または含んでいるか否かを判定しても良い。

［実施例の効果］
このようにして、上記実施例では、情報処理装置１は、対象ソフトウェアの変更に伴い動作させる動作テスト（リグレッションテスト）を実行する際に、対象ソフトウェアまたはテストプログラムの動作ログである第１ログと、テストプログラムの開始時刻および終了時刻を示す第２ログと、を記憶部に記録する。情報処理装置１は、特定のテストプログラムを用いた動作テストに関するエラーチェックを実行する場合に、第２ログに基づいて、第１ログの全体から特定のテストプログラムに対応するログを抽出する。そして、情報処理装置１は、複数のエラーそれぞれについて、エラーに対応する第１ログを記憶したエラー情報に基づいて、抽出されたログの中からエラーに対応するログを特定する。かかる構成によれば、情報処理装置１は、リグレッションテストでのエラー発生時における原因および対処の特定に要する負荷の軽減を図ることが可能となる。

また、上記実施例によれば、エラー情報は、エラーに対応する第１ログと、当該エラーに対する対処情報とを関連付けて記憶する。情報処理装置１は、エラー情報に基づいて特定したログと関連付けられた対処情報を出力する。かかる構成によれば、情報処理装置１は、動作テストでのエラー発生時における対処の特定に要する負荷を軽減できる。

また、上記実施例によれば、エラー情報は、エラーに対応する第１ログと、当該エラーに対応した調査コマンドとを関連付けて記憶する。情報処理装置１は、エラー情報に基づいて特定したログと関連付けられた調査コマンドを発行する。かかる構成によれば、情報処理装置１は、ログと関連付けられた対処情報が無い場合であっても、ログと関連付けられた調査コマンドを発行することで、対処情報を特定することが可能となる。

また、上記実施例によれば、エラー情報は、エラーに対応する第１ログと、当該エラーに対する対処情報または調査コマンドとを関連付けて記憶する。情報処理装置１は、特定のエラーに対する対処情報が関連付けられていない場合には、特定のエラーに対する調査コマンドが関連付けられているか否かを判定する。情報処理装置１は、特定のエラーに対する調査コマンドが関連付けられていると判定した場合には、当該調査コマンドを発行して、情報を取得する。かかる構成によれば、情報処理装置１は、ログと関連付けられた対処情報が無い場合であっても、ログと関連付けられた調査コマンドを発行することで、対処情報を特定することが可能となる。

また、上記実施例によれば、情報処理装置１は、取得した情報に対する対処情報が関連付けられていない場合には、当該情報に対して発行する処理を実行する。情報処理装置１は、取得した情報に対する対処情報が関連付けられている場合には、対処情報を出力する。かかる構成によれば、情報処理装置１は、調査コマンドを発行した結果の情報と関連付けられた対処情報が無い場合であっても、当該情報と関連付けられた調査コマンドを再度発行することで、対処情報を特定することが可能となる。

また、上記実施例によれば、エラー情報に情報が格納されるエラーは、環境設定の誤りに起因するエラーである。これにより、情報処理装置１は、情報処理装置１は、リグレッションテストでの環境設定の誤りに起因するエラー発生時における原因および対処の特定に要する負荷の軽減を図ることが可能となる。

［その他］
なお、情報処理装置１は、既知のパーソナルコンピュータ、ワークステーションなどの情報処理装置に、上記した制御部１０および記憶部２０などの各機能を搭載することによって実現することができる。

また、図示した装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、装置の分散・統合の具体的態様は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、第１のエラー解析部１２と第２のエラー解析部１３とを１個の部として統合しても良い。また、記憶部２０を情報処理装置１の外部装置としてネットワーク経由で接続するようにしても良い。さらに、制御部１０および記憶部２０をクラウド上に置き、利用者はパーソナルコンピュータなどからネットワークを介して当該クラウドに接続して、制御部１０により実行される処理を利用することも可能である。このようにすることで、本発明の処理をサービスとして提供することができるようになる。

また、上記実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１に示した情報処理装置１と同様の機能を実現するテスト制御プログラムを実行するコンピュータの一例を説明する。図１１は、テスト制御プログラムを実行するコンピュータの一例を示す図である。

図１１に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０３と、ユーザからのデータの入力を受け付ける入力装置２１５と、表示装置２０９とを有する。また、コンピュータ２００は、記憶媒体からプログラムなどを読取るドライブ装置２１３と、ネットワークを介して他のコンピュータとの間でデータの授受を行う通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２１７とを有する。また、コンピュータ２００は、各種情報を一時記憶するメモリ２０１と、ＨＤＤ（Hard Disk Drive）２０５を有する。そして、メモリ２０１、ＣＰＵ２０３、ＨＤＤ２０５、表示装置２０９、ドライブ装置２１３、入力装置２１５、通信Ｉ／Ｆ２１７は、バス２１９で接続されている。

ドライブ装置２１３は、例えばリムーバブルディスク２１１用の装置である。ＨＤＤ２０５は、テスト制御プログラム２０５ａおよびテスト制御処理関連情報２０５ｂを記憶する。通信Ｉ／Ｆ２１７は、ネットワークと装置内部とのインターフェースを司り、他のコンピュータからのデータの入出力を制御する。通信Ｉ／Ｆ２１７には、例えば、モデムやＬＡＮアダプタなどを採用することができる。

表示装置２０９は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する表示装置である。表示装置２０９は、例えば、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを採用することができる。

ＣＰＵ２０３は、テスト制御プログラム２０５ａを読み出して、メモリ２０１に展開し、プロセスとして実行する。かかるプロセスは情報処理装置１の各機能部に対応する。テスト制御処理関連情報２０５ｂは、テストプログラム２１、テスト実行ファイル２２、テストログ２３、テスト結果ログ２４、エラー出力ログ２５、製品／システムログ２６およびエラー対照テーブル２７などに対応する。そして、例えばリムーバブルディスク２１１が、テスト制御プログラムなどの各情報を記憶する。

なお、テスト制御プログラム２０５ａについては、必ずしも最初からＨＤＤ２０５に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に当該プログラムを記憶させておく。そして、コンピュータ２００がこれらからテスト制御プログラム２０５ａを読み出して実行するようにしても良い。

１ 情報処理装置
１０ 制御部
１１ テスト実行部
１２ 第１のエラー解析部
１３ 第２のエラー解析部
１４ 解析結果出力部
２０ 記憶部
２１ テストプログラム
２２ テスト実行ファイル
２３ テストログ
２４ テスト結果ログ
２５ エラー出力ログ
２６ 製品／システムログ
２７ エラー対照テーブル

Claims (8)

1. 対象ソフトウェアの変更に伴い動作させる動作テストを実行する際に、前記対象ソフトウェアまたはテストプログラムの動作ログである第１ログと、前記テストプログラムの開始時刻および終了時刻を示す第２ログと、を記憶部に記録し、
   特定のテストプログラムを用いた前記動作テストに関するエラーチェックを実行する場合に、前記第２ログに基づいて、前記第１ログの全体から前記特定のテストプログラムに対応するログを抽出し、
   複数のエラーそれぞれについて、エラーに対応する第１ログを記憶したエラー情報に基づいて、抽出されたログの中からエラーに対応するログを特定する
   処理をコンピュータに実行させることを特徴とするテスト制御プログラム。
2. 前記エラー情報は、エラーに対応する第１ログと、当該エラーに対する対処情報とを関連付けて記憶し、
   前記エラー情報に基づいて特定した前記ログと関連付けられた対処情報を出力する
   ことを特徴とする請求項１に記載のテスト制御プログラム。
3. 前記エラー情報は、エラーに対応する第１ログと、当該エラーに対応した調査コマンドとを関連付けて記憶し、
   前記エラー情報に基づいて特定した前記ログと関連付けられた調査コマンドを発行する
   ことを特徴とする請求項１に記載のテスト制御プログラム。
4. 前記エラー情報は、エラーに対応する第１ログと、当該エラーに対する対処情報または調査コマンドとを関連付けて記憶し、
   前記発行する処理は、
   特定のエラーに対する対処情報が関連付けられていない場合には、前記特定のエラーに対する調査コマンドが関連付けられているか否かを判定し、
   前記特定のエラーに対する調査コマンドが関連付けられていると判定した場合には、当該調査コマンドを発行して、情報を取得する
   ことを特徴とする請求項３に記載のテスト制御プログラム。
5. 前記取得した情報に対する対処情報が関連付けられていない場合には、当該情報に対して前記発行する処理を実行し、
   前記取得した情報に対する対処情報が関連付けられている場合には、前記対処情報を出力する
   ことを特徴とする請求項４に記載のテスト制御プログラム。
6. 前記エラー情報に情報が格納されるエラーは、環境設定の誤りに起因するエラーである ことを特徴とする請求項１に記載のテスト制御プログラム。
7. 対象ソフトウェアの変更に伴い動作させる動作テストを実行する際に、前記対象ソフトウェアまたはテストプログラムの動作ログである第１ログと、前記テストプログラムの開始時刻および終了時刻を示す第２ログと、を記憶部に記録する記録部と、
   特定のテストプログラムを用いた前記動作テストに関するエラーチェックを実行する場合に、前記第２ログに基づいて、前記第１ログの全体から前記特定のテストプログラムに対応するログを抽出する抽出部と、
   複数のエラーそれぞれについて、エラーに対応する第１ログを記憶したエラー情報に基づいて、抽出されたログの中からエラーに対応するログを特定する特定部と、
   を有することを特徴とする情報処理装置。
8. 対象ソフトウェアの変更に伴い動作させる動作テストを実行する際に、前記対象ソフトウェアまたはテストプログラムの動作ログである第１ログと、前記テストプログラムの開始時刻および終了時刻を示す第２ログと、を記憶部に記録し、
   特定のテストプログラムを用いた前記動作テストに関するエラーチェックを実行する場合に、前記第２ログに基づいて、前記第１ログの全体から前記特定のテストプログラムに対応するログを抽出し、
   複数のエラーそれぞれについて、エラーに対応する第１ログを記憶したエラー情報に基づいて、抽出されたログの中からエラーに対応するログを特定する
   処理をコンピュータが実行することを特徴とするテスト制御方法。

Images