JP2015176454A - 回帰テスト支援システム - Google Patents

Abstract

【課題】回帰テストを能率良く極力自動的に行うと共に、効果的に不具合を見出す方法を提供する。
【解決手段】時系列実行結果データ取得処理部６０は、テスト対象プログラムの実行結果を、逐次時系列で取得する。置き換えテーブル作成処理部６４は、テスト対象プログラムの実行状況によって変化する、実行結果の部分を示す置き換えテーブル情報を生成して、置き換えテーブル格納装置６６に格納して保存する。回帰テスト装置３２は置換処理部６８において整合された置き換えテーブル情報を用いながら、プログラム修正前後の実行結果を比較し、プログラムの不具合を判定する情報を生成し、比較用データ格納装置４２に格納する。
【選択図】図４

Description

本発明は、回帰テストを能率良く極力自動的に行うことができると共に、効果的に不具合を見出すことができる回帰テスト支援方法、回帰テスト支援装置、及び、これら回帰テスト支援方法又は回帰テスト支援装置を実施するためのコンピュータ・プログラムに関する。

既存システムで運用されているプログラムの保守・改善開発にあたっては、プログラム自体を修正する場合、回帰テストと称し、不具合を見出すテストを十分に実施する必要がある。この回帰テストでは、そのテスト品質の面だけでなく、手間や費用の面が従来から課題になっている。

特許文献１では、ソースコードに含まれる条件式を自動的に演算することで、テスト品質という面で、入力値に対する出力値が変更されていないかを漏れなく検証することを支援するようにしている。

特許文献２は、回帰テストの性質に鑑み、複数のモジュールを含む元の第１のソースコードと、この第１のソースコードに含まれるモジュールの少なくとも一部に変更が加えられた第２のソースコードとを比較し、変更が行われたモジュールを特定するようにしている。これにより、プログラムの詳細な解析を必要とせず、また、ユーザが変更箇所を指定しなくても、修正後のソースコードについて実行すべきテスト項目を抽出できるようにしている。

特許文献３では、テスト結果となる、対象のプログラムからの出力を容易に確認できるようにするために、画面やファイル、外部装置等のテスト対象のプログラムから出力される全ての情報を時系列に残すようにしている。これにより、画面の遷移を容易に確認でき、また予測しない画面の変更に対しても容易に対処でき、さらには性能の劣化を評価することができるようにしている。

特開２００７−０４１８０４号公報 特開２０１０−１２２９５９号公報 特開平１０−２７５０９３号公報

しかしながら、以上のような従来技術においては、回帰テストの面で改善の余地が多々存在している。

特許文献１では、ソースコードに含まれる条件式についてなど、特定の対応部分については、人為的なテスト漏れを防ぐことが予想されるが、網羅されない不具合も存在することになる。

特許文献２では、変更が行われたモジュールを特定することが課題であり、当該モジュール自体のテストについては何ら提案されていない。

特許文献３では、対象のプログラムからの情報を時系列で残すことができるが、このような情報が多大になると、作業量が増大するだけでなく、正しい不具合検証を行うことが困難になる。

本発明は、前記従来の問題点を解決するべくなされたもので、回帰テストを能率良く極力自動的に行うことができると共に、効果的に不具合を見出すことができる回帰テスト支援システムを提供することを課題とする。

本発明は、テスト対象プログラムのプログラム修正後の不具合を見出すための回帰テスト支援方法において、時系列実行結果データ取得処理部により、前記テスト対象プログラムの実行結果を、逐次時系列で取得し、置き換えテーブル作成処理部により、プログラム修正の有無には依存しない、乃至は依存しない可能性があるものの、前記テスト対象プログラムの実行状況によって変化する、実行結果の部分を示す置き換えテーブル情報を生成して、置き換えテーブル格納装置に格納して保存し、前記置き換えテーブル情報を用いながら、プログラム修正前後の実行結果を比較し、プログラムの不具合を判定する情報を生成することにより前記課題を解決するものである。

なお、前記置き換えテーブル情報の各レコードは、テスト対象プログラムが出力する処理結果データ別の、該当の処理結果データに結びつけるための判定識別情報、及び該当の処理結果データを置き換えるために用いられる補助情報によって構成されるチェック用記号データであってもよい。

ここで、本発明の回帰テスト支援方法において、時系列テスト情報取得処理部により、修正前のプログラムの複数回の実行結果を、それぞれの実行中に取得し、前記置き換えテーブル作成処理部により、これら取得した複数回の実行結果を比較することで、前記置き換えテーブル情報を自動的に生成し、前記置き換えテーブル格納装置に保存することができる。

又、本発明の回帰テスト支援方法において、前記置き換えテーブル作成処理部により、前記置き換えテーブル情報の自動設定、又は手動設定を可能とすることができる。

ここで、本発明の回帰テスト支援方法において、判定除外設定処理部により、修正前のプログラムの実行結果、及び修正後のプログラムの実行結果の比較による、プログラムの不具合の判定の対象外とする判定除外情報を取得し、比較判定処理部により、前記判定除外情報を参照しながら、修正前及び修正後の前記実行結果を比較し、プログラムの不具合を判定する情報を生成するようにしてもよい。

本発明は、又、テスト対象プログラムのプログラム修正後の不具合を見出すための回帰テスト支援装置において、前記テスト対象プログラムの実行結果を、逐次時系列で取得する時系列実行結果データ取得処理部と、プログラム修正の有無には依存しない、乃至は依存しない可能性があるものの、前記テスト対象プログラムの実行状況によって変化する、実行結果の部分を示す置き換えテーブル情報が格納される置き換えテーブル格納装置と、前記置き換えテーブル情報を生成する置き換えテーブル作成処理部と、前記置き換えテーブル情報を用いながら、個々の前記テスト対象プログラムの逐次時系列となっている実行結果を元データとして、不具合を見出すためのプログラム修正前後の実行結果の比較に用いる比較用実行結果データが格納される比較用データ格納装置と、前記比較用実行結果データを生成する置換処理部と、プログラム修正前後の前記比較用実行結果データを比較し、プログラムの不具合を判定する情報を生成する比較判定処理部と、を備えることを特徴とする回帰テスト支援装置により、前記課題を解決するものである。

又、前記置き換えテーブル情報の各レコードが、テスト対象プログラムが出力する処理結果データ別の、該当の処理結果データに結びつけるための判定識別情報、及び該当の処理結果データを置き換えるために用いられる補助情報によって構成されるチェック用記号データであると共に、時系列テスト情報取得処理部が、修正前のプログラムの複数回の実行結果を、それぞれの実行中に取得するものであり、前記置き換えテーブル作成処理部が、これら取得した複数回の実行結果を比較することで、前記置き換えテーブル情報を自動的に生成し、前記置き換えテーブル格納装置に保存するものであり、更に、前記置き換えテーブル作成処理部が、前記置き換えテーブル情報の自動設定、又は手動設定を可能とするようにすることができる。

加えて、修正前のプログラムの実行結果、及び修正後のプログラムの実行結果の比較による、プログラムの不具合の判定の対象外とする判定除外情報を取得する判定除外設定処理部と、前記判定除外情報を参照しながら、修正前及び修正後の前記実行結果を比較し、プログラムの不具合を判定する情報を生成する比較判定処理部と、を更に備えるようにしてもよい。

以上の回帰テスト支援方法及び回帰テスト支援装置は、コンピュータ・プログラムによって実現することができる。

回帰テストの対象になるプログラムによっては、実行結果が実行状況によって変化する場合があり、例えば、実行している日時に関係する情報や、実行時に入力した情報に関係する情報が実行結果に含まれるのであれば、同然ながら、実行結果は毎回異なることになる。大抵の回帰テストの対象になるプログラムには、このような、プログラム修正の有無（修正の前後）には依存しない、乃至は依存しない可能性があるものの、前記テスト対象プログラムの実行状況によって変化する、実行結果の部分が存在するものである。

このような実行結果の部分は、回帰テストとして、修正前後を単純に比較すると不一致となるため、そのプログラムの不具合の判定対象から除外することも考えられる。

本発明によれば、このように実行状況によって変化する、実行結果の部分を区別して、置き換えテーブルを用いつつ、回帰テストの対象になるプログラムの修正前と、修正後の動作を比較することで、不具合を能率よく見出すことができる。本発明の置き換えテーブル情報は、このような実行状況によって変化する実行結果の部分を、実行状況に応じて回帰テストで比較できるように整合させるものである。

例えば、これによって、このような実行状況によって変化する実行結果部分を、プログラムの不具合の判定対象から除外する手間がなくなり、これにより作業の手間を削減しながら、テスト精度を向上させ、より確実に不具合を見出すことができる。

更に、このような置き換えテーブル情報を自動的に生成することができる。又、テスト利用者が種々の設定を容易に行うことができる。従って、この面でも、回帰テストの能率向上を図ることができる。

なお、上述したプログラムの修正前と修正後の動作との比較については、具体的に限定されるものではない。テスト対象のプログラムが出力する情報を、修正前と修正後とで対応するもの同士について相互に比較するものであればよい。例えば、テスト対象のプログラムが出力する、利用者に表示する画面に含まれる情報、印字出力する情報、Ｉ／Ｏやネットワークを介して、データベース装置などの様々な外部装置に出力する情報、同一ハードウェアに構築されている他のシステムや装置（他のアプリケーションなどのプログラムを含む）に出力する情報などであってもよい。

又、本発明において、前述の置き換えテーブル情報の生成方法や、テスト対象プログラムのプログラム修正前後の実行結果の比較における、この置き換えテーブル情報の利用形態について具体的に限定するものではない。

例えば、この置き換えテーブル情報を、テスト対象プログラムのプログラム修正前の実行結果から生成すると共に、プログラム修正後の実行結果からも生成するようにしてもよい。あるいは、テスト対象プログラムのプログラム修正前の実行結果から生成したものを、プログラム修正後の実行結果に対する処理に用いるようにしてもよい。

又、テスト対象プログラムのプログラム修正前後の実行結果の比較による、プログラム不具合の判定については、この置き換えテーブル情報を用いてプログラム修正前後のそれぞれの実行結果に対する何らかの処理を行ってから、不具合判定のために、これら処理後のプログラム修正前後の実行結果を比較してもよい。あるいは、プログラム修正前後の実行結果それぞれから置き換えテーブル情報を生成し、生成したこれら情報の比較により、不具合判定の比較を行ってもよい。

本発明が適用される実施形態の回帰テスト支援システムが導入されたプログラム保守・改善開発基幹システムの全体的な構成を示すブロック図 前記プログラム保守・改善開発基幹システムで用いられるコンピュータ装置のハードウェア構成を示すブロック図 前記実施形態の主要部である回帰テスト支援装置の構成を示すブロック図 前記回帰テスト支援装置の主要部の構成を示すブロック図 前記実施形態における回帰テストの処理の流れを示すフローチャート 前記実施形態において回帰テストの実施例となる会議室予約プログラムにおけるメインメニュー画面を示す線図 前記実施例における予約情報の登録画面を示す線図 前記実施例における登録した予約情報の確認画面を示す線図 前記実施例における自己最終登録した予約情報の確認画面を示す線図 前記実施例における会議室予約プログラムの操作の流れを示すフローチャート 前記実施例における準備段階の初回の置き換えテーブルを示す線図 前記実施例における準備段階の２回目の置き換えテーブルを示す線図 前記実施例における回帰テスト正常時の置き換えテーブルを示す線図 前記実施例における回帰テスト異常時の置き換えテーブルを示す線図

以下、図面を参照して、本発明を好適に実施するための形態（以下、実施形態という）について詳細に説明する。

なお、本発明は、以下の実施形態及び実施例に記載した内容により限定されるものではない。又、以下に記載した実施形態及び実施例による構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。更に、以下に記載した実施形態及び実施例で開示した構成要素は、適宜組み合わせてもよいし、適宜選択して用いてもよい。

図１は、本発明が適用される実施形態の回帰テスト支援システムが導入されたプログラム保守・改善開発基幹システムの全体的な構成を示すブロック図である。

この図において、保守・改善開発支援装置２０において設けられる、後述する回帰テスト支援装置３２が、本発明の適用された主要部である。又、テスト対象装置３０が、本実施形態の回帰テストの対象になるプログラムを内蔵している。

又、図示されるように、これら保守・改善開発支援装置２０、及びテスト対象装置３０は、相互に、ネットワーク１により接続されている。加えて、これら装置２０、３０に接続するクライアント装置５も、ネットワーク１により接続されている。該接続により、種々の情報交換がなされる。

なお、回帰テスト支援装置３２に対するテスト対象装置３０の関係は、この図にあるように、ネットワーク１によって接続されるようなものに限定されるものではない。例えば、回帰テスト支援装置３２の内部において、回帰テスト対象のプログラムを実行させるようにしてもよい。回帰テスト支援装置３２を構成するものと同一のハードウェア上において、回帰テスト対象の装置やプログラムを設けるようにしてもよい。

なお、ネットワーク１は、特に限定されるものではない。公衆回線あるいは専用回線を用いるものでも、インターネットやＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）を用いるものでも、あるいはこれらを複合的に接続し構成するものであってもよい。

図２は、本実施形態の各装置に用いるコンピュータ装置のハードウェアの構成を示すブロック図である。

この図２においては、保守・改善開発支援装置２０、テスト対象装置３０、更にはクライアント装置５の各装置として利用可能な、ある種のコンピュータ装置のハードウェア構成が示される。しかしながら、各装置は、このようなものに限定されるものではない。

図２の該コンピュータ装置は、ＯＳ（Operating System）は一例として米国マイクロ
ソフト社のＷｉｎｄｏｗｓ（登録商標）を搭載する、一般的なＰＣ（Personal Computer）装置であってもよく、特に限定されるものではない。あるいは、ＰＣ装置以外のハードウェアを用いてもよく、例えばＥＷＳ（Engineering Work Station）などの、いわゆるワークステーションなどのハードウェアを用いるようにしてもよい。なお、この図において、ハードウェア構成は、説明の関係上一部抽象化されている。

この図において、コンピュータ装置は、ＣＰＵ（Central Processing Unit）３１０
と、ＲＡＭ（Random Access Memory）３１１と、ＲＯＭ（Read Only Memory）３１２と、ＬＡＮ−Ｉ／Ｆ（Inter Face）３１３と、ＭＯＤＥＭ（modulator-demodulator）３１４と、種々のＩ／Ｆ３２０〜３２２とを有している。これらは、バス３０１によって相互接続されている。

なお、ＬＡＮ−Ｉ／Ｆ３１３は、ネットワーク１に対して接続するために用いられる。

又、バス３０１に対して、Ｉ／Ｆ３２０を介して、画面表示装置３３０が接続されている。又、バス３０３によって相互接続されている、キーボード３３１と、マウス３３２と、プリンタ装置３３３とは、バス３０１に対して、Ｉ／Ｆ３２１を介して接続されている。

更に、バス３０１に対して、Ｉ／Ｆ３２２を介して、ＨＤＤ（Hard Disc Drive）装
置３４０と、ＣＤ（Compact Disc）ドライブ装置３４１と、ＦＤＤ（Floppy（登録商標
） Disc Drive）装置３４２とが接続されている。これらはバス３０２によって相互接
続されている。

以上のようなハードウェア構成において、記憶手段、及び記憶装置は、ＲＡＭ３１１、ＲＯＭ３１２、ＨＤＤ装置３４０、ＣＤドライブ装置３４１、ＦＤＤ装置３４２などである。このような記憶手段や記憶装置において、ＣＰＵ３１０で実行される様々なプログラムや、本実施形態においてアクセスされるデータベースや諸ファイルやデータが保存され、電子的にアクセスができるようになっている。例えば、ＯＳや、データベースやＪＡＶＡ（登録商標)やＪＳＰ（Java（登録商標) Server Page）などのソフトウェア資源を利用する環境を提供するためのプログラム、本実施形態に係るアプリケーション・プログラム、及びウェブ・ブラウザ・プログラムは、ＨＤＤ装置３４０に格納されていて、実行時には、ＲＡＭ３１１に読み出されてＣＰＵ３１０によって実行される。なお、ＣＰＵ３１０で実行されるアプリケーション・プログラムには、ネットワーク１経由で取得される、ＪＡＶＡ（登録商標)のアプレットや、ＡＳＰ（Active Server Page）の機能によって
提供されるものも含まれる。

又、ＯＳやアプリケーション・プログラムその他の実行に際して、オペレータは、画面表示装置３３０に表示出力される情報を参照しつつ、キーボード３３１によって文字入力や諸操作を行ったり、マウス３３２によって座標入力や諸操作の入力を行ったりする。例えば、マウス３３２によって、一覧表示される電子的な帳票の選択をしたり、閲覧中の電子的な帳票において、検索などの範囲指定を行ったり、その他、クリック操作や、いわゆるドラッグ・アンド・ドロップ操作により様々な操作を行ったりする。又、適宜、プリンタ装置３３３からは必要な情報を印字出力したりすることができる。言うまでもなく、これら諸出力や入力は、ＣＰＵ３１０で実行されるプログラムによって、電子的な処理により行われるものである。

なお、ＣＤドライブ装置３４１やＦＤＤ装置３４２は、本発明を適用して実施する際の、アプリケーション・プログラムのインストールや、その他のオフラインでの情報交換に用いられる。

図３は、本実施形態の主要部である回帰テスト支援装置の構成を示すブロック図である。

図示されるように、前述の保守・改善開発支援装置２０が内蔵する回帰テスト支援装置３２は、操作記録処理部３４と、自動操作用データ格納装置３６と、自動操作処理部３８と、時系列テスト情報取得処理部４０と、比較用データ格納装置４２と、判定除外設定処理部４４と、比較除外データ格納装置５０と、比較判定処理部５２と、判定結果出力処理部５４とを備えている。又、上記の判定除外設定処理部４４は、除外手動設定処理部４６と、差分抽出処理部４８とを備える。この差分抽出処理部４８は、判定除外情報の自動的な設定処理を行うものともいうことができる。

まず、操作記録処理部３４は、回帰テストに際し、テスト対象装置３０のテスト対象プログラムをテスト作業者が動作させる操作に用いられる。又、行われた操作は、該操作記録処理部３４によって、通常時系列的に自動操作用データ格納装置３６に保存される。

次に、自動操作処理部３８は、このように保存された操作内容を再生しつつ、テスト対象装置３０のテスト対象プログラムを自動的に動作させるものである。このようなテスト対象プログラムの自動動作によって、回帰テストを能率よく行うことができる。

続いて、時系列テスト情報取得処理部４０は、修正前の回帰テスト対象のプログラムの実行結果、及び修正後の同プログラムの実行結果を、それぞれの実行中に逐次時系列で比較用データ格納装置４２に保存する。保存される情報には、自動操作処理部３８による自動操作内容、回帰テスト対象のプログラムからの画面表示出力やネットワーク１出力などの様々な出力が含まれる。

判定除外設定処理部４４は、修正前のプログラムの実行結果、及び修正後のプログラムの実行結果の比較による、プログラムの不具合の判定の対象外とする判定除外情報を取得するものである。この判定除外情報は、異常や不具合と判断すべきではない不一致を効果的に除外するための情報であり、判定除外設定処理部４４が内蔵する除外手動設定処理部４６により手動で設定したり、差分抽出処理部４８により自動的に設定したりすることができる。

なお、除外手動設定処理部４６は、差分抽出処理部４８により自動的に設定された情報に対して、追加、修正、及び削除の編集作業をテスト作業者が行えるようになっている。加えて、画面表示装置３３０やキーボード３３１やマウス３３２やプリンタ装置３３３などを活用しながら、テスト作業者がこの編集作業を行う際、修正前のプログラムの実行結果や、修正後のプログラムの実行結果や、該プログラムのソースリストの該当部分なども、テスト作業者に対して画面表示したり印字出力したりして提示することで、作業能率向上が図られている。

次に、比較判定処理部５２は、比較用データ格納装置４２に保存されている、修正前の回帰テスト対象のプログラムの実行結果、及び修正後の同プログラムの実行結果を比較し、プログラムの不具合を判定する情報を生成する。この比較や判定の際には、比較除外データ格納装置５０に保存されている判定除外情報を参照することで、異常や不具合と判断すべきではない不一致を効果的に除外することができる。

判定結果出力処理部５４は、比較判定処理部５２により得られたプログラムの不具合を判定する情報を加工し、テスト作業者に対して画面表示したり印字出力したりすることができる。

ここで、本実施形態では、自動操作処理部３８により、テスト対象装置３０の修正前のプログラム（回帰テスト対象）を、例えばプログラムに対する操作など一部実行条件を異ならせるなどして、複数回実行させるようにしている。この際、時系列テスト情報取得処理部４０は、このような複数回の実行結果を、それぞれの実行中に時系列的に、比較用データ格納装置４２に保存する。そうして、判定除外設定処理部４４の差分抽出処理部４８は、これら保存した複数回の実行結果を比較することで、前述した判定除外情報を、自動的に生成する。

具体的には、このような複数回の実行の際に、異なる実行結果であれば、修正後のプログラム（回帰テスト対象）について、修正前と実行結果が同じになることが期待し難いので、前述した判定除外情報に設定することができる。

なお、除外手動設定処理部４６は、例えば図１のクライアント装置５などから、このような判定除外情報をテスト作業者が手動で設定するものであるが、正確に能率よく設定できるようになっている。例えば、判定除外設定するか否かの判断に用いられる付加情報を併せて表示されるようになっている。又、差分抽出処理部４８により自動的に設定された判定除外情報についても、除外手動設定処理部４６により、テスト作業者は修正することができ、この修正の際、自動設定に用いられた、回帰テスト対象のプログラムの修正前の実行結果を併せて表示することができる。

図４は、本実施形態の回帰テスト支援装置の主要部の構成を示すブロック図である。

図示されるように、前述の回帰テスト支援装置３２が内蔵する時系列テスト情報取得処理部４０は、時系列実行結果データ取得処理部６０と、実行結果データ格納装置６２と、置き換えテーブル作成処理部６４と、置き換えテーブル格納装置６６と、置換処理部６８とを備えている。

時系列実行結果データ取得処理部６０は、修正前の前記テスト対象プログラムの実行結果、及び修正後の前記テスト対象プログラムの実行結果を、それぞれの実行中に逐次時系列で取得し、実行結果データ格納装置６２に格納する。この時系列実行結果データ取得処理部６０は、修正前のプログラムの少なくとも１回の実行結果を、それぞれの実行中に取得するようになっている。必要であれば、この時系列実行結果データ取得処理部６０は、修正後のプログラムの実行結果を実行中に取得するようになっている。

又、置き換えテーブル作成処理部６４は、このような１回以上の実行結果を用いて、例えば、これら取得した複数回の実行結果を比較するなどして、置き換えテーブル情報を自動的に生成し、置き換えテーブル格納装置６６に保存する。又、この置き換えテーブル作成処理部６４は、人手による入力による、置き換えテーブル情報のレコードの新規作成、修正、及び削除の機能を備えている。

回帰テストの対象になるプログラムによっては、実行結果が実行状況によって変化する場合があり、実行結果は毎回異なることになる。つまり、プログラム修正の有無（修正の前後）には依存しない、乃至は依存しない可能性があるものの、前記テスト対象プログラムの実行状況によって変化する、実行結果の部分が存在することがある。

本発明の置き換えテーブル情報は、このような実行状況によって変化する実行結果の部分を、実行状況に応じて回帰テストで比較できるように整合させるものである。

置換処理部６８は、このように保存された置き換えテーブル情報を用いながら、個々の前記テスト対象プログラムの逐次時系列となっている実行結果を元データとして、不具合を見出すためのプログラム修正前後の実行結果の比較に用いる比較用実行結果データを生成し、これを比較用データ格納装置４２に格納する。そうして、図３の比較判定処理部５２は、このように作成され比較用データ格納装置４２に格納された、プログラム修正前後の比較用実行結果データを比較し、プログラムの不具合を判定する情報を生成する。

図５は、本実施形態における回帰テストの処理の流れを示すフローチャートである。

まず、ステップＳ１０２からステップＳ１０８では、準備段階として、判定除外情報を取得する。

ステップＳ１０２では、操作記録処理部３４の操作記録機能により、テスト作業者によるテスト対象の操作の登録を行なう。具体的には、テスト作業者が回帰テストの対象プログラム操作を行うと、自動操作用データが自動操作用データ格納装置３６に蓄積される。この自動操作用データは、テスト作業者の操作内容や、テスト作業者への画面表示情報などの情報である。

次に、ステップＳ１０４では、自動操作用データ格納装置３６に蓄積された自動操作用データに従って、自動操作処理部３８は、回帰テスト対象のプログラムを自動的に実行ささせる。例えば、上述のテスト作業者操作による自動操作用データの蓄積に引き続いて、テスト対象をアップデートしない状態で、自動操作用データを元にテスト対象の操作を自動的に行なう。

このような自動実行の最中において、ステップＳ１０６では、時系列テスト情報取得処理部４０は、比較用データ格納装置４２へと実行結果を時系列的に保存する。

又、これらステップＳ１０４及びステップＳ１０６の自動実行及び実行結果保存は、適宜実行条件を変えるなどしつつ、複数回行う。そして、ステップＳ１０８では、差分抽出処理部４８により、このような複数回の実行結果のデータを採取して差分を抽出し比較除外情報（比較除外データ）を生成する。

ここで、このような複数回の実行により、比較除外データの精度が向上する。又、このように得られた比較除外データは、除外手動設定処理部４６により、テスト作業者が妥当性の確認をしたり、手動により修正をしたりすることができる。

次に、ステップＳ１１０からステップＳ１１４が修正後の回帰テスト対象のプログラムのテスト作業となる。この作業に際しては、テスト対象のプログラムを適宜アップデートする。

まず、ステップＳ１１０では、自動操作処理部３８は、自動操作用データ格納装置３６に保存されている自動操作用データを元に、修正後の回帰テスト対象のプログラムを自動的に操作し、自動的に動作させる。

そうして、ステップＳ１１２では、ステップＳ１０４及びステップＳ１０６の修正前の回帰テスト対象のプログラムの場合と同様、時系列テスト情報取得処理部４０は、実行結果を比較用データ格納装置４２に保存する。

ステップＳ１１４では、比較判定処理部５２は、比較除外データ格納装置５０に保存されている比較除外情報（比較除外データ）に合致する部分以外について、修正前のプログラムの実行結果、及び修正後のプログラムの実行結果を比較し、プログラムの不具合を判定する情報を生成する。又、比較判定処理部５２で得られた情報は、判定結果出力処理部５４により加工され、テスト作業者に画面表示や印字出力により提示される。例えば、判定結果出力処理部５４は、修正前のプログラムの実行結果のデータと、修正後のプログラムの実行結果・比較先データが異なる場合には、「回帰テスト失敗」とする。内容が異なるケースが無い場合、「正常終了」として扱う。

以下、上述の本発明の実施形態が適用された実施例について説明する。この実施例は、会議室予約システム用プログラムを回帰テスト対象とするものである。

このプログラムは、クライアント・サーバ間で通信が行われる「会議室予約アプリケーション」である。又、この回帰テストは、この「会議室予約アプリケーション」にプログラム修正を加えたため、修正後に異常がないことを確認するものである。

又、回帰テスト対象のプログラムは、画面表示や印字出力その他をＨＴＭＬ（hypertext markup language）を用いて行っている。このため、回帰テストの実行中に取得される実行結果としては、ＨＴＭＬに従った情報が取得される。

図６は、本実施例のメインメニュー画面を示す線図である。図７は、予約情報の登録画面を示す線図である。図８は、予約情報の登録確認画面を示す線図である。図９は、予約情報の確認（自己最終登録）画面を示す線図である。

図６の表示画面において表示される、「予約情報の登録」をマウスなどで選択すると、図７に図示される「予約情報の登録画面」が表示され、「予約情報の確認（自己最終登録）」をマウスなどで選択すると、自己最終登録した予約情報の確認するための、図９に図示される「予約情報の確認（自己最終登録）画面」が表示される。

更に、図７に図示される「予約情報の登録画面」において「設備」及び「日時」を入力してから、「ＯＫ」ボタンをクリックすると、図８に図示される「予約情報の登録確認画面」が表示される。

図１０は、本実施例の操作及び処理を示すフローチャートである。

なお、前提条件として、テスト対象のアプリケーションは、クライアント・サーバ間で通信が行われる「会議室予約アプリケーション」の「予約情報の登録および確認画面」および「予約情報の確認（自己最終登録）」とする。テスト準備の際の「比較除外データの採取」は１回である。又、除外データから手動で置き換え対象の選別を実施する。

まず、この図のステップＳ１３２の前に、利用者は、図１のテスト対象装置３０において、図２に示す画面表示装置３３０やキーボード３３１やマウス３３２を用いた所定の操作を行うことによって、図６に示すメインメニュー画面を表示する。そうしてから、このステップＳ１３２では、このメインメニュー画面において表示される、「予約情報の登録」をマウスなどで選択する。すると、図７に図示される「予約情報の登録画面」が表示される。

ステップＳ１３４では、この「予約情報の登録画面」において、「設備」及び「日時」を入力してから、「ＯＫ」ボタンをクリックする。すると、続くステップＳ１３６では、図８に図示される「予約情報の登録確認画面」が表示される。利用者は、この「予約情報の登録確認画面」において、上記で入力した「設備」及び「日時」の登録内容を確認する。確認後、この画面において、図示される「閉じる」をクリックすると、図６のメインメニュー画面に戻るようになっている。

本実施例の会議室予約システム用プログラムでは、大抵の場合、利用者は、このような登録後から予約された日時までの間、登録内容を再び確認することが多い。利用者は、このような再確認を行う場合、ステップＳ１３８では、図６に示すメインメニュー画面において、「予約情報の確認（自己最終登録）」をマウスなどで選択する。すると、ステップＳ１４０において、自己最終登録した予約情報を確認するための、図９に図示される「予約情報の確認（自己最終登録）画面」が表示され、自己最終登録の会議室予約の「設備」及び「日時」を確認することができる。

以下、本実施例における回帰テストを、操作・処理段階順に説明する。

以下において、操作・処理段階Ａ１〜Ａ２６は、回帰テストの準備の操作・処理であり、主として操作記録処理部３４や時系列テスト情報取得処理部４０や判定除外設定処理部４４を用いて行われる。

続く操作・処理段階Ａ２７〜Ａ３５は、正常と判断されるケースとなる回帰テスト準備の操作・処理であり、操作・処理段階Ａ３６〜Ａ４２は、異常と判断されるケースとなる回帰テスト準備の操作・処理であり、いずれも、主として、時系列テスト情報取得処理部４０や比較判定処理部５２や判定結果出力処理部５４を用いて行われる。

なお、操作・処理段階は、回帰テストの対象になるプログラムやシステムとなるテスト対象装置３０や、回帰テストに伴った回帰テスト支援装置３２における、操作や画面表示や出力される情報（データや印字出力）などである。

操作・処理段階Ａ１：
操作記録機能を有効にする。以後、テスト対象クライアントＰＣ上の操作が全て記録され、同じ操作を再現できる状態となる。

操作・処理段階Ａ２：
「会議室予約アプリケーション」の「予約情報の登録」メニューを選択する。

操作・処理段階Ａ３：
情報取得機能により「会議室予約アプリケーション」のクライアント・サーバ間通信内容が取得され、比較元データとして保持される。
操作・処理段階Ａ２の操作に関してはクライアント側からの送信及びサーバ側からの応答の２つの情報（次の操作・処理段階Ａ４及び操作・処理段階Ａ５）が保持される。

操作・処理段階Ａ４：
<Client s=1 c=1><menu s=2>予約情報の登録</menu></Client>
クライアント画面で「予約情報の登録」メニューが選択された。

操作・処理段階Ａ５：
<Server s=1 c=2><screen s=2><title s=3>予約情報の登録画面</title>
<label x=1 y=1 s=4>設備：</label><input x=2 y=1 name="設備" s=5></input>
<label x=1 y=2 s=6>日時：</label><input x=2 y=2 name="日時" s=7></input>
<button x=3 y=3 menu="OK" s=8>OK</button><button x=4 y=3 menu="Cancel" s=9>キャンセル</button>
</screen></Server>
サーバから予約情報の登録画面を表示するための情報が送られてきた。

操作・処理段階Ａ６：
「会議室予約アプリケーション」の「予約情報の登録画面」が表示されるので、設備名（会議室1）・日時（2013/7/1 10:00~12:00）を入力し、OKボタンを押す。

操作・処理段階Ａ７：
情報取得機能により「会議室予約アプリケーション」のクライアント・サーバ間通信内容が取得され、比較元データとして保持される。
操作・処理段階Ａ６の操作に関しては、クライアント側からの送信及びサーバ側からの応答の２つの情報（次の操作・処理段階Ａ８及び操作・処理段階Ａ９）が保持される。

操作・処理段階Ａ８：
<Client s=1 c=3><title s=2>予約情報の登録画面</title><input name="設備" s=3>会議室1</input>
<input name="日時" s=4>2013/7/1 10:00〜12:00</input><menu s=5>OK</menu></Client>
クライアント画面で、「設備」「日時」の入力が行なわれ、「OK」ボタンが押された。

操作・処理段階Ａ９：
<Server s=1 c=4><screen s=2><title s=3>予約情報の登録確認画面</title>
<label x=1 y=1 s=4>設備：</label><label x=2 y=1 s=5>会議室1</label>
<label x=1 y=2 s=6>日時：</label><label x=2 y=2 s=7>2013/7/1 10:00〜12:00</label>
<label x=1 y=3 s=8>予約者：</label><label x=2 y=3 s=9>設備管理者</label>
<label x=1 y=4 s=10>予約日時：</label><label x=2 y=4 s=11>2013/6/1 10:30</label>
<button x=3 y=5 menu="閉じる" s=12>閉じる</button>
</screen><pk s=13>20130601_1030_001</pk></Server>
サーバから予約情報の登録確認画面を表示するための情報が送られてきた。
この際、内部で扱うためのID（プライマリキー）が発番されており、それも送られてきている（この値は画面には表示されない。）。

操作・処理段階Ａ１０：
「閉じる」ボタンを押すとメニューが表示されるので、ここで「予約情報の確認（自己最終登録）」を選択する。

操作・処理段階Ａ１１：
情報取得機能により「会議室予約アプリケーション」のクライアント・サーバ間通信内容が取得され、比較元データとして保持される。
操作・処理段階Ａ１０の操作に関してはクライアント側からの送信及びサーバ側からの応答の２つの情報（次の操作・処理段階Ａ１２及び操作・処理段階Ａ１３）が保持される。

操作・処理段階Ａ１２：
<Client s=1 c=5><menu s=2>予約情報の確認（自己最終登録）</menu></Client>
クライアント画面で「予約情報の確認（自己最終登録）」メニューが選択された。

操作・処理段階Ａ１３：
<Server s=1 c=6><screen s=2><title s=3>予約情報の確認（自己最終登録）</title>
<label x=1 y=1 s=4>設備：</label><label x=2 y=1 s=5>会議室1</label>
<label x=1 y=2 s=6>日時：</label><label x=2 y=2 s=7>2013/7/1 10:00〜12:00</label>
<label x=1 y=3 s=8>予約日時：</label><label x=2 y=3 s=9>2013/6/1 10:30</label>
<button x=3 y=4 menu="閉じる" s=10>閉じる</button>
</screen><pk s=11>20130601_1030_001</pk></Server>
サーバから予約情報の確認（自己最終登録）を表示するための情報が送られてきた。
この際、内部で扱うためのＩＤ（プライマリキー）が発番されており、それも送られてきている（この値は画面には表示されない。）。

操作・処理段階Ａ１４：
操作記録機能を停止し、操作・処理段階Ａ２〜Ａ１３までの操作に関して、後で自動操作できる状態にする。

操作・処理段階Ａ１５：
再操作のために「会議室予約アプリケーション」を初期状態（操作・処理段階Ａ２〜Ａ１３の操作で登録された情報が存在しない状態）に戻す。
「会議室予約アプリケーション」自身のアップデートは行なわない。ここでは同じアプリケーションに対して同じ操作を行なってデータを採取する。

操作・処理段階Ａ１６：
自動操作機能を有効にし、操作・処理段階Ａ２〜Ａ１３の操作を自動で行なう。
すると、以下の操作・処理段階Ａ１７〜Ａ２２の情報が比較先データとして保持される。

操作・処理段階Ａ１７：
<Client s=1 c=1><menu s=2>予約情報の登録</menu></Client>

操作・処理段階Ａ１８：
<Server s=1 c=2><screen s=2><title s=3>予約情報の登録画面</title>
<label x=1 y=1 s=4>設備：</label><input x=2 y=1 name="設備" s=5></input>
<label x=1 y=2 s=6>日時：</label><input x=2 y=2 name="日時" s=7></input>
<button x=3 y=3 menu="OK" s=8>OK</button><button x=4 y=3 menu="Cancel" s=9>キャンセル</button>
</screen></Server>

操作・処理段階Ａ１９：
<Client s=1 c=3><title s=2>予約情報の登録画面</title><input name="設備" s=3>会議室1</input>
<input name="日時" s=4>2013/7/1 10:00〜12:00</input><menu s=5>OK</menu></Client>

操作・処理段階Ａ２０：
<Server s=1 c=4><screen s=2><title s=3>予約情報の登録確認画面</title>
<label x=1 y=1 s=4>設備：</label><label x=2 y=1 s=5>会議室1</label>
<label x=1 y=2 s=6>日時：</label><label x=2 y=2 s=7>2013/7/1 10:00〜12:00</label>
<label x=1 y=3 s=8>予約者：</label><label x=2 y=3 s=9>設備管理者</label>
<label x=1 y=4 s=10>予約日時：</label><label x=2 y=4 s=11>2013/6/1 10:50</label>
<button x=3 y=5 menu="閉じる" s=12>閉じる</button>
</screen><pk s=13>20130601_1050_001</pk></Server>

操作・処理段階Ａ２１：
<Client s=1 c=5><menu s=2>予約情報の確認（自己最終登録）</menu></Client>

操作・処理段階Ａ２２：
<Server s=1 c=6><screen s=2><title s=3>予約情報の確認（自己最終登録）</title>
<label x=1 y=1 s=4>設備：</label><label x=2 y=1 s=5>会議室1</label>
<label x=1 y=2 s=6>日時：</label><label x=2 y=2 s=7>2013/7/1 10:00〜12:00</label>
<label x=1 y=3 s=8>予約日時：</label><label x=2 y=3 s=9>2013/6/1 10:50</label>
<button x=3 y=4 menu="閉じる" s=10>閉じる</button>
</screen><pk s=10>20130601_1050_001</pk></Server>

操作・処理段階Ａ２３：
比較元データと比較先データの差分を抽出する（最終的には操作・処理段階Ａ２６の置き換えテーブルの内容も考慮する。）。
異なる部分は、「予約日時」のデータ部分（操作した日時に依存して変化する情報）及び内部データのPKの値部分となる。
この部分を、「比較除外データ」（操作・処理段階Ａ２４）として保存する（「予約情報の登録確認画面」「予約情報の確認（自己最終登録）」の２画面分になるので4項目。）。

操作・処理段階Ａ２４：
以下の情報を「比較除外データ」に登録する。
/Server[@c=4]/label[@s=11]
/Server[@c=6]/label[@s=9]
/Server[@c=4]/pk
/Server[@c=6]/pk

操作・処理段階Ａ２５：
操作・処理段階Ａ２４の２項目は、動作上同じ値となる事が分かっている（登録時のタイムスタンプが表示される）ので、これらを「比較除外データ」から削除し、「置き換え比較データ」に登録する。
ここが、本実施例の動作のための情報設定である。

操作・処理段階Ａ２６：
以下の情報を「置き換え比較データ」に登録する。
/Server[@c=4]/label[@s=11] カテゴリ情報：登録タイムスタンプ
/Server[@c=6]/label[@s=9] カテゴリ情報：登録タイムスタンプ
/Server[@c=4]/pk カテゴリ情報：プライマリキー
/Server[@c=6]/pk カテゴリ情報：プライマリキー
また、この情報を元に「置き換えテーブル」を作成しておく。作成方法は、後述する操作・処理段階Ｂ１から操作・処理段階Ｂ８までによるものである。
「比較除外データ」は空となる。

ここで、上記の操作・処理段階Ａ２６までで作成される置き換えテーブル（準備段階において初回となるものの一例）は、図１１に示すとおりとなる。

又、上記の操作・処理段階Ａ２６までで作成される置き換えテーブル（準備段階において２回目となるものの一例）は、図１２に示すとおりとなる。

以下、操作・処理段階Ａ２７からは、正常と判断されるケースとなる、回帰テストの内容となる。

操作・処理段階Ａ２７：
「会議室予約アプリケーション」自身のアップデートを行なう。
又、準備の際に入力した情報をクリアし、初期状態に戻す。

操作・処理段階Ａ２８：
自動操作機能を有効にし、操作・処理段階Ａ２〜Ａ１３の操作を自動で行なう。
すると、以下の操作・処理段階Ａ２９〜Ａ３４の情報が比較先データとして保持される。

操作・処理段階Ａ２９：
<Client s=1 c=1><menu s=2>予約情報の登録</menu></Client>

操作・処理段階Ａ３０：
<Server s=1 c=2><screen s=2><title s=3>予約情報の登録画面</title>
<label x=1 y=1 s=4>設備：</label><input x=2 y=1 name="設備" s=5></input>
<label x=1 y=2 s=6>日時：</label><input x=2 y=2 name="日時" s=7></input>
<button x=3 y=3 menu="OK" s=8>OK</button><button x=4 y=3 menu="Cancel" s=9>キャンセル</button>
</screen></Server>

操作・処理段階Ａ３１：
<Client s=1 c=3><title s=2>予約情報の登録画面</title><input name="設備" s=3>会議室1</input>
<input name="日時" s=4>2013/7/1 10:00〜12:00</input><menu s=5>OK</menu></Client>

操作・処理段階Ａ３２：
<Server s=1 c=4><screen s=2><title s=3>予約情報の登録確認画面</title>
<label x=1 y=1 s=4>設備：</label><label x=2 y=1 s=5>会議室1</label>
<label x=1 y=2 s=6>日時：</label><label x=2 y=2 s=7>2013/7/1 10:00〜12:00</label>
<label x=1 y=3 s=8>予約者：</label><label x=2 y=3 s=9>設備管理者</label>
<label x=1 y=4 s=10>予約日時：</label><label x=2 y=4 s=11>2013/6/1 13:30</label>
<button x=3 y=5 menu="閉じる" s=12>閉じる</button>
</screen><pk s=13>20130601_1330_001</pk></Server>

操作・処理段階Ａ３３：
<Client s=1 c=5><menu s=2>予約情報の確認（自己最終登録）</menu></Client>

操作・処理段階Ａ３４：
<Server s=1 c=6><screen s=2><title s=3>予約情報の確認（自己最終登録）</title>
<label x=1 y=1 s=4>設備：</label><label x=2 y=1 s=5>会議室1</label>
<label x=1 y=2 s=6>日時：</label><label x=2 y=2 s=7>2013/7/1 10:00〜12:00</label>
<label x=1 y=3 s=8>予約日時：</label><label x=2 y=3 s=9>2013/6/1 13:30</label>
<button x=3 y=4 menu="閉じる" s=10>閉じる</button>
</screen><pk s=10>20130601_1330_001</pk></Server>

操作・処理段階Ａ３５：
「比較除外データ」を考慮し比較元データと比較先データの差分を抽出する（この例では「比較除外データ」は存在しないので無視。）。
更に、「置き換え比較データ」に関しては、後述の置き換えテーブルを用いて、ＸＭＬ内の値の変換を行なってから比較する。
ここでは差分が全くない状態となるため、回帰テストは正常と判定される。

ここで、上記の操作・処理段階Ａ３５までで作成される置き換えテーブル（回帰テストにおいてテスト結果が正常とされる時のものの一例）は、図１３に示すとおりとなる。

以下、操作・処理段階Ａ３６からは、異常と判断されるケースとなる、回帰テストの内容となる。これは、予約情報の確認（自己最終登録）画面で、予約日時が不正な値になっているケースである。

操作・処理段階Ａ３６：
「会議室予約アプリケーション」自身のアップデートを行なう。
又、準備の際に入力した情報をクリアし、初期状態に戻す。

操作・処理段階Ａ３７：
自動操作機能を有効にし、操作・処理段階Ａ２〜Ａ１３の操作を自動で行なう。
これにより、以下の操作・処理段階Ａ３８〜Ａ４３の情報が比較先データとして保持される。

操作・処理段階Ａ３８：
<Client s=1 c=1><menu s=2>予約情報の登録</menu></Client>

操作・処理段階Ａ３９：
<Server s=1 c=2><screen s=2><title s=3>予約情報の登録画面</title>
<label x=1 y=1 s=4>設備：</label><input x=2 y=1 name="設備" s=5></input>
<label x=1 y=2 s=6>日時：</label><input x=2 y=2 name="日時" s=7></input>
<button x=3 y=3 menu="OK" s=8>OK</button><button x=4 y=3 menu="Cancel" s=9>キャンセル</button>
</screen></Server>

操作・処理段階Ａ４０：
<Client s=1 c=3><title s=2>予約情報の登録画面</title><input name="設備" s=3>会議室1</input>
<input name="日時" s=4>2013/7/1 10:00〜12:00</input><menu s=5>OK</menu></Client>

操作・処理段階Ａ４１：
<Server s=1 c=4><screen s=2><title s=3>予約情報の登録確認画面</title>
<label x=1 y=1 s=4>設備：</label><label x=2 y=1 s=5>会議室1</label>
<label x=1 y=2 s=6>日時：</label><label x=2 y=2 s=7>2013/7/1 10:00〜12:00</label>
<label x=1 y=3 s=8>予約者：</label><label x=2 y=3 s=9>設備管理者</label>
<label x=1 y=4 s=10>予約日時：</label><label x=2 y=4 s=11>2013/6/1 13:50</label>
<button x=3 y=5 menu="閉じる" s=12>閉じる</button>
</screen><pk s=13>20130601_1350_001</pk></Server>

操作・処理段階Ａ４２：
<Client s=1 c=5><menu s=2>予約情報の確認（自己最終登録）</menu></Client>

操作・処理段階Ａ４３：
<Server s=1 c=6><screen s=2><title s=3>予約情報の確認（自己最終登録）</title>
<label x=1 y=1 s=4>設備：</label><label x=2 y=1 s=5>会議室1</label>
<label x=1 y=2 s=6>日時：</label><label x=2 y=2 s=7>2013/7/1 10:00〜12:00</label>
<label x=1 y=3 s=8>予約日時：</label><label x=2 y=3 s=9>1900/1/1 00:00</label>
<button x=3 y=4 menu="閉じる" s=10>閉じる</button>
</screen><pk s=10>20130601_1350_001</pk></Server>

操作・処理段階Ａ４４：
「比較除外データ」を考慮し比較元データと比較先データの差分を抽出する（この例では「比較除外データ」は存在しないので無視。）。
更に、「置き換え比較データ」に関しては、後述の置き換えテーブルを用いて、ＸＭＬ内の値の変換を行なってから比較する。
予約情報の確認（自己最終登録）の予約日時部分が、準備段階のデータでは「REPLACE(登録タイムスタンプ-1)」、回帰テストのデータでは「REPLACE(登録タイムスタンプ-2)」となるため、異常を検出できる。なお、本実施例のような「置き換え比較データ」を用いず、「比較除外データ」にこの情報を登録した状態では、この不具合は検出することができない。

ここで、上記の操作・処理段階Ａ４４までで作成される置き換えテーブル（回帰テストにおいてテスト結果が異常とされる時のものの一例）は、図１４に示すとおりとなる。

ここで、置き換えテーブルの作成について、前述の準備段階の初回ログを例として説明する。

本実施例では、置き換えテーブルは、置き換えテーブル作成処理部６４により、自動設定、又は手動設定を可能としている。

時系列テスト情報取得処理部４０の時系列実行結果データ取得処理部６０は、修正前のプログラムの複数回の実行結果を、それぞれの実行中に取得して実行結果データ格納装置６２へと格納する。又、置き換えテーブル作成処理部６４は、これら取得した複数回の実行結果を比較することで、置き換えテーブル（置き換えテーブル情報）を自動的に生成し、置き換えテーブル格納装置６６に保存する。これにより、置き換えテーブル作成処理部６４は、置き換えテーブルを自動設定することができる。

又、置き換えテーブル作成処理部６４は、図４において符号７０で示されるように、置き換え比較データ（置き換えテーブル情報）の手動設定（手動入力）ができるようになっている。例えば、置き換えテーブル（置き換えテーブル情報）の新規設定だけでなく、上述のように自動設定された置き換えテーブルの修正も可能になっている。

このような置き換えテーブル（置き換えテーブル情報）の設定は、以下のようになっている。

操作・処理段階Ｂ１：
採取したログ（操作・処理段階Ｂ２〜操作・処理段階Ｂ７）を前からスキャンし、「置き換え比較データ」に合致する位置の値を取得する。
置き換え比較データの状態は以下の通り。
/Server[@c=4]/label[@s=11] カテゴリ情報：登録タイムスタンプ
/Server[@c=6]/label[@s=9] カテゴリ情報：登録タイムスタンプ
/Server[@c=4]/pk カテゴリ情報：プライマリキー
/Server[@c=6]/pk カテゴリ情報：プライマリキー

操作・処理段階Ｂ２：
<Client s=1 c=1><menu s=2>予約情報の登録</menu></Client>

操作・処理段階Ｂ３：
<Server s=1 c=2><screen s=2><title s=3>予約情報の登録画面</title>
<label x=1 y=1 s=4>設備：</label><input x=2 y=1 name="設備" s=5></input>
<label x=1 y=2 s=6>日時：</label><input x=2 y=2 name="日時" s=7></input>
<button x=3 y=3 menu="OK" s=8>OK</button><button x=4 y=3 menu="Cancel" s=9>キャンセル</button>
</screen></Server>

操作・処理段階Ｂ４：
<Client s=1 c=3><title s=2>予約情報の登録画面</title><input name="設備" s=3>会議室1</input>
<input name="日時" s=4>2013/7/1 10:00〜12:00</input><menu s=5>OK</menu></Client>

操作・処理段階Ｂ５：
<Server s=1 c=4><screen s=2><title s=3>予約情報の登録確認画面</title>
<label x=1 y=1 s=4>設備：</label><label x=2 y=1 s=5>会議室1</label>
<label x=1 y=2 s=6>日時：</label><label x=2 y=2 s=7>2013/7/1 10:00〜12:00</label>
<label x=1 y=3 s=8>予約者：</label><label x=2 y=3 s=9>設備管理者</label>
<label x=1 y=4 s=10>予約日時：</label><label x=2 y=4 s=11>2013/6/1 10:30</label>
<button x=3 y=5 menu="閉じる" s=12>閉じる</button>
</screen><pk s=13>20130601_1030_001</pk></Server>

操作・処理段階Ｂ６：
<Client s=1 c=5><menu s=2>予約情報の確認（自己最終登録）</menu></Client>

操作・処理段階Ｂ７：
<Server s=1 c=6><screen s=2><title s=3>予約情報の確認（自己最終登録）</title>
<label x=1 y=1 s=4>設備：</label><label x=2 y=1 s=5>会議室1</label>
<label x=1 y=2 s=6>日時：</label><label x=2 y=2 s=7>2013/7/1 10:00〜12:00</label>
<label x=1 y=3 s=8>予約日時：</label><label x=2 y=3 s=9>2013/6/1 10:30</label>
<button x=3 y=4 menu="閉じる" s=10>閉じる</button>
</screen><pk s=11>20130601_1030_001</pk></Server>

操作・処理段階Ｂ８：
ヒットするのは以下のもの。
操作・処理段階Ｂ５ 「2013/6/1 10:30」（予約操作実施日時）
操作・処理段階Ｂ５ 「20130601_1030_001」（内部プライマリキー）
操作・処理段階Ｂ７ 「2013/6/1 10:30」（予約操作実施日時）
操作・処理段階Ｂ７ 「20130601_1030_001」（内部プライマリキー）
これを元に、「置き換えテーブル」に値を追加していく。元の文字列・カテゴリが同じものに関しては値の追加は行なわない。ヒットした値部分を置き換え前、カテゴリ毎の連番と固定IDを置き換え後の情報として追加を行なう。
（１） 「2013/6/1 10:30」／「REPLACE(登録タイムスタンプ-1)」
（２） 「20130601_1030_001」／「REPLACE(プライマリキー-1)」
今回の例では、これ以外の値が現れないため、追加は２行のみとなる。

１…ネットワーク
５…クライアント装置
２０…保守・改善開発支援装置
３０…テスト対象装置
３２…回帰テスト支援装置
３４…操作記録処理部
３６…自動操作用データ格納装置
３８…自動操作処理部
４０…時系列テスト情報取得処理部
４２…比較用データ格納装置
４４…判定除外設定処理部
４６…除外手動設定処理部
４８…差分抽出処理部
５０…比較除外データ格納装置
５２…比較判定処理部
５４…判定結果出力処理部
６０…時系列実行結果データ取得処理部
６２…実行結果データ格納装置
６４…置き換えテーブル作成処理部
６６…置き換えテーブル格納装置
６８…置換処理部
７０…置き換え比較データ手動入力
３０１〜３０３…バス
３１０…ＣＰＵ
３１１…ＲＡＭ
３１２…ＲＯＭ
３１３…ＬＡＮ−Ｉ／Ｆ
３１４…ＭＯＤＥＭ
３２０〜３２２…Ｉ／Ｆ
３３０…画面表示装置
３３１…キーボード
３３２…マウス
３３３…プリンタ装置
３４０…ＨＤＤ装置
３４１…ＣＤドライブ装置
３４２…ＦＤＤ装置

Claims (9)

1. テスト対象プログラムのプログラム修正後の不具合を見出すための回帰テスト支援方法において、
   時系列実行結果データ取得処理部により、前記テスト対象プログラムの実行結果を、逐次時系列で取得し、
   置き換えテーブル作成処理部により、プログラム修正の有無には依存しない、乃至は依存しない可能性があるものの、前記テスト対象プログラムの実行状況によって変化する、実行結果の部分を示す置き換えテーブル情報を生成して、置き換えテーブル格納装置に格納し、
   前記置き換えテーブル情報を用いながら、プログラム修正前後の実行結果を比較し、プログラムの不具合を判定する情報を生成するようにしたことを特徴とする回帰テスト支援方法。
2. 請求項１に記載の回帰テスト支援方法において、
   前記置き換えテーブル情報の各レコードが、テスト対象プログラムが出力する処理結果データ別の、該当の処理結果データに結びつけるための判定識別情報、及び該当の処理結果データを置き換えるために用いられる補助情報によって構成されるチェック用記号データであることを特徴とする回帰テスト支援方法。
3. 請求項１又は２に記載の回帰テスト支援方法において、
   時系列テスト情報取得処理部により、修正前のプログラムの複数回の実行結果を、それぞれの実行中に取得し、
   前記置き換えテーブル作成処理部により、これら取得した複数回の実行結果を比較することで、前記置き換えテーブル情報を自動的に生成し、前記置き換えテーブル格納装置に保存するようにしたことを特徴とする回帰テスト支援方法。
4. 請求項１乃至３のいずれか１つに記載の回帰テスト支援方法において、
   前記置き換えテーブル作成処理部により、前記置き換えテーブル情報の自動設定、又は手動設定を可能とするようにしたことを特徴とする回帰テスト支援方法。
5. 請求項１乃至４のいずれか１つに記載の回帰テスト支援方法において、
   判定除外設定処理部により、修正前のプログラムの実行結果、及び修正後のプログラムの実行結果の比較による、プログラムの不具合の判定の対象外とする判定除外情報を取得し、
   比較判定処理部により、前記判定除外情報を参照しながら、修正前及び修正後の前記実行結果を比較し、プログラムの不具合を判定する情報を生成するようにしたことを特徴とする回帰テスト支援方法。
6. テスト対象プログラムのプログラム修正後の不具合を見出すための回帰テスト支援装置において、
   前記テスト対象プログラムの実行結果を、逐次時系列で取得する時系列実行結果データ取得処理部と、
   プログラム修正の有無には依存しない、乃至は依存しない可能性があるものの、前記テスト対象プログラムの実行状況によって変化する、実行結果の部分を示す置き換えテーブル情報が格納される置き換えテーブル格納装置と、
   前記置き換えテーブル情報を生成する置き換えテーブル作成処理部と、
   前記置き換えテーブル情報を用いながら、個々の前記テスト対象プログラムの逐次時系列となっている実行結果を元データとして、不具合を見出すためのプログラム修正前後の実行結果の比較に用いる比較用実行結果データが格納される比較用データ格納装置と、
   前記比較用実行結果データを生成する置換処理部と、
   プログラム修正前後の前記比較用実行結果データを比較し、プログラムの不具合を判定する情報を生成する比較判定処理部と、を備えることを特徴とする回帰テスト支援装置。
7. 請求項６に記載の回帰テスト支援装置において、
   前記置き換えテーブル情報の各レコードが、テスト対象プログラムが出力する処理結果データ別の、該当の処理結果データに結びつけるための判定識別情報、及び該当の処理結果データを置き換えるために用いられる補助情報によって構成されるチェック用記号データであると共に、
   時系列テスト情報取得処理部が、修正前のプログラムの複数回の実行結果を、それぞれの実行中に取得するものであり、
   前記置き換えテーブル作成処理部が、これら取得した複数回の実行結果を比較することで、前記置き換えテーブル情報を自動的に生成し、前記置き換えテーブル格納装置に保存するものであり、
   更に、前記置き換えテーブル作成処理部が、前記置き換えテーブル情報の自動設定、又は手動設定を可能とするものであることを特徴とする回帰テスト支援装置。
8. 請求項６又は７に記載の回帰テスト支援装置において、
   修正前のプログラムの実行結果、及び修正後のプログラムの実行結果の比較による、プログラムの不具合の判定の対象外とする判定除外情報を取得する判定除外設定処理部と、
   前記判定除外情報を参照しながら、修正前及び修正後の前記実行結果を比較し、プログラムの不具合を判定する情報を生成する比較判定処理部と、を更に備えるようにしたことを特徴とする回帰テスト支援装置。
9. 請求項１乃至請求項５のいずれか１つに記載の回帰テスト支援方法、又は、請求項６乃至請求項８のいずれか１つに記載の回帰テスト支援装置を実施するためのコンピュータ・プログラム。

Images