JP2015043181A - 回帰テスト支援システム - Google Patents

Abstract

【課題】回帰テストを能率良く極力自動的に行うと共に、効果的に不具合を見出す。
【解決手段】判定除外設定処理部４４は、修正前のプログラムの実行結果、及び修正後のプログラムの実行結果の比較による、プログラムの不具合の判定の対象外とする判定除外情報を、自動的に、あるいは手動設定で取得するものである。比較判定処理部５２は、この判定除外情報を参照しつつ、比較用データ格納装置４２に保存されている、修正前の回帰テスト対象のプログラムの実行結果、及び修正後の同プログラムの実行結果を比較し、プログラムの不具合を判定する情報を生成する。
【選択図】図３

Description

本発明は、回帰テストを能率良く極力自動的に行うことができると共に、効果的に不具合を見出すことができる回帰テスト支援方法、回帰テスト支援装置、又、これら回帰テスト支援方法及び回帰テスト支援装置を実施するためのコンピュータ・プログラムに関する。

既存システムで運用されているプログラムの保守・改善開発にあたっては、プログラム自体を修正する場合、回帰テストと称し、不具合を見出すテストを十分に実施する必要がある。この回帰テストでは、そのテスト品質の面だけでなく、手間や費用の面が従来から課題になっている。

特許文献１では、ソースコードに含まれる条件式を自動的に演算することで、テスト品質という面で、入力値に対する出力値が変更されていないかを漏れなく検証することを支援するようにしている。

特許文献２は、回帰テストの性質に鑑み、複数のモジュールを含む元の第１のソースコードと、この第１のソースコードに含まれるモジュールの少なくとも一部に変更が加えられた第２のソースコードとを比較し、変更が行われたモジュールを特定するようにしている。これにより、プログラムの詳細な解析を必要とせず、また、ユーザが変更箇所を指定しなくても、修正後のソースコードについて実行すべきテスト項目を抽出できるようにしている。

特許文献３では、テスト結果となる、対象のプログラムからの出力を容易に確認できるようにするために、画面やファイル、外部装置等のテスト対象のプログラムから出力される全ての情報を時系列に残すようにしている。これにより、画面の遷移を容易に確認でき、また予測しない画面の変更に対しても容易に対処でき、さらには性能の劣化を評価することができるようにしている。

特開２００７−０４１８０４号公報 特開２０１０−１２２９５９号公報 特開平１０−２７５０９３号公報

しかしながら、以上のような従来技術においては、回帰テストの面で改善の余地が多々存在している。

特許文献１では、ソースコードに含まれる条件式についてなど、特定の対応部分については、人為的なテスト漏れを防ぐことが予想されるが、網羅されない不具合も存在することになる。

特許文献２では、変更が行われたモジュールを特定することが課題であり、当該モジュール自体のテストについては何ら提案されていない。

特許文献３は、対象のプログラムからの情報を時系列で残すことができるが、このような情報が多大になると、作業量が増大するだけでなく、正しい不具合検証を行うことが困難になる。

本発明は、前記従来の問題点を解決するべくなされたもので、回帰テストを能率良く極力自動的に行うことができると共に、効果的に不具合を見出すことができる回帰テスト支援システムを提供することを課題とする。

本発明は、プログラム修正後の不具合を見出すための回帰テスト支援方法において、時系列テスト情報取得処理部により、修正前のプログラムの実行結果、及び修正後のプログラムの実行結果を、それぞれの実行中に逐次時系列で保存し、判定除外設定処理部により、修正前のプログラムの実行結果、及び修正後のプログラムの実行結果の比較による、プログラムの不具合の判定の対象外とする判定除外情報を取得し、比較判定処理部により、前記判定除外情報を参照しながら、修正前及び修正後の前記実行結果を比較し、プログラムの不具合を判定する情報を生成することができる。

なお、本発明における情報格納手段については、用いるハードウェアの種類やデータの保存形式などについて、特に限定されるものではなく、例えばハードディスクや半導体メモリなどのハードウェア上に、テーブル形式やデータベース形式で情報を格納するものであってもよい。

ここで、本発明の回帰テスト支援方法において、前記時系列テスト情報取得処理部により、修正前のプログラムの複数回の実行結果を、それぞれの実行中に保存し、差分抽出処理部により、これら保存した複数回の実行結果を比較することで、前記判定除外情報を、自動的に生成し保存することができる。

又、本発明の回帰テスト支援方法において、除外手動設定処理部により、前記判定除外情報の提示又は手動設定を可能とすることができる。

ここで、上記の差分抽出処理部及び除外手動設定処理部については、後述する実施形態のように、上記の判定除外設定処理部において設けるようにしてもよい。あるいは、これら差分抽出処理部及び除外手動設定処理部を、この判定除外設定処理部とは別に設けるようにしてもよい。

次に、本発明のプログラム修正後の不具合を見出すための回帰テスト支援装置において、修正前のプログラムの実行結果、及び修正後のプログラムの実行結果を、それぞれの実行中に逐次時系列で保存する時系列テスト情報取得処理部と、修正前のプログラムの実行結果、及び修正後のプログラムの実行結果の比較による、プログラムの不具合の判定の対象外とする判定除外情報を取得する判定除外設定処理部と、前記判定除外情報を参照しながら、修正前及び修正後の前記実行結果を比較し、プログラムの不具合を判定する情報を生成する比較判定処理部と、を備えることができる。

又、前記時系列テスト情報取得処理部が、修正前のプログラムの複数回の実行結果を、それぞれの実行中に保存するものであると共に、これら保存した複数回の実行結果を比較することで、前記判定除外情報を、自動的に生成し保存する差分抽出処理部を有するようにすることができる。

更に、前記判定除外情報の提示又は手動設定を可能とする除外手動設定処理部を有するようにすることができる。

以上の回帰テスト支援方法及び回帰テスト支援装置は、コンピュータ・プログラムにより実現することができる。

本発明によれば、回帰テストの対象になるプログラムの修正前と、修正後の動作を比較し、不具合を能率よく見出すことができる。又、この比較に際し、異常や不具合と判断すべきではない不一致を効果的に除外するための情報を活用することができ、従って、回帰テストを能率良く極力自動的に行うことができると共に、効果的に不具合を見出すことができる。

特に、プログラムの修正前と、修正後の動作を比較する際に参照するのは、異常や不具合と判断すべきであることを設定する情報ではなく、異常や不具合と判断すべきではない不一致を除外するための情報を用いるようにしている。このため、設定がないデータは、必ず判断対象とされるので、より確実に不具合を見出すことができる。

更に、このような除外するための情報を自動的に生成することができる。又、テスト利用者が種々の設定を容易に行うことができる。従って、この面でも、回帰テストの能率向上を図ることができる。

なお、上述したプログラムの修正前と修正後の動作との比較については、具体的に限定されるものではない。テスト対象のプログラムが出力する情報を、修正前と修正後とで対応するもの同士について相互に比較するものであればよい。例えば、テスト対象のプログラムが出力する、利用者に表示する画面に含まれる情報、印字出力する情報、Ｉ／Ｏやネットワークを介して、データベース装置などの様々な外部装置に出力する情報、同一ハードウェアに構築されている他のシステムや装置（他のアプリケーションなどのプログラムを含む）に出力する情報などであってもよい。

本発明が適用される実施形態の回帰テスト支援システムが導入されたプログラム保守・改善開発基幹システムの全体的な構成を示すブロック図 前記プログラム保守・改善開発基幹システムで用いられるコンピュータ装置のハードウェア構成を示すブロック図 前記実施形態の主要部である回帰テスト支援装置の構成を示すブロック図 前記実施形態における回帰テストの処理の流れを示すフローチャート 前記実施形態において回帰テストの実施例となる会議室予約プログラムにおけるメインメニュー画面を示す線図 前記実施例における予約情報の登録画面を示す線図 前記実施例における予約情報の登録確認画面を示す線図 前記実施形態に対する比較例の全体的な構成を示すブロック図 前記比較例における回帰テストの処理の流れを示すフローチャート

以下、図面を参照して、本発明を好適に実施するための形態（以下、実施形態という）について詳細に説明する。

なお、本発明は、以下の実施形態及び実施例に記載した内容により限定されるものではない。又、以下に記載した実施形態及び実施例による構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。更に、以下に記載した実施形態及び実施例で開示した構成要素は、適宜組み合わせてもよいし、適宜選択して用いてもよい。

図１は、本発明が適用される実施形態の回帰テスト支援システムが導入されたプログラム保守・改善開発基幹システムの全体的な構成を示すブロック図である。

この図において、保守・改善開発支援装置２０において設けられる、後述する回帰テスト支援装置３２が、本発明の適用された主要部である。又、テスト対象装置３０が、本実施形態の回帰テストの対象になるプログラムを内蔵している。

又、図示されるように、これら保守・改善開発支援装置２０、及びテスト対象装置３０は、相互に、ネットワーク１により接続されている。加えて、これら装置２０、３０に接続するクライアント装置５も、ネットワーク１により接続されている。該接続により、種々の情報交換がなされる。

なお、回帰テスト支援装置３２に対するテスト対象装置３０の関係は、この図にあるように、ネットワーク１によって接続されるようなものに限定されるものではない。例えば、回帰テスト支援装置３２の内部において、回帰テスト対象のプログラムを実行させるようにしてもよい。回帰テスト支援装置３２を構成するものと同一のハードウェア上において、回帰テスト対象の装置やプログラムを設けるようにしてもよい。

なお、ネットワーク１は、特に限定されるものではない。公衆回線あるいは専用回線を用いるものでも、インターネットやＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）を用いるものでも、あるいはこれらを複合的に接続し構成するものであってもよい。

図２は、本実施形態の各装置に用いるコンピュータ装置のハードウェアの構成を示すブロック図である。

この図２においては、保守・改善開発支援装置２０、テスト対象装置３０、更にはクライアント装置５の各装置として利用可能な、ある種のコンピュータ装置のハードウェア構成が示される。しかしながら、各装置は、このようなものに限定されるものではない。

図２の該コンピュータ装置は、ＯＳ（Operating System）は一例として米国マイクロソフト社のＷｉｎｄｏｗｓ（登録商標）を搭載する、一般的なＰＣ（Personal Computer）装置であってもよく、特に限定されるものではない。あるいは、ＰＣ装置以外のハードウェアを用いてもよく、例えばＥＷＳ（Engineering Work Station）などの、いわゆるワークステーションなどのハードウェアを用いるようにしてもよい。なお、この図において、ハードウェア構成は、説明の関係上一部抽象化されている。

この図において、コンピュータ装置は、ＣＰＵ（Central Processing Unit）３１０と、ＲＡＭ（Random Access Memory）３１１と、ＲＯＭ（Read Only Memory）３１２と、ＬＡＮ−Ｉ／Ｆ（Inter Face）３１３と、ＭＯＤＥＭ（modulator-demodulator）３１４と、種々のＩ／Ｆ３２０〜３２２とを有している。これらは、バス３０１によって相互接続されている。

なお、ＬＡＮ−Ｉ／Ｆ３１３は、ネットワーク１に対して接続するために用いられる。

又、バス３０１に対して、Ｉ／Ｆ３２０を介して、画面表示装置３３０が接続されている。又、バス３０３によって相互接続されている、キーボード３３１と、マウス３３２と、プリンタ装置３３３とは、バス３０１に対して、Ｉ／Ｆ３２１を介して接続されている。

更に、バス３０１に対して、Ｉ／Ｆ３２２を介して、ＨＤＤ（Hard Disc Drive）装置３４０と、ＣＤ（Compact Disc）ドライブ装置３４１と、ＦＤＤ（Floppy（登録商標） Disc Drive）装置３４２とが接続されている。これらはバス３０２によって相互接続されている。

以上のようなハードウェア構成において、記憶手段、及び記憶装置は、ＲＡＭ３１１、ＲＯＭ３１２、ＨＤＤ装置３４０、ＣＤドライブ装置３４１、ＦＤＤ装置３４２などである。このような記憶手段や記憶装置において、ＣＰＵ３１０で実行される様々なプログラムや、本実施形態においてアクセスされるデータベースや諸ファイルやデータが保存され、電子的にアクセスができるようになっている。例えば、ＯＳや、データベースやＪＡＶＡ（登録商標)やＪＳＰ（Java（登録商標) Server Page）などのソフトウェア資源を利用する環境を提供するためのプログラム、本実施形態に係るアプリケーション・プログラム、及びウェブ・ブラウザ・プログラムは、ＨＤＤ装置３４０に格納されていて、実行時には、ＲＡＭ３１１に読み出されてＣＰＵ３１０によって実行される。なお、ＣＰＵ３１０で実行されるアプリケーション・プログラムには、ネットワーク１経由で取得される、ＪＡＶＡ（登録商標)のアプレットや、ＡＳＰ（Active Server Page）の機能によって提供されるものも含まれる。

又、ＯＳやアプリケーション・プログラムその他の実行に際して、オペレータは、画面表示装置３３０に表示出力される情報を参照しつつ、キーボード３３１によって文字入力や諸操作を行ったり、マウス３３２によって座標入力や諸操作の入力を行ったりする。例えば、マウス３３２によって、一覧表示される電子的な帳票の選択をしたり、閲覧中の電子的な帳票において、検索などの範囲指定を行ったり、その他、クリック操作や、いわゆるドラッグ・アンド・ドロップ操作により様々な操作を行ったりする。又、適宜、プリンタ装置３３３からは必要な情報を印字出力したりすることができる。言うまでもなく、これら諸出力や入力は、ＣＰＵ３１０で実行されるプログラムによって、電子的な処理によって行われるものである。

なお、ＣＤドライブ装置３４１やＦＤＤ装置３４２は、本発明を適用して実施する際の、アプリケーション・プログラムのインストールや、その他のオフラインでの情報交換に用いられる。

図３は、本実施形態の主要部である回帰テスト支援装置の構成を示すブロック図である。

図示されるように、前述の保守・改善開発支援装置２０が内蔵する回帰テスト支援装置３２は、操作記録処理部３４と、自動操作用データ格納装置３６と、自動操作処理部３８と、時系列テスト情報取得処理部４０と、比較用データ格納装置４２と、判定除外設定処理部４４と、比較除外データ格納装置５０と、比較判定処理部５２と、判定結果出力処理部５４とを備えている。又、上記の判定除外設定処理部４４は、除外手動設定処理部４６と、差分抽出処理部４８とを備える。この差分抽出処理部４８は、判定除外情報の自動的な設定処理を行うものともいうことができる。

まず、操作記録処理部３４は、回帰テストに際し、テスト対象装置３０のテスト対象プログラムをテスト作業者が動作させる操作に用いられる。又、行われた操作は、該操作記録処理部３４によって、通常時系列的に自動操作用データ格納装置３６に保存される。

次に、自動操作処理部３８は、このように保存された操作内容を再生しつつ、テスト対象装置３０のテスト対象プログラムを自動的に動作させるものである。このようなテスト対象プログラムの自動動作によって、回帰テストを能率よく行うことができる。

続いて、時系列テスト情報取得処理部４０は、修正前の回帰テスト対象のプログラムの実行結果、及び修正後の同プログラムの実行結果を、それぞれの実行中に逐次時系列で比較用データ格納装置４２に保存する。保存される情報には、自動操作処理部３８による自動操作内容、回帰テスト対象のプログラムからの画面表示出力やネットワーク１出力などの様々な出力が含まれる。

判定除外設定処理部４４は、修正前のプログラムの実行結果、及び修正後のプログラムの実行結果の比較による、プログラムの不具合の判定の対象外とする判定除外情報を取得するものである。この判定除外情報は、異常や不具合と判断すべきではない不一致を効果的に除外するための情報であり、判定除外設定処理部４４が内蔵する除外手動設定処理部４６により手動で設定したり、差分抽出処理部４８により自動的に設定したりすることができる。

なお、除外手動設定処理部４６は、差分抽出処理部４８により自動的に設定された情報に対して、追加、修正、及び削除の編集作業をテスト作業者が行えるようになっている。加えて、画面表示装置３３０やキーボード３３１やマウス３３２やプリンタ装置３３３などを活用しながら、テスト作業者がこの編集作業を行う際、修正前のプログラムの実行結果や、修正後のプログラムの実行結果や、該プログラムのソースリストの該当部分なども、テスト作業者に対して画面表示したり印字出力したりして提示することで、作業能率向上が図られている。

次に、比較判定処理部５２は、比較用データ格納装置４２に保存されている、修正前の回帰テスト対象のプログラムの実行結果、及び修正後の同プログラムの実行結果を比較し、プログラムの不具合を判定する情報を生成する。この比較や判定の際には、比較除外データ格納装置５０に保存されている判定除外情報を参照することで、異常や不具合と判断すべきではない不一致を効果的に除外することができる。

判定結果出力処理部５４は、比較判定処理部５２により得られたプログラムの不具合を判定する情報を加工し、テスト作業者に対して画面表示したり印字出力したりすることができる。

ここで、本実施形態では、自動操作処理部３８により、テスト対象装置３０の修正前のプログラム（回帰テスト対象）を、例えばプログラムに対する操作など一部実行条件を異ならせるなどして、複数回実行させるようにしている。この際、時系列テスト情報取得処理部４０は、このような複数回の実行結果を、それぞれの実行中に時系列的に、比較用データ格納装置４２に保存する。そうして、判定除外設定処理部４４の差分抽出処理部４８は、これら保存した複数回の実行結果を比較することで、前述した判定除外情報を、自動的に生成する。

具体的には、このような複数回の実行の際に、異なる実行結果であれば、修正後のプログラム（回帰テスト対象）について、修正前と実行結果が同じになることが期待し難いので、前述した判定除外情報に設定することができる。

なお、除外手動設定処理部４６は、例えば図１のクライアント装置５などから、このような判定除外情報をテスト作業者が手動で設定するものであるが、正確に能率よく設定できるようになっている。例えば、判定除外設定するか否かの判断に用いられる付加情報を併せて表示されるようになっている。又、差分抽出処理部４８により自動的に設定された判定除外情報についても、除外手動設定処理部４６により、テスト作業者は修正することができ、この修正の際、自動設定に用いられた、回帰テスト対象のプログラムの修正前の実行結果を併せて表示することができる。

図４は、本実施形態における回帰テストの処理の流れを示すフローチャートである。

まず、ステップＳ１０２からステップＳ１０８では、準備段階として、判定除外情報を取得する。

ステップＳ１０２では、操作記録処理部３４の操作記録機能により、テスト作業者によるテスト対象の操作の登録を行なう。具体的には、テスト作業者が回帰テスト対象プログラム操作を行うと、自動操作用データが自動操作用データ格納装置３６に蓄積される。この自動操作用データは、テスト作業者の操作内容や、テスト作業者への画面表示情報などの情報である。

次に、ステップＳ１０４では、自動操作用データ格納装置３６に蓄積された自動操作用データに従って、自動操作処理部３８は、回帰テスト対象のプログラムを自動的に実行ささせる。例えば、上述のテスト作業者操作による自動操作用データの蓄積に引き続いて、テスト対象をアップデートしない状態で、自動操作用データを元にテスト対象の操作を自動的に行なう。

このような自動実行の最中において、ステップＳ１０６では、時系列テスト情報取得処理部４０は、比較用データ格納装置４２へと実行結果を時系列的に保存する。

又、これらステップＳ１０４及びステップＳ１０６の自動実行及び実行結果保存は、適宜実行条件を変えるなどしつつ、複数回行う。そして、ステップＳ１０８では、差分抽出処理部４８により、このような複数回の実行結果のデータを採取して差分を抽出し比較除外情報（比較除外データ）を生成する。

ここで、このような複数回の実行により、比較除外データの精度が向上する。又、このように得られた比較除外データは、除外手動設定処理部４６により、テスト作業者が妥当性の確認をしたり、手動により修正をしたりすることができる。

次に、ステップＳ１１０からステップＳ１１４が修正後の回帰テスト対象のプログラムのテスト作業となる。この作業に際しては、テスト対象のプログラムを適宜アップデートする。

まず、ステップＳ１１０では、自動操作処理部３８は、自動操作用データ格納装置３６に保存されている自動操作用データを元に、修正後の回帰テスト対象のプログラムを自動的に操作し、自動的に動作させる。

そうして、ステップＳ１１２では、ステップＳ１０４及びステップＳ１０６の修正前の回帰テスト対象のプログラムの場合と同様、時系列テスト情報取得処理部４０は、実行結果を比較用データ格納装置４２に保存する。

ステップＳ１１４では、比較判定処理部５２は、比較除外データ格納装置５０に保存されている比較除外情報（比較除外データ）に合致する部分以外について、修正前のプログラムの実行結果、及び修正後のプログラムの実行結果を比較し、プログラムの不具合を判定する情報を生成する。又、比較判定処理部５２で得られた情報は、判定結果出力処理部５４により加工され、テスト作業者に画面表示や印字出力により提示される。例えば、判定結果出力処理部５４は、修正前のプログラムの実行結果のデータと、修正後のプログラムの実行結果・比較先データが異なる場合には、「回帰テスト失敗」とする。内容が異なるケースが無い場合、「正常終了」として扱う。

以下、上述の実施形態において、会議室予約システム用プログラムを回帰テスト対象とする実施例について説明する。このプログラムは、クライアント・サーバ間で通信が行われる「会議室予約アプリケーション」である。この回帰テストは、この「会議室予約アプリケーション」にプログラム修正を加えたため、修正後に異常がないことを確認するものである。

図５は、本実施例のメインメニュー画面を示す線図である。図６は、予約情報の登録画面を示す線図である。図７は、予約情報の登録確認画面を示す線図である。

図５の表示画面にて表示される「予約情報の登録」をマウスなどで選択すると、図６に図示される「予約情報の登録画面」が表示される。更に、図６に図示される「予約情報の登録画面」において「設備」及び「日時」を入力してから、「ＯＫ」ボタンをクリックすると、図７に図示される「予約情報の登録確認画面」が表示される。

以下、本実施例における回帰テストを、操作・処理段階順に説明する。なお、テスト準備の際の「比較除外データの採取」は１回である。

まず、以下の操作・処理段階１〜１８は、準備の操作・処理であり、主として操作記録処理部３４を用いて行われる。ここで、前述のステップＳ１０２の「自動操作用データ取得処理」は操作・処理段階１〜１０に対応し、ステップＳ１０４の「修正前テスト対象プログラム自動実行処理」は操作・処理段階１１〜１６に対応し、ステップＳ１０６の「修正前テスト対象データ取得処理」は操作・処理段階１７に対応し、ステップＳ１０８の「比較除外データ取得処理」は操作・処理段階１８に対応する。

操作・処理段階１：
操作記録機能を有効にする。以後、テスト対象クライアントＰＣ上の操作が全て記録され、同じ操作を再現できる状態となる。

操作・処理段階２：
「会議室予約アプリケーション」の「予約情報の登録」メニューを選択する。

操作・処理段階３：
情報取得機能により「会議室予約アプリケーション」のクライアント・サーバ間通信内容が取得され、比較元データとして保持される。又、上述の操作・処理段階２の操作に関しては、クライアント側からの送信及びサーバ側からの応答として、以下の操作・処理段階４及び５の２つの情報が保持される。

操作・処理段階４：
<Client s=1 c=1><menu s=2>予約情報の登録</menu></Client>

操作・処理段階５：
<Server s=1 c=2><screen s=2><title s=3>予約情報の登録画面</title>
<label x=1 y=1 s=4>設備：</label><input x=2 y=1 name="設備" s=5></input>
<label x=1 y=2 s=6>日時：</label><input x=2 y=2 name="日時" s=7></input>
<button x=3 y=3 menu="OK" s=8>OK</button><button x=4 y=3 menu="Cancel" s=9>キャンセル</button>
</screen></Server>

操作・処理段階６：
「会議室予約アプリケーション」の「予約情報の登録画面」が表示されるので、設備名（会議室1）・日時（2013/7/1 10:00〜12:00）を入力し、「ＯＫ」ボタンをクリックする。

操作・処理段階７：
情報取得機能により「会議室予約アプリケーション」のクライアント・サーバ間通信内容が取得され、比較元データとして保持される。又、操作・処理段階６に対応して、クライアント側からの送信及びサーバ側からの応答として、以下の操作・処理段階８及び９の２つの情報が保持される。

操作・処理段階８：
<Client s=1 c=3><title s=2>予約情報の登録画面</title><input name="設備" s=3>会議室1</input>
<input name="日時" s=4>2013/7/1 10:00〜12:00</input><menu s=5>OK</menu></Client>

操作・処理段階９：
<Server s=1 c=4><screen s=2><title s=3>予約情報の登録確認画面</title>
<label x=1 y=1 s=4>設備：</label><label x=2 y=1 s=5>会議室1</label>
<label x=1 y=2 s=6>日時：</label><label x=2 y=2 s=7>2013/7/1 10:00〜12:00</label>
<label x=1 y=3 s=8>予約者：</label><label x=2 y=3 s=9>設備管理者</label>
<label x=1 y=4 s=10>予約日時：</label><label x=2 y=4 s=11>2013/6/1 10:30</label>
<button x=3 y=5 menu="閉じる" s=12>閉じる</button>
</screen></Server>

操作・処理段階１０：
操作記録機能を停止し、操作・処理段階２〜９までの操作に関して、後で自動操作できる状態にする。

操作・処理段階１１：
再操作のために「会議室予約アプリケーション」を初期状態（操作・処理段階２〜９の操作で登録された情報が存在しない状態）に戻す。なお、「会議室予約アプリケーション」自身のアップデートは行なわない。そして、この準備の操作・処理では、同じアプリケーションに対して同じ操作を行なってデータを採取する。

操作・処理段階１２：
自動操作機能を有効にし、操作・処理段階２〜９の操作を自動で行なう。すると、以下の操作・処理段階１３〜１６の４つの情報が保持される。

操作・処理段階１３：
<Client s=1 c=1><menu s=2>予約情報の登録</menu></Client>

操作・処理段階１４：
<Server s=1 c=2><screen s=2><title s=3>予約情報の登録画面</title>
<label x=1 y=1 s=4>設備：</label><input x=2 y=1 name="設備" s=5></input>
<label x=1 y=2 s=6>日時：</label><input x=2 y=2 name="日時" s=7></input>
<button x=3 y=3 menu="OK" s=8>OK</button><button x=4 y=3 menu="Cancel" s=9>キャンセル</button>
</screen></Server>

操作・処理段階１５：
<Client s=1 c=3><title s=2>予約情報の登録画面</title><input name="設備" s=3>会議室1</input>
<input name="日時" s=4>2013/7/1 10:00〜12:00</input><menu s=5>OK</menu></Client>

操作・処理段階１６：
<Server s=1 c=4><screen s=2><title s=3>予約情報の登録確認画面</title>
<label x=1 y=1 s=4>設備：</label><label x=2 y=1 s=5>会議室1</label>
<label x=1 y=2 s=6>日時：</label><label x=2 y=2 s=7>2013/7/1 10:00〜12:00</label>
<label x=1 y=3 s=8>予約者：</label><label x=2 y=3 s=9>設備管理者</label>
<label x=1 y=4 s=10>予約日時：</label><label x=2 y=4 s=11>2013/6/1 10:50</label>
<button x=3 y=5 menu="閉じる" s=12>閉じる</button>
</screen></Server>

操作・処理段階１７：
比較元データと比較先データの差分を抽出する。これら比較元データと比較先データの比較において異なる部分は、本実施例では、「予約日時」のデータ部分（操作した日時に依存して変化する情報）となる。この部分を、以下の操作・処理段階１８に示す「比較除外データ」として保存する。

操作・処理段階１８：
/Server[@c=4]/label[@s=11]

以上のような操作・処理段階１〜１８の準備の操作・処理の後に、以下に説明する、操作・処理段階１９〜２５や操作・処理段階２６〜３２のように、修正後の回帰テスト対象のプログラムを主として自動操作処理部３８を用いながら動作させ、回帰テストの結果を取得する。なお、操作・処理段階１９〜２５は、正常と判断されるケースとなる、又、操作・処理段階２６〜３２は、異常と判断されるケースとなる、修正後の対象プログラムの動作テストである。

又、前述のステップＳ１１０の「テスト対象プログラム自動実行処理」は、操作・処理段階１９、２０、及び、操作・処理段階２６、２７に対応する。ステップＳ１１２の「テスト対象データ取得処理」は、操作・処理段階２１〜２４、及び、操作・処理段階２８〜３１に対応する。ステップＳ１１４の「テスト結果出力処理」は、操作・処理段階２５、及び、操作・処理段階３２に対応する。

まず、正常と判断されるケースとなる、操作・処理段階１９〜２５の、修正後の対象プログラムの動作テストについて説明する。

操作・処理段階１９：
「会議室予約アプリケーション」自身のアップデートを行なう。又、準備の際に入力した情報をクリアし、初期状態に戻す。

操作・処理段階２０：
自動操作機能を有効にし、操作・処理段階２〜９の操作を自動で行なう。これにより、以下の操作・処理段階２１〜２４の情報が比較先データとして保持される。

操作・処理段階２１：
<Client s=1 c=1><menu s=2>予約情報の登録</menu></Client>

操作・処理段階２２：
<Server s=1 c=2><screen s=2><title s=3>予約情報の登録画面</title>
<label x=1 y=1 s=4>設備：</label><input x=2 y=1 name="設備" s=5></input>
<label x=1 y=2 s=6>日時：</label><input x=2 y=2 name="日時" s=7></input>
<button x=3 y=3 menu="OK" s=8>OK</button><button x=4 y=3 menu="Cancel" s=9>キャンセル</button>
</screen></Server>

操作・処理段階２３：
<Client s=1 c=3><title s=2>予約情報の登録画面</title><input name="設備" s=3>会議室1</input>
<input name="日時" s=4>2013/7/1 10:00〜12:00</input><menu s=5>OK</menu></Client>

操作・処理段階２４：
<Server s=1 c=4><screen s=2><title s=3>予約情報の登録確認画面</title>
<label x=1 y=1 s=4>設備：</label><label x=2 y=1 s=5>会議室1</label>
<label x=1 y=2 s=6>日時：</label><label x=2 y=2 s=7>2013/7/1 10:00〜12:00</label>
<label x=1 y=3 s=8>予約者：</label><label x=2 y=3 s=9>設備管理者</label>
<label x=1 y=4 s=10>予約日時：</label><label x=2 y=4 s=11>2013/6/1 13:00</label>
<button x=3 y=5 menu="閉じる" s=12>閉じる</button>
</screen></Server>

操作・処理段階２５：
「比較除外データ」を考慮し比較元データと比較先データの差分を抽出する。このような比較元データと比較先データの差分取得の比較において、差分相違が全くない状態となるため、回帰テストは正常と判定される。

次に、異常と判断されるケースとなる、操作・処理段階２６〜３２の、修正後の対象プログラムの動作テストについて説明する。これは、「会議室予約アプリケーション」にログインしているユーザ情報が破壊され、自動設定される「予約者」が「設備管理者」にならないケースである。

操作・処理段階２６：
「会議室予約アプリケーション」自身のアップデートを行なう。又、準備の際に入力した情報をクリアし、初期状態に戻す。

操作・処理段階２７：
自動操作機能を有効にし、操作・処理段階２〜９の操作を自動で行なう。これにより、以下の操作・処理段階２８〜３１の情報が比較先データとして保持される。

操作・処理段階２８：
<Client s=1 c=1><menu s=2>予約情報の登録</menu></Client>

操作・処理段階２９：
<Server s=1 c=2><screen s=2><title s=3>予約情報の登録画面</title>
<label x=1 y=1 s=4>設備：</label><input x=2 y=1 name="設備" s=5></input>
<label x=1 y=2 s=6>日時：</label><input x=2 y=2 name="日時" s=7></input>
<button x=3 y=3 menu="OK" s=8>OK</button><button x=4 y=3 menu="Cancel" s=9>キャンセル</button>
</screen></Server>

操作・処理段階３０：
<Client s=1 c=3><title s=2>予約情報の登録画面</title><input name="設備" s=3>会議室1</input>
<input name="日時" s=4>2013/7/1 10:00〜12:00</input><menu s=5>OK</menu></Client>

操作・処理段階３１：
<Server s=1 c=4><screen s=2><title s=3>予約情報の登録確認画面</title>
<label x=1 y=1 s=4>設備：</label><label x=2 y=1 s=5>会議室1</label>
<label x=1 y=2 s=6>日時：</label><label x=2 y=2 s=7>2013/7/1 10:00〜12:00</label>
<label x=1 y=3 s=8>予約者：</label><label x=2 y=3 s=9>一般ユーザ</label>
<label x=1 y=4 s=10>予約日時：</label><label x=2 y=4 s=11>2013/6/1 13:20</label>
<button x=3 y=5 menu="閉じる" s=12>閉じる</button>
</screen></Server>

操作・処理段階３２：
「比較除外データ」を考慮し比較元データと比較先データの差分を抽出する。このような比較元データと比較先データの差分取得の比較において、異なる部分は「予約者」のデータ部分であり、つまり、本来は「設備管理者」になる部分が「一般ユーザ」になっている部分である。又、このように差分相違が発生したため、回帰テストでエラー発生と判定される。従って、修正後の回帰テスト対象のプログラムに、何らかの異常があると推測される。

比較例

以下、図面を参照して、本実施形態に対する比較例について説明する。本比較例は、前述した実施形態や実施例と同様、テスト対象装置３０の回帰テストを行うものである。

図８は、本発明が適用される実施形態の回帰テスト支援システムが導入されたプログラム保守・改善開発基幹システムの全体的な構成を示すブロック図である。

図示される回帰テスト支援装置５８は、前述の実施形態の回帰テスト支援装置３２に対応するものである。又、この回帰テスト支援装置５８は、操作記録処理部３４と、自動操作用データ格納装置３６と、自動操作処理部３８と、テスト前データ設定処理部６０と、期待値データ格納装置６２と、画面情報取得処理部６４と、比較判定処理部６６とを備える。

まず、本比較例の操作記録処理部３４、自動操作用データ格納装置３６、及び、自動操作処理部３８については、前述した実施形態のものとほぼ同じものである。

画面情報取得処理部６４は、修正後の回帰テスト対象のプログラムを実行させる際に、特に画面情報について時系列で取得するものである。

又、テスト前データ設定処理部６０は、テスト対象のプログラムに異常がない場合、このように時系列で取得されるであろうと予測される画面情報を、テスト作業者が予め設定しておくために用いられる。又、このテスト前データ設定処理部６０は、修正後の回帰テスト対象のプログラムを実行させる際の設定を、自動操作用データ格納装置３６に対して行うために用いられる。

比較判定処理部６６は、回帰テストにおいて、修正後の回帰テスト対象のプログラムの実行中、画面情報取得処理部６４により取得される画面情報と、正常の場合を予想して予め期待値データ格納装置６２に設定されている画面情報とを逐次比較する。そして、不一致となるケースがあれば、修正後の回帰テスト対象のプログラムに何らかの異常があるものとして、「回帰テスト失敗」と判定する。あるいは、不一致となるケースがない場合、「正常終了」として扱う。

図９は、本比較例における回帰テストの処理の流れを示すフローチャートである。

まず、ステップＳ１４２及びステップＳ１４４では、準備段階として、種々の設定を行う。

ステップＳ１４２では、前述の実施形態のステップＳ１０２と同様、操作記録処理部３４の操作記録機能により、テスト作業者によるテスト対象の操作の登録を行なう。

次に、ステップＳ１４４では、テスト前データ設定処理部６０を用いることによって、テスト対象のプログラムに異常がない場合、画面情報取得処理部６４により時系列で取得されるであろうと予測される画面情報を、テスト作業者が予め設定する。又、このテスト前データ設定処理部６０を用いて、修正後の回帰テスト対象のプログラムを実行させる際の設定を、自動操作用データ格納装置３６に対して行う。

次に、ステップＳ１４６からステップＳ１５０が修正後の回帰テスト対象のプログラムのテスト作業となる。この作業に際しては、テスト対象のプログラムを適宜アップデートする。

まず、ステップＳ１４６では、自動操作処理部３８は、自動操作用データ格納装置３６に保存されている自動操作用データを元に、修正後の回帰テスト対象のプログラムを自動的に操作し、自動的に動作させる。

そうして、ステップＳ１４８では、画面情報取得処理部６４は、特に画面情報を時系列で取得する。又、比較判定処理部６６は、画面情報取得処理部６４により取得される画面情報と、正常の場合を予想して予め期待値データ格納装置６２に設定されている画面情報とを逐次比較する。

このような修正後の回帰テスト対象のプログラムの自動的なテスト動作の完了後、ステップＳ１５０では、比較判定処理部６６において不一致とされたケースがあれば、修正後の回帰テスト対象のプログラムに何らかの異常があるものとして、「回帰テスト失敗」と判定する。あるいは、不一致とされるケースがない場合、「正常終了」として扱う。

以上のような比較例と比較すると、前述した本発明の実施形態や実施例では、比較例のステップＳ１４４において行う必要がある、テスト対象のプログラムに異常がない場合、テスト対象のプログラムから時系列で取得されるであろうと予測される情報を、テスト作業者が予め設定するといった必要がない。このような予想情報は、テスト作業者が見出すことも設定することも、熟練や手間を非常に多く要するものである。従って、本発明の実施形態や実施例によれば、回帰テストを能率良く極力自動的に行うことができると共に、効果的に不具合を見出すことができる。

１…ネットワーク
５…クライアント装置
２０…保守・改善開発支援装置
３０…テスト対象装置
３２、５８…回帰テスト支援装置
３４…操作記録処理部
３６…自動操作用データ格納装置
３８…自動操作処理部
４０…時系列テスト情報取得処理部
４２…比較用データ格納装置
４４…判定除外設定処理部
４６…除外手動設定処理部
４８…差分抽出処理部
５０…比較除外データ格納装置
５２…比較判定処理部
５４…判定結果出力処理部
６０…テスト前データ設定処理部
６２…期待値データ格納装置
６４…画面情報取得処理部
６６…比較判定処理部
３０１〜３０３…バス
３１０…ＣＰＵ
３１１…ＲＡＭ
３１２…ＲＯＭ
３１３…ＬＡＮ−Ｉ／Ｆ
３１４…ＭＯＤＥＭ
３２０〜３２２…Ｉ／Ｆ
３３０…画面表示装置
３３１…キーボード
３３２…マウス
３３３…プリンタ装置
３４０…ＨＤＤ装置
３４１…ＣＤドライブ装置
３４２…ＦＤＤ装置

Claims (7)

1. プログラム修正後の不具合を見出すための回帰テスト支援方法において、
   時系列テスト情報取得処理部により、修正前のプログラムの実行結果、及び修正後のプログラムの実行結果を、それぞれの実行中に逐次時系列で保存し、
   判定除外設定処理部により、修正前のプログラムの実行結果、及び修正後のプログラムの実行結果の比較による、プログラムの不具合の判定の対象外とする判定除外情報を取得し、
   比較判定処理部により、前記判定除外情報を参照しながら、修正前及び修正後の前記実行結果を比較し、プログラムの不具合を判定する情報を生成するようにしたことを特徴とする回帰テスト支援方法。
2. 請求項１に記載の回帰テスト支援方法において、
   前記時系列テスト情報取得処理部により、修正前のプログラムの複数回の実行結果を、それぞれの実行中に保存し、
   差分抽出処理部により、これら保存した複数回の実行結果を比較することで、前記判定除外情報を、自動的に生成し保存するようにしたことを特徴とする回帰テスト支援方法。
3. 請求項１又は２に記載の回帰テスト支援方法において、
   除外手動設定処理部により、前記判定除外情報の提示又は手動設定を可能とするようにしたことを特徴とする回帰テスト支援方法。
4. プログラム修正後の不具合を見出すための回帰テスト支援装置において、
   修正前のプログラムの実行結果、及び修正後のプログラムの実行結果を、それぞれの実行中に逐次時系列で保存する時系列テスト情報取得処理部と、
   修正前のプログラムの実行結果、及び修正後のプログラムの実行結果の比較による、プログラムの不具合の判定の対象外とする判定除外情報を取得する判定除外設定処理部と、
   前記判定除外情報を参照しながら、修正前及び修正後の前記実行結果を比較し、プログラムの不具合を判定する情報を生成する比較判定処理部と、を備えたことを特徴とする回帰テスト支援装置。
5. 請求項４に記載の回帰テスト支援装置において、
   前記時系列テスト情報取得処理部が、修正前のプログラムの複数回の実行結果を、それぞれの実行中に保存するものであると共に、
   これら保存した複数回の実行結果を比較することで、前記判定除外情報を、自動的に生成し保存する差分抽出処理部を有するようにしたことを特徴とする回帰テスト支援装置。
6. 請求項４又は５に記載の回帰テスト支援装置において、
   前記判定除外情報の提示又は手動設定を可能とする除外手動設定処理部を有するようにしたことを特徴とする回帰テスト支援装置。
7. 請求項１乃至請求項３のいずれか１つに記載の回帰テスト支援方法、又は、請求項４乃至請求項６のいずれか１つに記載の回帰テスト支援装置を実施するためのコンピュータ・プログラム。

Images