JP2009122970A - プログラム検証システム - Google Patents

Abstract

【課題】プログラムのデグレードテストにおける合否判定の効率化を図る。
【解決手段】検証対象プログラムを実行した結果生成されたドキュメントであって、所定フォーマットの基準画面を表示するための理想結果データ１１３Ａと、検証対象プログラムを実行した結果生成されたドキュメントであって、基準画面と同じフォーマットの検証対象画面を表示するための検証対象結果データ１１２Ａとが格納されたデータ記憶部に記憶されている。検証部は、検証対象結果データ１１２Ａと理想結果データ１１３Ａとの差分データ１１２Ｂを抽出し、理想結果データ１１３Ａに含まれる記述のうち、検証対象プログラムを実行するごとに変化する記述を理想差分データ１１３Ｂとして抽出する。差分データ１１２Ｂに理想差分データ１１３Ｂと対応付けられない記述が含まれるか否かに基づき、検証対象プログラムを検証する。
【選択図】図４

Description

本発明は、改変後のプログラムに対するデグレードテストにおける合否判定を効率化するプログラム検証システムに関する。

コンピュータプログラムの修正または機能追加等に起因するデグレードの有無を効率的に検出するための技術として、特許文献１記載のテスト方法が知られている。このリグレッションテスト方法によれば、動作の正当性が保証された変更前プログラム（当初プログラム）に対するテストの手順およびその結果があらかじめ電子ファイルに記録されており、検証対象となる変更後プログラムに対するテストは、その電子ファイルに格納された手順（当初プログラムのテスト手順）に従って実行される。そして、このテスト結果が、電子ファイルに格納されたテスト結果（当初プログラムのテスト結果）とともに表示され、これらのテスト結果の比較により、プログラム変更に起因するデグレードの発生の有無が検証される。
特開平８−２１２１０８号公報

一般に、プログラムのデグレードテストを実行するテストツールの出力には、多くのデータが含まれており、プログラムの機能の検証には実質的に利用されないデータも含まれる。そして、このようなデータのなかには、例えば、日時、ランダムに割り当てられるＩＤ等といった、各回のテストごとに異なることが当然に予定されているデータもある。

ところが、上記従来の技術によれば、当初プログラムに対するテスト結果と変更後のプログラムに対するテスト結果との単純な比較（一致・不一致）によって、デグレードバグの有無が検証される。このため、当初プログラムおよび変更後のプログラムに対するテスト結果に上述のようなデータが含まれていると、最終的には、作業者が、両テスト結果の個々の不一致がデグレードの発生および上述のようなデータの存在のいずれに起因するものなのかを目視によってチェックする必要が生じる。このため、デグレードバグの有無の検証が煩雑になる可能性がある。

そこで、本発明は、改変後のプログラムのデグレードテストにおける合否判定の効率化を図ることを目的とする。

本発明の一つの実施態様に従うプログラム検証システムは、検証対象プログラムを実行した結果生成されたドキュメントであって、所定フォーマットの基準画面を表示するための基準ドキュメントと、前記検証対象プログラムを実行した結果生成されたドキュメントであって、前記基準画面と同一フォーマットの検証対象画面を表示するための検証対象ドキュメントとが格納されたデータ記憶手段と、前記検証対象ドキュメントと前記基準ドキュメントとの差分データを抽出する差分抽出手段と、前記基準ドキュメントに含まれる記述のうち、前記検証対象プログラムを実行するごとに変化する記述を基準相違データとして抽出し、前記差分データに前記基準相違データと対応付けられない記述が含まれるか否かに基づき、前記検証対象プログラムを検証する検証手段と、を備える。

好適な実施態様では、前記基準ドキュメント及び前記検証対象ドキュメントの何れとも異なる、前記検証対象プログラムを実行した結果生成された中間ドキュメントが、前記データ記憶手段にさらに格納されていて、前記検証手段は、前記基準ドキュメントと前記中間ドキュメントとの差分データを前記基準相違データとして生成するようにしてもよい。

好適な実施態様では、表示装置に表示された前記基準画面において、前記基準画面内の領域の指定を受け付けて、前記指定された領域に対応する、前記基準ドキュメントの記述を前記基準相違データとして抽出する手段を、さらに備えてもよい。

好適な実施態様では、前記検証対象ドキュメントに従って、前記検証対象画面を表示装置に表示させる手段であって、前記差分データに前記基準相違データと対応付けられない記述があるときに、前記検証対象画面でその記述に対応する領域を強調表示させる手段をさらに備えていてもよい。

以下、図面を参照しながら、本発明の一実施形態に係るプログラム検証システムについて説明する。

図１は、本実施形態に係るプログラム検証システムの概略構成図である。

同図に示すように、このプログラム検証システムには、プログラム開発の成果物（バグ修正または機能追加等の改変がなされたプログラム：以下、検証対象プログラム）に対するデグレードテストを実行する情報処理装置１００が含まれている。この情報処理装置１００は、例えば汎用的なコンピュータシステムにより構成され、以下に説明する情報処理装置１００内の個々の構成要素または機能は、例えば、コンピュータプログラムを実行することにより実現される。

情報処理装置１００には、キーボードまたはポインティングデバイスなどの入力装置３００と、液晶ディスプレイなどの表示装置２００とが接続されている。

情報処理装置１００は、検証対象プログラムおよびこれに対するテストの結果等の各種データが格納されるデータ記憶部１１０、検証対象プログラムを実行するプログラム実行部１２０、検証対象プログラムに対するテストの結果に基づき検証対象プログラムの動作を検証する検証部１３０、表示装置２００および入力装置３００とのデータ入出力を制御する入出力制御部１４０、プログラム実行部１２０によるテスト結果および検証部１３０による検証結果等を表示装置２００に表示させる閲覧処理部１５０とを有する。

ここで、データ記憶部１１０には、プログラム記憶領域１１１と、実行結果記憶領域１１２と、理想データ記憶領域１１３とが含まれる。データ記憶部１１０は、例えば、各記憶領域１１１，１１２，１１３に該当するサブディレクトリ１１１０，１１２０，１１３０を有するディレクトリ１１００に該当する。

プログラム記憶領域１１１には、検証対象プログラムが格納される。

理想データ記憶領域１１３には、プログラムの動作の正当性が保証される理想的な結果データ（以下、理想結果データ）の格納ファイル、および理想結果データと適正な結果データとの間の差分データ（例えば、各回の実行ごとに異なることが予定されたデータのみ相違する結果データ間の差分データ：以下、理想差分データ）の格納ファイルが保存される。

実行結果記憶領域１１２には、検証対象プログラムの各回の結果データの格納ファイル、及び検証対象プログラムの結果データと理想結果データとの差分データの格納ファイルが保存される。

なお、本実施形態においては、検証対象プログラムの実行結果として、ＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）ドキュメントが出力される。このため、データ記憶部１１０に格納される結果データおよび理想結果データはＨＴＭＬドキュメントである。また、データ記憶部１１０に格納される差分データおよび理想差分データはＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）ドキュメントである。

つぎに、このようなプログラム検証システムにおいて実行されるプログラム検証処理について説明する。

図２及び図３は、本実施形態に係るプログラム検証処理のフローチャート、図４は、このプログラム検証処理におけるデグレードテスト結果検証方法を説明するための図である。

マイルストーンごと、ビルドごと等の適当なタイミングにおいて、ユーザが、入力装置３００を用いて、検証対象プログラムの指定を含むプログラム検証開始指示を与えると、検証部１３０は、入出力制御部１４０を介してそれを検知し、指定された検証対象プログラムの実行をプログラム実行部１２０に指示する。この指示に応じて、プログラム実行部１２０は、データ記憶部１１０のプログラム記憶領域１１１から検証対象プログラムを読み出し、この検証対象プログラムを所定の条件で１回目の予備処理として実行する。ここでは、理想的結果データが得られるように、例えば、デグレードバクが検出されないことが検証済みのテストデータを入力として与える。

プログラム実行部１２０は、この１回目の予備処理を実行して、その処理結果として既定のフォーマットで表示させるためのＨＴＭＬドキュメントを動的に生成する。このＨＴＭＬドキュメントは、１回目の予備結果データとしてデータ記憶部１１０の実行結果記憶領域１１２に保存される（Ｓ４００）。

また、検証部１３０は、１回目の予備処理の結果の表示を閲覧処理部１５０に指示する。この指示に応じて、閲覧処理部１５０は、データ記憶部１１０の実行結果記憶領域１１２から１回目の予備結果データを読み出し、それが表す画面を入出力制御部１４０を介して表示装置２００に表示させる。ここで、ユーザが、表示装置２００に画面表示された１回目の予備処理の結果がプログラムの動作の正当性を保証しているものであると確認し、入力装置３００を用いて保存指示を入力する。検証部１３０は、入出力制御部１４０を介してその入力を検知すると、データ記憶部１１０の実行結果記憶領域１１２から１回目の予備結果データを読み出し、それを理想結果データとしてデータ記憶部１１０の理想データ記憶領域１１３に保存する（Ｓ４１０）。

その後、検証部１３０は、検証対象プログラムに対して、１回目の予備処理と同様の処理（２回目の予備処理）の実行をプログラム実行部１２０に指示する。プログラム実行部１２０は、この検証対象プログラムを、１回目の予備処理とは異なる条件で、２回目の予備処理を実行する。２回目の予備処理が実行されると、第１回目の予備処理の場合と同様に、その処理結果として既定のフォーマットで表示させるためのＨＴＭＬドキュメントが動的に生成される。このＨＴＭＬドキュメントは、２回目の予備結果データとしてデータ記憶部１１０の実行結果記憶領域１１２に保存される（Ｓ４２０）。

さらに、検証部１３０は、データ記憶部１１０の理想データ記憶領域１１３から理想結果データを読み出し、この理想結果データと２回目の予備結果データとを比較する。検証部１３０は、この比較を行って、理想結果データに従って表示された理想的な表示画面（基準画面）と、２回目の予備結果データに従って表示された画面との差分に対応するデータを抽出する。例えば、本実施形態においては、検証部１３０は、ともにＨＴＭＬで記述されている理想結果データと２回目の予備結果データとの間の相違テキストおよびそのライン番号を抽出して、抽出したデータ（差分データ）をＸＭＬドキュメントとして生成する。そして、このＸＭＬドキュメントをデータ記憶部１１０の実行結果記憶領域１１２に保存する（Ｓ４３０）。

このとき得られるＸＭＬドキュメントには、図５（Ａ）に示すように、理想結果データと２回目の予備結果データとの間でテキストが相違するラインごとに、ライン番号６００Ａと、理想結果データにおける該当テキスト６１０Ａと、結果データにおける該当テキスト６２０Ａとが記述されている。この差分データにより、結果データ内における、プログラムを実行するごとに変化することが予定されているＨＴＭＬの記述箇所が特定される。

また、検証部１３０は、このとき得られた差分データの表示を閲覧処理部１５０に指示する。この指示に応じて、閲覧処理部１５０は、理想結果データと２回目の予備結果データとの差分データ（ＸＭＬドキュメント）をデータ記憶部１１０の実行結果記憶領域１１２から読み出して、それを入出力制御部１４０を介して表示装置２００に表示させる。ここで、ユーザが、表示装置２００に画面表示された差分データに、検証対象プログラムの実行ごとに変化することが予定されたデータ（日時、ランダムＩＤ等）を含むラインのみが相違部分として含まれていることを確認して、入力装置３００を用いて保存指示を入力する。検証部１３０は、入出力制御部１４０を介してその入力を検知すると、データ記憶部１１０の実行結果記憶領域１１２から該当差分データを読み出し、それを理想差分データとしてデータ記憶部１１０の理想データ記憶領域１１３に保存する（Ｓ４４０）。

このようにして２回目の予備処理が完了すると、検証部１３０は、検証対象プログラムに対するデグレードテストの実行をプログラム実行部１２０に指示する。この指示に応じて、プログラム実行部１２０は、検証対象プログラムを、例えば１回目および２回目の予備処理の何れとも異なる所定の条件で実行して、上記既定のフォーマットで表示させるためのＨＴＭＬドキュメントを動的に生成する。このＨＴＭＬドキュメントは、検証対象結果データとしてデータ記憶部１１０の実行結果記憶領域１１２に保存される（Ｓ４５０）。

その後、検証部１３０は、図４に示す方法に従って検証対象テスト結果を検証する。以下、図２及び図３に加えて、さらに図４を参照しながら説明する。

検証部１３０は、データ記憶部１１０の理想データ記憶領域１１３から理想結果データ１１３Ａを読み出すとともに、データ記憶部１１０の実行結果記憶領域１１２から検証対象結果データ１１２Ａを読み出して、理想結果データ１１３Ａと検証対象結果データ１１２Ａとを比較する。これにより、理想結果データに従って表示された基準画面と、検証対象結果データに従って表示された画面（検証対象画面）との相違点に対応する差分データを抽出する。例えば、本実施形態においては、検証部１３０は、理想結果データ１１３Ａと検証対象結果データ１１２Ａとの間の相違テキストおよびそのライン番号を抽出して、抽出された差分データをＸＭＬドキュメント１１２Ｂとして生成する。そして、このＸＭＬドキュメント１１２Ｂをデータ記憶部１１０の実行結果記憶領域１１２に保存する（Ｓ５００）。なお、このとき得られるＸＭＬドキュメントにも、図５（Ａ）に示したように、理想結果データと検証対象結果データとの間でテキストが相違するラインごとに、ライン番号６００Ｂと、理想結果データにおける該当テキスト６１０Ｂと、検証対象結果データにおける該当テキスト６２０Ｂとが記述されている。

さらに、検証部１３０は、データ記憶部１１０の理想データ記憶領域１１３から理想差分データ１１３Ｂを読み出し、Ｓ５００で得た差分データ１１２Ｂとこの理想差分データ１１３Ｂとを比較する。検証部１３０は、この比較により、両者１１２Ｂ，１１３Ｂの相違部分を抽出する（Ｓ５１０）。本実施形態においては、例えば、Ｓ５００で得た差分データ１１２Ｂにライン番号ごとに設けられている記述領域（図５（Ａ）の領域６３０Ｂ）のうち、理想差分データ１１３Ｂにライン番号ごとに設けられているいずれの記述領域（図５（Ａ）の領域６３０Ａ）のライン番号６００Ａとも異なるライン番号６００Ｂを含む記述領域６３０Ｂのみが相違部分として抽出される。これにより、検証対象結果データと理想結果データとの相違部分のうち、日時、ランダムＩＤ等の、検証対象プログラムの実行ごとに変化することが予定されたデータに該当する部分を除外した部分のみが抽出される。

その結果、相違部分が抽出されなければ（すなわち、検証対象結果と理想結果との相違部分が、予め変化することが予定されたデータのみであれば）（Ｓ５２０：Ｎｏ）、検証部１３０は、検証対象プログラムに対するデグレードテストが成功したと判定する（Ｓ５３０）。その後、検証部１３０は、その旨を示すメッセージの表示を閲覧処理部１５０に指示する。閲覧処理部１５０は、この指示に応じて、例えば、検証対象プログラムがデグレードテストに合格した旨のメッセージを、入出力制御部１４０を介して表示装置２００に表示させる（Ｓ５４０）。

一方、相違部分が抽出されれば（すなわち、検証対象結果と理想結果との相違部分が、予め変化することが予定されたデータの他にも存在していれば）（Ｓ５２０：Ｙｅｓ）、検証部１３０は、検証対象プログラムに対するデグレードテストが失敗したと判定する（Ｓ５５０）。その後、検証部１３０は、抽出した相違部分に対応するラインのテキストが、検証対象画面を表示したときにハイライト表示などのような強調表示がされるように、データ記憶部１１０の実行結果記憶領域１１２の検証対象結果データを修正する。そして、例えば、検証対象プログラムがデグレードテストに合格しなかった旨のメッセージ、および、修正後の検証対象結果データの表示を閲覧処理部１５０に指示する。この指示に応じて、閲覧処理部１５０は、例えば、検証対象プログラムがデグレードテストに合格しなかった旨のメッセージ、および、抽出された相違部分が強調表示された検証対象画面を、入出力制御部１４０を介して表示装置２００に表示させる（Ｓ５６０）。ユーザは、このとき表示装置２００に表示されるデータ、すなわち、デグレードバグに起因する可能性があるデータを参照しながら、デグレードバグの原因等をチェックすることができる。

このように、本実施形態に係るプログラム検証処理によれば、ソフトフトウェアのデグレードテスト結果から、プログラムの動作の正当性を保証する理想結果と同様な結果を示すデータと検証対象プログラムの実行ごとの変化が予定されたデータとを除外した部分に基づき、プログラムに対するデグレードテストの成功／不成功が判定される。このため、検証対象プログラムの実行ごとに変化することが予定されているデータの不一致によってデグレードテスト不成功と判定されることが防止されるため、ユーザの目視チェックによる合否判定の回数を削減することができる。また、デグレードテストが不成功であると判定された場合には、プログラムのデグレードテスト結果のうち、プログラムの動作の正当性を保証する理想結果と同様な結果を示すデータとテストごとの変化が予定されたデータとが除外された部分（デグレードバクの発生に関連している可能性があるデータ）がハイライト表示されるため、ユーザの目視によるチェック負担が軽減される。このため、プログラムのデグレードテストにおける合否判定の効率化を図ることができる。

ところで、上述の実施形態では、理想差分データを得るために２回目の予備処理を実行しているが、必ずしも、このようにする必要はない。例えば、一つの変形例として、理想差分データ生成ツールによって、理想差分データを生成してもよい。例えば、ユーザがＳ４２０において画面表示された１回目の予備処理結果（理想結果データ）の保存指示を入力した後、理想差分データ生成ツールが、図６に示すように、理想結果データに基づく基準画面７００を含む画面を表示する。ユーザは、基準画面７００のうち、検証対象プログラムを実行するごとに変化する領域を選択するようにしてもよい。理想差分データ生成ツールは、理想差分データ保存ボタン７１０が押されると、基準画面７００において選択された領域７２０に対応するＨＴＭＬを理想結果データから抽出する。そして、抽出した各ラインのデータをライン番号に対応付けたＸＭＬドキュメントを理想差分データとしてデータ記憶部１１０の理想データ記憶領域１１３に保存する。このようにすれば、２回目の予備処理を省略することができるため、プログラム検証処理をさらに効率化することができる。

上記実施形態によれば、検証対象プログラムの実行結果と理想的な実行結果との相違部分のうち、毎回変化することが予定されているデータを除外したデータに基づき検証対象プログラムが正しいか否かを自動的に判定するため、改変後のプログラムのデグレードテストにおける合否判定を効率的に行うことができる。

上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。

例えば、上記実施形態において、デグレードバクが検出されないことが検証済みのテストデータを検証対象プログラムに入力として与えてテストを行うことによって理想的結果データが得ているが、例えば、動作が保証されている改変前のプログラムに対してテストを行い、そのテストの結果を理想結果データとしてもよい。

また、上記実施形態では、説明の便宜上、情報処理装置１００上にデグレードテストの実行環境のみを実装することとしているが、例えば、プログラムの開発環境およびデグレードテストの実行環境の双方が情報処理装置１００上に実装することにより、１台の情報処理装置１００上でプログラムのコーディングおよび上述のプログラム検証を行うことができるようにしてもよい。また、ＬＡＮ等のネットワークを介して相互に接続された複数の情報処理装置でプログラム検証システムを構成して、いずれかの情報処理装置上に、上述のプログラム実行部１２０と、上述のプログラム記憶領域１１１を有するデータ記憶部とを実装し、他の情報処理装置上に、上述の検証部１３０と、上述の実行結果記憶領域１１２および理想データ記憶領域１１１１３を含むデータ記憶部とを実装してもよい。

本発明の一実施形態に係るプログラム検証システムの概略構成図である。 プログラム検証処理のフローチャートを示した図である。 プログラム検証処理のフローチャートを示した図である。 本発明の一実施形態に係るプログラム検証の原理を説明するための図である。 本発明の一実施形態に係るプログラム検証処理において生成されるＸＭＬドキュメント（差分データ）の記述例を示した図である。 本発明の他の実施形態に係る、画面表示された理想結果データから、選択された領域内の理想差分データを抽出する処理を説明するための図である。

符号の説明

１００：情報処理装置、１１０：データ記憶部、１１１：プログラム記憶領域、１１２：実行結果記憶領域、１１３：理想データ記憶領域、１２０：プログラム実行部、１３０：テスト結果検証部、１４０：入出力制御部、２００：表示装置、３００：入力装置

Claims (6)

1. 検証対象プログラムを実行した結果生成されたドキュメントであって、所定フォーマットの基準画面を表示するための基準ドキュメントと、前記検証対象プログラムを実行した結果生成されたドキュメントであって、前記基準画面と同一フォーマットの検証対象画面を表示するための検証対象ドキュメントとが格納されたデータ記憶手段と、
   前記検証対象ドキュメントと前記基準ドキュメントとの差分データを抽出する差分抽出手段と、
   前記基準ドキュメントに含まれる記述のうち、前記検証対象プログラムを実行するごとに変化する記述を基準相違データとして抽出し、前記差分データに前記基準相違データと対応付けられない記述が含まれるか否かに基づき、前記検証対象プログラムを検証する検証手段と、を備えたプログラム検証システム。
2. 前記基準ドキュメント及び前記検証対象ドキュメントの何れとも異なる、前記検証対象プログラムを実行した結果生成された中間ドキュメントが、前記データ記憶手段にさらに格納されていて、
   前記検証手段は、前記基準ドキュメントと前記中間ドキュメントとの差分データを前記基準相違データとして生成することを特徴とする請求項１記載のプログラム検証システム。
3. 表示装置に表示された前記基準画面において、前記基準画面内の領域の指定を受け付けて、前記指定された領域に対応する、前記基準ドキュメントの記述を前記基準相違データとして抽出する手段を、さらに備えることを特徴とする請求項１記載のプログラム検証システム。
4. 前記検証対象ドキュメントに従って、前記検証対象画面を表示装置に表示させる手段であって、前記差分データに前記基準相違データと対応付けられない記述があるときに、前記検証対象画面でその記述に対応する領域を強調表示させる手段をさらに備えることを特徴とする請求項１〜３のいずれかに記載のプログラム検証システム。
5. 検証対象プログラムを実行した結果生成されたドキュメントであって、所定フォーマットの基準画面を表示するための基準ドキュメントと、前記検証対象プログラムを実行した結果生成されたドキュメントであって、前記基準画面と同一フォーマットの検証対象画面を表示するための検証対象ドキュメントとが格納されたデータ記憶手段を備えたプログラム検証システムが行う検証方法であって、
   前記検証対象ドキュメントと前記基準ドキュメントとの差分データを抽出する処理と、
   前記基準ドキュメントに含まれる記述のうち、前記検証対象プログラムを実行するごとに変化する記述を基準相違データとして抽出する処理と、
   前記差分データに前記基準相違データと対応付けられない記述が含まれるか否かに基づき、前記検証対象プログラムを検証する処理と、を含むプログラム検証方法。
6. 検証対象プログラムを実行した結果生成されたドキュメントであって、所定フォーマットの基準画面を表示するための基準ドキュメントと、前記検証対象プログラムを実行した結果生成されたドキュメントであって、前記基準画面と同一フォーマットの検証対象画面を表示するための検証対象ドキュメントとが格納されたデータ記憶手段を備えたプログラム検証システムのためのコンピュータプログラムであって、
   前記プログラム検証システムに、
   前記検証対象ドキュメントと前記基準ドキュメントとの差分データを抽出する処理と、
   前記基準ドキュメントに含まれる記述のうち、前記検証対象プログラムを実行するごとに変化する記述を基準相違データとして抽出する処理と、
   前記差分データに前記基準相違データと対応付けられない記述が含まれるか否かに基づき、前記検証対象プログラムを検証する処理と、を実行させることを特徴とするコンピュータプログラム。

Images