JP2017107265A - テストシナリオ作成支援システム及びテストシナリオ作成支援方法 - Google Patents

Abstract

【課題】ツール利用者と開発者が想定した利用方法との差異を網羅したチェックリストを作成する。
【解決手段】ツール利用者が使用した作業ログを作業パターン抽出ポリシ（チェックリスト）に登録し、ツール開発者がテスト工程で使用した作業ログと、登録されている作業ログとの差異を抽出、表示し、この差異を取り込んだテストシナリオを作成する。
【選択図】図１

Description

本発明は、テストシナリオ作成支援システムに関し、例えば、各種の運用作業における作業ログをベースとしたテストシナリオを作成するテストシナリオ作成支援システム及びテストシナリオ作成支援方法に関する。

ツール開発者は、新しいツールを開発した場合、利用者の「満足度」を満たすことを目的として、利用者が行う業務を想定したシナリオを作成して、ツールの良し悪しを確認するテストを行っている。つまり、シナリオのテストを実施し、当該ツールに不良がないか確認して利用者の「満足度」を満たすようにしている。

係るテストシナリオを作成する従来技術として、特開２０１３−１２０８８号公報（特許文献１）に記載の技術がある。この公報には、「開発支援方法は、実装基板製造装置に組み込まれた制御プログラムによって出力されるログをログファイルから読み出すログ取得ステップ（Ｓ１１）と、駆動部の状態を、ログ取得ステップで取得されたログに記述されている順に遷移させるようなテストシナリオを作成するテストシナリオ作成ステップ（Ｓ１２）と、テストシナリオ作成ステップで作成されたテストシナリオに沿って、制御プログラムをテスト実行するテスト実行ステップ（Ｓ１３）とを含む」という記載がある。

特開２０１３−１２０８８号公報

特許文献１に記載された発明は、テストシナリオを作成し、当該テストシナリオに沿って、制御プログラムをテストする開発支援方法に関し、「制御プログラムの開発を効率的に行なうことができる」と言う効果に留まり、テストシナリオを作成し、当該テストシナリオに沿って、制御プログラムをテストするに際して、以下のような課題については特に考慮されていない。

テストシナリオは、開発側において、複数の利用者の行動を想定して作成することから、何通りもの手順を考慮する必要がある。故に、開発側にて、ツール利用者がよく使用する手順を全て把握することが困難であった。また、リソース後、開発側が想定しない方法で使用されることがある。

つまり、テストシナリオを作成するに際しては、以下のような課題がある。
（１）ツール利用者の行動を推定し作成するには工数がかかること。
（２）ツール利用者がよく使用する作業パターンの手順を、開発側が全て把握することが困難であること。
（３）リリース後、開発側が想定しない方法で使用されることがあること。

特許文献１に記載された技術を利用しても、上記課題を是正することは難しく、ツール利用者と開発者が想定した利用方法（業務を実施する作業パターンの手順）との差異を網羅したチェックリスト（作業手順書）として利用されるテストシナリオを作成することはできない。

そこで、本発明は、係る点に鑑み、ツール利用者と開発者が想定した利用方法との差異を網羅したテストシナリオ（チェックリストを含む作業手順書）を作成する技術を提供することを目的とする。

上記課題を解決するために、代表的な本発明のテストシナリオ作成支援システムの一つは、以下の作業ログをベースとしたテストシナリオ作成支援システムである。
ツール利用者が使用した作業ログを、作業パターン抽出ポリシに登録し、ツール開発者がテスト工程で使用した作業ログと、登録されている作業ログとの差異を抽出、表示し、この差異を取り込んだテストシナリオを作成する。

本発明によれば、ツール開発のテスト工程の効率、品質を向上することができる。例えば、ツール利用者の作業を把握することが可能となり、ツールの品質向上が見込める。また、ツール利用者が使用した作業ログの中からテストシナリオの作業ログとの差異を自動で抽出することで、テストシナリオを推敲し直す手間を省くことができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

図１は、本発明のテストシナリオ作成支援システムの構成例を示すブロック図。 図２は、テストシナリオ作成支援システムの処理手順を示すフローチャート。 図３は、作業パターン編集部のＧＵＩに表示される作業パターン編集画面の一例を示す図。 図４は、作業パターン抽出ポリシの構成例を示すテーブル。 図５は、作業ログの構成例（フォーマット）を示すテーブル。 図６は、テストシナリオ作成部で作成された新テストシナリオの一例を示す図。

以下、本発明について図面を参照して説明する。

図１は、本発明のテストシナリオ作成支援システム１０５の構成例を示すブロック図である。

テストシナリオ作成支援システム１０５は、外部よりインポートされたツール利用者による作業ログ１０３と外部よりインポートされたテストシナリオのテストシナリオログ（作業ログ）１０４を比較する機能、作業ログ１０３とテストシナリオログ１０４の差異を算出する機能、算出した差異を元に作業パターンを編集する機能、編集された作業パターンを元にテストシナリオを作成し、開発ツール（例えば、タブレット端末）１０２に出力する機能、を有する。

ここで、作業ログ１０３とは、利用者によって開発ツール１０２を使用して所望の作業を実施したとき、当該開発ツール１０２から出力される作業ログである。作業は、例えば、標準化された作業手順書（チェックリスト）に適用されるテストシナリオに基づき実施される。したがって、このテストシナリオは、ツール利用者の利用状況、つまり、ツール利用者の実状に沿ったものを用意することに肝要である。
テストシナリオログ１０４とは、開発ツール１０２を開発したとき、テストで使用したテストシナリオから得た作業ログである。
作業ログ１０３とテストシナリオログ１０４は、同様の構成例（フォーマット）とする。これらのログの情報については後述する。

そのため、テストシナリオ作成支援システム１０５は、演算装置１０５１、記憶装置１０５２、入力装置１０５３、出力装置１０５４、を有する。
演算装置１０５１は、作業パターン登録部１０６、作業パターン算出部１０８、作業パターン編集部１０９、テストシナリオ作成部１１０、などを含み、記憶装置１０５２は、作業パターン抽出ポリシ記憶部１０７を含む。入力装置１０５３は、作業パターン抽出ポリシを設定するポリシ入力部を含む。出力装置１０５４は、テストシナリオ作成部１１０にて作成されたテストシナリオをプリントアウトするプリンタを含む。

演算装置（ＣＰＵ）１０５１は、内部に格納されたプログラムに従って上記の各部の動作を制御する。

作業パターン登録部１０６は、外部から作業ログ（図５参照）１０３を入力し、当該作業ログを作業パターン抽出ポリシ記憶部１０７の作業パターン抽出ポリシ（作業パターンライブラリ）にインポートして登録する。作業ログ１０３の構成例（フォーマット）は後述する。

作業パターン抽出ポリシ記憶部１０７は、上述した作業ログ１０３における手順、確認項目、結果、入力文字、及び作業のパターン、実施頻度、などの情報を含む作業パターン抽出ポリシ（作業パターンライブラリ）を登録する（図４参照）。作業パターン抽出ポリシの構成例（フォーマット）は後述する。

作業パターン算出部１０８は、まず、作業パターン抽出ポリシ記憶部１０７から、テストシナリオのテストシナリオログ（作業ログ）１０４と類似している作業ログ１０３を抽出する。
例えば、テストシナリオログ（作業ログ）１０４における作業パターン（図３の３０２参照）と類似する作業ログ１０３における作業パターン（図３の３０３〜３０６参照）を抽出する。そして、テストシナリオログ（作業ログ）１０４における作業パターン３０２と作業ログ１０３における作業パターン３０３〜３０６を比較する。次いで、両ログの作業パターンの差異又は差分を算出する。
ここで、両ログの作業パターン３０３〜３０６の比較差異又は差分の算出は、作業パターンに含まれる手順、結果、入力文字、の何れか１つ以上である。

例えば、テストシナリオのテストシナリオログ（作業ログ）１０４の手順及び結果が「手順１ＯＫ」→「手順２ＯＫ」→「手順３ＯＫ」→「手順４ＯＫ」→「手順５ＯＫ」とする場合、まず、作業パターン抽出ポリシ記憶部１０７から「手順１」「手順２」「手順３」「手順４」「手順５」を含む作業ログ１０３のパターンＡ〜Ｄを抽出する。次いで、当該作業ログ１０３におけるパターンの手順とテストシナリオログ（作業ログ）１０４における手順を比較し、その差分又は差異、例えば、図３を参照すれば、作業パターン（パターンＡ）３０３の「Ａ中断」→「手順２ＯＫ」→「手順３ＯＫ」→「手順４ＯＫ」→「手順５ＯＫ」と、作業パターン（パターンＢ）３０４の「Ｂ手順３ＯＫ」→「Ｂ手順５ＯＫ」→「Ｂ手順４ＯＫ」と、作業パターン（パターンＣ）３０５の「Ｃ手順３ＯＫランプ１」→「Ｃ手順４ＯＫ」→「Ｃ手順５ＯＫ」と、作業パターン（パターンＤ）３０６の「Ｄ手順３ＯＳｋｉｐ時間外」→「Ｄ手順４ＯＫ」→「Ｄ手順５ＯＫ」、を算出する。
ここで、「中断」、「ＯＫ」、「Ｓｋｉｐ」は結果であり、「ランプ１」、「時間外」は入力文字である。

作業パターン編集部１０９は、作業パターン編集画面表示部（以下、ＧＵＩ：Graphical User Interfaceと称する）を含み、当該ＧＵＩに作業パターン算出部１０８にて算出したログの差異又は差分を含む作業パターン３０３〜３０６を、作業パターン３０２と対応付けして部品として表示する（図３参照）。各部品は、作業の手順（１〜５）、結果（ＯＫ、中断、ＮＧ、Ｓｋｉｐ）及び入力文字（ランプ１、時間外）を表示するエリアを有する。
すなわち、作業パターン算出部１０８にて算出された差異又は差分、つまり、作業パターン抽出ポリシ記憶部１０７から抽出した作業ログ１０３の作業パターン３０３〜３０６の手順Ａ〜Ｄをテストシナリオのログ３０２の手順と共に作業パターン編集部１０９の作業パターン編集画面（ＧＵＩ）３０１に表示し、ツール開発者による手順などの選択、作業パターンの編集を可能とする。

作業パターン編集画面（ＧＵＩ）３０１には、図３に示すように、ツール開発者がテストで使用したテストシナリオの作業ログ３０２の手順及び結果と作業パターン３０３〜３０６（パターンＡ〜Ｄ）における手順、結果及び入力文字の部品の他、テストシナリオ作成ボタン３０７、追加ボタン３０８、修正ボタン３０９、削除ボタン３１０、などの部品も表示する。

手順の選択は、作業パターン編集画面（ＧＵＩ）３０１に表示された手順の画面を直にタッチして選択する。この選択した手順は、作業パターン抽出ポリシ記憶部１０７にフィードバックし、反映する。

テストシナリオ作成部１１０は、作業パターン編集部１０９で編集した作業パターの手順及び結果を受け、新テストシナリオ１１１を作成する。本例では、新テストシナリオ１１１は、図６に示すように、「手順１ＯＫ」→「手順２ＯＫ」→「Ｄ手順３Ｓｋｉｐ時間外」→「Ｄ手順ＯＫ」→「Ｄ手順５ＯＫ」となる。そして、この新テストシナリオ１１１は、開発ツール１０２に出力される。また、新テストシナリオ１１１は、出力装置１０５４のプリンタにて出力される。

新テストシナリオ作成は、ツール開発者により、編集して作成されるものであるが、作業パターン編集部１０９における作業パターン編集画面（ＧＵＩ）３０１に表示されるテストシナリオ作成ボタン３０７を操作することにより実行する。

テストシナリオ作成部１１０により作成された新テストシナリオ１１１は、作業手順書（チェックシート）１０１に反映する。これにより、新テストシナリオ１１１が新しい作業手順書（チェックシート）を作成することができる。また、新テストシナリオ１１１のログは、作業パターンポリシに取り込み、作業パターンポリシを更新する。

図２は、テストシナリオ作成支援システム１０５の処理手順を示すフローチャートである。図２のフローチャートに基づく動作は以下のとおりである。

ステップ２０１：テストシナリオ作成支援システム１０５の処理を開始する。

ステップ２０２：テストシナリオ作成支援システム１０５は、作業パターン登録部１０６にて外部からツール利用者の作業ログ３１１を受信し、当該作業ログ１０３の中から作業抽出ポリシとして利用する情報（手順、結果、入力文字など）を作業パターン抽出ポリシ記憶部１０７にインポートする。

ステップ２０３：テストシナリオ作成支援システム１０５は、作業パターン算出部１０８にてツール開発者がテストで使用したテキストシナリオのテストシナリオログ（作業ログ）１０４を受信し、本システム１０５にインポートする。

ステップ２０４：テストシナリオ作成支援システム１０５は、作業パターン算出部１０８にて作業パターン抽出ポリシ記憶部１０７の中から作業ログ１０４の作業パターン（手順）に似ている作業ログ１０３の作業パターンを抽出する。

例えば、テストで使用したテストシナリオの作業ログ３０２における作業パターンの手順が図３で示すとおり、「手順１→手順２→手順３→手順４→手順５」とすると、その結果及び入力文字は、「手順１ＯＫ→手順２ＯＫ→手順３ＯＫ→手順４ＯＫ→手順５ＯＫ」となる。そして、作業パターン抽出ポリシ記憶部１０７における作業パターン抽出ポリシの中で、上記作業ログ３０２で示す手順に類似する手順は、手順１〜５が入っている作業パターン３０３〜３０６（パターンＡ〜Ｄ）となる。

ステップ２０５：テストシナリオ作成支援システム１０５は、作業パターン算出部１０８にて作業ログ１０３における作業パターン（手順）３０２とテキストシナリオの作業ログ１０４における作業パターン（手順）３０３〜３０６を比較し、それらの差異又は差分を算出する。すなわち、作業パターン抽出ポリシ記憶部１０７からテキストシナリオの作業ログ１０４の作業パターン（手順）に類似作業パターン（Ａ〜Ｄ）を抽出し、その差異又は差分（手順の作業順序、結果、作業入力文字）を算出する。

ステップ２０６：テストシナリオ作成支援システム１０５は、作業パターン編集部１０９にて差異又は差分のある作業パターンの手順をＧＵＩに表示し、当該ＧＵＩ表示された作業パターンの手順が選択されたとき、作業パターンの編集を実行する。

図３では、作業パターンＤの「手順３Ｓｋｉｐ時間外」を選択する例を示している。この選択は、ＧＵＩの編集画面にて、「手順３Ｓｋｉｐ時間外」を直接タッチして行う。つまり、開発ツールを利用する利用者は、作業パターン編集部１０９のＧＵＩの編集画面により、採用する作業ログを選択する。

ステップ２０７：テストシナリオ作成支援システム１０５は、テストシナリオ作成部１１０にて編集作業パターンを元に新テストシナリオ１１１を作成し、開発ツールに出力する。

ステップ２０８：テストシナリオ作成支援システム１０５の処理を終了する。

図３は、作業パターン編集部１０９のＧＵＩに表示される作業パターン編集画面３０１の一例を示す図である。

作業パターン編集画面３０１には、作業パターン抽出ポリシ記憶部１０７から、テストで使用しているシナリオテストのシナリオテストログ１０４に対応する作業ログ３０２に類似する作業ログ１０３の作業パターン３０３〜３０６（パターンＡ〜Ｄ）：図４のパターン４０１７に相当）の手順（図４の４０１３）、結果（図４の４０１５）、入力文字（図４の４０１６）、などを表示する。
例えば、作業ログ３０２は、テストで使用したテストシナリオの作業ログであり、作業ログ３０２における手順及び結果は、「手順１ＯＫ→手順２ＯＫ→手順３ＯＫ→手順４ＯＫ→手順５ＯＫ」である。

作業パターン編集画面３０１における作業ログ３０３〜３０６のパターンＡ〜Ｄは、ツール開発者がテストで使用したテストシナリオの作業ログ１０４との差異部分の手順を示すものである。

作業ログ３０３の作業パターンＡ（作業パターン抽出ポリシ記憶部１０７から抽出された作業ログの作業パターンＡ）の手順及び結果は、「Ａ中断の→手順２ＯＫ→手順３ＯＫ→手順４ＯＫ→手順５ＯＫ」であり、作業ログ３０４の作業パターンＢ（作業パターン抽出ポリシ記憶部１０７から抽出された作業ログの作業パターンＢ）の手順及び結果は、「Ｂ手順３ＯＫ→Ｂ手順５ＯＫ→Ｂ手順４ＯＫ」であり、作業ログ３０５の作業パターンＣ（作業パターン抽出ポリシ記憶部１０７から抽出された作業ログの作業パターンＣ）の手順及び結果は、「Ｃ手順３ＯＫ→Ｃ手順４ＯＫランプ１→Ｃ手順５ＯＫ」であり、作業ログ３０６の作業パターンＤ（作業パターン抽出ポリシ記憶部１０７から抽出された作業ログの作業パターンＤ）の手順及び結果は、「手順３Ｓｋｉｐ時間外→Ｄ手順４ＯＫ→Ｄ手順５ＯＫ」である。

そして、作業ログ３０２と作業ログ３０３における手順及び結果の差分部分は、作業ログ３０２には存在しない結果の「中断」の手順が存在するパターンであり、作業ログ３０２と作業ログ３０４における手順及び結果の差分部分は、作業ログ３０２の実施手順と同様であるが、「手順５」の順序が違うパターンである。また、作業ログ３０２と作業ログ３０５における手順及び結果の差異部分は、作業ログ３０２の手順３で結果が「ＯＫ」としている作業ログ３０５が「ＮＧ」であり、かつ、ユーザが実際に入力した文字（ランプ１：図４参照）を表示している。作業ログ３０２と作業ログ３０６における手順及び結果の差分部分は、作業ログ３０２の手順３で「ＯＫ」としている作業ログ３０６が「Ｓｋｉｐ」となっており、更に、ユーザが実際に入力した文字「時間外」を表示している。

ツール開発者は、ＧＵＩに表示された中から必要な手順を選択し、テストシナリオ作成ボタン３０７を操作すると、テストシナリオ作成支援システム１０５は、テストシナリオ作成部１１０にて、新しいテストシナリオ１１１を作成し、出力する。
このように、ＧＵＩに表示された所望の手順を選択することにより、新しいチェックリストに使用する作業ログを選択することが可能である。

図４は、作業パターン抽出ポリシの構成例を示すテーブル４０１である。
テーブル４０１は、作業ログの順番４０１２（１〜２０）、手順４０１３（１〜５）、確認項目４０１４（１〜５）、結果４０１５（ＯＫ、中断、Ｓｋｉｐ）、入力文字４０１６（ランプ１）、パターン４０１７（Ａ〜Ｄ）、実施頻度（１０、５、３、２）、などの各種情報を含んでいる。

手順・確認項目・結果・入力文字は、図５に示す作業ログの情報を登録する。登録に際しては、手順に順番を採番し、登録順にパターンを割り振る。また、同様の作業ログがインポートされた場合、頻度を増分する。

図５は、作業ログの構成例（フォーマット）を示すテーブル５０１である。
テーブル５０１は、作業ログ１０３の項目種別５０１２（正常）、開始時刻５０１３（２０１４／０２／１７ １５：３２：１８）、終了時刻５０１４（２０１４／０２／１７ １５：３２：４１）、結果５０１５（ＯＫ、中断）、入力者名５０１６、入力文字５０１７、手順５０１８（手順１：サーバ室へ入室する）、確認項目５０１９（確認項目１：サーバ室へ入室できた）、などの各情報を含んでいる。

図６は、図３において、作業パターン３０６の「Ｄ手順３Ｓｋｉｐ時間外」を選択したとき、テストシナリオ作成部１１０にて作成される新テストシナリオの一例を示す図である。
以上述べた実施例によれば、開発ツールの提供先である利用者（ユーザ）の操作・入力、を考慮したテストシナリオを作成することができ、ツール開発工数の低減、開発ツールの品質向上を期待することができる。

なお、本発明は上述した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒａｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

１０１ ・・・標準化された作業手順書（チェックリスト）
１０２ ・・・開発ツール
１０３ ・・・作業実施後出力される作業ログ
１０４ ・・・開発時にテストで使用したテストシナリオから得た作業ログ
１０５ ・・・テストシナリオ作成支援システム
１０６ ・・・作業パターン登録部
１０７ ・・・作業パターン抽出ポリシ記憶部
１０８ ・・・作業パターン算出部
１０９ ・・・作業パターン編集部
１１０ ・・・テストシナリオ作成部
１１１ ・・・・新しく作成したテストシナリオ
３０１ ・・・作業パターン編集部のＧＵＩ画面
３０２・・・ツール開発者がテストで使用したテストシナリオの作業ログの手順（部品）
３０３〜３０６・・・作業ログの作業パターンＡ〜Ｄの手順（部品）
３０７ ・・・テストシナリオ作成ボタン
３０８ ・・・追加ボタン
３０９ ・・・修正ボタン
３１０ ・・・削除ボタン

Claims (4)

1. 開発ツールのテストシナリオを作成するテストシナリオ作成支援システムであって、
   ツール利用者から取得した作業ログとツール開発者が使用していたテストシナリオの作業ログとを比較し、当該作業ログの差異又は差分を算出する作業パターン算出部と、
   前記差異又は差分がある作業ログの何れか１つを選択して、前記テストシナリオの作業ログにおける作業パターンを編集する作業パターン編集部と、
   前記作業パターン編集部にて編集した作業パターンと前記ツール開発者が使用していたテストシナリオの作業ログとを元に新テストシナリオを作成して、開発ツールに出力するテストシナリオ作成部と、
   を設けたことを特徴とするテストシナリオ作成支援システム。
2. 開発ツールのテストシナリオを作成するテストシナリオ作成支援システムであって、
   ツール利用者から取得した作業ログにおける手順とツール開発者が使用していたテストシナリオの作業ログにおける手順とを比較し、当該作業ログにおける手順の差異又は差分を算出する作業パターン算出部と、
   前記差異又は差分がある作業ログにおける手順の何れか１つを選択して、前記テストシナリオの作業ログにおける作業パターンを編集する作業パターン編集部と、
   前記作業パターン編集部にて編集した作業パターンにおける手順と前記ツール開発者が使用していたテストシナリオの作業ログにおける手順とを元に新テストシナリオを作成して、開発ツールに出力するテストシナリオ作成部と、
   を設けたことを特徴とするテストシナリオ作成支援システム。
3. 請求項１又は２に記載された開発ツールのテストシナリオを作成するテストシナリオ作成支援システムにおいて、
   前記ツール開発者が選択した作業ログから、条件である手順と、当該手順の結果を取得し、前記ツール利用者から取得した作業ログの手順を含む前記テストシナリオを作成し、当該テストシナリオを作業手順書として自動生成することを特徴とするテストシナリオ作成支援システム。
4. 開発ツールのテストシナリオを作成するテストシナリオ作成支援システムであって、
   ツール利用者から取得した作業ログにおける手順とツール開発者が使用していたテストシナリオの作業ログにおける手順との差異を抽出し
   前記差異がある作業ログにおける手順の何れか１つを選択して前記テストシナリオの作業ログにおける作業パターンを編集し、
   前記編集した作業パターンにおける手順と前記ツール利用者から取得した作業ログにおける手順を元に新テストシナリオを作成して、開発ツールに出力することを特徴とするテストシナリオ作成支援方法。
   
   

Images