JP2009181560A - 試験項目生成装置及び方法、ネットワーク試験支援装置及び方法、試験項目生成装置及びネットワーク試験支援装置を実現するためのコンピュータプログラム - Google Patents

Abstract

【課題】エキスパートシステムを利用せずに所望とする試験項目を漏れなく生成する。
【解決手段】試験項目生成装置２は、入力手段１１を通じてプロトコル定義部１２に通信プロトコル規約を構成するプロトコル定義を設定するとともに、生成条件設定部１３に項目抽出のための生成条件を設定し、これらの設定に基づいて試験項目自動生成部１４がネットワーク上の試験対象装置と通信相手装置間でやり取りされるメッセージの論理的組み合わせを自動抽出して試験項目を生成する。
【選択図】図１

Description

本発明は、ネットワークに接続された試験対象の装置と、該試験対象の装置の通信相手となる装置との間で行われる通信におけるメッセージシーケンスに関わる試験項目を生成する試験項目生成装置及び方法、試験項目生成装置を含むネットワーク試験支援装置及び方法、さらには試験項目生成装置及びネットワーク試験支援装置を実現するためのコンピュータプログラムに関する。

従来、各種ネットワーク機器の通信試験を行う場合、ネットワークの通信仕様を記述した仕様書上のシーケンス定義やフレーム定義を参照しながら人間が手作業で試験項目（シーケンスパターンやパラメータパターン）を抽出し、抽出した試験項目にしたがって試験を実施し評価していた。

しかしながら、上述した従来の手作業による方法では、以下に示すような課題があった。
（１）試験項目を抽出する場合、メッセージ種別やパラメータ種別の数に比例して指数的に組み合わせが増大し、これを漏れなく抽出する作業を人間が行うには限界がある。
（２）仮に人間によって全ての論理的組み合わせが抽出できたとしても、その項目の全てが実施できているかどうかの確認を行う場合、やはり人間によってキャプチャデータなどを解析しながら試験項目との突き合わせ比較を行う必要があり、多大な労力を必要とする。

そこで、上記課題を解決すべく、人手による作業量を削減し、人手で行うことによる試験項目の誤りや漏れを防止するため、例えば下記特許文献１に開示される試験項目抽出方式が提案されている。

この特許文献１に開示される試験項目抽出方式では、予め、プロトコルの属性に関する知識および専門家が抽出したそのプロトコルの属性と試験項目との対応関係に関する知識をエキスパートシステムに入力しておき、ユーザがそのエキスパートシステムに試験対象のプロトコル仕様を入力することにより、そのプロトコル仕様に関する試験項目の自動抽出を行っている。これにより、プロトコル仕様が与えられた時に、そのインプリメンテーションがベースとしたプロトコル仕様に適合しているか否かを認識するための試験項目を、上記エキスパートシステムを利用して自動的に抽出することができ、システム開発に効率的な支援を与えることができる。
特公平７−１０５８２８号（特開平１−２２１９６１号）公報

しかしながら、上述した特許文献１に開示される試験項目抽出方式では、エキスパートシステムを利用しているので、抽出される試験項目が知識ベースによって左右される。このため、試験項目としての完成度が評価しにくく、知識ベースの内容によっては試験項目が変化し、再現性がないという問題があった。

そこで、本発明は上記問題点に鑑みてなされたものであって、上述したエキスパートシステムを利用せずに所望とする試験項目を漏れなく生成することができる試験項目生成装置及び方法の提供とともに、試験の進捗度合を容易に把握することが可能なネットワーク試験支援装置及び方法の提供、さらには、上記試験項目生成装置及びネットワーク試験支援装置を実現するためのコンピュータプログラムを提供することを目的としている。

上記目的を達成するため、本発明の請求項１に記載された試験項目生成装置は、ネットワークに接続された試験対象である第１の装置と該第１の装置の通信相手となる第２の装置との間で行われる通信におけるメッセージシーケンスに関わる試験項目を生成する試験項目生成装置２であって、
前記第１の装置と前記第２の装置間で使用する通信のプロトコル規約で定まる複数のメッセージと該複数のメッセージの手順規則であるシーケンス情報が定義された通信プロトコルメッセージシーケンス定義テーブル１２ｂ１および前記複数のメッセージそれぞれが有する通信に関わるパラメータに関する設定情報であるパラメータ設定情報が定義されたメッセージパラメータテーブル１２ａを有するプロトコル定義部１２と、
前記通信プロトコルメッセージシーケンス定義テーブルの複数のメッセージのうち選択された少なくとも１つのメッセージに対して前記試験項目の生成に関する条件の入力を受けて該試験項目の生成条件が設定される生成条件設定部１３と、
前記生成条件設定部で設定された生成条件に基づいて、前記通信プロコトルメッセージシーケンス定義テーブルに定義されたシーケンス情報より前記選択された少なくとも１つのメッセージを含むメッセージ組み合わせを抽出するとともに、
前記メッセージパラメータテーブルに定義されたパラメータ設定情報および前記生成条件設定部で設定された生成条件のうちパラメータ設定情報に関する生成条件に基づいてパラメータの値を生成し、前記少なくとも１つのメッセージと組み合わせてパラメータ組み合わせとし、前記メッセージ組み合わせと前記パラメータ組み合わせとをメッセージで対応付けて組み合わせて前記メッセージシーケンスに関わる試験項目を生成する試験項目自動生成部１４とを備えたことを特徴とする。

請求項２に記載された試験項目生成装置は、請求項１記載の試験項目生成装置において、
前記プロトコル定義部１２は、前記通信プロトコルに対して前記通信プロトコルメッセージシーケンス定義テーブルに加えて特定のメッセージにおけるシーケンスを特定シーケンス情報として定義されたシーケンス指定テーブル１２ｂ２を更に有することを特徴とする。

請求項３に記載されたネットワーク試験支援装置は、請求項１又は請求項２の試験項目生成装置２を含むネットワーク試験支援装置３であって、
前記試験項目自動生成部１４は、前記生成した試験項目を記憶する試験項目記憶部１４ｂを有し、
さらに、前記第１の装置と前記第２の装置が接続されたネットワークに接続され、前記第１の装置と前記第２の装置間で行われる通信シーケンスをモニタするモニタ部１７と、
前記試験項目記憶部に記憶された試験項目と前記モニタ部でモニタした前記通信シーケンスとを比較し、試験項目と同一のシーケンスを抽出するとともに、当該試験項目を試験済みとして記憶する試験結果解析部１８とを備えたことを特徴とする。

請求項４に記載されたネットワーク試験支援装置は、請求項３記載のネットワーク試験支援装置において、
前記試験結果解析部１８は、前記試験項目の全数に対し、前記試験済み項目の数とから試験進捗率を算出することを特徴とする。

請求項５に記載されたネットワーク試験支援装置は、請求項３又は４記載のネットワーク試験支援装置において、
前記ネットワークには複数の装置が接続されており、該複数の装置から試験対象となる前記第１の装置と該第１の装置の通信相手となる前記第２の装置を指定可能とするフィルタ条件設定部１６を有し、
前記モニタ部１７は、前記フィルタ条件設定部で指定された前記第１の装置と前記第２の装置との間で行われる通信シーケンスを抽出するフィルタ部１７ａを有することを特徴とする。

請求項６に記載された試験項目生成方法は、ネットワークに接続された試験対象である第１の装置と該第１の装置の通信相手となる第２の装置との間で行われる通信におけるメッセージシーケンスに関わる試験項目を生成する試験項目生成方法であって、
前記第１の装置と前記第２の装置間で使用する通信のプロトコル規約で定まる複数のメッセージと該複数のメッセージの手順規則であるシーケンス情報が定義された通信プロトコルメッセージシーケンス定義テーブル１２ｂ１および前記複数のメッセージそれぞれが有する通信に関わるパラメータに関する設定情報であるパラメータ設定情報が定義されたメッセージパラメータテーブル１２ａを用い、
前記通信プロトコルメッセージシーケンス定義テーブルの複数のメッセージのうち選択された少なくとも１つのメッセージに対して前記試験項目の生成に関する条件の入力を受けて該試験項目の生成条件が設定されるステップと、
前記設定された生成条件に基づいて、前記通信プロトコルメッセージシーケンス定義テーブルに定義されたシーケンス情報より前記選択された少なくとも１つのメッセージを含むメッセージ組み合わせを抽出するステップと、
前記メッセージパラメータテーブルに定義されたパラメータ設定情報および前記設定された生成条件のうちパラメータ設定情報に関する生成条件に基づいてパラメータの値を生成し、前記少なくとも１つのメッセージと組み合わせてパラメータ組み合わせとするステップと、
前記メッセージ組み合わせと前記パラメータ組み合わせとをメッセージで対応付けて組み合わせて前記メッセージシーケンスに関わる試験項目を生成するステップとを含むことを特徴とする。

請求項７に記載されたネットワーク試験支援方法は、請求項６の試験項目生成方法を含むネットワーク試験支援方法であって、
前記第１の装置と前記第２の装置間で行われる通信シーケンスをモニタするステップと、
前記生成された試験項目と前記モニタした前記通信シーケンスとを比較し、試験項目と同一のシーケンスを抽出するとともに、当該試験項目を試験済みとして記憶するステップとを含むことを特徴とする。

請求項８に記載された試験項目生成装置を実現するためのコンピュータプログラムは、請求項１の試験項目生成装置を実現するためのコンピュータプログラムであって、
前記試験項目生成装置に含まれるコンピュータに、前記通信プロトコルメッセージシーケンス定義テーブル１２ｂ１および前記メッセージパラメータテーブル１２ａを設定し、
前記通信プロトコルメッセージシーケンス定義テーブルの複数のメッセージのうち選択された少なくとも１つのメッセージに対して前記試験項目の生成に関する条件の入力を受けて該試験項目の生成条件を設定し、
前記設定された生成条件に基づいて、前記通信プロトコルメッセージシーケンス定義テーブルに定義されたシーケンス情報より前記選択された少なくとも１つのメッセージを含むメッセージ組み合わせを抽出し、
前記メッセージパラメータテーブルに定義されたパラメータ設定情報および前記設定された生成条件のうちパラメータ設定情報に関する生成条件に基づいてパラメータの値を生成し、前記少なくとも１つのメッセージと組み合わせてパラメータ組み合わせとし、
前記メッセージ組み合わせと前記パラメータ組み合わせとをメッセージで対応付けて組み合わせて前記メッセージシーケンスに関わる試験項目を生成する機能を実現させることを特徴とする。

請求項９に記載されたネットワーク試験支援装置を実現するためのコンピュータプログラムは、請求項３のネットワーク試験支援装置を実現するためのコンピュータプログラムであって、
前記ネットワーク試験支援装置に含まれるコンピュータに、前記第１の装置と前記第２の装置間で行われる通信シーケンスをモニタし、
前記生成された試験項目と前記モニタした前記通信シーケンスとを比較し、試験項目と同一のシーケンスを抽出するとともに、当該試験項目を試験済みとして記憶する機能を実現させることを特徴とする。

本発明によれば、従来の特許文献１に開示されるようなエキスパートシステムを利用することなく、シーケンス定義及び設定条件に従った全ての試験項目を漏れなく生成でき、対象装置に最適な試験項目を網羅して試験項目を自動生成することができる。

また、試験中のログを取得することによって試験自体がどの程度網羅できているかを容易に把握することができる。

以下、本発明の実施の形態を図面を参照しながら具体的に説明する。図１は本発明に係る試験項目生成装置及びネットワーク試験支援装置を含むネットワーク試験支援システムの一例を示すブロック構成図、図２（ａ）は「試験対象プロトコル設定」のプロトコル選択画面の一例を示す図、図２（ｂ）は「試験対象装置の設定」のＩＰアドレス入力画面の一例を示す図、図３は「メッセージフォーマット入力フォーム」の一例を示す図、図４はメッセージパラメータテーブルの一例を示す図、図５は通信プロトコルメッセージシーケンス定義テーブルの一例を示す図、図６は「生成条件設定」の設定画面の一例を示す図、図７は「固定値設定」の入力画面の一例を示す図、図８は試験する対象メッセージを抽出するための前段階シーケンスの定義の一例を示す図、図９は選択された各メッセージに対するパラメータのパターンの一例を示す図、図１０は図５の通信プロトコルメッセージシーケンス定義テーブルと図６の対象メッセージで選択された情報とによって生成されるパターンの組み合わせの例を示す図、図１１は図９と図１０に基づく正常系組み合わせパターンの例を示す図、図１２はシーケンス指定テーブルの一例を示す図、図１３はＧＥＴメッセージとシーケンス指定テーブルに基づく他のメッセージとによって生成されるパターンの組み合わせの例を示す図、図１４は図１２と図１３に基づく組み合わせパターンの例を示す図、図１５は試験項目生成結果一覧の一例を示す図、図１６は試験状況及び試験実施網羅度の表示例を示す図、図１７は試験実施網羅度の他の表示例を示す図、図１８は試験項目を生成するまでの手順を示す動作フローチャートである。

本発明は、大別して、各種ネットワーク機器において予め規約に基づいて定義された通信プロトコルとユーザが定義する条件とを元に有効な全ての試験項目を抽出して自動生成する試験項目自動生成機能と、自動生成された試験項目とモニタによる試験実行結果とを付き合わせて試験項目の実施網羅度を自動測定する実施網羅度自動測定機能とを有するものである。

これらの機能について簡単に説明すると、以下の通りである。
（１）試験項目自動生成機能…試験対象装置と通信相手装置間（例えば図１における装置Ａと装置Ｂ間）でやり取りされるメッセージをプロトコル規約に基づくプロトコル定義と項目抽出のための生成条件とに基づいて論理的に組み合わせて（パラメータの組み合わせも含む）試験項目を自動生成する。
（２）実施網羅度自動測定機能…抽出された全ての試験項目と、装置Ａと装置Ｂ間のやり取りをモニタリングしたデータ（ログに含まれている通信ロジック）とを比較して、試験項目がどの程度実施されたかの実施網羅度を測定する。

そして、図１に示す本例のネットワーク試験支援システム１は、上述した各機能を実現するべく、試験項目生成装置２を含むネットワーク試験支援装置３が、ネットワーク通信機能を有するネットワーク機器で構成される複数の装置４（図１では装置Ａ、装置Ｂ、装置Ｃ）に対し、例えばＨＵＢなどの集線装置５を介してネットワーク接続されている。

ここで、試験項目生成装置２は、上述した機能のうち試験項目自動生成機能を実現するべく、入力手段１１、プロトコル定義部１２、生成条件設定部１３、試験項目自動生成部１４、表示手段１５を備えて概略構成される。また、ネットワーク試験支援装置３は、上記試験項目生成装置２の各構成に加え、上述した実施網羅度自動測定機能を実現するべく、フィルタ条件設定部１６、パケットモニタ部１７、試験結果解析部１８を備えている。以下、各構成について説明する。

入力手段１１は、例えばＧＵＩ（Graphical User Interface）で構成され、プロトコル定義として、２つの装置４間（例えば装置Ａと装置Ｂ間）でやり取りされるパケットのメッセージフォーマットとプロトコル規約上の条件とを定義するべく、図２（ａ）の「試験対象プロトコル設定」でのプロトコル選択、図２（ｂ）の「試験対象装置の設定」での試験対象装置と通信相手装置とを指定する入力、図３の「メッセージフォーマット入力フォーム」での各項目の入力・編集、図６の「生成条件設定」での各項目の入力・編集、図７の「固定値設定」での固定値の入力、上記各種設定画面の切り替えなどを表示手段１５と連動しながら選択的に入力を行っている。

さらに各設定内容について説明すると、図２（ａ）の「試験対象プロトコル設定」の設定画面では、試験対象のプロトコル規約がどのプロトコル群であるのかと、サーバ側のプロトコル規約なのかクライアント側のプロトコル規約なのかを選択設定している。すなわち、この「試験対象プロトコル設定」は、複数のプロトコル規約からなるプロトコル群から試験対象のプロトコル規約が何のプロトコル規約に基づくのかを設定するものである。図２（ａ）では、「プロトコル群Ａのサーバ側プロトコル」を選択設定した例を示している。

図２（ｂ）の「試験対象装置の設定」の設定画面では、試験対象となる装置とその通信相手の装置を特定して指定するべく、試験対象装置と通信相手装置を特定する情報（例えばＩＰアドレスやＭＡＣアドレスなど）を入力設定している。図２（ｂ）では、試験対象装置のＩＰアドレスとして「１９２．１６８．０．１」、通信相手装置のＩＰアドレスとして「１９２．１６８．０．２」に設定した例を示している。

図３の「メッセージフォーマット入力フォーム」の設定画面では、対象メッセージ毎のフォーマットを定義するべく、例えばパラメータＩＤ（図３のＩＤ）、サイズ、属性、ＯＦＦＳＥＴ、値の範囲などを定義している。図３は対象メッセージとしてＧＥＴメッセージのフォーマットを定義した場合の入力例を示している。

なお、メッセージのフォーマットには複数の種類があるので、図３の「メッセージフォーマット入力フォーム」はいずれのメッセージについても汎用的に入力できるように構成されている。

図６の「生成条件設定」の設定画面では、試験項目を生成するために必要な各メッセージ毎の共通条件を設定している。図６では、対象メッセージとして「ＧＥＴ」の各パラメータＩＤ（メッセージコード、ＡＡフィールドレングス、ＡＡフィールドボディ、取得データＩＤ、タイムスタンプ）毎の生成条件を設定した例を示している。

なお、図６の例では、「対象メッセージ」の「ＧＥＴ」、「ＰＯＰ」、「ＲＥＳ」のチェックボックスにチェックを入れて選択しているので、「ＧＥＴ」以外のメッセージ、すなわち「ＰＯＰ」および「ＲＥＳ」についても、条件設定を行うＧＵＩが続けて表示されるようになっている。また、この「生成条件設定」の設定画面では、メッセージシーケンス定義テーブル１２ｂに定義された各メッセージについて設定可能な構成となっており、各メッセージのフォーマットが定義された後述するメッセージパラメータテーブル１２ａのパラメータの種類（パラメータＩＤ）に対応してそれぞれの試験条件を入力させるための設定項目が表示される。

例えば「ＡＡフィールドレングス」等の数値範囲が設定されている項目に対する入力は、一般的な試験手法である「異常値」、「境界値」、「固定値」などを選択可能に表示し、試験条件を設定させる。なお、正常値の試験は、「境界値」を設定することに含まれる。

また、「ＡＡフィールドボディ」や「タイムスタンプ」などのように、値の範囲が任意の場合は、「固定値」の直接入力などで試験条件を設定させる。

さらに、「取得データＩＤ」などの数値が限定されている場合などは、その数値に対して、「異常値」、「境界値」などを選択可能に表示し、試験条件を設定させる。

なお、「固定値」などを直接入力によって設定する場合は、例えば図４に示すメッセージパラメータテーブル１２ａ上の「属性、フォーマット」の定義に従って入力画面を変えることもできる。例えば「タイムスタンプ」等の時、分、秒形式の「属性、フォーマット」が定義されているものに関しては、図７の「固定値設定」の設定画面のように、「＊＊：＃＃：＄＄」形式で入力手段１１から入力することができる。この図７の「固定値設定」の設定画面は、例えば図６の「固定値」を選択したときにサブウィンドウとしてポップアップ表示することができる。

また、上記「固定値」に限らず、任意の「異常値」を特定する場合も、図７と同様の設定画面で設定することができる。

プロトコル定義部１２は、メッセージパラメータテーブル１２ａと、メッセージシーケンス定義テーブル１２ｂとを有している。

メッセージパラメータテーブル１２ａは、試験対象装置と通信相手装置間で使用する通信プロトコル規約で定まる複数のメッセージそれぞれが有する通信に関わるパラメータに関する設定情報（パラメータ設定情報）を定義したものであり、例えば図４に示す形式でテーブル化し、管理している。

図４はＧＥＴメッセージに関するメッセージパラメータテーブル１２ａであり、パラメータＩＤの各項目（メッセージコード、ＡＡフィールドレングス、ＡＡフィールドボディ、取得データＩＤ、タイムスタンプ）毎に、メッセージ先頭からのオフセット、サイズ、属性、フォーマット、値の範囲がテーブル化されている。

また、メッセージパラメータテーブル１２ａは、使用する通信プロトコル規約に基づいて予め図４に示す形式でテーブル化したものを入力手段１１を介して読み込んだり、図３の「メッセージフォーマット入力フォーム」で設定された設定内容を図４に示す形式にテーブル変換して得ることができる。また、メッセージパラメータテーブル１２ａは、通信規約プロトコル毎に複数持つことも可能である。

さらに、メッセージパラメータテーブル１２ａは、入力手段１１を介して直接編集することも可能である。その際、既に定義されたメッセージパラメータテーブル１２ａを編集、利用して追加する場合には、選択したメッセージにのみ対応したフォーマット入力画面を表示することもできる。また、メッセージパラメータテーブル１２ａ（図４）において、サイズ欄の指定は、直接数値を代入するだけでなく、パラメータＩＤを指定することでの入力も可能である。つまり、図４の例の場合、ＡＡフィールドボディのサイズ欄には、「ＡＡフィールドレングスの値」と指定することでＡＡフィールドレングスのサイズと同じ値「４」がそのまま代入される。

また、属性（文字列、タイムなど）に応じた値の設定も可能である。例えばタイムの属性なら「＊＊：＃＃：＄＄」などのように設定することができる。この属性とフォーマットは、例えばセル形式の設定のように、ユーザが入力手段１１を介して任意に追加、編集することができる。

なお、図示はしないが、メッセージパラメータテーブル１２ａは、ＧＥＴメッセージ以外の他のメッセージに関しても図４と同様の形式のテーブルによって管理している。

さらに、上述したシーケンスの定義において、対象とするメッセージの前に複数のやり取りを条件とする試験項目を実施する場合は、例えば図８に示すようなラダーシーケンスを設定して、条件とすることも可能である。その場合の条件は、入力手段１１を通じて後述する生成条件設定部１３内の試験開始条件設定部１３ｃに設定される。この設定された試験開始条件は、図１において、後述する試験項目自動生成部１４を通じて表示手段１５に表示される。

図８に示すラダーシーケンスは、対象メッセージとして「ＧＥＴ」を試験するための試験開始条件を設定した例であって、「ＧＥＴ」と「ＲＥＳ」のやり取りを２回した状態で、再度「ＧＥＴ」を送信することを想定した試験を行いたい場合の前のシーケンスの定義を示している。そして、図８の例では、後述する試験開始条件設定部１３ｃの設定により試験開始条件記憶部１４ｃに記憶された試験開始条件、すなわち「ＧＥＴ」−「ＲＥＳ」−「ＧＥＴ」−「ＲＥＳ」を試験開始パターン抽出部１８ａが抽出したことを試験開始条件として、直後の対象メッセージ「ＧＥＴ」（図８のラダーでは最下段の「ＧＥＴ」）に関する試験が実行される。なお、図８では、図６で対象メッセージとして選択された「ＰＯＰ」と「ＲＥＳ」に関しては、この試験開始条件は適用されない。

メッセージシーケンス定義テーブル１２ｂは、試験対象装置と通信相手装置間で使用する通信プロトコル規約で定まる複数のメッセージと複数のメッセージの手順規則であるシーケンス情報を定義したものであり、通信に着目した状態遷移表として、通信プロトコル規約に定められた手順規則を定義した通信プロトコルメッセージシーケンス定義テーブル１２ｂ１と、通信プロトコルメッセージシーケンス定義テーブル１２ｂ１に定義される手順規則以外の手順（例えば異常系など）を個別に定義するためのシーケンス指定テーブル１２ｂ２とを有している。なお、シーケンス指定テーブル１２ｂ２には、通信プロトコルメッセージシーケンス定義テーブル１２ｂ１と同じ内容が定義されたとしても同じ試験が行われるだけで問題はない。

通信プロトコルメッセージシーケンス定義テーブル１２ｂ１は、通信プロトコル規約に則した振る舞いを、例えば図５に示す形式でテーブル化して管理している。この通信プロトコルメッセージシーケンス定義テーブル１２ｂ１は、通信プロトコル規約毎に複数持つことも可能である。また、通信プロトコルメッセージシーケンス定義テーブル１２ｂ１は、予め図５に示す形式でテーブル化したものを入力手段１１を介して読み込んだり、図５に示すテーブルを直接編集することが可能である。

図５は試験項目が装置Ａと装置Ｂ間のメッセージのシーケンスについて確認するもので、かつ図２（ａ）で指定された通信プロトコル規約に対応したテーブル例である。また、前提として以下のような制約が規程されているものとしている。装置Ａ，Ｂ間でやり取りするメッセージの種別は、「ＧＥＴ」、「ＰＯＰ」、「ＰＵＳＨ」、「ＲＥＳ」、「ＮＯＴＩ」の５種である。

そして、図５に示す通信プロトコルメッセージシーケンス定義テーブル１２ｂ１では、例えば「ＧＥＴ」に関して、ＧＥＴメッセージを受信するタイミングは、図５のメッセージ欄「ＧＥＴ」でパターン欄の「受信」よりＰＵＳＨ送信後、ＲＥＳ送信後、ＮＯＴＩ送信後のみに規定されている。また、ＧＥＴメッセージを受信した後のアクションとしては、ＲＥＳを送信するのみが規定されている。なお、本例の説明では、試験項目の試験項目の生成に前述したアクションを使用していない。

さらに、上記各コマンドの概要について説明すると、「ＧＥＴ」はデータを指定して情報を取得する要求メッセージ、「ＰＯＰ」はディレクトリ名を指定して、該当するディレクトリのデータを取得する要求メッセージ、「ＰＵＳＨ」はデータを相手に送付するメッセージ、「ＲＥＳ」は「ＧＥＴ」と「ＰＯＰ」に対する応答メッセージ、「ＮＯＴＩ」は相手に通知を行うメッセージである。

シーケンス指定テーブル１２ｂ２は、特定シーケンス情報が定義されるもので、例えば図１２に示すような形式でテーブル化されている。例えば通信プロトコルメッセージシーケンス定義テーブル１２ｂ１で定義されている以外のシーケンスが定義される。なお、このシーケンス指定テーブル１２ｂ２は、図６の形式による対象メッセージ毎のパラメータ内容についても反映される。

図１２はＧＥＴメッセージの異常シーケンスについて、ＧＥＴ受信後のＧＥＴ受信、ＲＥＳ受信後のＧＥＴ送信のシーケンスを指定する場合のシーケンス指定テーブル１２ｂ２の一例を示している。

なお、シーケンス指定テーブル１２ｂ２に関しても、通信プロトコルメッセージシーケンス定義テーブル１２ｂ１と同様に、予め図１２に示す形式でテーブル化したものを入力手段１１を介して読み込んだり、図１２に示すテーブルを直接編集することが可能である。

このシーケンス指定テーブル１２ｂ２は、追って説明する図６の「規約の例外」の項目で「指定テーブル」の設定がなされているときに使用される。

生成条件設定部１３は、試験項目の生成に関する生成条件が設定されるものであり、メッセージシーケンス生成条件設定部１３ａ、メッセージパラメータ生成条件設定部１３ｂ、試験開始条件設定部１３ｃを有している。

メッセージシーケンス生成条件設定部１３ａは、通信プロトコル規約に従った対象メッセージに関するメッセージシーケンス生成条件として、例えば試験項目を生成する対象メッセージの設定、規約の例外の設定を行っている。

さらに説明すると、対象メッセージの設定では、図６の「生成条件設定」の設定画面において、「対象メッセージ」の「ＧＥＴ」、「ＰＯＰ」、「ＰＵＳＨ」、「ＲＥＳ」、「ＮＯＴＩ」の中から試験項目を生成する対象メッセージのチェックボックスにチェックを入れて設定する。図６は「ＧＥＴ」、「ＰＯＰ」、「ＲＥＳ」を対象メッセージとして設定した例を示している。

また、規約の例外の設定では、図６の「生成条件設定」の設定画面において、「規約の例外」の中から「指定テーブル」又は「全て」のチェックボックスにチェックを入れて設定する。図６は「全て」を規約の例外として設定した例を示している。

なお、規約の例外の設定において、「指定テーブル」を設定した場合は、シーケンス指定テーブル（例えば図１２のテーブル）１２ｂ２の定義に従って、テーブルに定義されているシーケンスでの試験項目（例えば異常シーケンス）が生成される。また、「全て」を設定した場合は、通信プロトコルメッセージシーケンス定義テーブル（例えば図５のテーブル）１２ｂ１で定義されるシーケンス以外の全てのパターンが生成される。なお、図６に示す形式で入力された各メッセージ毎のパラメータ内容も反映して生成される。

メッセージパラメータ生成条件設定部１３ｂは、図６の「生成条件設定」の設定画面において、上述した対象メッセージとして選択されたメッセージ毎にパラメータ生成条件を設定している。図６では、対象メッセージ「ＧＥＴ」のパラメータ生成条件として、メッセージコード、ＡＡフィールドレングス、ＡＡフィールドボディ、取得データＩＤ、タイムスタンプの各項目の設定を行った例を示している。

試験開始条件設定部１３ｃは、例えば図８のラダーシーケンスに示すように、対象メッセージを試験するための試験開始条件（試験を開始する前の装置間のメッセージの行き来）を入力手段１１を通じて作成又は編集可能に設定している。この設定された試験開始条件は、試験項目自動生成部１４を通じて表示手段１５に表示される。

試験項目自動生成部１４は、プロトコル定義部１２で管理されるメッセージパラメータテーブル１２ａ及びメッセージシーケンス定義テーブル１２ｂと、生成条件設定部１３の生成条件の設定内容とに基づいて試験項目（シーケンス定義及び生成条件に基づくあらゆるメッセージとパラメータのパターンの組み合わせ）を自動生成する試験項目自動生成機能（生成した試験項目を表示する機能も含む）を有しており、対象メッセージテーブル１４ａ、試験項目記憶部１４ｂ、試験開始条件記憶部１４ｃを備えている。

対象メッセージテーブル１４ａは、試験項目を生成するときに使用されるテーブルであり、通信プロトコルメッセージシーケンス定義テーブル１２ｂ１と図６の「生成条件設定」の設定画面で選択された対象メッセージとで生成される対象メッセージの組み合わせテーブル（例えば図１０）や、対象メッセージとシーケンス指定テーブル１２ｂ２に基づいて生成される対象メッセージの組み合わせテーブル（例えば図１３）で構成される。

試験項目記憶部１４ｂは、後述する試験項目自動生成機能によって生成される試験項目を、各パターンにそれぞれ識別情報（図１１，１４における組み合わせパターン番号）を付与して記憶している。

試験開始条件記憶部１４ｃは、試験項目生成時に、試験開始条件設定部１３ｃに設定された試験開始条件を読み出して記憶している。

フィルタ条件設定部１６は、ネットワーク上のモニタ対象となる装置（ネットワーク機器）４を特定するための条件（図２（ｂ）の「試験対象装置の設定」で設定される条件：例えばＩＰアドレスやＭＡＣアドレスなど）を入力手段１１を介してパケットモニタ部１７のフィルタ１７ａに設定している。

パケットモニタ部１７は、試験対象となる装置４が接続されたネットワーク上に流れるパケット（通信内容、通信シーケンス）をモニタするもので、フィルタ１７ａ、パケット記憶部１７ｂ、メッセージデコード部１７ｃを有している。

フィルタ１７ａは、ネットワークをモニタし、取り込んだパケットのうちフィルタ条件設定部１６から設定された条件に適合するパケットのみを抽出している。例えば通信相手となる装置Ａと試験対象となる装置Ｂ間のパケットのみを通過させる条件がフィルタ条件設定部１６に設定されていれば、装置Ａと装置Ｃ間、装置Ｂと装置Ｃ間のパケットがフィルタリングされ、更に、「試験対象プロトコル設定」（図２（ａ））で指定されたプロトコル規約以外のパケットもフィルタリングされ、装置Ａと装置Ｂ間の試験対象となるパケットのみが抽出される。パケット記憶部１７ｂは、フィルタ１７ａが抽出したパケットを記憶している。メッセージデコード部１７ｃは、パケット記憶部１７ｂに記憶されたパケットを試験項目と対比可能な形式にデコードし、デコードしたデータ（メッセージシーケンス）を試験結果解析部１８に出力している。

試験結果解析部１８は、パケットモニタ部１７がモニタしたデータから試験結果を解析・表示するもので、試験開始パターン抽出部１８ａ、試験済みテーブル１８ｂ、試験パターン抽出解析部１８ｃ、試験進捗率算出部１８ｄを有している。

試験開始パターン抽出部１８ａは、パケットモニタ部１７がモニタしたデータ（メッセージシーケンス）から試験開始条件記憶部１４ｃに記憶された試験開始条件に適合するデータを抽出している。例えば「ＧＥＴ」と「ＲＥＳ」のやり取りを２回した状態を試験開始条件として設定し、再度「ＧＥＴ」（対象メッセージ）を送信する場合には、図８の一点鎖線で囲まれた部分の「ＧＥＴ」−「ＲＥＳ」−「ＧＥＴ」−「ＲＥＳ」が抽出される。

試験済みテーブル１８ｂは、生成された試験項目のうち試験済みの試験項目が判別可能なテーブルで構成される。具体的には、試験項目記憶部１４ｂに記憶された図１１や図１４と同様のテーブルに対し、試験済みの試験項目の欄に試験済みを示す「試験実施済みフラグ」を立てて管理したり、試験項目の組み合わせパターン番号とリンクさせて「試験実施済みフラグ」を立てて管理している。

試験パターン抽出解析部１８ｃは、試験項目記憶部１４ｂに記憶された試験項目情報のそれぞれについて、パケットモニタ部１７がモニタしたデータ（メッセージシーケンス）の内容が、試験項目情報のうちのどの試験項目に該当するか判定し、試験項目と同一のデータを全て抽出している。この際、試験済みテーブル１８ｂの該当する試験項目の「試験実施済みフラグ」を参照し、抽出したデータが初めて試験された試験項目と判定した場合は、試験済みテーブル１８ｂの該当する試験項目に「試験実施済みフラグ」を立てて記憶する。

また、試験パターン抽出解析部１８ｃは、試験開始条件が設定されているメッセージに対しては、試験開始パターン抽出部１８ａによる試験開始条件の抽出情報と一致した場合のみ「試験実施済みフラグ」を立てるようになっている。

試験進捗率算出部１８ｄは、試験済みテーブル１８ｂに記憶された全体の試験項目の数と、試験済み項目を示す「試験実施済みフラグ」の数との比から試験進捗率を算出し、この試験進捗率に基づく試験実施網羅度情報を表示手段１５に表示させている。

表示手段１５は、図２（ａ）の「試験対象プロトコル設定」の設定画面、図２（ｂ）の「試験対象装置の設定」の設定画面、図３の「メッセージフォーマット入力フォーム」の設定画面、図６の「生成条件設定」の設定画面、図７の「固定値設定」の設定画面などの各種設定画面の表示、自動生成された試験項目の表示（図１５の「試験項目生成結果一覧」の表示）などを行っている。

なお、図１５の「試験項目生成結果一覧」では、条件として、図６の「生成条件設定」による設定内容を表示しているが、例えば「試験項目生成結果一覧」の表示画面上に別途「条件一覧表示」のメニューキー（ソフトキー）を設け、このキーを押下したときに詳細内容をウィンドウ表示することも可能である。

また、表示手段１５は、試験項目の進捗度合を示す試験実施網羅度情報を表示している。この試験実施網羅度情報としては、単純に試験実施網羅度情報として試験項目の進捗度合を％表示する他、図１６や図１７に示すような試験実施網羅度情報を表示している。

図１６に示す試験実施網羅度情報の表示は、全ての試験項目が実施済みとなったときを１００％とし、現在実施済みの試験項目の割合をバーグラフ表示したものである。

また、図１７に示す試験実施網羅度情報の表示は、タイミングとなるメッセージと動作を横方向にイベントとなるメッセージと動作を縦方向にマトリックスで表して２つのメッセージに関連する試験項目のパターン数を分母とし、試験済み項目パターン数を分子として比率で表示したものである。これにより、どのメッセージ間の試験項目の試験がどれだけ進捗しているかの評価を確認することができる。なお、図１７の試験実施網羅度情報は、図１６の試験実施網羅度情報が表示されている状態で、不図示のソフトキー（詳細表示キー）の操作によりサブウィンドウとしてポップアップ表示することもできる。

次に、上記構成による動作について図１８のフローチャートを参照しながら説明する。まず、試験項目を自動生成するための準備について説明する。
（１）予め作成された通信プロトコル規約に基づくそれぞれのメッセージのフォーマットおよびパラメータの内容を定義したメッセージパラメータテーブル１２ａを入力手段１１を通じて読み込んでおく。メッセージパラメータテーブル１２ａが読み込まれていない場合や修正が必要な場合は、図３の「メッセージフォーマット入力フォーム」を利用して対象プロトコルのメッセージフォーマットに関する定義を行う。

（２）予め作成された通信プロトコル規約に基づき、メッセージ同士の順序関係（シーケンス）を定義した通信プロトコルメッセージシーケンス定義テーブル１２ｂ１を読み込んでおく。このテーブル１２ｂ１も、読み込まれていない場合や修正が必要な場合は、テーブル１２ｂ１と同様の表示（例えば図５）を表示手段１５に行い、直接入力や編集も可能である。

（３）図２（ａ）の「試験対象プロトコル設定」と図６の「生成条件設定」の設定画面が表示されている状態で、試験を行う通信プロトコル規約の設定（図１８のＳ１）と、試験項目を自動生成する対象メッセージと各メッセージのパラメータの生成条件の設定（図１８のＳ２）をする。

図６の「生成条件設定」の設定画面では、通信プロトコルメッセージシーケンス定義テーブル１２ｂ１に定義された各メッセージについて設定可能な構成となっている。各メッセージのフォーマットが定義されたメッセージパラメータテーブル１２ａのパラメータの種類（パラメータＩＤ）に対応してそれぞれの試験項目を生成するための条件を入力させるための設定項目を表示し、各設定項目の設定を行う。

次に、試験項目を自動生成する手順（試験項目自動生成機能）について説明する。
（１）ユーザは、例えば入力手段１１を通じての自動生成スタートボタン、メニュー（不図示）などから自動生成の要求を行う。

（２）図４の予め入力されたメッセージパラメータテーブル１２ａを元に、各メッセージ毎に全てのメッセージのフォーマットを抽出する。

（３）（２）で抽出したメッセージのフォーマットに基づき、各メッセージに対して図６で設定された生成条件に従ってそれぞれのパラメータを自動的に設定し、パラメータが異なるパターンにパターンＩＤ（例えば図９の「ＧＥＴメッセージ・パターンＩＤ」で示される「ＧＥＴ−１」など）を付与して順次記憶する（図１８のＳ３）。なお、図９の例では、ＧＥＴメッセージのパターンが３０あると仮定して示している。

ここで、図９を基に生成されたメッセージのパターンについて説明する。なお、ここで例示するパターンは、先に説明した図６での生成条件を基に作成された場合を示した一例である。

（４）図６で入力した各パラメータＩＤ毎の条件を適用しながら生成を行う。例えば、図４のＧＥＴメッセージ、ＡＡフィールドレングスを、図６の条件を基に生成すると、取り得る値のパターンは、０，１，２，９９，１００，１０１となる。そして、全てのパラメータＩＤで取り得る値のパターンを生成し、その組み合わせでのフォーマットパターンを生成する。そして、生成したフォーマットパターンを、図９のように各メッセージのパターンで管理する。

例えば、図６で「ＡＡフィールドレングス」のパターンは、「異常値」と「境界値」のパターンを生成する条件となっている。また、図４のＧＥＴメッセージのＡＡフィールドレングスの値の範囲は、１〜１００となっている。これらにより、ＡＡフィールドレングスのパターンの候補としては、「境界値」としての１，２，９９，１００、「異常値」としての０，１０１が算出できる。また、「境界値（内）」（例えば１，２，９９，１００）、「境界値（外）」（例えば０，１０１）、「異常値」（例えば１０００）など詳細に設定できるようにしてもよい。同じように、図６で「ＡＡフィールドボディ」は、固定値＝０ｘ００のパターンを生成する条件となっていること、また図６で「取得データＩＤパターン」は、「異常値」と「境界値」のパターンを生成する条件となっており、図４の値の範囲が、１，２，３のいずれであるとなっている。したがって、候補として、１，２，３，０，４が算出できる。またタイムスタンプは、固定値でパターンを生成する条件となっている。

以上の条件から、ＡＡフィールドレングス：０（可変）、ＡＡフィールドボディ：０ｘ００（可変）、取得データＩＤ：１、タイムスタンプ：１２：１０：０２（固定）であるパターンが抽出できる（ＧＥＴ−１のパターン）。上記において、パターンを抽出する上で、「可変」となるパラメータと「固定」となるパラメータがあり、組み合わせパターンは、この「可変」パラメータを変更することで生成する。例えば、ＧＥＴ−１の次に生成するのは、取得データＩＤを次の候補である２に変更して生成する。ＡＡフィールドレングス：０（可変）、ＡＡフィールドボディ：０ｘ００（可変）、取得データＩＤ：２、タイムスタンプ：１２：１０：０２（固定）であり、これがＧＥＴ−２となる。同様に、取得データＩＤを次の候補である３に変更してＧＥＴ−３を生成する。

（５）次に、図５のシーケンス定義から、それぞれメッセージに関するシーケンスのパターンを抽出する（図１８のＳ４）。例えば、ＧＥＴメッセージについては、以下のパターンが抽出できる。
・ＰＵＳＨ送信後にＧＥＴを受信するパターン
・ＲＥＳ送信後にＧＥＴを受信するパターン
・ＮＯＴＩ送信後に、ＧＥＴを受信するパターン そして、抽出した１つ１つのシーケンスパターン（メッセージ組み合わせ：図１０）に、上記（３）で生成したメッセージパターン（パラメータ組み合わせ：図９）を組み合わせて個別の組み合わせパターンを生成する（図１８のＳ５）（図１１）。

例えば、ＰＵＳＨがｎパターン、ＧＥＴがｍパターンある場合、ＰＯＰ受信後にＧＥＴを受信するシーケンスにおいては、以下の組み合わせのパターンが生成できる。
・ＰＵＳＨ−１送信後に、ＧＥＴ−１を受信するパターン
・ＰＵＳＨ−１送信後に、ＧＥＴ−２を受信するパターン
：
：
・ＰＵＳＨ−１送信後に、ＧＥＴ−ｍを受信するパターン
：
・ＰＵＳＨ−ｎ送信後に、ＧＥＴ−ｍを受信するパターン

これら生成された各パターンは、それぞれ組み合わせパターン番号が付されて試験項目記憶部１４ｂに記憶される。
また、生成した組み合わせパターン（試験項目）は、それぞれ図１１のテーブル（正常系組み合わせパターンによるテーブル）、図１４のテーブル（シーケンス指定テーブル１２ｂ２に基づく組み合わせパターンによるテーブル）で管理する。

ここで、図１１は、ＰＵＳＨ送信後にＧＥＴを受信する組み合わせについて例示したもので、図５のシーケンス定義の範囲で抽出したパターンすべてに対して同様に作成される。例えばＧＥＴメッセージを受信する場合に取り得るパターンは、メッセージの単位で表現すると、以下の３パターンに限定され、それぞれの組み合わせが生成される。
・ＰＵＳＨ送信後にＧＥＴ受信
・ＲＥＳ送信後にＧＥＴ受信
・ＮＯＴＩ送信後にＧＥＴ受信

これに対し、図６の「生成条件設定」の設定画面の「規約の例外」において、「全て」が指定されている場合は、図５で示したシーケンスパターン以外のもの、例えばＧＥＴメッセージを受信する場合に取り得るパターンは、メッセージの単位で表現すると、以下のような規約上あり得ないパターンが抽出できる。この抽出された規約上あり得ないシーケンスパターンは、図１０と同様のテーブル形式で管理することができる。そして、この規約上あり得ないパターンとパラメータ組み合わせ（図９）とを組み合わせて規約の例外（全て）の組み合わせパターン（試験項目）を生成する（図１１と同様のテーブル形式）。
・ＧＥＴ受信後にＧＥＴ受信
・ＧＥＴ送信後にＧＥＴ受信
・ＰＯＰ受信後にＧＥＴ受信
・ＰＯＰ送信後にＧＥＴ受信
・ＰＵＳＨ受信後にＧＥＴ受信
・ＲＥＳ受信後にＧＥＴ受信
・ＮＯＴＩ受信後にＧＥＴ受信

また、図６の「生成条件設定」の設定画面の「規約の例外」において、「指定テーブル」が指定されている場合は、図１２に示すシーケンス指定テーブル１２ｂ２の定義に従って、テーブルに定義されているシーケンスパターンとパラメータ組み合わせ（図９）とを組み合わせて規約の例外（指定テーブル）の組み合わせパターン（試験項目）を生成する（図１４）。

なお、図１２はＧＥＴメッセージの異常シーケンスについて指定した例であり、ＧＥＴ受信後のＧＥＴ受信、ＲＥＳ受信後のＧＥＴ受信のシーケンスを指定する場合のシーケンス指定テーブル１２ｂ２の例を示している。
そして、上記のように、メッセージ単位での規約上の定義されているシーケンス、個別に指定したシーケンス（異常を含む）という単位で、図１１、図１４を分類している。

ところで、上述した試験項目自動生成機能の説明では、ＧＥＴメッセージを対象メッセージとして説明したが、他のメッセージを対象メッセージとした場合でも、同様の手法によって試験項目を生成することができる。

また、試験項目自動生成機能の説明として、２つのメッセージ間について例示したが、複数のメッセージ（例えば図５のアクション欄の動作を含む）を組み合わせたものでも同様の手法により試験項目を自動生成することができる。

以上説明した手順によって試験項目が自動生成されると、この自動生成された試験項目は、例えば図１５に示すような「試験項目生成結果一覧」として表示手段１５に表示される。図１５の「試験項目生成結果一覧」には、図２（ａ）の「試験対象プロトコル設定」の設定画面で設定されたプロトコル設定の内容、結果として生成された試験項目の数を示す試験項目生成結果、図６の「生成条件設定」の設定画面で設定された条件内容がそれぞれ表示される。

また、図１５の「試験項目生成結果一覧」には、「開始」、「停止」、「クリア」のソフトキーが設けられている。「開始」は試験の開始を指示するときに操作され、「停止」は試験の停止を指示するときに操作され、「クリア」は試験を中断して最初からやり直すときに操作される。

次に、試験項目がどの程度実施されたかの実施網羅度を測定する手順（実施網羅度自動測定機能）について説明する。

上述した試験項目自動生成機能により所望の試験項目が生成され、例えば図１５の「試験項目生成結果一覧」の「開始」を操作して対象メッセージの試験が開始されると、パケットモニタ部１７が試験対象装置（例えば装置Ａ）と通信相手装置（例えば装置Ｂ）との間のパケットを取得し、取得したパケットをパケット記憶部１７ｂに一旦記憶させ、このパケット記憶部１７ｂから読み出したパケットをデコードして試験結果解析部１８に出力する。試験結果解析部１８の試験パターン抽出解析部１８ｃでは、パケットモニタ部１７がモニタしたデータの内容を、試験項目記憶部１４ｂに記憶された試験項目情報のそれぞれと比較し、試験済みテーブル１８ｂを参照して試験項目情報のどの試験項目に該当するか判定し、試験項目と同一のデータを全て抽出する。このとき抽出したデータが初めて試験された試験項目と判定した場合に、試験済みテーブル１８ｂの該当する試験項目に「試験実施済みフラグ」を立てて記憶する。

そして、試験結果解析部１８の試験進捗率算出部１８ｄは、試験済みテーブル１８ｂに記憶された全体の試験項目の数と、試験済み項目を示す「試験実施済みフラグ」の数との比から試験進捗率を算出し、この試験進捗率に基づく試験実施網羅度情報を、例えば図１６や図１７に示すような形式で表示手段１５に表示させる。

なお、試験開始条件設定部１３ｃに試験開始条件が設定されている場合には、この試験開始条件が試験開始条件記憶部１４に読み出され、この試験開始条件に適合するデータを、パケットモニタ部１７を介して試験結果解析部１８の試験開始パターン抽出部１８ａが抽出してから対象メッセージの試験が行われる。

ところで、特に図示はしないが、上記試験実施網羅度の表示としては、図６の「生成条件設定」の設定画面で設定された生成条件の個々を１つの固まりとして識別可能（例えば色の違いによる識別）に表示することができる（例えば、異常値、境界値、固定値）。さらに、上記の組み合わせを識別可能に表示することにより、全ての条件の試験の進捗度合を把握することができる。

このように、本例のネットワーク試験支援装置では、ネットワーク通信機能を有する装置の試験において、予め定義された通信プロトコルとユーザが定義する生成条件を元に、有効な試験項目を自動的に抽出し、また抽出した試験項目を試験実施結果と付き合わせて試験の網羅度を自動的に測定している。

これにより、従来の特許文献１に開示されるようなエキスパートシステムを利用することなく、シーケンス定義及び設定条件に従った全ての試験項目を漏れなく生成でき、対象装置（ネットワーク機器）に最適な試験項目を網羅して試験項目を自動生成することができる。

また、試験中のログを取得することによって試験自体がどの程度網羅できているかを容易に把握することができる。

ところで、上述した実施の形態では、試験項目生成装置及び方法、ネットワーク試験支援装置及び方法の機能や手順について説明したが、これらの機能や手順（試験項目自動生成機能、実施網羅度自動測定機能を含む各種機能や手順）は、試験項目生成装置やネットワーク試験支援装置に含まれるコンピュータにより実現でき、本発明はこれらの機能や手順を実現させるためのコンピュータプログラムをも提供することができるものである。

本発明に係る試験項目生成装置及びネットワーク試験支援装置を含むネットワーク試験支援システムの一例を示すブロック構成図である。 （ａ） 「試験対象プロトコル設定」のプロトコル選択画面の一例を示す図である。 （ｂ） 「試験対象装置の設定」のＩＰアドレス入力画面の一例を示す図である。 「メッセージフォーマット入力フォーム」の一例を示す図である。 メッセージパラメータテーブルの一例を示す図である。 通信プロトコルメッセージシーケンス定義テーブルの一例を示す図である。 「生成条件設定」の設定画面の一例を示す図である。 「固定値設定」の入力画面の一例を示す図である。 試験する対象メッセージを抽出するための前段階シーケンスの定義の一例を示す図である。 選択された各メッセージに対するパラメータのパターンの一例を示す図である。 図５の通信プロトコルメッセージシーケンス定義テーブルと図６の対象メッセージで選択された情報とによって生成されるパターンの組み合わせの例を示す図である。 図９と図１０に基づく正常系組み合わせパターンの例を示す図である。 シーケンス指定テーブルの一例を示す図である。 ＧＥＴメッセージとシーケンス指定テーブルに基づく他のメッセージとによって生成されるパターンの組み合わせの例を示す図である。 図１２と図１３に基づく組み合わせパターンの例を示す図である。 試験項目生成結果一覧の一例を示す図である。 試験状況及び試験実施網羅度の表示例を示す図である。 試験実施網羅度の他の表示例を示す図である。 試験項目を生成するまでの手順を示す動作フローチャートである。

符号の説明

１ ネットワーク試験支援システム
２ 試験項目生成装置
３ ネットワーク試験支援装置
４ 装置（ネットワーク機器：装置Ａ，Ｂ，Ｃ）
５ 集線装置
１１ 入力手段
１２ プロトコル定義部
１２ａ メッセージパラメータテーブル
１２ｂ メッセージシーケンス定義テーブル
１２ｂ１ 通信プロトコルメッセージシーケンス定義テーブル
１２ｂ２ シーケンス指定テーブル
１３ 生成条件設定部
１３ａ メッセージシーケンス生成条件設定部
１３ｂ メッセージパラメータ生成条件設定部
１３ｃ 試験開始条件設定部
１４ 試験項目自動生成部
１４ａ 対象メッセージテーブル
１４ｂ 試験項目記憶部
１４ｃ 試験開始条件記憶部
１５ 表示手段
１６ フィルタ条件設定部
１７ パケットモニタ部
１７ａ フィルタ
１７ｂ パケット記憶部
１７ｃ メッセージデコード部
１８ 試験結果解析部
１８ａ 試験開始パターン抽出部
１８ｂ 試験済みテーブル
１８ｃ 試験パターン抽出解析部
１８ｄ 試験進捗率算出部

Claims (9)

1. ネットワークに接続された試験対象である第１の装置と該第１の装置の通信相手となる第２の装置との間で行われる通信におけるメッセージシーケンスに関わる試験項目を生成する試験項目生成装置（２）であって、
   前記第１の装置と前記第２の装置間で使用する通信のプロトコル規約で定まる複数のメッセージと該複数のメッセージの手順規則であるシーケンス情報が定義された通信プロトコルメッセージシーケンス定義テーブル（１２ｂ１）および前記複数のメッセージそれぞれが有する通信に関わるパラメータに関する設定情報であるパラメータ設定情報が定義されたメッセージパラメータテーブル（１２ａ）を有するプロトコル定義部（１２）と、
   前記通信プロトコルメッセージシーケンス定義テーブルの複数のメッセージのうち選択された少なくとも１つのメッセージに対して前記試験項目の生成に関する条件の入力を受けて該試験項目の生成条件が設定される生成条件設定部（１３）と、
   前記生成条件設定部で設定された生成条件に基づいて、前記通信プロコトルメッセージシーケンス定義テーブルに定義されたシーケンス情報より前記選択された少なくとも１つのメッセージを含むメッセージ組み合わせを抽出するとともに、
   前記メッセージパラメータテーブルに定義されたパラメータ設定情報および前記生成条件設定部で設定された生成条件のうちパラメータ設定情報に関する生成条件に基づいてパラメータの値を生成し、前記少なくとも１つのメッセージと組み合わせてパラメータ組み合わせとし、前記メッセージ組み合わせと前記パラメータ組み合わせとをメッセージで対応付けて組み合わせて前記メッセージシーケンスに関わる試験項目を生成する試験項目自動生成部（１４）とを備えたことを特徴とする試験項目生成装置。
2. 前記プロトコル定義部（１２）は、前記通信プロトコルに対して前記通信プロトコルメッセージシーケンス定義テーブルに加えて特定のメッセージにおけるシーケンスを特定シーケンス情報として定義されたシーケンス指定テーブル（１２ｂ２）を更に有することを特徴とする請求項１記載の試験項目生成装置。
3. 請求項１又は請求項２の試験項目生成装置（２）を含むネットワーク試験支援装置（３）であって、
   前記試験項目自動生成部（１４）は、前記生成した試験項目を記憶する試験項目記憶部（１４ｂ）を有し、
   さらに、前記第１の装置と前記第２の装置が接続されたネットワークに接続され、前記第１の装置と前記第２の装置間で行われる通信シーケンスをモニタするモニタ部（１７）と、
   前記試験項目記憶部に記憶された試験項目と前記モニタ部でモニタした前記通信シーケンスとを比較し、試験項目と同一のシーケンスを抽出するとともに、当該試験項目を試験済みとして記憶する試験結果解析部（１８）とを備えたことを特徴とするネットワーク試験支援装置。
4. 前記試験結果解析部（１８）は、前記試験項目の全数に対し、前記試験済み項目の数とから試験進捗率を算出することを特徴とする請求項３記載のネットワーク試験支援装置。
5. 前記ネットワークには複数の装置が接続されており、該複数の装置から試験対象となる前記第１の装置と該第１の装置の通信相手となる前記第２の装置を指定可能とするフィルタ条件設定部（１６）を有し、
   前記モニタ部（１７）は、前記フィルタ条件設定部で指定された前記第１の装置と前記第２の装置との間で行われる通信シーケンスを抽出するフィルタ部（１７ａ）を有することを特徴とする請求項３又は４記載のネットワーク試験支援装置。
6. ネットワークに接続された試験対象である第１の装置と該第１の装置の通信相手となる第２の装置との間で行われる通信におけるメッセージシーケンスに関わる試験項目を生成する試験項目生成方法であって、
   前記第１の装置と前記第２の装置間で使用する通信のプロトコル規約で定まる複数のメッセージと該複数のメッセージの手順規則であるシーケンス情報が定義された通信プロトコルメッセージシーケンス定義テーブル（１２ｂ１）および前記複数のメッセージそれぞれが有する通信に関わるパラメータに関する設定情報であるパラメータ設定情報が定義されたメッセージパラメータテーブル（１２ａ）を用い、
   前記通信プロトコルメッセージシーケンス定義テーブルの複数のメッセージのうち選択された少なくとも１つのメッセージに対して前記試験項目の生成に関する条件の入力を受けて該試験項目の生成条件が設定されるステップと、
   前記設定された生成条件に基づいて、前記通信プロトコルメッセージシーケンス定義テーブルに定義されたシーケンス情報より前記選択された少なくとも１つのメッセージを含むメッセージ組み合わせを抽出するステップと、
   前記メッセージパラメータテーブルに定義されたパラメータ設定情報および前記設定された生成条件のうちパラメータ設定情報に関する生成条件に基づいてパラメータの値を生成し、前記少なくとも１つのメッセージと組み合わせてパラメータ組み合わせとするステップと、
   前記メッセージ組み合わせと前記パラメータ組み合わせとをメッセージで対応付けて組み合わせて前記メッセージシーケンスに関わる試験項目を生成するステップとを含むことを特徴とする試験項目生成方法。
7. 請求項６の試験項目生成方法を含むネットワーク試験支援方法であって、
   前記第１の装置と前記第２の装置間で行われる通信シーケンスをモニタするステップと、
   前記生成された試験項目と前記モニタした前記通信シーケンスとを比較し、試験項目と同一のシーケンスを抽出するとともに、当該試験項目を試験済みとして記憶するステップとを含むことを特徴とするネットワーク試験支援方法。
8. 請求項１の試験項目生成装置を実現するためのコンピュータプログラムであって、
   前記試験項目生成装置に含まれるコンピュータに、前記通信プロトコルメッセージシーケンス定義テーブル（１２ｂ１）および前記メッセージパラメータテーブル（１２ａ）を設定し、
   前記通信プロトコルメッセージシーケンス定義テーブルの複数のメッセージのうち選択された少なくとも１つのメッセージに対して前記試験項目の生成に関する条件の入力を受けて該試験項目の生成条件を設定し、
   前記設定された生成条件に基づいて、前記通信プロトコルメッセージシーケンス定義テーブルに定義されたシーケンス情報より前記選択された少なくとも１つのメッセージを含むメッセージ組み合わせを抽出し、
   前記メッセージパラメータテーブルに定義されたパラメータ設定情報および前記設定された生成条件のうちパラメータ設定情報に関する生成条件に基づいてパラメータの値を生成し、前記少なくとも１つのメッセージと組み合わせてパラメータ組み合わせとし、
   前記メッセージ組み合わせと前記パラメータ組み合わせとをメッセージで対応付けて組み合わせて前記メッセージシーケンスに関わる試験項目を生成する機能を実現させることを特徴とするコンピュータプログラム。
9. 請求項３のネットワーク試験支援装置を実現するためのコンピュータプログラムであって、
   前記ネットワーク試験支援装置に含まれるコンピュータに、前記第１の装置と前記第２の装置間で行われる通信シーケンスをモニタし、
   前記生成された試験項目と前記モニタした前記通信シーケンスとを比較し、試験項目と同一のシーケンスを抽出するとともに、当該試験項目を試験済みとして記憶する機能を実現させることを特徴とするコンピュータプログラム。

Images