JP2014186436A - 評価装置、評価方法及びプログラム - Google Patents

Abstract

【課題】評価シナリオの作成に要する工数を削減する。
【解決手段】評価装置１００は、評価対象装置Ｄからエミュレータ１６のログを取得する。入力コマンド抽出部１３は、ログを読み込んだ後に、プロンプト部分やコマンド実行結果等の余分な情報を自動削除し、ログ上の時刻から、各コマンドの実行時間を算出し、次のコマンドを投入する間隔を調整する。評価シナリオ生成部１４が、抽出したコマンドを使用した評価シナリオを作成する。
【選択図】図１

Description

本発明は、評価装置、評価方法及びプログラムに関する。

近年、パソコン等の端末の機能は、急速に高度化し、１つの端末で汎用的に様々な処理を行うことができる。しかしながら、端末の高機能化により、操作性が悪化し、特にお年寄り等のリテラシー不足のユーザにとっては、端末の操作が難しく、扱いづらいものとなっている。

このような背景に関連する技術としては、様々なものが知られている（例えば、特許文献１参照。）。

例えば、特許文献１には、遠隔操作を行う操作元端末と、操作元端末に遠隔操作される被操作端末とを有する遠隔操作システムにおける遠隔操作方法が記載されている。より具体的に説明すると、操作元端末は、被操作端末の環境を実現するエミュレータを起動する。そして、被操作端末は、被操作端末のステータス情報を収集し、操作元端末に送信する。そして、操作元端末は、被操作端末の状態を示すステータス情報を受信し、ステータス情報に基づいて被操作端末の状態をエミュレータ上で再現する。そして、操作元端末は、操作情報を受け付けて、エミュレータ上で実行すると共に、操作情報記憶部に記憶する。そして、操作元端末は、操作情報を実行することにより出力される操作映像を、被操作端末に送信する。そして、被操作端末は、操作元端末から操作映像を受信し、再生する。そして、被操作端末は、遠隔操作の実行指示を受け付け、操作元端末に遠隔操作実行要求を送信する。そして、操作元端末は、被操作端末から遠隔操作実行要求を受け付けて、操作情報記憶部に記憶された操作情報を読み出し、被操作端末に送信する。そして、被操作端末は、操作元端末から受信した操作情報を実行する。このようにして、この遠隔操作方法によっては、ユーザは、面識のない遠隔操作者であっても、安心して遠隔操作を受けることができる。

また、近年は、ソフトウェアが組み込まれた機器のソフトウェア容量が拡大してソフトウェアの複雑度が多様化し、このような機器の機能を拡大するためにテスト対象となる装置のテストを自動的に行う装置が使用され始めている。この自動テスト装置は、情報処理装置の各状態における入力条件、入力情報に対する出力内容、動作が正しいか否か等を判定するための装置である。

このような背景に関連する技術としては、様々なものが知られている（例えば、特許文献２参照。）。

例えば、特許文献２には、テスト対象装置と、このテスト対象装置に接続されてテスト対象装置のテストを自動的に行う自動テスト装置とを備える自動テストシステムにおける自動テスト方法が記載されている。より具体的に説明すると、テスト対象装置は、複数の操作要素を有する操作出力手段で操作された操作要素の識別情報を出力する。そして、テスト対象装置は、出力された操作要素の識別情報を操作要素が操作された第１の操作タイミングの情報と共に第１の記憶手段に記憶する。そして、テスト対象装置は、記憶された操作要素の識別情報及び第１の操作タイミングの情報の読み出しを行う。そして、自動テスト装置は、読み出された操作要素の識別情報及び第１の操作タイミングの情報に基づく第２の操作タイミングの情報を第２の記憶手段に記憶する。そして、自動テスト装置は、操作要素の識別情報及び第２の操作タイミングの情報を読み出す。そして、自動テスト装置は、読み出された操作要素の識別情報及び第２の操作タイミングの情報に基づいて、テスト対象装置のテスト操作に基づく操作手順が記述されたテストシナリオを生成する。このようにして、この自動テスト方法によっては、テスト対象装置を直接操作テスト対象装置の操作に基づいてテストシナリオを生成する際に機器毎の登録設定が不要となるため、テストシナリオを作成する際の時間を短縮することができる。

また、最近では、組織が情報処理システムを有し、エンドユーザに様々なサービスを提供する方式が導入されている。組織が有するコンピュータシステムでは、管理担当者によって手順書に従い順次管理作業が行われる。

このような背景に関連する技術としては、様々なものが知られている（例えば、特許文献３参照。）。

例えば、特許文献３には、情報処理システムの管理又は運用を行う際の処理手順を記載した手順書内のあいまいな箇所を抽出するあいまい記述自動検出方法が記載されている。より具体的に説明すると、コンピュータは、手順書に従って複数の手順実行者がそれぞれ行なった処理のログを取得する。そして、コンピュータは、手順書内のコマンドとその行位置を抽出する。そしてコンピュータは、抽出されたコマンドを、複数のログのそれぞれの中から抽出し、コマンド間の区間に分割する。そして、コンピュータは、ログ内でコマンド間の区間に使用され、抽出されたコマンドと異なるコマンドの実行回数を、複数のログに対して計数し、複数のログの間でコマンドごとに実行回数の分散値を演算する。そして、コンピュータは、演算結果に基づいて、分散値が所定値より大きいコマンドを含む手順書の区間を、あいまいな記述である可能性の高い箇所であるとして表示する。このようにして、このあいまい記述自動検出方法によっては、手順書のあいまいな記述を自動的に検出し、手順書のあいまいな記述の修正に資する。

特開２００６−２２７９３３号公報 特開２００９−１１６５３５号公報 特開２０１２−１９０２８４号公報

既存の自動化評価ソフトウェアは、エミュレータと連携していて、エミュレータ上で入力されたコマンドを、そのまま評価シナリオとして生成する。また、この自動化評価ソフトウェアは、エミュレータ上で直接コマンド投入することにより評価シナリオを作成することができる。また、この自動化評価ソフトウェアは、事前に準備したログから必要箇所をコピー、エミュレータ上でペーストすることにより評価シナリオを作成することができる。

しかしながら、この自動化評価ソフトウェアは、ログの内容が多い場合にはかなりの工数が必要となる。また、この自動化評価ソフトウェアは、評価試験中に問題が発生した際に、取得したログを解析し同様の手順でコマンドを投入し問題事象の再現を試みることになる。そのため、この自動化評価ソフトウェアは、取得した膨大なログの内容を確認するのに手間がかかり、問題事象の再現にかなりの工数がかかることが多い。さらに、この自動化評価ソフトウェアは、手動でログ内の必要箇所をコピー、ペーストした場合にコマンド投入手順を間違える可能性も高い。

一方、特許文献１、特許文献２、及び特許文献３に記載の技術は、評価シナリオの作成に要する工数を削減することができない。

本発明の目的は、上述した課題を解決する評価装置、評価方法及びプログラムを提供することにある。

上記課題を解決するために、本発明の第１の形態によると、評価装置であって、評価対象装置に対するエミュレータの操作ログの中から入力コマンドを抽出する入力コマンド抽出部と、入力コマンド抽出部が抽出した入力コマンドを使用した評価シナリオを作成する評価シナリオ生成部とを備える。

本発明の第２の形態によると、評価方法であって、評価対象装置に対するエミュレータの操作ログの中から入力コマンドを抽出する入力コマンド抽出段階と、入力コマンド抽出段階において抽出された入力コマンドを使用した評価シナリオを作成する評価シナリオ生成段階とを備える。

本発明の第３の形態によると、プログラムであって、コンピュータを、評価対象装置に対するエミュレータの操作ログの中から入力コマンドを抽出する入力コマンド抽出部、入力コマンド抽出部が抽出した入力コマンドを使用した評価シナリオを作成する評価シナリオ生成部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となり得る。

以上の説明から明らかなように、この発明によっては、評価シナリオの作成に要する工数を削減することができる。

一実施形態に係る評価装置１００の利用環境の一例を示す図である。 評価方法を説明するフローチャートである。 評価装置１００の最小構成の一例を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態に係る評価装置１００の利用環境の一例を示す。評価装置１００は、試験プロセスの自動化を支援するための装置である。

評価装置１００は、入力コマンド抽出部１３と、評価シナリオ生成部１４とを備える。また、評価装置１００は、エミュレータ１６と、評価シナリオを実行する自動化評価ソフトウェア１７とを備える。なお、エミュレータ１６は、Ｔｅｌｎｅｔプロトコルによるリモートホストへの接続と、ＣＯＭポートによるシリアル接続を可能とする。

評価装置１００と評価対象装置Ｄとは、ネットワーク接続しており、評価装置１００から評価対象装置Ｄに対してＴｅｌｎｅｔ接続している。なお、評価装置１００から評価対象装置Ｄへの接続は、Ｔｅｌｎｅｔ接続に代えてＳＳＨ接続でもよい。

入力コマンド抽出部１３は、エミュレータ１６によって作成したログを読み込んだ後に、プロンプト部分やコマンド実行結果等の余分な情報を自動削除する。評価シナリオ生成部１４は、実際に投入したコマンドのみを切り出して、自動化評価ソフトウェア１７用の評価シナリオを自動生成する。

入力コマンド抽出部１３は、予め削除対象のプロンプト表示を変数に格納し、対象ログから削除対象のプロンプトを検索していき対象のプロンプト表示部分のみを削除し、同一行のコマンド部分は残す。また、入力コマンド抽出部１３は、プロンプト表示のない行は、削除することでコマンド実行結果の表示されている行も削除することができる。

また、入力コマンド抽出部１３は、取得したログ上の時刻（タイムスタンプ）から、各コマンドの実行（応答時間）を算出し、シナリオ作成時にコマンド投入から何秒後に次のコマンドを投入するという間隔を調整する機能を持つ。また、入力コマンド抽出部１３は、任意でコマンド間の待ち時間を指定することもできる。

図２は、評価方法を説明するフローチャートである。評価装置１００は、評価対象装置Ｄからエミュレータ１６のログを取得する（Ｓ１０１）。そして、入力コマンド抽出部１３は、エミュレータ１６のログから入力コマンドを抽出する（Ｓ１０２）。そして、評価装置１００は、評価シナリオ生成部１４によって抽出したコマンドを使用した評価シナリオを作成する（Ｓ１０３）。

以上説明したように、本実施の形態の評価装置１００によれば、入力コマンド抽出部１３は、評価対象装置に対する操作ログの中から入力コマンドを抽出する。そして、評価シナリオ生成部１４は、入力コマンド抽出部１３の抽出したコマンドを使用した評価シナリオを作成する。従って、評価装置１００によれば、入力コマンド抽出部１３が入力したコマンドの流れを自動的に抽出して評価シナリオの作成に要する工数を削減することができる。

また、本実施の形態の評価装置１００によれば、入力コマンド抽出部１３は、生ログからコマンド実行結果の表示箇所やプロンプト部分を自動削除して実際に投入したコマンドのみを切り出す。そして、評価シナリオ生成部１４は、評価シナリオを自動生成する。従って、評価装置１００によれば、入力したコマンドの流れを自動的に抽出して評価シナリオの作成に要する工数を削減することができる。

また、本実施の形態の評価装置１００によれば、問題事象の再現試験を実施する際に、評価シナリオ生成部１４は、取得したログデータから投入コマンドのみ切り出した評価シナリオを瞬時に自動生成できる。これにより、評価装置１００によれば、作業者によるログ解析や再現試験にかかる工数を大幅に削減できる。

さらに、本実施の形態の評価装置１００によれば、入力コマンド抽出部１３は、エミュレータ１６のログから余分な情報を自動削除する。そして、評価シナリオ生成部１４は、実際に投入したコマンドのみを切り出して、既存の市販の自動化評価ソフトウェア用の評価シナリオシナリオを自動生成できる。

さらにまた、本実施の形態の評価装置１００によれば、実行ログからコマンド以外の不要部分を取り除いて、そのまま試験シナリオを実行する場合、仮に、応答に時間がかかるコマンドがあった際に、その応答を待たずに、次のコマンドを投入してしまったとしても、文字列のうちの一つがホストから送られてくるか、タイムアウトが発生するまで、ＭＡＣＲＯを停止させることができる。

加えて、本実施の形態の評価装置１００によれば、一律で間隔を空けたとしても、シナリオ作成後の自動試験に時間を要することがない。

また、本実施の形態の評価装置１００によれば、手順書等で想定のコマンド間隔を設定し、この間隔を空けるような自動シナリオ作成があったとしても、実際に投入する機器のスペック等にてその想定は大きく変わる場合があるが、実際のログから応答時間を算出するため、例え、同じコマンドでも試験対象機器のスペックによって、異なる応答時間を考慮した自動試験シナリオを作成することができる。

加えて、本実施の形態の評価方法によれば、評価シナリオの作成に要する工数を削減することができる。

さらにまた、本実施の形態のプログラムによれば、評価シナリオの作成に要する工数を削減することができる。

なお、評価装置、評価方法及びプログラムは、前述した一実施形態に限定するものでなく、適宜な変形や改良等が可能である。

図３は、評価装置１００の最小構成の一例を示す。評価装置１００は、入力コマンド抽出部１３及び評価シナリオ生成部１４を少なくとも備える。

１３ 入力コマンド抽出部
１４ 評価シナリオ生成部
１６ エミュレータ
１７ 自動化評価ソフトウェア
１００ 評価装置
Ｄ 評価対象装置

Claims (8)

1. 評価対象装置に対するエミュレータの操作ログの中から入力コマンドを抽出する入力コマンド抽出部と、
   前記入力コマンド抽出部が抽出した入力コマンドを使用した評価シナリオを作成する評価シナリオ生成部と
   を備える評価装置。
2. 前記評価対象装置を対象とするエミュレータ
   を更に備える請求項１に記載の評価装置。
3. 前記評価シナリオを実行する自動評価ソフトウェア
   を更に備える請求項１又は２に記載の評価装置。
4. 前記入力コマンド抽出部は、前記エミュレータの操作ログから余分な情報を削除して、入力コマンドを抽出する
   請求項１から３のいずれか一項に記載の評価装置。
5. 前記入力コマンド抽出部は、予め削除対象のプロンプト表示を変数に格納し、対象ログから削除対象のプロンプトを検索していき対象のプロンプト表示部分のみを削除し、同一行のコマンド部分は残し、前記プロンプト表示のない行は削除することでコマンド実行結果の表示されている行も削除する
   請求項１から４のいずれか一項に記載の評価装置。
6. 前記入力コマンド抽出部は、取得したログ上の時刻から、各コマンドの実行を算出し、シナリオ作成時にコマンド投入から何秒後に次のコマンドを投入するという間隔を調整し、任意でコマンド間の待ち時間を指定する
   請求項５に記載の評価装置。
7. 評価対象装置に対するエミュレータの操作ログの中から入力コマンドを抽出する入力コマンド抽出段階と、
   前記入力コマンド抽出段階において抽出された入力コマンドを使用した評価シナリオを作成する評価シナリオ生成段階と
   を備える評価方法。
8. コンピュータを、
   評価対象装置に対するエミュレータの操作ログの中から入力コマンドを抽出する入力コマンド抽出部、
   前記入力コマンド抽出部が抽出した入力コマンドを使用した評価シナリオを作成する評価シナリオ生成部
   として機能させるプログラム。

Images