JP2007025926A - プログラム、および情報処理装置 - Google Patents

Abstract

【課題】コンピュータの画面に対するユーザ操作を自動実行したときに、正常に画面上の操作が完了したことを確認できる技術を提供する。
【解決手段】コンピュータの画面に対するユーザ操作を検知する操作手段を通じた操作内容と前記画面の表示内容の採取を指示する採取指示とを記憶する操作記憶手段と、前記記憶された操作内容にしたがい前記画面に対するユーザ操作を再生するスケジュールを記憶するスケジュール情報記憶手段と、前記スケジュールに基づくユーザ操作再生の起動日時において、前記操作記憶手段に記憶された操作内容と採取指示とにしたがい、前記ユーザ操作を再生するとともに再生時の表示内容を採取する再生手段と、前記ユーザ操作に基づくコンピュータの実行状態と採取された表示内容とを表示する監視手段として、コンピュータを機能させる。
【選択図】図１

Description

本発明は、コンピュータに対する操作を自動実行するとともに、自動実行の結果を検証する技術に関する。

従来から、コンピュータ上でユーザ指定のスケジュール情報にしたがってプログラムを実行する技術が知られている。ここで、スケジュール情報としては、プログラムを指定するコマンド名（プログラム名）、起動周期（毎日、毎週特定日、毎月特定日等）、起動時刻、その他の情報が指定される。

この技術では、例えば、上記スケジュール情報から起動日時が算出される。そして、その日時の到来が監視される。その日時が到来すると、上記コマンド名にしたがって、プログラムが起動される。そして、プログラム実行結果のステータスが取得される。

一方、グラフィカル・ユーザ・インターフェースに対するユーザの操作を記録し、再生するプログラムも知られている（例えば、下記非特許文献１参照）。このプログラムでは、ユーザによるマウス・キーボードの操作時の操作位置および操作内容が記録される。そして、記録された内容にしたがい、マウス・キーボードの操作が再生される。なお、以上のような技術に関しては、例えば、特許文献１、２等が知られている。
シェアウェア・フリーウェア検索サイトVECTOR ［２００５年６月２３日検索］インターネット（http://www.vector.co.jp/vpack/browse/pickup/pw5/pw005997.html） 特開平４−１２７３２３号公報 特開２００１−８４０３２号公報

上述した技術では、プログラムを所定のスケジュールにしたがって実行することができる。また、コンピュータに対するユーザの操作を記録し、その操作をコンピュータの画面上で再生することができる。すなわち、このような技術を用いれば、コンピュータ上でプログラムを無人運転状態で自動実行することができる。その場合、画面上の操作を自動実行することもできる。

しかし、これらいずれの技術を用いても、コンピュータの画面に対するユーザ操作を無人運転状態で自動実行したときに、その操作が正常に完了したか否かを確認することに対する配慮がなかった。また、無人運転状態で自動実行したときに、画面上にどのような表示がされたかを認識することができなかった。

本発明の目的は、コンピュータの画面に対するユーザ操作を自動実行したときに、正常に画面上の操作が完了したことを確認できる技術及び後の時点で自動実行された時の表示内容を確認できる技術を提供することである。

本発明は前記課題を解決するために、以下の手段を採用した。すなわち、本発明は、コンピュータの画面に対するユーザ操作を検知する操作手段を通じた操作内容と前記画面の表示内容の採取を指示する採取指示とを記憶する操作記憶手段と、前記記憶された操作内容にしたがい前記画面に対するユーザ操作を再生するスケジュールを記憶するスケジュー
ル情報記憶手段と、前記スケジュールに基づくユーザ操作再生の起動日時において、前記操作記憶手段に記憶された操作内容と採取指示とにしたがい、前記ユーザ操作を再生するとともに再生時の表示内容を採取する再生手段と、前記ユーザ操作に基づくコンピュータの実行状態と採取された表示内容とを表示する監視手段として、コンピュータを機能させるプログラムである。

このプログラムによれば、コンピュータに、スケジュールに基づくユーザ操作再生の起動日時において、前記操作記憶手段に記憶された操作内容と採取指示とにしたがい、前記ユーザ操作を再生するとともに再生時の表示内容を採取し、前記ユーザ操作に基づくコンピュータの実行状態と採取された表示内容とを表示するので、再生時よりも後の時点で、ユーザが再生された表示内容を確認できる。

また、本発明は、コンピュータの画面に対するユーザ操作を検知する操作手段を通じた操作内容と前記画面の表示内容の採取を指示する採取指示とを記憶するとともに、その採取指示を記憶した時点の画面の表示内容を記憶する操作記憶手段と、前記記憶された操作内容にしたがい前記画面に対するユーザ操作を再生するスケジュールを記憶するスケジュール情報記憶手段と、前記スケジュールに基づくユーザ操作再生の起動日時において、前記操作記憶手段に記憶された操作内容と採取指示とにしたがい、前記ユーザ操作を再生するとともに再生時の画面の表示内容を採取する再生手段と、前記採取したユーザ操作再生時の画面の表示内容と前記操作記憶手段に記憶した前記時点の画面の表示内容とを比較する比較手段として、コンピュータを機能させるプログラムであってもよい。

このプログラムによれば、コンピュータに、ユーザ操作再生時の画面の表示内容と前記操作記憶手段に記憶した前記時点の画面の表示内容とを比較させるので、ユーザ操作再生時の画面の表示内容をコンピュータに検証させることができる。

上記操作記憶手段は、前記時点の画面の表示内容のうちの比較対照部分を特定する情報をさらに記憶し、前記比較手段は、前記比較対照部分で特定される部分について、前記採取した画面再生時の画面の表示内容と前記操作記憶手段に記憶した前記時点の画面の表示内容とを比較するようにしてもよい。

このプログラムによれば、比較対照部分で特定される部分について、前記採取した画面再生時の画面の表示内容と前記操作記憶手段に記憶した前記時点の画面の表示内容とを比較するので、時間経過とともに変動する画面の表示部分を除外して表示内容の比較ができる。

また、本発明は、以上のようなプログラムを上記コンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものでもよい。また、本発明は、上記いずれかの機能を備える情報処理装置であってもよい。また、本発明は、コンピュータその他の装置、機械等が上記いずれかの処理を実行する方法であってもよい。

本発明によれば、コンピュータの画面に対するユーザ操作を自動実行したときに、正常に画面上の操作が完了したことを確認することができ、更に後の時点で自動実行された時の表示内容を確認することができる。

以下、図面を参照して本発明を実施するための最良の形態（以下、実施形態という）に係る情報処理装置１について説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。

《第１実施形態》
図１は、本発明の第１実施形態に係る情報処理装置１の機能ブロック図である。情報処理装置１の各機能は、パーソナルコンピュータ等のコンピュータ上でプログラムを実行することで実現できる。このようなコンピュータは、ハードウェアとしては、ＣＰＵ、メモリ、ハードディスク、入出力インターフェース、表示装置、およびマウス・キーボード等の操作部を有している。このようなコンピュータの構成および作用は、広く知られているので、その説明を省略する。以下、図に示した各機能の概要を説明する。

操作記録情報記憶手段２（本発明の操作記憶手段に相当）は、表示装置の画面に表示されるＧＵＩ（グラフィカル・ユーザ・インターフェース）に対する操作手順と、画面表示内容の取り込み指示である画面キャプチャー採取指示とを、イベントテキストの形で操作記録ファイル３に記録する。ここで、イベントテキストは、キーボートからの入力、マウスの移動、マウスのクリック等、ＧＵＩ操作あるいは画面キャプチャー採取指示をテキスト形式で表現したものである。

また、画面キャプチャーとは、特定の時点の画面の表示内容をスナップショットとして記録した情報（例えば、画面のビットマップ）をいい、単にキャプチャーとも呼ぶ。画面キャプチャー採取指示は、そのようなキャプチャーを採取することをコンピュータに指示するイベントテキストである。

スケジュール情報記憶手段４は、自動再生する操作記録ファイル３のファイル名称、自動再生する場合の起動周期などのスケジュール情報をスケジュール情報ファイル５に保存する。

起動日設定手段６は、スケジュール情報ファイル５に保存されているスケジュール情報から、次回の自動起動の日時を算出し、その時刻が経過するのを待ち合わせる。自動起動の日時が経過したら、起動日設定手段６は、プログラム起動再生手段７を呼び出す。

プログラム起動再生手段７（本発明の再生手段に相当）は、スケジュール情報ファイル５のスケジュールにしたがって自動再生を制御する。プログラム起動再生手段７は、まず、スケジュール情報ファイル５に自動再生が開始したことを記憶する。次に、操作記録ファイル３を読み込み、保存されているイベントテキストから、キーボートからの入力、マウスの移動、マウスのクリック等、ＧＵＩの操作、あるいは画面キャプチャー採取等を実行する。これにより、操作記録ファイル３に記録されたＧＵＩ操作が再生される。プログラム起動再生手段７は、画面キャプチャー採取を実行する場合、取得した画面内容をキャプチャー・ファイル８に保存する。ＧＵＩ操作の再生が終了すると、プログラム起動再生手段７は、スケジュール情報ファイル５に実行が終了したことを記憶する。

監視表示手段９（本発明の監視手段に相当）は、スケジュール情報ファイル５の内容を読み込み、ＧＵＩ操作の自動再生の状態を表示する。表示する状態は、実行待ち、実行中、正常終了、異常終了である。自動再生の状態が実行中または正常終了の場合、ユーザがメニューを操作して、キャプチャー表示を指定することにより、プログラム起動再生手段７が保存したキャプチャー・ファイル８の内容を表示する。以下、図１に示したそれぞれの構成要素について、詳細に説明する。

＜操作記録情報記憶手段＞
図２は、操作記録情報記憶手段２の設定画面２０の例である。図２（Ａ）のように、設定画面２０は、キャプチャーを保存するディレクトリ名欄２１、記録開始ボタン２２、保存ファイル名欄２３、保存ボタン２４、および終了ボタン２５を有している。

キャプチャーを保存するディレクトリ名欄２１には、自動再生時に採取される画面キャプチャーを保存するディレクトリ名が指定される。

記録開始ボタン２２がクリックされると、操作記録情報記憶手段２は、その後のＧＵＩ操作の操作手順を収集する。

このとき画面の一部に記録終了画面２６が表示される（図２の（Ｂ））。記録終了画面２６は、キャプチャー保存ボタン２７と記録終了ボタン２８を有している。記録終了画面２６のキャプチャー保存ボタン２７がクリックされることで、「再生時にこの状態に達したときに画面キャプチャーを採取する」との指示が操作記録ファイル３に記録される。「操作時にこの状態に達したとき」とは、例えば、再生時に、操作記録ファイル３を順次読み出していき、「画面キャプチャーを採取する」との指示を読み出したときという意味である。

記録終了ボタン２８がクリックされることで、操作記録情報記憶手段２は、ＧＵＩ操作の操作手順の収集を完了し、図２の（Ａ）の設定画面に戻る（（Ｂ）に示す記録終了画面２６が消滅する）。

保存ファイル名欄２３には、収集したＧＵＩ操作の操作手順を操作記録ファイル３に保存するときのファイル名が指定される。保存ボタン２４をクリックすると、保存ファイル名欄２３に指定されたファイル名のファイルに収集したＧＵＩ操作の内容が保存される。

図３は、操作記録情報記憶手段２の構成図である。操作記録情報記憶手段２は、キーボードからの信号を検知するドライバ２Ｄ、マウスからの信号を検知するドライバ２Ｅを有する。また、操作記録情報記憶手段２は、ドライバ２Ｄ、２Ｅが検知した信号を収集し、処理し、記録するイベント収集部２９、記録イベント送信部２Ｂ、イベント処理部２Ｃ、および記憶処理部２Ａを有している。

ドライバ２Ｄ、２Ｅは、キーボード、マウスなどの入力装置を通じて検出された操作内容をソフトウェアで扱える形式（イベントと呼ぶ）に変換する。

イベント収集部２９は、各ハードウェアで操作されてドライバ２Ｄ、２Ｅで変換されたイベントを収集し、各ハードウェアで操作された内容を時系列に整理する（ＯＳの機能として動作）。

イベント処理部２Ｃは、それぞれの入力装置において操作された内容を実行する（ＯＳの機能として動作）。より具体的には、イベント処理部２Ｃは、受信したイベントの種類を判定し、そのイベントに応じた処理を実行する。例えば、画面上でＧＵＩ部品が選択され、操作される。また、メニューバーのプルダウンメニューが引き出され、メニュー項目が選択される。

記憶処理部２Ａは、記録イベント送信部２Ｂを起動する。また、記憶処理部２Ａは、キャプチャー保存ボタン２７のクリックにより、画面キャプチャー採取のイベントを生成する。また、記憶処理部２Ａは、記録終了ボタン２８のクリックにより、記録イベント送信部２Ｂを停止する。また、記憶処理部２Ａは、保存ボタン２４のクリックにより操作内容を操作記録ファイル３に保存する。

記録イベント送信部２Ｂは、上記処理で発生したイベントを記憶処理部２Ａに送信する。すなわち、記録イベント送信部２Ｂは、イベント処理部２Ｃに引き渡されるべきイベン
トのコピーを生成し、記憶処理部２Ａに送信する。これにより、入力装置を通じて検出された画面の操作内容が記憶処理部２Ａに送信されることになる。

なお、イベント収集部２９は、記録イベント送信部２Ｂを介さずにイベント処理部２Ｃに、直接イベントを引き渡すインターフェースを有する（操作手順を記録しない場合の動作モードで使用される）。この場合には、イベントは、記憶処理部２Ａに引き渡されず、イベント処理部２Ｃによって処理される。

図４は、記憶処理部２ＡによるＧＵＩ操作の操作手順の収集、すなわち、イベント収集時の処理を示すフローチャートである。この処理では、記憶処理部２Ａは、まず、記録イベント送信部２Ｂを起動する（Ｓ４１）。記録イベント送信部２Ｂは起動されると、画面操作時に発生するイベントを記憶処理部２Ａに送信するようになる。

次に、記憶処理部２Ａは、記録イベント送信部２Ｂから送信されるイベントを受信する（Ｓ４２）。そして、記憶処理部２Ａは、その受信イベントをメモリに保存する。

次に、記憶処理部２Ａは、イベントに基づいて操作内容を判定する。そして、記憶処理部２Ａは、操作内容がキャプチャーの保存か否かを判定する（Ｓ４３）。操作内容が、キャプチャー保存の場合、記憶処理部２Ａは、キャプチャーを採取するキャプチャー採取イベントを生成する（Ｓ４４）。ここで、操作内容がキャプチャー保存とは、図２のキャプチャー保存ボタン２７が押されたことをいう。その場合には、単にマウスイベントを記録するだけでなく、キャプチャー保存をするためのキャプチャー採取イベントを発生させておく。

次に、記憶処理部２Ａは、操作内容がイベント収集処理終了か否かを判定する（Ｓ４５）。操作内容がイベント収集処理終了の場合、記憶処理部２Ａは、記録イベント送信部４１を停止し（Ｓ４６）、イベントを収集する処理を終了する。また、操作内容が、イベント収集処理終了でない場合、記憶処理部２Ａは、制御をＳ４２に戻してイベント受信を繰り返す。

イベントを収集する処理を終了すると、記憶処理部２Ａは、収集したイベントを操作記録ファイル３に記録する。

図５は、操作記録ファイル３の内容の例を示す図である。操作記録ファイル３には、取得するキャプチャーの保存先、画面操作の内容、およびキャプチャー採取イベントが保存される。図５の例では、操作記録は、コマンド形式で記述されている。各コマンドの意味は、以下の通りである。

PIC#DIR ： キャプチャーを保存するディレクトリ名を示す。

MOUSE#EVENT,MOUSE#MOVE ： マウスカーソルの移動を示す。

MOUSE#EVENT,MOUSE#LBUTTONDOWN ： マウスの左ボタンのダウンを示す。

MOUSE#EVENT,MOUSE#LBUTTONUP ： マウスの左ボタンのアップを示す。

KEYBD#EVENT,KEYBD#A,KEY#ON ： キーボードの‘ａ’キーのダウンを示す。

KEYBD#EVENT,KEYBD#A,KEY#OFF ： キーボードの‘ａ’キーのアップを示す。

TAKE#PIC ： キャプチャー採取を示す。パラメータで指定されているファイル名（
図５では、filename）は、キャプチャー保存ファイルの名称である。

TOTAL#TIME：操作時間の総計、すなわち、再生時間を示す。

＜スケジュール情報記憶手段＞
図６は、スケジュール情報記憶手段４の設定画面例である。図６の設定画面では、ユーザは、自動起動する周期を指定する。図６では、例えば、週単位が選択され、起動する曜日が指定される。その場合に、運用期間を設定するようにしてもよい。運用期間を設定すると、その運用期間の間だけ、画面操作の自動再生が実行される。また、休日カレンダを利用することを指定してもよい。休日カレンダを利用する場合には、起動日が休日の場合に、画面操作の自動再生を実行するか否かを選択指定することができる。

図７は、その他のスケジュール情報を設定する設定画面例である。例えば、起動時刻欄には、起動する時刻を指定する。ただし、時刻の指定に代えて、先行するジョブが終了したときに画面操作の自動再生を実行するように指定することもできる。

記録ファイル名には、再生する記録するファイルを指定する。

＜起動日設定手段＞
図８は、起動日設定手段６の処理を示すフローチャートである。この処理では、起動日設定手段６は、スケジュール情報記憶手段２の設定画面（図６および図７参照）で指定された周期および起動時刻から、画面操作の自動再生を起動する日時を年月日時分の形式で算出する（Ｓ８１）。

次に、起動日設定手段６は、時刻待ち合わせを実行する（Ｓ８２）。すなわち、起動日設定手段６は、上記で算出した時刻が到来するのを待ち合わせる。

次に、起動日設定手段６は、プログラム起動再生手段７を起動する（Ｓ８３）。起動が完了すると、起動日設定手段６は、次回の起動日時を算出する処理（Ｓ８１）に制御を戻す。

＜プログラム起動再生手段＞
図９は、プログラム起動再生手段７の構成図である。プログラム起動再生手段７は、操作記録情報記憶手段２の処理とは、逆に、操作記録ファイル３の内容を読み出し、画面操作を自動再生する。したがって、図９に示すように、プログラム起動再生手段７は、操作記録ファイル３の内容（イベント）を読み出す再生処理部７１、および読み出した内容を識別するイベント識別部７２を有している。

再生処理部７１は、イベント識別部７２の起動、操作記録ファイル３に指定されているイベントの読み出しとイベント識別部７２への送信、キャプチャーの採取・保存を実行する。

イベント識別部７２では、イベント収集部２９から送信されたイベントを破棄するとともに、再生処理部７１から送信されたイベントをイベント処理部２Ｃに送信する。

イベント収集部２９は、操作記録情報記憶手段２で述べたように、ドライバ２Ｄ、２Ｅを通じてキーボード、マウス等からのイベントを収集している。ただし、プログラム起動再生手段７においては、イベント収集部２９が収集したキーボードイベント、マウスイベント等の実際の情報処理装置１の操作に伴うイベントは廃棄されることになる。したがっ
て、イベント処理部２Ｃは、操作記録ファイル３から読み出されたイベントに基づいて画面表示を再生することになる。

図１０は、プログラム起動再生手段７の処理を示すフローチャートである。この処理では、プログラム起動再生手段７は、まず、操作記録ファイル３の内容を読み込む（Ｓ１０１）。

次に、プログラム起動再生手段７は、イベント識別部７２を起動する（Ｓ１０２）。

その後、プログラム起動再生手段７は、読み込んだ操作記録ファイル３の内容（図５に示した各行のコマンド）からコマンド行を１行ずつ処理していく。すなわち、プログラム起動再生手段７は、現在処理中のコマンド行にキャプチャー採取イベントがあるか否かを判定する（Ｓ１０３）。処理中のコマンド行にキャプチャー採取イベントがある場合、プログラム起動再生手段７は、現在の画面内容のスナップショットであるキャプチャーを採取し、指定されているディクトリにファイルとして保存する（Ｓ１０４）。

次に、プログラム起動再生手段７は、現在処理中のコマンド行に対応するイベントをイベント識別部７２に送信する（Ｓ１０５）。イベント識別部７２は、受け取ったイベントをイベント処理部２Ｃへ引き渡す。イベント処理部２Ｃは、引き渡されたイベントに基づき、画面操作を再生する。

その結果、例えば、画面上のＧＵＩ部品が選択され、そのＧＵＩ部品に対応するアプリケーションプログラムが起動される。さらに、そのアプリケーションプログラムに対する操作が再生される。

次に、プログラム起動再生手段７は、操作記録ファイル３のコマンド行がなくなったか否かを判定する（Ｓ１０６）。次ぎのコマンド行がある場合、プログラム起動再生手段７は、制御をＳ１０３に戻す。以降、プログラム起動再生手段７は、操作記録ファイル３のコマンド行がなくなるまで、Ｓ１０３からＳ１０６の理を繰り返す。処理するコマンド行がなくなったとき、プログラム起動再生手段７は、処理を終了する。

図１１は、画面操作再生時の進捗状況を表示する進捗画面である。この画面は、図２の（Ｂ）で説明した操作記録終了画面２６と同じ大きさ・同じ位置で表示される。操作記録情報記憶手段２によって操作手順を記録中になされた操作記録終了画面２６に対する操作（各ボタンのクリック、画面の移動）をそのまま再生すると、操作記録ファイル３の本来の再生動作と異なる動作をする可能性がある。しかし、再生時に操作記録終了画面２６と同じ大きさ・同じ位置で進捗画面を表示することで、操作記録終了画面２６に対する操作が、進捗画面に対する操作となるため、誤動作を防止することができる。

なお、図１１で表示される進捗状況は、図５の操作記録ファイル３に、TOTAL#TIMEコマンドで記録されて実行時間に対する現在の経過時点を比率で示したものである。

＜監視表示手段＞
図１２は、監視表示手段９の画面例である。この画面は、中央部分を占める表を有している。この表には、再生スケジュールが表示される。すなわち、この表の各行が、１つの再生スケジュールに対応し、各行は、名前、状態、および時刻の各フィールドを有している。

名前のフィールドには、操作記録ファイル３のファイル名（あるいはそれを識別できる識別子）が表示される。また、状態のフィールドには、再生の状態が表示される。再生の
状態は、例えば、実行待ち、再生中、正常終了、異常終了等である。さらに、時刻欄は、時刻と時刻によって指定される各時間帯で、それぞれのスケジュールの起動の予定あるいは起動の実績が表示される。

監視画面９の右下方向には、サマリ情報が表示される。サマリ情報は、例えば、正常終了１件、異常終了０件、強制終了０件、対処済み０件、実行中０件、実行待ち０件等の情報である。ここで、対処済みとは、異常終了したスケジュールに対する対策が完了したことをいう。

また、表の左側には、表に表示された各スケジュールに対する操作メニューが表示されている。操作メニューは、例えば、起動、再起動、強制終了、異常対処等である。

図１３は、キャプチャー表示画面の例である。ユーザが図１２の操作記録ファイル（図１２の表のいずれかの行）を選択して、キャプチャー表示メニュー操作を行うと、図１３のキャプチャー表示画面が表示される。画面には、操作記録ファイル名（「名前」のラベルで示されるフィールド）と、キャプチャー採取時刻とともに、画面キャプチャー（ビットマップ）が表示される。

＜実施形態の効果＞
以上述べたように、本情報処理装置１によれば、操作記録ファイル３にＧＵＩ操作の操作手順を事前に記録しておき、スケジュール情報記憶手段４にて設定したスケジュールにしたがって、プログラム起動再生手段７が上記画面操作を自動的に再生する。したがって、ユーザが所望する画面操作を所望のスケジュールで再生することができる。例えば、ユーザによって選択されたＧＵＩ部品に対応するアプリケーションプログラムが起動され、そのアプリケーションプログラムに対する操作と、その操作に対するアプリケーションプログラムの応答が再生される。

さらに、操作記録ファイル３にキャプチャー採取・保存指示を示すイベントを登録しておくことにより、ユーザ所望のタイミングで、再生中の画面の内容を取得し、保存できる。したがって、ユーザは、無人運転でＧＵＩ操作を再生させた後に、キャプチャーを確認することで表示内容を確認できると共に、ＧＵＩ操作が正常に再生されたか否かを判断することができる。

《第２実施形態》
上記実施形態では、画面操作時に発生するイベントを操作記録ファイル３に記録し、指定のスケジュールにしたがって、その操作記録ファイル３に記録されたイベントを処理することにより、画面操作を自動的に再生し、再生時のキャプチャーを保存する情報処理装置１の例を示した。

本実施形態では、そのような画面操作の再生時に、画面の表示内容をキャプチャーとして取得するとともに、その取得したキャプチャーと、事前に操作記録ファイル３に記録済みのキャプチャーとを比較して、正常か否かを判定する情報処理装置１を説明する。本実施形態の他の構成および作用は、第１実施形態の場合と同様である。そこで、同一の構成要素については、同一の符号を付してその説明を省略する。また、必要に応じて図１から図１３の図面を参照する。

本実施形態の情報処理装置１では、操作記録情報記憶手段２は、ＧＵＩに対する操作手順の記録時に、その時点の画面内容を画面キャプチャーとして採取し、操作記録ファイル３に記録する。

プログラム起動再生手段７は、再生時に採取した画面キャプチャーと、操作手順の記録時に操作記録ファイル３に記録した画面キャプチャーを比較する。比較した結果、画面キャプチャーに差異があった場合、異常として、スケジュール情報ファイル５に記録する。その場合には、監視表示手段９は、状態を異常終了として表示する。

本実施形態の情報処理装置１では、図２の設定画面において、ユーザがキャプチャー保存ボタン２７をクリックすると、現在の画面キャプチャーが保存される。また、画面操作の再生時にキャプチャー採取を実行するようにキャプチャー採取のイベントが操作記録ファイル３に記録される。

一方、画面操作の再生時には、本実施形態では、図９のプログラム起動再生手段７は、上記第１実施形態の処理に加えて、キャプチャーの採取・比較・保存を行う。すなわち、プログラム起動再生手段７は、キャプチャー採取のイベントがある場合、その時点の画面内容であるキャプチャーを採取するとともに、操作記録ファイル３に保存されているＧＵＩ操作記録時のキャプチャーとファイル比較を行う。例えば、キャプチャーをビットマップファイルとして作成し、ビットマップ同士を比較すればよい。比較した結果、キャプチャーが一致しない場合は、異常終了として扱い、処理は終了する。その場合に監視表示手段９は、図１２の画面において、状態を異常終了として表示する。

図１４に、キャプチャー保存・比較処理のフローチャートを示す（この処理を実行するプログラム起動再生手段７が本発明の比較手段に相当する）。この処理は、図１０に示したプログラム起動再生手段７の処理で説明したキャプチャー採取・保存処理（図１０のＳ１０４）を変更したものである。

この処理では、プログラム起動再生手段７は、まず、現在の画面内容からキャプチャーを採取し、所定のファイルに保存する（Ｓ１０４１）。次に、プログラム起動再生手段７は、再生時に採取・保存したキャプチャーと予め操作記録ファイル３に記録しておいたキャプチャーとを比較する（Ｓ１０４３）。

そして、再生時に採取・保存したキャプチャーと予め記録しておいたキャプチャーとが一致した場合、プログラム起動再生手段７は、そのままキャプチャー保存・比較処理を終了する。一方、再生時に採取・保存したキャプチャーと予め記録しておいたキャプチャーとが一致しない場合、プログラム起動再生手段７は、状態を異常終了に設定し、キャプチャー保存・比較処理を終了する。

異常終了の場合には、図１２に示した監視表示手段９の画面において、その再生に対応するスケジュールの状態が異常終了として表示される。

以上述べたように、本情報処理装置１によれば、操作記録ファイル３に画面操作の手順を事前に記録しておき、スケジュール情報記憶手段４にて設定したスケジュールにしたがって、プログラム起動再生手段７が上記画面操作を自動的に再生する。したがって、ユーザが所望する画面操作を所望のスケジュールで再生することができる。その場合に、操作記録ファイル３にキャプチャー採取・保存指示を示すイベントと、そのキャプチャー採取時に本来取得されるべきキャプチャーとを登録しておくことにより、ユーザ所望のタイミングで、再生中の画面の内容を取得し、本来取得されるべきキャプチャーとを比較することができる。したがって、画面操作を無人で再生するような場合において、ユーザ所望の時点で、本来表示されるべき画面が表示されたか否かを情報処理装置１がユーザの介在なしに判定できる。

《第３実施形態》
上記第２実施形態では、画面操作の再生時に、画面の表示内容をキャプチャーとして取得するとともに、その取得したキャプチャーと、事前に操作記録ファイル３に記録済みのキャプチャーとを比較して、正常か否かを判定する情報処理装置１を説明した。本実施形態では、そのようなキャプチャーの比較において、比較する画面部分を指定して特定の画面部分を比較する情報処理装置１の例を説明する。本実施形態の他の構成および作用は、第２実施形態の場合と同様である。そこで、同一の構成要素については、同一の符号を付してその説明を省略する。また、必要に応じて図１から図１４の図面を参照する。

本実施形態では、操作記録情報記憶手段２は、操作記録ファイル３に記録された画面内容の一部を選択して比較するために、その選択範囲（本発明の比較対照部分に相当）も記録する。

すなわち、図２のキャプチャー保存ボタン２７がクリックされると、ＧＵＩ操作の記録が中断され、操作記録情報記憶手段２は、ユーザに比較範囲の選択を促す。これに対し、ユーザは、例えば、マウスドラッグ等によって、選択範囲を指定する。このとき、操作記録終了画面２６のキャプチャー保存ボタン２６は“再開”ボタンに表示変更されており、“再開”ボタンのクリックにより、操作記録の中断が解除される。

図１５に、本実施形態の情報処理装置１で記録される操作記録ファイル３の内容の例を示す。図１５のように、TAKE#PICコマンドで指定される行に、キャプチャー・ファイル名（filename）、および比較対象位置（左上の座標と右下の座標、Ｘ１、Ｙ１、Ｘ２、Ｙ２）が合わせて保存される。

画面操作の再生時、プログラム起動再生手段７は、キャプチャーの採取と上記選択された位置での比較・保存を行う。

図１６に、本実施形態におけるキャプチャー保存・比較処理のフローチャートを示す。この処理についても、第２実施形態の場合と同様、図１０に示したプログラム起動再生手段７の処理で説明したキャプチャー採取・保存処理（図１０のＳ１０４）を変更したものである。

この処理では、プログラム起動再生手段７は、まず、現在の画面内容からキャプチャーを採取し、所定のファイルに保存する（Ｓ１０４１）。次に、プログラム起動再生手段７は、再生時に保存したキャプチャーのうち、比較範囲の部分を切り出す（Ｓ１０４２）。

次に、プログラム起動再生手段７は、再生時に採取・保存したキャプチャーの比較部分と予め操作記録ファイル３に記録しておいた記録キャプチャーの比較部分とを比較する（Ｓ１０４３Ａ）。このとき、例えば、それぞれの比較部分のビットマップを比較すればよい。

そして、再生時に採取・保存したキャプチャーの比較部分と予め記録しておいた記録キャプチャーの比較部分とが一致した場合、プログラム起動再生手段７は、そのままキャプチャー保存・比較処理を終了する。一方、再生時に採取・保存したキャプチャーの比較部分と予め記録しておいた記録キャプチャーの比較部分とが一致しない場合、プログラム起動再生手段７は、状態を異常終了に設定し、キャプチャー保存・比較処理を終了する。

異常終了の場合には、図１２に示した監視表示手段９の画面において、その再生に対応するスケジュールの状態が異常終了として表示される。

なお、上記処理では、再生時に保存したキャプチャーから比較部分を切り出した（図１
６のＳ１０４２の処理）。しかし、そのような処理に代えて、比較部分だけを切り出して保存しておくようにしてもよい。

また、記録キャプチャーについても、比較部分だけを切り出して保存しておくようにしてもよい。ただし、記録キャプチャーの全体と、比較部分を示す座標とを保存しておき、比較時に記録キャプチャーの比較部分を切り出すようにしても構わない。

以上述べたように、本情報処理装置１によれば、操作記録ファイル３に画面操作の手順を事前に記録しておき、スケジュール情報記憶手段４にて設定したスケジュールにしたがって、プログラム起動再生手段７が上記画面操作を自動的に再生する。そして、操作記録ファイル３にキャプチャー採取・保存指示を示すイベントと、そのキャプチャー採取時に本来取得されるべきキャプチャーとを登録しておくことにより、ユーザ所望のタイミングで、再生中の画面の内容を取得し、本来取得されるべきキャプチャーとを比較することができる。

その場合に、再生時のキャプチャーから比較部分だけを切り出して、操作記録ファイル３に記録されたキャプチャーの比較部分と比較することができる。したがって、画面上で、時間の経過とともに、変動する情報、例えば、カレンダ情報、時刻情報、あるいは、ランダムまたは所定の規則にしたがって変化して表示される情報（問えば、ウェブサイトのバナー広告、新聞記事等）を除外して、再生中の画面の内容と本来取得されるべきキャプチャーとを比較することができる。そのため、そのような変動する情報によって、比較結果が影響される可能性を低減できる。

《コンピュータ読み取り可能な記録媒体》
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD-ROM、CD-R/W、DVD、DAT、８mmテープ、メモリカード等がある。

また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ（リードオンリーメモリ）等がある。

《その他》
さらに、本実施の形態は以下の発明を開示する。また、以下の各発明（以下付記と呼ぶ）のいずれかに含まれる構成要素を他の付記の構成要素と組み合わせてもよい。
（付記１）
コンピュータの画面に対するユーザ操作を検知する操作手段を通じた操作内容と前記画面の表示内容の採取を指示する採取指示とを記憶する操作記憶手段と、
前記記憶された操作内容にしたがい前記画面に対するユーザ操作を再生するスケジュールを記憶するスケジュール情報記憶手段と、
前記スケジュールに基づくユーザ操作再生の起動日時において、前記操作記憶手段に記憶された操作内容と採取指示とにしたがい、前記ユーザ操作を再生するとともに再生時の表示内容を採取する再生手段と、
前記ユーザ操作に基づくコンピュータの実行状態と採取された表示内容とを表示する監
視手段として、コンピュータを機能させるプログラム。
（付記２）
コンピュータの画面に対するユーザ操作を検知する操作手段を通じた操作内容と前記画面の表示内容の採取を指示する採取指示とを記憶するとともに、その採取指示を記憶した時点の画面の表示内容を記憶する操作記憶手段と、
前記記憶された操作内容にしたがい前記画面に対するユーザ操作を再生するスケジュールを記憶するスケジュール情報記憶手段と、
前記スケジュールに基づくユーザ操作再生の起動日時において、前記操作記憶手段に記憶された操作内容と採取指示とにしたがい、前記ユーザ操作を再生するとともに再生時の画面の表示内容を採取する再生手段と、
前記採取したユーザ操作再生時の画面の表示内容と前記操作記憶手段に記憶した前記時点の画面の表示内容とを比較する比較手段として、コンピュータを機能させるプログラム。
（付記３）
操作記憶手段は、前記時点の画面の表示内容のうちの比較対照部分を特定する情報をさらに記憶し、
前記比較手段は、前記比較対照部分で特定される部分について、前記採取した画面再生時の画面の表示内容と前記操作記憶手段に記憶した前記時点の画面の表示内容とを比較する付記２に記載のプログラム。
（付記４）
コンピュータの画面に対するユーザ操作を検知する操作手段を通じた操作内容と前記画面の表示内容の採取を指示する採取指示とを記憶する操作記憶手段と、
前記記憶された操作内容にしたがい前記画面に対するユーザ操作を再生するスケジュールを記憶するスケジュール情報記憶手段と、
前記スケジュールに基づくユーザ操作再生の起動日時において、前記操作記憶手段に記憶された操作内容と採取指示とにしたがい、前記ユーザ操作を再生するとともに再生時の表示内容を採取する再生手段と、
前記ユーザ操作に基づくコンピュータの実行状態と採取された表示内容とを表示する監視手段と、を備える情報処理装置。
（付記５）
コンピュータの画面に対するユーザ操作を検知する操作手段を通じた操作内容と前記画面の表示内容の採取を指示する採取指示とを記憶するとともに、その採取指示を記憶した時点の画面の表示内容を記憶する操作記憶手段と、
前記記憶された操作内容にしたがい前記画面に対するユーザ操作を再生するスケジュールを記憶するスケジュール情報記憶手段と、
前記スケジュールに基づくユーザ操作再生の起動日時において、前記操作記憶手段に記憶された操作内容と採取指示とにしたがい、前記ユーザ操作を再生するとともに再生時の画面の表示内容を採取する再生手段と、
前記採取したユーザ操作再生時の画面の表示内容と前記操作記憶手段に記憶した前記時点の画面の表示内容とを比較する比較手段と、を備える情報処理装置。
（付記６）
操作記憶手段は、前記時点の画面の表示内容のうちの比較対照部分を特定する情報をさらに記憶し、
前記比較手段は、前記比較対照部分で特定される部分について、前記採取した画面再生時の画面の表示内容と前記操作記憶手段に記憶した前記時点の画面の表示内容とを比較する付記５に記載の情報処理装置。
（付記７）
コンピュータが、コンピュータの画面に対するユーザ操作を検知する操作手段を通じた操作内容と前記画面の表示内容の採取を指示する採取指示とを記憶する操作記憶ステップと、
前記記憶された操作内容にしたがい前記画面に対するユーザ操作を再生するスケジュールを記憶するスケジュール情報記憶ステップと、
前記スケジュールに基づくユーザ操作再生の起動日時において、前記操作記憶手段に記憶された操作内容と採取指示とにしたがい、前記ユーザ操作を再生するとともに再生時の表示内容を採取する再生ステップと、
前記ユーザ操作に基づくコンピュータの実行状態と採取された表示内容とを表示する監視ステップと実行する情報処理方法。
（付記８）
コンピュータが、コンピュータの画面に対するユーザ操作を検知する操作手段を通じた操作内容と前記画面の表示内容の採取を指示する採取指示とを記憶するとともに、その採取指示を記憶した時点の画面の表示内容を記憶する操作記憶ステップと、
前記記憶された操作内容にしたがい前記画面に対するユーザ操作を再生するスケジュールを記憶するスケジュール情報記憶ステップと、
前記スケジュールに基づくユーザ操作再生の起動日時において、前記操作記憶手段に記憶された操作内容と採取指示とにしたがい、前記ユーザ操作を再生するとともに再生時の画面の表示内容を採取する再生ステップと、
前記採取したユーザ操作再生時の画面の表示内容と前記操作記憶手段に記憶した前記時点の画面の表示内容とを比較する比較ステップとを実行する情報処理方法。
（付記９）
操作記憶ステップでは、前記時点の画面の表示内容のうちの比較対照部分を特定する情報がさらに記憶され、
前記比較ステップでは、前記比較対照部分で特定される部分について、前記採取した画面再生時の画面の表示内容と前記操作記憶手段に記憶した前記時点の画面の表示内容とが比較される付記８に記載の情報処理方法。

本発明の第１実施形態に係る情報処理装置の機能ブロック図である。 操作記録情報記憶手段の設定画面の例である。 操作記録情報記憶手段の構成図である。 記憶処理部の記録時の処理を示すフローチャートである。 操作記録ファイルの内容の例を示す図（その１）である。 スケジュール情報記憶手段の設定画面例（その１）である。 スケジュール情報記憶手段の設定画面例（その２）である。 起動日設定手段の処理を示すフローチャートである。 プログラム起動再生手段の構成図である。 プログラム起動再生手段の処理を示すフローチャートである。 プログラム再生時の進捗状況を表示する進捗画面である。 監視表示手段の画面例である。 キャプチャー表示画面の例である。 本発明の第２実施形態におけるキャプチャー保存・比較処理のフローチャートである。 操作記録ファイルの内容の例を示す図（その２）である。 本発明の第３実施形態におけるキャプチャー保存・比較処理のフローチャートである。

Claims (5)

1. コンピュータの画面に対するユーザ操作を検知する操作手段を通じた操作内容と前記画面の表示内容の採取を指示する採取指示とを記憶する操作記憶手段と、
   前記記憶された操作内容にしたがい前記画面に対するユーザ操作を再生するスケジュールを記憶するスケジュール情報記憶手段と、
   前記スケジュールに基づくユーザ操作再生の起動日時において、前記操作記憶手段に記憶された操作内容と採取指示とにしたがい、前記ユーザ操作を再生するとともに再生時の表示内容を採取する再生手段と、
   前記ユーザ操作に基づくコンピュータの実行状態と採取された表示内容とを表示する監視手段として、コンピュータを機能させるプログラム。
2. コンピュータの画面に対するユーザ操作を検知する操作手段を通じた操作内容と前記画面の表示内容の採取を指示する採取指示とを記憶するとともに、その採取指示を記憶した時点の画面の表示内容を記憶する操作記憶手段と、
   前記記憶された操作内容にしたがい前記画面に対するユーザ操作を再生するスケジュールを記憶するスケジュール情報記憶手段と、
   前記スケジュールに基づくユーザ操作再生の起動日時において、前記操作記憶手段に記憶された操作内容と採取指示とにしたがい、前記ユーザ操作を再生するとともに再生時の画面の表示内容を採取する再生手段と、
   前記採取したユーザ操作再生時の画面の表示内容と前記操作記憶手段に記憶した前記時点の画面の表示内容とを比較する比較手段として、コンピュータを機能させるプログラム。
3. 操作記憶手段は、前記時点の画面の表示内容のうちの比較対照部分を特定する情報をさらに記憶し、
   前記比較手段は、前記比較対照部分で特定される部分について、前記採取した画面再生時の画面の表示内容と前記操作記憶手段に記憶した前記時点の画面の表示内容とを比較する請求項２に記載のプログラム。
4. コンピュータの画面に対するユーザ操作を検知する操作手段を通じた操作内容と前記画面の表示内容の採取を指示する採取指示とを記憶する操作記憶手段と、
   前記記憶された操作内容にしたがい前記画面に対するユーザ操作を再生するスケジュールを記憶するスケジュール情報記憶手段と、
   前記スケジュールに基づくユーザ操作再生の起動日時において、前記操作記憶手段に記憶された操作内容と採取指示とにしたがい、前記ユーザ操作を再生するとともに再生時の表示内容を採取する再生手段と、
   前記ユーザ操作に基づくコンピュータの実行状態と採取された表示内容とを表示する監視手段と、を備える情報処理装置。
5. コンピュータの画面に対するユーザ操作を検知する操作手段を通じた操作内容と前記画面の表示内容の採取を指示する採取指示とを記憶するとともに、その採取指示を記憶した時点の画面の表示内容を記憶する操作記憶手段と、
   前記記憶された操作内容にしたがい前記画面に対するユーザ操作を再生するスケジュールを記憶するスケジュール情報記憶手段と、
   前記スケジュールに基づくユーザ操作再生の起動日時において、前記操作記憶手段に記憶された操作内容と採取指示とにしたがい、前記ユーザ操作を再生するとともに再生時の画面の表示内容を採取する再生手段と、
   前記採取したユーザ操作再生時の画面の表示内容と前記操作記憶手段に記憶した前記時点の画面の表示内容とを比較する比較手段と、を備える情報処理装置。

Images