JP2009223658A - 操作表示システムと操作表示システムのためのプログラム - Google Patents

Abstract

【課題】操作ログ情報をビジュアル化して、操作状況を確認し易くし、不要な部分をなくして再生画像のファイル容量を低減すると共に、再生画像の表示装置に要求される能力も低減することが可能な操作表示システムを提供する。
【解決手段】端末における操作状況を表示する操作表示システム１は、端末で行われた操作に基づいて記録される操作ログ情報を取得する操作ログ情報取得部１０と、操作状況を表示する表示範囲を指定する表示指定部１２と、表示範囲に対応する操作ログ情報から、端末の画面に表示されている表示物の状態を判定し、表示物状態情報として管理する表示物状態管理部１１と、表示物状態情報を、表示物ごとに保存する状態保存部１３と、表示範囲に対応する、表示物状態情報に応じて仮想画像を生成する仮想画像生成部１４と、を備える。
【選択図】図１

Description

本発明は、端末における操作状況を表示する操作表示システムと、そのような操作表示システムのためのプログラムに関する。

従来、イントラネットやローカルエリアネットワーク等のネットワークの普及と共に、ネットワークに接続されたコンピュータ端末の監視やネットワークを利用した授業等の目的として、遠隔にあるコンピュータ端末の操作状況を確認するケースが増加している。このようなコンピュータ端末の操作状況を把握するために、操作ログ情報が利用されてきた。しかしながら、操作ログ情報は、文字情報の羅列に過ぎないため、コンピュータ端末の操作状況を把握したい者（管理者等）にとっては、コンピュータ端末の操作画面上に、どのようなものが表示されているのかをイメージすることが容易ではなかった。このため、コンピュータ端末の操作画面をイメージし易くするために、コンピュータ端末の操作画面をキャプチャしたキャプチャ画像が用いられてきた。一方、キャプチャ画像のファイル容量が大きくなると、監視用端末に対する負荷が大きなものとなってしまう。このため、キャプチャ画像のファイル容量を低減させるために利用できる技術がある（例えば、特許文献１）。

特許文献１に記載の動画生成装置は、静止画を変化させて動画を生成する。当該動画生成装置は、取得された静止画に含まれるオブジェクトの中から、より多くの画像に含まれるオブジェクト、又は予め登録された人物の顔と予め定められた一致度より高い一致度で合致するオブジェクトを抽出する。抽出したオブジェクトを含む静止画に対してＤＣＴ変換を施すことにより、動画を構成するＩピクチャを生成する。更に、オブジェクトに対してエフェクト（拡大、縮小、回転、色変更等）が施された複数種類のピクチャを生成する。これらのピクチャを順次切り替えて、動画を生成する。

特開２００７−１５８７０６号公報

特許文献１に記載の技術では、所定の静止画から動画を構成するＩピクチャを用いて、コンピュータ端末における操作状況を動画化（ビジュアル化）して表示させることにより、管理者等にコンピュータ端末の操作状況をイメージし易くさせていた。しかし、特許文献１に記載の技術を用いてビジュアル化する場合、画像を転送することが難しい環境下においては、操作状況をビジュアル化することは困難であった。また、動画に用いられるピクチャには変化しない不要な部分が含まれる。このようなピクチャでは、ピクチャ自体のファイル容量が大きくなってしまうと共に、再生に必要なメモリ容量も大きくなってしまう。また、特許文献１に記載の技術により生成された動画であっても不要な部分があるため、操作状況を確認することが容易ではない。

本発明の目的は、上記問題に鑑み、画像を使用せず、操作ログ情報を用いてコンピュータ端末の操作状況をビジュアル化することによって、少ないデータ量で操作状況を確認し易い表示を実現させ、再生画像の表示装置に要求される能力を低減することが可能な操作表示システムとそのような操作表示システムのためのプログラムを提供することである。

上記目的を達成するための本発明に係る、操作表示システムの特徴構成は、端末における操作状況を表示するために、前記端末で行われた操作に基づいて記録される操作ログ情報を取得する操作ログ情報取得部と、前記操作状況を表示する表示範囲を指定する表示指定部と、前記表示範囲に対応する操作ログ情報から、前記端末の画面に表示されている表示物の状態を判定し、表示物状態情報として管理する表示物状態管理部と、前記表示物状態情報を、前記表示物ごとに保存する状態保存部と、前記表示範囲に対応する、前記表示物状態情報に応じて仮想画像を生成する仮想画像生成部と、を備える点にある。

このような特徴構成とすれば、操作ログ情報に基づいて仮想画像を生成して表示することにより、あたかも動画のように端末の操作状況を再現することができる。したがって、従来、文字の羅列に過ぎなかった操作ログ情報をビジュアル化することが可能となり、管理者にとってコンピュータ端末の操作状況をイメージし易くなるという効果がある。また、再生に用いられる再生画像の中から不要な部分をなくすことにより、ファイル容量を低減することが可能となる。また、ファイル容量が低減されるため、再生画像の表示装置に要求される能力も低く抑えることが可能となる。更には、例えば、仮想画像を監視画像として利用する場合には、不要な部分が削除されるため、監視者にとって見易い画像とすることができる。

また、前記端末におけるポインティングデバイスのカーソル情報を取得するカーソル情報取得部を備え、前記仮想画像生成部は、更に、前記仮想画像中に、前記カーソル情報に基づいて生成した前記ポインティングデバイスのカーソルを加えて合成すると好適である。

このような構成とすれば、仮想画像中に、端末の操作に基づいて移動するポインティングデバイスのカーソルを表示することができるため、端末の操作状況をイメージし易くなる。

また、前記端末の操作画像を取得する操作画像情報取得部を備え、前記操作画像を前記仮想画像の背景画像として用いると好適である。

このような構成とすれば、仮想画像の背景に、端末の操作画像に表示される背景画像を表示することができるため、端末の操作状況をイメージし易くなる。

更に、本発明では、端末における操作状況を表示する操作表示システムに好適に用いられるプログラムも権利範囲としており、そのプログラムの特徴構成は、前記端末で行われた操作に基づいて記録される操作ログ情報を取得する操作ログ情報取得機能と、前記操作状況を表示する表示範囲を指定する表示指定機能と、前記表示範囲に対応する操作ログ情報から、前記端末の画面に表示されている表示物の状態を判定し、表示物状態情報として管理する表示物状態管理機能と、前記表示物状態情報を、前記表示物ごとに状態保存部に保存する状態保存機能と、前記表示範囲に対応する、前記表示物状態情報に応じて仮想画像を生成する仮想画像生成機能と、をコンピュータに実行させる点にある。

このような操作表示システムのためのプログラムも、上述した本発明の対象としての操作表示システムと同様に、上述した作用効果を得ることが可能であり、上述した種々の付加的な特徴構成を備えることができる。

〔第一の実施形態〕
以下、本発明の実施例を図面に基づいて説明する。図１は、本実施形態に係る操作表示システム１の概略構成を模式的に示したブロック図である。本操作表示システム１は、端末における操作状況を表示する機能を備えている。この操作状況は、端末から取得される操作ログ情報に基づいて生成された仮想画像を表示することにより実現される（詳細は後述する）。本実施形態においては、操作表示システム１が、操作状況の表示対象となる端末に組み込まれている場合を例として説明する。

図１に示されるように、本操作表示システム１は、操作ログ情報取得部１０、表示物状態管理部１１、表示指定部１２、状態保存部１３、仮想画像生成部１４の各機能部を備える。また、端末の操作状況を表示するためのモニタ１５も備えている。操作表示システム１は、ＣＰＵを中核部材として、端末の操作状況を表示する種々の処理を行うための上述の機能部がハードウェア又はソフトウェア或いはその両方で構築されている。以下、本操作表示システム１の各部の構成について説明する。

操作ログ情報取得部１０は、端末で行われた操作に基づいて、記録される操作ログ情報を取得する。操作ログ情報は、上述のように、端末で行われた操作に基づいて取得され、時系列で記録される。そして、この操作ログ情報には、前記操作に係る操作内容、処理対象情報、処理対象の座標情報、日時情報が含まれる。操作内容とは、対象となる操作の内容を示すものである。具体的には、アプリケーションやファイル等の「起動」、「編集」、「コピー」、「印刷」等である。処理対象情報とは、処理対象となるアプリケーションやファイルの名称を示すものである。処理対象の座標情報とは、端末の操作画像において表示されるウィンドウやアイコン、ポインティングデバイスのカーソル等の座標情報を示すものである。日時情報とは、対象となる操作が行われた時間を示す情報が含まれる。

このような操作ログ情報の一例を図２に示す。図２に示された操作ログ情報のように、上述の各情報以外に、端末識別情報（図２における「端末ＩＤ」に相当）やユーザ識別情報（図２における「ユーザＩＤ」に相当」）や保存場所に関する情報も含まれる。端末識別情報は、端末を識別することが可能な情報であり、例えば端末ＩＤが含まれる。この端末ＩＤに代えて、ＭＡＣアドレス、ＩＰアドレス等を用いることも可能である。ユーザ識別情報は、当該端末を使用するユーザを識別することが可能な情報であり、例えばユーザＩＤが含まれる。また、保存場所に関する情報とは、上述の処理対象情報に示されるファイルの保存場所を示す情報が含まれる。なお、図２に示される操作ログ情報に記載の「Ｎｏ．」は説明の便宜上、記載したものであり、その有無に関しては本発明の適用範囲には関係はない。

図２における「Ｎｏ．１」の操作ログ情報は、端末ＩＤ「ＡＢＣ１２３４５６７８」を有する端末において、ユーザＩＤ「ユーザＡ」を有する者により行われた操作に関する操作ログ情報が記載されている。また、その操作ログ情報に係る処理対象は、アプリケーション「表計算ソフトＡ」による「顧客情報」のファイルであることが示されている。そして、操作内容として前記ファイルに入力されている入力情報の「選択」が行われたことを示している。また、日時情報として、その操作が「２００８年１月１０日１１時１８分」に行われたことも示されている。また、この「顧客情報」のファイルは、保存場所欄に示された場所に保存されていることも示されている。更に、処理対象の座標情報として、この操作が行われた際の「表計算ソフトＡ」のウィンドウが、「ｘ＝２００、ｙ＝２５０」を基点とする「幅＝６５０ｄｏｔ、高さ＝７００ｄｏｔ」の大きさを有することが示されている。このような各種情報が、操作ログ情報に含まれる。

また、「Ｎｏ．４」の操作ログ情報に示されるように、対象となる操作内容が「起動」である場合には、そのアイコンが位置する座標「ｘ＝５０、ｙ＝４５０」が、処理対象の座標情報として取得される。なお、アイコンのサイズを示す情報を操作ログ情報に含めるようにしても良い。このような操作ログ情報に基づいて、操作表示システム１は、端末で行われた操作を認識することが可能である。操作ログ情報取得部１０は、取得した操作ログ情報を後述の表示物状態管理部１１に伝達する。

表示指定部１２は、操作状況を表示する表示範囲を指定する。表示範囲とは、操作状況を表示する範囲を示すものである。具体的には、本操作表示システム１により操作状況を表示したい端末や日時（例えば開始日時や終了日時）やウィンドウや所定の表示領域が含まれる。したがって、表示指定部１２では、操作表示システム１により操作状況を表示する表示範囲として、端末や日時やウィンドウや所定の表示領域が指定される。これらの指定は、ユーザが入力デバイス（図示しない）を用いて任意に行うことが可能である。表示指定部１２で指定された表示範囲は、後述の表示物状態管理部１１に伝達される。

表示物状態管理部１１は、表示範囲に対応する操作ログ情報から、端末の画面に表示されている表示物の状態を判定し、表示物状態情報として管理する。表示範囲は、表示指定部１２から伝達される。また、操作ログ情報は、操作ログ情報取得部１０から伝達される。表示物とは、端末の操作画像に表示されるアイコンやウィンドウを示す。したがって、表示物の状態とは、アイコンやウィンドウの状態を示す。また、表示物状態情報とは、端末における表示物の状態を示す情報である。表示物状態情報とは、表示物、即ちアイコンやウィンドウの位置やサイズ、当該アイコンやウィンドウに係るアプリケーションの名称、当該アプリケーションで開かれるファイルの名称、アイコンやウィンドウが前面又は背面に表示される等の表示階層の順序、アイコンやウィンドウにおけるアクティブ或いは非アクティブの別、等が含まれる。また、対象となるアプリケーションが、インターネット等を利用したＷＥＢページの閲覧ソフトである場合には、そのＷＥＢページのＵＲＬ（Uniform Resource Locator）やＷＥＢページのタイトルに関する情報も含まれるようにすると好適である。表示物状態情報管理部１１は、このように表示物の状態を表示物状態情報として管理し、後述の状態保存部１３に保存する。なお、指定した時点の仮想画像を生成する場合には、指定した時点以前の操作ログ情報から、各表示物に関する操作ログ情報を抽出することで実現することができる。

状態保存部１３は、上述の表示物状態情報を、表示物ごとに保存する。したがって、表示物の状態が変われば、状態保存部１３にも順次、保存されることとなる。状態保存部１３に保存されている表示物状態情報によれば、表示物の状態を特定することが可能となる。

仮想画像生成部１４は、表示範囲に対応する、表示物状態情報に応じて仮想画像を生成する。ここで、表示範囲とは、上述の表示指定部１２により指定された表示範囲である。仮想画像生成部１４は、この表示範囲に対応する表示物状態情報を状態保存部１３から取得する。また、仮想画像とは、端末の操作状況を仮想的に示す画像である。この仮想画像中におけるウィンドウ（以下、仮想ウィンドウ）やアイコン（以下、仮想アイコン）は、操作ログ情報に含まれる座標情報に基づいて生成された外形枠が示される。その際、アプリケーション名やファイル名やアイコン名を生成された外形枠に付与して表示すると好適である。或いは、吹き出し表示を付与して表示するようにしても良い。このようにして仮想画像生成部１４は、状態保存部１３から取得した表示物状態情報に基づいて、端末の操作状況を示す仮想画像を生成する。生成された仮想画像は、モニタ１５に表示することにより端末の操作状況が視認可能となる。

このようにして本操作表示システム１は、操作ログ情報に基づいて端末の操作状況を示す仮想画像を生成して表示する。このため、不要な部分をなくして、再生画像のファイル容量を低減することが可能となる。また、再生画像の表示装置に要求される能力を低減することが可能となる。

次に、仮想画像生成部１４により生成された仮想画像に関して図を用いて説明する。図３は、図２に示される操作ログ情報から生成された仮想画像を示したものである。図３（ａ）には、図２における「Ｎｏ．１」から「Ｎｏ．３」の操作ログ情報に基づく「顧客情報」のファイルに係る仮想ウィンドウの外形枠１００が示されている。なお、その際、当該外形枠１００内にファイル名（「顧客情報」）を表示すると好適である。

そして、図３（ｂ）には、図２における「Ｎｏ．４」の操作ログ情報に基づく「注文書」のファイルの起動に関する操作状況が示される。この場合、「注文書」の仮想アイコンの外形枠２００が表示される。また、その際、当該仮想アイコンの外形枠２００からアイコン名（「注文書アイコン」）を吹き出し表示を行うと好適である。なお、図３（ｂ）には、図２における「Ｎｏ．１」から「Ｎｏ．３」の操作ログ情報に基づく「顧客情報」の仮想ウィンドウの外形枠１００も表示される。

図３（ｃ）は、図２における「Ｎｏ．５」の操作ログ情報に基づく「注文書」のファイルの操作状況が示される。この場合、「注文書」の仮想ウィンドウの外形枠３００が表示される。また、その際、当該仮想ウィンドウの外形枠３００内にファイル名（「注文書」）を表示すると好適である。なお、図３（ｃ）には、図２における「Ｎｏ．１」から「Ｎｏ．４」までの操作ログ情報に基づく仮想ウィンドウの外形枠１００及び仮想アイコンの外形枠２００も表示される。

図３（ｄ）は、図２における「Ｎｏ．６」から「Ｎｏ．７」の操作ログ情報に基づく「顧客情報」のファイルの操作状況が示される。この場合、操作ログ情報に示されるように「顧客情報」のウィンドウが「選択」されていることから、「顧客情報」の仮想ウィンドウの外形枠１００が、「注文書」の仮想ウィンドウの外形枠３００より前面に位置するように表示される。

図３（ｅ）は、図２における「Ｎｏ．８」から「Ｎｏ．１０」の操作ログ情報に基づく「注文書」のファイルの操作状況が示される。この場合、操作ログ情報に示されるように「注文書」のウィンドウが「選択」されていることから、「注文書」の仮想ウィンドウの外形枠３００が、「顧客情報」の仮想ウィンドウの外形枠１００より前面に位置するように表示される。このような仮想画像をモニタ１５に表示することにより、端末における操作状況を表示することが可能となる。

次に、本操作表示システム１により行われる操作状況の表示に関してフローチャートを用いて説明する。図４は、当該操作状況の表示に関するフローチャートである。まず、表示指定部１２において、操作状況を表示する表示範囲を指定する（ステップ＃０１）。この表示範囲の指定は、ユーザが所望する端末識別情報や日時情報に基づいて指定することが可能である。この指定された表示範囲は、表示物状態管理部１１に伝達される。

次に、表示物状態管理部１１は、伝達された表示範囲に対応する操作ログ情報を操作ログ情報取得部１０から取得する（ステップ＃０２）。そして、表示物状態情報管理部１１は、操作ログ情報に基づいて表示物の状態を表示物状態情報として管理する（ステップ＃０３）。この表示物状態情報は、状態保存部１３に保存される（ステップ＃０４）。

仮想画像生成部１４は、状態保存部１３に保存される表示物状態情報に基づいて、端末の操作状況に対応する仮想画像を生成する（ステップ＃０５）。この生成された仮想画像をモニタ１５に表示することにより、端末における操作状況を表示することが可能となる。このようなフローにより、本操作表示システム１は、操作ログ情報に基づいて端末の操作状況を示す仮想画像を生成して表示することが可能となる。このため、不要な部分をなくして、再生画像のファイル容量を低減することが可能となる。また、再生画像の表示装置に要求される能力を低減することが可能となる。

〔第二の実施形態〕
次に、本操作表示システム１の第二の実施形態に関して説明する。上述の第一の実施形態では、端末から取得された操作ログ情報に基づいて仮想画像を生成していたが、第二の実施形態では、仮想画像に端末における操作に基づいて移動するポインティングデバイスのカーソル（以下、仮想カーソル）Ｃｕが合成される点において異なる。また、上述の第一の実施形態では、仮想画像に背景がなかったが、第二の実施形態では、仮想画像に背景画像が合成される点において異なる。以下、図を用いて説明する。図５は、第二の実施形態に係る操作表示システム１の概略構成を模式的に示したブロック図である。上述の第一の実施形態に係る図１に示される操作表示システム１のブロック図と、カーソル情報取得部１６及び操作画像情報取得部１７が備えられる点において異なる。カーソル情報取得部１６及び操作画像情報取得部１７以外の機能部に関しては、上述の第一に実施形態と同様であるため、詳細説明は省略する。以下、差異を中心に説明する。

カーソル情報取得部１６は、端末におけるポインティングデバイスのカーソル情報を取得する。カーソル情報には、ポインティングデバイスのカーソルＣｕの位置情報、当該カーソル情報を取得した端末識別情報、当該位置情報を取得した日時情報が含まれる。カーソルＣｕの位置情報は、カーソルＣｕの位置を座標情報で示すものである。端末識別情報は、上述の第一の実施形態と同様に、端末を識別することが可能な情報であり、例えば、端末ＩＤであると好適である。日時情報は位置情報とリンクし、カーソルＣｕの位置情報が取得された時間を示す情報である。カーソル情報取得部１６は、このようなカーソル情報を所定時間毎に取得する。

図６は、カーソル情報の一例を示した図である。図６では、カーソル情報が１秒毎に取得されている場合を示している。図６に示されるように「２００８年１月１０日１１時５０分００秒」には、カーソルＣｕが「Ｘ＝１０００」、「Ｙ＝２００」の座標位置に位置していることを示している。なお、この場合、カーソルＣｕのサイズを示す情報を含めるようにしても良い。同様に、１０秒毎のカーソルＣｕの位置座標が示される。このようなカーソル情報がカーソル情報取得部１６により取得される。カーソル情報取得部１６により取得されたカーソル情報は仮想画像生成部１４に伝達される。

仮想画像生成部１４は、伝達されたカーソル情報に基づいて生成したポインティングデバイスの仮想カーソルを、状態保存部１３から取得した表示物状態情報に基づいて生成した仮想画像中に、加えて合成する。当該合成は、日時情報を利用して合成すると好適である。また、仮想カーソルの表示は、日時情報にそって時間順に連続して表示させる場合、仮想カーソルが動画的に動くように表示しても良い。このように仮想画像に仮想カーソルを合成すると、端末におけるポインティングデバイスのカーソルＣｕの操作状況を表示することが可能となる。

操作画像情報取得部１７は、端末の操作画像を取得する。この操作画像は、常に取得する形態であっても良いし、所定のタイミングで取得するようにしても良い。所定のタイミングで操作画像を取得する場合には、例えば、端末の起動時の操作画像を取得すると好適である。また、予め設定された時間毎（例えば３０秒毎に１枚）や、操作ログ情報の出力時や、ウィンドウの移動や開閉等の画面の変化時に取得することも可能である。このように取得された操作画像は、仮想画像生成部１４に伝達される。仮想画像生成部１４は、伝達された操作画像を仮想画像の背景画像として用いる。このようにすると仮想画像の背景を容易に生成することでき、仮想画像の表示中に操作状況をイメージし易くなる。また、仮想画像に合成されるのは、背景画像のみに限定されるものではなく、ウィンドウ内の画像をキャプチャして合成することも可能である。

本実施形態に係る仮想画像について図を用いて説明する。ここでは、カーソル情報は図６に示されるものを用い、操作ログ情報は図７に示されるものを用いて説明する。なお、図７に示される操作ログ情報は、図２における説明と同様に、操作ログ情報取得部１０により所定時間毎に取得されたものである。まず、操作画像情報取得部１７は、端末の起動時の操作画像を背景画像として取得する。この操作画像を図８（ａ）に示す。

次に、仮想画像生成部１４は、図７に示される操作ログ情報に基づいて生成した仮想画像中に、図６に示されるカーソル情報に基づいて生成された仮想カーソルＣｕを合成する。図８（ｂ）は、「２００８年１月１０日１１時５０分００秒」の操作ログ情報及びカーソル情報に基づいて生成された仮想画像である。

同様に、図８（ｃ）は、「２００８年１月１０日１１時５０分０１秒」の操作ログ情報及びカーソル情報に基づいて生成された仮想画像である。ここでは、「注文書」のファイルを起動するために外形枠２００で示された「注文書」の仮想アイコンをクリックする操作が示されている。

図８（ｄ）は、「２００８年１月１０日１１時５０分０２秒」の操作ログ情報及びカーソル情報に基づいて生成された仮想画像である。ここでは、「注文書」のファイルが起動し、「注文書」の仮想ウィンドウの外形枠３００が表示され、当該ファイルを編集している様子が示されている。

図８（ｅ）は、「２００８年１月１０日１１時５０分０３秒」のカーソル情報に基づいて生成された仮想画像である。ここでは、同時間に対応する操作ログ情報が存在しないため、仮想カーソルＣｕの操作（移動）のみが表示されている。

図８（ｆ）は、「２００８年１月１０日１１時５０分０４秒」の操作ログ情報及びカーソル情報に基づいて生成された仮想画像である。ここでは、「顧客情報」の仮想ウィンドウが選択されたことを示している。

図８（ｇ）は、「２００８年１月１０日１１時５０分０５秒」のカーソル情報に基づいて生成された仮想画像である。ここで、図７の「Ｎｏ．５」の操作ログ情報に示されるように「２００８年１月１０日１１時５０分０５秒」の時点において、「顧客情報」のファイルに係るウィンドウは「移動」されている。したがって、図８（ｆ）には、「顧客情報」の仮想ウィンドウの外形枠１００が移動していることを示している。なお、この場合、図８（ｆ）の仮想画像には、図８（ｅ）の時点における「顧客情報」の仮想ウィンドウの領域１０１が破線で残っている。これは、当該仮想ウィンドウの移動を視認容易とするためである。もちろん、破線で示された元の位置を表示しないようにすることも当然に可能である。この場合には、図８（ｇ）において破線で示される「顧客情報」の仮想ウィンドウの領域１０１は、背景画像が表示されることとなる。このように背景画像やポインティングデバイスの仮想カーソルＣｕを仮想画像中に合成して、仮想画像を表示すると端末の操作状況をイメージしやすくすることができる。

〔その他の実施形態〕
上記実施形態では、表示物状態情報に、ＷＥＢページのＵＲＬ（Uniform Resource Locator）やＷＥＢページのタイトルに関する情報も含まれるようにすると好適であるとして説明した。そして、係る場合、仮想ウィンドウの外形枠内にＵＲＬやタイトル表示が行われるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、ＵＲＬがある場合には、仮想画像生成時に直接、ＵＲＬにアクセスし、当該ＵＲＬ先のＷＥＢ画像を対応する仮想ウィンドウ内に表示するようにしても良い。このようにすると、ユーザが閲覧していたＷＥＢページの内容を視覚的に特定することが容易となる。

上記実施形態では、仮想画像生成部１４は、状態保存部１３から表示物状態情報を取得するとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、仮想画像生成部１４が、表示物状態情報管理部１１から直接、表示物状態情報を取得するような構成とすることも当然に可能である。

上記実施形態では、表示指定部１２は、開始日時や終了日時を指定して、表示範囲の指定を行うとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、表示範囲の指定は、自動的に指定されるように構成することも可能である。このような構成であれば、開始日時のみを指定して、その後、続けて仮想画像を生成する場合に好適である。また、リアルタイムに操作ログ情報を取得しながら、仮想画像を生成する場合にも好適である。

上記第二の実施形態では、ポインティングデバイスのカーソルＣｕのカーソル情報は、カーソル情報取得部１６により取得されるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、操作ログ情報にカーソル情報が含まれる場合には、当該操作ログ情報から仮想カーソルＣｕの画像を生成して、仮想画像に合成させることも可能である。このような構成であれば、カーソル情報取得部１６を備える必要がなくなる。

上記第二の実施形態では、仮想画像中に、端末の起動時に取得された操作画像を背景画像として用いるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、操作表示システム１が、操作ログ情報に基づいて特定操作イベントがあったことを検出する特定操作イベント検出部を備えるように構成される場合には、操作画像情報取得部１７は、特定操作イベントがあった時点の操作画像を取得すると好適である。このような特定操作イベントとしては、アプリケーションやファイルの起動、ウィンドウのアクティブ状態と非アクティブ状態との切り替えであると好適である。このような特定操作イベントがあった時点の操作画像を背景画像として用いるため、更に、端末の操作状況をイメージすることが容易となる。

上記第二の実施形態では、カーソル情報取得部１６によりカーソルＣｕの位置情報が１秒毎に取得されるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。この１秒毎は、単なる一例であり、所定の時間間隔でカーソルＣｕの位置情報を取得することも当然に可能である。

上記第二の実施形態では、仮想画像に、背景画像と仮想カーソルＣｕとを合成して表示するとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。仮想画像への合成は、背景画像及び仮想カーソルＣｕの少なくともいずれか一方でも良い。

上記実施形態では、操作ログ情報にはアイコンのサイズを示す情報がなく、カーソルＣｕの位置情報にはカーソルＣｕのサイズを示す情報がないものとして説明した。この場合には、予め設定された所定のサイズで仮想画像に合成することは当然に可能である。また、夫々のサイズに関する情報を操作ログ情報及びカーソル情報に含めるように構成することも当然に可能である。

上記実施形態では、仮想画像生成部１４は、仮想画像にあるアイコンを外形枠で示すとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、一般的な（ポピュラーな）アプリケーションのアイコンの場合は、そのアイコンの実際の画像を合成させて表示することも当然に可能である。このような場合には、予めポピュラーな製品のアイコン画像情報が保存されており、その画像を使用すると良い。

上記実施形態では、本操作表示システム１は、端末に組み込まれた場合の例として説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、上述の操作表示システム１の各機能部を、端末とネットワークを介して接続されるサーバに備えるように構成することも可能である。係る場合には、端末が複数あっても良い。また、端末からサーバに伝達される操作ログ情報やカーソル情報や操作画像情報は、端末を識別することが可能な端末識別情報や、ユーザを識別することが可能なユーザ識別情報に基づいて識別する構成とすると好適である。

また、本操作表示システム１の各機能をサーバと端末に分散させて構成することも可能である。このような場合の一例として、操作ログ情報取得部１０のみを端末に備え、それ以外の機能部をサーバに備えるようにすると好適である。また、操作ログ情報取得部１０及び表示物状態管理部１１を端末に備え、これら以外の機能部をサーバに備えるようにしても良い。このような構成とすれば、サーバを仮想画像の生成に特化させることができるため、サーバの負荷を軽減させることができる。

第一の実施形態に係る操作表示システムの概略構成を模式的に示したブロック図 操作ログ情報の一例を示した図 図２に示される操作ログ情報から生成された仮想画像を示した図 操作状況の表示に関するフローチャート 第二の実施形態に係る操作表示システムの概略構成を模式的に示したブロック図 カーソル情報の一例を示した図 操作ログ情報の一例を示した図 図６に示されるカーソル情報と図７に示される操作ログ情報とから生成された仮想画像を示した図

符号の説明

１：操作表示システム
１０：操作ログ情報取得部
１１：表示物状態管理部
１２：表示指定部
１３：状態保存部
１４：仮想画像生成部
１５：モニタ

Claims (4)

1. 端末における操作状況を表示する操作表示システムにおいて、
   前記端末で行われた操作に基づいて記録される操作ログ情報を取得する操作ログ情報取得部と、
   前記操作状況を表示する表示範囲を指定する表示指定部と、
   前記表示範囲に対応する操作ログ情報から、前記端末の画面に表示されている表示物の状態を判定し、表示物状態情報として管理する表示物状態管理部と、
   前記表示物状態情報を、前記表示物ごとに保存する状態保存部と、
   前記表示範囲に対応する、前記表示物状態情報に応じて仮想画像を生成する仮想画像生成部と、
   を備える操作表示システム。
2. 前記端末におけるポインティングデバイスのカーソル情報を取得するカーソル情報取得部を備え、
   前記仮想画像生成部は、更に、前記仮想画像中に、前記カーソル情報に基づいて生成した前記ポインティングデバイスのカーソルを加えて合成する請求項１に記載の操作表示システム。
3. 前記端末の操作画像を取得する操作画像情報取得部を備え、
   前記操作画像を前記仮想画像の背景画像として用いる請求項１又は２に記載の操作表示システム。
4. 端末における操作状況を表示する操作表示システムのためのプログラムにおいて、
   前記端末で行われた操作に基づいて記録される操作ログ情報を取得する操作ログ情報取得機能と、
   前記操作状況を表示する表示範囲を指定する表示指定機能と、
   前記表示範囲に対応する操作ログ情報から、前記端末の画面に表示されている表示物の状態を判定し、表示物状態情報として管理する表示物状態管理機能と、
   前記表示物状態情報を、前記表示物ごとに状態保存部に保存する状態保存機能と、
   前記表示範囲に対応する、前記表示物状態情報に応じて仮想画像を生成する仮想画像生成機能と、
   をコンピュータに実行させる操作表示システムのためのプログラム。

Images