JP2007280174A - 操作履歴記録装置 - Google Patents

Abstract

【課題】 ユーザの操作履歴情報を参照する際に、ボタンのクリック情報を容易に把握できるようにする。
【解決手段】 １または複数の操作子を有するポインティングデバイスと、複数のキーを有するキー入力デバイスと、表示装置とが接続される操作履歴記録装置であって、ポインティングデバイスの操作子に対する操作およびキー入力デバイスにおけるキー入力操作を検出する検出手段と、検出手段が操作子に対する操作を検出した場合には、表示装置に表示されている画像中の、ポインティングデバイスのカーソルを含む領域の画像を記録し、検出手段がキー入力操作を検出した場合には、表示装置に表示されている画像中の、キー入力の対象を含む領域の画像を記録する画像記録手段と、検出手段が検出した時刻と画像記録手段が記録した画像とを関連づけて記録する履歴記録手段とを備えることを特徴とする操作履歴記録装置。
【選択図】 図１

Description

本発明は、コンピュータシステムにおける操作履歴を収集するための技術に関する。

コンピュータシステムにおける各種解析等のために、ユーザの操作履歴を記録することがよく行なわれる。例えば、特許文献１には、マウスやキーボード等の入力装置を用いたユーザ操作の履歴を記録し、処理装置の基本性能を管理することが記載されている。

具体的なユーザ操作の履歴としては、マウス操作により取得されるマウスカーソルの座標、クリック情報、ウインドウ操作情報、キーボード操作により取得されるキー入力情報等が記録される。
特開２００３−１７７８４７号公報

ユーザの操作履歴の記録にあたっては、ユーザがどの画面で、どのような処理を行なったかが重要である。特に、ウインドウに配置された各種ボタンのクリックは、コンピュータシステムに対する処理の指示であることが多いため、特に注目する必要がある。

一般に、ボタンのクリックはマウス操作により行なわれるが、キーボード操作によってもマウスのクリックと同じ結果を得ることができる。例えば、カーソルキーによりボタンを選択し、エンターキーにより確定することでそのボタンをクリックしたことになる。

ところが、従来のように、操作履歴として、マウスクリックの内容、マウスカーソルの座標あるいはキーボードのキーの入力操作を記録するだけでは、履歴情報を参照しても、どのボタンがクリックされたかを容易に把握することができない。

本発明は、ユーザの操作履歴情報を参照する際に、ボタンのクリック情報を容易に把握できるようにすることを目的とする。

上記課題を解決するため、本発明によれば、
１または複数の操作子を有するポインティングデバイスと、複数のキーを有するキー入力デバイスと、表示装置とが接続される操作履歴記録装置であって、
前記ポインティングデバイスの操作子に対する操作および前記キー入力デバイスにおけるキー入力操作を検出する検出手段と、
前記検出手段が前記操作子に対する操作を検出した場合には、前記表示装置に表示されている画像中の、前記ポインティングデバイスのカーソルを含む領域の画像を記録し、前記検出手段が前記キー入力操作を検出した場合には、前記表示装置に表示されている画像中の、前記キー入力の対象を含む領域の画像を記録する画像記録手段と、
前記検出手段が検出した時刻と前記画像記録手段が記録した画像とを関連づけて記録する履歴記録手段とを備えることを特徴とする操作履歴記録装置が提供される。

ここで、前記履歴記録手段は、再記録不可の記録媒体に記録することができる。

また、前記履歴記録手段は、前記検出手段が検出した時点においてアクティブであるウインドウのタイトルをさらに関連づけて記録するようにしてもよい。

本発明によれば、ユーザの操作履歴情報を参照する際に、ボタンのクリック情報を容易に把握できるようになる。

本発明の実施例について図面を参照して説明する。

図１は、本実施例におけるコンピュータシステムのハードウェア構成を示すブロック図である。本図に示すように、コンピュータシステムは、コンピュータ１０にディスプレイ装置２０、キーボード３０、マウス４０、印刷装置５０が接続されて構成される。

マウス４０は、移動量を測る機構に加え、操作子である１または複数のボタンを備えており、このボタンをクリックすることで操作者の指示をコンピュータ１０に伝えることができる。本例では操作子として左右のボタンを備えているものとする。

もちろん、コンピュータシステムの構成は一例であり、本図の例に限られない。例えば、マウス４０の変わりにトラックボール等のポインティングデバイスを用いるようにしてもよい。

コンピュータ１０は、ＣＰＵ１１、メモリ１２、入出力制御装置１３、補助記憶装置１４等を備えた汎用的なコンピュータを用いることができる。

図２は、本実施例におけるコンピュータ１０の特徴的な機能構成を示すブロック図である。本図に示すように、コンピュータ１０は、イベント検出部１１０、ログ収集部１２０、ログ記録領域１３０、ログ出力部１４０を備えている。

これらの機能部は、例えば、ログ記録用に作成されたコンピュータプログラムをＣＰＵ１１が実行することによりコンピュータ１０上に仮想的に構築される。

イベント検出部１１０は、ユーザによるマウス４０の操作、キーボード３０の操作を監視する。具体的には、マウス４０の左右ボタンのクリック・ダブルクリック、キーボード３０のキー入力を検出する。なお、マウス４０の移動は必ずしも検出する必要はない。一方、キー入力は、NumLock、CapsLockの状態、Shift、Ctrlとのコンビネーション等の情報も検出する。

ログ収集部１２０は、イベント検出部１１０がユーザによるマウス４０の操作、キーボード３０の操作を検出すると、その具体的な内容を取得し、ログ記録領域１３０に記録する。この際に、アクティブなウインドウのタイトルおよび時刻を取得してログ記録領域１３０に併せて記録する。

さらに、本実施例では、ログ収集部１２０は、検出されたイベントがマウス４０のクリック操作の場合には、マウスカーソル周辺の画像をキャプチャしてログ記録領域１３０に記録し、検出されたイベントがキーボード３０のキー入力操作の場合には、キープロンプト周辺の画像をキャプチャしてログ記録領域１３０に記録する。

このため、ログ収集部１２０は、キーボード３０の操作が検出された場合に入力されたキーの内容を取得する入力キー取得部１２１と、マウス４０の操作が検出された場合にクリックされたマウスボタンの内容を取得するマウスイベント取得部１２２と、アクティブなウインドウのタイトルを取得するウインドタイトル取得部１２３と、マウスカーソルあるいはキープロンプト周辺のキャプチャ画像を取得するキャプチャ画像取得部１２４と、日付・時刻を取得する時刻取得部１２５とを備えている。

ログ記録領域１３０は、ログ収集部１２０が取得した情報を記録する。具体的には、検出されたイベントの内容、ウインドウのタイトル、キャプチャ画像を検出された日時とともに記録する。このため、ログ記録領域１３０は、時系列的にログ情報を記録するログリスト１３１とキャプチャ画像ファイルを記録する周辺キャプチャ画像ファイル群１３２とを有している。

図３は、ログリスト１３１のデータ構造の一例を示す図である。本図に示すようにログリスト１３１は、日時１３１ａ、キー／マウスイベント１３１ｂ、イベント内容１３１ｃ、ウインドウタイトル１３１ｄ、キャプチャ画像ファイル名１３１ｅを１レコードとして管理する。１つのレコードは１つのイベントに対応して生成される。

日時１３１ａにはイベントが検出された日付と時刻とが記録される。キー／マウスイベント１３１ｂには、検出されたイベントがマウス４０のクリック操作であるかキーボード３０のキー入力操作であるかの区別が記録される。イベント内容１３１ｃには、検出されたイベントの内容が記録される。ウインドウタイトル１３１ｄには、イベントが検出された際にアクティブであったウインドウのタイトルが記録される。キャプチャ画像ファイル名１３１ｅは、イベントが検出された際にキャプチャ画像として記録したファイルのファイル名が記録される。

なお、ログ記録領域１３０は、補助記憶装置１４として広く用いられているハードディスク装置を用いて構成することもできるが、ログ情報の改竄を防止するため、書き換え不可能ないわゆるワンタイム型の記録媒体を用いるようにしてもよい。

ログ出力部１４０は、ログ記録領域１３０に記録されたログリスト１３１、周辺キャプチャ画像ファイル群１３２に基づいて、ログ情報を出力する。ログ情報の出力の態様は、例えば、ディスプレイ装置２０による画面表示、あるいは、印刷装置５０による印刷とすることができる。

つぎに、図４を参照して、本実施例のログ記録処理について説明する。

ログの記録処理は、例えば、ユーザからログ記録の指示を受け付けることで開始する（Ｓ１０１）。ログ記録の指示は、例えば、プログラムの起動、メニュー操作、コマンド入力等により受け付けることができる。

記録を開始すると、記録終了の指示を受け付けるまで（Ｓ１０２：Ｙ）、キー入力イベントあるいはマウスクリックイベントが発生するのを監視する（Ｓ１０３）。記録終了の指示は、例えば、プログラムの終了、メニュー操作、コマンド入力等により受け付けることができる。

キー入力イベントあるいはマウスクリックイベントが発生したことを検出すると（Ｓ１０３）、そのイベントがキー入力イベントであるかマウスクリックイベントであるか（Ｓ１０４）に応じて、以下の処理を行なう。

すなわち、発生したイベントがキー入力イベントの場合には（Ｓ１０４：Ｙ）、キー情報をログリスト１３１に記録する（Ｓ１０５）。具体的には、日時１３１ａにキー入力イベントが検出された日付・時刻を記録し、キー／マウスイベント１３１ｂにキー入力を示す識別子を記録し、イベント内容１３１ｃに入力されたキーの識別子を記録し、ウインドウタイトル１３１ｄにキー入力イベントが検出された時点でアクティブなウインドウのタイトルを記録する。イベント内容１３１ｃには、NumLock、CapsLock、Shift、Ctrl等のキーモードの情報も含めるようにする。

また、キー入力イベントが検出された時点におけるキープロンプト周辺の画像をキャプチャし、画像ファイルとして周辺キャプチャ画像ファイル１３２に記録する（Ｓ１０６）。そして、そのファイル名をログリスト１３１のキャプチャ画像ファイル名１３１ｅに記録する。ただし、キープロンプトの周辺のみならず、画面全体をキャプチャするようにしてもよい。また、ファイル名はあらかじめ定められた規則にしたがって一意に定められるものとする。

一方、発生したイベントがマウスクリックイベントの場合には（Ｓ１０４：Ｎ）、マウス情報をログリスト１３１に記録する（Ｓ１０７）。具体的には、日時１３１ａにマウスクリックイベントが検出された日付・時刻を記録し、キー／マウスイベント１３１ｂにマウスクリックを示す識別子を記録し、イベント内容１３１ｃにクリックの内容を記録し、ウインドウタイトル１３１ｄにマウスクリックイベントが検出された時点でアクティブなウインドウのタイトルを記録する。

また、マウスクリックイベントが検出された時点におけるマウスカーソル周辺の画像をキャプチャし、画像ファイルとして周辺キャプチャ画像ファイル１３２に記録する（Ｓ１０８）。そして、そのファイル名をログリスト１３１のキャプチャ画像ファイル名１３１ｅに記録する。ただし、キャプチャ画像取得部１２４は、マウスカーソルの周辺のみならず、画面全体をキャプチャするようにしてもよい。また、ファイル名はあらかじめ定められた規則にしたがって一意に定められるものとする。

図５は、マウスクリックイベントが検出された場合のキャプチャ画像の一例を示している。すなわち、画面５００に示すように、「はい」「いいえ」「キャンセル」ボタンが配置されたウインドウにおいて、「はい」ボタンがクリックされると、キャプチャ画像５１０が示すように、マウスカーソル周辺の画像がキャプチャされることになる。これにより、どのボタンがクリックされたかを容易に把握することができるようになる。

図６は、キー入力イベントが検出された場合のキャプチャ画像の一例を示している。すなわち、画面５２０に示すように、「はい」「いいえ」「キャンセル」ボタンが配置されたウインドウにおいて、キー操作により「はい」ボタンが指定されると、キャプチャ画像５３０が示すように、キープロンプト周辺の画像がキャプチャされることになる。これにより、どのボタンが指定されたかを容易に把握することができるようになる。

ログ記録領域１３０に記録されたログ情報は、ユーザの指示に基づいて、ログ出力部１４０により画面表示あるいは印刷される。

図７は、ディスプレイ装置２０に表示されるログ情報の一例を示す図である。本図に示すように画面５４０には、ログリスト１３１に基づいて日時、キー／マウス、内容、ウインドウタイトルがリスト形式で表示される。そして、それぞれの行には画像表示ボタンが配置される。画像表示ボタンがクリックされるとログ出力部１４０は、対応するキャプチャ画像ファイル名１３１ｅで指定される画像ファイルを取得して、別ウインドウとして画面５５０を表示する。

このように本実施例によれば、ユーザは、それぞれのキー入力、あるいはマウスクリックでどのような操作が行なわれたかを容易に把握することができるようになる。

なお、上述の例では、マウスクリックイベント、キー入力イベントが発生した場合にキャプチャ画像を記録するようにしたが、ボタンがクリックされた場合に限り、キャプチャ画像を記録するようにしてもよい。これにより、記録領域を減らすことができる。

本実施例におけるコンピュータシステムのハードウェア構成を示すブロック図。 本実施例におけるコンピュータの機能構成を示すブロック図。 ログリストのデータ構造の一例を示す図。 本実施例のログ記録処理について説明するフロー図。 マウスクリックイベントが検出された場合のキャプチャ画像の一例を示す図。 キー入力イベントが検出された場合のキャプチャ画像の一例を示す図。 ログ情報の画面出力の例を示す図。

符号の説明

１０…コンピュータ、１１…ＣＰＵ、１２…メモリ、１３…入出力制御装置、１４…補助記憶装置、２０…ディスプレイ装置、３０…キーボード、４０…マウス、５０…印刷装置、１１０…イベント検出部、１２０…ログ収集部、１２１…入力キー取得部、１２２…マウスイベント取得部、１２３…ウインドタイトル取得部、１２４…キャプチャ画像取得部、１２５…時刻取得部、１３０…ログ記録領域、１４０…ログ出力部

Claims (6)

1. １または複数の操作子を有するポインティングデバイスと、複数のキーを有するキー入力デバイスと、表示装置とが接続される操作履歴記録装置であって、
   前記ポインティングデバイスの操作子に対する操作および前記キー入力デバイスにおけるキー入力操作を検出する検出手段と、
   前記検出手段が前記操作子に対する操作を検出した場合には、前記表示装置に表示されている画像中の、前記ポインティングデバイスのカーソルを含む領域の画像を記録し、前記検出手段が前記キー入力操作を検出した場合には、前記表示装置に表示されている画像中の、前記キー入力の対象を含む領域の画像を記録する画像記録手段と、
   前記検出手段が検出した時刻と前記画像記録手段が記録した画像とを関連づけて記録する履歴記録手段とを備えることを特徴とする操作履歴記録装置。
2. 請求項１に記載の操作履歴記録装置であって、
   前記履歴記録手段は、再記録不可の記録媒体に記録することを特徴とする操作履歴記録装置。
3. 請求項１に記載の操作履歴記録装置であって、
   前記履歴記録手段は、前記検出手段が検出した時点においてアクティブであるウインドウのタイトルをさらに関連づけて記録することを特徴とする操作履歴記録装置。
4. １または複数の操作子を有するポインティングデバイスと、複数のキーを有するキー入力デバイスと、表示装置とが接続されるコンピュータを操作履歴記録装置として機能させるコンピュータプログラムであって、
   前記ポインティングデバイスの操作子に対する操作および前記キー入力デバイスにおけるキー入力操作を検出する検出手段と、
   前記検出手段が前記操作子に対する操作を検出した場合には、前記表示装置に表示されている画像中の、前記ポインティングデバイスのカーソルを含む領域の画像を記録し、前記検出手段が前記キー入力操作を検出した場合には、前記表示装置に表示されている画像中の、前記キー入力の対象を含む領域の画像を記録する画像記録手段と、
   前記検出手段が検出した時刻と前記画像記録手段が記録した画像とを関連づけて記録する履歴記録手段としてコンピュータを機能させることを特徴とするコンピュータプログラム。
5. 請求項４に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
6. １または複数の操作子を有するポインティングデバイスと、複数のキーを有するキー入力デバイスと、表示装置とが接続されるコンピュータにおける操作履歴記録方法であって、
   前記ポインティングデバイスの操作子に対する操作および前記キー入力デバイスにおけるキー入力操作を検出する検出ステップと、
   前記検出手段が前記操作子に対する操作を検出した場合には、前記表示装置に表示されている画像中の、前記ポインティングデバイスのカーソルを含む領域の画像を記録し、前記検出手段が前記キー入力操作を検出した場合には、前記表示装置に表示されている画像中の、前記キー入力の対象を含む領域の画像を記録する画像記録ステップと、
   前記検出手段が検出した時刻と前記画像記録手段が記録した画像とを関連づけて記録する履歴記録ステップとを有することを特徴とする操作履歴記録方法。

Images