JP2003280946A

JP2003280946A - 情報処理装置、操作履歴記録再生方法、プログラム及び記憶媒体

Info

Publication number: JP2003280946A
Application number: JP2002079732A
Authority: JP
Inventors: Kaoru Maeda; 薫前田
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2002-03-20
Filing date: 2002-03-20
Publication date: 2003-10-03

Abstract

(57)【要約】【課題】作業中断後の再開時に、中断直前にしていた
ことを容易に思い出せるように、中断前の操作を忠実に
再生できる操作履歴記録再生技術を提供する。【解決手段】出力画面を操作履歴情報として記録でき
る情報処理装置において、出力画面の内容を監視してそ
の変化を検出する出力監視部１３、現在時刻を取得する
時刻取得部１４、出力監視部１３により出力画面の内容
の変化が検出されたときに出力画面の内容をそのときの
時刻と共に記録する記録部１５、再生指示に応じて、記
録された時刻をもとに、指定された時刻以降に記録され
た出力画面の内容を再生する再生部１６を備えた。ま
た、入力操作があったことを検出する入力監視部１２を
備え、その入力監視部１２により入力のあったことが検
出されたとき、または出力監視部１３により出力画面の
内容の変化が検出されたとき、記録部１５が出力画面の
内容とそのときの時刻と入力操作の有無情報とを関連づ
けて記録する構成にした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、各種情報処理装置
に実施できる操作履歴利用支援技術に係わり、特に、情
報処理装置の出力画面を記録し再生することにより、操
作性の向上を図ることができる操作履歴利用支援技術に
関する。

【０００２】

【従来の技術】パーソナルコンピュータなどの情報処理
装置への入力操作、または出力画面を記録または遠隔収
集する技術として、入力操作の自動化システムや端末装
置の遠隔操作システムなどが実用化されている。例えば
特許第２６９８６８５号公報に示された遠隔操作システ
ムでは、被制御端末装置の出力画面を遠方にある制御端
末装置へ送信し、制御端末装置では被制御端末装置の出
力画面を再生し、制御端末装置からの入力操作情報を被
制御端末装置へ送信し、あたかも被制御端末装置におい
て入力された操作であるかのように被制御端末装置を動
作させ、それにより被制御端末装置の遠隔操作を実現し
ている。なお、この従来技術では、入出力の監視はもっ
ぱらリアルタイムで遠隔操作する目的でおこなってお
り、入出力履歴を記録して後に再生するための手段は持
っていない。また、特開平１０−１７１８４４号公報に
示された従来技術では、操作の履歴情報を出力画面の内
容とともに記録する技術が開示されている。入力操作の
履歴情報を記録し、履歴情報の再生時に、記録された情
報に従って入力操作を再実行することにより、記録され
た現象を再現するのである。なお、この従来技術では、
入力操作情報を出力画面内に画像として埋め込んで記録
することにより、再生時の視認性を増す方法も提供して
いる。同様に、特開２０００−２３５５４９公報に示さ
れた従来技術では、入力イベントと結果イベントの履歴
情報を時系列に記録し、履歴情報の再生時に、その履歴
情報に従って入力操作を再実行することにより、記録さ
れた現象を再現する。再生時、記録された結果イベント
を待つことにより、記録時の入力イベントと同期してイ
ベントを再生するのである。

【０００３】

【発明が解決しようとする課題】しかしながら、前記し
た特開平１０−１７１８４４号公報に示された従来技術
においては、そのときの動作状態によっては、同一の入
力履歴情報によった再実行であっても、タイミング次第
で正しく再生できない場合がある。また、前記したいず
れの従来技術も、入力操作列を再生するのは、プログラ
ムの再実行が目的であり、出力画面または結果イベント
の記録は、それ自体を利用者に再生して提示することを
目的としたものでない。本発明の目的は、このような従
来技術の問題を解決することにあり、具体的には、作業
を何らかの理由で中断した場合、作業再開時に、中断直
前に何をしていたかを容易に思い出せるように、作業中
断前の操作を忠実に再生できる操作履歴記録再生技術を
提供することにある。

【０００４】

【課題を解決するための手段】前記の課題を解決するた
めに、請求項１記載の発明では、出力画面を操作履歴情
報として記録することができる情報処理装置において、
出力画面の内容を監視してその変化を検出する出力監視
手段と、現在時刻を取得する時刻取得手段と、前記出力
監視手段により出力画面の内容の変化が検出されたとき
に出力画面の内容をそのときの現在時刻とともに記録す
る記録手段と、再生指示に応じて、記録された時刻をも
とに、指定された時刻以降に記録された出力画面の内容
を再生する画面再生手段とを備えた。また、請求項２記
載の発明では、請求項１記載の発明において、情報処理
装置への入力を監視して入力操作があったことを検出す
る入力監視手段を備え、その入力監視手段により入力の
あったことが検出されたとき、または前記出力監視手段
により出力画面の内容の変化が検出されたときに、出力
画面の内容とそのときの現在時刻と入力操作の有無情報
とを関連づけて記録するように記録手段を構成した。ま
た、請求項３記載の発明では、出力画面を操作履歴情報
として記録し再生する操作履歴記録再生方法において、
出力画面の内容を監視してその変化を検出したとき、出
力画面の内容をそのときの現在時刻とともに記録し、そ
の後、再生指示に応じて、記録された前記現在時刻をも
とに、指定された時刻以降に記録された出力画面の内容
を再生する構成にした。また、請求項４記載の発明で
は、請求項３記載の発明において、情報処理装置への入
力を監視して入力操作があったことを検出したとき、ま
たは出力画面の内容の変化を検出したとき、出力画面の
内容とそのときの現在時刻と入力操作の有無情報とを関
連づけて記録する構成にした。

【０００５】また、請求項５記載の発明では、請求項４
記載の発明において、再生指示に応じて、記録されてい
る情報から最後の中断開始時点を検出し、記録された出
力画面の内容をその中断開始時点より所定時間遡った時
点から再生する構成にした。また、請求項６記載の発明
では、請求項４または請求項５記載の発明において、最
後に入力のあったことが検出されてから所定時間が経過
したとき、そのとき以後、次の入力操作が検出されるま
で、記録を停止する構成にした。また、請求項７記載の
発明では、請求項６記載の発明において、所定時間入力
操作がない無操作時間帯が検出されたとき、その無操作
時間帯の直前の入力操作時刻を操作列の終了点とし、そ
の無操作時間帯の直後の入力操作時刻を次の操作列の開
始点とすることにより、入力操作を複数の操作列に分割
し、各操作列の終了時刻から他の所定時間遡った時点を
記録開始時刻として各操作列の終了時刻またはその直後
までに出力された画面の内容を記録する構成にした。ま
た、請求項８記載の発明では、請求項７記載の発明にお
いて、最新の所定数の操作列の画面の内容のみを記録に
残し、古い記録を消去する構成にした。また、請求項９
記載の発明では、情報処理装置上で実行されるプログラ
ムにおいて、請求項３乃至請求項８のいずれか１項に記
載の操作履歴記録再生方法に従ってプログラミングし
た。また、請求項１０記載の発明では、プログラムを記
憶した記憶媒体において、請求項９記載のプログラムを
記憶した。

【０００６】

【発明の実施の形態】以下、図面により本発明の実施の
形態を詳細に説明する。図１は本発明の各実施例に対応
できる情報処理装置のハードウェア構成を示す構成ブロ
ック図である。この情報処理装置は例えばパーソナルコ
ンピュータであり、図示したように、データを入力した
り操作をおこなったりするキーボード１およびマウスな
どポインティングデバイス２、処理結果などを表示する
表示装置３、プログラムに従ってこの情報処理装置の各
部を制御したり本発明に係わるデータ処理をおこなった
りするＣＰＵ４、そのプログラムや各種データを一時的
に記憶するメモリ（例えばＲＡＭ）５、そのプログラム
や各種データを保存しておくハードディスク装置６など
を備える。

【０００７】図２に、各実施例に対応可能なシステム構
成を示す。点線で囲んだ部分が本発明が実施される部分
である。図示した各部の機能を図１に示したハードウェ
アとプログラムとにより実現するのである。図２におい
て、アプリケーションプログラム１１はこの情報処理装
置を用いた利用者の個々の作業に対応したプログラムで
あり、単一のプログラムであるとは限らず、複数のアプ
リケーションプログラムを切り換えて実行する構成も含
む。また、入力監視部１２はキーボード１やポインティ
ングデバイス２など入力デバイスからアプリケーション
プログラム１１に渡される入力操作を監視し、その有無
を検出する。出力監視部１３はアプリケーションプログ
ラム１１から出力される情報のうち画面出力の内容を監
視し、画面に変化があった場合に出力画像の画像データ
を取得する。また、時刻取得部１４は図示していない時
計回路が出力するそのときの現在時刻を取得する。さら
に、記録部１５は、入力監視部１２の取得した入力操作
の有無情報、出力監視部１３の取得した画像データ、時
刻取得部１４の取得した現在時刻を組にして、記録部１
５を構成しているメモリ５またはハードディスク装置６
に記録（記憶）する。なお、この記録は時系列に沿って
おこなう。その際、直前の画像データとの差分を取ると
か、動画圧縮をおこなうなどしてデータ量を減らし、記
憶域を小さくする。また、再生部１６は記録部１５に記
録されたデータを読み出し、圧縮された画像データを復
元して、動画として出力する。

【０００８】図２に示したこのような構成要素は、ハー
ドウェアとプログラムによったシステムとして実現さ
れ、そのプログラムに従ってＣＰＵ４により実行され
る。なお、本発明の実施例では、請求項記載の入力監視
手段、出力監視手段、時刻取得手段、記録手段、および
画面再生手段が、それぞれその順に、入力監視部１２、
出力監視部１３、時刻取得部１４、記録部１５、および
再生部１６により実現される。このような構成で、この
実施例の情報処理装置は、利用者の見ている画面を記録
しておき、後に利用者の指示に応じて、作業を中断した
時点前後の画面を再生し、利用者が中断時点での思考を
思い出すことを助ける。

【０００９】次に、図３に示した動作フローに従って、
本発明の第１の実施例について説明する。この実施例で
は、出力監視部１３が、アプリケーションプログラム１
１に従ってＣＰＵ４の出力する画面出力の内容を監視し
（Ｓ１→Ｓ１）、画面に変化があった場合（Ｓ１でＹｅ
ｓ）、画面内容を画像データとして取得する（Ｓ２）。
さらに、時刻取得部１４がそのときの現在時刻を取得し
（Ｓ３）、記録部１５がその画像データをそのときの現
在時刻と対応づけて記録する（Ｓ４）。図４の出力画面
の記録内容に示したように時系列で記録するのである。
記録した画像データにそのときの現在時刻が対応づけら
れることにより、記録しておいた画面のどこから再生す
るかを時刻で指定することができる。図４に示したよう
に、「１０：２３：３６以降を再生」というように指定
して再生させることができるのである。なお、連続した
画像を動画として記録するために、動画圧縮技術を用い
てデータ量を圧縮し、記憶域を小さくする。その後、利
用者から過去の作業の様子の再生要求があった場合（Ｓ
５でＹｅｓ）、再生部１６は利用者により指定された時
刻情報をインデックスとして記録部１５から画像データ
を読み出し、圧縮を復元して動画として出力することに
より、指定の時点からの再生をおこなう（Ｓ６）。こう
して、この実施例によれば、作業を何らかの理由で中断
した場合、作業再開時に、作業中断前の操作を所望の時
点から時系列に忠実に再生できるので、利用者は中断直
前に何をしていたかを容易に思い出すことができる。

【００１０】次に、本発明の第２の実施例について説明
する。この実施例は、入力が所定時間（例えば２分間）
停止した時を作業の中断と見なし、その中断の直前から
再生することにより再生開始時刻指定の手間を省こうと
いうものである。利用者は作業を中断した時点前後の画
面の様子を再生すれば十分であるからである。そのた
め、この実施例では、入力監視部１２により入力操作の
あったことが検出されたとき、または出力監視部１３に
より出力画面の内容の変化が検出されたときに、出力画
面の内容とそのときの現在時刻と入力操作の有無情報と
を関連づけて記録する。以下、図５に示した動作フロー
に従って、本発明の第２の実施例の動作フローを説明す
る。この実施例では、入力監視部１２が入力操作の有無
を監視するとともに、出力監視部１３が画面出力の内容
の変化を監視し（Ｓ１１→Ｓ１２→Ｓ１１）、入力操作
があった場合（Ｓ１１でＹｅｓ）、または画面に変化が
あった場合（Ｓ１２でＹｅｓ）、出力監視部１３が画面
内容を画像データとして取得する（Ｓ１３）。さらに、
時刻取得部１４がそのときの現在時刻を取得し（Ｓ１
４）、記録部１５が、出力画面の内容とそのときの現在
時刻と入力操作の有無情報とを関連づけて図６に示した
ように時系列に記録する（Ｓ１５）。そして、その後、
再生要求があると（Ｓ１６でＹｅｓ）、記録を新しいも
のから古い方へ向ってスキャンし、所定時間以上（図６
に示した例では２分以上）に亘って入力操作なしと記録
されている部分、つまり中断部分をさがす（Ｓ１７）。
記録されている「入力有り」間の時刻の差がその所定時
間を超えている箇所をさがすのである。その結果、作業
が中断される直前の最後の入力操作を行った時刻がわか
るので、その時刻から他の所定時間（例えば３０秒）遡
った時刻からの画面の記録を再生する（Ｓ１８）。こう
して、この実施例によれば、利用者が再生開始の時刻指
定をおこなわなくても第１の実施例と同様の効果を得る
ことができる。

【００１１】本発明の第３の実施例では、最後に入力の
あったことが検出されてから所定時間が経過したとき、
そのとき以後、次の入力操作が検出されるまで、記録を
停止する（図７参照）。本発明の目的から見て、利用者
にとっては作業中断後の画面の変化よりも中断前の変化
の方が重要な情報であり、作業中断が検出されて以降の
入力操作を伴わない出力画面変化による画面の記録は必
ずしも必要ないのである。本発明の第４の実施例では、
所定時間入力操作がない無操作時間帯が検出されたと
き、その無操作時間帯の直前の入力操作時刻を操作列の
終了点とし、その無操作時間帯の直後の入力操作時刻を
次の操作列の開始点とすることにより、入力操作を複数
の操作列に分割し、各操作列の終了時刻から他の所定時
間遡った時点を記録開始時刻として、各操作列の終了時
刻までに出力された画面の内容を記録する。終了時刻か
ら他の所定時間遡った時点を記録開始時刻とするのは、
利用者からの要求によって再生する部分は作業中断前後
の所定時間、例えば作業中断前後１分間、合計２分間も
再生すれば十分であるからである。これを実現するため
に、この実施例では、中断時点から以前に遡って再生す
る長さｎ分と、中断時点以降の再生部分の長さｍ分の合
計ｎ＋ｍ分の画面変化を一組として記録する（例えばｎ
＝ｍ＝１分）。あるいは、中断時点まで記録する。記録
域をリングバッファとして実装すると、中断を検出する
ための「操作のない時間」の長さを１分とした場合、ｎ
＋ｌとｎ＋ｍのどちらか長い方に相当する時間の記録が
できる出力画面記録域を用意しておけば、中断を検出し
た時点で、再生すべき部分がすべて取り込まれているこ
とになる（図８参照）。

【００１２】こうして、この中断を検出した時点で、後
で再生することになる部分を切り出して複製し、各操作
列の終了時刻から所定時間遡った時点を記録開始時刻と
して各操作列の終了時刻（またはそのｍ分後）までに出
力された画面の内容を再生単位として記録しておく。な
お、ある程度古くなった再生単位は再生要求がないとみ
なせるので、記録を破棄することが可能である。最新の
所定数の操作列の画面の内容のみを記録に残し、古い記
録を消去するのである。利用者が次の操作を開始してか
ら、以前の操作を思い出そうとする可能性を考えても、
最近のひとつの再生単位があれば通常はこと足りると考
えられる。以上、図２に示したシステム構成に従って本
発明の各実施例を説明したが、説明したような操作履歴
記録再生方法に従ってプログラミングしたプログラムを
着脱可能な記憶媒体に記憶し、その記憶媒体をこれまで
本発明によった操作履歴記録再生をおこなえなかったパ
ーソナルコンピュータなど情報処理装置に装着すること
により、または、そのようなプログラムをネットワーク
を介してそのような情報処理装置へ転送することによ
り、その情報処理装置においても本発明によった操作履
歴記録再生をおこなうことができる。

【００１３】

【発明の効果】以上説明したように、本発明によれば、
請求項１および請求項３記載の発明では、出力画面の内
容に変化があったとき、その出力画面の内容がそのとき
の現在時刻とともに記録され、再生指示があると、記録
された時刻をもとに、指定された時刻以降に記録された
出力画面の内容が再生されるので、例えば、中断前に自
分のした操作を再生させて、そのとき何を考えていたか
を容易に思い出すことができる。また、請求項２および
請求項４記載の発明では、請求項１または請求項３記載
の発明において、この情報処理装置への入力があったと
き、または出力画面の内容に変化があったとき、出力画
面の内容とそのときの現在時刻と入力操作の有無情報と
が関連づけて記録されるので、操作が入力されなくなっ
た時点、つまり作業が中断された時刻を検出することが
でき、その時刻から遡って数十秒前から再生することが
でき、したがって、利用者は再生開始時刻を指定しなく
とも請求項１または請求項３記載の効果を得ることがで
きる。また、請求項５記載の発明では、請求項４記載の
発明において、再生指示に応じて、記録されている情報
から最後の中断開始時点が検出され、記録された出力画
面の内容がその中断開始時点より所定時間遡った時点か
ら再生されるので、最も再生したい時点の出力画面を自
動的に再生することができ、したがって、再生操作がよ
り簡単になる。

【００１４】また、請求項６記載の発明では、請求項４
または請求項５記載の発明において、最後に入力のあっ
たことが検出されてから所定時間が経過したとき、その
とき以後、次の入力操作が検出されるまで、記録が停止
されるので、画面変化が継続していても、不要な情報の
記録を避けることができ、したがって、画面を記録する
ための記憶域を節約することができる。また、請求項７
記載の発明では、請求項６記載の発明において、所定時
間入力操作がない無操作時間帯が検出されたとき、その
無操作時間帯の直前の入力操作時刻を操作列の終了点と
し、その無操作時間帯の直後の入力操作時刻を次の操作
列の開始点とすることにより、入力操作が複数の操作列
に分割され、各操作列の終了時刻から他の所定時間遡っ
た時点を記録開始時刻として各操作列の終了時刻または
その直後までに出力された画面の内容が記録されるの
で、不要な情報の記録を避けることができ、したがっ
て、画面を記録するための記憶域を節約することができ
るし、最後の中断時だけなくそれ以前の中断時について
も出力画像を再生することができる。また、請求項８記
載の発明では、請求項７記載の発明において、最新の所
定数の操作列の画面の内容のみが記録に残され、古い記
録が消去されるので、請求項７記載の再生効果を得るこ
とができるとともに、請求項７記載の発明の場合よりも
記憶域を節約することができる。また、請求項９記載の
発明では、請求項３乃至請求項８のいずれか１項に記載
の操作履歴記録再生方法に従ってプログラミングしたプ
ログラムを情報処理装置上で実行することができるの
で、これまで請求項３乃至請求項８のいずれか１項に記
載の操作履歴記録再生をおこなえなかった情報処理装置
を用いて請求項３乃至請求項８のいずれか１項に記載の
発明の効果を得ることができる。また、請求項１０記載
の発明では、請求項９記載のプログラムを着脱可能な記
憶媒体に記憶することができるので、その記憶媒体をこ
れまで請求項３乃至請求項８のいずれか１項に記載の発
明によった操作履歴記録再生をおこなえなかった情報処
理装置に装着することにより、その情報処理装置におい
ても請求項３乃至請求項８のいずれか１項に記載の発明
の効果を得ることができる。

【図面の簡単な説明】

【図１】本発明の各実施例に対応可能な実施例を示す情
報処理装置のハードウェア構成図である。

【図２】本発明の各実施例に対応可能な実施例を示す操
作履歴記録再生システムのシステム構成図である。

【図３】本発明の第１の実施例を示す操作履歴記録再生
方法の動作フロー図である。

【図４】本発明の第１の実施例を示す操作履歴記録再生
方法の説明図である。

【図５】本発明の第２の実施例を示す操作履歴記録再生
方法の動作フロー図である。

【図６】本発明の第２の実施例を示す操作履歴記録再生
方法の説明図である。

【図７】本発明の第３の実施例を示す操作履歴記録再生
方法の説明図である。

【図８】本発明の第４の実施例を示す操作履歴記録再生
方法の説明図である。

【符号の説明】１キーボード２ポインティングデバイス３表示装置４ＣＰＵ５メモリ６ハードディスク装置１１アプリケーションプログラム１２入力監視部１３出力監視部１４時刻取得部１５記録部１６再生部

Claims

【特許請求の範囲】

【請求項１】出力画面を操作履歴情報として記録する
ことができる情報処理装置において、出力画面の内容を
監視してその変化を検出する出力監視手段と、現在時刻
を取得する時刻取得手段と、前記出力監視手段により出
力画面の内容の変化が検出されたときに出力画面の内容
をそのときの現在時刻とともに記録する記録手段と、再
生指示に応じて、記録された時刻をもとに、指定された
時刻以降に記録された出力画面の内容を再生する画面再
生手段と、を備えたことを特徴とする情報処理装置。
【請求項２】請求項１記載の情報処理装置において、
情報処理装置への入力を監視して入力操作があったこと
を検出する入力監視手段を備え、その入力監視手段によ
り入力のあったことが検出されたとき、または前記出力
監視手段により出力画面の内容の変化が検出されたとき
に、出力画面の内容とそのときの現在時刻と入力操作の
有無情報とを関連づけて記録するように記録手段を構成
したことを特徴とする情報処理装置。
【請求項３】出力画面を操作履歴情報として記録し再
生する操作履歴記録再生方法において、出力画面の内容
を監視してその変化を検出したとき、出力画面の内容を
そのときの現在時刻とともに記録し、その後、再生指示
に応じて、記録された前記現在時刻をもとに、指定され
た時刻以降に記録された出力画面の内容を再生すること
を特徴とする操作履歴記録再生方法。
【請求項４】請求項３記載の操作履歴記録再生方法に
おいて、情報処理装置への入力を監視して入力操作があ
ったことを検出したとき、または出力画面の内容の変化
を検出したとき、出力画面の内容とそのときの現在時刻
と入力操作の有無情報とを関連づけて記録することを特
徴とする操作履歴記録再生方法。
【請求項５】請求項４記載の操作履歴記録再生方法に
おいて、再生指示に応じて、記録されている情報から最
後の中断開始時点を検出し、記録された出力画面の内容
をその中断開始時点より所定時間遡った時点から再生す
ることを特徴とする操作履歴記録再生方法。
【請求項６】請求項４または請求項５記載の操作履歴
記録再生方法において、最後に入力のあったことが検出
されてから所定時間が経過したとき、そのとき以後、次
の入力操作が検出されるまで、記録を停止することを特
徴とする操作履歴記録再生方法。
【請求項７】請求項６記載の操作履歴記録再生方法に
おいて、所定時間入力操作がない無操作時間帯が検出さ
れたとき、その無操作時間帯の直前の入力操作時刻を操
作列の終了点とし、その無操作時間帯の直後の入力操作
時刻を次の操作列の開始点とすることにより、入力操作
を複数の操作列に分割し、各操作列の終了時刻から他の
所定時間遡った時点を記録開始時刻として各操作列の終
了時刻またはその直後までに出力された画面の内容を記
録することを特徴とする操作履歴記録再生方法。
【請求項８】請求項７記載の操作履歴記録再生方法に
おいて、最新の所定数の操作列の画面の内容のみを記録
に残し、古い記録を消去することを特徴とする操作履歴
記録再生方法。
【請求項９】情報処理装置上で実行されるプログラム
において、請求項３乃至請求項８のいずれか１項に記載
の操作履歴記録再生方法に従ってプログラミングしたこ
とを特徴とするプログラム。
【請求項１０】プログラムを記憶した記憶媒体におい
て、請求項９記載のプログラムを記憶したことを特徴と
する記憶媒体。