JP2000235455A - 操作履歴の構造的記録による同期再生方法および操作抽出端末と操作再生端末の操作履歴同期再生プログラムを記録した記録媒体 - Google Patents

操作履歴の構造的記録による同期再生方法および操作抽出端末と操作再生端末の操作履歴同期再生プログラムを記録した記録媒体

Info

Publication number
JP2000235455A
JP2000235455A JP3815599A JP3815599A JP2000235455A JP 2000235455 A JP2000235455 A JP 2000235455A JP 3815599 A JP3815599 A JP 3815599A JP 3815599 A JP3815599 A JP 3815599A JP 2000235455 A JP2000235455 A JP 2000235455A
Authority
JP
Japan
Prior art keywords
terminal
result
event
input
operation history
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP3815599A
Other languages
English (en)
Inventor
Toshiyuki Kurahashi
利幸 倉橋
Yasuhiko Watabe
保日児 渡部
Noboru Sonehara
曽根原  登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP3815599A priority Critical patent/JP2000235455A/ja
Publication of JP2000235455A publication Critical patent/JP2000235455A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Debugging And Monitoring (AREA)

Abstract

(57)【要約】 【課題】 操作者の行うマウスの動きなどを,後で他の
端末で再生する場合に,再生時に同じ結果が得られるよ
うにする。 【解決手段】 操作抽出端末10において操作者の行う操
作の結果発生する入力イベントを操作情報として抽出す
るとともに,その入力イベントの結果発生する結果イベ
ントを抽出し,各入力イベントを抽出した順に従って時
系列に操作履歴20中に記録し,それらの各入力イベント
に対して,その結果発生した結果イベントの集合を操作
履歴20中において構造的に特定できるように記録する。
操作再生端末30は,操作履歴20中に時系列に記録された
入力イベントを抜き出して発生させ,次の入力イベント
を抜き出して再生する際には直前に再生された入力イベ
ントに対応して操作履歴20中に記録されている結果イベ
ントが,操作再生端末30上で発生するのを待ってから再
生を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は,汎用パーソナルコ
ンピュータ(以下,PCという)等を用いて,PC上で
動作するアプリケーションの操作方法などを,主に実習
形式で講習する研修形態において,研修中に講師または
受講者が行った操作を記録しておき,後で復習するとき
に再生して確認するための方法に関するものである。
【0002】
【従来の技術】操作者が行った操作を後で再生するとい
う目的でよく用いられるものにマクロ機能がある。現在
提供されているマクロ機能の多くは,マウス/キーボー
ドによる入力イベントの結果,アプリケーション内で発
生するコマンドのシーケンスとしてマクロを記録してい
る。そのため,マクロを実行したときに再生されるの
は,操作者の行った操作の結果だけであり,操作者の操
作するマウスの動きなどは再生されない。したがって,
アプリケーションの操作方法を記録しておく目的でこれ
らのマクロ機能を用いることはできない。
【0003】また,操作者の行ったマウスの動きなどを
再生するために,入力イベントのシーケンスだけを記録
すると,入力イベントの結果行われる処理が終了する前
に次の入力イベントが再生されてしまい,同じ結果が得
られないことがある。
【0004】
【発明が解決しようとする課題】本発明の目的は,操作
者の行うマウスの動きなどを後で再生して確認する目的
で操作履歴を記録し,さらに再生時に同じ結果が得られ
るよう同期をとりながら再生するための方法を提供する
ことにある。
【0005】
【課題を解決するための手段】本発明の操作履歴の構造
的記録による同期再生方法は,操作者のマウス/キーボ
ード等による操作情報(入力イベント)を記録するこ
と,および入力イベントが発生した結果生じたアプリケ
ーションの動作等(結果イベント)を記録すること,お
よび入力イベントを同期を保ちつつ再生するために,結
果イベントを利用することを特徴とし,特に各入力イベ
ントを抽出した順に従って時系列に操作履歴中に記録
し,それらの各入力イベントに対して,その結果発生し
た結果イベントの集合を操作履歴中において構造的に特
定できるように記録することをもっとも主要な特徴とす
る。
【0006】操作再生端末は,操作履歴中に時系列に記
録された入力イベントを抜き出して発生させ,次の入力
イベントを抜き出して再生する際には直前に再生された
入力イベントに対応して操作履歴中に記録されている結
果イベントが,操作再生端末上で発生するのを待ってか
ら再生を行う。これにより,再生時に同じ結果が得られ
るように同期をとりながら再生することが可能になる。
【0007】以上の同期再生方法を,操作抽出端末およ
び操作再生端末のそれぞれの計算機によって実現するた
めのプログラムは,計算機が読み取り可能な可搬媒体メ
モリ,半導体メモリ,ハードディスクなどの適当な記録
媒体に格納することができる。
【0008】
【発明の実施の形態】以下,本発明の実施の形態を図面
を用いて説明する。ここでは,マウス/キーボードによ
る入力イベントと,アプリケーション等のメニュー生成
による結果イベントの例を挙げて説明するが,本発明が
これらに限定されるものでないことは言うまでもない。
【0009】図1は,本発明の基本的な構成例を示す図
である。操作抽出端末10は,パーソナルコンピュータ
(PC)等の処理装置であり,表示装置11,マウス/
キーボード等の入力装置12を備える。操作再生端末3
0も,操作抽出端末10とほぼ同じ環境でもって構築さ
れたPC等の処理装置であり,表示装置31,入力装置
32を備える。
【0010】操作抽出端末10における入出力制御部1
3は,オペレーティング・システムの一部であり,表示
装置11への表示出力,入力装置12からの操作入力を
制御する部分である。入力イベント抽出手段14は,入
出力制御部13から入力イベントを抽出する手段であ
る。結果イベント抽出手段15は,入力イベントの結果
発生する結果イベントを抽出する手段である。操作履歴
記録手段16は,入力イベント抽出手段14が抽出した
入力イベントを,時系列に従って操作履歴20として記
録し,かつそれらの各入力イベントに対して,その結果
発生した結果イベントの集合を操作履歴中において構造
的に特定できるように記録する。図1の操作履歴20の
例では,入力イベントがI1 ,I2 ,I3 ,…の順で発
生し,入力イベントI1 の結果として結果イベント
1 ,O2 が発生し,入力イベントI4の結果として結
果イベントO3 ,O4 ,O5 が発生している。ただし,
発生順序は入力イベントのみが保証されている。
【0011】操作再生端末30における入出力制御部3
3も,オペレーティング・システムの一部を構成するも
のであり,表示装置31への表示出力,入力装置32か
らの操作入力を制御する。単に操作の再生のみを行う場
合には,入力装置32は必須ではない。
【0012】入力イベント読出し手段34は,操作抽出
端末10によって記録された操作履歴20から,時系列
に記録されている入力イベントを順次読み出す。入力イ
ベント読出し手段34が読み出した入力イベントは,入
力イベント再生手段36に通知され,入力イベント再生
手段36は操作再生端末30上で該当する入力イベント
を発生させる。
【0013】また,結果イベント読出し手段35は,入
力イベント読出し手段34が操作履歴20から読み出し
た入力イベントに対応する結果イベントの集合を読み出
し,同期手段38にそれらの結果イベントの集合を通知
する。同期手段38は,該当する結果イベントが結果イ
ベント抽出手段37によって操作再生端末30上で抽出
されるまで,次の入力イベントの再生を実行させないよ
うに,入力イベント再生手段36による入力イベント再
生の処理を待たせる制御を行う。
【0014】例えば,入力イベントとしてマウス/キー
ボードによるイベント,結果イベントとしてウインドウ
/メニューなどの表示に関するイベントを扱うことがで
きる。図2は,本実施の形態における入力イベントと結
果イベントと操作履歴の具体例を示す。図2(A)に示
す入力イベントは,マウス操作によって発生したイベン
トであり,そのイベントの種類を示すメッセージID,
そのマウス操作が行なわれたウインドウのID,操作が
行なわれた時刻,ウインドウにおけるマウスポインタの
x座標およびy座標等の情報からなる。また,図2
(B)に示す結果イベントは,ウインドウ生成イベント
の場合の例であり,そのイベントの種類を示すメッセー
ジID,ウインドウ名,生成したウインドウスタイル,
各種ウインドウの属性に関する拡張スタイル等の情報か
らなる。これらの詳細は,メッセージIDによって異な
るが,少なくとも入力イベントの場合には,その入力イ
ベントの再生に必要な情報,結果イベントの場合には,
結果イベントの発生の確認に必要な情報を含んでいれば
よい。
【0015】操作履歴は,例えば図2(C)に示すよう
なデータ構造でもって記録される。入力イベントおよび
その入力イベントに対応する結果イベントは,Star
tポインタからEndポインタまでの2つのポインタの
順序リストPi1,Pi2からそれぞれポイントされ,操作
履歴20中に格納される。図2(C)の例では,2番目
の入力イベントI2 がポインタP21からポイントされ,
その入力イベントI2に起因して発生した結果イベント
21,O22,O23がポインタP22からポイントされて記
録されている。なお,操作抽出端末10から操作再生端
末30への操作履歴20の引き渡しは,例えばフロッピ
ィディスクやCD−ROMなどの可搬記録媒体を介して
行なってもよく,またネットワーク等を介した通信によ
って行なってもよい。
【0016】図3は,本実施の形態における操作再生端
末の動作例を示す図である。操作抽出端末10が記録し
た図3に示すような操作履歴20に対して,操作再生端
末30は,次のように動作する。
【0017】 まず入力イベント読出し手段34によ
り,最初に記録されているマウスクリックの入力イベン
トI1 を読み出し,これを入力イベント再生手段36に
通知し,操作再生端末30において発生させる。ここ
で,メニュー生成の結果イベントO1 と,メニュー表示
の結果イベントO2 が入力イベントI1 に対応して記録
されているので,結果イベント読出し手段35がこれら
の結果イベントO1 ,O 2 を読み出し,それを同期手段
38に通知し,操作再生端末30においてメニュー生成
およびメニュー表示の結果イベントが発生するのを待
つ。
【0018】 結果イベント抽出手段37がメニュー
生成およびメニュー表示の結果イベントの発生を検出す
ると,入力イベント読出し手段34は,次に操作履歴2
0に記録されているマウス移動の入力イベントI2 を読
み出し,入力イベント再生手段36は,このマウス移動
の入力イベントを発生させる。この入力イベントI2
は,ポインタ位置更新の結果イベントO3 が付随してい
るので,同期手段38および結果イベント抽出手段37
によって,ポインタ位置表示が更新されるのを待つ。
【0019】 結果イベント抽出手段37が,ポイン
タ位置更新の結果イベントの発生を検出すると,入力イ
ベント読出し手段34は,次に操作履歴20に記録され
ているマウスクリックの入力イベントI3 を読み出し,
入力イベント再生手段36は,このマウスクリックの入
力イベントを発生させる。このとき,既にメニューは生
成・表示されているので,該当するメニュー項目が選択
され処理が行われる。もし,結果イベントによる同期待
ちを行っていなければ,メニューが表示される前に二つ
目のマウスクリックが実行される場合があり,以降の処
理に矛盾が生じてしまうことになる。本実施の形態で
は,同期がとられているので,メニュー処理に移り,操
作再生端末30において,操作抽出端末10における操
作時と同様な動作が再現されることになる。
【0020】図4(A)は,操作抽出端末の処理フロー
チャートである。記録開始により,操作抽出端末10
は,ステップS1において入力イベントと結果イベント
の発生を監視し,入力/結果イベントが発生すると,ス
テップS2へ進む。ステップS2では,発生したイベン
トが入力イベントであれば,ステップS3へ進み,発生
したイベントが結果イベントであれば,ステップS4へ
進む。
【0021】ステップS3では,入力イベントを操作履
歴20中の入力イベントリストの末尾に追加する。その
後,記録終了の指示があるまで(ステップS5),ステ
ップS1へ戻って同様に処理を繰り返す。
【0022】また,ステップS4では,結果イベントを
操作履歴20に記録するにあたって,対応する入力イベ
ントを操作履歴20中の入力イベントリストから探し,
その入力イベントに対する結果イベント集合に追加して
記録する。その後,ステップS5へ進み,記録終了の指
示があるまでステップS1へ戻って同様に処理を繰り返
す。
【0023】図4(B)は,操作再生端末の処理フロー
チャートである。操作再生端末30は,再生開始の指示
により,ステップS10において操作履歴20中の入力
イベントを先頭から順番に1つずつ読み込む。操作履歴
20中のイベントが終了したならば,再生を終了する
(ステップS11)。操作履歴20中から読み込んだ入
力イベントを,入力イベント再生手段36によって操作
再生端末30上で発生させる(ステップS12)。次
に,再生した入力イベントに対する結果イベント集合を
操作履歴20から読み出し,それらの結果イベントが操
作再生端末30上で発生するのを待つ(ステップS1
3)。該当する結果イベントがすべて発生したかどうか
を判定し(ステップS14),すべて発生したならば,
ステップS10へ戻る。その後,次の入力イベントを操
作履歴20から読み込み,操作履歴20中のすべてのイ
ベントが終了するまで同様に処理を繰り返す。
【0024】
【発明の効果】本発明は,操作者の行うマウスの動きな
どを後で再生して確認する目的で記録する場合に,操作
に関する入力イベントだけでなく,その結果発生する結
果イベントも入力イベントに対応させて構造的に記録し
ておき,結果イベントを参照しながら再生することによ
り,再生時に同じ結果を得ることができるという効果が
ある。
【0025】特に,操作履歴として入力イベントに加え
て結果イベントを記録する場合に,入力イベントの発生
した順序と,各入力イベントの結果発生した結果イベン
トとを保存した形で記録することにより,結果イベント
を入力イベントの同期再生の目的で使用することができ
るという効果がある。また,入力イベントの再生時にお
いて,入力イベントに対応して記録された結果イベント
を用いることにより,操作再生端末における入力イベン
トの再生速度にかかわらず,操作再生端末における同期
再生が可能になり,操作抽出端末における操作履歴記録
時の環境をそのまま再現できるという効果をあげること
ができる。
【0026】操作履歴は,各入力イベントに対応して発
生した結果イベントが,構造的に特定できるように記録
されるので,後で操作履歴を解析して加工するようなこ
とも容易に実施することが可能である。
【図面の簡単な説明】
【図1】本発明の基本構成を示す図である。
【図2】本実施の形態における入力イベント,結果イベ
ントおよび操作履歴の具体例を示す図である。
【図3】本実施の形態における操作再生端末の動作例を
示す図である。
【図4】本実施の形態における操作抽出端末と操作再生
端末の処理フローチャートである。
【符号の説明】
10 操作抽出端末 11 表示装置 12 入力装置 13 入出力制御部 14 入力イベント抽出手段 15 結果イベント抽出手段 16 操作履歴記録手段 20 操作履歴 30 操作再生端末 31 表示装置 32 入力装置 33 入出力制御部 34 入力イベント読出し手段 35 結果イベント読出し手段 36 入力イベント再生手段 37 結果イベント抽出手段 38 同期手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 曽根原 登 東京都新宿区西新宿三丁目19番2号 日本 電信電話株式会社内 Fターム(参考) 5B042 MB01 MC37 NN22 NN23 5B087 AA09 AE00 BB00 DE03 DE07 5E501 AA02 AC01 BA20 CA02 CB02 CB09 DA17 EA05 EB05 FA02 FA05 FA06 FA41 FB22

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 操作抽出端末と操作再生端末とを有する
    システムにおける操作履歴の同期再生方法であって,前
    記操作抽出端末において操作者の行う操作の結果発生す
    る入力イベントを操作情報として抽出するとともに,そ
    の入力イベントの結果発生する結果イベントを抽出し,
    各入力イベントを抽出した順に従って時系列に操作履歴
    中に記録し,それらの各入力イベントに対して,その結
    果発生した結果イベントの集合を操作履歴中において構
    造的に特定できるように記録し,前記操作再生端末にお
    いて前記操作履歴中に時系列に記録された入力イベント
    を抜き出して発生させ,次の入力イベントを抜き出して
    再生する際には直前に再生された入力イベントに対応し
    て操作履歴中に記録されている結果イベントが,操作再
    生端末上で発生するのを待ってから再生を行うことを特
    徴とする操作履歴の構造的記録による同期再生方法。
  2. 【請求項2】 操作抽出端末と操作再生端末とを有する
    システムにおいて操作履歴の同期再生を行うための操作
    抽出端末が実行するプログラムを記録した記録媒体であ
    って,前記操作抽出端末において操作者の行う操作の結
    果発生する入力イベントを操作情報として抽出するとと
    もに,その入力イベントの結果発生する結果イベントを
    抽出する処理と,各入力イベントを抽出した順に従って
    時系列に操作履歴中に記録し,それらの各入力イベント
    に対して,その結果発生した結果イベントの集合を操作
    履歴中において構造的に特定できるように記録する処理
    とによって,前記操作抽出端末と一部同じ環境を構築さ
    れた操作再生端末上で前記操作抽出端末において行なわ
    れた動作を再現可能にするための操作履歴の記録処理
    を,計算機に実行させるプログラムを記録したことを特
    徴とする操作抽出端末の操作履歴同期再生プログラムを
    記録した記録媒体。
  3. 【請求項3】 操作抽出端末と操作再生端末とを有する
    システムにおいて操作履歴の同期再生を行うための操作
    再生端末が実行するプログラムを記録した記録媒体であ
    って,操作者の行う操作の結果発生する入力イベントが
    抽出された順序に従って時系列に記録され,かつそれら
    の各入力イベントの結果発生する結果イベントの集合が
    構造的に特定できるように記録された操作履歴を前記操
    作抽出端末から受け取り,その操作履歴中に記録された
    入力イベントを時系列に抜き出す処理と,操作履歴から
    抜き出した入力イベントを発生させ,次の入力イベント
    を抜き出して再生する際には直前に再生された入力イベ
    ントに対応して操作履歴中に記録されている結果イベン
    トが,操作再生端末上で発生するのを待ってから再生を
    行う処理とによって,前記操作抽出端末と一部同じ環境
    を構築された操作再生端末上で前記操作抽出端末におい
    て行なわれた動作を再現する処理を,計算機に実行させ
    るプログラムを記録したことを特徴とする操作再生端末
    の操作履歴同期再生プログラムを記録した記録媒体。
JP3815599A 1999-02-17 1999-02-17 操作履歴の構造的記録による同期再生方法および操作抽出端末と操作再生端末の操作履歴同期再生プログラムを記録した記録媒体 Pending JP2000235455A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3815599A JP2000235455A (ja) 1999-02-17 1999-02-17 操作履歴の構造的記録による同期再生方法および操作抽出端末と操作再生端末の操作履歴同期再生プログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3815599A JP2000235455A (ja) 1999-02-17 1999-02-17 操作履歴の構造的記録による同期再生方法および操作抽出端末と操作再生端末の操作履歴同期再生プログラムを記録した記録媒体

Publications (1)

Publication Number Publication Date
JP2000235455A true JP2000235455A (ja) 2000-08-29

Family

ID=12517527

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3815599A Pending JP2000235455A (ja) 1999-02-17 1999-02-17 操作履歴の構造的記録による同期再生方法および操作抽出端末と操作再生端末の操作履歴同期再生プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP2000235455A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097052A (ja) * 2006-10-05 2008-04-24 Sky Kk ユーザ操作支援システム及び支援方法、並びにユーザ操作支援プログラム
JP2008217585A (ja) * 2007-03-06 2008-09-18 Casio Comput Co Ltd サーバベース・コンピューティング・システムのクライアント装置およびクライアント制御プログラム
JP2017083970A (ja) * 2015-10-23 2017-05-18 富士通株式会社 操作記録再生プログラム、操作再生プログラム、操作記録再生方法及び操作記録再生システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097052A (ja) * 2006-10-05 2008-04-24 Sky Kk ユーザ操作支援システム及び支援方法、並びにユーザ操作支援プログラム
JP4513795B2 (ja) * 2006-10-05 2010-07-28 Sky株式会社 ユーザ操作支援システム及び支援方法、並びにユーザ操作支援プログラム
JP2008217585A (ja) * 2007-03-06 2008-09-18 Casio Comput Co Ltd サーバベース・コンピューティング・システムのクライアント装置およびクライアント制御プログラム
JP2017083970A (ja) * 2015-10-23 2017-05-18 富士通株式会社 操作記録再生プログラム、操作再生プログラム、操作記録再生方法及び操作記録再生システム

Similar Documents

Publication Publication Date Title
US6304283B1 (en) Conference apparatus and method for realistically reproducing image data and shared board data
JP3943635B2 (ja) コンピュータ制御型ディスプレイシステムにおいてセッションの再生ポイントを制御する方法
JP3083805B2 (ja) ブラウザ操作自動実行システムおよびその方法
US8930308B1 (en) Methods and systems of associating metadata with media
TW201342047A (zh) 錄製及播放程式之存取記錄及視訊記錄
CN108111903A (zh) 录屏文件播放方法、装置及终端
CN100511202C (zh) 动画图像重放装置、进度数据以及动画图像重放方法
CN101523350A (zh) 文档处理装置以及程序
JP2008250899A (ja) コンテンツ再生方法、コンテンツ再生システム、コンテンツ再生プログラム及びコンテンツ再生プログラムを記録した媒体
US10735793B1 (en) Recording and playing back image variations
US11941728B2 (en) Previewing method and apparatus for effect application, and device, and storage medium
US20030177493A1 (en) Thumbnail display apparatus and thumbnail display program
JP2002082684A (ja) プレゼンテーションシステム及びプレゼンテーションデータ生成方法、並びに記録媒体
JP2000235549A (ja) 操作履歴の時系列記録による同期再生方法および操作抽出端末と操作再生端末の操作履歴同期再生プログラムを記録した記録媒体
JP6865701B2 (ja) 音声認識誤り修正支援装置およびそのプログラム
JP3036099B2 (ja) データ管理方法
JP2000235455A (ja) 操作履歴の構造的記録による同期再生方法および操作抽出端末と操作再生端末の操作履歴同期再生プログラムを記録した記録媒体
JP6949075B2 (ja) 音声認識誤り修正支援装置およびそのプログラム
CN111787391A (zh) 一种信息卡片展示方法、装置、设备及存储介质
JP2004135256A (ja) 情報ファイルのデータ構造、情報ファイル生成方法、情報ファイル生成装置、情報ファイル生成プログラム、これを記憶する記憶媒体、情報ファイル再生方法、情報ファイル再生装置、情報ファイル再生プログラム、及びこれを記憶する記憶媒体
JP3814799B2 (ja) 映像・音声メディアとアプリケーションの同期管理装置、同期管理方法、同期管理プログラム及びその同期管理プログラムを記録した記録媒体
JP2000235564A (ja) 遠隔協調研修方法および講師端末と受講生端末の遠隔協調研修プログラムを記録した記録媒体
JP2000059724A (ja) マルチメディアオーサリング方法およびその装置、記録媒体
JP3768922B2 (ja) オーサリング処理方法,オーサリング処理装置およびオーサリング処理プログラム
JP2002366418A (ja) 情報提供方法とその装置、および情報提供プログラムとこのプログラムを記録した記録媒体