JP2000163602A - 入力履歴蓄積装置 - Google Patents

Abstract

(57)【要約】 【課題】コンピュータ画面の変化情報を利用することに
より、アプリケーションプログラムを複数利用していて
もユーザの操作履歴を統一的に記録・再利用する手段お
よび装置を提供する。 【解決手段】コンピュータの画像情報を特定のタイミン
グで蓄積し、蓄積した画像情報間の差異から操作履歴を
抽出する手段（操作履歴抽出手段）と、抽出した操作履
歴を文字情報の連結でデータベースに蓄積する手段（操
作履歴蓄積手段）を設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は文書または図面の電
子的作成に関し、コンピュータの端末画面を用いた操作
の履歴を蓄積・再利用する装置に係わる。

【０００２】

【従来の技術】コンピュータを用いた文書や図面の作成
作業の簡単化，迅速化が求められている。文書や図面を
作成する際に利用するアプリケーションプログラムには
操作手順のまとまりをマクロとして自動記録あるいは手
動作成することができるものがある。これはアプリケー
ションプログラム内部にユーザの操作内容を自動記録す
る機能を有することで実現している。自動記録した操作
内容あるいはユーザが編集して定義した操作内容をマク
ロとして再利用することにより、簡単で迅速かつ確実な
操作を実現している。

【０００３】

【発明が解決しようとする課題】上記の技術はユーザが
利用するアプリケーションプログラムごとに実装されて
いる。したがって、操作内容の自動記録や編集ができな
いアプリケーションプログラムにおいてはマクロの再利
用はできない。通常、文書や図面を作成する際にはアプ
リケーションプログラムを複数利用するが、操作内容を
記録してあるマクロはアプリケーションプログラム間の
互換性がないため、操作内容を統一的に記録・再利用す
ることが困難であった。

【０００４】以上の問題を解決するため、本発明の目的
は、コンピュータ画面の変化情報を利用することによ
り、アプリケーションプログラムを複数利用していても
ユーザの操作履歴を統一的に記録・再利用する手段およ
び装置を提供することにある。

【０００５】

【課題を解決するための手段】上記目的を達成する本発
明は、コンピュータの画像情報を特定のタイミングで蓄
積し、蓄積した画像情報間の差異から操作履歴を抽出す
る手段（操作履歴抽出手段）と、抽出した操作履歴を文
字情報の連結でデータベースに蓄積する手段（操作履歴
蓄積手段）を設けたことを特徴とする。これにより、文
書および図面を作成する際に、アプリケーションプログ
ラムを複数利用していてもユーザの操作履歴を統一的に
記録することができる。

【０００６】また、前期操作履歴蓄積手段は、アプリケ
ーションプログラムとオペレーティングシステムの内部
情報を利用して、特定の操作に関連する情報を対応づけ
る。これにより、画面上に表れる情報に基づく操作履歴
とアプリケーションプログラムやオペレーティングシス
テムが持つ内部情報を結合することができ、ユーザの操
作履歴情報の中に画面上での操作で表れない情報を補う
ことができる。

【０００７】また、上記目的を達成する本発明は、特定
の操作を行ったときに予め定めておいた類似度の基準を
参照して、過去に行った類似する操作履歴を表示し、こ
の操作履歴を編集したり、ユーザの要求があれば自動実
行する手段（類似操作履歴表示・実行手段）を設けたこ
とを特徴とする。これにより、操作履歴を再利用して、
文書や図面の作成作業の簡単化，迅速化が実現でき、操
作性および確実性の向上を図ることができる。

【０００８】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。

【０００９】図１は本発明の実施の形態に係わる操作履
歴蓄積装置４０の構成を示す図である。本操作履歴蓄積
装置は作業用計算装置２０に作用する。作業用計算装置
２０と入出力装置１０を用いてユーザは文書や図面など
の作成作業を実施し、結果を作業結果ファイル３０に出
力する。

【００１０】操作履歴蓄積装置４０は画像取り込み蓄積
装置５０，画像差分検出装置６０，操作内容解析装置７
０，操作履歴蓄積装置８０、および、類似操作履歴表示
実行装置９０からなる。画像取り込み蓄積装置５０は作
業用計算装置２０の情報を入力として画像履歴データ５
０ａを出力する。画像履歴データ５０ａは画像差分検出
装置６０の入力になる。画像検出装置６０は画像差分デ
ータ６０ａを出力する。画像差分データ６０ａは操作内
容解析装置７０の入力になる。操作内容解析装置７０は
文字列判定用データベース７０ａを参照して、画像差分
データ６０ａをもとに画像操作履歴データ７０ｂを出力
する。

【００１１】操作履歴蓄積装置８０は作業用計算装置２
０の内部情報２０ａと画像操作履歴データ７０ｂを入力
として、操作履歴データ８０ｂを操作内容データベース
80ａの適切な場所に格納する。類似操作履歴表示実行装
置は類似度データベース90ａ，操作内容データベース８
０ａを参照して、操作履歴データ８０ｂに類似した過去
の操作履歴データを選択し、その過去の操作履歴データ
の次の操作内容（次操作内容）を作業用計算装置２０に
送信して、入出力装置１０に表示する。

【００１２】また、次操作内容については作業用計算装
置２０において編集可能なようにし、編集後の次操作内
容、または、未編集のそのままの次操作内容に対応する
操作をユーザの要求に応じて実行する信号を出力する。

【００１３】図２は入力履歴蓄積装置４０の処理の流れ
を示す。画像取り込み蓄積装置５０はまず、初期画像履
歴データとして入出力装置１０に表示されている全画面
データを画像履歴データとして取り込む（ｆ１）。

【００１４】つぎに、マウスのクリックまたはキーボー
ドからの入力により操作項目を選択する（イベント発
生）のたびに（ｆ２，Ｙｅｓ）、操作履歴蓄積装置４０
が動作する。また、イベントがない期間はアイドル状態
になっている（ｆ２，Ｎｏ）。ユーザの操作項目の選択
によりイベントが発生した時、その時点に入出力装置１
０に表示されている全画面データを画像取り込み蓄積装
置５０は画像履歴データ５０ａとして取り込む（ｆ
１）。

【００１５】次に、画像差分検出装置６０はイベント発
生前に取り込んであった画像履歴データ５０ａとイベン
ト発生時の画像履歴データ５０ａを比較して画像データ
の差分を検出し、画像差分データ６０ａを作成する（ｆ
３）。イベント発生時の全画面データは次に画像差分を
検出するときの元の画像履歴データ５０ａとする。

【００１６】次に、操作内容解析装置７０は画像差分デ
ータ６０ａをもとに画面変化個所の文字列および操作の
中心座標を抽出し、画像操作履歴データ７０ｂとする。
このとき、画像差分データ６０ａ中に含まれる文字情報
の抽出には表示される文字の形式と対応する文字の内容
の関係を記述した文字列判定用データベース７０ａを利
用する（ｆ４）。

【００１７】次に、操作履歴蓄積装置８０は、作業用計
算装置２０で稼動しているアプリケーションプログラム
またはオペレーティングシステムから内部情報２０ａを
取り込む（ｆ５）。

【００１８】さらに、操作履歴蓄積装置８０は画像操作
履歴データ７０ｂと内部情報２０ａを結合して操作履歴
データ８０ｂとし、操作内容データベース８０ａ内の適
切な場所に操作履歴データ８０ｂを蓄積する（ｆ６）。

【００１９】次に、類似操作履歴表示実行装置９０は操
作履歴データ８０ｂを入力として、類似度データベース
９０ａおよび操作内容データベースを参照して、過去の
類似操作例を検索して、次操作内容を作業用計算装置２
０に出力し、入出力装置１０に表示する（ｆ７）。

【００２０】さらに、類似操作履歴表示実行装置９０は
ユーザによる過去の類似操作履歴の編集結果、または過
去の類似操作履歴そのものをユーザの要求により作業用
計算装置２０で実行するための信号を出力する。

【００２１】以上のｆ２からｆ８までの処理はユーザに
よる操作項目の選択が行われるたびに実行される。

【００２２】図３はコンピュータ画面上における表示画
面の例（ａ）と画面例（ａ）の場合に操作を実施したと
きの画面例（ｂ）である。画面例（ａ）はワードプロセ
ッサにより文書１を作成中に、ドローイングツールによ
り図面１を作成している途中の画面を示している。画面
例（ｂ）は画面例（ａ）の状態のときにポンプを表すシ
ンボルを選択し、そのシンボルをコピーする操作を示し
ている。

【００２３】図４は図３の画面例（ａ）と画面例（ｂ）
の画面の差分画像である。すなわち、画面例（ａ）で操
作を行った結果に関わる画面上の表示結果の差が図４で
表される。ここで選択したシンボル（ポンプ）のまわり
には、選択していることを示すハンドル（正方形の黒い
点）６０ａ−１が表示される。また、操作項目６０ａ−
２のうち、ユーザが選択した操作項目である「コピー
Ctrl−Ｃ」６０ａ−３は強調表示される。

【００２４】図５は図２のフローチャートで表される画
面変化個所の文字列、および操作の中心座標の抽出処理
についての詳細を示す。

【００２５】文字列、操作の中心座標の計算処理におい
ては、まず、画像差分データ６０ａよりハンドル６０ａ
−１で囲まれる部分の中心座標（Ｘｃ，Ｙｃ）を計算す
る（ｆ４−１）。

【００２６】次に、画像差分データにおいてハイライト
で強調されている部分６０ａ−３を切り出す（ｆ４−
２）。

【００２７】次に、文字列判定用データベース７０ａを
参照することにより、画像のドットパターンを文字に変
換する（ｆ４−３）。

【００２８】さらに、変換した文字を文字列として結
合、画像操作履歴データ７０ｂを作成する（ｆ４−
４）。

【００２９】図６は画像操作履歴データ７０ｂの例であ
る。これは図３に示す画面例の操作を実施したときに得
られるもので、画像操作履歴項目と値の組で表される。
ここでは操作したシンボルのハンドル６０ａ−１の中心
座標Ｘｃは３１０，中心座標Ｙｃは２００となる。ま
た、選択した操作項目に対応する文字列は空白で区切ら
れている部分で分けられ、選択文字列１が「コピー」、
選択文字列２が「Ctrl−Ｃ」のように格納される。

【００３０】図７は作業用計算装置２０で稼動している
アプリケーションプログラムまたはオペレーティングシ
ステムにおける内部情報２０ａの例を示している。内部
情報２０ａは内部情報項目と値の組で表される。ここで
はユーザ名として「Ａ」が、アプリケーションプログラ
ム名として「ドローイングツール」が、イベント名とし
て「マウスクリック」が、オブジェクト名として「ポン
プ」が格納されている。これらの情報は画面上の操作情
報からはわからないものである。

【００３１】図８は操作履歴蓄積装置８０により生成す
る操作履歴データ８０ｂの例である。操作履歴データの
うち（ａ）８０ｂ−１は操作履歴１０１，（ｂ）８０ｂ
−２は操作履歴１０２，（ｃ）８０ｂ−３は操作履歴１
０３，（ｄ）８０ｂ−４は操作履歴１０４に対応づけら
れており、操作の順に操作履歴１０１,１０２,１０３，
１０４が生成される。各操作履歴データは操作履歴項目
と値の組で表されている。たとえば、操作履歴１０１で
は操作履歴項目と値の組はアプリケーションプログラム
名が「ドローイングツール」、操作名が「コピー」，オ
ブジェクト名が「ポンプ」，中心座標Ｘｃが「３１
０」，中心座標Ｙｃが「２００」，ショートカットが
「Ctrl−Ｃ」、ユーザ名が「Ａ」となっている。

【００３２】図９は操作履歴蓄積装置８０が画像操作履
歴データ７０ｂと内部情報２０ａをもとに生成した操作
履歴データ８０ｂを操作内容データベース８０ａに格納
した例である。操作内容データベース８０ａは二つの部
分から構成される。一つは操作履歴を時系列的に記録し
た操作履歴系列（ａ）と、もう一つは操作履歴を構造的
に記録した操作履歴構造（ｂ）である。

【００３３】操作履歴系列（ａ）は操作イベントの発生
した時刻と操作履歴データ名と作業の対象となる文書や
図面のファイル名からなる。ここには時系列的に操作履
歴と操作履歴が関係する文書や図面のファイル名が格納
されていく。

【００３４】操作履歴構造（ｂ）はアプリケーションプ
ログラム名と文書や図面のファイル名と操作履歴データ
名の関係の構造が表現される。さらに、操作履歴のデー
タ間には、たとえば扱ったシンボル名がポンプで共通な
ものがある場合に、関連のリンクがはられる。

【００３５】以上の操作履歴系列（ａ）と操作履歴構造
（ｂ）を操作内容データベース80ａに格納することによ
り異なるアプリケーションプログラム間にわたって操作
が及ぶ場合の操作履歴も格納する。

【００３６】図１０は、以上の操作履歴８０ｂの操作内
容データベースへの蓄積処理（図２のｆ６）の詳細を示
す。

【００３７】操作履歴８０ｂの操作内容データベースへ
の蓄積処理では、まず画像操作履歴７０ｂを操作履歴蓄
積装置８０に読み込む（ｆ６−１）。次に作業用計算装
置２０から内部情報２０ａを読み込む(ｆ６−２)。次に
画像操作履歴データ７０ｂのうち選択文字列１を操作履
歴データ８０ｂの「操作名」に設定する(ｆ６−３)。

【００３８】次に選択文字列２を操作履歴データ８０ｂ
の「ショートカット」に設定する（ｆ６−４）。次にア
プリケーションプログラム名，操作名，オブジェクト
名，中心座標Ｘｃ，中心座標Ｙｃ，ショートカット，ユ
ーザ名を組み合わせて操作履歴データを作成する（ｆ６
−５）。

【００３９】次に操作の時刻と操作履歴データ，作業フ
ァイル名を結合して操作内容データベースの操作履歴系
列に格納する（ｆ６−６）。さらに、操作履歴データを
アプリケーションプログラム名と作業ファイル名に対応
づけて操作履歴構造に格納する（ｆ６−７）。

【００４０】図１１は過去の類似操作例を選択するのに
使用する類似度データベース９０ａの内容の例である。
類似度データベース９０ａは条件と類似度の組で構成す
る。たとえば、条件として、現在の操作履歴の操作履歴
項目と「操作履歴データの全項目とファイル名が一致」
すれば類似度を１.０ とする。また、「操作履歴データ
の全項目一致，ファイル名不一致」の場合は類似度を
０.９ とする。さらに操作履歴データのうち「アプリケ
ーションプログラム名，操作名，オブジェクト名のみ一
致」の場合は類似度を０.８ とする。

【００４１】以上のような類似度データベース９０ａを
利用して、類似操作履歴表示実行装置９０は過去の類似
操作例を検索し、次の操作候補を選択して、ユーザの要
求に応じて、その操作を実行する。図１２は類似操作履
歴表示実行装置９０の動作のうち、過去の類似操作履歴
を検索して、次の操作候補を選択する処理の流れを示
す。

【００４２】類似操作履歴表示実行装置９０は、現在の
操作履歴データ８０ｂと操作内容データベースに格納さ
れている過去の操作履歴データとを類似度データベース
90ａを参照して比較する（ｆ７−１）。比較の結果、類
似操作履歴がなければ（ｆ７−２，Ｎｏ)、ユーザに類
似操作例は表示されない。類似操作履歴があれば(ｆ７
−２，Ｙｅｓ）、操作履歴系列のうち、類似度が最大の
過去の操作履歴データの次の操作の操作履歴データを作
業用計算装置２０に出力する（ｆ７−３）。

【００４３】図１３は図面と文書の作成時に操作履歴の
ウィンドウ９０ｂと次の操作候補のウィンドウ９０ｃを
同時に表示した画面例を示す。ここでは操作履歴として
操作履歴データ８０ａにもとづいて、［ドローイングツ
ール］ペースト−ポンプ−（３１０，２４０）が操作履
歴ウィンドウ９０ｂに表示されている。これは図８の
(ｂ)操作履歴１０２に対応している。また、この操作履
歴データに対する次の操作の候補がウィンドウ９０ｃに
［ワードプロセッサ］コピー−Ａ系−（３１０，３５
０）と表示されている。これは類似操作履歴表示実行装
置９０により導出されたものである。

【００４４】図１４は図１３の画面例に対して、さらに
操作を加えていったときの場面を表している。ここで
は、図１３の画面に対してさらにワードプロセッサのア
プリケーションプログラムを利用して文書１ファイルを
作成中の画面から座標（３５０，３５０）から「Ａ系」
という文字列をコピーしたという操作結果を操作履歴ウ
ィンドウ９０ｂに表示している。さらに類似操作履歴表
示実行装置９０では［ドローイングツール］ペースト−
Ａ系−（３１０，２００）という次の操作の候補を選択
し、ウィンドウ９０ｂに表示している。さらに、ここで
ウィンドウ９０ｂに表示中の「実行」ボタンをクリック
すると「Ａ系」という文字列を「ドローイングツール」
アプリケーションプログラムのウィンドウ内にペースト
する。

【００４５】

【発明の効果】本発明によれば、文書および図面を作成
する際に、アプリケーションプログラムを複数利用して
いてもユーザの操作履歴を統一的に記録することができ
る。

【００４６】また、画面上に表れる情報に基づく操作履
歴とアプリケーションプログラムやオペレーティングシ
ステムがもつ内部情報を結合することができ、ユーザの
操作履歴情報の中に画面上での操作で表れない情報を補
うことができる。

【００４７】さらに、操作履歴を再利用して、文書や図
面の作成作業の簡単化，迅速化が実現でき、操作性およ
び確実性の向上を図ることができる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係わる入力履歴蓄積装置
の構成図。

【図２】図１の入力履歴蓄積装置の処理を示すフローチ
ャート。

【図３】（ａ）及び（ｂ）はコンピュータ画面上におけ
る表示画面例を示す図及び画面例（ａ）の場合に操作を
実施したときの画面例（ｂ）を示す図。

【図４】画面例（ａ）と画面例（ｂ）の画像差分データ
の例を示す図。

【図５】図１の入力履歴装置における画像履歴データ抽
出処理のフローチャート。

【図６】画像履歴データの例を示す図。

【図７】作業用計算装置に格納されている内部情報の例
を示す図。

【図８】（ａ）ないし（ｄ）は操作履歴データの例を示
す図。

【図９】（ａ）及び（ｂ）は操作内容データベースに格
納されるイベントシーケンスの例（ａ）及び操作履歴構
造モデルの例（ｂ）を示す図。

【図１０】操作履歴データを操作内容データベースへ格
納する処理を示すフローチャート。

【図１１】類似度データベースに格納されるデータの例
を示す図。

【図１２】類似操作履歴表示・実行装置の処理を示すフ
ローチャート。

【図１３】図３の画面に過去の類似操作例を付加した画
面例を示す図。

【図１４】図１３の画面で「実行」ボタンをクリックし
たときの表示画面の変化例を示す図。

【符号の説明】

１０…入出力装置、２０…作業用計算装置、２０ａ…内
部情報、３０…作業結果ファイル、４０…入力履歴蓄積
装置、５０…画像取り込み蓄積装置、５０ａ…画像履歴
データ、６０…画像差分検出装置、６０ａ…画像差分デ
ータ、７０…操作内容解析装置、７０ａ…文字列判定用
データベース、７０ｂ…画像履歴データベース、８０…
操作履歴蓄積装置、８０ａ…操作内容データベース、８
０ｂ…操作履歴データ、９０…類似操作履歴表示実行装
置、９０ａ…類似度データベース。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 太田 吉美 茨城県日立市幸町三丁目１番１号 株式会 社日立製作所日立工場内 Ｆターム(参考） 5B050 CA07 EA18 FA02 GA01

Claims (3)

【特許請求の範囲】
1. 【請求項１】コンピュータの端末画面上に表示される画
   像情報を蓄積する手段と、蓄積した画像情報間の差異か
   ら操作履歴を抽出する手段と、抽出した操作履歴を文字
   情報の連結で時系列的かつ／または構造的にデータベー
   スに蓄積する手段を有することを特徴とする入力履歴蓄
   積装置。
2. 【請求項２】請求項１において、画面上に表れない操作
   関連情報も、アプリケーションプログラムかつ／または
   オペレーティングシステムの内部情報を利用して操作履
   歴に付加してデータベースに蓄積する手段を有すること
   を特徴とする履歴蓄積装置。
3. 【請求項３】請求項１または２において、コンピュータ
   の端末画面上で操作を行ったときに、予め定めておいた
   類似度の規準を参照して、過去に行った類似する操作履
   歴をデータベースから選択して、次の操作の候補を表示
   する手段と、表示した次の操作の候補を編集する手段
   と、ユーザの要求に応じて、表示したそのままの次の操
   作の候補、または編集後の次の操作の候補を実行する手
   段を有することを特徴とする入力履歴蓄積装置。