JP2010277229A

JP2010277229A - 操作誘導方式

Info

Publication number: JP2010277229A
Application number: JP2009127448A
Authority: JP
Inventors: Junichi Funada; 純一船田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2009-05-27
Filing date: 2009-05-27
Publication date: 2010-12-09
Anticipated expiration: 2029-05-27
Also published as: JP5332908B2

Abstract

【課題】ユーザが機器に対して行った過去の操作の方法をより正確に思い出せるようにすること。
【解決手段】操作履歴記憶手段101は、ユーザが機器201に対して行った過去の操作履歴を記録する。ユーザ行動観測手段102は、機器201に対する操作以外のユーザの行動を観測する。ユーザ行動記憶手段103は、ユーザ行動観測手段102で観測されたユーザの行動を記憶する。表示履歴決定手段104は、操作履歴記憶手段101に記憶されている操作履歴の中から一つまたは複数の操作履歴を選択する。関連行動情報抽出手段105は、ユーザ行動記憶手段103に記録されているユーザ行動の中で、表示履歴決定手段104で選択された操作履歴と関連する行動である関連行動を抽出する。表示生成手段106は、関連行動情報抽出手段105で抽出した関連行動と操作履歴とを対応付けた表示内容を生成する。
【選択図】図１

Description

本発明は、Webアプリ・パソコン・携帯電話・情報家電等のUI（ユーザインタフェース）においてユーザに操作を誘導する技術に関する。

近年、情報技術の発達によって機器やユーザに提供されるサービスが多様な機能を備えるようになってきており、ユーザがその操作を習得するのに手間がかかり結果として操作がうまくできないという問題が顕在化している。例えば、仕事や生活の場面でショッピングや各種申請などをWebページで提供されるUIを操作してネットワーク経由で行う場面が急増している。このような場面では、どのようにUIを操作してタスクを達成すればよいかが習得できず、そのたびに使い方を手間をかけて調べたりあるいは結局操作がわらずタスクが達成できないといった問題が発生している。また別の例としては、パソコンや情報家電(HDDレコーダ・携帯電話など)のたまにしか変更しない設定を変え、しばらく時間が経過した場合などに、その設定を再び変更しようとしても、どのメニューからたどりどのように変更すればよいかを忘れてしまい、やはり使い方を手間をかけて調べたり、あるいは結局操作がわからずタスクが達成できないなどの問題である。

このような問題に対して、ユーザが過去に自分で行った操作を記録しておき、その操作を再現表示することで操作の仕方をユーザ自身で思い出す方式が提案されている。このような方式として例えば、特許文献１や特許文献２で開示されている、ユーザが機器を操作しているときにそのユーザの過去の操作履歴（操作画面など）を、ユーザの求めに応じて再現表示する技術が開示されている。

特開2004-185240号公報特開2005-297488号公報

操作履歴をユーザに提示することで操作を誘導するこれらの方法は、以前に自分が行った操作履歴さえ再現表示されれば大抵の人は操作の方法を理解できるあるいは操作の方法を思い出せることを前提としている。しかし、以前の操作の時には、操作の仕方を人に聞いたりマニュアルなどで調べる等して理解していたが、その後に忘れてしまったような場合、操作履歴の再現表示だけでは操作で要求されている情報の意味がわからず、操作の仕方を正確に思い出せない状況はしばしば起こることである。

本発明の目的は、ユーザが機器に対して行った過去の操作の方法をより正確に思い出せるようにすることにある。

本発明の操作誘導装置は、ユーザがある機器に対して行った過去の操作履歴を記録する操作履歴記憶手段と、前記機器に対する操作以外のユーザの行動を観測するユーザ行動観測手段と、前記ユーザ行動観測手段で観測されたユーザの行動を記憶するユーザ行動記憶手段と、前記操作履歴記憶手段に記憶されている操作履歴の中から一つまたは複数の操作履歴を選択する表示履歴決定手段と、前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記表示履歴決定手段で選択された操作履歴と関連する行動である関連行動を抽出する関連行動情報抽出手段とを備える。

本発明によれば、抽出された関連行動によって、ユーザは機器に対して行った過去の操作の方法をより正確に思い出せるようになる。

本発明の第１の実施の形態の構成を示すブロック図本発明の第１の実施の形態の変形例を示すブロック図本発明の第１の実施の形態の動作を示す図本発明の第１の実施の形態の動作を示す流れ図本発明の第２の実施の形態の構成を示すブロック図本発明の第２の実施の形態の変形例を示すブロック図本発明の第２の実施の形態の動作を示す流れ図

次に、本発明の第１の実施の形態について図面を参照して詳細に説明する。
［構成の説明]
図１を参照すると、本発明の第１の実施の形態は、ユーザが機器201に対して行った過去の操作履歴を記録する操作履歴記憶手段101と、ユーザの行動を観測するユーザ行動観測手段102と、ユーザ行動観測手段102で観測されたユーザの行動を記憶するユーザ行動記憶手段103と、操作履歴記憶手段101に記憶されている操作履歴の中から表示する操作履歴を決定する表示履歴決定手段104と、ユーザ行動記憶手段103に記録されているユーザ行動の中で、表示履歴決定手段104で決定された操作履歴と関連する行動である関連行動を抽出する関連行動情報抽出手段105と、関連行動情報抽出手段105で抽出した関連行動と操作履歴とを対応付けた表示内容を生成する表示生成手段106とからなる。

図２に示されるように、上記構成に加えて表示生成部106で生成された表示内容をユーザに対して提示する提示手段202を操作支援装置の構成に含めるようにしてもよい。提示手段202は液晶やブラウン管その他のディスプレイやその他の表示装置を用いることができる。

操作履歴記憶手段101は、機器201に対するユーザの過去の操作履歴を記録する。ここで記録される操作履歴とは、１．ユーザが機器201に対して入力した情報、２．操作時に機器201がユーザに提供した情報、３．ユーザが操作している状況に関する情報、４．機器201内部の情報などである。これらの情報をそれぞれが入力や出力された時刻とともに記憶する。例えば機器201のGUI（グラフィカルユーザインターフェース）に対してユーザが行った操作を例に、以下に具体例を示す。

GUIにおいて「１．ユーザが機器に対して入力した情報」とは、メニュー選択ではユーザがどのメニューを選択したか、文字列の入力を促すためのスロットに対してユーザが入力した内容（文字列など）、ユーザの入力がなされた後の画面イメージなどである。また「２．操作時に機器がユーザに提供した情報」とは例えば、画面のタイトル名、画面に含まれる文字列、ボタンのラベル名、スロットの項目名、表示された画面イメージなどである。また「３．ユーザが操作している状況に関する情報」とは例えば、ユーザが画面を操作している様子を撮影した映像と音声であるとか、画面でのメニュー選択やマウスの動きといった状況の情報である。また「４．機器内部の情報」とは例えば、ユーザが操作している画面の画面名であるとか、実行しようとしているタスクのタスク名など機器やUI内部に定義されている情報である。１．２．に関してこれらの情報が入力または出力された時刻をあわせて記録する。３．４．に関してそれぞれの状況が発生した時刻をあわせて記憶する。なお、機器201に対するユーザの操作履歴を取得して操作履歴記憶手段101に記録する手段は、機器201内に例えばプログラムモジュール（図示せず）として実装されている。

ユーザ行動観測手段102は、ユーザの行動を観測する手段である。ユーザの行動とは操作対象の機器201に対して行った操作（機器201を通じてアクセスするWebサービス等のサービスに対して行った操作を含む）以外でユーザが行った行動である。ユーザ行動観測手段102の目的はそのユーザの行動の中に含まれる、ユーザが対象とする機器やサービスの使い方に関する情報を得たときの行動および外部から得た情報を観測することにある。この目的のために具体的には以下のように構成される。

例えば、ユーザが操作の仕方を対面で人から聞いて獲得する場合に好適はものとして、ユーザ行動観測手段102は以下に例示するようなものを用いることができる。
１．ユーザの位置やユーザが対面して話を聞いた人の位置を認識するための手段である、RFID・赤外線タグ・超音波タグなどのタグによる位置同定方式や、画像からの顔や人物検出や、電話やパソコンによる在席管理管理システムなど、
２．ユーザと対面した人の会話を録音録画するためのマイクやカメラ

また、ユーザが操作の仕方を電話で人に問い合わせて獲得する場合に好適はものとして、ユーザ行動観測手段102は以下に例示するようなものを用いることができる。
１．ユーザの通話記録（誰と通話したか、通話開始時刻と終了時刻など）を取得する手段。例えば構内電話システムやそこから情報を得るシステムなど。
２．通話内容の音声や映像を取得する手段。電話の受話装置にマイクを設置するとかあるいは受話装置で受信した音声情報を取得する手段など。

また、ユーザが操作の仕方をメールで人に問い合わせて獲得する場合に好適はものとして、ユーザ行動観測手段102は以下に例示するようなものを用いることができる。
１．ユーザのメール送受信記録（誰に対してメールを送信したか、誰からメールを受信したか、それぞれのメールの送受信時刻など）を取得する手段。例えばメールサーバから情報を得るシステムやユーザのメーラーから情報を得るシステムなど。
２．メールで送受信した内容を取得する手段。

また、ユーザが操作の仕方をマニュアルやドキュメントを参照して獲得する場合に好適はものとして、ユーザ行動観測手段102は以下に例示するようなものを用いることができる。
１．ユーザがマニュアルやドキュメントのどの部分をいつ参照したかを獲得するために電子マニュアルや電子ドキュメントであればそれぞれを閲覧するためのソフトウェアの動作ログを取得する手段。
２．ユーザが閲覧したマニュアルやドキュメントの内容

ユーザ行動記憶手段103は、ユーザ行動観測手段102で観測されたユーザの行動を記憶するもので、ハードディスクやメモリなどの記録媒体と記録されている情報の検索を可能にするインタフェースを有している。

表示履歴決定手段104は、ユーザに対して表示する履歴を決定する手段であり、具体的には、ユーザ自身にユーザインタフェースを通じて表示する履歴を選択させる手段であってもよいし、ユーザが現在操作している部分を以前に操作した履歴を表示すると決定する手段であってもよい。

関連行動情報抽出手段105は、ユーザ行動記憶手段103に記録されているユーザ行動の中で、表示履歴決定手段104で決定された操作履歴と関連する行動である関連行動を抽出する。関連する行動かどうかを推定する方法としては、決定された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動であるか否か、ユーザ履歴にあるユーザが入力した情報やユーザに提示された情報やそのときの機器内部の情報やユーザが操作している状況の情報に含まれている音声やテキストや単語や映像などに近い内容を含むユーザ行動であるか否かの、何れか一方または双方を考慮する方法がある。以下、具体的な例を挙げて説明する。

ユーザが操作の仕方を対面で人から聞いて獲得した場合に好適な推定方式としては、
方法１：操作した時刻より以前で近い時刻に人に接近し交わした会話を推定結果とする。
方法２：ユーザが行った会話の音声を音声認識しその結果に操作履歴に存在する語が含まれている会話を推定結果とする。
などの方法がある。方法１と方法２のそれぞれの推定結果を組合せて、例えばそれらの積集合となる会話を推定結果とするなどの方法をとっても良い。

また、ユーザが操作の仕方を電話で人に問い合わせて獲得した場合に好適な推定方式としては、
方法１：操作した時刻より以前で近い時刻に通話した会話を推定結果とする。
方法２：ユーザが行った通話の音声を音声認識しその結果に操作履歴に存在する語が含まれている会話を推定結果とする。
などの方法がある。方法１と方法２のそれぞれの推定結果を組合せて、例えばそれらの積集合となる会話や音声を推定結果とするなどの方法をとっても良い。

また、ユーザが操作の仕方をメールで人に問い合わせて獲得した場合に好適な推定方式としては、
方法１：操作した時刻より以前で近い時刻に送受信したメール群を推定結果とする。
方法２：ユーザが送受信したメールのうち操作履歴に存在する語が含まれているメールを推定結果とする。
などの方法がある。方法１と方法２のそれぞれの推定結果を組合せて、例えばそれらの積集合となるメールを推定結果とするなどの方法をとっても良い。またこれらの条件を満たすものの中でさらに覧している時間が長いメールを推定結果とする方法をとっても良い。

また、ユーザが操作の仕方をマニュアルやドキュメントを参照して獲得した場合に好適な推定方式としては、
方法１：操作した時刻より以前で近い時刻に閲覧していたマニュアルやドキュメントを推定結果とする。
方法２：ユーザが閲覧したマニュアルやドキュメントのうち操作履歴に存在する語が含まれているマニュアルやドキュメントを推定結果とする。
などの方法がある。方法１と方法２のそれぞれの推定結果を組合せて、例えばそれらの積集合となるマニュアルやドキュメントを推定結果とするなどの方法をとっても良い。またこれらの条件を満たすものの中でさらに閲覧している時間が長いマニュアルやドキュメントを推定結果とする方法をとっても良い。

表示生成手段106は、関連行動情報抽出手段105で抽出した関連行動と操作履歴とを対応付けた表示内容を生成する。具体的には、操作履歴を表示するとともに、同じ画面中に抽出した関連行動を表示するとか関連行動の候補を示すテキストやサムネイル画像等を表示しておきユーザが選択したものを表示するようにする方法などをとる。また図３のように、ボタンやテキスト入力スロットなどといった個々のGUI部品（図３中の黒または白の四角など）によって操作履歴が表示されている場合に、そのGUI部品と関連付けて、関連行動を表示するようにしてもよい。

[動作]
次に図４に示されたフローチャートを参照しながら本実施の形態の動作手順を説明する。本実施の形態の動作は、操作履歴やユーザ行動を蓄積するフェーズである履歴蓄積フェーズと、蓄積された履歴を元にユーザの機器やサービスの操作を支援する運用フェーズとに分けられる。

まず履歴蓄積フェーズの動作を説明する。履歴蓄積フェーズでは、機器201からの操作履歴を操作履歴記憶手段101で記録する(図４の1001)。これは機器201が利用されている間は全区間あるいは一部区間に対して行われる。また並行してユーザの行動をユーザ行動観測手段102で観測し(図４の2001)、ユーザ行動観測手段102で観測したユーザ行動をユーザ行動記憶手段103に記憶する(図４の2002)。これもユーザの全行動を観測して記録しても良いし、一部区間を観測して記録しても良い。このようにして操作履歴およびユーザ行動を蓄積する。

次に運用フェーズでの動作を説明する。運用フェーズでは、まず表示履歴決定手段104で、表示する履歴を決定する(図４の3001)。次に、関連行動情報抽出手段105で、表示する履歴の関連行動をユーザ行動記憶手段103より抽出する(図４の3002)。そして、表示生成手段106で、操作履歴と関連行動を関連付けた表示を生成する(図４の3003)。

このように、本実施の形態によれば、ユーザに対して過去の自らの操作履歴とともに、それに関連するユーザ行動の情報を表示するため、ユーザは操作履歴を見ただけでは思い出せなかった事柄についても、関連行動がヒントあるいは参考となって自らの記憶を呼び覚ますことができる。これにより、ユーザは機器に対して行った過去の操作の方法をより正確に思い出せるようになる。

また、操作履歴を見ても機器やサービスの使い方がわからない状況は、一度何らかの外部からの情報（人に聞くなど）で操作の仕方を知ることができ、以前の操作の時には理解をしていたが、その後に忘れてしまったケースに多い。この場合、操作の仕方を知ったときの情報を再び呼び出すことができればよいが、ユーザの記憶にのみ頼ってその情報を探し出す方法では、多様な情報源(人に聞く・メール・メモなど)のどこでそれを得たのかを正確に思い出すことが困難であることから、効率よく情報を探し出しアクセスすることが困難である。本実施の形態では、ユーザが操作の仕方を知ったときのユーザの行動とそのときアクセスしていた情報にはその操作に関連するテキストやその他の属性を含んでいる可能性が高く、またユーザが操作した時刻に近い時刻にその情報にアクセスしている可能性が高いという性質を利用して、ユーザ行動の中から操作履歴に関連するテキストや時間的近さやその他の属性が近いユーザ行動を抽出することで、ユーザが操作の仕方を知ったときの行動を同定することができる。そしてその行動をとったときに参照していた情報にアクセスすることができ操作の方法を思い出すことができる。

(第2の実施の形態)
次に添付図面を参照しながら、関連行動判定を行い関連行動のみを厳選して保存する本発明に係る第２の実施の形態を詳細に説明する。

(構成の説明)
本発明に係る第２の実施の形態は図５に示すように、第１の実施の形態の構成に加えてさらに、ユーザ行動観測手段102で観測されたユーザ行動が現在ユーザが機器201において実行している操作と関連する行動であるかどうかを判定する関連行動判定手段108を備え、ユーザ行動記憶手段107では、関連行動判定手段108で関連行動であると判定されたユーザ行動に対してどの操作履歴の関連行動であると判定されたかの情報とともに保存し、関連行動情報抽出手段105は、ユーザ行動記憶手段107に記録されているユーザ行動の中で、表示履歴決定手段104で決定された操作履歴と関連すると関連行動判定手段108で判定されたユーザ行動を関連行動として抽出するようにしている。

図６に示されるように、上記構成に加えて表示生成部106で生成された表示内容をユーザに対して提示する提示手段202を操作支援装置の構成に含めるようにしてもよい。提示手段202は液晶やブラウン管その他のディスプレイやその他の表示装置を用いることができる。

関連行動判定手段108は、現在ユーザが操作しているタスクの操作履歴を操作履歴記憶手段101から受け取り、その操作履歴と関連するユーザ行動を抽出する。例えば現在ユーザが機器201に対して或る操作をしている場合、当該操作の直近のユーザ行動を当該操作の関連行動として抽出する構成を取ることができる。また関連行動判定手段108はその内部にユーザ行動観測手段102の出力であるユーザ行動を蓄積しておき、蓄積したユーザ行動群に対して関連行動を判定する。蓄積する区間は一定時刻区間でもよいしその他の基準で選択的に蓄積しても良いし観測されたすべてのユーザ行動を蓄積しておいても良い。これらのユーザ行動に対する関連行動の判定は、第１の実施の形態で述べた関連行動情報抽出手段105での推定方法と同様の方法を用いることができる。具体的には、関連行動判定手段108は、ユーザ行動観測手段102で観測されたユーザ行動のうち、機器201に対して現在実行されている操作の時刻以前の近い時刻に行われたユーザ行動を当該操作の関連行動として推定する。また、関連行動判定手段108は、ユーザ行動観測手段102で観測されたユーザ行動のうち、機器201に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を当該操作の関連行動として推定する。さらに、関連行動判定手段108は、ユーザ行動観測手段102で観測されたユーザ行動のうち、機器201に対して現在実行されている操作の時刻以前の近い時刻に行われたユーザ行動であって、かつ、機器201に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を当該操作の関連行動として推定するようにしてもよい。

また関連行動判定手段108は、判定対象のユーザ行動が関連情報であるかどうかをユーザに問い合わせ、ユーザから関連情報であるとの応答を入力した場合にそのユーザ行動を関連情報であると判定するようにしてもよい。ユーザとのやり取りはGUIや音声対話やその他のユーザインタフェースを通じて行われる。

そして、関連行動判定手段108は、関連行動であると判定されたユーザ行動に対して、どこの操作履歴に対して関連行動であると判定されたかの情報を付与してユーザ行動記憶手段107で保持する。この情報は、例えば時刻でもよいし操作履歴と一意でひも付けをするためのIDをつけるなどして実現してもよい。

ユーザ行動記憶手段107は、関連行動判定手段105で関連行動であると判定されたユーザ行動に対してどの操作履歴の関連行動であると判定されたかの情報とともに保存する。さらに関連行動判定手段105で関連行動であると判定されたユーザ行動のみを保存する構成を取ることもできる。

関連行動情報抽出手段105は、ユーザ行動記憶手段107に記録されているユーザ行動の中で、表示履歴決定手段104で決定された操作履歴と関連すると関連行動判定手段108で判定されたユーザ行動を関連行動として抽出する。なお、関連行動判定手段108で判定されたユーザ行動に対して第１の実施の形態で示した方法を用いてユーザ行動全体から関連行動の候補を抽出する構成をとっても良い。

[動作]
次に図７に示されたフローチャートを参照しながら本実施の形態の動作手順を説明する。本実施の形態の動作は、操作履歴やユーザ行動を蓄積するフェーズである履歴蓄積フェーズと、蓄積された履歴を元にユーザの機器やサービスの操作を支援する運用フェーズとに分けられる。まず履歴蓄積フェーズの動作を説明する。

履歴蓄積フェーズでは、機器201からの操作履歴を操作履歴記憶手段101で記録する(図７の1001)。これは機器201が利用されている間は全区間あるいは一部区間に対して行われる。また並行してユーザの行動をユーザ行動観測手段102で観測し(図７の2001)、関連行動判定手段108で、現在ユーザが操作しているタスクの操作履歴を操作履歴記憶手段101から受け取り、その操作履歴と関連するユーザ関連行動を抽出する(図７の2002)。そして、関連行動判定手段108で抽出されたユーザ行動が少なくとも含まれルように、ユーザ行動観測手段102で観測したユーザ行動をユーザ行動記憶手段107に記憶する(図７の2003)。

次に運用フェーズでの動作を説明する。運用フェーズでは、まず表示履歴決定手段104で、表示する履歴を決定する(図７の3001)。次に、関連行動情報抽出手段105で、表示する履歴の関連行動をユーザ行動記憶手段107より抽出する(図７の3002)。そして、表示生成手段106で、操作履歴と関連行動を関連付けた表示を生成する(図７の3001)。

このように、本実施の形態によれば、第１の実施の形態と同様の理由により、ユーザは機器に対して行った過去の操作の方法をより正確に思い出せるようになる。

さらに、関連行動判定手段108でユーザに対して関連行動であるかどうかを質問することでユーザは行動を行ってから比較的短い時間で関連行動であるかどうかを質問されるので関連行動であるかどうかをすぐ思い出すことができ、ユーザの負担無く関連行動の抽出精度を高めることができる効果もある。

また関連行動判定手段108でユーザ行動が関連行動であるかどうかを判定されたもののみをユーザ行動記憶手段107で記憶する構成をとることもでき、この場合、ユーザ行動記憶手段107で記憶しておくユーザ行動の量を減らすことができ、少ない記憶領域でシステムを構成できる効果がある。

以上本発明の実施の形態について説明したが、本発明は以上の実施の形態にのみ限定されず、その他各種の付加変更が可能である。また、本発明の操作誘導装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における操作履歴記憶手段、ユーザ行動観測手段、ユーザ行動記憶手段、表示履歴決定手段、関連行動情報抽出手段、表示生成手段、関連行動判定手段として機能させる。

本発明は、機器やシステム、例えば携帯電話・パソコン上のアプリケーションソフトウェア・Webアプリケーション・カーナビゲーション・電話応答システム・ＤＶＤレコーダ・ハードディスクレコーダ・テレビ・ゲーム機等や情報家電などその他の機器の使用方法をユーザに誘導する技術に適用可能である。

101…操作履歴記憶手段
102…ユーザ行動観測手段
103…ユーザ行動記憶手段
104…表示履歴決定手段
105…関連行動情報抽出手段
106…表示生成手段
107…ユーザ行動記憶手段
108…関連行動判定手段
201…機器
202…提示手段

Claims

ユーザがある機器に対して行った過去の操作履歴を記録する操作履歴記憶手段と、
前記機器に対する操作以外のユーザの行動を観測するユーザ行動観測手段と、
前記ユーザ行動観測手段で観測されたユーザの行動を記憶するユーザ行動記憶手段と、
前記操作履歴記憶手段に記憶されている操作履歴の中から一つまたは複数の操作履歴を選択する表示履歴決定手段と、
前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記表示履歴決定手段で選択された操作履歴と関連する行動である関連行動を抽出する関連行動情報抽出手段と、
を備えることを特徴とする操作誘導装置。
請求項１記載の操作誘導装置において、
さらに、前記ユーザ行動観測手段で観測されたユーザ行動が現在ユーザによって前記機器に対して実行されている操作と関連する行動であるかどうかを判定する関連行動判定手段を備え、
前記ユーザ行動記憶手段は、前記関連行動判定手段で関連行動であると判定されたユーザ行動に対してどの操作履歴の関連行動であると判定されたかの情報を付加して保存し、
前記関連行動情報抽出手段は、前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記表示履歴決定手段で選択された操作履歴と関連すると前記関連行動判定手段で判定されたユーザ行動を関連行動として抽出することを特徴とする操作誘導装置。
請求項２記載の操作誘導装置において、
前記関連行動判定手段は、判定対象のユーザ行動が関連情報であるかどうかをユーザに問い合わせ、ユーザから関連情報であるとの応答を入力した場合にそのユーザ行動を関連情報であると判定することを特徴とする操作誘導装置。
請求項２記載の操作誘導装置において、
前記関連行動判定手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の操作時刻以前の近い時刻に行われたユーザ行動を関連行動として推定することを特徴とする操作誘導装置。
請求項２記載の操作誘導装置において、
前記関連行動判定手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導装置。
請求項２記載の操作誘導装置において、
前記関連行動判定手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の操作時刻以前の近い時刻に行われたユーザ行動であって、且つ、前記機器に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導装置。
請求項１記載の操作誘導装置において、
前記関連行動情報抽出手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記表示履歴決定手段で選択された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動を関連行動として推定することを特徴とする操作誘導装置。
請求項１記載の操作誘導装置において、
前記関連行動情報抽出手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記表示履歴決定手段で選択された操作履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導装置。
請求項１記載の操作誘導装置において、
前記関連行動情報抽出手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記表示履歴決定手段で選択された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動であって、且つ、前記表示履歴決定手段で選択された操作履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導装置。
請求項１乃至９の何れか１項に記載の操作誘導装置において、
前記ユーザ観測手段は、ユーザの位置、ユーザが対面して話を聞いた人の位置、ユーザと対面した人との会話内容、ユーザの電話通話記録、ユーザの電話による通話内容、ユーザのメール送受信記録、ユーザのメールによる送受信内容、ユーザの参照したマニュアルまたはドキュメントの参照記録、ユーザの参照したマニュアルまたはドキュメントの内容、のうちの一つまたは複数を観測することを特徴とする操作誘導装置。
請求項１乃至１０の何れか１項に記載の操作誘導装置において、
さらに、前記選択された操作履歴と前記抽出された関連行動とを対応付けた表示内容を生成する表示生成手段を備えることを特徴とする操作誘導装置。
ユーザがある機器に対して行った過去の操作履歴を記録する操作履歴記憶手段と、
前記機器に対する操作以外のユーザの行動を観測するユーザ行動観測手段と、
前記ユーザ行動観測手段で観測されたユーザの行動を記憶するユーザ行動記憶手段と、
を備えることを特徴とする操作履歴とユーザ行動の記録装置。
請求項１２記載の操作履歴とユーザ行動の記録装置において、
さらに、前記ユーザ行動観測手段で観測されたユーザ行動が現在ユーザによって前記機器に対して実行されている操作と関連する行動であるかどうかを判定する関連行動判定手段を備え、
前記ユーザ行動記憶手段は、前記関連行動判定手段で関連行動であると判定されたユーザ行動に対してどの操作履歴の関連行動であると判定されたかの情報を付加して保存する、ことを特徴とする操作履歴とユーザ行動の記録装置。
ユーザがある機器に対して行った過去の操作履歴を記録する操作履歴記憶手段と、
前記機器に対する操作以外について観測されたユーザの行動を記憶するユーザ行動記憶手段と、
前記操作履歴記憶手段に記憶されている操作履歴の中から一つまたは複数の操作履歴を選択する表示履歴決定手段と、
前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記表示履歴決定手段で選択された操作履歴と関連する行動である関連行動を抽出する関連行動情報抽出手段と、
を備えることを特徴とする操作誘導装置。
ａ）操作履歴取得手段が、ユーザがある機器に対して行った過去の操作履歴を取得して、操作履歴記憶手段に記録するステップと、
ｂ）ユーザ行動観測手段が、前記機器に対する操作以外のユーザの行動を観測して、ユーザ行動記憶手段に記憶するステップと、
ｃ）表示履歴決定手段が、前記操作履歴記憶手段に記憶されている操作履歴の中から一つまたは複数の操作履歴を選択するステップと、
ｄ）関連行動情報抽出手段が、前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記ステップｃで選択された操作履歴と関連する行動である関連行動を抽出するステップと、
を含むことを特徴とする操作誘導方法。
ａ）操作履歴取得手段が、ユーザがある機器に対して行った過去の操作履歴を取得して、操作履歴記憶手段に記録するステップと、
ｂ）ユーザ行動観測手段が、前記機器に対する操作以外のユーザの行動を観測するステップと、
ｃ）関連行動判定手段が、前記ステップｂで観測されたユーザ行動が現在ユーザによって前記機器に対して実行されている操作と関連する行動であるかどうかを判定し、関連行動であると判定されたユーザ行動に対してどの操作履歴の関連行動であると判定されたかの情報を付加してユーザ行動記憶手段に記憶するステップと、
ｄ）表示履歴決定手段が、前記操作履歴記憶手段に記憶されている操作履歴の中から一つまたは複数の操作履歴を選択するステップと、
ｅ）関連行動情報抽出手段が、前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記ステップｄで選択された操作履歴と関連する行動である関連行動を抽出するステップと、
を含むことを特徴とする操作誘導方法。
請求項１６記載の操作誘導方法において、
前記ステップｃにおいては、判定対象のユーザ行動が関連情報であるかどうかをユーザに問い合わせ、ユーザから関連情報であるとの応答を入力した場合にそのユーザ行動を関連情報であると判定することを特徴とする操作誘導方法。
請求項１６記載の操作誘導方法において、
前記ステップｃにおいては、前記ステップｂで観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の操作時刻以前の近い時刻に行われたユーザ行動を関連行動として推定することを特徴とする操作誘導方法。
請求項１６記載の操作誘導方法において、
前記ステップｃにおいては、前記ステップｂで観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導方法。
請求項１６記載の操作誘導方法において、
前記ステップｃにおいては、前記ステップｂで観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の操作時刻以前の近い時刻に行われたユーザ行動であって、且つ、前記機器に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導方法。
請求項１５記載の操作誘導方法において、
前記ステップｄにおいては、前記ステップｂで観測されたユーザ行動のうち、前記ステップｃで選択された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動を関連行動として推定することを特徴とする操作誘導方法。
請求項１５記載の操作誘導方法において、
前記ステップｄにおいては、前記ステップｂで観測されたユーザ行動のうち、前記ステップｃで選択された操作履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導方法。
請求項１５記載の操作誘導方法において、
前記ステップｄにおいては、前記ステップｂで観測されたユーザ行動のうち、前記ステップｃで選択された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動であって、且つ、前記ステップｃで選択された操作履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導方法。
請求項１５乃至２３の何れか１項に記載の操作誘導方法において、
前記ステップｂにおいては、ユーザの位置、ユーザが対面して話を聞いた人の位置、ユーザと対面した人との会話内容、ユーザの電話通話記録、ユーザの電話による通話内容、ユーザのメール送受信記録、ユーザのメールによる送受信内容、ユーザの参照したマニュアルまたはドキュメントの参照記録、ユーザの参照したマニュアルまたはドキュメントの内容、のうちの一つまたは複数を観測することを特徴とする操作誘導方法。
ユーザがある機器に対して行った過去の操作履歴を記録する操作履歴記憶手段と、ユーザの行動を記憶するユーザ行動記憶手段とを備えたコンピュータを、
前記機器に対する操作以外のユーザの行動を観測し、該観測したユーザの行動を前記ユーザ行動記憶手段に記憶するユーザ行動記憶手段と、
前記操作履歴記憶手段に記憶されている操作履歴の中から一つまたは複数の操作履歴を選択する表示履歴決定手段と、
前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記表示履歴決定手段で選択された操作履歴と関連する行動である関連行動を抽出する関連行動情報抽出手段と、
して機能させるためのプログラム。
請求項２５記載のプログラムにおいて、
前記コンピュータを、さらに、前記ユーザ行動観測手段で観測されたユーザ行動が現在ユーザによって前記機器に対して実行されている操作と関連する行動であるかどうかを判定する関連行動判定手段として機能させるプログラムであって、
前記ユーザ行動記憶手段は、前記関連行動判定手段で関連行動であると判定されたユーザ行動に対してどの操作履歴の関連行動であると判定されたかの情報を付加して保存し、
前記関連行動情報抽出手段は、前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記表示履歴決定手段で選択された操作履歴と関連すると前記関連行動判定手段で判定されたユーザ行動を関連行動として抽出することを特徴とするプログラム。
請求項２６記載のプログラムにおいて、
前記関連行動判定手段は、判定対象のユーザ行動が関連情報であるかどうかをユーザに問い合わせ、ユーザから関連情報であるとの応答を入力した場合にそのユーザ行動を関連情報であると判定することを特徴とするプログラム。
請求項２６記載のプログラムにおいて、
前記関連行動判定手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の操作時刻以前の近い時刻に行われたユーザ行動を関連行動として推定することを特徴とするプログラム。
請求項２６記載のプログラムにおいて、
前記関連行動判定手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とするプログラム。
請求項２６記載のプログラムにおいて、
前記関連行動判定手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の操作時刻以前の近い時刻に行われたユーザ行動であって、且つ、前記機器に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とするプログラム。
請求項２５記載のプログラムにおいて、
前記関連行動情報抽出手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記表示履歴決定手段で選択された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動を関連行動として推定することを特徴とするプログラム。
請求項２５記載のプログラムにおいて、
前記関連行動情報抽出手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記表示履歴決定手段で選択された操作履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とするプログラム。
請求項２５記載のプログラムにおいて、
前記関連行動情報抽出手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記表示履歴決定手段で選択された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動であって、且つ、前記表示履歴決定手段で選択された操作履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とするプログラム。
請求項２５乃至３３の何れか１項に記載のプログラムにおいて、
前記ユーザ観測手段は、ユーザの位置、ユーザが対面して話を聞いた人の位置、ユーザと対面した人との会話内容、ユーザの電話通話記録、ユーザの電話による通話内容、ユーザのメール送受信記録、ユーザのメールによる送受信内容、ユーザの参照したマニュアルまたはドキュメントの参照記録、ユーザの参照したマニュアルまたはドキュメントの内容、のうちの一つまたは複数を観測することを特徴とするプログラム。