JP2005209024A - 操作支援装置および操作支援方法 - Google Patents

Abstract

【課題】機器の操作に関してユーザを適切に支援することができるようにする。
【解決手段】機器の取扱説明データを取扱説明データ記憶部２１に記憶しておき、機器に対してある操作が行われた際に、当該操作に関連する記述を取扱説明データ記憶部２１に記憶しておいた取扱説明データの中から検索する。また、テキスト，音声，画像のうち少なくとも一つで表されるメモがメモ入力部２４により入力された際に、当該メモを前記検索された記述に関連づけてメモ記憶部２５に記憶する。そして、機器に対してある操作が行われた際に、当該操作に関連する記述を取扱説明データ記憶部２１に記憶しておいた取扱説明データの中から検索し、その記述に関連づけられたメモをメモ記憶部２５から読み出してメモ提示部２６によりユーザに提示する。
【選択図】 図２

Description

本発明は、家庭電化製品などの機器の操作に関する支援を行う操作支援装置および操作支援方法に関する。

近年、コンピュータやインターネットを用いて、家庭やオフィスでも気軽に必要な情報を検索できるようになってきた。また、家庭電化製品やＡＶ機器をネットワークに接続して統合管理するシステムも実現されるようになった。例えば、非特許文献１には、家庭電化製品などを統合管理するためのＥＣＨＯＮＥＴと呼ばれる規格に関する技術が開示されている。
ＥＣＨＯＮＥＴ規格書 Version 2.11（日本語版）、［online］、平成１４年４月２６日、 ［平成１６年１月２１日検索］、インターネット＜URL：http://www.echonet.gr.jp/8_kikaku/index.htm＞

ところで、家庭電化製品やＡＶ機器の種類が増え、高機能化が進むにつれ、機器の仕組みや操作が複雑となり、機器を使いこなせないという問題がある。また、ぶ厚い取扱説明書を読み解く時間がない、どこに必要な説明があるのか探せない、機器の仕組みが複雑でなかなか理解できない、取扱説明書を読んでも必要な情報が書かれていない、１冊の取扱説明書だけでは複数機器の組み合わせ方に関する情報が足りない、などの種々な理由により、顧客サポートセンターなどに電話で問い合わせるようなケースも増えている。

また、家庭の中で多数の取扱説明書を必要に応じて取り出せるように管理することも考えられるが、そのためには取扱説明書の収納場所を確保しなければならず、また多数の取扱説明書の中から所望の情報を探すのは困難である。特に、複数の家族がいる場合、家族全員が機器の取扱についての知識を持ち、取扱説明書の管理場所を知っていて、必要なときにすばやく使い方を調べられる状態になっていることは稀である。また、機器の取扱に慣れたユーザでも、たまにしか使わない機能の操作手順を忘れてしまうと、何度も取扱説明書を収納場所から取り出して、同じ箇所を読み返す手間が生じてしまう。

一方で、ソフトウェアのオンラインマニュアルのように、取扱説明書を電子化し、自然言語などによる検索を行えるようにする試みや、家電の操作状況と取扱説明書との対応関係をあらかじめ登録しておき、ユーザの操作状況に対応する取扱説明を提示する試みもなされている。しかしながら、対応する取扱説明が提示されても、一般に、その内容を読んで操作手順を理解するのには時間がかかる。機器の仕組みが分かっていないユーザは、内容を読んでも理解できないことがある。

機器を使い慣れていないユーザは、取扱に慣れた家族や、取扱説明書を読み解く能力を持つ知人に、直接使い方を聞くことが多い。こうしたユーザは、限定されたいくつかの機能しか使わず、必要とする機能の操作手順を、かみ砕いた表現で教えてもらう必要がある。家族がそばにいないときは教えてもらうことができないし、何度も同じ箇所について質問されると、聞く方も聞かれるほうもストレスがたまってしまう。

本発明は上記実情に鑑みてなされたものであり、機器の操作に関してユーザを適切に支援することができる操作支援装置および操作支援方法を提供することを目的とする。

本発明に係る操作支援装置は、機器の取扱説明データを記憶する取扱説明データ記憶手段と、機器の操作に対応するデータを取得する操作データ取得手段と、前記操作データ取得手段により取得されたデータに関連する記述を前記取扱説明データ記憶手段に記憶された取扱説明データの中から検索する操作関連記述検索手段と、テキスト，音声，画像のうち少なくとも一つで表されるメモを入力するメモ入力手段と、前記メモ入力手段により入力されたメモを、前記操作関連記述検索手段により検索される記述に関連づけて記憶するメモ記憶手段と、前記操作関連記述検索手段により、ある記述が取扱説明データの中から検索された際に、その記述に関連づけられたメモが前記メモ記憶手段に記憶されていれば、当該メモを読み出して提示するメモ提示手段とを具備することを特徴とする。

本発明に係る操作支援方法は、機器の取扱説明データを第１の記憶手段に記憶しておき、機器に対して、ある操作が行われた際に、当該操作に関連する記述を前記第１の記憶手段に記憶しておいた取扱説明データの中から検索し、テキスト，音声，画像のうち少なくとも一つで表されるメモが入力された際に、当該メモを前記検索された記述に関連づけて第２の記憶手段に記憶しておき、機器に対してある操作が行われた際に、当該操作に関連する記述を前記第１の記憶手段に記憶しておいた取扱説明データの中から検索し、その記述に関連づけられたメモを前記第２の記憶手段から読み出して提示することを特徴とする。

機器の操作に関してユーザを適切に支援することができる。

以下、図面を参照して、本発明の各実施形態を説明する。
図１は、本発明の各実施形態に共通して適用されるシステムの一構成例を示す図である。
本システムは、コントローラ１、ネットワーク２、オーブンレンジ３、大型ディスプレイ４、スピーカ５、パーソナルコンピュータ（ＰＣ）６、携帯情報端末（ＰＤＡ）７、デジタルカメラ８、ヘッドフォン９、携帯電話機１０などを含んでおり、例えば家庭内に設置される。

コントローラ１は、例えば家庭電化製品などを統合管理するためのＥＣＨＯＮＥＴの規格（前述の非特許文献１を参照）に準拠した制御を実行する制御装置であり、特に、ネットワーク２に接続される個々のＥＣＨＯＮＥＴ対応機器間の通信を制御するものである。

例えば、コントローラ１は、オーブンレンジ３の操作を支援する情報としてユーザが携帯情報端末７などを用いて作成したメモ（テキスト、音声、及び画像のうちの少なくとも一つで表されるデータ）を任意の場所に置かれた機器（オーブンレンジ３内、コントローラ１内など）に記憶させるための制御を行ったり、ユーザがオーブンレンジ３を操作した際に該当するメモを読み出して、これを任意の画像出力手段（オーブンレンジ３に備えられるディスプレイ１３、携帯情報端末７に備えられるディスプレイ１７、大型ディスプレイ４など）から画像出力させたり、任意の音声出力手段（オーブンレンジ３に備えられるスピーカ１２、携帯情報端末７に備えられるスピーカ１５、単体のスピーカ５など）から音声出力させたりするための制御を行うことが可能である。
本明細書では、「画像」とは、動画像や静止画像のいずれであっても良い。

ネットワーク２は、各機器間の通信を媒介する通信網であり、例えばＥＣＨＯＮＥＴ対応機器が接続可能である。

オーブンレンジ３、大型ディスプレイ４、スピーカ５、パーソナルコンピュータ６、携帯情報端末７、および携帯電話機１０は、それぞれＥＣＨＯＮＥＴ対応のインタフェースを備えており、ネットワーク２を通じて接続される機器同士で通信を行うことが可能である。これらの機器は、ＥＣＨＯＮＥＴ規格に基づき、機器オブジェクトＩＤ、各種プロパティの種類や数値情報（例えばオーブンレンジの場合、ドアの開閉、加熱モードの設定、加熱温度、加熱時間など）を他の機器に通知する機能（ＡＰＩ）を有している。

上記オーブンレンジ３は、操作ボタン類１１、スピーカ１２、およびディスプレイ１３を備えている。操作ボタン類１１は、扉を開けるための操作ボタンや、牛乳を温めるための操作ボタンなどを含む。スピーカ１２は、上記メモなどを音声として出力することが可能である。ディスプレイ１３は、上記メモやオーブンレンジ３の取扱説明書（上記メモに該当する記述など）を表示することが可能である。このほか、上記メモなどを入力するための入力装置をオーブンレンジ３に備えるようにしてもよい。例えば、上記メモなどをテキストとして作成する際に使用されるキー類や、上記メモなどを音声として作成する際に使用されるマイクや、上記メモなどを画像として作成する際に使用されるカメラなどを備えるようにしてもよい。

大型ディスプレイ４は、上記メモやオーブンレンジ３の取扱説明書（上記メモに該当する記述など）を表示することが可能である。
スピーカ５は、上記メモなどを音声として出力することが可能である。

パーソナルコンピュータ６は、上記メモなどの情報の作成やオーブンレンジ３の取扱説明書に関する検索を行うために使用したり、上記メモやオーブンレンジ３の取扱説明書（上記メモに該当する記述など）を画像出力したり音声出力したりすることが可能である。

携帯情報端末７は、操作ボタン類１４、スピーカ１５、マイク１６、およびディスプレイ１７を備えている。また、携帯情報端末７には、デジタルカメラ８やヘッドフォン９などが接続可能である。操作ボタン類１４は、上記メモなどの情報の作成やオーブンレンジ３の取扱説明書に関する検索を行う際に使用される。スピーカ１５は、上記メモなどを音声として出力することが可能である。マイク１６は、上記メモなどを音声として作成する際に使用される。ディスプレイ１７は、上記メモやオーブンレンジ３の取扱説明書（上記メモに該当する記述など）を表示することが可能である。また、デジタルカメラ８は、動画像及び静止画像の両方を撮影可能なカメラであり、上記メモなどを画像（動画像、静止画像）として作成する際に使用される。ヘッドフォン９は、上記メモなどを音声として聞く際に使用される。

携帯電話機１０は、上記メモなどの情報の作成やオーブンレンジ３の取扱説明書に関する検索を行うために使用したり、上記メモやオーブンレンジ３の取扱説明書（上記メモに該当する記述など）を画像出力したり音声出力したりすることが可能である。

以下では、メモなどの情報の作成やオーブンレンジ３の取扱説明書に関する検索を行うための入力装置として、携帯情報端末７を使用する場合を例に挙げて説明する。

（第１の実施形態）
図２は、本発明の第１の実施形態に係る操作支援装置の機能構成を示すブロック図である。
本実施形態による操作支援装置は、取扱説明データ記憶部２１、操作データ取得部２２、操作関連記述検索部２３、メモ入力部２４、メモ記憶部２５、およびメモ提示部２６といった各種の機能を備えている。これらの各機能は、前述の図１中に示される各機器に分散して持たせるようにしてもよいし、ある機器に集約して持たせるようにしてもよい。

例えば、メモ入力部２４を携帯情報端末７に持たせる一方、取扱説明データ記憶部２１、操作データ取得部２２、操作関連記述検索部２３、メモ記憶部２５、およびメモ提示部２６をオーブンレンジ３に持たせるように構成することが可能である。

また、図３に示すように、上記各機能の全てを携帯情報端末７に集約して持たせ、ユーザによりオーブンレンジ３に対する操作があった場合にその操作に対応するデータ（プロパティの種類や数値情報など）を、ネットワーク２を通じて携帯情報端末７に通知する構成としてもよい。

上記の各機能に関して以下に説明する。
取扱説明データ記憶部２１は、オーブンレンジ３の取扱説明データを記憶するものである。
操作データ取得部２２は、オーブンレンジ３の操作に対応するデータを取得するものである。
操作関連記述検索部２３は、操作データ取得部２２により取得されたデータに関連する記述を取扱説明データ記憶部２１に記憶された取扱説明データの中から検索するものである。

メモ入力部２４は、テキスト、音声、及び画像のうちの少なくとも一つで表されるメモを入力するものである。
メモ記憶部２５は、メモ入力部２４により入力されたメモを、操作関連記述検索部２３により検索される記述に関連づけて記憶するものである。
メモ提示部２６は、操作関連記述検索部２３により、ある記述が取扱説明データの中から検索された際に、その記述に関連づけられたメモがメモ記憶部２５に記憶されていれば、当該メモを読み出してディスプレイやスピーカを通じてユーザに提示するものである。

例えば図３の構成を採用した場合、上記操作データ取得部２２に、ネットワーク２を介して通知されるデータ（プロパティの種類や数値情報など）を自然言語にマッピングする（変換する）ためのテーブルを備える。これにより、オーブンレンジ３の操作状況を携帯情報端末７の側で容易に判定することが可能となる。

ＥＣＨＯＮＥＴの基本ＡＰＩ仕様については、前述の非特許文献１における「第４部 ＥＣＨＯＮＥＴ 基本ＡＰＩ仕様」の２３ページおよび２７ページ、オーブンレンジのプロパティについては「ＡＰＰＥＮＤＩＸ ＥＣＨＯＮＥＴ 機器オブジェクト詳細規定」の１０４ページ〜１０６ページなどに詳しい記載がある。例えば、オーブンレンジのクラスグループを0x03、クラスコードを0xB8、ドアの開閉というプロパティを0xB0、ドア開を0x41、ドア閉を0x42というような値で通知するよう定められている。このため、本実施形態では、操作データ取得部２２において例えば0x41という値を「扉を開ける」という言語にマッピングする辞書（テーブル）を用いて変換し、この結果を操作関連記述検索部２３に送るようにすればよい。

図４は、オーブンレンジ３の取扱説明データの構成を示す図である。ここで、図４（ａ）は、実際の取扱説明書の内容を示しており、ディスプレイ上に表示する際に採用される形態でもある。図４（ｂ）は取扱説明書中の記述の検索処理などに対応できるよう取扱説明書を構成する個々の手順が区分された形態の取扱説明書データを示している。この取扱説明書データにおいては、手順ごとに、「テキスト」、「説明ＩＤ」、「操作番号」、「操作種類」といった項目が設けられている。

「テキスト」は、取扱説明書データ中の記述に相当するものであり、この例では手順ごとに画像ファイルなどが添付されている。「説明ＩＤ」は、メモとの関連付けなどに使用される識別符号である。「操作番号」は、操作の種類に対応して定められた番号である。「操作種類」は、操作状況に相当するものであり、取扱説明書中の記述の検索を行う際のキーとして使用される。

図５は、携帯情報端末７などのディスプレイに表示されるメモ入力用画面の一例を示す図である。このメモ入力用画面においては、ユーザは、テキスト（文章）としてメモを入力することができるほか、デジタルカメラ８などで撮像された画像を携帯情報端末７に取り込み、これをメモとすることもできる。ユーザは、「登録」ボタンなどを押すことにより、メモの登録が実行される。このとき登録されるメモは、メモデータとしてメモ記憶部２５に記憶される。

図６は、メモ記憶部２５に登録されたメモデータの構成を示す図である。メモは、取扱説明書中の該当する記述（操作手順）に関連づけて自動的に登録させることが可能である。関連づけには「説明ＩＤ」が関連キーとして使用される。また、メモと関連づけされるべき操作状況（手順）をユーザが手動で指定することも可能である。

図７は、録画／録音を通じてメモを作成するためのメモ入力用画面の一例を示す図である。このメモ入力用画面においては、ユーザは、デジタルカメラ８などを通じて被写体を録画するとともに、マイク１６などを通じて音声（例えば、「ママから注意・・・」）を録音し、これら画像と音声を合わせたストリームデータをメモとすることができる。また、周知の音声−テキスト変換技術を用いて、録音した音声をテキストに変換処理してメモとして登録するようにしてもよい。また、このメモにテキスト（例えば、“「牛乳の温め方」のメモを提示します”）を加えるようにしてもよい。この場合、図４（ｂ）中の例えば“[牛乳ボタン]を押す”（説明ＩＤ：ＯＶＳ２０３３）に関連づけられたメモ（図６参照）がメモ記憶部２５に登録される。

図８は、図７に対応するメモ出力用画面の一例を示す図である。例えば、メモを作成した本人もしくは他人がオーブンレンジ３に対して操作を行い、図４（ｂ）中の例えば“[牛乳ボタン]を押す”（説明ＩＤ：ＯＶＳ２０３３）に該当する操作状況が生じた場合、説明ＩＤ：ＯＶＳ２０３３に関連づけられたメモ（図６参照）がメモ記憶部２５から読み出され図８に示されるように表示出力／音声出力される。このとき、テキストおよび画像がディスプレイに表示され、音声がスピーカ１５（もしくはユーザが頭部に装着しているヘッドフォン）から発声される。これにより、ユーザは、例えばオーブンレンジ３の操作ボタン類１１の中の[牛乳ボタン]を押したときの注意事項などを知ることができる。また、出力すべき音声がテキストに変換された状態となっている場合は、テキストを音声合成により音声として再生してもよいし、テキストの状態のまま再生してもよいし、音声とテキストの両方を再生してもよい。音声とテキストの両方を再生した場合、ユーザの注意を喚起させる効果を向上させることができる。

次に、図９を参照して、同実施形態における動作を説明する。
例えばユーザがオーブンレンジ３に対して操作を行うと、その操作に対応するデータが操作データ取得部２２へ送られる。操作データ取得部２２がそのデータを取得すると（ステップＳ１）、操作関連記述検索部２３がそのデータに関連する記述を取扱説明データ記憶部２１に記憶された取扱説明データの中から検索する（ステップＳ２）。

例えば、「牛乳ボタン」が押された場合には、図４中に示されるような「手順３：[牛乳ボタン]を押す」が検索される。なお、検索方法としては、例えば自然言語検索などを用い、言語の一致の度合いを表すスコアによる検索結果を出力するようにする。検索結果のスコアがある一定の値以上になった場合に、関連性があることにする。キーワードや文章などから関連する情報を検索する手法については、例えば、東京大学出版会「言語と計算５ 情報検索と言語処理」（徳永健伸著）などに詳しく記載されているので、ここではその詳細な説明を割愛する。

上記ステップＳ２において検索を行った結果、スコアがある一定の値以上となった場合（ステップＳ３のＹ）、検索された記述に関連づけられたメモがメモ記憶部２５に記憶されていれば（ステップＳ４のＹ）、そのメモをディスプレイやスピーカを通じて提示する（ステップＳ５）。

ステップＳ５でメモが提示された後、もしくは、検索された記述に関連づけられたメモがメモ記憶部２５に記憶されていないことが確認された後（ステップＳ４のＮ）、ユーザが携帯情報端末７などの入力装置を用いてメモの入力を行った場合、メモ入力部２４にそのメモが送られる。メモ入力部２４にメモが入力されると（ステップＳ６のＹ）、このメモは、説明ＩＤにより上記検索された記述に関連づけられた状態（図６参照）でメモ記憶部２５に記憶され、メモ登録が完了する（ステップＳ７）。そして、ステップＳ１へ戻る。一方、メモの入力がなければ（ステップＳ６のＮ）、メモ登録を行うことなく、ステップＳ１へ戻る。

また、上記ステップＳ２において検索が行われ、スコアがある一定の値以上とならなかったことが確認された後（ステップＳ３のＮ）、ユーザが携帯情報端末７などの入力装置を用いてメモの入力を行った場合、メモ入力部２４にそのメモが送られる。

ここで、メモに関連づけるべき取扱説明書中の記述は未決定の状態にあるため、メモ提示部２６は、ユーザに対して当該メモに関連づけるべき取扱説明書中の記述を指定するよう促す。もしくは、入力されたメモの内容を使って取扱説明データ中の該当する記述を検索し、スコアの高い記述をいくつか提示してユーザに選択させるようにしてもよい（あるいは、スコアが最も高い記述を自動的に指定するようにしてもよい）。このときの検索方法としては、メモがテキストで入力されれば、自然言語などによる検索を行い、メモが音声を含む場合は、メモ音声を音声認識でテキストに変換したメモテキストで検索するなどの方法がある。

ユーザがメモに関連づけさせるべき取扱説明書中の記述を指定すると、その指定情報もメモ入力部２４に送られる（ステップＳ９）。メモ入力部２４にこれらの情報が入力されると（ステップＳ８のＹ）、メモが上記指定された取扱説明書中の記述に関連づけられた状態でメモ記憶部２５に記憶され、メモ登録が完了する（ステップＳ７）。そして、ステップＳ１へ戻る。なお、ステップＳ８においてメモの入力がなければ（ステップＳ８のＮ）、メモ登録を行うことなく、ステップＳ１へ戻る。

このように第１の実施形態によれば、オーブンレンジ３などの機器の操作中に必要なメモを提示させることができるので、機器の取扱に慣れていないユーザでも操作に関連する重要な情報を知ることができる。また、簡単にメモ登録することができるので、例えば、お年寄りや子供など、機器を普段使い慣れていない家族に対して、簡単な使い方を教えたり、危険な使い方をしないように注意を促したりすることが可能となる。また、ユーザが登録するメモが音声や映像などのように一般的に検索されにくいメディアの場合でも、関連づけられた取扱説明のテキストデータを利用して検索することができる。これにより、ユーザ自身が有用な知識やノウハウを自由に登録して、それらを再利用することが可能となる。また、このような情報を同居の家族だけでなく、遠隔地の知人や、同じ機器を利用する他人とも共有するような利用形態を実現することにより、例えば相互扶助のボランティアベースでユーザ同士が助け合い、サポートセンターへの問い合わせ回数を減らすことが可能となる。

（第２の実施形態）
図１０は、本発明の第２の実施形態に係る操作支援装置の機能構成を示すブロック図である。なお、図２と共通する要素には同一の符号を付し、その詳細な説明を省略する。
本実施形態による操作支援装置は、第１の実施形態の構成（図２参照）に対して取扱説明データ提示部３１を加えた構成となっている。

取扱説明データ提示部３１は、取扱説明データ記憶部２１に記憶された取扱説明データの少なくとも一部を提示するものである。特に、この取扱説明データ提示部３１は、メモ提示部２６によりメモが提示される際に、取扱説明データ記憶部２１に記憶された取扱説明データの中の、上記メモに関連する記述を一緒に提示する。一方、メモが提示されないときには、上記メモに関連する取扱説明書中の記述は提示させないようにする。

図１１は、メモと当該メモに関連する取扱説明データ中の記述とが一緒に提示される画面の一例を示す図である。図示の例では、「ママから注意：・・・」といったメモと、これに関連する取扱説明データ中の「牛乳の温め方」に関する記述とが同時に同一画面上に現れている。なお、ディスプレイが複数存在する場合には異なる画面上に表示させても良い。

図１２は、メモと当該メモに関連する取扱説明データ中の記述とが一緒に提示される画面を大型ディスプレイ４（図１参照）に表示させたときの一例を示す図である。このような大型ディスプレイ４を用いることにより、広い表示範囲を確保できるため、メモと取扱説明データの記述とを重ねることなく、両方の内容をすべて見せることが可能となる。また、複数種類のメモを同時に表示させることも可能となる。この表示については、当該取扱説明書中の記述に関する一連の操作（例えば、牛乳の温め方に関して操作を行う複数の操作）に関する複数のメモを表示するようにしてもよい。

なお、本実施形態における動作に関しては、メモを提示する際に関連する取扱説明データ中の記述を一緒に表示させる点を除けば、前述の図９と同様となる。

このように第２の実施形態によれば、メモが提示される際には当該メモに関連する取扱説明データ中の記述も一緒に提示されるので、上記第１の実施形態の効果に加え、ユーザにとって操作状況やメモ内容をより一層理解しやすくなるという効果が得られる。

（第３の実施形態）
図１３は、本発明の第３の実施形態に係る操作支援装置の機能構成を示すブロック図である。なお、図２と共通する要素には同一の符号を付し、その詳細な説明を省略する。
本実施形態による操作支援装置は、第１の実施形態の構成（図２参照）に対して次操作予測部４１およびメモ提示方法決定部４２を加えた構成となっている。

次操作予測部４１は、操作関連記述検索部２３により、ある記述が取扱説明データの中から検索された際に、当該取扱説明データに基づき、次に行われる操作を予測するものである。
メモ提示方法決定部４２は、次操作予測部４１により予測された操作に関する取扱説明データの記述に関連づけられたメモがメモ記憶部２５に記憶されている場合、メモ提示部２６を介してそのメモを提示する際の提示方法を決定するものである。
これらの機能により、ユーザが現在行っている操作から次に行う操作を予測して１つ先のメモを提示すれば、事前にユーザに対して注意を喚起させることが可能となる。

一つ先のメモを提示するには、図４および図６を用いて説明すると、例えばユーザが[牛乳ボタン]を押したときに、図４中の取扱説明データの手順３が検索されて手順３に関連づけられたメモ（図６中のＯＶＳ２０３３に対応するメモ）が提示されたあと、次の手順４にメモが関連づけられていないかを検索して、メモが関連づけられていることが検出されると手順４のメモ（図６中のＯＶＳ２０３４に対応するメモ）も同時に提示する。これにより、一つ前の手順の時に、先回りして次の手順に関連づけられているメモを提示することができる。

例えば、手順２の操作種類に示される「扉」を「開ける」などのように、取扱説明データ中に同様の記述が多くみられる場合、ユーザが扉を開けたときに検索が実行されても、検索される記述のスコアは低くなる。このようなときは、次に牛乳ボタンが押される確率は高くないので、次の手順に関連づけられているメモを提示することはしなくてもよい。一方、手順３の操作種類に示される「牛乳ボタン」を「押す」のように取扱説明データ中に同様の記述が多くみられない場合は、検索される記述のスコアが高くなるため、次に手順４を操作する確率も高いと考えられる。このような場合、ユーザが手順３の操作を行った時点で、次の手順４に関連づけられたメモも提示する。

このように一つ先の手順に関するメモを提示することによって、例えば、次が扉をあける手順であることがわかれば、加熱終了時に「扉の内側が熱くなっているから注意」など、のメモにより、事前に注意を喚起させることが可能となる。

また、一つ先のメモを提示する場合は、繰り返し同じメモを提示しないようにする仕組みを入れてもよい。例えば、メモごとに前回提示した時間を記憶しておき、一度提示したメモは一定時間経過した後でなければ提示しないといった処理を行ってもよい。

なお、本実施形態における動作は、図１４のフローチャートに示されるように、前述の図９のフローチャートにステップＳ１１およびＳ１２を加えたものとなる。すなわち、ステップＳ５でメモが提示された後、もしくは、検索された記述に関連づけられたメモがメモ記憶部２５に記憶されていないことが確認された後（ステップＳ４のＮ）、次操作予測部４は、次の操作手順に関連づけられたメモがあるか否かを判別し、該当するメモがあれば（ステップＳ１１のＹ）、そのメモも提示し（ステップＳ１２）、ステップＳ６へと進む。一方、該当するメモが無ければ（ステップＳ１１のＮ）、何もせずにステップＳ６へ進む。

このように第３の実施形態によれば、１つ先の操作手順に関連づけられたメモがある場合には、そのメモが早めに提示されるので、上記第１の実施形態の効果に加え、ユーザの火傷や操作ミスなどの予期せぬ事態を未然に防ぐことができるという効果が得られる。

（第４の実施形態）
図１５は、本発明の第４の実施形態に係る操作支援装置の機能構成を示すブロック図である。なお、図２と共通する要素には同一の符号を付し、その詳細な説明を省略する。
本実施形態による操作支援装置は、第１の実施形態の構成（図２参照）に対してメモ種類解析部５１およびメモ提示方法決定部５２を加えた構成となっている。

メモ種類解析部５１は、操作関連記述検索部２３により、ある記述が取扱説明データの中から検索された際に、その記述に関連づけられたメモの種類を解析するものである。
メモ提示方法決定部５２は、メモ種類解析部５１により解析されたメモの種類に応じて、メモ提示部２６を介してそのメモを提示する際の提示方法を決定するものである。
これらの機能により、メモの種類に応じて、提示方法を変えることが可能となる。

例えば、メモ入力時に、メモ入力部２４におり作成されたメニュー選択画面などを通じて「注意」、「手順」、「参照」、「補足」、「ノウハウ」などといったメモの種類を提示し、これらの中からユーザが望むメモの種類をユーザに選択させ、この選択されたメモの種類をメモに付加してメモ記憶部２５に登録するようにしてもよい。

また、テキストや音声などによるメモの内容を意味役割解析して、自動的に種類を決定するようにしてもよい。意味役割解析については、例えば、１９９９年度人工知能学会全国大会「知識情報共有システム（ＫＩＤＳ）のヘルプデスク業務への適用」ｐｐ．４８４−４８７に記載されている文脈推定知識を用いて行うことができる。メモが音声の場合、音声発話を音声の切れ目など適当な位置で区切って音声認識し、認識された発話内容からあらかじめパタン辞書に登録しておいた「気をつける」「ボタンを押す」「（数字）＋ページ」などのパタンを抽出し、パタンの出現頻度により「注意」、「手順」、「参照」などの意味役割の尤度を求めることができる。そして、尤度が高い種類をメモに付加すればよい。

図１６は、提示方法設定データの構成を示す図である。
提示方法設定データは、例えばメモ提示方法決定部５２などに記憶され、メモの種類に応じてどのような提示方法を採用すべきかが定義されている。この提示方法設定データは、ユーザが設定画面などを通じて設定・変更を行うことができる。図示の例では、メモの種類が「注意」であれば、提示方法として「点滅」および「ポップアップ」を採用し、メモの種類が「参照」であれば、提示方法として「参照先をリンクで提示する」を採用し、メモの種類が「手順」であれば、提示方法として「１つ先の手順メモを提示する」を採用するよう設定されている。

このように第４の実施形態によれば、メモの種類に応じて適切な提示方法が採用されるので、上記第１の実施形態の効果に加え、ユーザはメモの内容から注意事項などをより一層把握しやすくなるというという効果が得られる。

（第５の実施形態）
図１７は、本発明の第５の実施形態に係る操作支援装置の機能構成を示すブロック図である。なお、図２と共通する要素には同一の符号を付し、その詳細な説明を省略する。
本実施形態による操作支援装置は、第１の実施形態の構成（図２参照）に対してユーザ特定部６１、操作履歴記憶部６２、操作履歴解析部６３、およびメモ提示方法決定部６４を加えた構成となっている。

ユーザ特定部６１は、オーブンレンジ３を操作するユーザを特定するものである。
操作履歴記憶部６２は、操作データ取得部２２により取得されたデータと、ユーザ特定部６１により特定されたユーザの情報とを含む操作履歴を記憶するものである。
操作履歴解析部６３は、操作関連記述検索部２３により、ある記述が取扱説明データの中から検索された際に、このときの操作に関連する操作履歴を操作履歴記憶部６２に記憶された操作履歴の中から検索して該当するユーザの情報を取得するものである。
メモ提示方法決定部６４は、操作履歴解析部６３により取得されたユーザの情報に応じて、メモ提示部２６を介してメモを提示する際の提示方法を決定するものである。なお、本実施形態においても前述の図１６に示したデータを採用し、このデータに対してユーザごとに設定・変更できるように構成してもよい。

これらの機能により、例えば、ユーザは自分が登録したメモだけを提示させる、ふだん使わない人には登録されているメモを全部見せる、一度メモの提示が不要と言われたら二度と見せないようにする、などの処理を行うことが可能となる。

また、上記操作履歴を利用することにより、取扱説明データ中の記述を検索する際の絞り込みの精度を高めることも可能となる。例えば、図１８に示される取扱説明データおよびメモデータの例では、「オーブンボタン」を「押す」に基づく検索を行っただけでは、手順１も手順３も検索結果に含まれてしまう。このとき、操作履歴に示される直前およびその前の履歴がそれぞれ手順１および手順２と一致していれば、手順３の検索結果のスコアを高くするといった処理が可能になる。これにより、スコアの高い方の手順３が選択され、この手順３に関連づけられた適切なメモが提示されることになる。

このように第５の実施形態によれば、操作履歴からユーザに応じて適切な提示方法が採用されるので、上記第１の実施形態の効果に加え、各ユーザは自分にとって有効なメモ内容を得ることができるという効果が得られる。

（第６の実施形態）
図１９は、本発明の第６の実施形態に係る操作支援装置の機能構成を示すブロック図である。なお、図２と共通する要素には同一の符号を付し、その詳細な説明を省略する。
本実施形態による操作支援装置は、第１の実施形態の構成（図２参照）に対して検索指示部７１および取扱説明データ提示部７２を加えた構成となっている。

検索指示部７１は、ユーザからの検索要求に応じ、取扱説明データ記憶部２１に記憶された取扱説明データ中の記述の検索を操作関連記述検索部２３に対して指示するものである。
取扱説明データ提示部７２は、取扱説明データ記憶部２１に記憶された取扱説明データの少なくとも一部を提示するものである。

上記の構成において、操作関連記述検索部２３は、検索指示部７１により検索が指示された際に、取扱説明データの中から該当する記述を検索する。また、取扱説明データ提示部７２、操作関連記述検索部２３により検索された取扱説明データ中の記述を提示する。また、メモ提示部２６は、取扱説明データ提示部７２により取扱説明データ中の記述が提示された際に、その記述に関連づけられたメモをメモ記憶部２５から読み出して提示する。
なお、メモと当該メモに関連する取扱説明データ中の記述とが一緒に提示される画面の例としては、図１１や図１２に示したものと同様となる。登録されているメモが音声やテキストなどの場合は、取扱説明書データ中の該当する記述をディスプレイ上に提示し、メモをスピーカなどから音声により提示するようにすればよい。

例えば、取扱説明書データをディスプレイなどに表示し、ユーザに目次や索引からポインティングデバイスやタッチディスプレイなどにより該当ページを選択させるようにしてもよい。また、上記検索指示部７１は、例えば「牛乳の温め方を教えて」のようなユーザの発する音声を認識してテキストに変換し、取扱に関する質問であれば、自然言語検索を行うことができる。また、ディスプレイ上の仮想キーボードや、手書き文字認識機能、携帯電話の数字キーなどを利用して、質問文をテキストで入力できるようにしてもよい。

このように第６の実施形態によれば、検索された取扱説明データ中の記述が提示される際には関連するメモも一緒に提示されるので、上記第１の実施形態の効果に加え、ユーザは検索結果に関連するメモの内容も把握することができるという効果が得られる。

上記の各実施形態では、操作支援の対象となる機器がオーブンレンジである場合を例に挙げて説明したが、本発明はこれに限定されるものではなく、他の機器（炊飯器、洗濯機など）を操作支援の対象としてもよい。

本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の各実施形態に共通して適用されるシステムの一構成例を示す図。 本発明の第１の実施形態に係る操作支援装置の機能構成を示すブロック図。 オーブンレンジの操作に対応するデータを、ネットワークを通じて携帯情報端末に通知する場合の構成を示すブロック図。 オーブンレンジの取扱説明データの構成を示す図。 携帯情報端末などのディスプレイに表示されるメモ入力用画面の一例を示す図。 登録されたメモデータの構成を示す図。 録画／録音を通じてメモを作成するためのメモ入力用画面の一例を示す図。 図７に対応するメモ出力用画面の一例を示す図。 同実施形態における動作を示すフローチャート。 本発明の第２の実施形態に係る操作支援装置の機能構成を示すブロック図。 メモと当該メモに関連する取扱説明データ中の記述とが一緒に提示される画面の一例を示す図。 メモと当該メモに関連する取扱説明データ中の記述とが一緒に提示される画面を大型ディスプレイに表示させたときの一例を示す図。 本発明の第３の実施形態に係る操作支援装置の機能構成を示すブロック図。 同実施形態における動作を示すフローチャート。 本発明の第４の実施形態に係る操作支援装置の機能構成を示すブロック図。 提示方法設定データの構成を示す図。 本発明の第５の実施形態に係る操作支援装置の機能構成を示すブロック図。 同実施形態の説明で使用される取扱説明データおよびメモデータの構成を示す図。 本発明の第６の実施形態に係る操作支援装置の機能構成を示すブロック図。

符号の説明

１…コントローラ、２…ネットワーク、３…オーブンレンジ、４…大型ディスプレイ、５…スピーカ、６…パーソナルコンピュータ（ＰＣ）、７…携帯情報端末（ＰＤＡ）、８…デジタルカメラ、９…ヘッドフォン、１０…携帯電話機、１１…操作ボタン類、１２…スピーカ、１３…ディスプレイ、１４…操作ボタン類、１５…スピーカ、１６…マイク、１７…ディスプレイ、２１…取扱説明データ記憶部、２２…操作データ取得部、２３…操作関連記述検索部、２４…メモ入力部、２５…メモ記憶部、２６…メモ提示部、３１…取扱説明データ提示部、４１…次操作予測部、４２…メモ提示方法決定部、５１…メモ種類解析部、５２…メモ提示方法決定部、６１…ユーザ特定部、６２…操作履歴記憶部、６３…操作履歴解析部、６４…メモ提示方法決定部、７１…検索指示部、７２…取扱説明データ提示部。

Claims (7)

1. 機器の取扱説明データを記憶する取扱説明データ記憶手段と、
   機器の操作に対応するデータを取得する操作データ取得手段と、
   前記操作データ取得手段により取得されたデータに関連する記述を前記取扱説明データ記憶手段に記憶された取扱説明データの中から検索する操作関連記述検索手段と、
   テキスト，音声，画像のうち少なくとも一つで表されるメモを入力するメモ入力手段と、
   前記メモ入力手段により入力されたメモを、前記操作関連記述検索手段により検索される記述に関連づけて記憶するメモ記憶手段と、
   前記操作関連記述検索手段により、ある記述が取扱説明データの中から検索された際に、その記述に関連づけられたメモが前記メモ記憶手段に記憶されていれば、当該メモを読み出して提示するメモ提示手段と
   を具備することを特徴とする操作支援装置。
2. 前記取扱説明データ記憶手段に記憶された取扱説明データの少なくとも一部を提示する取扱説明データ提示手段を更に具備し、
   当該取扱説明データ提示手段は、前記メモ提示手段によりメモが提示される際に、前記取扱説明データ記憶手段に記憶された取扱説明データの中の関連する記述を一緒に提示することを特徴とする請求項１記載の操作支援装置。
3. 前記操作関連記述検索手段により、ある記述が取扱説明データの中から検索された際に、当該取扱説明データに基づき、次に行われる操作を予測する次操作予測手段と、
   前記次操作予測手段により予測された操作に関する取扱説明データの記述に関連づけられたメモが前記メモ記憶手段に記憶されている場合、前記メモ提示手段を介してそのメモを提示する際の提示方法を決定するメモ提示方法決定手段と
   を更に具備することを特徴とする請求項１記載の操作支援装置。
4. 前記操作関連記述検索手段により、ある記述が取扱説明データの中から検索された際に、その記述に関連づけられたメモの種類を解析するメモ種類解析手段と、
   前記メモ種類解析手段により解析されたメモの種類に応じて、前記メモ提示手段を介してそのメモを提示する際の提示方法を決定するメモ提示方法決定手段と
   を更に具備することを特徴とする請求項１記載の操作支援装置。
5. 機器を操作するユーザを特定するユーザ特定手段と、
   前記操作データ取得手段により取得されたデータと、前記ユーザ特定手段により特定されたユーザの情報とを含む操作履歴を記憶する操作履歴記憶手段と、
   前記操作関連記述検索手段により、ある記述が取扱説明データの中から検索された際に、そのときの操作に関連する操作履歴を前記操作履歴記憶手段に記憶された操作履歴の中から検索して該当するユーザの情報を取得する操作履歴解析手段と、
   前記操作履歴解析手段により取得されたユーザの情報に応じて、前記メモ提示手段を介してメモを提示する際の提示方法を決定するメモ提示方法決定手段と
   を更に具備することを特徴とする請求項１記載の操作支援装置。
6. 前記取扱説明データ記憶手段に記憶された取扱説明データ中の記述の検索を前記操作関連記述検索手段に対して指示する検索指示手段と、
   前記取扱説明データ記憶手段に記憶された取扱説明データの少なくとも一部を提示する取扱説明データ提示手段と
   を更に具備し、
   前記操作関連記述検索手段は、前記検索指示手段により検索が指示された際に、取扱説明データの中から該当する記述を検索し、
   前記取扱説明データ提示手段は、前記操作関連記述検索手段により検索された取扱説明データ中の記述を提示し、
   前記メモ提示手段は、前記取扱説明データ提示手段により取扱説明データ中の記述が提示された際に、その記述に関連づけられたメモを前記メモ記憶手段から読み出して提示することを特徴とする請求項１記載の操作支援装置。
7. 機器の取扱説明データを第１の記憶手段に記憶しておき、
   機器に対して、ある操作が行われた際に、当該操作に関連する記述を前記第１の記憶手段に記憶しておいた取扱説明データの中から検索し、
   テキスト，音声，画像のうち少なくとも一つで表されるメモが入力された際に、当該メモを前記検索された記述に関連づけて第２の記憶手段に記憶しておき、
   機器に対してある操作が行われた際に、当該操作に関連する記述を前記第１の記憶手段に記憶しておいた取扱説明データの中から検索し、その記述に関連づけられたメモを前記第２の記憶手段から読み出して提示することを特徴とする操作支援方法。

Images