JP2007011873A - インタフェース装置およびインタフェース方法 - Google Patents

Abstract

【課題】 様々な情報家電を簡単に操作し、ユーザがその情報家電の状態を簡単に知ることができるように情報家電とユーザとの間を仲介するインタフェース装置を提供する
【解決手段】 インタフェース装置は、状態信号と反応信号とを関連付けて蓄積部１５へ登録する登録部１４と、蓄積部の状態信号と信号取得部からの状態信号とを照合する第１の照合部１６と、蓄積部の反応信号と反応取得部からの反応信号とを照合する第２の照合部１７とを備え、他の状態信号を取得した場合に他の状態信号と蓄積部の状態信号とを照合し、対応する場合、状態信号に関連付けられた反応信号をユーザへ表現し、対応しない場合、他の状態信号をユーザへ表現し、このときユーザからの反応信号を他の状態信号と関連付けて登録し、他の反応信号を取得した場合、第２の照合部が他の反応信号と蓄積部の反応信号とを照合し、対応する場合には、反応信号に関連付けられた状態信号を電気製品へ出力する。
【選択図】 図２

Description

本発明は、インタフェース装置およびインタフェース方法に関する。

近年、ネットワークに対応した情報家電を用いたホームネットワークの開発が進んでいる。これらの情報家電は、多くの便利な機能を有し、多様な使い方ができるように構成されている。しかし、ユーザは、多数の機能から所望の機能を選択しなければならいので、所望の機能が発見できない場合には、ユーザにとって不便であった。

そこで、従来から情報家電とユーザとの間のインタフェース装置が考えられている。例えば、音声やジェスチャーによる操作指示とその意味内容とをユーザごとに編集した辞書を備えたインタフェース装置がある（特許文献１）。

また、ＵＰｎＰ(Universal Plug and Play)またはＵＤＤＩ(Universal Description Discovery and Integration) に代表されるディレクトリサービスを用いて、家電の機能をユーザ（クライアント機器）へ提示する装置がある（特許文献２）。

さらに、複数のクライアント機器が相互に連携する複数の機能を同時に扱う場合に、この連携機能に関する内容をクライアント機器がユーザに提供する方法がある（特許文献３）。この公知例では、クライアント機器がインタフェース装置として作用する。
特開２００２‐２５１２３５号公報 米国特許出願公開第２００２／００３５６２１ Ａ１号明細書 特開２００４‐３２０７４７号公報

しかし、家電の機能は設計者の独自のルールにて記述されているので、インタフェース装置がその家電機能をそのまま表現したとしても、通常、ユーザは理解できなかった。

また、ユーザが理解することができる表現に変換するためには、インタフェース装置は、多様な機能の各々に対応する表現を含む辞書を予め備えていなければならない。これは、インタフェース装置の設定に手間が掛かり、かつ、インタフェース装置の汎用性を阻害する原因となる。例えば、特定の家電に関する辞書をインタフェース装置にインストールしなければならず、かつ、その特定の家電にしかインタフェース装置を利用することができなかった。

そこで、本発明の目的は、ユーザが様々な情報家電を簡単に操作し、ユーザがその情報家電の状態を簡単に知ることができるように情報家電とユーザとの間を仲介するインタフェース装置を提供することを目的とする。

本発明に係る実施形態に従ったインタフェース装置は、ユーザによって入力された制御コマンド、ネットワークからの制御コマンド、または電気製品自身の内部状態変化に基づいて、動作状態を変更し該状態信号を出力する電気製品と通信することができるインタフェース装置において、
前記状態信号を取得する信号取得部と、前記状態信号をユーザへ表現する表現部と、前記表現部からの通知を受けたユーザの反応を反応信号として取得する反応取得部と、前記状態信号と前記反応信号とを関連付けて登録する登録部と、関連付けられた前記状態信号と前記反応信号とを格納する蓄積部と、前記蓄積部に格納された前記状態信号と前記信号取得部によって取得された他の前記状態信号とを照合する第１の照合部と、前記蓄積部に格納された前記反応信号と前記反応取得部によって取得された他の前記反応信号とを照合する第２の照合部と、前記蓄積部に格納された前記状態信号を前記電気製品へ出力して該電気製品を操作する操作部とを備え、
前記他の状態信号を取得した場合に、前記第１の照合部が該他の状態信号と前記蓄積部に格納された前記状態信号とを照合し、これらの状態信号が対応する場合には、前記表現部が前記状態信号に関連付けられた前記反応信号をユーザへ表現し、これらの状態信号が対応しない場合には、前記表現部が前記他の状態信号をユーザへ表現し、このときユーザから取得した前記反応信号を前記他の状態信号と関連付けて登録する。

本発明に係る実施形態に従ったインタフェース装置は、ユーザによって入力された制御コマンド、ネットワークからの制御コマンド、あるいは電気製品自身の状態変化に基づいて、動作状態を変更し該状態信号を出力する電気製品と通信することができるインタフェース装置であって、
前記状態信号を取得する信号取得部と、前記状態信号をユーザへ表現する表現部と、前記表現部からの通知を受けたユーザの反応を反応信号として取得する反応取得部と、前記状態信号と前記反応信号とを関連付けて登録する登録部と、関連付けられた前記状態信号と前記反応信号とを格納する蓄積部と、前記蓄積部に格納された前記状態信号と前記信号取得部によって取得された他の前記状態信号とを照合する第１の照合部と、前記蓄積部に格納された前記反応信号と前記反応取得部によって取得された他の前記反応信号とを照合する第２の照合部と、前記蓄積部に格納された前記状態信号を前記電気製品へ出力して該電気製品を操作する操作部とを備え、
前記他の状態信号を取得した場合に、前記第１の照合部が該他の状態信号と前記蓄積部に格納された前記状態信号とを照合し、これらの状態信号が対応する場合には、前記表現部が前記状態信号に関連付けられた前記反応信号をユーザへ表現し、これらの状態信号が対応しない場合には、前記表現部が前記他の状態信号をユーザへ表現し、このときユーザから取得した前記反応信号を前記他の状態信号と関連付けて登録し、
前記他の反応信号を取得した場合に、前記第２の照合部が該他の反応信号と前記蓄積部に格納された前記反応信号とを照合し、これらの反応信号が対応する場合には、前記反応信号に関連付けられた前記状態信号を前記電気製品へ出力することを特徴とする。

本発明に係る実施形態に従ったインタフェースシステムは、ユーザによって入力された制御コマンド、ネットワークからの制御コマンド、あるいは電気製品自身の状態変化に基づいて、動作状態を変更し該状態信号を出力する電気製品と、該電気製品と通信することができるインタフェース装置とを含むインタフェースシステムであって、
前記電気製品は、前記状態信号に基づく動作状態の内容を示し、前記状態信号に関連付けられた説明記述を予め出力した後、前記状態信号を出力し、
前記インタフェース装置は、前記説明記述を予め取得した後、前記状態信号を取得する信号取得部と、前記説明記述をユーザへ表現する表現部と、前記表現部からの通知を受けたユーザの反応を反応信号として取得する反応取得部と、前記状態信号と前記反応信号とを関連付けて登録する登録部と、予め取得した前記状態信号および前記説明記述、並びに、前記登録部で関連付けられた前記状態信号および前記反応信号を格納する蓄積部と、前記蓄積部に格納された前記状態信号と前記信号取得部によって取得された他の前記状態信号とを照合する第１の照合部と、前記蓄積部に格納された前記反応信号と前記反応取得部によって取得された他の前記反応信号とを照合する第２の照合部と、前記蓄積部に格納された前記状態信号を前記電気製品へ出力して該電気製品を操作する操作部とを備え、
前記他の状態信号を取得した場合に、前記第１の照合部が該他の状態信号と前記蓄積部に格納された前記状態信号とを照合し、これらの状態信号が対応する場合には、前記表現部が前記状態信号に関連付けられた前記反応信号をユーザへ表現し、これらの状態信号が対応しない場合には、前記表現部は前記他の状態信号に関連付けられた前記説明記述をユーザへ表現し、このときユーザから取得した前記反応信号を前記他の状態信号と関連付けて登録し、
前記他の反応信号を取得した場合に、前記第２の照合部が該他の反応信号と前記蓄積部に格納された前記反応信号とを照合し、これらの反応信号が対応する場合には、前記反応信号に関連付けられた前記状態信号を前記電気製品へ出力することを特徴とする。

本発明に係る実施形態に従ったインタフェースシステムは、ユーザによって入力された制御コマンド、ネットワークからの制御コマンド、あるいは電気製品自身の状態変化に基づいて、動作状態を変更し該状態信号を出力する電気製品と、該電気製品と通信することができるインタフェース装置とを含むインタフェースシステムであって、
前記電気製品は、前記状態信号に基づく動作状態の内容を示し、前記状態信号に関連付けられた説明記述、該電気製品の種別を示す種別情報と、前記状態信号とを出力し、
前記インタフェース装置は、複数の前記電気製品からそれぞれ前記説明記述、前記種別情報および前記状態信号を予め取得する信号取得部と、或る前記電気製品の前記説明記述と他の前記電気製品の前記説明記述とを照合する第１の照合部と、照合の結果、これらの説明記述が一致する場合に、これらの説明記述を１つの説明記述とし、前記複数の説明記述に関連する複数の前記種別情報をこの１つの説明記述に関連付けて登録する登録部と、複数の前記電気製品の前記種別情報および前記状態信号を前記説明記述ごとに予め格納する蓄積部と、ユーザの反応を反応信号として取得する反応取得部と、前記蓄積部に格納された前記説明記述と前記反応取得部によって取得された前記反応信号とを照合する第２の照合部と、照合の結果、前記説明記述と前記反応信号とが対応する場合に、該説明記述に関連付けられた前記複数の種別情報を表示する表示部と、前記複数の種別情報のうちユーザが選択した前記種別情報を有する前記電気製品に対して、前記説明記述に対応する前記状態信号を出力して該電気製品を操作する操作部とを備えている。

本発明に係る実施形態に従ったインタフェースシステムは、ユーザによって入力された制御コマンド、ネットワークからの制御コマンド、あるいは電気製品自身の状態変化に基づいて、動作状態を変更し該状態信号を出力する電気製品と、前記状態信号に基づく動作状態の内容を示し、前記状態信号に関連付けられた説明記述および複数の前記電気製品の複数の前記説明記述と関連付けられた連携状態信号を有し、複数の電気製品を連携して制御する機能連携制御部と、前記機能連携制御部を介して前記電気製品と通信するインタフェース装置とを含むインタフェースシステムであって、
前記機能連携制御部は、前記連携状態信号および該連携状態信号に関連付けられた前記複数の説明記述を出力し、
前記インタフェース装置は、前記連携状態信号および該連携状態信号に関連付けられた前記複数の説明記述を取得する信号取得部と、前記複数の説明記述をユーザへ表現する表現部と、前記表現部からの通知を受けたユーザの反応を反応信号として取得する反応取得部と、前記連携状態信号と前記反応信号とを関連付けて登録する登録部と、互いに関連付けられた前記連携状態信号、前記反応信号および前記複数の説明記述を格納する蓄積部と、前記蓄積部に格納された前記連携状態信号と前記信号取得部によって取得された他の前記連携状態信号とを照合する第１の照合部と、前記蓄積部に格納された前記反応信号と前記反応取得部によって取得された他の前記反応信号とを照合する第２の照合部と、前記蓄積部に格納された前記連携状態信号を前記機能連携制御部へ出力し、前記機能連携制御部を介して前記複数の電気製品を操作する操作部とを備えている。

本発明に係る実施形態に従ったインタフェースシステムは、ユーザによって入力された制御コマンド、ネットワークからの制御コマンド、あるいは電気製品自身の状態変化に基づいて、動作状態を変更し該状態信号を出力する電気製品と、該電気製品と通信することができるインタフェース装置とを含むインタフェースシステムであって、
前記電気製品は、前記状態信号に基づく動作状態の内容を示し、前記状態信号に関連付けられた説明記述、該電気製品の種別を示す種別情報と、前記状態信号とを出力し、
前記インタフェース装置は、複数の前記電気製品からそれぞれ前記説明記述、前記種別情報および前記状態信号を予め取得する信号取得部と、或る前記電気製品の前記説明記述と他の前記電気製品の前記説明記述とを照合する第１の照合部と、照合の結果、これらの説明記述が一致する場合に、これらの説明記述を１つの説明記述とし、前記複数の説明記述に関連する複数の前記種別情報をこの１つの説明記述に関連付けて登録する登録部と、複数の前記電気製品の前記種別情報および前記状態信号を前記説明記述ごとに予め格納する蓄積部と、ユーザの反応を反応信号として取得する反応取得部と、前記蓄積部に格納された前記説明記述と前記反応取得部によって取得された前記反応信号とを照合する第２の照合部と、照合の結果、前記説明記述と前記反応信号とが対応する場合に、該説明記述に関連付けられた前記複数の種別情報を表示する表示部と、前記複数の種別情報のうちユーザが選択した前記種別情報を有する前記電気製品に対して、前記説明記述に対応する前記状態信号を出力して該電気製品を操作する操作部とを備えている。

本発明によるインタフェース装置は、ユーザが様々な情報家電を簡単に操作し、ユーザがその情報家電の状態を簡単に知ることができるように情報家電とユーザとの間を仲介することができる。

以下、図面を参照して本発明に係る実施形態を説明する。以下の実施形態は、本発明を限定するものではない。

（第１の実施形態）
図１は、本発明に係る第１の実施形態に従ったインタフェース装置、情報家電機器およびユーザを示す観念図である。本実施形態では、インタフェース装置として親しみやすい身体性を有するロボット１０が採用されている。情報家電機器２０は、エアコン、冷蔵庫、テレビ、洗濯機、電子レンジ等の情報家電機器である。情報家電機器２０は、ユーザによって入力された制御コマンド、ネットワークからの制御コマンド、あるいは電気製品自身の状態変化に基づいて、動作状態を変更し該状態信号を出力することができるように構成されている。状態信号は、情報家電機器２０の動作状態を示す信号である。情報家電機器２０は、この状態信号を入力することによってその状態信号が示す動作状態に移行する。また、情報家電機器２０は、この状態信号を出力することによって、現在の自己の動作状態をロボット１０に伝達することができる。例えば、ユーザがエアコンをリモコンでＯＮ状態にした場合、リモコンはエアコンを起動させるための制御コマンドを出力する。エアコンは、この制御コマンドを取得してＯＮ状態になるとともに、ＯＮ状態を示すこの状態信号をロボット１０へ出力する。動作状態は、様々な情報家電機器２０の任意の動作または状態を意味する。

図２は、ロボット１０の内部構成を示すブロック図である。ロボット１０は、信号取得部１１、表現部１２、反応取得部１３、登録部１４、蓄積部１５、第１の照合部１６、第２の照合部１７および操作部１８を備えている。

信号取得部１１は、情報家電機器２０から出力された状態信号を取得する。信号取得部１１は、ＵＰｎＰを用いて情報家電機器２０のいずれかと通信接続することができる。

表現部１２は、状態信号をユーザに対して表現し、あるいは、蓄積部１５に格納された反応信号をユーザに対して表現する。表現方法は、ユーザが認識可能な任意の表現方法（音声、画像、ジェスチャー等）でよい。例えば、表現方法が音声である場合、表現部１２はスピーカでよい。表現方法が画像である場合、表現部１２はディスプレイでよい。表現方法がジェスチャーである場合、表現部１２はロボット１０の手、足または顔等の機構でよい。

反応取得部１３は、表現部１２から通知を受けたユーザの反応を反応信号として取得するように構成されている。反応信号は、ユーザの反応を電気的な信号に変換したものである。例えば、表現部１２が状態信号を音声で表現したときに、ユーザがその音声に対して声を出して反応したとする。この場合、反応取得部１３はマイクでよい。このマイクは、ユーザの声を反応信号として電気的な信号に変換する。ユーザがジェスチャーまたは顔の表情で応答した場合、反応取得部１３はカメラでよい。このカメラは、ユーザのジェスチャーまたは顔の表情を反応信号として電気的な信号に変換する。

登録部１４は、状態信号と反応信号とを関連付けて登録するように構成されている。例えば、表現部１２が状態信号をユーザに対して表現し、その後一定期間内におけるユーザの反応を反応取得部１３が取得する。登録部１４は、このときの状態信号と反応信号とを関連付ける。関連付けは、状態信号および反応信号に同一の識別番号を付すればよい。識別番号は乱数または日時でよい。

蓄積部１５は、登録部１４で互いに関連付けられた状態信号および反応信号を格納する。蓄積部１５は、任意の記憶媒体でよい。但し、蓄積部１５は、書込みおよび読出し可能な記憶媒体である必要がある。

第１の照合部１６は、蓄積部１５に格納された状態信号と信号取得部１１によって取得された他の状態信号とを照合する。照合はこれらの状態信号が同一信号か否かを判断することである。

第２の照合部１７は、蓄積部１５に格納された反応信号と反応取得部１３によって取得された他の反応信号とを照合する。照合はこれらの反応信号が同一信号か否かを判断することである。

操作部１８は、蓄積部１５に格納された状態信号を情報家電機器２０へ出力する。情報家電機器２０は、状態信号を受けて自己の動作状態を変更する。

ロボット１０は、ＵＰｎＰによって任意の情報家電機器２０と通信可能であるが、これらの情報家電機器２０の情報を予め備えている必要は無い。従って、ロボット１０は、情報家電機器２０の辞書等を有していない。

以下、ロボット１０の一連の動作を説明する。

（状態信号および反応信号の登録動作）
図３は、状態信号および反応信号の登録時におけるロボット１０等の動作を示した概念図である。図４は、状態信号および反応信号の登録時におけるロボット１０等の動作の流れを示すフロー図である。具体例として、エアコン２２の操作を説明する。

まず、ロボット１０は、初期状態であり、エアコン２２の情報を有していないものとする。ユーザがリモコン２１でエアコン２２を操作し、暖房をＯＮ状態にする（Ｓ１０）。このとき、エアコン２２は、リモコン２１から制御コマンドを取得し、暖房を動作させるとともに、状態信号をロボット１０へ出力する。ロボット１０は、ＵＰｎＰ経由でエアコン２２からの状態信号を取得する（Ｓ２０）。このとき、ロボット１０は、エアコン２２に関する情報を有していないので、状態信号を取得することができるものの、この状態信号の意味内容を知らない。

ロボット１０は、状態信号を蓄積部１５に格納するとともに、表現部１２でこの状態信号を表現する（Ｓ３０）。例えば、表現部１２をスピーカとすると、表現部１２は状態信号をそのまま音声として出力する。上述の通り家電の機能は設計者の独自のルールで記述されているので、このときロボット１０が出力する音声は、ユーザには理解できない場合が多い。しかし、ユーザは自らエアコン２２の暖房をＯＮ状態にしている。よって、ユーザは、ロボット１０からの音声が、エアコン２２の暖房をＯＮ状態にしたことに起因するロボット１０の表現であることが分かる。そこで、ユーザは、ロボット１０からの音声に反応して、“暖房入れたよ“と声で応答する。ロボット１０は、一定期間内に行なわれた”暖房入れたよ“というユーザの反応を反応取得部１３で取得し、この反応を応答信号へ変換する（Ｓ４０）。次に、登録部１４がこの反応信号とステップＳ２０で取得された状態信号とを関連付ける（Ｓ５０）。さらに、関連付けられた反応信号と状態信号とを蓄積部１５へ格納する（Ｓ６０）。このようにして、状態信号および反応信号の登録が完了する。

この登録動作は、エアコン２２の他の様々な機能についても実行される。また、この登録動作は、他の情報家電機器２０についても実行される。これにより、ロボット１０は、様々な情報家電機器２０の様々な機能に関する状態信号と、それらの状態信号に関連付けられた反応信号とを得ることができる。

また、反応信号は、言語の種類（英語、日本語、フランス語等）を問わない。例えば、ユーザが英語で反応すれば、ロボット１０はその英語を反応信号として状態信号と関連付けて登録するからである。さらには、反応信号は、特定のユーザのみが理解可能な暗号であってもよい。このように、ロボット１０は、ユーザ独自の言語、表情、ジェスチャー等で状態信号を登録することができる。

（関連付けの強化）
図５は、状態信号および反応信号の関連付けの強化時におけるロボット１０等の動作を示した概念図である。図６は、この関連付けの強化時におけるロボット１０等の動作の流れを示すフロー図である。

上記登録動作の終了後、さらに、ユーザがリモコン２１でエアコン２２を操作する（Ｓ７０）。このとき、エアコン２２は、リモコン２１からの制御コマンドにしたがって動作するとともに、状態信号をロボット１０へ出力する。ロボット１０は、ＵＰｎＰ経由でエアコン２２からの状態信号を取得する（Ｓ８０）。このとき、ロボット１０は、蓄積部１５内に互いに関連付けられた状態信号および反応信号を格納している。そこで、第１の照合部１６が、ステップＳ８０で取得した状態信号と、蓄積部１５内に格納された状態信号とを照合する（Ｓ９０）。その結果、これらの状態信号が対応する（一致する）場合には、表現部１４はその状態信号に関連付けられた反応信号をユーザへ表現する（Ｓ１００）。例えば、ユーザがエアコン２２の暖房を再度ＯＮ状態にした場合、ステップＳ８０で取得した状態信号と蓄積部１５内に格納された状態信号とは一致する。従って、ロボット１０は、この状態信号に関連付けられた反応信号を、表現部１２を介して出力する。即ち、ロボット１０は“暖房入れたよ”とスピーカから音声を出力する。

これに対して、ユーザが“うん、暖房だね”と一定期間内に応答する（Ｓ１０１）と、ロボット１０は、反応取得部１３においてこの応答を反応信号に変換し、さらに、登録部１４においてこの反応信号と状態信号とを関連付けて登録する（Ｓ１０２）。これにより、暖房をＯＮ状態にする状態信号に関連付けられた反応信号が増加する。また、“暖房つけたよ”および“うん、暖房だね”という反応のうち、“暖房”という文言が重複する。従って、ロボット１０は、この状態信号と“暖房”という文言との関連付け（リンク）を強化することができる。

これらの状態信号が対応しない（一致しない）場合には、表現部１４はステップＳ８０で取得した状態信号をそのままユーザへ表現する（Ｓ１１０）。状態信号をそのままユーザへ表現した場合、図４のステップＳ４０〜Ｓ６０が再度実行される。これにより、ステップＳ８０で取得した状態信号とユーザから取得した反応信号とを関連付けて登録することができる。例えば、ユーザがエアコン２２の暖房をＯＦＦ状態にした場合、ステップＳ８０で取得した状態信号と蓄積部１５内に格納された状態信号とは一致しない。従って、ロボット１０は、ステップＳ８０で取得した状態信号を出力し、それに対するユーザの反応“暖房消したよ”を取得する。さらに、ロボット１０は、ステップＳ８０で取得した状態信号と“暖房消したよ”に対応する反応信号を関連付けて登録する。

このように、ロボット１０は、様々な状態信号と様々な反応信号とを関連付け、これらを蓄積することができる。さらに、ロボット１０は、１つの状態信号に対して複数の反応信号を関連付けることによって、状態信号とユーザの反応との関連付け（リンク）を強化することができる。

（操作時の動作）
図７は、ロボット１０を介して情報家電機器２０を操作する場合におけるロボット１０等の動作を示した概念図である。図８は、ロボット１０を介して情報家電機器２０を操作する場合におけるロボット１０等の動作の流れを示すフロー図である。

状態信号および反応信号の登録動作、および／または、状態信号と反応信号との関連付け強化を繰り返すことによって、或る程度の量の状態信号および反応信号が蓄積部１５内に蓄積される。そこで、ユーザは、情報家電機器２０に状態信号を入力することなく、ロボット１０に対して反応信号のみを入力する（Ｓ１２０）。例えば、ユーザは、音声で“暖房入れて”と言うだけでよい。

ロボット１０は、反応信号取得部１３で反応信号を取得する（Ｓ１３０）。例えば、反応取得部１３が“暖房入れて”という音声を取得し、これを反応信号に変換する。次に、第２の照合部１７がこの反応信号と蓄積部１５に格納された反応信号とを照合する（Ｓ１４０）。例えば、第２の照合部１７が“暖房入れて”に対応する反応信号を蓄積部１５内で検索する。このとき、反応取得部１３により取得された反応信号と、蓄積部１５に格納された反応信号とは、完全に一致する必要は無く、或る程度一致すればよい。例えば、“暖房入れて”の“暖房入れ”という文言と、“暖房入れたよ”の“暖房入れ”という文言とが一致すれば、第２の照合部１７は、これらの反応信号が対応すると判断してよい。

その結果、これらの反応信号が対応する場合、この反応信号に関連付けられた状態信号を情報家電機器２０へ出力する（Ｓ１５０）。このとき、関連付け強化によって“暖房”という文言がこの状態信号と強く関連付けられている場合、ロボット１０は、確認のために表現部１２から“暖房、暖房”と音声を出力してもよい。次に、情報家電機器２０は、状態信号に従って動作状態を変更する。例えば、エアコンは暖房をＯＮ状態にする。これにより、ユーザは、音声で命令するだけでロボット１０をインタフェースとして情報家電機器２０を操作することができる。

反応取得部１３により取得された反応信号と蓄積部１５に格納された反応信号とが対応しない場合、ロボット１０は、動作しなくてもよい。しかし、情報家電機器２０の操作が不可能であることをユーザに通知するために、ロボット１０は情報家電機器２０を操作できないことを表現部１２から通知してもよい（Ｓ１６０）。この通知は、ロボット１０に予め設定しておいてもよい。

情報家電機器２０を操作できないことを知ったユーザは、状態信号および反応信号の登録動作および関連付けの強化動作を再度実行すればよい。

第１の実施形態において、インタフェース装置としてロボット１０を採用した。しかし、インタフェース装置は、固定された端末等であってもよい。

第１の実施形態において、反応信号は、音声を電気信号に変換したものであった。しかし、反応信号は、音声を磁気信号または光学的信号に変換したものであってもよい。

第１の実施形態おいて、反応取得部１３は、一定期間内に行なわれたユーザの反応を取得する。しかし、反応取得部１３は、ユーザが特定の合図を行なうまでユーザの反応を取得し続けてもよい。特定の合図とは、ユーザの発する特定の音声（例えば、拍手など）でよい。

第１の実施形態は、反応取得部１３により取得された反応信号と、蓄積部１５に格納された反応信号との完全一致を要求していない。そのため、第２の照合部１７は、これらの反応信号の異同を類似度として算出してもよい。類似度は、例えば、信号が音声であれば一般的な音声認識で用いられる類似度を用いてもよいし、その他、音のピッチ、音の大小、音のパターンなどの音の特徴量の類似度を用いてもよい。第２の照合部１７は、類似度の最も高い反応信号と関連付けられた状態信号を選択する。ロボット１０は、選択された状態信号を情報家電機器２０へ出力する。

ここで、この状態信号がユーザの所望するものでない場合、ユーザはその旨をロボットへ伝えればよい。例えば、ユーザが“暖房入れて”とロボット１０に命令したときに、ロボット１０が誤って冷房をＯＮ状態にする状態信号をエアコン２２へ出力したと仮定する。この場合、ユーザは、“それは冷房だよ”とロボット１０へ伝える。ロボット１０は、“それは冷房だよ”という音声を反応信号へ変換し、この反応信号と冷房をＯＮ状態にする状態信号とを関連付けて登録する。これにより、ロボット１０を学習させることができる。

このように、本実施形態によれば、ユーザは、ユーザ自身の言語、表情、ジェスチャー等を用いてロボット１０に対して自然に応対するだけでロボット１０を学習させることができ、さらにユーザ自身の言語、表情、ジェスチャー等を用いてこのロボット１０に命令するだけで情報家電機器２０を容易に操作することができる。

本実施形態におけるロボット１０は、情報家電機器２０の情報（例えば、辞書等）を必要としない。従って、ロボット１０は、様々な情報家電機器２０に対応することができ、汎用性が高い。また、このようなロボット１０は、量産に適合し、低コストで生産することができる。

（第２の実施形態）
図９は、本発明に係る実施形態に従ったロボット３０の内部構成を示すブロック図である。第２の実施形態において、ロボット３０は、車輪と、移動距離および移動方向を測定する車軸エンコーダと、インタフェース装置の周辺にある障害物を検出する超音波センサと、インタフェース装置の存在する地域のマップ情報とを備えている。これにより、ロボット３０は、自己の位置を特定し、指定された位置へ障害物を回避しつつ自律的に移動することができる。ロボット３０は、状態信号を出力した情報家電機器の設置場所へ移動することによって、どの情報家電機器の状態信号または反応信号を表現しているかをユーザへ知らせることができる。あるいは、ロボット３０は、ユーザのいる場所へ移動しつつ状態信号または反応信号を表現してもよい。これにより、ユーザは、ロボット３０が出力する反応信号を容易に聞き、あるいは、見ることができる。

また、ロボット３０は、情報家電機器２０の状態を示す文章を単語ごとに関連付けて登録する。さらに、ロボット３０は複数の単語を組み合わせる文章生成部１９をさらに備えている。これにより、ロボット３０は、様々な状態信号に対して反応信号を応用することができる。第２の実施形態では、情報家電機器の具体例として洗濯機２３を用いている。

（状態信号および反応信号の登録動作）
図１０は、状態信号および反応信号の登録時におけるロボット３０等の動作の流れを示すフロー図である。ロボット３０、情報家電機器２０およびユーザの関係を示す観念図は、図１、図３、図５および図７と同様であるので省略する。

まず、ロボット３０は、初期状態であり、洗濯機２３の情報を有していないものとする。ユーザが洗濯機２３を操作し、洗濯を開始する（Ｓ１１）。このとき、洗濯機２３は、ユーザの操作によって洗濯を開始させるとともに、状態信号をロボット３０へ出力する。ロボット３０は、ＵＰｎＰ経由で洗濯機２３からの状態信号を取得する（Ｓ２１）。このとき、ロボット３０は、洗濯機２３に関する情報を有していないので、状態信号を取得することができるものの、この状態信号の意味内容を知らない。

ロボット３０は、状態信号を蓄積部１５に格納するとともに、表現部１２でこの状態信号を表現する（Ｓ３１）。上述の通り家電の機能は設計者の独自のルールで記述されているので、このときロボット１０が出力する音声は、ユーザには理解できない場合が多い。しかし、ユーザは自ら洗濯機２３を操作している。よって、ユーザは、ロボット３０からの音声が、洗濯を開始したことに起因するロボット３０の表現であることが分かる。そこで、ユーザは、ロボット３０からの音声に反応して、“洗濯始めたよ“と声で応答する。ロボット３０は、一定期間内に行なわれた”洗濯始めたよ“というユーザの反応を反応取得部１３で取得し、この反応を応答信号へ変換する（Ｓ４１）。

次に、登録部１４がこの反応信号に含まれる単語とステップＳ２１で取得された状態信号の部分とを関連付ける（Ｓ５１）。状態信号は、情報家電機器２０の種類およびその情報家電機器の状態に関する情報を含む。例えば、情報家電機器２０の種類は、例えば、“ＷＡＳＨＥＲ（洗濯）”を意味する。情報家電機器２０の状態は、例えば、“ＳＴＡＲＴ（開始）”を意味する。また、反応信号は情報家電機器の種類およびその情報家電機器の状態に関する複数の単語を含む文章を示す。例えば、“洗濯始めたよ”という反応信号は、情報家電機器の種類に関する単語として“洗濯”と、情報家電機器の状態に関する単語として“始めたよ”という２つの単語を含むと認識される。

そこで、登録部１４は、反応信号に含まれている各単語とこれらの単語のそれぞれに対応する情報家電機器の種類またはその情報家電機器の状態とを関連付けて登録する。例えば、登録部１４は、反応信号の“洗濯”と状態信号の“ＷＡＳＨＥＲ”とを関連付け、反応信号の“始めたよ”と状態信号の“ＳＴＡＲＴ”とを関連付ける。

互いに関連付けられた反応信号の単語および状態信号の部分は、蓄積部１５へ格納される（Ｓ６１）。このようにして、状態信号および反応信号の登録が完了する。

第１の実施形態と同様に、この登録動作は、洗濯機２３の他の様々な機能についても実行される。また、反応信号は、言語の種類（英語、日本語、フランス語等）を問わない。

尚、上述の通り、通常、状態信号は設計者の独自のルールで記述されているが、第２の実施形態では、便宜的に、状態信号を英語で表わしている。

（関連付けの強化）
図１１は、この関連付けの強化時におけるロボット１０等の動作の流れを示すフロー図である。

上記登録動作の終了後、さらに、ユーザが洗濯機２３を操作する。あるいは、洗濯が終了し洗濯機２３の状態が変化する（Ｓ７１）。このとき、洗濯機２３は、ユーザの操作にしたがって動作し、もしくは、洗濯が終了する。これとともに、そのときの状態信号をロボット３０へ出力する。ロボット３０は、ＵＰｎＰ経由で洗濯機２３からの状態信号を取得する（Ｓ８１）。このとき、ロボット３０は、蓄積部１５内に単語ごとに関連付けられた状態信号および反応信号部分を格納している。そこで、第１の照合部１６が、ステップＳ８１で取得した状態信号と、蓄積部１５内に格納された状態信号部分とを照合する（Ｓ９１）。

その結果、ステップＳ８１で取得した状態信号が、蓄積部１５内に格納された複数の状態信号部分の組合せに対応する（一致する）場合には、文章生成部１９が、その複数の状態信号部分に関連付けられた総ての単語を組み合わせた文章を生成する（Ｓ１０５）。表現部１４は文章生成部１９で生成された文章を反応信号としてユーザへ表現する（Ｓ２０５）。例えば、ユーザが洗濯を開始状態にした場合、ステップＳ８１で取得した状態信号は、蓄積部１５内に格納された状態信号部分 “ＷＡＳＨＥＲ”および “ＳＴＡＲＴ”の組み合わせに一致する。従って、文章生成部１９は、この状態信号部分に関連付けられた単語“洗濯”および “始めたよ”を組み合わせた文章を生成する。表現部１２は、この文章を反応信号として出力する。即ち、ロボット１０は“洗濯始めたよ”とスピーカから音声を出力する。

これに対して、ユーザが“うん、洗濯始まったね”と一定期間内に応答する（Ｓ１０６）と、ロボット３０は、反応取得部１３においてこの応答を反応信号に変換し、さらに、登録部１４においてこの反応信号と状態信号とを単語ごとに関連付けて登録する（Ｓ１０７）。これにより、“ＷＡＳＨＥＲ” を示す状態信号部分および“ＳＴＡＲＴ” を示す状態信号部分のそれぞれに関連付けられた単語が増加する。また、“洗濯始めたよ”および“うん、洗濯始まったね”という反応のうち、“洗濯”という文言が重複する。従って、ロボット３０は、“ＷＡＳＨＥＲ” を示す状態信号部分と“洗濯”という単語との関連付け（リンク）を強化することができる。

ステップＳ８１で取得した状態信号の一部分のみが、蓄積部１５内に格納された状態信号部分に対応する（一致する）場合には、表現部１４は、ステップＳ８１で取得した状態信号のうち一致しない部分と、その状態信号のうち一致する部分に関連付けられた単語とを組み合わせてユーザへ表現する（Ｓ１０８）。例えば、洗濯が終了した場合、ステップＳ８１で取得した状態信号のうち“ＷＡＳＨＥＲ”は、蓄積部１５内に格納された状態信号部分 “ＷＡＳＨＥＲ” と一致するものの、状態信号のうち“ＦＩＮＩＳＨ（終了）”は、蓄積部１５内に格納された状態信号部分“ＳＴＡＲＴ（開始）”に一致しない。従って、ロボット３０は、“ＷＡＳＨＥＲ”を示す状態信号部分に関連付けられた単語“洗濯”と、“ＦＩＮＩＳＨ”を示す状態信号を組み合わせた文章を、表現部１２を介して出力する。状態信号は、上述の通り、音声で出力してもユーザは理解できない。従って、ロボット３０は“洗濯＊＊＊”とスピーカから音声を出力する。尚、“＊＊＊”は、“ＦＩＮＩＳＨ”を示す状態信号を音声化したものを示す。

これに対し、図１０のステップＳ４１〜Ｓ６１を再度実行する。これにより、ステップＳ８１で取得した状態信号のうち未登録の部分とユーザから取得した反応信号の単語とをさらに関連付けて登録することができる。例えば、ユーザが“洗濯終わったよ”と反応する。第２の照合部１７によって反応信号のうち“洗濯”という単語は既に登録されていることが分かる。従って、反応信号のうち“終わったよ”という単語が、ステップＳ８１で取得した状態信号のうち未登録の部分“ＦＩＮＩＳＨ”に対応することが分かる。そこで、登録部１４は、反応信号のうち“終わったよ”という単語と、ステップＳ８１で取得した状態信号のうち“ＦＩＮＩＳＨ”を意味する部分とを関連付けて登録する。

ステップＳ８１で取得した状態信号の全体が、蓄積部１５内に格納された状態信号部分のいずれにも対応しない（一致しない）場合には、表現部１４はステップＳ８１で取得した状態信号をそのままユーザへ表現する（Ｓ１１１）。その後、図１０のステップＳ４１〜Ｓ６１が再度実行される。これにより、ステップＳ８１で取得した状態信号とユーザから取得した反応信号とを単語ごとに関連付けて登録することができる。

（通知動作）
図１２は、情報家電機器２０の動作状態が変化した時におけるロボット３０等の動作の流れを示すフロー図である。

まず、情報家電機器２０の動作状態が変化すると、情報家電機器２０は、状態信号をロボット３０に対して出力する（Ｓ１２１）。例えば、洗濯機２３において洗濯が終了したとする。このとき、洗濯機２３は、“ＷＡＳＨＥＲ ＦＩＮＩＳＨ”を意味する状態信号を出力する。

ロボット３０は、ＵＰｎＰ経由で状態信号を取得する（Ｓ１３１）。これとともに、ロボット３０は、洗濯機２３へ向かって移動する（Ｓ２３５）。次に、第１の照合部１６がこの状態信号と蓄積部１５に格納された状態信号部分とを照合する（Ｓ１４１）。例えば、第１の照合部１６は、“ＷＡＳＨＥＲ”および“ＦＩＮＩＳＨ”のそれぞれに対応する状態信号部分を蓄積部１５内で検索する。

その結果、ステップＳ１３１で取得した状態信号が、蓄積部１５内に格納された複数の状態信号部分の組合せに対応する（一致する）場合には、図１１のステップＳ１０５およびＳ２０５が実行される。

ステップＳ１３１で取得した状態信号の一部分のみが、蓄積部１５内に格納された状態信号部分に対応する（一致する）場合には、図１１のステップＳ１０８が実行される。ステップＳ１３１で取得した状態信号の全体が、蓄積部１５内に格納された状態信号部分のいずれにも対応しない（一致しない）場合には、図１１のステップＳ１１１が実行される。ステップＳ２０５、Ｓ１０８およびＳ１１１は、ロボット３０が洗濯機２３の近傍に到着した後に実行されることが好ましい。

第２の実施形態によれば、ロボット３０は、情報家電機器２０の状態を示す文章を単語ごとに関連付けて登録する。さらに、ロボット３０は複数の単語を組み合わせる文章生成部１９をさらに備えている。これにより、ロボット３０は、様々な状態信号に対して反応信号を応用することができる。

ロボット３０は、状態信号を出力した情報家電機器の設置場所へ移動することによって、どの情報家電機器の状態信号または反応信号を表現しているかをユーザへ知らせることができる。

さらに、第２の実施形態は、第１の実施形態の効果をも有する。

（第３の実施形態）
第３の実施形態では、状態信号および反応信号の登録時に、ロボット１０は、状態信号とともにその状態信号と予め関連付けられた説明記述を獲得する。図１３は、情報家電機器として電子レンジ２４の説明記述を示した図である。図１４は、説明記述の内容を示す図である。

図１３のコマンドは、状態信号を含む命令である。パラメータは、命令に付随する設定値や状態である。説明記述は、各コマンドに付随して予め電子レンジ２４内に格納されている。図１４に示すように、説明記述は、情報家電機器の種別およびその状態を示している。説明記述は、ＵＰｎＰにおけるＤｅｖｉｃｅ ＤｅｓｃｒｉｐｔｉｏｎまたはＳｅｒｖｉｃｅ Ｄｅｓｃｒｉｐｔｉｏｎに該当する。Ｄｅｖｉｃｅ Ｄｅｓｃｒｉｐｔｉｏｎは、情報家電機器単位の説明記述である。Ｓｅｒｖｉｃｅ Ｄｅｓｃｒｉｐｔｉｏｎは、情報家電機器の各機能（サービス）単位の記述である。図１４では、情報家電機器の種別として“電子レンジ”とし、その状態として“オーブンで加熱“としている。この記述説明は、状態信号と予め関連付けられている。ロボット１０の構成は、第1の実施形態のロボット１０と同様でよい。

（状態信号、説明記述および反応信号の登録時）
図１５は、状態信号、説明記述および反応信号の登録時におけるロボット１０等の動作を示した概念図である。図１６は、状態信号、説明記述および反応信号の登録時におけるロボット１０等の動作の流れを示すフロー図である。まず、ロボット１０は、初期状態であり、電子レンジ２４の情報を有していないものとする。ユーザが電子レンジ２４を操作し、オーブンを起動させる（Ｓ１２）。このとき、電子レンジ２４は、状態信号とともに、この状態信号に関連付けられた説明記述を出力する。ロボット１０は、ＵＰｎＰ経由で電子レンジ２４からの状態信号および説明記述を取得する（Ｓ２２）。ロボット１０は、電子レンジ２４に関する情報を有していないので、状態信号を取得することができるものの、この状態信号の意味内容を知らない。

ロボット１０は、状態信号および説明記述を蓄積部１５に格納するとともに、表現部１２でこの説明記述を表現する（Ｓ３２）。例えば、表現部１２をスピーカとすると、表現部１２は説明記述を音声として出力する。例えば、表現部１２は“オーブンで加熱”と表現する。説明記述は、図１４に示すようにユーザに理解できる言語で記述されているので、このときロボット１０が出力する音声によって、ユーザは、電子レンジ２４の状態を理解することができる。しかし、これは、ユーザ自身の言葉とは異なる。そこで、ユーザは、ロボット１０からの音声に反応して、“オーブンつけたよ“と声で応答する。ロボット１０は、一定期間内に行なわれた”オーブンつけたよ“というユーザの反応を反応取得部１３で取得し、この反応を応答信号へ変換する（Ｓ４２）。次に、登録部１４がこの反応信号とステップＳ２２で取得された状態信号または説明記述とを関連付ける（Ｓ５２）。さらに、関連付けられた反応信号、状態信号および説明記述を蓄積部１５へ格納する（Ｓ６２）。このようにして、状態信号、説明記述および反応信号の登録が完了する。

（状態信号、説明記述および反応信号の関連付けの強化）
状態信号、説明記述および反応信号の関連付けの強化は、第1の実施形態とほぼ同様である。但し、ステップＳ９０の後、状態信号が一致しない場合、ステップＳ１１０において、ロボット１０は、状態信号の代わりに、説明記述を表現する。

（操作時の動作）
操作時の動作は、第１の実施形態と同様である。

第３の実施形態は、第1の実施形態と同様の効果を有する。さらに、第３の実施形態では、情報家電機器２０が予め状態信号と関連付けられた記述説明を格納している。従って、ロボット１０は、状態信号を表現することなく、記述説明を表現するので、ユーザは、反応信号の登録を容易に行うことができる。即ち、ユーザは、ロボット１０を容易に学習させることができる。

（第４の実施形態）
本発明に係る第４の実施形態によるインタフェースシステムは、図１に示すロボット１０および情報家電機器２０でよい。ロボット１０は図２に示す構成と同様の構成でよい。情報家電機器２０の機能（状態信号）はＵＰｎＰにより公開され、ロボット１０が、ＵＰｎＰによりこの状態信号を収集する。即ち、情報家電機器２０がＵＰｎＰデバイスであり、ロボット１０がＵＰｎＰコントロールポイント（ＵＰｎＰ‐ＣＰ）であってよい。

ロボット１０は、蓄積部１５内に図１７に示すような分類表を格納している。図１７に示す分類表は、家電に搭載される機能を２つのカテゴリに分類し説明するものである。第１のカテゴリは、人や環境に関連する物理単位作用のカテゴリであり、例えば、人間の五感に関係する“光、音、匂い、味、触覚、熱”、環境に影響する“液体、気体、動き、生物、存在”および、“電気、量、時間”等である。第２のカテゴリは、第1のカテゴリに対する物理的な作用を示すカテゴリであり、第1のカテゴリの“光”に対しては“表示、照明、印刷”等である。第1のカテゴリおよび第２のカテゴリは、それぞれ互いに関連付けられている。例えば、第1のカテゴリ“光”は、第２のカテゴリ“表示、照明、印刷”等に関連付けられている。第1のカテゴリ“音”は、第２のカテゴリ“音響再生、音声録音、喚起音生成”等に関連付けられている。この分類表は、事前にロボット１０に格納しておくか、あるいは、情報家電機器２０から取得した情報をもとにロボット１０が作成する。

情報家電機器２０は、自身が搭載する各機能を、上記各分類にて表現し、説明記述として格納する。例えば、テレビには、モニタ、スピーカ、などが搭載されている。モニタであれば、“第１のカテゴリ（光）、第２のカテゴリ（映像表示）”、スピーカであれば、“第1のカテゴリ（音）、第２のカテゴリ（音響再生）”の様に表現する。

また、情報家電機器２０は、それぞれの自己の種別を示す種別情報、この種別情報に関連する状態信号およびこの種別情報に関連する説明記述を有している。種別情報は、例えば、エアコン、テレビ等の情報家電機器２０の種類であってよい。さらに、種別情報は、エアコンの温度測定部、エアコンの暖房部、エアコンの除菌部、テレビの画面、テレビの音声出力部（スピーカ）等のように情報家電機器２０内の部分の種類であってもよい。

状態信号および説明記述は、第３の実施形態のそれらと同様でよい。

以下、第４の実施形態によるインタフェースシステムの動作を説明する。

（種別信号、状態信号および記述説明の登録動作）
図１８は、種別信号、状態信号および記述説明の登録時におけるロボット１０等の動作の流れを示すフロー図である。

まず、複数の情報家電機器２０が予めロボット１０へ種別信号、状態信号および説明記述を出力する（Ｓ４１０）。ロボット１０は、ＵＰｎＰ経由でこれらの情報家電機器２０からの種別信号、状態信号および説明記述を取得する（Ｓ４２０）。

次に、第１の照合部１６が、或る情報家電機器２０の説明記述を他の情報家電機器２０の説明記述と照合する（Ｓ４３０）。照合の結果、複数の説明記述が一致する場合に、登録部１４は、これらの説明記述を１つの説明記述とし、これらの説明記述に関連する複数の種別情報および複数の状態信号をこの１つの説明記述に関連付けて登録する（Ｓ４４０）。例えば、ロボット１０は、種別情報“エアコンの温度測定部”に関連する説明記述“温度測定する”、および、種別情報“冷蔵庫の温度測定部”に関連する説明記述“温度測定する”を取得したと仮定する。このとき、状態信号は、“温度測定する”を示す信号であるので、説明記述とともに取得したとする。この場合、２つの説明記述“温度測定する”は一致するので、登録部１４は、“温度測定する”という１つの状態信号に対して２つの種別情報“エアコンの温度測定部”および “冷蔵庫の温度測定部”を関連付けて登録する。この登録部１４で登録された種別情報および説明記述は、蓄積部１５に格納される（Ｓ４６０）。このとき、図１９に示すように、分類表の“熱”の欄に“エアコンの温度測定部”および “冷蔵庫の温度測定部”が“温度測定”という説明記述に関連付けられて格納される。

図２０は、説明記述（物理機能）、種別情報およびロボット１０との関係を示す概念図である。例えば、説明記述“情報表示”に対しては、３つの種別情報“テレビ（画面）”、“時計（表示部）”およびＤＳＣ（画面）“が関連付けられている。説明記述“温度測定”に対しては、２つの種別情報“エアコン（温度測定部）”および“冷蔵庫（温度測定部）”が関連付けられている。このように、蓄積部１５は、種別情報を説明記述ごとに分類して格納している。

（操作時の動作）
図２１は、操作時のインタフェースシステムの動作の流れを示すフロー図である。まず、ユーザは、所望する機能をロボット１０に対して命令する。ここで言うユーザとは、インタフェース装置の操作をする利用者、もしくは、インタフェース装置内部のアプリケーションプログラムなどを指す。このとき、ロボット１０は、ユーザの命令を反応信号として取得する（Ｓ４７０）。次に、第２の照合部１７が、蓄積部１５に格納された説明記述と反応取得部１３によって取得された反応信号とを照合する（Ｓ４８０）。照合の結果、これらの説明記述と反応信号とが対応する場合に、表示部１２は説明記述に関連付けられた複数の種別情報を表示する（Ｓ４９０）。例えば、ユーザの命令（反応信号）が“温度を知りたい”であった場合、表示部１２は、温度に関する説明記述“温度測定”に関連付けられた “エアコン（温度測定部）”および“冷蔵庫（温度測定部）“という２つの種別情報を表示する。

さらに、ユーザがこれらの種別情報のいずれかを選択した場合、操作部１８は、選択された種別情報を有する情報家電機器２０に対して説明記述を出力する（Ｓ４９１）。情報家電機器２０は、この説明記述に従って動作する。例えば、ユーザが冷蔵庫の温度でなく、室温を知りたい場合には、ユーザは“エアコン（温度測定部）”を選択する。操作部１８は、説明記述“温度測定”に対応する状態信号をエアコンへ出力する。エアコンは、室内の温度を測定する温度測定部で気温を測定し、その結果をロボット１０へ返す。ロボット１０は、気温を表示部１２で表示する。これにより、ユーザは室温を知ることができる。

第４の実施形態によれば、ロボット１０は、情報家電機器２０の物理的な機能（説明記述）ごとに情報家電機器２０の種別情報を格納している。よって、ユーザは、個々の情報家電機器２０が有する機能を知る必要が無く、機能のみを命令することによってロボット１０からその機能を有する情報家電機器２０を知得することができる。

第４の実施形態は、第２の実施形態と組み合わせてもよい。それによって、ロボット１０は、取得した説明記述を文章生成部１９（図９参照）に入力し、文章生成部１９によって生成された文章をユーザに表示することができる。

（第５の実施形態）
図２２は、本発明に係る第５の実施形態に従ったインタフェース装置（ロボット）１０、情報家電機器２０、機能連携制御部３０およびユーザを示す観念図である。

機能連携制御部３０は、情報家電機器２０の説明記述、情報家電機器２０の状態信号および連携状態信号を予め格納している。説明記述は、情報家電機器２０の状態信号に基づく動作状態の内容を示し、情報家電機器２０の状態信号に関連付けられている。１つの連携状態信号は、複数の情報家電機器の複数の説明記述と関連付けられている。

機能連携制御部３０の例としては、特開２００４−３２０７４７号公報に記載されたクライアントがある。ロボット１０および情報家電機器２０の構成は、第１の実施形態のそれらと同様でよい。

（連携状態信号、説明記述および反応信号の登録時）
図２３は、連携状態信号、説明記述および反応信号の登録時におけるロボット１０等の動作の流れを示すフロー図である。まず、ユーザが機能連携制御部３０を介して複数の情報家電機器を操作する（Ｓ５１０）。このとき、機能連携制御部３０は、状態信号を複数の情報家電機器へ出力するとともに、連携状態信号および該連携状態信号に関連付けられた複数の説明記述をロボット１０へ出力する（Ｓ５２０）。この説明記述は、複数の情報家電機器へ出力した状態信号に関する説明である。ロボット１０は、連携状態信号および該連携状態信号に関連付けられた複数の説明記述を取得する。例えば、連携状態信号が“ＸＸＸ”に関連付けられた第１の説明記述が“テレビにスーパーインポーズする”という音声であり、第２の説明記述が“（洗濯物を取り出す画像）”であると仮定する。連携状態信号は、家電の連携機能を設計する設計者の独自のルールにて記述されているので、インタフェース装置においては一般に連携状態信号（例えば、ＸＸＸ）が何であるか理解できない。

次に、ロボット１０は、取得した複数の説明記述を表現部１２においてユーザへ表現する（Ｓ５３０）。表現部１２からの通知を受けたユーザが反応する。反応取得部１３は、ユーザの反応を反応信号として取得する（Ｓ５４０）。例えば、表現部１２は、第１の説明記述“テレビにスーパーインポーズする”という音声を出力しつつ、第２の説明記述“洗濯の状態を通知する”様子を音声や画像で表示する。ユーザはこれに対して、“洗濯の終了通知だ”とロボット１０へ発話する。反応取得部１３は、このユーザの音声を反応信号として直接取得するか、あるいは、その音声を情報処理した結果を反応信号として取得する。

次に、ロボット１０は、登録部１４において連携状態信号と反応信号とを関連付けて登録する（Ｓ５５０）。蓄積部１５は、互いに関連付けられた連携状態信号、反応信号および複数の説明記述を格納する（Ｓ５６０）。

（操作時の動作）
図２４は、操作時の動作でのロボット１０、情報家電機器２０、機能連携制御部３０およびユーザを示す観念図である。図２５は、操作時におけるロボット１０等の動作の流れを示すフロー図である。

ユーザがロボット１０へ命令する（Ｓ５７０）。ロボット１０は、反応取得部１３でこの命令を反応信号として取得する（Ｓ５８０）。そして、第２の照合部は、反応取得部１３で取得した反応信号と蓄積部１５に格納された反応信号とを照合する（Ｓ５９０）。このとき、これらの反応信号が対応する場合、その反応信号に関連付けられた連携状態信号を機能連携制御部３０へ出力する（Ｓ５９１）。これにより、機能連携制御部３０は、複数の情報家電機器へ状態信号を出力する（Ｓ５９２）。例えば、反応信号が“洗濯の終了通知してくれ”である場合、ロボット１０は連携状態信号“ＸＸＸ”に対応する制御信号を機能連携制御部３０へ出力する。これにより、機能連携制御部３０が、テレビおよび洗濯機のそれぞれへ“画面にスーパーインポーズする”および“洗濯終了通知”を意味する制御信号を出力する。

次に、ロボット１０は、第１の照合部１６において機能連携制御部３０から取得した他の連携状態信号と蓄積部１５に格納された連携状態信号とを照合する（Ｓ５９３）。例えば、洗濯終了後、洗濯機は、“洗濯終了”を意味する状態信号を機能連携制御部３０へ出力する。機能連携制御部３０は、テレビの画面に“（洗濯物を取り出す画像）”や“洗濯が終了しました”という文字などを表示し、これとともに、連携状態信号“ＸＸＸ”をロボット１０へ出力する。ロボット１０は、連携状態信号“ＸＸＸ”を蓄積部１５に格納された連携状態信号と照合する。連携状態信号“ＸＸＸ”は、応答信号 “洗濯の終了通知だ”と関連付けられているので、ロボット１０は、ユーザに対して“洗濯の終了通知だ”という反応信号を音声で出力する（Ｓ５９４）。これにより、ユーザは、洗濯物を取り出す画像がテレビに表示されていることが分かる。

このように、第５の実施形態では、ユーザは、ロボット１０を介して機能連携制御部３０を制御することができる。ロボット１０は、各情報家電機器の機能の意味を理解する必要がないだけでなく、それらの組み合わせにより構成されるサービスの意味も理解する必要がない。このため、情報家電機器の設計とロボット１０の設計を独立して行うことができる。

第５の実施形態は、第２の実施形態と組み合わせてもよい。それによって、ロボット１０は、取得した説明記述を文章生成部１９（図９参照）に入力し、文章生成部１９によって生成された文章をユーザに表示することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明に係る第１の実施形態に従ったインタフェース装置、情報家電機器およびユーザを示す観念図。 ロボット１０の内部構成を示すブロック図。 状態信号および反応信号の登録時におけるロボット１０等の動作を示した概念図。 図４は、状態信号および反応信号の登録時におけるロボット１０等の動作の流れを示すフロー図。 状態信号および反応信号の関連付けの強化時におけるロボット１０等の動作を示した概念図。 関連付けの強化時におけるロボット１０等の動作の流れを示すフロー図。 情報家電機器２０の操作時におけるロボット１０等の動作を示した概念図。 情報家電機器２０の操作時におけるロボット１０等の動作の流れを示すフロー図。 本発明に係る実施形態に従ったロボット３０の内部構成を示すブロック図。 状態信号および反応信号の登録時におけるロボット３０等の動作の流れを示すフロー図。 関連付けの強化時におけるロボット１０等の動作の流れを示すフロー図。 情報家電機器２０の動作状態が変化した時におけるロボット３０等の動作の流れを示すフロー図。 情報家電機器として電子レンジ２４の説明記述を示した図。 説明記述の内容を示す図。 状態信号、説明記述および反応信号の登録時におけるロボット１０等の動作を示した概念図。 状態信号、説明記述および反応信号の登録時におけるロボット１０等の動作の流れを示すフロー図。 分類表を示す図。 種別信号、状態信号および記述説明の登録時におけるロボット１０等の動作の流れを示すフロー図。 分類表を示す図。 説明記述（物理機能）、種別情報およびロボット１０との関係を示す概念図。 操作時のインタフェースシステムの動作の流れを示すフロー図。 本発明に係る第５の実施形態に従ったインタフェース装置（ロボット）１０、情報家電機器２０、機能連携制御部３０およびユーザを示す観念図。 連携状態信号、説明記述および反応信号の登録時におけるロボット１０等の動作の流れを示すフロー図。 操作時の動作でのロボット１０、情報家電機器２０、機能連携制御部３０およびユーザを示す観念図。 操作時におけるロボット１０等の動作の流れを示すフロー図。

符号の説明

１０ ロボット
１１ 信号取得部
１２ 表現部
１３ 反応取得部
１４ 登録部
１５ 蓄積部
１６ 第１の照合部
１７ 第２の照合部
１８ 操作部
２０ 情報家電機器

Claims (12)

1. ユーザによって入力された制御コマンド、ネットワークからの制御コマンド、または電気製品自身の内部状態変化に基づいて、動作状態を変更し該状態信号を出力する電気製品と通信することができるインタフェース装置において、
   前記状態信号を取得する信号取得部と、
   前記状態信号をユーザへ表現する表現部と、
   前記表現部からの通知を受けたユーザの反応を反応信号として取得する反応取得部と、
   前記状態信号と前記反応信号とを関連付けて登録する登録部と、
   関連付けられた前記状態信号と前記反応信号とを格納する蓄積部と、
   前記蓄積部に格納された前記状態信号と前記信号取得部によって取得された他の前記状態信号とを照合する第１の照合部と、
   前記蓄積部に格納された前記反応信号と前記反応取得部によって取得された他の前記反応信号とを照合する第２の照合部と、
   前記蓄積部に格納された前記状態信号を前記電気製品へ出力して該電気製品を操作する操作部とを備え、
   前記他の状態信号を取得した場合に、前記第１の照合部が該他の状態信号と前記蓄積部に格納された前記状態信号とを照合し、これらの状態信号が対応する場合には、前記表現部が前記状態信号に関連付けられた前記反応信号をユーザへ表現し、これらの状態信号が対応しない場合には、前記表現部が前記他の状態信号をユーザへ表現し、このときユーザから取得した前記反応信号を前記他の状態信号と関連付けて登録することを特徴とするインタフェース装置。
2. ユーザによって入力された制御コマンド、ネットワークからの制御コマンド、または電気製品自身の内部状態変化に基づいて、動作状態を変更し該状態信号を出力する電気製品と通信することができるインタフェース装置において、
   前記状態信号を取得する信号取得部と、
   前記状態信号をユーザへ表現する表現部と、
   前記表現部からの通知を受けたユーザの反応を反応信号として取得する反応取得部と、
   前記状態信号と前記反応信号とを関連付けて登録する登録部と、
   関連付けられた前記状態信号と前記反応信号とを格納する蓄積部と、
   前記蓄積部に格納された前記状態信号と前記信号取得部によって取得された他の前記状態信号とを照合する第１の照合部と、
   前記蓄積部に格納された前記反応信号と前記反応取得部によって取得された他の前記反応信号とを照合する第２の照合部と、
   前記蓄積部に格納された前記状態信号を前記電気製品へ出力して該電気製品を操作する操作部とを備え、
   前記他の状態信号を取得した場合に、前記第１の照合部が該他の状態信号と前記蓄積部に格納された前記状態信号とを照合し、これらの状態信号が対応する場合には、前記表現部が前記状態信号に関連付けられた前記反応信号をユーザへ表現し、これらの状態信号が対応しない場合には、前記表現部が前記他の状態信号をユーザへ表現し、このときユーザから取得した前記反応信号を前記他の状態信号と関連付けて登録し、
   前記他の反応信号を取得した場合に、前記第２の照合部が該他の反応信号と前記蓄積部に格納された前記反応信号とを照合し、これらの反応信号が対応する場合には、前記反応信号に関連付けられた前記状態信号を前記電気製品へ出力することを特徴とするインタフェース装置。
3. 前記状態信号が前記情報家電機器の種類およびその情報家電機器の状態に関する情報を含み、前記反応信号が前記情報家電機器の種類およびその情報家電機器の状態に関する複数の単語を含む文章を示す場合、前記登録部は前記反応信号に含まれている各単語とこれらの単語のそれぞれに該当する前記情報家電機器の種類およびその情報家電機器の状態とを関連付けて登録し、
   前記第１の照合部は、他の前記状態信号に含まれる前記情報家電機器の種類と前記蓄積部に蓄積された前記情報家電機器の種類とを照合し、他の前記状態信号に含まれる前記情報家電機器の状態に関する情報と前記蓄積部に蓄積された前記情報家電機器の状態に関する情報とを照合し、
   対応する前記情報家電機器の種類に関連付けられた単語と対応する前記情報家電機器の状態に関連付けられた単語とを組み合わせる文章生成部をさらに備えたことを特徴とする請求項１または請求項２に記載のインタフェース装置。
4. 前記反応信号は、音声、画像またはジェスチャーを信号に変換したものであることを特徴とする請求項１または請求項２に記載のインタフェース装置。
5. 車輪と、
   移動距離および移動方向を測定する車軸エンコーダと、
   前記インタフェース装置の周辺にある障害物を検出する超音波センサと、
   前記インタフェース装置の存在する地域のマップ情報とを備え、
   前記状態信号を出力した前記情報家電機器のある位置へ移動することを特徴とする請求項１または請求項２に記載のインタフェース装置。
6. 車輪と、
   移動距離および移動方向を測定する車軸エンコーダと、
   前記インタフェース装置の周辺にある障害物を検出する超音波センサと、
   前記インタフェース装置の存在する地域のマップ情報とを備え、
   ユーザのいる位置へ移動することを特徴とする請求項１または請求項２に記載のインタフェース装置。
7. ユーザによって入力された制御コマンド、ネットワークからの制御コマンド、または電気製品自身の内部状態変化に基づいて、動作状態を変更し該状態信号を出力する電気製品と、該電気製品と通信することができるインタフェース装置とを含むインタフェースシステムにおいて、
   前記電気製品は、前記状態信号に基づく動作状態の内容を示し、前記状態信号に関連付けられた説明記述を予め出力した後、前記状態信号を出力し、
   前記インタフェース装置は、
   前記説明記述を予め取得した後、前記状態信号を取得する信号取得部と、
   前記説明記述をユーザへ表現する表現部と、
   前記表現部からの通知を受けたユーザの反応を反応信号として取得する反応取得部と、
   前記状態信号と前記反応信号とを関連付けて登録する登録部と、
   予め取得した前記状態信号および前記説明記述、並びに、前記登録部で関連付けられた前記状態信号および前記反応信号を格納する蓄積部と、
   前記蓄積部に格納された前記状態信号と前記信号取得部によって取得された他の前記状態信号とを照合する第１の照合部と、
   前記蓄積部に格納された前記反応信号と前記反応取得部によって取得された他の前記反応信号とを照合する第２の照合部と、
   前記蓄積部に格納された前記状態信号を前記電気製品へ出力して該電気製品を操作する操作部とを備え、
   前記他の状態信号を取得した場合に、前記第１の照合部が該他の状態信号と前記蓄積部に格納された前記状態信号とを照合し、これらの状態信号が対応する場合には、前記表現部が前記状態信号に関連付けられた前記反応信号をユーザへ表現し、これらの状態信号が対応しない場合には、前記表現部は前記他の状態信号に関連付けられた前記説明記述をユーザへ表現し、このときユーザから取得した前記反応信号を前記他の状態信号と関連付けて登録し、
   前記他の反応信号を取得した場合に、前記第２の照合部が該他の反応信号と前記蓄積部に格納された前記反応信号とを照合し、これらの反応信号が対応する場合には、前記反応信号に関連付けられた前記状態信号を前記電気製品へ出力することを特徴とするインタフェースシステム。
8. ユーザによって入力された制御コマンド、ネットワークからの制御コマンド、または電気製品自身の内部状態変化に基づいて、動作状態を変更し該状態信号をネットワークに出力する電気製品と、該電気製品とネットワーク経由で通信することができるインタフェース装置とを含むインタフェースシステムにおいて、
   前記電気製品は、前記状態信号に基づく動作状態の内容を示し、前記状態信号に関連付けられた説明記述、該電気製品の種別を示す種別情報と、前記状態信号とを出力し、
   前記インタフェース装置は、
   複数の前記電気製品からそれぞれ前記説明記述、前記種別情報および前記状態信号を予め取得する信号取得部と、
   或る前記電気製品の前記説明記述と他の前記電気製品の前記説明記述とを照合する第１の照合部と、
   照合の結果、これらの説明記述が一致する場合に、これらの説明記述を１つの説明記述とし、前記複数の説明記述に関連する複数の前記種別情報をこの１つの説明記述に関連付けて登録する登録部と、
   複数の前記電気製品の前記種別情報および前記状態信号を前記説明記述ごとに予め格納する蓄積部と、
   ユーザの反応を反応信号として取得する反応取得部と、
   前記蓄積部に格納された前記説明記述と前記反応取得部によって取得された前記反応信号とを照合する第２の照合部と、
   照合の結果、前記説明記述と前記反応信号とが対応する場合に、該説明記述に関連付けられた前記複数の種別情報を表示する表示部と、
   前記複数の種別情報のうちユーザが選択した前記種別情報を有する前記電気製品に対して、前記説明記述に対応する前記状態信号を出力して該電気製品を操作する操作部とを備えたインタフェースシステム。
9. ユーザによって入力された制御コマンド、ネットワークからの制御コマンド、または電気製品自身の内部状態変化に基づいて、動作状態を変更し該状態信号をネットワークに出力する電気製品と、前記状態信号に基づく動作状態の内容を示し、前記状態信号に関連付けられた説明記述および複数の前記電気製品の複数の前記説明記述と関連付けられた連携状態信号を有し、複数の電気製品を連携して制御する機能連携制御部と、前記機能連携制御部を介して前記電気製品と通信するインタフェース装置とを含むインタフェースシステムにおいて、
   前記機能連携制御部は、前記連携状態信号および該連携状態信号に関連付けられた前記複数の説明記述を出力し、
   前記インタフェース装置は、
   前記連携状態信号および該連携状態信号に関連付けられた前記複数の説明記述を取得する信号取得部と、
   前記複数の説明記述を表現する表現部と、
   前記表現部からの通知に対する反応を反応信号として取得する反応取得部と、
   前記連携状態信号と前記反応信号とを関連付けて登録する登録部と、
   互いに関連付けられた前記連携状態信号、前記反応信号および前記複数の説明記述を格納する蓄積部と、
   前記蓄積部に格納された前記連携状態信号と前記信号取得部によって取得された他の前記連携状態信号とを照合する第１の照合部と、
   前記蓄積部に格納された前記反応信号と前記反応取得部によって取得された他の前記反応信号とを照合する第２の照合部と、
   前記蓄積部に格納された前記連携状態信号を前記機能連携制御部へ出力し、前記機能連携制御部を介して前記複数の電気製品を操作する操作部とを備えたインタフェースシステム。
10. ユーザによって入力された制御コマンド、ネットワークからの制御コマンド、または電気製品自身の内部状態変化に基づいて、動作状態を変更し該状態信号をネットワークに出力する電気製品と、該電気製品と通信することができるインタフェース装置とを含むインタフェースシステムにおいて、
    前記電気製品は、前記状態信号に基づく動作状態の内容を示し、前記状態信号に関連付けられた説明記述、該電気製品の種別を示す種別情報と、前記状態信号とを出力し、
    前記インタフェース装置は、
    複数の前記電気製品からそれぞれ前記説明記述、前記種別情報および前記状態信号を予め取得する信号取得部と、
    或る前記電気製品の前記説明記述と他の前記電気製品の前記説明記述とを照合する第１の照合部と、
    照合の結果、これらの説明記述が一致する場合に、これらの説明記述を１つの説明記述とし、前記複数の説明記述に関連する複数の前記種別情報をこの１つの説明記述に関連付けて登録する登録部と、
    複数の前記電気製品の前記種別情報および前記状態信号を前記説明記述ごとに予め格納する蓄積部と、
    ユーザの反応を反応信号として取得する反応取得部と、
    前記蓄積部に格納された前記説明記述と前記反応取得部によって取得された前記反応信号とを照合する第２の照合部と、
    照合の結果、前記説明記述と前記反応信号とが対応する場合に、該説明記述に関連付けられた前記複数の種別情報を表示する表示部と、
    前記複数の種別情報のうちユーザが選択した前記種別情報を有する前記電気製品に対して、前記説明記述に対応する前記状態信号を出力して該電気製品を操作する操作部とを備えたインタフェースシステム。
11. 前記状態信号が前記情報家電機器の種類およびその情報家電機器の状態に関する情報を含み、前記反応信号が前記情報家電機器の種類およびその情報家電機器の状態に関する複数の単語を含む文章を示す場合、前記登録部は前記反応信号に含まれている各単語とこれらの単語のそれぞれに該当する前記情報家電機器の種類およびその情報家電機器の状態とを関連付けて登録し、
    対応する前記情報家電機器の種類に関連付けられた単語と対応する前記情報家電機器の状態に関連付けられた単語とを組み合わせる文章生成部をさらに備えたことを特徴とする請求項９または請求項１０に記載のインタフェースシステム。
12. 前記反応信号は、音声、画像またはジェスチャーを信号に変換したものであることを特徴とする請求項９または請求項１０に記載のインタフェースシステム。

Images