JP2005086768A - 制御装置、制御方法およびプログラム - Google Patents

Abstract

【課題】各種機器を接続したネットワークを利用して、これら各種機器を各ユーザのそれぞれの習慣に合った設定で容易に動作させることができる制御装置を提供する。
【解決手段】ホームサーバに接続された機器に対するユーザの操作内容を当該ユーザが当該機器を操作したときの発声内容に含まれる当該機器の操作に関連するキー表現と操作日時などとともに操作履歴として記憶しておき、当該ユーザが当該操作履歴の日時に対し予め定められた範囲内の日時に、当該機器の設置されている部屋で、当該操作履歴に含まれるキー表現を含む発声を行ったときには、ホームサーバは当該履歴情報の操作内容に従った設定で当該機器を動作させる。
【選択図】 図１

Description

本発明は、ユーザによる機器操作履歴とユーザの発声内容とから当該機器を制御するための制御装置および方法に関する。

近年、家庭内で使用されるパーソナルコンピュータ（以下、ＰＣ）、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）に代表される携帯端末、さらには家電製品をネットワーク上でサーバに接続し、ネットワーク経由でサーバから個々の家電製品や情報機器を制御するために必要な情報を取り込んだり、端末を制御することで、個々の家電製品の機能向上や使い勝手のよいユーザインタフェースを実現する方式が提案され始めてきている。

例えば、いわゆるＩＴ家電では、外部サーバからレシピ情報をダウンロードして電子レンジに取り込み、携帯電話やＰＤＡ上で上記のレシピ情報に従って電子レンジを制御することが可能になっている。また、家庭内で撮像した画像情報から家庭内での異変を自動特定し、外部サーバに対してその旨を通知したり、エアコン、ＴＶ、ビデオなどの家電を携帯電話で指示することで、無線通信による遠隔操作を行うホームロボットも存在する。

これらの家電は制御信号を用いて、家庭内あるいは携帯端末から無線通信等を利用してリモートにコントロールすることができる。このように、ネットワークに接続された家電（以下、ネットワーク家電と呼ぶことにする）を利用した新しい家庭内サービス形態が実現されつつある。こうしたネットワーク家電が家庭に導入されれば家族の複数人がそれを利用することになるが、家電製品はそれを利用する個々のユーザが自分の使いやすいように設定を調節できることが望ましい。また、ＰＣのようなキーボード入力ではなく、リモコン等で手軽に操作できることが望ましい。

近年、特定あるいは不特定ユーザ（人）の発話を音声認識させ、これを基に制御信号を生成して家電を制御する音声操作技術が注目されている。人間の声の質は人によって異なるため、特定の人の声質を学習させることで、その人による音声入力時の認識率を向上させる様々な手法が提案されている。例えば、ワードプロセッサを利用する前に、特定の文章を利用者が読み上げ、ワードプロセッサ側がその声質を学習し、認識率を高める方式（エンロール方式）が開示されている（例えば、非特許文献１参照）。

家族で共有する家電製品を音声にて操作する場合、操作対象の家電製品に家庭内の各ユーザが同じ言葉を発声すれば、この言葉がどのユーザにより発声されたものであるかに関わりなく、操作対象の家電製品は、当該言葉に対応して予め設定された１つの設定内容に従って動作することとなる。すなわち、あるユーザがテレビの３チャネルの番組を見たくてテレビの電源を入れるための言葉を発声しても、当該テレビに予め設定された６チャネルで電源が入れられる。

このように、家電機器の設定内容は、ユーザ毎に、ユーザのその時の状況や好み（すなわち、習慣）によって異なるものである。しかし、ユーザ毎に、ユーザの習慣に合わせて家電機器を予め設定することは、手間がかかり、ユーザへの負担が多い。
Ｖｉａ Ｖｏｉｃｅエンロール方式［平成１５年８月２０日検索］、インターネット＜ＵＲＬ： http://www-6.ibm.com/jp/voiceland/kouza/14.html＞

従来、家庭内で利用する各種家庭内機器を接続した家庭内ネットワークを利用して、家庭内の各ユーザがこれら各機器を、各ユーザの状況と嗜好（習慣）に合った設定で動作させるための有効な手法が存在しなかった。

そこで、本発明は、各種機器を接続したネットワークを利用して、これら各種機器を各ユーザのそれぞれの状況と嗜好（習慣）に合った設定で容易に動作させることができる制御装置および制御方法を提供することを目的とする。

本発明は、ユーザにより操作可能な被制御機器をユーザの発声に基づいて入力される音声データを用いて制御するためのものであって、（ａ）前記音声データを発声したユーザの識別情報を求め、（ｂ）前記音声データを音声認識した結果得られるテキストデータから前記被制御機器に対する操作に関連する表現を抽出し、（ｃ）前記ユーザによる前記被制御機器に対する操作内容、操作日付、操作時刻、操作時に抽出された前記表現、および操作時に求められた前記識別情報とを含む操作履歴情報を記憶手段に記憶する。（ｄ）前記記憶手段に前記操作履歴情報が記憶された後、当該操作履歴情報に含まれる前記操作日付を起算点とする予め定められた有効期間内に入力された、当該操作履歴情報に含まれる前記識別情報に対応するユーザの発生に基づく第１の音声データの入力時刻が、前記操作履歴情報に含まれる前記操作時刻を基準として予め定められた時間帯内であるか否か判定し、（ｅ）前記第１の音声データの入力時刻が前記時間帯内であり、かつ、当該第１の音声データに前記表現が含まれているとき、前記操作履歴情報に含まれる前記操作内容に従って前記被制御機器の動作を制御するための制御情報を出力する。

本発明によれば、各種機器を接続したネットワークを利用して、これら各種機器を各ユーザのそれぞれの状況と嗜好（習慣）合った設定で容易に動作させることができる。

図１は、本発明の実施形態に係る機器制御システムの構成例を示したもので、家庭内で使用されるエアコンやテレビなどの各部屋に設置される各種機器１１ａ〜１１ｃと、各部屋に１つ設置される端末装置（以下、簡単に端末と呼ぶ）ＴＥ１〜ＴＥ２を、家庭内に１つ設置されるホームサーバ１に接続して構成されている。ここでは、部屋Ａ（当該部屋の識別情報は「部屋Ａ」）と部屋Ｂ（当該部屋の識別情報は「部屋Ｂ」）という２つの部屋があり、ホームサーバ１は、部屋Ｂに設置されているものとする。

ここでは、機器１１ａ、１１ｃはエアコンであり、以下、機器１１ａ、１１ｃのそれぞれをエアコン１１ａ、エアコン１１ｃと呼ぶことがある。また、機器１１ｂはテレビであり、以下、機器１１ｂをテレビ１１ｂと呼ぶことがある。このように、ここでは、機器１１ａ〜１１ｃは、家庭内で利用される家庭内機器である。

図２〜図４は、端末ＴＥ１、ＴＥ２の構成例を示したものである。図２に示す構成例では、マイク１０２と端末識別情報記憶部１０３と出力部１０４と測定部１０５と通信部１０６と、これらに接続して、端末全体の制御を司る制御部１０１とからなる。

マイク１０２は、家庭内のユーザの発話を音声データとして入力する。端末識別情報記憶部１０３には、当該端末を識別するための識別情報が記憶されている。測定部１０５は、室温を測定する室温計などで構成されている。制御部１０１は、マイク１０２から音声入力があったときに、当該音声データや、そのときの日時、端末識別情報記憶部１０３から読み出した端末識別情報や、測定部１０５で測定されている、そのときの測定値（例えば、室温など）を読み出して、これらを含む端末イベント情報を作成する。端末イベント情報は通信部１０６を介してホームサーバ１へ送信される。ホームサーバ１からは、操作開始メッセージなどが送信されるので、通信部１０６を介して当該メッセージを受信すると、これは、出力部１０４から出力される。出力部１０４は、例えば、メッセージを表示するための液晶表示パネルのような表示画面や、メッセージを音声出力するためのスピーカなどから構成されている。

図３に示す構成例は、図２に示した構成から出力部１０４が除かれている。これ以外の構成については、図２と同様である。端末ＴＥ１、ＴＥ２が図３に示す構成の場合、ホームサーバ１から送信された上記操作開始メッセージを表示したり音声出力することはできない。

図４に示す構成例は、図２に示した構成から測定部１０５が除かれている。これ以外の構成については、図２と同様である。

図１の端末ＴＥ１と端末ＴＥ２は図２〜図４のいずれかの構成を有する。ここでは、説明の簡単のため、端末ＴＥ１（端末ＴＥ１の端末識別情報は「ＴＥ１」）と端末ＴＥ２（端末ＴＥ２の端末識別情報は「ＴＥ２」）は、図２に示す構成であるとする。

図１の説明に戻り、ホームサーバ１は、機器制御管理部２と端末制御管理部３と履歴情報記憶部５と音声認識部６とユーザ特徴情報記憶部７と表現記憶部８と音声入力部９と、ホームサーバ１全体を制御するための制御部４とから構成されている。

なお、ホームサーバは、一般に、テレビ放送の番組やデータ放送、インターネット経由の大容量コンテンツを一時的に記憶しておき、例えば「家庭内ビデオ／データ・オン・デマンド」のような機能を実現するなど、様々な機能を有するものである。図１に示したホームサーバ１は、本実施形態にかかる要部のみを示しており、その他の機能に関する構成部は省略して示している。

機器制御管理部２には、各部屋に設置される各種機器１１ａ〜１１ｃに接続して、制御部４の制御のもと、機器１１ａ〜１１ｃのそれぞれの状態（例えば、電源オンされているか否か、エアコンの設定温度や暖房・冷房・除湿のいずれのモードであるか、テレビの設定チャネルなど）を管理するとともに、機器１１ａ〜１１ｃの状態を変更する。すなわち、制御部４の制御のもと、各機器の状態を変更するための制御情報を各機器へ出力する。例えば、機器１１ａ〜１１ｃの電源をオフ状態からオン状態にするための制御情報を当該機器１１ａ〜１１ｃへ出力し、エアコン１１ａ，１１ｃの設定温度を変更するための制御情報をエアコン１１ａ，１１ｃへ出力し、テレビ１１ｂの設定チャネルを変更するための制御情報をテレビ１１ｂへ出力する。

機器１１ａ〜１１ｃの状態変化が生じたときには（例えば、ユーザ操作により、機器の電源がオンされたとき、エアコンの設定温度が変更されたとき、テレビの設定チャネルが変更されたときなど）、機器１１ａ〜１１ｃは、当該機器の機器識別情報とそのときの日時、操作内容を通知するための機器イベント情報をホームサーバ１へ送信する。ホームサーバ１は、機器１１ａ〜１１ｃを制御するときには（例えば、電源をオンにしたり、エアコンの設定温度やテレビの設定チャネルを変更したりするときには）、制御対象の機器に対し、当該機器識別情報と制御内容を記述した制御情報を機器１１ａ〜１１ｃへ送信する。

機器制御管理部２は、どの機器（機器識別情報と当該機器の種類）がどの部屋に設置されているかを予め記憶している。例えば、エアコン１１ａの機器識別情報は「１１ａ」、テレビ１１ｂの機器識別情報は「１１ｂ」、エアコン１１ｃの機器識別情報は「１１ｃ」であるとすると、これら各機器と当該機器の設置されている部屋の識別情報とを１組とする（１１ａ、部屋Ａ）、（１１ｂ、部屋Ｂ）、（１１ｃ、部屋Ｂ）という情報と、機器識別情報と当該機器の種類とを１組とする（１１ａ、エアコン）、（１１ｂ、テレビ）、（１１ｃ、エアコン）という情報を例えばテーブル形式で記憶している。機器制御管理部２は、機器１１ａ〜１１ｃから機器イベント情報を受け取ると、この機器イベント情報に含まれている機器識別情報と、これらテーブルとから、当該機器イベント情報がどの部屋に設置されているどの種類の機器（エアコンかテレビかなど）から送信されたものであるかを判断することができる。機器制御管理部２は、機器イベント情報と、当該機器イベント情報の送信元の機器の種類と、部屋の識別情報との３つを制御部４へ出力する。

端末制御管理部３は、各部屋に設置される端末ＴＥ１、ＴＥ２に接続して、制御部４の制御のもと、これら端末から上記端末イベント情報を受信したり、これら端末へ操作開始メッセージを送信する。端末制御管理部３は、どの端末がどの部屋に設置されているかを予め記憶している。例えば、端末識別情報と部屋の識別情報とを１組とする（ＴＥ１、部屋Ａ）、（ＴＥ２、部屋Ｂ）という情報を例えばテーブル形式で記憶している。端末制御管理部３は、端末ＴＥ１、ＴＥ２から端末イベント情報を受け取ると、この端末イベント情報に含まれている端末識別情報と、このテーブルとを用いて、当該端末イベント情報がどの部屋に設置されている端末から送信されたものであるかを判断することができる。端末制御管理部３は、端末イベント情報と、当該端末イベント情報の送信元の部屋の識別情報との２つを制御部４へ出力する。

機器１１ａ〜１１ｃのそれぞれと、端末ＴＥ１、ＴＥ２のそれぞれは、機器制御管理部２と端末制御管理部３のそれぞれに記憶されている上記テーブルにより、部屋の識別情報を通じて互いに対応付けられている。すなわち、機器１１ａと端末ＴＥ１は、部屋Ａに設置されているので、これらは、部屋の識別情報「部屋Ａ」で互いに対応付けられている。また、機器１１ｂと機器１１ｃと端末ＴＥ２は部屋Ｂに設定されているので、これらは部屋の識別情報「部屋Ｂ」で互いに対応付けられている。

制御部４は、入力された端末イベント情報に含まれる音声データを音声認識部６へ渡す。音声認識部６では、当該音声データを音声認識して、当該音声データに対応するテキストデータを求めるとともに、ユーザ特徴情報記憶部７に記憶されているユーザ特徴情報を参照して、当該音声データの話者を特定する。さらに、表現記憶部８に記憶されている表現を参照して、当該テキストデータから、表現記憶部８に予め記憶されている表現を抽出する。

ユーザ特徴情報記憶部７には、当該ホームサーバ１を利用している家庭内の複数のユーザのそれぞれの発声内容から、各ユーザ固有の特徴情報（声紋やピッチなど）を当該ユーザのユーザ特徴情報として、当該ユーザの識別情報に対応付けて記憶されている。

このユーザ特徴情報は例えば、次のようにして求めることができる。ホームサーバ１の音声入力部９に、当該ホームサーバ１を利用している家庭内の複数のユーザのそれぞれについて、数種類の発声が入力される。音声入力部９に入力された各発声に対応する音声データは音声認識部６へ入力する。そして、音声認識部６では、各発声データから話者を特定するための手掛かりとなる情報（例えば、声紋や、基本周波数（ピッチ）など）を求める。ここで予め求められた声紋やピッチなどがユーザ特徴情報として予めユーザ特徴情報記憶部７に記憶される。なお、ここでは、ホームサーバ１を利用するユーザは、家庭内のユーザに限られているため、話者認識も高い認識率を得ることができる。

音声認識部６は、端末イベント情報に含まれる音声データを音声認識するために必要な辞書データを記憶し、この辞書データを用いて、当該音声データからテキストデータを求める。

表現記憶部８には、当該ホームサーバ１を利用している家庭内の各ユーザの発声内容に含まれる表現であって、機器１１ａ〜１１ｃの操作に関連する表現が予め記憶されている。すなわち、一般的に、エアコン、テレビなどの家庭内機器を操作する際の発声内容に含まれるような表現が予め記憶されている。あるいは、エアコン、テレビなどの家庭内機器を操作する際に用いるべく、各ユーザが予め定めた表現が予め記憶されている。

例えば、エアコンを操作する際のユーザの発声内容には、「暑い」とか「寒い」とかいった表現が多く含まれている。またテレビを操作する際にユーザがよく口にするような発言には、「プロ野球をみよう」、「ニュースをみよう」「３チャネルにまわしてもいい」などのように、分野やチャネル番号などに関する表現が多く含まれているであろう。このように、操作対象の機器によって、当該機器を操作する際の発言内容に含まれる表現は異なる。機器を操作する際の発言内容には、当該機器の機能に関連した、当該機器に対応する特有の表現が含まれている。そこで、「暑い」「寒い」「プロ野球」「ニュース」などの機器の操作に関連する表現が表現記憶部８に記憶されている。

表現記憶部８には、エアコンの操作に関連する表現として、「暑い」「寒い」といった表現が、機器の種類「エアコン」に対応付けて記憶されている。また、テレビの操作に関連する表現として、「プロ野球」「ニュース」「３チャネル」などの表現が機器の種類「テレビ」に対応付けて記憶されている。さらに、表現記憶部８には、例えば、エアコンを操作するための表現としてユーザにより予め定められた表現、例えば「むっとする」などといった表現が登録され、それを機器の種類「エアコン」に対応付けて記憶するようにしてもよい。

音声認識部６で端末イベント情報に含まれる音声データから求めたテキストデータや話者を表す情報、さらに、当該テキストデータに含まれる表現記憶部８に記憶されている表現は、制御部４へ出力される。

このように、ある部屋で、そこにいるユーザが発話し、機器を操作すると、これに起因して端末イベント情報と機器イベント情報が順次ホームサーバ１へ送信される。制御部４は、同じ部屋から送信された端末イベント情報と機器イベント情報のそれぞれに含まれる日時を比較して、その差が予め定められた時間（例えば、１、２分以内という短い時間であって、通常、ユーザが発声してから機器を操作するまでのかかる時間にさらに所定時間を加算した時間）以内であれば、端末イベント情報で通知された発話と機器イベント情報で通知された機器への操作とが互いに関連するものであると判定する。要するに見なして判定している。

あるいは、制御部４は、同じ部屋から送信された端末イベント情報と機器イベント情報の両方の日時の差が予め定められた時間以内であり、しかも、（表現記憶部８には、機器の種類と当該機器の操作に関連する表現が対応付けて記憶されているので、これを利用して、）端末イベント情報に含まれる音声データを音声認識した結果得られるテキストデータに含まれている（表現記憶部８に記憶されている）表現が、機器イベント情報の送信元の機器の種類に対応する場合に、端末イベント情報で通知された発話と機器イベント情報で通知された機器への操作とが互いに関連するものであると判定する。要するに見なして判定している。

端末イベント情報で通知された発話と機器イベント情報で通知された機器への操作とが互いに関連すると判定したときには、制御部４は、音声認識部６で求めた当該端末イベント情報に含まれる音声データから求めた話者（の識別情報）と表現と、部屋の識別情報と日時と、機器イベント情報の送信元の機器（対象機器）の機器識別情報と、操作内容を含む当該対象機器へのユーザによる操作の履歴情報を図５に示すように履歴情報記憶部５に記憶する。履歴情報の日時は、端末イベント情報の日時でも機器イベント情報の日時でもよい（その時間差はわずかであるから）が、ここでは機器イベント情報の日時を用いる。

図５は、履歴情報記憶部５に記憶された履歴情報の記憶例を示したものである。図５に示すように、各履歴情報は、話者の識別情報と表現と部屋の識別情報と日時と対象機器の機器識別情報と対象機器に対する操作内容とが含まれている。

制御部４は、上記のように、履歴情報を履歴情報記憶部５に記憶する動作（学習動作）の他にも、端末イベント情報がホームサーバ１に入力したときに、当該端末イベント情報と履歴情報を基に機器１１ａ〜１１ｃを制御する動作とがある。後者の場合には、端末イベント情報に含まれる音声データから求めたテキストデータと話者と当該端末イベント情報の送信元の部屋と当該端末イベント情報に含まれる日付とに対応する履歴情報を履歴情報記憶部５から検索する。

ここで、履歴情報に含まれる日付と、端末イベント情報に含まれる日付との間の対応関係について説明する。履歴情報に含まれる日時のうち日付は、当該履歴情報の有効期間の起算点となる。すなわち、ここでは、機器の種類に応じて、有効期間が予め定められており、例えば、エアコンの場合には４ヶ月、テレビの場合には６ヶ月であるとすると、履歴情報の日付が２月１日であるときには、エアコンの場合は６月１日まで当該履歴情報は有効である。すなわち、当該履歴情報は、６月１日までエアコンの機器への制御に利用できる。

また、履歴情報に含まれる日時のうち時刻は、当該履歴情報にて対象機器を制御することのできる時間帯を定めるものである。例えば、ここでは、当該時刻から前後それぞれ１５分以内が対象機器を制御することのできる時間帯であるとする。履歴情報に含まれる時刻が「５時」であるときには、４時４５分から５時１５までが、当該履歴情報で、当該履歴情報の対象機器を制御することのできる時間帯である。

機器の種類に応じた有効期間や時間帯は、ユーザが設定したり、変更したりすることが出来るようになっていても良い。この場合にはこれら設定値を記憶するためのメモリを設ける必要がある。

次に、図６に示すフローチャートを参照して、端末ＴＥ１〜ＴＥ２、機器１１ａ〜１１ｃ、ホームサーバ１の処理動作について具体的に説明する。ここでは、ホームサーバ１を利用している家庭内に３人のユーザがおり、そのそれぞれの識別情報が「お父さん」「お母さん」「長男」であるとする。

例えば、部屋Ａで２月１日午前５時に、お母さんが「寒いわね」と発話した後、エアコンの電源をオンにし、このときのエアコンの操作が、設定温度が２６度の暖房であったとする。この場合、端末ＴＥ１では、マイク１０２から「寒いわね」という音声データが入力されているので（図６のステップＳ１）、当該音声データとともに、このときの日時と、測定部１０５で測定された室温、端末ＴＥ１の端末識別情報などを含む端末イベント情報をホームサーバ１へ送信する（ステップ２）。

一方、お母さんは、エアコン１１ａを暖房に設定するとともに、設定温度を２６度にして電源をオンにするという操作を行うと（ステップＳ３）、エアコン１１ａからは、このような操作内容とエアコン１１ａの機器識別情報と日時（２月１日午前５時）などを含む機器イベント情報をホームサーバ１へ送信する（ステップＳ４）。

ホームサーバ１は、ステップＳ２で送信された端末イベント情報を受信すると、当該端末イベント情報に含まれる音声データを音声認識部６へ出力する（ステップＳ５）。また、ホームサーバ１は、ステップＳ４で送信された機器イベント情報を受信する（ステップＳ６）。音声認識部６では、ユーザ特徴情報記憶部７に記憶されている各ユーザの声紋やピッチなどと当該音声データから抽出された声紋やピッチなどとを比較して、当該音声データから話者を特定するとともに（この場合、話者は「お母さん」）、当該音声データに対応するテキストデータ（この場合、「寒いわね」）を求め、さらに、当該テキストデータに、表現記憶部８に記憶されている表現が含まれているときには、これも（この場合、「寒い」）含めて、これらを制御部４へ出力する（ステップＳ７）。

制御部４は、同じ部屋Ａから端末イベント情報と機器イベント情報が送信され、しかも、当該端末イベント情報に含まれる日時と機器イベント情報に含まれる日時との差が予め定められた時間以内であるので、当該端末イベント情報で通知された発話と当該機器イベント情報で通知された機器への操作とが互いに関連するものであると判定する。従って、制御部４は、話者「お母さん」、表現「寒い」、部屋「部屋Ａ」、日時「２月１日 ５：００」、対象機器「エアコン（１１ａ）」、操作内容「暖房、温度２６度に設定、電源オン」を含む履歴情報を履歴情報記憶部５に記憶する（ステップＳ８）。

次に、図７に示すフローチャートを参照して、図６に示したような処理動作により記憶された履歴情報を基に機器１１ａ〜１１ｃを制御する際の機器制御システムの処理動作について説明する。なお、ここでは、履歴情報記憶部５には、図５に示したような履歴情報が記憶されているものとする。

お母さんが３月２４日の午前５時１４分に、部屋Ａで「寒いねえ」と発声したとする。すると、端末ＴＥ１は、マイク１０２から「寒いねえ」という音声データが入力するので（図７のステップＳ１１）、当該音声データとともに、このときの日時と、測定部１０５で測定された室温、端末ＴＥ１の端末識別情報などを含む端末イベント情報をホームサーバ１へ送信する（ステップ１２）。

ホームサーバ１は、端末制御管理部３で当該端末イベント情報を受信すると、当該端末イベント情報に含まれる音声データを音声認識部６へ出力する（ステップＳ１３）。音声認識部６では、前述同様にして、当該音声データから話者を特定するとともに（この場合、話者の識別情報として「お母さん」が得られる）、当該音声データに対応するテキストデータ（この場合、「寒いねえ」）を求め、さらに、当該テキストデータに、表現記憶部８に記憶されている表現が含まれているときには、これも（この場合、「寒い」）含めて、これらを制御部４へ出力する（ステップＳ１４）。

制御部４は、履歴情報記憶部５に記憶されている履歴情報から、今回の端末イベント情報から得られた、話者とテキストデータと日時（この場合、日付が３月２４日で時刻が５：１４である」と当該端末イベント情報の送信元の部屋の識別情報（この場合「部屋Ａ」）に対応する履歴情報を検索する。ここでは、まず、今回の端末イベント情報から得られた話者の識別情報と当該端末イベント情報の送信元の端末が設置されている部屋の識別情報とを含む履歴情報であって、当該履歴情報に含まれている表現が今回の端末イベント情報から得られたテキストデータに含まれており、しかも、当該端末イベント情報に含まれている日時のうちの日付が当該履歴情報の日付を起算点とする予め定められた有効期間内である履歴情報を検索する。

ここで、今回の端末イベント情報から得られた話者と、テキストデータ、部屋の識別情報に一致する履歴情報は、図５の最初の履歴情報である。すなわち、当該履歴情報の話者の識別情報は「お母さん」であり、これは、今回の端末イベント情報から得られた話者に一致する。当該履歴情報の表現は「寒い」であり、この表現は今回の端末イベント情報から得られたテキストデータ「寒いねえ」に含まれている。当該履歴情報の部屋の識別情報は「部屋Ａ」であり、これは、今回の端末イベント情報から得られた部屋の識別情報に一致する。

図５の履歴情報の日時は「２月１日 ５：００」であり、今回の端末イベント情報に含まれる日時のうち日付は「３月２４日」であるから、当該履歴情報はエアコンの有効期間である４ヶ月以内であり利用可能である。

次に、当該端末イベント情報に含まれている日時のうちの時刻が、図５の履歴情報に含まれる日時を基準として予め定められた時間帯内にあるか否かを判定する。図５の履歴情報の時刻「５：００」と今回の端末イベント情報に含まれる時刻「５：１４」との時間差は１４分であるので（今回の端末イベント情報に含まれる時刻は、当該履歴情報に含まれる時刻を基準として予め定められた時間帯、すなわち、４：４５〜５：１５の範囲内の時刻であるので）、制御部４は、当該履歴情報は今回の端末イベント情報に対応する（マッチする）履歴情報であると判定する（ステップＳ１５）。

次に、制御部４は、図５の最初の履歴情報から対象機器（「エアコン（１１ａ）」）と操作内容を読み出す（ステップＳ１６）。そして、制御部４は、この操作内容にて、エアコン１１ａを操作するが、それに先だって、まず、操作対象の機器を表す情報と操作内容を含む操作開始メッセージを、端末制御管理部３を介して、今回の端末イベント情報の送信元の端末ＴＥ１へ送信する（ステップＳ１７）。

端末ＴＥ１は、当該操作開始メッセージを受信すると、出力部１０４から、操作対象の機器と、その操作内容を表示あるいは音声出力する。例えば、画面上に「暖房を開始します」といったメッセージを画面に表示したり、当該メッセージを音声で出力する（ステップＳ１９〜ステップＳ２０）。

その後、制御部４は、機器制御管理部２を介して、エアコン１１ａに対し、「暖房、設定温度２６度、電源オン」にするための制御情報を送信する（ステップＳ１８）。エアコン１１ａは、この制御情報を受信すると、エアコン１１ａを暖房、設定温度２６度で電源オンする。

もちろん実際に制御情報を送信する前に画面でユーザの確認を促すようにしても構わない。

一方、ステップＳ１５で、今回の端末イベント情報に対応する履歴情報が存在しないときには、ホームサーバ１は、ここで処理を中止し、端末イベント情報の受信待ちとなる。この場合、操作開始を通知するメッセージが端末ＴＥ１に表示（あるいは音声で出力）されないので、ユーザは、自分でエアコン１１ａを操作するであろう。この場合には、図６のステップＳ３〜ステップＳ４に示したように、機器イベント情報がエアコン１１ａからホームサーバ１へ送信されるので、ホームサーバ１では、図７のステップＳ１２で端末ＴＥ１から送信された端末イベント情報と、当該機器イベント情報とを用いて図６のステップＳ５〜ステップＳ８に示したように、履歴情報を記憶するようにしてもよい。

なお、該当する履歴が複数検索されたときには（複数の機器や複数の操作）、（１）機器毎に最新の履歴を用いる、（２）多数決をとる（例えば、２６℃の設定の履歴と、２７℃の設定の履歴があったときに、より多くの数存在している方とする）、（３）平均をとる（例えば、２６℃の設定の履歴が１回と、２７℃の設定の履歴が１回あったときに、２６．５℃に設定とする等）が考えられる。

なお、制御部４で、端末イベント情報で通知された発話と機器イベント情報で通知された機器への操作とが互いに関連するものであるか否かを判定するための端末イベント情報に含まれる日時と機器イベント情報に含まれる日時との差は、上記のように、ユーザが発声してから、送信開始を通知するためのメッセージが表示あるいは音声出力されるまでの時間を考慮して定められていることが望ましい。

また、機器制御システムの学習動作（機器の履歴情報を記憶する動作）は、ユーザが明示的に当該システムを学習モードに設定したときに、入力された端末イベント情報と機器イベント情報を基に履歴情報を記憶するようにし、それ以外、すなわち、学習モードに設定されていないときには、図６に示したような動作を行わないようにしてもよい。

以上説明したように、上記実施形態によれば、ホームサーバ１に接続された機器に対する、ユーザの操作内容を当該ユーザが当該機器を操作したときの発声内容に含まれる当該機器の操作に関連するキー表現と操作日時などとともに操作履歴として記憶しておき、当該ユーザが当該操作履歴の日時に対し予め定められた範囲内の日時に、当該機器の設置されている部屋で、当該操作履歴に含まれるキー表現を含む発声を行ったときには、ホームサーバ１は、当該操作履歴の操作内容に従った設定で当該機器を動作させることにより、当該機器に対しユーザが意図して初期設定を行うことなく、当該機器をユーザの状況と嗜好に合った設定で動作させることができる。

なお、本発明の実施の形態に記載した本発明の手法（特に、図６、図７に示したホームサーバ１の処理動作）は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することもできる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の実施形態に係る機器制御システムの構成例を示した図。 端末装置の構成例を示した図。 端末装置の他の構成例を示した図。 端末装置のさらに他の構成例を示した図。 履歴情報記憶部に記憶された履歴情報の記憶例を示した図。 履歴情報を記憶する際の機器制御システムの動作を説明するためフローチャート。 履歴情報を用いて機器を制御する際の機器制御システムの動作を説明するためのフローチャート。

符号の説明

１…ホームサーバ、２…機器制御管理部、３…端末制御管理部、４…制御部、５…履歴情報記憶部、６…音声認識部、７…ユーザ特徴情報記憶部、８…表現記憶部、９…音声入力部、１１ａ、１１ｃ…エアコン、１１ｂ…テレビ、ＴＥ１、ＴＥ２…端末装置。

Claims (4)

1. ユーザにより操作可能な被制御機器をユーザの発声に基づいて入力される音声データを用いて制御する制御装置であって、
   前記音声データを発声したユーザの識別情報を求めるユーザ識別手段と、
   前記音声データを音声認識した結果得られるテキストデータから前記被制御機器に対する操作に関連する表現を抽出する抽出手段と、
   前記ユーザによる前記被制御機器に対する操作内容、操作日付、操作時刻、操作時に抽出された前記表現、および操作時に求められた前記識別情報とを含む操作履歴情報を記憶する記憶手段と、
   前記記憶手段で前記操作履歴情報が記憶された後、当該操作履歴情報に含まれる前記操作日付を起算点とする予め定められた有効期間内に入力された、当該操作履歴情報に含まれる前記識別情報に対応するユーザの発生に基づく第１の音声データの入力時刻が、前記操作履歴情報に含まれる前記操作時刻を基準として予め定められた時間帯内であるか否かを判定する手段と、
   前記第１の音声データの入力時刻が前記時間帯内であり、かつ、当該第１の音声データに前記表現が含まれているとき、前記操作履歴情報に含まれる前記操作内容に従って前記被制御機器の動作を制御するための制御情報を出力する手段と、
   を具備したことを特徴とする制御装置。
2. 前記被制御機器は家庭内で使用する家庭内機器であることを特徴とする請求項１記載の制御装置。
3. ユーザにより操作可能な被制御機器をユーザの発声に基づいて入力される音声データを用いて制御するための制御方法であって、
   前記音声データを発声したユーザの識別情報を求める第１のステップと、
   前記音声データを音声認識した結果得られるテキストデータから前記被制御機器に対する操作に関連する表現を抽出する第２のステップと、
   前記ユーザによる前記被制御機器に対する操作内容、操作日付、操作時刻、操作時に抽出された前記表現、および操作時に求められた前記識別情報とを含む操作履歴情報を記憶手段に記憶する第３のステップと、
   前記記憶手段に前記操作履歴情報が記憶された後、当該操作履歴情報に含まれる前記操作日付を起算点とする予め定められた有効期間内に入力された、当該操作履歴情報に含まれる前記識別情報に対応するユーザの発生に基づく第１の音声データの入力時刻が、前記操作履歴情報に含まれる前記操作時刻を基準として予め定められた時間帯内であるか否か判定する第４のステップと、
   前記第１の音声データの入力時刻が前記時間帯内であり、かつ、当該第１の音声データに前記表現が含まれているとき、前記操作履歴情報に含まれる前記操作内容に従って前記被制御機器の動作を制御するための制御情報を出力する第５のステップと、
   を具備したことを特徴とする制御装置。
4. ユーザにより操作可能な被制御機器をユーザの発声に基づいて入力される音声データを用いて制御するためのプログラムであって、
   コンピュータに、
   前記音声データを発声したユーザの識別情報を求める第１のステップと、
   前記音声データを音声認識した結果得られるテキストデータから前記被制御機器に対する操作に関連する表現を抽出する第２のステップと、
   前記ユーザによる前記被制御機器に対する操作内容、操作日付、操作時刻、操作時に抽出された前記表現、および操作時に求められた前記識別情報とを含む操作履歴情報を記憶手段に記憶する第３のステップと、
   前記記憶手段に前記操作履歴情報が記憶された後、当該操作履歴情報に含まれる前記操作日付を起算点とする予め定められた有効期間内に入力された、当該操作履歴情報に含まれる前記識別情報に対応するユーザの発生に基づく第１の音声データの入力時刻が、前記操作履歴情報に含まれる前記操作時刻を基準として予め定められた時間帯内であるか否か判定する第４のステップと、
   前記第１の音声データの入力時刻が前記時間帯内であり、かつ、当該第１の音声データに前記表現が含まれているとき、前記操作履歴情報に含まれる前記操作内容に従って前記被制御機器の動作を制御するための制御情報を出力する第５のステップと、
   を実行させるプログラム。

Images