JP2008233345A - インタフェース装置及びインタフェース処理方法 - Google Patents

Abstract

【課題】機器とユーザとの仲立ちとなる使いやすい音声インタフェースを提供する。
【解決手段】機器操作を検出する操作検出部と、機器又は機器周辺の状況の状況変化又は状況継続を検出する状況検出部と、前記機器操作の検出結果と前記状況変化又は状況継続の検出結果とを対応させて蓄積する操作履歴蓄積部と、新たに検出された状況変化又は状況継続の検出結果を、蓄積されている状況変化又は状況継続の検出結果と照合し、新たに検出された状況変化又は状況継続の検出結果に対応する機器操作を選択する操作履歴照合部と、選択された機器操作に対応する語句を音声化して発話する発話部とを備えることを特徴とするインタフェース装置。
【選択図】図１

Description

本発明は、インタフェース装置及びインタフェース処理方法に関する。

近年、ブロードバンドの普及に伴い、情報家電と呼ばれるネットワーク対応家電による家庭内でのホームネットワークの構築が進んでいる。一方、情報家電とユーザとのインタフェースは、必ずしもユーザにとって使いやすいものとはなっていない。理由は、情報家電が様々な便利な機能を持つようになり多様な使い方ができるようになった反面、その機能の豊富さがゆえに、ユーザが、欲する機能を利用するのに多くの選択を強いられるようになったためである。従って、情報家電とユーザとの仲立ちとなり、誰もが簡単に機器操作を行う事ができ、誰もが容易に機器情報を把握できるような、使いやすいインタフェースが必要とされている。

そのようなインタフェースとして、ユーザからの音声指示に応じて機器操作を実行するような音声インタフェースが知られている。このような音声インタフェースでは通常、音声による機器操作のための音声指示語が予め決められており、ユーザは、既定の音声指示語により簡単に機器操作を行う事ができる。しかしながら、このような音声インタフェースには、ユーザが既定の音声指示語を覚えていなければならないという問題点があった。ユーザは、既定の音声指示語を覚えていないと、機器操作の際にどんな音声指示語を発したらいいのか分からない状態になりがちであった。

このような問題を解決する方法として、特許文献１等に記載のように、登録されている音声指示語を、ディスプレイに提示したり、「ヘルプ」という音声指示や画面操作に応じて音声で発話して提示する方法が知られている。しかし、複数の音声指示語を提示する場合には、後者のような音声提示ではわずらわしく、前者のようなディスプレイ提示が必要となる。

また、過去の操作履歴等に基づき、状況に応じて使われる頻度の高い音声指示語を提示する方法も知られている。しかし、操作履歴等に基づき音声指示語を提示する場合、提示ルールによって、音声指示語を多く提示しすぎてしまったり、逆に音声指示語を全く提示しなかったりという問題が生じる。提示率が高いと、的確でない提示がわずらわしいし、かといって提示率が低いと、的確な提示が得られない。

特許文献２には、音声指示語として、一般的でない言葉（ユーザの口癖や各家庭独自の表現等）を覚えて行くようなシステムが開示されている。この場合、一般的でない言葉の音声指示語をシステムが覚えて行くので、ユーザは、予め決まられた音声指示語を覚える必要がない。しかし、ユーザは、システムに覚えさせた音声指示語を忘れると、システムを使えなくなってしまう。

また、非特許文献１には、ユーザが、予め決められた音声指示語ではなく、自由な言葉で機器操作を行う事ができるようなインタフェース装置が開示されている。
特開平６−９５８２８号公報 特開２００３−２４１７９０号公報 "親和行動導入による実用的ホームロボットインタフェースの研究 −ユーザの言葉で操作・通知するインタフェース−"， 情報処理学会第１１７回ヒューマンインタフェース研究会研究報告，２００６−ＨＩ−１１７，（２００６）．

本発明は、機器とユーザとの仲立ちとなる使いやすい音声インタフェースを提供することを課題とする。

本発明は例えば、
機器操作を検出する操作検出部と、
機器又は機器周辺の状況の状況変化又は状況継続を検出する状況検出部と、
前記機器操作の検出結果と前記状況変化又は状況継続の検出結果とを対応させて蓄積する操作履歴蓄積部と、
新たに検出された状況変化又は状況継続の検出結果を、蓄積されている状況変化又は状況継続の検出結果と照合し、新たに検出された状況変化又は状況継続の検出結果に対応する機器操作を選択する操作履歴照合部と、
選択された機器操作に対応する語句を音声化して発話する発話部とを備えることを特徴とするインタフェース装置に係る。

本発明は例えば、
機器操作を検出し、
機器又は機器周辺の状況の状況変化又は状況継続を検出し、
前記機器操作の検出結果と前記状況変化又は状況継続の検出結果とを対応させて蓄積し、
新たに検出された状況変化又は状況継続の検出結果を、蓄積されている状況変化又は状況継続の検出結果と照合し、新たに検出された状況変化又は状況継続の検出結果に対応する機器操作を選択し、
選択された機器操作に対応する語句を音声化して発話することを特徴とするインタフェース処理方法に係る。

本発明は例えば、
機器又は機器周辺の状況の状況変化又は状況継続を検出し、
検出された状況変化又は状況継続の意味を、音声でユーザに問い掛け、
問い掛けに応じてユーザが発した教示音声について、音声認識を実行し又は音声認識手段に音声認識を実行させ、
前記教示音声の認識結果と前記状況変化又は状況継続の検出結果とを対応させて蓄積し、
機器操作のためにユーザが発した指示音声について、音声認識を実行し又は音声認識手段に音声認識を実行させ、
前記指示音声の認識結果と蓄積されている前記教示音声の認識結果とが照合された照合結果に基づいて、前記指示音声の認識結果に対応する機器操作を選択し、
選択された機器操作を実行し、
実行された機器操作を検出し、
機器又は機器周辺の状況の状況変化又は状況継続を検出し、
前記機器操作の検出結果と前記状況変化又は状況継続の検出結果とを対応させて蓄積し、
新たに検出された状況変化又は状況継続の検出結果を、蓄積されている状況変化又は状況継続の検出結果と照合し、新たに検出された状況変化又は状況継続の検出結果に対応する機器操作を選択し、
選択された機器操作に対応する語句を、蓄積されている前記教示音声の認識結果から取得された語句の中から検索し、検索された語句を音声化して発話することを特徴とするインタフェース処理方法に係る。

本発明は、機器とユーザとの仲立ちとなる使いやすい音声インタフェースを提供するものである。

以下、本発明の実施の形態を図面に基づいて説明する。

（第１実施例）
図１は、第１実施例のインタフェース装置１０１の構成図である。図２は、第１実施例のインタフェース装置１０１の動作を説明するための説明図である。第１実施例のインタフェース装置１０１は、親しみやすい身体性を持つロボット型の音声インタフェース装置となっている。第１実施例のインタフェース装置１０１は、音声入力機能と音声出力機能とを備えており、機器２０１とユーザ３０１との仲立ちとなる音声インタフェースを提供する。

図１のように、上記インタフェース装置１０１は、音声認識部１１１と、蓄積部１１２と、照合部１１３と、機器操作部１１４と、操作検出部１２１と、状況検出部１２２と、操作履歴蓄積部１２３と、操作履歴照合部１２４と、対応語句検索部１３１及び対応語句発話部１３２を有する発話部１２５とを備える。

音声認識部１１１は、機器操作のためにユーザが発する指示音声について、音声認識を実行する又は音声認識手段４０１に音声認識を実行させるブロックである。蓄積部１１２は、機器操作を特定する情報と機器操作に対応する語句とを対応させて蓄積するブロックである。照合部１１３は、指示音声の認識結果と蓄積されている語句とが照合された照合結果に基づいて、指示音声の認識結果に対応する機器操作を選択するブロックである。機器操作部１１４は、選択された機器操作を実行するブロックである。

操作検出部１２１は、機器操作を検出するブロックである。状況検出部１２２は、機器又は機器周辺の状況の状況変化又は状況継続を検出するブロックである。操作履歴蓄積部１２３は、機器操作の検出結果と状況変化又は状況継続の検出結果とを対応させて蓄積するブロックである。操作履歴照合部１２４は、新たに検出された状況変化又は状況継続の検出結果を、蓄積されている状況変化又は状況継続の検出結果と照合し、新たに検出された状況変化又は状況継続の検出結果に対応する機器操作を選択するブロックである。発話部１２５は、選択された機器操作に対応する語句を音声化して発話するブロックである。発話部１２５において、対応語句検索部１３１は、音声化して発話する語句を、蓄積されている語句の中から検索し、対応語句発話部１３２は、検索された語句を音声化して発話する。

以下、機器２０１の例として多チャンネル時代のテレビを取り上げる。そして、テレビのチャンネルをニュースチャンネルに切り替える機器操作を題材に、上記インタフェース装置１０１の動作を説明する。

図２のように、上記インタフェース装置１０１の動作段階には、機器２０１の操作履歴を蓄積する操作履歴蓄積段階と、機器２０１の操作履歴を活用する操作履歴活用段階とが存在する。

ある日の夕方、ユーザ３０１が、自宅に帰宅し、ドアを開けて部屋に入り、リモコンを指先で操作し、テレビ２０１のチャンネルをニュースチャンネルに切り替えたとする（Ｓ１１１）。この際、インタフェース装置１０１では、状況検出部１２２が、ドアが開いたという、テレビ２０１周辺の状況の状況変化を、ドアに取り付けられたドアセンサ５０１により検出する（Ｓ１１２）。状況検出部１２２は更に、当該検出時の時刻情報をタイマー等から取得する。また、インタフェース装置１０１では、操作検出部１２１が、ニュースチャンネルへの切り替え操作に伴うリモコン信号を受信する（Ｓ１１３）。これにより、操作検出部１２１は、テレビ２０１のチャンネルをニュースチャンネルに切り替えたという、ユーザ３０１が実行した機器操作を検出する。

なお、操作検出部１２１は、テレビ２０１がネットワーク接続されている場合には、リモコン信号をテレビ２０１からネットワーク経由で受信し、テレビ２０１がネットワーク接続されていない場合には、リモコン信号をリモコンから直接受信する。そして、インタフェース装置１０１は、ドアが開いたという状況変化の検出結果と、ニュースチャンネルへの切り替えという機器操作の検出結果と、これらの検出時刻である上記時刻情報とを、互いに対応付けて操作履歴蓄積部１２３に蓄積する（Ｓ１１４）。

また、別の日の夕方、ユーザ３０１が、自宅に帰宅し、ドアを開けて部屋に入り、テレビ２０１をつけてニュースチャンネルを観るために、インタフェース装置１０１に「ニュースつけて」と話し掛けたとする（Ｓ１２１）。これに応じて、インタフェース装置１０１では、音声認識部１１１が、機器操作のためにユーザ３０１が発した「ニュースつけて」という指示音声について、音声認識を実行する（Ｓ１２２）。なお、音声認識部１１１は、当該指示音声の音声認識を実行する代わりに、当該指示音声の音声認識を装置１０１内部又は装置１０１外部の音声認識手段４０１に実行させても構わない。音声認識手段４０１の例として、音声認識サーバ、音声認識ボード、音声認識エンジン等が挙げられる。

インタフェース装置１０１では、ニュースチャンネルへの切り替えという機器操作を特定する情報と、ニュースチャンネルへの切り替えという機器操作に対応する語句「ニュース」とが、互いに対応付けられて蓄積部１１２に蓄積されている。蓄積部１１２には、他にも様々な機器操作の特定情報と対応語句とが、互いに対応付けられて蓄積されている。音声認識部１１１は、指示音声「ニュースつけて」の音声認識として、これらの語句を待ち受け語として利用した孤立単語認識を実行する。即ち、音声認識部１１１は、当該指示音声の認識結果とこれらの語句とを照合し、当該指示音声の認識結果にこれらの語句が含まれているか否かを判断する。これにより、指示音声「ニュースつけて」の認識結果には語句「ニュース」が含まれているとの照合結果が得られる。

次に、インタフェース装置１０１では、照合部１１３が、指示音声「ニュースつけて」の認識結果と蓄積部１１２に蓄積されている語句とが照合された照合結果に基づいて、指示音声「ニュースつけて」の認識結果に対応する機器操作を選択する（Ｓ１２３）。ここでは、指示音声「ニュースつけて」の認識結果に語句「ニュース」が含まれているとの照合結果に基づいて、ニュースチャンネルへの切り替えという機器操作が選択される。

次に、インタフェース装置１０１では、機器操作部１１４が、照合部１１３により選択された機器操作を実行する（Ｓ１２４）。即ち、テレビ２０１がつけられて、チャンネルがニュースチャンネルに切り替えられる。この際、インタフェース装置１０１では、状況検出部１２２が、ドアが開いたという、テレビ２０１周辺の状況の状況変化を、ドアに取り付けられたドアセンサ５０１により検出する（Ｓ１２５）。状況検出部１２２は更に、当該検出時の時刻情報をタイマー等から取得する。また、インタフェース装置１０１では、操作検出部１２１が、ニュースチャンネルへの切り替え操作に伴う信号を取得する（Ｓ１２６）。これにより、操作検出部１２１は、テレビ２０１のチャンネルをニュースチャンネルに切り替えたという、ユーザ３０１からの音声指示に応じてインタフェース装置１０１が実行した機器操作を検出する。

そして、インタフェース装置１０１は、ドアが開いたという状況変化の検出結果と、ニュースチャンネルへの切り替えという機器操作の検出結果と、これらの検出時刻に相当する上記時刻情報とを、互いに対応付けて操作履歴蓄積部１２３に蓄積する（Ｓ１２７）。

以上のように、インタフェース装置１０１は、ユーザ３０１が機器操作を実行したり、ユーザ３０１からの音声指示に応じてインタフェース装置１０１が機器操作を実行したりするたびに、実行された機器操作の操作履歴を蓄積する。以上の操作履歴蓄積段階で蓄積された操作履歴は、以下の操作履歴活用段階で活用される。

ある日の夕方、ユーザ３０１が、自宅に帰宅し、ドアを開けて部屋に入ったとする（Ｓ１３１）。この際、インタフェース装置１０１では、状況検出部１２２が、ドアが開いたという、テレビ２０１周辺の状況の状況変化を、ドアに取り付けられたドアセンサ５０１により検出する（Ｓ１３２）。状況検出部１２２は更に、当該検出時の時刻情報をタイマー等から取得する。次に、インタフェース装置１０１では、操作履歴照合部１２４が、この新たに検出された状況変化又は状況継続の検出結果を、操作履歴蓄積部１２３に蓄積されている状況変化又は状況継続の検出結果と照合し、この新たに検出された状況変化又は状況継続の検出結果に対応する機器操作を選択する（Ｓ１３３）。

当該照合処理において、操作履歴照合部１２４は、新たに検出された状況変化又は状況継続の検出結果と蓄積されている状況変化又は状況継続の検出結果とを照合し、新たに検出された状況変化又は状況継続の検出結果と蓄積されている状況変化又は状況継続の検出結果との類似度を数値化する。即ち、新たな状況検出結果と蓄積されている状況検出結果とがどの程度類似しているかが、所定の数値化規則の下、数値として算出される。類似度の数値化方法としては例えば、ドアが開いた、夕方に検出された、金曜日に検出された等のＮ種類の検出パラメータを用いて、各状況検出結果をＮ次元空間内の座標として表し、座標間の距離の近さを状況検出結果間の類似度とするような方法が挙げられる。類似度のスケールとしては例えば、完全一致の場合の類似度を１、完全不一致の場合の類似度を０とするようなスケールが考えられる。

そして、操作履歴照合部１２４は、新たに検出された状況変化又は状況継続の検出結果に対応する機器操作を、上記類似度に基づいて選択する。操作履歴照合部１２４はここでは、蓄積されている状況検出結果の中から、新たな状況検出結果との類似度が最も高い状況検出結果を割り出し、当該類似度が閾値以上であれば、新たな状況検出結果は割り出された状況検出結果と対応していると判断する。よって、割り出された状況検出結果に対応する機器操作が、新たな状況検出結果に対応する機器操作として選択される。

Ｓ１３３について、より具体的に説明する。Ｓ１３３において、操作履歴照合部１２４は、夕方にドアが開いたというＳ１３２で検出された状況検出結果と蓄積されている各状況検出結果との類似度を数値化する。これにより、操作履歴照合部１２４は、夕方にドアが開いたというＳ１１４又はＳ１２７で蓄積された状況検出結果を割り出す。ここでは、Ｓ１３２で検出された状況検出結果とＳ１１４又はＳ１２７で蓄積された状況検出結果との類似度を０．９とし、閾値を０．５とする。ここでは、類似度が閾値以上であるため、Ｓ１３２で検出された状況検出結果は、Ｓ１１４又はＳ１２７で蓄積された状況検出結果と対応していると判断される。よって、Ｓ１１４又はＳ１２７で蓄積された状況検出結果に対応する機器操作「ニュースチャンネルへの切り替え」が、Ｓ１３２で検出された状況検出結果に対応する機器操作として選択される。

次に、インタフェース装置１０１では、発話部１２５が、操作履歴照合部１２４により選択された機器操作に対応する語句を、音声化して発話する（Ｓ１３４）。ここでは、機器操作「ニュースチャンネルへの切り替え」に対応する語句が、音声化されて発話される。これにより、ユーザ３０１に、夕方に帰宅して部屋に入ったら普段、テレビ２０１をつけてニュースチャンネルを観ていた事を思い出させる事ができる。即ち、ユーザ３０１に、所定の状況で行っていた所定の行動を思い出させる事ができる。これにより、ユーザ３０１は、普段通り、テレビ３０１をつけてニュースチャンネルを観る事ができる。

インタフェース装置１０１では、上述のように、機器操作を特定する情報と機器操作に対応する語句とが、互いに対応付けられて蓄積部１１２に蓄積されている。これにより、機器操作と語句とが互いに対応付けられており、例えば、機器操作「ニュースチャンネルへの切り替え」は語句「ニュース」と対応付けられている。

従って、Ｓ１３４において、発話部１２５は、音声化して発話する語句、即ち、操作履歴照合部１２４により選択された機器操作に対応する語句を、蓄積部１１２に蓄積されている語句の中から検索する。ここでは、機器操作「ニュースチャンネルへの切り替え」に対応する語句「ニュース」が当該検索により取得される。そして、発話部１２５は、当該検索により取得された語句「ニュース」を音声化して発話する。なお、発話部１２５は、当該語句だけを発話するのではなく、当該語句に他の語句を補って発話してもよい。例えば、「ニュースつけた」といった具合である。

本実施例では、蓄積部１１２に蓄積されている語句は、指示音声の音声認識の際に孤立単語認識用の待ち受け語となる。従って、本実施例では、ユーザ３０１は、音声化されて発話された語句「ニュース」を指示音声として発する事で、インタフェース装置１０１にニュースチャンネルへの切り替えを実行させる事ができる。即ち、発話部１２５による発話には、ニュースチャンネルへの切り替え用の音声指示語「ニュース」をユーザ３０１に提示する効果がある。

このように、Ｓ１３４では、選択された機器操作に対応する語句として、選択された機器操作用の音声指示語が発話される。これにより、ユーザ３０１に、所定の状況で行っていた所定の行動用の音声指示語を提示する事ができる。ユーザ３０１は、提示された音声指示語「ニュース」を発する事で、普段通り、テレビ３０１をつけてニュースチャンネルを観る事ができる。

また、Ｓ１３４において、発話部１２５は、上記語句を上記類似度に応じた方法で発話する。即ち、発話部１２５は、新たな状況検出結果と割り出された状況検出結果との類似度に応じて、上記語句の発話の仕方を変える。例えば、図３のように、類似度が低ければ小さな音量で「ニュース」と発話し、類似度が高ければ大きな音量で「ニュース」と発話するというように、類似度に応じて発話音量を変化させる。例えば、図４のように、類似度が低ければ「ニュース」と１回発話し、類似度が高ければ「ニュース、ニュース、ニュース」と数回発話するというように、類似度に応じて発話回数を変化させる。ロボットであるインタフェース装置１０１は、上記類似度に応じて、首をかしげる等の身体的動作と共に上記語句を発話してもよい。

このように、Ｓ１３４では、上記語句が上記類似度に応じた方法で発話される。これにより、操作履歴とよく似た状況では、ユーザ３０１が気付きやすい方法で、操作履歴とあまり似ていない状況では、ユーザ３０１がわずらわしくない方法で発話する（音声指示語を提示する）事が可能になる。この場合、発話後にユーザ３０１が操作を行わなければ、類似度は更に低くなり、わずらわしさは更に低減される。逆に、発話後にユーザ３０１が操作を行えば、類似度は更に高くなる。

Ｓ１３４において、インタフェース装置１０１は、選択された機器操作に対応する語句を発話部１２５により音声化して発話すると共に、選択された機器操作を機器操作部１１４により実行してもよい。例えば、インタフェース装置１０１は、「ニュース」と発話しながら「ニュースチャンネルへの切り替え」を実行してもよい。

なお、本実施例では、状況検出部１２２は、ドアが開いたという、テレビ２０１周辺の状況の状況変化を検出しているが、その他の状況変化や状況継続を検出してもよい。状況検出部１２２は例えば、ドアが開いているという、テレビ２０１周辺の状況の状況継続を検出してもよい。状況検出部１２２は例えば、テレビ２０１の電源がオンになった又はオンになっているという、テレビ２０１の状況の状況変化又は状況継続を検出してもよい。これらの検出結果の処理方法については、上述と同様である。

また、本実施例では、機器操作を特定する情報と機器操作に対応する語句とが、互いに対応付けられて蓄積部１１２に蓄積されている。当該情報はここでは、後述の通り、機器操作のコマンドとなっている。当該情報は、各機器操作を特定可能な情報であればよく、例えば、各機器操作の名称や識別符号や識別番号でもよい。

また、本実施例では、１台のインタフェース装置１０１で１台の機器２０１を取り扱う場合について説明したが、本実施例は、１台のインタフェース装置１０１で複数台の機器２０１を取り扱う場合についても適用可能である。

（第２実施例）
図５は、第２実施例のインタフェース装置１０１の構成図である。図６は、第２実施例のインタフェース装置１０１の動作を説明するための説明図である。第２実施例は、第１実施例の変形例であり、第２実施例については、第１実施例との相違点を中心に説明する事にする。

図５のように、上記インタフェース装置１０１は、音声認識部１１１と、蓄積部１１２と、照合部１１３と、機器操作部１１４と、操作検出部１２１と、状況検出部１２２と、操作履歴蓄積部１２３と、操作履歴照合部１２４と、対応語句検索部１３１及び対応語句発話部１３２を有する発話部１２５と、問い掛け部１４１とを備える。

問い掛け部１４１は、状況検出部１２２により検出された状況変化又は状況継続の意味を、音声でユーザに問い掛けるブロックである。音声認識部１１１は、問い掛けに応じてユーザが発する教示音声、及び機器操作のためにユーザが発する指示音声について、音声認識を実行する又は音声認識手段４０１に音声認識を実行させるブロックである。蓄積部１１２は、教示音声の認識結果と状況変化又は状況継続の検出結果とを対応させて蓄積するブロックである。照合部１１３は、指示音声の認識結果と蓄積されている教示音声の認識結果とが照合された照合結果に基づいて、指示音声の認識結果に対応する機器操作を選択するブロックである。機器操作部１１４は、選択された機器操作を実行するブロックである。

操作検出部１２１は、機器操作を検出するブロックである。状況検出部１２２は、機器又は機器周辺の状況の状況変化又は状況継続を検出するブロックである。操作履歴蓄積部１２３は、機器操作の検出結果と状況変化又は状況継続の検出結果とを対応させて蓄積するブロックである。操作履歴照合部１２４は、新たに検出された状況変化又は状況継続の検出結果を、蓄積されている状況変化又は状況継続の検出結果と照合し、新たに検出された状況変化又は状況継続の検出結果に対応する機器操作を選択するブロックである。発話部１２５は、選択された機器操作に対応する語句を音声化して発話するブロックである。発話部１２５において、対応語句検索部１３１は、音声化して発話する語句を、蓄積部１１２に蓄積されている教示音声の認識結果から取得された語句の中から検索し、対応語句発話部１３２は、検索された語句を音声化して発話する。

図６のように、上記インタフェース装置１０１の動作段階には、機器２０１の操作履歴を蓄積する操作履歴蓄積段階と、機器２０１の操作履歴を活用する操作履歴活用段階とに加えて、教示音声を蓄積する教示音声蓄積段階とが存在する。

教示音声蓄積段階ではまず、ユーザ３０１が、リモコンを指先で操作し、テレビ２０１のチャンネルをニュースチャンネルに切り替える（Ｓ２１１）。この際、インタフェース装置１０１では、状況検出部１２２が、ニュースチャンネルへの切り替え操作に伴うリモコン信号を受信する（Ｓ２１２）。これにより、状況検出部１２２は、テレビ２０１のチャンネルがニュースチャンネルに切り替えられたという、テレビ２０１の状況の状況変化を検出する。状況検出部１２２は、テレビ２０１がネットワーク接続されている場合には、リモコン信号をテレビ２０１からネットワーク経由で受信し、テレビ２０１がネットワーク接続されていない場合には、リモコン信号をリモコンから直接受信する。

なお、第１実施例のＳ１１２においては、操作検出部１２１がリモコン信号を受信しているのに対して、第２実施例のＳ２１２においては、状況検出部１２２がリモコン信号を受信している。これは、Ｓ２１２で検出されるテレビ２０１又はテレビ２０１周辺の状況の状況変化又は状況継続がたまたま、テレビ２０１の機器操作に関連していることに起因する。従って、第２実施例についていえば、Ｓ２１２は、操作検出部１２１が実行しても構わない。これは、Ｓ２１２が、状況検出部１２２の一部である操作検出部１２１により実行される、との解釈となる。

次に、インタフェース装置１０１では、照合部１１３が、上記リモコン信号のコマンドを、蓄積部１１２に蓄積されているコマンドと照合する。テレビ２０１がネットワーク家電である場合、上記リモコン信号のコマンドは切り替えコマンド＜ＳｅｔＮｅｗｓＣｈ＞であり、テレビ２０１がネットワーク家電でない場合、上記リモコン信号のコマンドは信号コード自体である。

上記リモコン信号のコマンドが未知のコマンドである場合、問い掛け部１４１が、上記リモコン信号のコマンドの意味、即ち、状況検出部１２２により検出された状況変化の意味を、「今何したの？」という音声でユーザ３０１に問い掛ける（Ｓ２１３）。この問い掛けに応じてユーザ３０１が一定時間内に「ニュースつけた」と答えると（Ｓ２１４）、音声認識部１１１が、ユーザ３０１が発した教示音声「ニュースつけた」の音声認識処理を開始する（Ｓ２１５）。

Ｓ２１５において、音声認識部１１１は、教示音声「ニュースつけた」の音声認識を、音声認識手段４０１に実行させる。当該音声認識手段４０１はここでは、連続音声認識用の音声認識サーバである。従って、当該音声認識手段４０１は、教示音声「ニュースつけた」の音声認識として、連続音声認識を実行する。その後、音声認識部１１１は、教示音声「ニュースつけた」の認識結果を、当該音声認識手段４０１から取得する。なお、音声認識部１１１は、当該教示音声の音声認識を音声認識手段４０１に実行させる代わりに、当該教示音声の音声認識を自身で実行しても構わない。

そして、インタフェース装置１０１は、教示音声の認識結果である認識語「ニュースつけた」と、状況変化の検出結果であるコマンド＜ＳｅｔＮｅｗｓＣｈ＞とを、互いに対応付けて蓄積部１１２に蓄積する（Ｓ２１６）。

続いて、操作履歴蓄積段階では、ユーザ３０１が、テレビ２０１をつけてニュースチャンネルを観るために、インタフェース装置１０１に「ニュースつけて」と話し掛ける（Ｓ２２１）。第１実施例のＳ１２１と同様である。これに応じて、インタフェース装置１０１では、音声認識部１１１が、機器操作のためにユーザ３０１が発した指示音声「ニュースつけて」の音声認識処理を開始する（Ｓ２２２）。第１実施例のＳ１２２と同様である。

Ｓ２２２において、音声認識部１１１は、指示音声「ニュースつけて」の音声認識を、音声認識手段４０１に実行させる。当該音声認識手段４０１はここでは、連続音声認識用の音声認識サーバである。従って、当該音声認識手段４０１は、指示音声「ニュースつけて」の音声認識として、連続音声認識を実行する。その後、音声認識部１１１は、指示音声「ニュースつけて」の認識結果を、当該音声認識手段４０１から取得する。なお、音声認識部１１１は、当該指示音声の音声認識を音声認識手段４０１に実行させる代わりに、当該指示音声の音声認識を自身で実行しても構わない。

次に、インタフェース装置１０１では、照合部１１３が、指示音声「ニュースつけて」の認識結果と蓄積部１１２に蓄積されている教示音声の認識結果とを照合し、これらの認識結果が照合された照合結果に基づいて、指示音声「ニュースつけて」の認識結果に対応する機器操作を選択する（Ｓ２２３）。第１実施例のＳ１２３と同様である。ここでは、指示音声「ニュースつけて」の認識結果と教示音声「ニュースつけた」の認識結果とが対応しているとの照合結果が得られ、当該照合結果に基づいて、＜ＳｅｔＮｅｗｓＣｈ＞というコマンド、即ち、ニュースチャンネルへの切り替えという機器操作が選択される。

なお、Ｓ２２３では、語尾に違いの見られる教示音声「ニュースつけた（語尾：た）」と指示音声「ニュースつけて（語尾：て）」とが照合されており、これらが対応しているとの照合結果が得られている。このような照合処理は例えば、教示音声の連続音声認識結果と指示音声の連続音声認識結果との形態素レベルでの適合性の解析により実現可能である。当該解析処理の例としては、上記類似度を数値化したのと同様に当該適合性を数値化する事で、当該適度性を定量的に解析するような解析処理が挙げられる。

次に、インタフェース装置１０１では、機器操作部１１４が、照合部１１３により選択された機器操作を実行する（Ｓ２２４）。即ち、テレビ２０１がつけられて、チャンネルがニュースチャンネルに切り替えられる。第１実施例のＳ１２４と同様である。以下、第１実施例のＳ１２５からＳ１２７と同様の処理が実行される。

Ｓ２１１からＳ２１６の教示音声蓄積段階によれば、教示音声の認識結果「ニュースつけた」と、状況変化の検出結果＜ＳｅｔＮｅｗｓＣｈ＞とが、互いに対応付けられて蓄積部１１２に蓄積される。インタフェース装置１０１では、このような教示音声蓄積段階により、様々な教示音声の認識結果と状況変化の検出結果とが、互いに対応付けられて蓄積部１１２に蓄積される。

よって、Ｓ２２２において、音声認識部１１１は、指示音声の音声認識として、これら教示音声の認識結果から取得された語句を待ち受け語として利用した孤立単語認識を実行してもよい。例えば、「ニュースつけた」「ボリューム上げた」等の教示音声の認識結果から一部の語句を取得した「ニュース」「ボリューム」や、「録画」「再生」等の教示音声の認識結果から全部の語句を取得した「録画」「再生」等が、孤立単語認識用の待ち受け語として利用される。

これにより、Ｓ２２２では、指示音声の認識結果とこれら教示音声の認識結果とが照合され、指示音声の認識結果とこれら教示音声の認識結果とが対応しているか否かが判断される。例えば、指示音声「ニュースつけて」の認識結果には語句「ニュース」が含まれ、指示音声「ニュースつけて」の認識結果は教示音声「ニュースつけた」の認識結果と対応しているとの照合結果が得られる。そして、Ｓ２２３では、当該照合結果に基づいて、＜ＳｅｔＮｅｗｓＣｈ＞というコマンド、即ち、ニュースチャンネルへの切り替えという機器操作が選択される。そして、Ｓ２２４では、テレビ２０１がつけられて、チャンネルがニュースチャンネルに切り替えられる。以下、第１実施例のＳ１２５からＳ１２７と同様の処理が実行される。

上述のように、第１実施例のＳ１２２では、蓄積部１１２に蓄積されている語句を利用した孤立単語認識が実行される。一方、第２実施例のＳ２２２では、蓄積部１１２に蓄積されている教示音声の認識結果から取得された語句を利用した孤立単語認識を実行可能である。即ち、第２実施例では、教示音声の認識結果から取得された語句を孤立単語認識用の語句とする事で、第１実施例の操作履歴蓄積処理及び操作履歴活用処理を実現する事ができる。第１実施例では、孤立単語認識用の語句は、第２実施例のようにして取得されて蓄積部１１２に蓄積された語句でもよいし、インタフェース装置１０１の製造者が蓄積部１１２に蓄積させた語句でもよいし、インタフェース装置１０１の利用者が蓄積部１１２に蓄積させた語句でもよい。

なお、教示音声の認識結果から語句を取得する処理については、様々な方法で自動化可能である。例えば、同じ状況変化の検出結果についての複数の教示音声の認識結果を参照し、最も登場頻度の高い語句を取得するという方法が考えられる。例えば、ニュースチャンネルへの切り替えという状況変化について、「ニュースつけた」「ニュース選んだ」「ニュースチャンネルに変えた」という３つの教示音声が得られている場合、語句「ニュース」が取得される。なお、語句同士の区切りについては、形態素解析により解析可能である。

続いて、操作履歴活用段階では、第１実施例のＳ１３１からＳ１３４と同様の処理が実行される。Ｓ１３４において、発話部１２５は、音声化して発話する語句を、蓄積部１１２に蓄積されている教示音声の認識結果から取得された語句の中から検索し、検索された語句を音声化して発話する。ここでは、「ニュース」「ボリューム」「録画」「再生」等の語句の中から、機器操作「ニュースチャンネルへの切り替え」に対応する語句「ニュース」が当該検索によって取得される。そして、発話部１２５は、当該検索によって取得された語句「ニュース」を音声化して発話する。なお、発話部１２５は、当該語句だけを発話するのではなく、当該語句に他の語句を補って発話してもよい。例えば、「ニュースつけた」といった具合である。

本実施例では、蓄積部１１２に蓄積されている教示音声の認識結果から取得された語句が、指示音声の音声認識の際に孤立単語認識用の待ち受け語となる。従って、本実施例では、ユーザ３０１は、音声化されて発話された語句「ニュース」を指示音声として発する事で、インタフェース装置１０１にニュースチャンネルへの切り替えを実行させる事ができる。即ち、発話部１２５による発話には、ニュースチャンネルへの切り替え用の音声指示語「ニュース」をユーザ３０１に提示する効果がある。

このように、本実施例では、音声指示語を、教示音声の認識結果から取得する事が可能である。従って、予め登録する事の難しい、ユーザ特有の言い回しやテレビ番組の略名等を、音声指示語とする事ができる。本実施例では、これらの音声指示語は、発話部１２５の発話語でもある。従って、これらの音声指示語の発話により、ユーザ３０１に、所定の状況で行っていた所定の行動を、ユーザ特有の言い回しやテレビ番組の略名等の個性的な音声指示語で思い出させる事ができる。

（第３実施例）
図７は、第３実施例のインタフェース装置１０１の構成図である。図８は、第３実施例のインタフェース装置１０１の動作を説明するための説明図である。第３実施例は、第１実施例の変形例であり、第３実施例については、第１実施例との相違点を中心に説明する事にする。

上記インタフェース装置１０１の動作段階には、機器２０１の操作履歴を蓄積する操作履歴蓄積段階と、機器２０１の操作履歴を活用する操作履歴活用段階とが存在する。操作履歴蓄積段階では、第１実施例のＳ１１１からＳ１１４又はＳ１２１からＳ１２７と同様の処理が実行され、操作履歴活用段階では、第１実施例のＳ１３１からＳ１３４と同様の処理が実行される。

第１実施例のＳ１３４では、発話部１２５は、機器操作「ニュースチャンネルへの切り替え」に対応する語句「ニュース」を音声化して発話した。第３実施例のＳ１３４では、発話部１２５は、図８のように、ユーザ３０１への問い掛けの形で当該語句を発話する。即ち、発話部１２５は、「ニュース？」と発話する。なお、発話部１２５は、当該語句だけを発話するのではなく、当該語句に他の語句を補って発話してもよい。例えば、「ニュースつける？」「ニュース観る？」といった具合である。

このように、発話部１２５は、ユーザ３０１が問い掛けに対して肯定か否定かで答えられるような形で、上記語句を発話する。ユーザ３０１は、ニュースチャンネルを観たければ「はい」と肯定形で答えればよいし、ニュースチャンネルを観たくなければ「いいえ」と否定形で答えればよい。

音声認識部１１１は、上記問い掛けから一定時間内は、肯定形の待ち受け語（肯定語）と否定形の待ち受け語（否定語）を待ち受け語として、上記問い掛けに対する待ち受けを行う。肯定語の例としては「はい」、否定語の例としては「いいえ」が挙げられる。肯定語の例としては他にも、「うん」「そう」等が挙げられる。また、問い掛けが「ニュースつける？」「ニュース観る？」である場合には、「つける」「観る」等も肯定形の待ち受け語となり、「つけない」「観ない」等も否定形の待ち受け語となる。また、問い掛けが「ニュース？」である場合には、「ニュース」も肯定形の待ち受け語となる。

以上のように、本実施例では、発話部１２５は、ユーザ３０１への問い掛けの形で上記語句を発話する。これにより、ユーザ３０１が音声指示を行いやすい状況が作り出されることになる。インタフェース装置１０１からの問い掛けにユーザ３０１が答えるという、人間同士が会話するような状況が生まれるからである。

また、本実施例では、発話部１２５は、ユーザ３０１が問い掛けに対して肯定か否定かで答えられるような形で、上記語句を発話する。これにより、音声認識部１１１は、問い掛けに対する待ち受け（孤立単語認識）において、待ち受け語を数少ない語彙に限定することができる。待ち受け語を、肯定語と否定語に限定できるからである。これによって、待ち受けに関する音声認識処理の処理負担が軽減される。

（第４実施例）
第１実施例では、機器２０１又は機器周辺２０１の状況の状況変化又は状況継続を検出するためのセンサ５０１の例として、ドアセンサを取り上げた。センサ５０１等によって検出可能な状況変化又は状況継続の例としては、他にも、電灯のＯＮ／ＯＦＦ、洗濯機の稼動状態、風呂給湯器の状態、視聴しているテレビ番組タイトル、機器周辺にいるユーザのユーザ名等が挙げられる。

電灯のＯＮ／ＯＦＦ、洗濯機の稼動状態、風呂給湯器の状態については、これらの機器がネットワークに接続されていれば、ネットワーク経由で取得可能である。また、電灯のＯＮ／ＯＦＦについては、照度センサの変化によって取得する事も可能である。視聴しているテレビ番組タイトルは、例えば、電子番組表（ＥＰＧ）と、現在視聴中のチャンネルのチャンネル番号と、現在時刻から抽出可能である。ユーザ名については、機器の周辺にカメラを設置しておき、カメラを利用した顔認識技術によりユーザの顔を認識し、ユーザの顔の認識結果からユーザ名を割り出す事で獲得可能である。

これら状況変化や状況継続の検出結果は、図９のように、機器操作の検出結果と対応付けられて操作履歴蓄積部１２３に蓄積される。図９は、第４実施例の操作履歴蓄積部１２３の蓄積データの例を表す。

図１０は、第４実施例のインタフェース装置１０１の動作を説明するための図である。

ある日の朝、洗濯機がＯＮになってから、カメラによってユーザ１（お母さん）の顔が認識されたとする。この際、インタフェース装置１０１は、ユーザ１が毎朝視聴しているテレビ番組がドラマ「ＡＡＡ」であることを参酌して、「ＡＡＡ観る？」と発話することができる。これに応じて、ユーザ１が肯定的な回答をした場合、インタフェース装置１０１は、テレビをつけて、チャンネルをそのドラマのチャンネルに切り替える事ができる。

これは、ユーザ１がそのドラマが始まるのを忘れていた場合には、リマインダとしての効果を持つ。さらに、ユーザ１が毎回そのドラマを見る確率が高い場合には、インタフェース装置１０１は、ユーザ１に聞かず、「ＡＡＡ、ＡＡＡ」と発話しつつ、自発的にテレビをつけて、チャンネルをそのドラマのチャンネルに切り替えてもよい。

また、ある日の夕方、テレビのある部屋の電灯がついて、カメラによってユーザ２（子供）の顔が認識されたとする。この際、インタフェース装置１０１は、インタフェース装置１０１は、ユーザ２が夕方いつも視聴しているテレビ番組がアニメ「ＢＢＢ」であることを参酌して、「ＢＢＢ観る？」と発話することができる。これに応じて、ユーザ２が肯定的な回答をした場合、インタフェース装置１０１は、テレビをつけて、チャンネルをそのアニメのチャンネルに切り替える事ができる。

また、いつも夜９時頃に家に帰り、その後すぐに風呂に入るユーザがいる場合を想定する。この場合、インタフェース装置１０１は、その時刻近辺に玄関のドアセンサが反応したら、「風呂？、風呂？」と発話する。これに応じて、ユーザが肯定的な回答をした場合、インタフェース装置１０１は、風呂給湯器を操作する事ができる。

また、いつも夜寝る前（１２時頃）に、テレビを消してから部屋の明かりを消して寝るユーザがいる場合を想定する。この場合、インタフェース装置１０１は、その時刻近辺にテレビが消されたら、「部屋の明かり？部屋の明かり？」と発話する。これに応じて、ユーザが肯定的な回答をした場合、インタフェース装置１０１は、部屋の明かりを操作する事ができる。

なお、第１乃至第４実施例のインタフェース装置１０１により実行される処理は、例えばコンピュータプログラム（インタフェース処理プログラム）により実現可能である。当該プログラム６０１は例えば、図１１に示すように、インタフェース装置１０１内のストレージ６１１に格納されており、インタフェース装置１０１内のプロセッサ６１２で実行される。

第１実施例のインタフェース装置の構成図である。 第１実施例のインタフェース装置の動作を説明するための説明図である。 類似度に応じて発話音量を変化させる発話方式についての説明図である。 類似度に応じて発話回数を変化させる発話方式についての説明図である。 第２実施例のインタフェース装置の構成図である。 第２実施例のインタフェース装置の動作を説明するための説明図である。 第３実施例のインタフェース装置の構成図である。 第３実施例のインタフェース装置の動作を説明するための説明図である。 第４実施例の操作履歴蓄積部の蓄積データの例を表す。 第４実施例のインタフェース装置の動作を説明するための説明図である。 インタフェース処理プログラムについて説明するための図である。

符号の説明

１０１ インタフェース装置
１１１ 音声認識部
１１２ 蓄積部
１１３ 照合部
１１４ 機器操作部
１２１ 操作検出部
１２２ 状況検出部
１２３ 操作履歴蓄積部
１２４ 操作履歴照合部
１２５ 発話部
１３１ 対応語句検索部
１３２ 対応語句発話部
１４１ 問い掛け部
２０１ 機器
３０１ ユーザ
４０１ 音声認識手段
５０１ センサ
６０１ インタフェース処理プログラム
６１１ ストレージ
６１２ プロセッサ

Claims (14)

1. 機器操作を検出する操作検出部と、
   機器又は機器周辺の状況の状況変化又は状況継続を検出する状況検出部と、
   前記機器操作の検出結果と前記状況変化又は状況継続の検出結果とを対応させて蓄積する操作履歴蓄積部と、
   新たに検出された状況変化又は状況継続の検出結果を、蓄積されている状況変化又は状況継続の検出結果と照合し、新たに検出された状況変化又は状況継続の検出結果に対応する機器操作を選択する操作履歴照合部と、
   選択された機器操作に対応する語句を音声化して発話する発話部とを備えることを特徴とするインタフェース装置。
2. 前記操作検出部は、ユーザが実行した機器操作、を検出することを特徴とする請求項１に記載のインタフェース装置。
3. 前記操作検出部は、ユーザからの音声指示に応じて当該インタフェース装置が実行した機器操作、を検出することを特徴とする請求項１に記載のインタフェース装置。
4. 前記発話部は、前記語句として、選択された機器操作用の音声指示語を発話することを特徴とする請求項３に記載のインタフェース装置。
5. 前記操作履歴照合部は、新たに検出された状況変化又は状況継続の検出結果と蓄積されている状況変化又は状況継続の検出結果との類似度を数値化し、新たに検出された状況変化又は状況継続の検出結果に対応する機器操作を当該類似度に基づいて選択することを特徴とする請求項１乃至４のいずれか１項に記載のインタフェース装置。
6. 前記発話部は、前記類似度に応じた方法で前記語句を発話することを特徴とする請求項５に記載のインタフェース装置。
7. 前記発話部は、前記類似度に応じて前記語句の発話音量又は発話回数を変化させることを特徴とする請求項６に記載のインタフェース装置。
8. 前記状況検出部により検出された状況変化又は状況継続の意味を、音声でユーザに問い掛ける問い掛け部と、
   問い掛けに応じてユーザが発する教示音声、及び機器操作のためにユーザが発する指示音声について、音声認識を実行する又は音声認識手段に音声認識を実行させる音声認識部と、
   前記教示音声の認識結果と前記状況変化又は状況継続の検出結果とを対応させて蓄積する蓄積部と、
   前記指示音声の認識結果と蓄積されている前記教示音声の認識結果とが照合された照合結果に基づいて、前記指示音声の認識結果に対応する機器操作を選択する照合部と、
   選択された機器操作を実行する機器操作部とを備え、
   前記操作検出部は、前記機器操作部により実行された機器操作を検出し、
   前記発話部は、音声化して発話する語句を、蓄積されている前記教示音声の認識結果から取得された語句の中から検索し、検索された語句を音声化して発話することを特徴とする請求項１乃至７のいずれか１項に記載のインタフェース装置。
9. 前記音声認識部は、
   前記教示音声について、連続音声認識による音声認識を実行し又は実行させ、
   前記指示音声について、連続音声認識又は孤立単語認識による音声認識を実行する又は実行させることを特徴とする請求項８に記載のインタフェース装置。
10. 前記発話部は、音声化して発話する語句を、蓄積されている前記教示音声の認識結果から取得された前記孤立単語認識用の待ち受け語の中から検索し、検索された待ち受け語を音声化して発話することを特徴とする請求項９に記載のインタフェース装置。
11. 前記発話部は、ユーザへの問い掛けの形で前記語句を発話することを特徴とする請求項１乃至１０のいずれか１項に記載のインタフェース装置。
12. 機器操作を検出し、
    機器又は機器周辺の状況の状況変化又は状況継続を検出し、
    前記機器操作の検出結果と前記状況変化又は状況継続の検出結果とを対応させて蓄積し、
    新たに検出された状況変化又は状況継続の検出結果を、蓄積されている状況変化又は状況継続の検出結果と照合し、新たに検出された状況変化又は状況継続の検出結果に対応する機器操作を選択し、
    選択された機器操作に対応する語句を音声化して発話することを特徴とするインタフェース処理方法。
13. 機器又は機器周辺の状況の状況変化又は状況継続を検出し、
    検出された状況変化又は状況継続の意味を、音声でユーザに問い掛け、
    問い掛けに応じてユーザが発した教示音声について、音声認識を実行し又は音声認識手段に音声認識を実行させ、
    前記教示音声の認識結果と前記状況変化又は状況継続の検出結果とを対応させて蓄積し、
    機器操作のためにユーザが発した指示音声について、音声認識を実行し又は音声認識手段に音声認識を実行させ、
    前記指示音声の認識結果と蓄積されている前記教示音声の認識結果とが照合された照合結果に基づいて、前記指示音声の認識結果に対応する機器操作を選択し、
    選択された機器操作を実行し、
    実行された機器操作を検出し、
    機器又は機器周辺の状況の状況変化又は状況継続を検出し、
    前記機器操作の検出結果と前記状況変化又は状況継続の検出結果とを対応させて蓄積し、
    新たに検出された状況変化又は状況継続の検出結果を、蓄積されている状況変化又は状況継続の検出結果と照合し、新たに検出された状況変化又は状況継続の検出結果に対応する機器操作を選択し、
    選択された機器操作に対応する語句を、蓄積されている前記教示音声の認識結果から取得された語句の中から検索し、検索された語句を音声化して発話することを特徴とするインタフェース処理方法。
14. 新たに検出された状況変化又は状況継続の検出結果と蓄積されている状況変化又は状況継続の検出結果との照合、及び新たに検出された状況変化又は状況継続の検出結果に対応する機器操作の選択では、
    新たに検出された状況変化又は状況継続の検出結果と蓄積されている状況変化又は状況継続の検出結果との類似度を数値化し、新たに検出された状況変化又は状況継続の検出結果に対応する機器操作を当該類似度に基づいて選択することを特徴とする請求項１２又は１３に記載のインタフェース処理方法。

Images