JP2005284492A - 音声利用操作装置 - Google Patents

Abstract

【課題】 操作者が操作結果や機器状態や発話タイミングを確実に把握でき、誤操作、無駄操作することの無い、操作性が改善された家電・設備機器用の音声利用操作装置を提供すること。
【解決手段】 家電・設備機器に組み込まれ、操作者によって発声された音声操作・設定用のコマンドに基づいて家電・設備機器の操作・設定を行う音声利用操作装置において、コマンドを含んだ音情報を受付ける音入力部と、音情報からコマンドを抽出する音処理部と、抽出されたコマンドや家電・設備機器の状態等に基づいて家電・設備機器の動作モードを決定する制御部と、表示画面、発音部、発光部の少なくとも一つを含み、制御部の出力に基づいて家電・設備機器の動作モードや状態を表示する表示部と、を備え、制御部は、動作モードの変更に応じて、表示部の表示内容を変化させるように構成したものである。
【選択図】 図１

Description

本発明は、音声を利用して家電機器や設備機器の操作・設定を行う家電・設備機器用の音声利用操作装置に関するものである。

従来の音声利用操作装置では、音声操作を実現するため、操作者が音声によるコマンド（以下、「音声コマンド」という）を発する際、専用スイッチにより発話タイミングを装置に知らせたり、また逆にいつ音声が発せられても良いように、装置側が常に音声を取得し続け、コマンド若しくは操作開始のトリガとなるキーワードを検出したりしていた。そして音声利用操作装置が組み込まれた家電・設備機器に配設された表示画面に、操作者が行った操作や機器の状態を表示するようにしていた。

しかしながら発話の度に専用スイッチにより発話タイミングを知らせるのは面倒であり、操作が煩わしかった。また常に音声を取得していると、装置に内蔵されているＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔの略）の処理能力を大きく占有してしまうことになった。
このようなことからセンサによって取得した操作者の位置や、撮像手段を用いて取得した操作者の外観情報（顔の向きや目線の向き等）に基づいてコマンドとなる音声（以下、「コマンド音声」という）の取得区間を決定する音声認識装置が提案されている（例えば、特許文献１参照）。

特開平１１−３５２９８７号公報

従来の音声利用操作装置は、以上のように構成されており、以下に示すような課題を有していた。

操作者が通常使用している言葉を発することにより気軽に操作や設定のコマンドを与えることができ、少し離れた場所から操作可能であるが、このような少し離れた場所からでは表示が見難く、操作・設定の結果や機器の現在の状態が分かり難かった。

また発話のタイミングで装置に備え付けられたセンサ、あるいは撮像手段に検出されるように身を呈する必要があった。

また大きな雑音下において、操作者が音声コマンドを使用可能と思って発話しても実際には装置側ではそれを受け取ることができず、操作者の要求と装置の反応との間にずれを生じ、操作し難い状況に陥ることがあった。

また操作者が音声コマンドを忘れてしまい、何と発話すれば良いのか分からなくなり、操作・設定に戸惑ってしまうことがあった。

また音声には、例えそれが機器の操作や設定のためのコマンドであろうと、操作者の感情が多少なりとも含まれることになるが、その感情情報が操作や設定に反映されることは無く、常に同じ言葉として受け取られ、同じ操作や設定がなされていた。

本発明は係る課題を解決するためになされたものであり、操作者が操作結果や機器状態や発話タイミングを確実に把握でき、誤操作、無駄操作することの無い、操作性が改善された家電・設備機器用の音声利用操作装置を提供することを目的にしている。

本発明に係る音声利用操作装置は、家電・設備機器に組み込まれ、操作者によって発声された音声操作・設定用のコマンドに基づいて家電・設備機器の操作・設定を行う音声利用操作装置において、コマンドを含んだ音情報を受付ける音入力部と、音情報からコマンドを抽出する音処理部と、抽出されたコマンドや家電・設備機器の状態等に基づいて家電・設備機器の動作モードを決定する制御部と、表示画面、発音部、発光部の少なくとも一つを含み、制御部の出力に基づいて家電・設備機器の動作モードや状態を表示する表示部と、を備え、制御部は、動作モードの変更に応じて、表示部の表示内容を変化させるように構成したものである。

表示画面、発音部、発光部の少なくとも一つから構成された表示部が制御部による動作モードの変更に応じて、表示部の表示内容を変化させるように構成したので、操作者が操作結果や機器状態を確実に把握でき、誤操作、無駄操作することが無くなる。この結果、操作性が改善された家電・設備機器用の音声利用操作装置を提供することができる。

実施の形態１．
図１は本発明の実施の形態１に係る家電・設備機器用の音声利用操作装置の概略構成を示したものである。
図において音声利用操作装置１０１は、音入力部１０２と表示部１０３と音処理部１０４と制御部１０５とから構成されており、家電・設備機器（図示せず）に組み込まれる。

動作について説明する。
操作・設定用のコマンド音声や周囲の雑音などからなる音情報は、音入力部１０２から入力される。入力された音情報は、制御部１０５を介して音処理部１０４に送られ、コマンド音声が抽出された後、再び制御部１０５に戻される。制御部１０５では、抽出されたコマンド音声や、制御している機器の状態、制御結果などに基づいて、機器の動作モードを決定する。そして決定した動作モードに合わせた表示内容を選択し、表示部１０３に表示する。

また図２は本実施の形態に係る家電・設備機器の動作モードの一例を示したものである。
図において機器の動作モードは、音声コマンドのキーワードや話者の登録などに対応した登録モード２０２と、通常の動作に対応した通常動作モード２０３と、操作失敗時／異常発生時／警告発生時などに対応したエラーモード２０４に分類される。
この中で通常動作モード２０３はさらに、コマンド音声の受付けが不可能な状態である音声受付不可モード２０５と、コマンド音声の受付けが可能な状態である音声受付可モード２０６と、コマンド音声を受付けている最中であることを表す音声受付中モード２０７に分類される。
制御部１０５は、これらのモードの中から機器の動作モードを選択して決定する。

次に図３は本実施の形態に係る表示部１０３の表示内容の一例を示したものである。
図において（ａ）、（ｂ）、（ｃ）はそれぞれ登録モード時、音声受付可モード時、音声受付不可モード時における表示画面の表示内容を示したものである。また（ｄ）、（ｅ）は音声受付中モード時であることを表示画面にそれぞれ文字情報、視覚情報で示したものである。

以下、図を参照しながら各モードの表示内容について説明する。
操作を開始して機器が登録モードになると、図（ａ）に示すように表示画面３０１の背景色は黄色になり、現在の作業内容である「登録」３０２と、登録可能な文字情報（音声コマンド）が表示画面に順番に表示される。この文字情報（音声コマンド）は、操作者が読み取れるようにゆっくり繰返しスクロールされる。操作者は、例えば表示部１０３の脇にある操作ボタンなどを押して順番に表示される文字情報（音声コマンド）の中から所望のものを選択する。
図（ａ）は「ドアオープン」が選択された場合を示したもので、表示画面に「ドアオープン」３０３が表示されている。この状態で、操作者が、例えば表示部１０３の脇にある登録ボタンを押しながら「ドアオープン」と発話することにより音声登録が行なわれる。

次に登録作業が完了し、通常動作モード２０３に移行し、音声受付可モード２０６になると、表示画面３０４の背景色は水色になり、受付可能な音声コマンドを含んだ指示内容が表示される。複数の音声コマンドが登録されている場合には、登録されている音声コマンドを含んだ指示内容が、表示画面に文字情報として順番に表示される。この文字情報は、操作者が読み取れるようにゆっくり繰返しスクロールされる。
図（ｂ）は、操作者に対する指示内容である「「ドアオープン」と言って下さい。」３０５が、表示画面に文字情報として表示されている状態を示したものである。このように文字情報が一画面に収まり切らなくても、ゆっくりスクロールするので、操作者は全体を読み取ることができる。

この状態で操作者が指示通りに「ドアオープン」と発話すれば、音声コマンドとして受付けられる。この時、音声コマンドを含む音情報は、機器内部の音入力部１０２により取得され、この音情報は制御部１０５により音処理部１０４に送られる。その際、制御部１０５は、機器の動作モードを音声受付中モード２０７に変更し、例えば図（ｄ）に示すように、表示部１０３の表示画面３０８の輝度を連続的に変化させたり、点滅させたりする。

また音声受付中であることを、このような文字情報と輝度変化の組み合わせではなく、より直感的に表すようにしても良い。例えば図（ｅ）に示すように、音声受付中はオーディオ機器のレベルメータのように可変長のバー３０９を、音圧などの情報や機器内部で独自に持つ制御／変化パターンに合わせて動かしたり、また聞き耳を立てている人の絵（アイコン）３１０を同時に表示したりしても良い。

音声の受付が完了したら、完了時点の動作モードを判定し、対応する動作モードの表示に移行する。例えば、引き続き音声受付可モード２０６であれば表示画面３０４のように背景色を水色として、受付可能な音声コマンドを含んだ、操作者への指示内容３０５の表示に戻るようにする。

なお、通常動作モードで連続して音を取得している時、もしくは音声の取得をスタートした時に、音入力部１０２が所定の音圧よりも大きな雑音を受付けた場合、制御部１０５は動作モードを音声受付不可モード２０５に変更し、表示画面３０６の背景色を赤橙色にして操作者に音声受付不可であることを提示する。この時、図（ｃ）に示すように、不可理由と現在状態の説明である「周囲がうるさいため受付不可」３０７が、文字情報として表示画面３０６に表示される。

このように本音声利用操作装置では、音声コマンドを含んだ音情報を受付ける音入力部と、音情報から音声コマンドを抽出する音処理部と、抽出された音声コマンドや家電・設備機器の状態等に基づく家電・設備機器の動作モードの決定などを行なう制御部と、制御部の出力に基づいて家電・設備機器の動作モードや状態を表示する表示部と、を備え、表示部が制御部による動作モードの変更に応じて、表示画面を構成するパラメータを変化させるので、操作者が操作結果や機器状態を確実に把握でき、誤操作、無駄操作をすることが無くなり、操作性が大きく改善される。

また、音声受付可モードに機器が移行したことが表示されるので、操作者は迷うことなく発話を開始することができる。

また装置側から見て、常に音を取得する動作を行う必要はなくなり、必要な区間のみ音声を取得する動作を行えば良いので、ＭＰＵの処理能力に対する占有率や電力の無駄遣いを削減することができる。さらにコマンド音声の区間と、雑音の区間の区別が容易になるので、音声認識率や話者識別率も向上する。

また操作者が何と発話すれば良いかを、機器から操作者に表示部１０３を介して呈示するので、操作者が音声コマンドを忘れてしまい、操作・設定に戸惑ってしまうこともなくなる。

なお、ここでは表示部１０３は表示画面として、動作モードの変化を表示画面の色や輝度の変化によって表現する場合について説明したが、これらは表現方法の一例に過ぎない。

表示画面の背景の点灯状態（継続発光、点滅）／輝度／色／発光面積や、表示画面に表示された文字／アイコン（図形、絵）／幾何学模様（色の波模様、不規則模様等）や、動作モードの変更に応じた際に発せられる報知音（「ピッ」等のビープ音やメロディ音、自然界の音、創作的な無機音等）／音声などをパラメータにして表現方法を構成するようにしても良い。またこれらパラメータを任意に組み合わせて表現方法を構成するようにしても良い。

これらパラメータをもちいた表現方法として、例えば、発話を受付可能な時は緑色ランプ、受付不可の時は赤色ランプを点灯する／発話を受付可能な時は「受付可」や「どうぞ」等の言葉を表示し、受付不可の時は「受付不可」や「周りがうるさいのであなたの声が聞こえません」等の言葉を表示する／音声受付可の時は青色の光の帯を表示し、受付不可の時は赤色の帯を表示し、受付中の時は光の色の波模様を表示する／光の帯の表示に音声ガイドを追加して機器状態の説明・操作可能な内容等を音声により操作者に伝達する、などが挙げられる。

また表示部１０３として表示画面に限って説明してきたが、表示部は操作者に対し光や音で情報を呈示できるものであれば何であっても構わない。例えば発光素子を配列し現在の動作モードを特定の発光素子の点灯で表す発光部から構成されていても良いし、報知音や音声を発する発音部から構成されていても良いし、これらを組み合わせたものであっても良い。例えば、発光素子を配列した発光部の場合は点灯状態（継続発光、点滅）／輝度／色／発光面積などがパラメータとなり、発音部の場合は報知音（「ピッ」等のビープ音やメロディ音、自然界の音、創作的な無機音等）／音声などがパラメータとなる。

またこれら表現方法の中で、特に光に係る点灯状態／輝度／色／発光面積等をパラメータにしたものは、或る程度離れていても視認できるので、機器から少し離れた場所で音声操作を行い、この離れた場所から操作結果や機器の状態を把握しようとした場合のパラメータに好適である。

またここでは、「ドアオープン」という音声コマンドにより冷蔵庫のドアを開く操作を例に取り上げて説明してきたが、本音声利用操作装置の対象はこれに限定されるものではない。洗濯機、電子レンジ、ＩＨクッキングヒータ、エアコン、加湿／除湿器、クリーンヒータ、照明機器、ＴＶ、ビデオ機器、ビル設備システム機器（照明、空調等）、パソコンなどの種々の家電・設備機器の様々な機能や設定項目に対して適用可能である。
また登録モードにおける音声登録は前述の方法に限定されるものではない。例えば表示部１０３の脇のダイヤル操作により登録可能な音声情報（音声コマンド）を順番に表示させるようにしても良いし、その他方法であっても良い。

さらに本実施の形態では、音入力部１０２と表示部１０３と音処理部１０４が音声利用操作装置に内蔵される場合について説明してきたが、この構成に限定されるものではない。例えば音声利用操作装置が組み込まれる家電・設備機器が、音声入力部、表示部もしくは音処理部を保有している場合には、これらを積極的に活用し、音声利用操作装置からこれらを省略するようにしても良い。即ち、音入力部を保有している場合は、音入力部を省略、表示部を保有している場合は、表示部を省略、音声入力部と表示部を保有している場合は、音声入力部と表示部を省略、音声入力部と音処理部を保有している場合は、音声入力部と音処理部を省略、さらには音声入力部と表示部と音処理部を保有している場合は、音声入力部と表示部と音処理部を省略する。このように省略された場合でも前述と同じ動作が可能であり、同じ効果が得られる。

実施の形態２．
実使用環境では、音入力部１０２からコマンド音声の他に、周囲の雑音も入力される。この点は、常に音を拾いながら操作者からの音声コマンドを待つ方法でも、また操作者が専用スイッチにより発話タイミングを機器に知らせる方法であっても同じである。本実施の形態は、音処理部１０４によるこのようなコマンド音声と周囲雑音の判別に関するもので、特には音声操作用コマンドの音声区間を判別する方法に関するものである。

図４は音入力部１０２から入力されるコマンド音声と周囲雑音を合わせた音情報４０１の時間的変化を示したものであり、横軸、縦軸はそれぞれ時間４０３、音圧４０４を表している。
図においてコマンド音声が含まれている音情報の音圧の閾値（以下、「音声操作コマンド音圧閾値」という）４０２が境界値として設定されている。音処理部１０４はこの境界値をもとに、取得した音情報にコマンド音声が含まれているかどうかを判別する。

即ち、音声操作コマンド音圧閾値４０２より大きな音圧の入力があった時、音処理部１０４は、その時の音情報４０１にはコマンド音声が含まれていると判別し、コマンド音声を抽出し、抽出したコマンド音声を制御部１０５に戻す。その際、制御部１０５は動作モードを音声受付中モードに変更する。
図のケースでは、音声操作コマンド音圧閾値４０２より大きな音圧の入力があった区間４０５の音情報には、音声操作用コマンドが含まれていると判別される。

一方、音声操作コマンド音圧閾値４０２より小さな音圧の場合、音処理部１０４は、音情報４０１は全て雑音であると判定し、この判定結果が制御部１０５に戻される。その際、制御部１０５はコマンド音声が含まれていないので動作モードの変更は行なわない。

このようにして制御部１０５は、音処理部１０４からコマンド音声が送られてきて、はじめて操作・設定を開始する。また表示部１０３は機器の動作モードや状態に応じた表示を行う。

なおこのような音声操作コマンド音圧閾値４０２は、周囲雑音に対して高く、またコマンド音声を含んだ音情報に対して低く設定する必要がある。
ここで周囲雑音のレベルは、各々の置かれた環境において或る一定の学習期間を設け、その間に取得した周囲雑音をもとに決めても良いし、出荷時に予め一定の値として設定しても良い。

さらに音声操作コマンド音圧閾値４０２は、周囲の雑音レベルに追従させるようにしても良い。この場合、取得している雑音の直前における平均音圧に基づき、平均音圧が上がれば音声操作コマンド音圧閾値４０２を上げ、平均音圧が下がれば音声操作コマンド音圧閾値４０２を下げるように、音声操作コマンド音圧閾値４０２を制御する。

このような制御を行なうことにより、雑音の時間平均が大きくなった場合には、音声操作コマンド音圧閾値４０２も上がるので、大きな雑音が誤ってコマンド音声と判定される可能性を小さくすることができる。
また逆に、雑音の時間平均が小さくなった場合には、音声操作コマンド音圧閾値４０２も下がるので、小さなコマンド音声が誤って雑音と判定される可能性を小さくすることができる。

音声受付不可となる音声区間も同様な方法を用いて判別できる。
次にこの音声受付不可となる音声区間を判別する方法について説明する。
図５は、図４と同様、音入力部１０２から入力される音情報の時間的変化を示したものである。簡単化のため、図中示されている音情報は、コマンド音声を含まず、周囲雑音５０１のみからなるものとする。

この周囲雑音５０１に対し、雑音の音圧の閾値である雑音音圧閾値５０２を定め、音声操作コマンド音圧閾値４０２よりも小さく、かつ雑音音圧閾値５０２より大きな音情報が入力された場合はコマンド音声を識別するのが不可能な区間として、制御部１０５は機器の動作モードを音声受付不可モードに変更する。
そしてこの雑音音圧閾値５０２が再び下回るレベルの音圧となった時、音声受付不可モードに移る前の動作モードに戻る。

例えば、音声受付可モードの状態にある時、雑音音圧閾値５０２を超える雑音が入力されたら、その間は音声受付不可モードになり、雑音音圧閾値５０２を下回る雑音になった時には再び音声受付可モードに戻る。その間、表示部１０３は機器の動作モードや状態に応じた表示を行う。

なお図５では雑音音圧閾値５０２は時間に対して一定として描かれているが、図４で説明した音声操作コマンド音圧閾値４０２と同様、直前に取得した周囲雑音の平均音圧の変動に従って雑音音圧閾値５０２を変動させるようにしても良い。

さらに、より正確な動作モードの切り替えを行うために人体検知手段を利用するようにしても良い。次にこの人体検知手段を併用した場合について説明する。
図６は人体検知部が付加された音声利用操作装置の構成を示したものである。実施の形態１で示した構成と異なる点は、人体検知部６０６が制御部６０５に接続されている点である。

人体検知部６０６は人感センサなどから構成され、制御部６０５は人体検知部６０６の出力に基づいて、音声操作可能となる特定領域に操作者が居るか居ないかを判定する。操作者が居るか居ないかを判定する特定領域として、冷蔵庫のケースでは、機器の正面、左右３０度の範囲内で距離１ｍ以内などが挙げられる。

図７は音入力部６０２から入力される音情報の時間的変化と、人体検知部６０６から出力される操作者の在／不在情報の時間的変化を同じ時間軸で表したものである。併せて図４で説明した音声操作コマンド音圧閾値７０２と、図５で説明した雑音音圧閾値７０３を記している。
この場合、音声コマンド／雑音や動作モードは、人体検知部６０６の在／不在情報を含めて判定される。以下では、音声コマンド／雑音が、人体検知部６０６の在／不在情報を含めて判定されるケースについて説明する。

まず音声情報７０１が音声操作コマンド音圧閾値７０２を超えるようなレベルであっても、その区間で人体検知出力７０４が不在を示していれば、コマンド音声とは判定されない。例えば図において区間７０８では、音声情報７０１は雑音音圧閾値７０３を超え、さらには一部が音声操作コマンド音圧閾値７０２を超えているが、人体検知出力７０４が不在であるので、コマンド音声とは判定されない。この結果、動作モードは音声受付不可モードに変更され、これが表示部６０３に表示される。

また区間７０９のように音声操作コマンド音圧閾値７０２を超えるレベルの音情報の入力があって、人体検知出力７０４が在を示していれば、音情報は音声操作用のコマンドであると判定され、機器の動作モードは音声受付中モードに変更される。表示部６０３は機器の動作モードや状態に応じた表示を行う。

なお人体検知部６０６から出力される在／不在情報により直接機器の動作モードを変更し、在の時には音声入力可モード、不在の時は音声入力不可モードに移行するように構成しても良い。
また音情報と、人体検知出力と、音声操作コマンド音圧閾値と、雑音音圧閾値と、動作モードの移行と、機器動作との関係は、本実施の形態で説明したものに限定されるものではない。これら情報の組合せと、動作モードの移行、機器動作との関係については機器毎に適宜設定されるものである。

このように本音声利用操作装置では、音入力部６０２により機器の周囲の雑音状況を検出しておき、雑音状況から決定される音声操作コマンド音圧閾値７０２以上の音圧の音が入力されたら音声操作用のコマンドとみなして音処理を開始するので、より正確に音声の認識、話者の識別等の音処理を行なうことができる。

また音入力部６０２により取得した機器の周囲の雑音状況から、音声操作用のコマンドの受付可否を判定し、受付可否の状況により機器の動作モードを変更し、それに伴って表示部６０３の表示も変化するので、操作者は適切なタイミングでコマンド音声を発することができ、スムーズな操作性を提供することが可能となる。

さらに人体の接近を検出する人体検知部を備え、操作者が音声入力可能な位置に入ったことを検出した時に、機器の動作モードを変更したり、在／不在情報を用いて音情報の取扱いを変更したりするので、より自然に操作者と機器との音声操作／対話系が構築可能となり、操作性の向上をはかることが可能となる。

なおここでは、人体検知部６０６が音声利用操作装置に内蔵される場合について説明してきたが、この構成に限定されるものではない。例えば音声利用操作装置が組み込まれる家電・設備機器が、人体検知部を保有している場合には、これを積極的に利用し、音声利用操作装置からこれを省略するようにしても良い。このように省略された場合も前述と同じ動作が可能であり、同じ効果が得られる。

さらにここでは、人体検知部を用いてコマンド音声を含んでいない音情報とコマンド音声を含んだ音情報を判定する場合について説明したが、人体検知部を用いずに音情報の音圧の立上りをもとに判定することもできる。次にこの判定方法について説明する。構成は実施の形態1と同じである。

図８は音入力部１０２から入力される音情報８０１の音圧の時間的変化を示したもので、（ａ）、（ｂ）は、それぞれコマンド音声を含んでいない音情報と、コマンド音声を含んだ音情報が、音声操作コマンド音圧閾値８０２を超える様子を示したものである。

一般に操作者はコマンド音声を入力するためにハッキリ発声するので、コマンド音声を含んだ音情報の音圧は、図（ｂ）に示すように、急峻な立ち上りを示す。これに対して、コマンド音声を含んでいない音情報の音圧が音声操作コマンド音圧閾値８０２を超えるのは、周囲の幾つかの雑音源が組み合わさったことに起因することが多く、図（ａ）に示すように、緩慢な立上りを示す。

したがって音情報の音圧の立上り、即ち雑音音圧閾値８０３を超えて音声操作コマンド音圧閾値８０２に達するまでの時間（以下、「立上り時間」という）をもとに、コマンド音声を含んだ音情報とコマンド音声を含んでいない音情報を判別することができる。

この場合、音処理部１０４は、雑音を判定するための時間の閾値（以下、「雑音判定時間閾値」という）８０６を保持し、立上り時間と比較する。
立上り時間が雑音判定時間閾値８０６より大きな場合は、図（ａ）に示すように、例え音声操作コマンド音圧閾値８０２を超えることがあっても、音声操作用のコマンドを受付けない。そしてこの状態は、音情報の音圧が、一旦、雑音音圧閾値８０３を下回るまで維持される。この様子は図中、区間８０７で表されている。

一方、立上り時間が雑音判定時間閾値８０６より小さな場合は、図（ｂ）に示すように、コマンド音声が含まれていると判定され、音声操作コマンド音圧閾値８０２を超えた区間の音情報が抽出される。この様子は図中、区間８０９で表されている。

このようにして音情報の音圧の立上りをもとに、コマンド音声を含んでいない音情報と、コマンド音声を含んだ音情報の判別を可能にした。この結果、音声操作用のコマンドの受付可否を判定し、受付可否の状況により機器の動作モードを変更し、それに伴って表示部１０３の表示も変化するので、操作者は適切なタイミングでコマンド音声を発することができ、スムーズな操作性を提供することが可能となる。

実施の形態３．
実施の形態１では、コマンド音声が音声操作コマンド音圧閾値４０２を越えれば、音圧に関係なく同じ応答動作（操作や設定）をするように構成されていた。
本実施の形態では、音圧の大小を踏まえ、応答動作が補正される場合について説明する。特に「ドアオープン」という音声コマンドを用いて冷蔵庫のドアを開くアプリケーションを例に取り上げて説明する。
図９は本実施の形態に係るコマンド音声の音圧と冷蔵庫の応答動作との関係を示した例である。

図中（ａ）、（ｂ）はそれぞれコマンド音声９０２の平均音圧９０３がＰＡ、コマンド音声９０４の平均音圧９０５がＰＢ（ＰＢ＞ＰＡ）の場合の「ドアオープン」という音声コマンドに対する冷蔵庫の応答動作を比較して示したものである。

図より平均音圧９０３がＰＡの時、冷蔵庫本体９０６のドア９０７は少ししか開かないのに対し、平均音圧９０４がＰＢになると、冷蔵庫本体９０８のドア９０９は大きく開くことが分かる。これは、コマンド音声の音圧が ＰＡ＜ＰＢ の時、応答動作である冷蔵庫のドア開動作も （ＰＡの場合のドア開動作）＜（ＰＢの場合のドア開動作） となるように音圧の大きさにより動作が補正されるためである。

このような設定により大きな声でコマンド音声を発すれば発するほど、ドアも大きく開くようにする。しかしながら、ドアを開くというアプリケーションの場合、操作者があまり近くに居ると、開いたドアに操作者がぶつかって、事故につながる可能性がある。そこで、人体検知出力も併用して、操作者が近くに居ることを検出した場合には機器の応答動作の補正を行うようにしても良い。

図１０は、人体検知出力を併用した場合のコマンド音声の音圧と冷蔵庫の応答動作との関係を示した例であり、人体検知出力に基づき、応答動作であるドアの開き具合が補正されている。
図中（ａ）、（ｂ）は、それぞれコマンド音声１００２の平均音圧１００３とコマンド音声１００４の平均音圧１００３が共にＰＢで等しく、かつ人体検知出力１００５が不在１００６、人体検知出力１００５が在１００７の場合の「ドアオープン」という音声コマンドに対する冷蔵庫の応答動作であるドアの開き具合を比較したものである。
図において人体検知出力１００５が在１００７の場合、冷蔵庫本体１００８のドア１００９は少ししか開かないのに対し、人体検知出力１００５が不在１００６の場合、冷蔵庫本体１０１０のドア１０１１は大きく開いている。

これは同じ音圧ＰＢ（平均音圧１００３）でコマンド音声が検出されても、人体検知出力１００５が在１００７となっている場合は、ドアのすぐ傍に操作者が居て、ドア１０１１を大きく開くとぶつかる可能性があるので、不在となった場合よりも意図的にドアの開き具合を小さくしたことによる。

なおここでは、冷蔵庫のドア開操作を例として説明したが、これに限るものではない。例えば、ＴＶの音量調整用ボリュームを上げたり下げたりする速度を音圧によって変更する。すなわち、大きな声で「音小さく！」と指示すると早くボリュームが下がり、小さな声で言うとゆっくり下がるなど様々な機種・用途に適用できる。

また機器の操作量や人体検知出力によって行う補正をドア開量として説明したが、これに限定されるものではない。例えば、同じドア開操作としても、人体検知出力の在／不在情報により開く勢い（動作の加速度）を補正するなどしても良いし、他の方法であっても良い。

このように本音声利用操作装置では、音入力部から入力される音声操作用のコマンド音声の音圧により機器の操作量を変化させるので、より直感的で、操作者の感情を反映した操作が可能となり、操作性を向上させることができる。
また、本音声利用操作装置では、人体の接近を検出する人体検知部を備え、その検出結果により機器の制御内容を補正することができるので、より自然かつ安全な操作系を構築することが可能となる。

実施の形態４．
実施の形態１〜３で説明してきた音声利用操作装置には、入力された音情報の発話者を識別できる機能（以下、「話者識別機能」という）が付加されていなかった。本実施の形態では、この話者識別機能が付加された場合について説明する。
図１１は本実施の形態に係る家電・設備機器用の音声利用操作装置の概略構成を示したものである。
図において音入力部１１０２、表示部１１０３、制御部１１０５は、図１で説明したものと同じである。また音処理部１１０４には、新たに話者識別機能が付加される。また新しく追加された統計処理部１１０６は、音声によって行われた操作の履歴を話者毎に集計し、この情報に基づき統計量を算出し、保持する機能を有する。

実施の形態３と同様、冷蔵庫のドア開操作を音声コマンドにより実行するアプリケーションを例に取り上げて、動作を説明する。
操作者が音声を発声し、それが音声コマンドとして認識されると、制御部１１０５は音処理部１１０４から得た話者情報と共に、操作内容（ドア開）を統計処理部１１０６に送る。

制御部１１０５は更に、例えばドアを開けた時点からドアを閉めるまでの時間を計測し、ドアを閉めた時点でドア開継続時間を統計処理部１１０６に送る。統計処理部では、これらの情報を受けて、操作者毎のドア開の回数、平均ドア開時間、積算ドア開時間などを算出し、保持しておく。何らかの操作による制御部１１０５からの要求や、予め定められた条件（例えば操作者が操作する毎にその操作者の情報を表示する、常に操作者全員の情報を表示する、積算ドア開時間が或る時間に達した時に表示する、など）を満たした場合などに制御部１１０５は統計処理部１１０６から情報を引き出し、表示部１１０３に情報の表示を行う。

この結果、例えばドアを長時間開放する可能性の高い者（積算時間の長い者や平均時間の長い者など）に対し、その者が操作者である時に警告を与えるなどの動作が可能となる。
また、ここでは操作の統計量として冷蔵庫のドア開操作の回数と平均ドア開継続時間、積算ドア開時間を挙げ、操作の履歴を用いて機器に不都合な操作を多く行なう操作者に対して警告を発することを例として説明したが、その他様々な機器、機能、統計量、統計量を利用したアクションに対し、適用可能であることは言うまでもない。

このように本音声利用操作装置では、音処理部１１０４の機能として話者識別機能を有し、かつ音声により行われた操作の統計量を話者毎に算出、保持する統計処理部１１０６を持っているので、話者毎のきめ細かい操作応答や、話者毎の特性などを抽出しそれを利用した操作系を構築することが可能となり、操作者、各個人の操作性を改善することができる。

なおここでは、統計処理部１１０６が音声利用操作装置に内蔵される場合について説明してきたが、この構成に限定されるものではない。例えば音声利用操作装置が組み込まれる家電・設備機器が、統計処理部を保有している、もしくは機器に内蔵されたＭＰＵがこれを代行する機能を有している場合には、これを積極的に利用し、音声利用操作装置からこれを省略するようにしても良い。このように省略された場合も前述と同じ動作が可能であり、同じ効果が得られる。

実施の形態５．
本実施の形態では、音声利用操作装置の適用例について説明する。
図１２は本発明の音声利用操作装置を冷蔵庫に適用した例を示したものである。
音声利用操作装置は冷蔵庫１２０１に組み込まれ、実装されている。表示／操作系は上段のドアの下部付近に備付けられており、表示部１０３である表示画面１２０２、音入力部１０２であるマイクが操作者に見える位置にあり、そのマイク位置に耳のマーク１２０３が描かれている。この耳マーク１２０３により、この冷蔵庫に相対した操作者が、直感的に音声を受付け可能であることや、この耳マークに向かって発話すれば良いことを理解できる。

ここでは、耳のマーク（絵）を一例として説明したが、その他、表示画面上のアイコン、マイクの絵、文字表示、光、耳の形をした立体構造物、マイクの形をした立体構造物などを用いてもよく、これらをマイク位置、あるいはマイクに近い位置に設置することによって、操作者に容易に音声操作が可能であること、及び発話の目標点を認識させることが可能となる。

また、マイク位置あるいはマイクに近い位置のみではなく、さらに広範な領域を用いて大きな表示を構成し、その入力ポイントとなる部分がマイク位置もしくはマイク位置周辺に来るようなものとしても良い（例えば機器全体を擬人化し、その耳の位置にマイクが来る等）。なお適用機器は冷蔵庫に限らないことは言うまでもない。

このように本音声利用操作装置では、話し掛ける場所を誘う表示または構造物をマイク周辺に配置したので、操作者に音声受付可能な機器であること、およびどこに向かって発話したら良いのかについて認識させることが可能となり、より自然かつスムーズな操作系を構築することが可能となり、操作性を向上することができる。

以上、各実施の形態について説明したが、これらは各々単独で用いてもそれぞれを任意に組み合わせて用いてもよく、適用する機器や操作・設定系に応じて最も効果的な構成を構築すればよい。

本発明の実施の形態１に係る家電・設備機器用の音声利用操作装置の概略構成を示した説明図である。 本発明の実施の形態１に係る家電・設備機器の動作モードの一例を示した説明図である。 本発明の実施の形態１に係る表示部の表示内容の一例を示した説明図である。 本発明の実施の形態２に係る音声操作用コマンドの音声区間判別方法を説明するための説明図である。 本発明の実施の形態２に係る音声受付不可モードとなる音声区間判別方法を説明するための説明図である。 本発明の実施の形態２に係る家電・設備機器用の音声利用操作装置の概略構成を示した説明図である。 本発明の実施の形態２に係る音情報と人体検知部から出力される在／不在情報に基づく音声コマンド／雑音の判定方法を説明するための説明図である。 本発明の実施の形態２に係る音声受付不可モードとなるもう一つの音声区間判別方法を説明するための説明図である。 本発明の実施の形態３に係るコマンド音声の音圧と機器の動作との関係の一例を示した説明図である。 本発明の実施の形態３に係るコマンド音声の音圧と人体検知出力と機器の動作との関係の一例を示した説明図である。 本発明の実施の形態４に係る家電・設備機器用の音声利用操作装置の概略構成を示した説明図である。 本発明の実施の形態５に係る家電・設備機器用の音声利用操作装置の適用例を示した説明図である。

符号の説明

１０１ 音声利用操作装置
１０２ 音入力部
１０３ 表示部
１０４ 音処理部
１０５ 制御部
２０１ 動作モード
２０２ 登録モード
２０３ 通常動作モード
２０４ エラーモード
２０５ 音声受付不可モード
２０６ 音声受付可モード
２０７ 音声受付中モード
３０１ 表示画面（背景色黄色）
３０２ 現在の作業内容
３０３ 発話すべき内容
３０４ 表示画面（背景色水色）
３０６ 表示画面（背景色赤橙色）
３０８ 表示画面（背景色水色、輝度連続変化／点滅）
４０１ 音情報（コマンド音声＋周囲雑音）の音圧の時間的推移
４０２ 音声操作コマンド音圧閾値
４０５ 音声操作用のコマンドの区間
５０２ 雑音音圧閾値
５０３ 音声操作用のコマンド受付不可の区間
６０６ 人体検知部
７０４ 人体検知出力の時間的推移
１１０６ 統計処理部
１２０１ 冷蔵庫
１２０３ 耳マーク

Claims (17)

1. 家電・設備機器に組み込まれ、操作者によって発声された音声操作・設定用のコマンドに基づいて該家電・設備機器の操作・設定を行う音声利用操作装置において、
   前記コマンドを含んだ音情報を受付ける音入力部と、
   該音情報から前記コマンドを抽出する音処理部と、
   抽出されたコマンドや前記家電・設備機器の状態等に基づいて前記家電・設備機器の動作モードを決定する制御部と、
   表示画面、発音部、発光部の少なくとも一つを含み、該制御部の出力に基づいて前記家電・設備機器の動作モードや状態を表示する表示部と、を備え、
   前記制御部は、
   前記動作モードの変更に応じて、前記表示部の表示内容を変化させることを特徴とする音声利用操作装置。
2. 表示画面、発音部、発光部の少なくとも一つを含む表示部を具備した家電・設備機器に組み込まれ、操作者によって発声された音声操作・設定用のコマンドに基づいて該家電・設備機器の操作・設定を行う音声利用操作装置において、
   前記コマンドを含んだ音情報を受付ける音入力部と、
   該音情報から前記音声コマンドを抽出する音処理部と、
   抽出されたコマンドや前記家電・設備機器の状態等に基づいて前記家電・設備機器の動作モードを決定する制御部と、を備え、
   前記制御部は、
   前記表示部を介して前記家電・設備機器の動作モードや状態を表示すると共に、前記動作モードの変更に応じて、前記表示部の表示内容を変化させることを特徴とする音声利用操作装置。
3. 音情報を受付ける音入力部を具備した家電・設備機器に組み込まれ、操作者によって発声された音声操作・設定用のコマンドに基づいて該家電・設備機器の操作・設定を行う音声利用操作装置において、
   前記音入力部が受付けた音情報からコマンドを抽出する音処理部と、
   抽出されたコマンドや前記家電・設備機器の状態などに基づいて前記家電・設備機器の動作モードを決定する制御部と、
   表示画面、発音部、発光部の少なくとも一つを含み、該制御部の出力に基づいて前記家電・設備機器の動作モードや状態を表示する表示部と、を備え、
   前記制御部は
   前記動作モードの変更に応じて、
   前記表示部の表示内容を変化させることを特徴とする音声利用操作装置。
4. 表示画面、発音部、発光部の少なくとも一つを含む表示部と音情報を受付ける音入力部を具備した家電・設備機器に組み込まれ、操作者によって発声された音声操作・設定用のコマンドに基づいて該家電・設備機器の操作・設定を行う音声利用操作装置において、
   前記音入力部が受付けた音情報からコマンドを抽出する音処理部と、
   抽出されたコマンドや前記家電・設備機器の状態などに基づいて前記家電・設備機器の動作モードを決定する制御部と、を備え、
   前記制御部は、
   前記表示部を介し前記家電・設備機器の動作モードや状態を表示すると共に、前記動作モードの変更に応じて、前記表示部の表示内容を変化させることを特徴とする音声利用操作装置。
5. 音情報を受付ける音入力部とこの音入力部が受付けた音情報からコマンドを抽出する音処理部を具備した家電・設備機器に組み込まれ、操作者によって発声された音声操作・設定用のコマンドに基づいて該家電・設備機器の操作・設定を行う音声利用操作装置において、
   前記音処理部により抽出されたコマンドや前記家電・設備機器の状態などに基づいて前記家電・設備機器の動作モードを決定する制御部と、
   表示画面、発音部、発光部の少なくとも一つを含み、該制御部の出力に基づいて前記家電・設備機器の動作モードや状態を表示する表示部と、を備え、
   前記制御部は
   前記動作モードの変更に応じて、前記表示部の表示内容を変化させることを特徴とする音声利用操作装置。
6. 表示画面、発音部、発光部の少なくとも一つを含む表示部と音情報を受付ける音入力部とこの音入力部が受付けた音情報からコマンドを抽出する音処理部を具備した家電・設備機器に組み込まれ、操作者によって発声された音声操作・設定用のコマンドに基づいて該家電・設備機器の操作・設定を行う音声利用操作装置において、
   前記音処理部により抽出されたコマンドや前記家電・設備機器の状態などに基づいて前記家電・設備機器の動作モードを決定すると共に、
   前記表示部を介して前記家電・設備機器の動作モードや状態を表示する制御部を備え、
   前記制御部は、
   前記動作モードの変更に応じて、前記表示部の表示内容を変化させることを特徴とする音声利用操作装置。
7. 前記表示内容の変化対象として、
   前記表示画面の背景の点灯状態／輝度／色／発光面積、
   もしくは前記表示画面に表示された文字／図形／絵／幾何学模様、
   もしくは前記発光部を構成する発光素子の点灯状態／輝度／色、
   もしくは前記発音部より発せられる報知音／音声、
   の何れか１つ、もしくはこれらの組合せが選択されることを特徴とする請求項１乃至６のいずれかに記載の音声利用操作装置。
8. 前記動作モードを、
   通常の動作に対応した通常動作モードと、
   音声によるコマンドのキーワードや話者の登録などに対応した登録モードと、
   操作失敗時／異常発生時／警告発生時などに対応したエラーモードと、
   を含むように分類すると共に、
   前記通常動作モードを
   音声の受付けが不可能な状態である音声受付不可モードと、
   音声の受付けが可能な状態である音声受付可モードと、
   音声を受付けている最中である音声受付中モードと、
   を含むように分類することを特徴とする請求項１乃至７のいずれかに記載の音声利用操作装置。
9. 前記音処理部は、
   前記音入力部より取得した音情報にコマンドが含まれているかどうかを判定する音圧の閾値（第１の閾値）を保持し、
   該閾値を越えた区間内の音情報を、コマンドを含む音情報として抽出することを特徴とする請求項１乃至８のいずれかに記載の音声利用操作装置。
10. 前記音処理部は、
    前記音入力部より取得した音情報に含まれている雑音の平均音圧より高く、かつ前記第１の閾値よりも低い音圧の閾値（第２の閾値）を保持し、
    前記音情報の音圧が、
    前記第１の閾値と前記第２の閾値の間にある時、
    前記制御部が、
    前記動作モードを音声受付不可モードに変更するようにしたことを特徴とする請求項９記載の音声利用操作装置。
11. 前記音処理部は、
    前記音入力部より取得した音情報に含まれている雑音の音圧の時間的な変動に合わせて、前記第１または第２の閾値を変動させるようにしたことを特徴とする請求項９または１０記載の音声利用操作装置。
12. 前記音処理部は、
    前記音入力部より取得した音情報が雑音であるかどうかを判定する時間の閾値（第３の閾値）を保持し、
    前記音情報の音圧が前記第１の閾値を超えた時、
    前記第２の閾値と前記第１の閾値の間に滞留する滞留時間を該第３の閾値と比較すると共に、
    該滞留時間が前記第３の閾値を超えた場合には、
    前記音情報の音圧が前記第２の閾値を下回るまで前記動作モードを音声受付不可モードとすることを特徴とする請求項１０または１１記載の音声利用操作装置。
13. 前記音入力部の近傍を検出エリアとする人体検知部を備え、
    前記制御部が
    前記人体検知部により検出された人体の有／無情報を含めて前記家電・設備機器の動作モードを決定することを特徴とする請求項１乃至１２のいずれかに記載の音声利用操作装置。
14. 前記制御部は、
    前記音入力部に入力されたコマンドの音圧の大きさに基づき、
    該コマンドに対する前記家電・設備機器の操作・設定量の大きさを補正することを特徴とする請求項１乃至６のいずれかに記載の音声利用操作装置。
15. 前記音入力部に対する人体の遠近を検出する人体検知部を備え、
    該人体検知部により検出された人体の遠／近情報に基づき、
    前記音入力部から入力されたコマンドに対する前記家電・設備機器の操作・設定量の大きさを補正することを特徴とする請求項１乃至６のいずれかに記載の音声利用操作装置。
16. 前記音処理部は、
    前記音入力部から入力された音声操作用のコマンドの発話者を識別する話者識別機能を有すると共に、
    音声により行われた操作・設定の統計量を、話者毎に、算出・保持する統計処理部を備えることを特徴とする請求項１乃至６のいずれかに記載の音声利用操作装置。
17. 話し掛ける場所を誘う表示または構造物をマイク周辺に配置したことを特徴とする請求項１乃至６のいずれかに記載の音声利用操作装置。

Images