JP2008268450A - 音声認識機能付き操作器 - Google Patents

Abstract

【課題】認識可能語彙をユーザが記憶する負担を軽減した音声認識機能付き操作器を提供する。
【解決手段】操作器１は、照明器具２０を操作するための手動操作部７と、ユーザの発話した音声が入力されるマイク５と、照明器具２０を操作するための複数の操作語彙の音響モデルを記憶した音響モデル記憶部８と、マイク５に入力された音声と音響モデル記憶部８に記憶された音響モデルとを比較することによって音声認識を行う音声認識部９と、手動操作部７による操作入力または音声認識部９による認識結果の何れかに基づいて照明器具２０を制御する制御部３０とを備え、制御部３０は、音声認識により操作可能な操作が手動操作部７により行われると、当該操作が音声認識により行えることを報知するための音声ガイダンスを音声生成部１２により音声合成させてスピーカ６から出力させる。
【選択図】図１

Description

本発明は、音声認識機能付き操作器に関するものである。

従来、ユーザが発話した音声を認識し、認識結果をもとに負荷のオン、オフを制御する音声認識装置が提供されている。

また、このような負荷制御装置に用いられる音声対話装置として、ユーザーが音声を入力する音声入力手段と、音声認識手段にて用いる認識可能語彙の音響モデルを記憶する音声認識用辞書記憶手段と、入力音声を認識用辞書に予め記憶された認識可能語彙の音響モデルと比較することによって入力音声を認識する音声認識手段とを備えたものが従来提案されている（例えば特許文献１参照）。
特開平１１−２１２５９４号公報

上述の音声対話装置では、入力音声を予め記憶された認識可能語彙の音響モデルと比較することで音声認識を行っているため、音声で負荷を操作したいユーザは、音声操作に使用できる認識可能語彙を記憶しておく必要がある。ここで、音声操作に使用される認識可能語彙が数個であれば、ユーザにとって認識可能語彙を記憶する負担はあまり大きくないが、オン／オフだけではなく細かい制御（例えば空調装置であれば温度や風量の設定など）を行おうとすると、制御に必要な認識可能語彙の数が増加し、ユーザにとって認識可能語彙を記憶する負担が増大するという問題があった。

認識可能語彙を記憶するユーザの負担を軽減するために、認識可能語彙を紙などの媒体に記載して、音声認識装置に並設しておくことも考えられるが、音声操作に使用できる認識可能語彙を探す手間が増えるため、手動でスイッチを操作する場合に比べてユーザの負担が増大するばかりか、音声操作による操作性の向上という目的につながっていないという問題もあった。

本発明は上記問題点に鑑みて為されたものであり、その目的とするところは、認識可能語彙をユーザが記憶する手間を軽減した音声認識機能付き操作器を提供することにある。

上記目的を達成するために、請求項１の発明は、被制御機器を操作するための手動操作部と、ユーザの発話した音声が入力される音声入力部と、被制御機器を操作するための複数の操作語彙の音響モデルを記憶した記憶部と、音声入力部に入力された音声と記憶部に記憶された音響モデルとを比較することによって音声認識を行う音声認識部と、音声ガイダンスを出力する音声出力部と、手動操作部による操作入力または音声認識部による認識結果の何れかに基づいて被制御機器を制御する制御部とを備え、制御部は、音声認識により操作可能な操作が手動操作部により行われると、当該操作が音声認識により行えることを報知するための音声ガイダンスを音声出力部から出力させることを特徴とする。ここにおいて、音声ガイダンスの内容としては、手動操作部による操作を音声認識により行える点のみを報知する内容でも良いし、手動操作部による操作を音声認識により実行する場合に用いる操作語彙でも良い。

請求項２の発明は、請求項１の発明において、制御部の動作モードを、手動操作部による操作入力に起因して音声出力部から音声ガイダンスを出力させる学習モードと、音声ガイダンスの出力を停止させる通常モードとに切り換えるモード切換部を設けたことを特徴とする。

請求項３の発明は、請求項２の発明において、ユーザによる操作語彙の学習状況の進捗度合いを推定する学習状況推定部を設け、モード切換部は、学習状況推定部の推定結果が所定レベル以下であれば動作モードを学習モードに切り替え、且つ、推定結果が所定レベルを超えると動作モードを通常モードに切り換えることを特徴とする。

請求項４の発明は、請求項３の発明において、学習状況推定部は、被制御機器に所望の動作を行わせる個々のタスク毎に学習状況の進捗度合いを推定し、モード切換部は、個々のタスク毎に、学習状況推定部の推定結果に基づいて動作モードの切り換えを行うことを特徴とする。

請求項５の発明は、請求項４の発明において、学習状況推定部は、個々のタスクを完了するまでの発話回数の平均値をもとに、個々のタスク毎に学習状況の進捗度合いを推定することを特徴とする。

請求項６の発明は、請求項４の発明において、学習状況推定部は、個々のタスク毎に、音声認識による音声操作と手動操作部による手動操作とを含めた全操作回数に対して音声操作の占める割合又は手動操作の占める割合の少なくとも何れか一方に基づいて学習状況の進捗度合いを推定することを特徴とする。

請求項７の発明は、請求項３の発明において、学習状況推定部は、被制御機器に所望の動作を行わせる全てのタスクについて、音声認識による音声操作と手動操作部による手動操作とを含めた全操作回数に対して音声操作の占める割合又は手動操作の占める割合の少なくとも何れか一方に基づいて学習状況の進捗度合いを推定し、モード切換部は、学習状況推定部の推定結果に基づいて動作モードの切り換えを行うことを特徴とする。

請求項８の発明は、請求項３乃至７の何れか１つの発明において、音声入力部に入力された音声からユーザを個別に識別するユーザ識別部を設け、学習状況推定部が、ユーザ識別部により識別された個々のユーザ毎に学習状況の進捗度合いを推定し、制御部は、個々のユーザ毎に学習状況推定部の推定結果に基づいて動作モードの切り換えを行うことを特徴とする。

請求項１の発明によれば、音声認識により操作可能な操作が手動操作部により行われると、制御部は、上記操作が音声認識により行えることを報知するための音声ガイダンスを音声出力部から出力させているので、音声認識による音声操作が可能なことを知らなかったユーザに対して、音声認識による音声操作が可能なことを知らしめることができ、マニュアルを読むなどして操作語彙を覚えるユーザの負担を軽減し、操作器を使いながら自然に新しい操作語彙を学習させることができるという効果がある。

請求項２の発明によれば、学習モードに切り替えた場合のみ、手動操作部による操作入力に起因して音声ガイダンスが出力されるので、音声ガイダンスの出力が不要な場合には通常モードに切り替えることで、音声ガイダンスの出力を停止させることができる。

請求項３の発明によれば、操作語彙の学習状況の進捗度合いが所定レベル以下の場合は学習モードに切り替えられ、手動操作部による操作入力に起因して音声ガイダンスが出力されるので、音声操作に未習熟の場合のみ音声ガイダンスを出力させて、学習効果を高めることができる。

請求項４の発明によれば、操作語彙の学習状況の進捗度合いが所定レベル以下のタスクのみ、音声ガイダンスが出力されるので、ユーザが習熟していない操作語彙であることを際立たせて、学習効果をより高めることができる。

請求項５の発明によれば、所望のタスクを行わせるまでの発話回数が多いほど、習熟度が低いと判断できるので、その場合には音声ガイダンスを出力することで、所望のタスクを行わせるための操作語彙をユーザに効率良く学習させることができる。

請求項６の発明によれば、音声操作の割合が低いほど、或いは、手動操作の割合が高いほど音声操作に慣れていないと判断できるので、その場合には音声ガイダンスを出力することで、所望のタスクを行わせるための操作語彙をユーザに効率良く学習させることができる。

請求項７の発明によれば、タスク毎に学習状況の進捗度合いを判断するのではなく、全タスクについて学習状況の進捗度合いを判断しているので、学習状況の進捗度合いの判定処理を簡略化できる。

請求項８の発明によれば、個々のユーザ毎に学習状況の進捗度合いを評価することで、音声ガイダンスの必要なユーザのみに音声ガイダンスを提供することができる。また音声ガイダンスの不要なユーザに対しては、音声ガイダンスの出力を停止することで、不要な音声ガイダンスを聞かされてユーザが不快に感じるのを防止できる。

以下に本発明の実施の形態を図面に基づいて説明する。

（実施形態１）
本発明の実施形態１を図１〜図３に基づいて説明する。本実施形態の操作器１は、被制御機器である宅内の設備機器（例えば照明器具、給湯器、防犯設備、防災設備、映像・音響設備など）を操作するために用いられる。操作器１は、図２に示すように例えば壁面に埋込配設される器体２を備えており、器体２の前面には動作表示用のＬＥＤ３と、バックライトを備えた液晶ディスプレイ（ＬＣＤ）４と、マイク（音声入力部）５と、スピーカ６と、各種の操作を行うための操作ボタン７ａ〜７ｄとを配置してある。

操作器１は、図１のブロック図に示すように、操作ボタン７ａ〜７ｄを有して被制御機器を操作するために用いられる手動操作部７と、被制御機器である照明器具２０の点灯状態を制御する照明制御部１９と、手動操作部７の操作に対応した動作を行わせるように照明制御部１９を制御する手動制御部１８を備えるとともに、ＬＣＤ４の表示を制御する表示制御部１４や、器体２の外部（宅内）に設けた防犯センサ２１や防災センサ２２の動作を制御するとともに各センサからの警報信号が入力されるセンサ制御部１５や、外部の通信回線網２３が接続される通信制御部１６や、センサ制御部１５を介して防犯センサ２１や防災センサ２２からの警報信号が入力されると通信制御部１６を用いて予め設定された外部の通報先に警報を発する緊急通報部１７を備えている。

また操作器１は、手動操作部７の操作に応じて被制御機器である照明器具２０を制御する機能に加えて、音声により入力された操作命令に応じて照明器具２０を制御する機能を備えている。すなわち被制御機器に所望の動作を行わせる操作（タスク）を、対応する操作語彙を発話することで行う音声操作と、手動操作部７を直接操作することで行う手動操作の両方で行えるようになっている。

而して操作器１は音声認識処理を行うために、ユーザの発話した音声を電気信号に変換するマイク５と、マイク５により入力された電気信号（音声信号）を増幅するアンプ（図示せず）と、操作に対する応答音や警報音や音声ガイダンスを出力するためのスピーカ６と、スピーカ６から出力される音がマイク５へ回り込み入力されてエコーやハウリングが発生するのを防止するエコーキャンセラ１１とを備えるとともに、被制御機器を操作するための複数の操作語彙について多数の話者が発した操作語彙の特徴量を例えばＨＭＭ（隠れマルコフモデル）を用いてモデル化した音響モデルを記憶した音響モデル記憶部８と、マイク５から入力されアンプにより増幅された音声信号と記憶部８に記憶された音響モデルとを比較し、入力された音声信号と類似度の高い音響モデルに対応する音（操作語彙）を認識結果として出力する音声認識部９と、操作語彙を蓄積したデータベースや手動操作部７による操作と操作語彙との対応付けを行うデータベースなどが構築されたデータベース１０と、人の音声を合成する音声生成部１２と、音声の認識結果に基づいて表示制御部１４や照明制御部１９を制御するとともに、手動操作部１８による手動操作に基づいて音声生成部１２に対して合成する音声を出力する対話制御部１３と、音声生成部１２で合成された音声や警告音や報知音を出力するスピーカ６とを備えている。ここに、対話制御部１３、音声生成部１２、スピーカ６などから音声ガイダンスを出力する音声出力部が構成される。なお対話制御部１３、手動制御部１８、表示制御部１４などはマイクロコンピュータよりなる制御部３０の演算機能により実現される。

この操作器１の動作を図３のフローチャートに基づいて説明する。ステップＳ１で操作器１が動作を開始すると、制御部３０は操作入力があるか否かを判別し（ステップＳ２）、操作入力があると操作入力の入力方法が音声操作によるものか手動操作によるものかを判別する（ステップＳ３）。ここで、操作入力が音声操作によるものであれば、音声認識部９がマイク５からユーザの発話した音声を取り込み（ステップＳ４）、入力された音声と音響モデル記憶部８に記憶された音響モデルとを比較することで音声認識を行い、認識結果を対話制御部１３に出力する（ステップＳ５）。対話制御部１３は、音声認識部９から入力された認識結果が音声か否かを判別し（ステップＳ６）、音声でなければステップＳ２に戻り、音声の場合は対話処理部１３がデータベース１０内に構築された語彙操作対応付けデータベースを参照する（ステップＳ７）。語彙操作対応付けデータベースには表１に示すような認識語彙−操作対応テーブルが登録されており、個々の被制御機器に対して、設置位置を示す宅内ＩＤ、機器ＩＤと、被制御機器を操作するための操作語彙と、操作語彙による操作内容とを示すデータが対応付けて記憶されている。対話制御部１３では、認識語彙操作テーブルを参照し（ステップＳ８）、認識結果が語彙操作対応付けデータベースに登録された操作語彙であれば、照明制御部１９により操作語彙に対応する処理を行わせた後（ステップＳ９）、タスクを終了して（ステップＳ１０）、ステップＳ２に戻る。一方、ステップＳ８において、音声認識部９から入力された操作語彙が語彙操作対応付けデータベースに登録された操作語彙でなければ、対話制御部１３は照明器具２０の制御は行わずにステップＳ２に移行する。また、ステップＳ２において操作器１の停止操作が行われると、操作器１による操作が停止される（ステップＳ１７）。

一方、ステップＳ３において操作入力の入力方法が手動操作によるものであれば、手動制御部１８が手動操作部７の操作内容に応じて照明制御部１９を制御し、所望の動作を行わせた後（ステップＳ１１）、対話制御部１３が、手動制御部１８による制御動作をもとにデータベース１０内に構築された操作語彙対応付けデータベースを参照し（ステップＳ１２）、手動操作部７の操作に対応した操作語彙があるか否かを判別する（ステップＳ１３）。操作語彙対応付けデータベースには表２に示すような操作−認識語彙対応テーブルが登録されており、個々のタスクに対して、手動操作部７による操作に割り当てた操作ＩＤと、操作語彙とが対応付けて記憶されている。

ここで、操作−認識語彙対応テーブルに手動操作部７の操作に対応した操作語彙がなければ、対話制御部１３はタスクを終了して（ステップＳ１０）、ステップＳ２に戻る。一方、操作−認識語彙対応テーブルに操作に対応した操作語彙があれば、学習状況推定部としての制御部３０が、この操作語彙についてのユーザの学習状況を判定する処理を行い（ステップＳ１４）、判定結果に応じて制御部３０の演算機能により実現されたモード切替部が、制御部３０の動作モードを学習モード又は通常モードの何れかに切り替える（ステップＳ１５）。すなわち未習熟であれば動作モードを、手動操作部７による操作入力に起因して音声ガイダンスを出力させる学習モードに切り換え、習熟済であれば、動作モードを音声ガイダンスの出力を停止させる通常モードに切り換える。

例えば制御部３０では、この操作語彙に対応するタスクについて、音声認識による音声操作と手動操作部による手動操作とを含めた全操作回数に対して音声操作の占める割合から学習状況の進捗度を判定している。すなわち制御部３０は、音声操作の占める割合が所定の閾値以下であればこの操作語彙にユーザが習熟していないと判断し、手動操作部による操作に対応した操作語彙をユーザに知らせる音声ガイダンスを音声生成部１２により合成させて、スピーカ６から出力させた後（ステップＳ１６）、タスクを終了して（ステップＳ１０）、ステップＳ２に戻る。一方、音声操作の割合が所定の閾値よりも高ければ、制御部３０はこの操作語彙にユーザが習熟済みであると判断し、タスクを終了して（ステップＳ１０）、ステップＳ２に戻る。

このように音声認識により行える操作が手動操作部７によって行われると、制御部３０は、上記操作が音声認識により行えることを報知するための音声ガイダンスを音声生成部１２により音声合成し、スピーカ６から出力させているので、音声認識による操作が可能なことを知らなかったユーザに対して、音声認識による操作が可能なことを知らしめることができ、マニュアルを読むなどして操作語彙を覚えるユーザの負担を軽減し、操作器を使いながら自然に新しい操作語彙を学習させることができる。また手動操作部７を用いて操作を行うと、手動操作部７による操作に対応した操作語彙を音声ガイダンスによって知ることができるので、マニュアルを読むことなく操作語彙を覚えることができ、ユーザが操作語彙を学習する負担を軽減することができる。

また本実施形態では、ある操作語彙に対応するタスクについて、音声認識による音声操作と手動操作部による手動操作とを含めた全操作回数に対して音声操作の占める割合が所定の閾値を超えると、その操作語彙に習熟済であると判断して音声ガイダンスを出力せず、所定の閾値以下の場合のみ音声ガイダンスを出力するようにしているので、ユーザが習熟していない操作語彙であることを際立たせることができ、学習効果をより高めることができる。ここにおいて、音声生成部１２とスピーカ６とで、音声ガイダンスを出力する音声出力部が構成される。

なお制御部３０では、全操作回数に対して音声操作の占める割合から学習状況の進捗合いを判定しているが、全操作回数に対して手動操作の占める割合から学習状況の進捗度合いを判定するようにしても良く、例えば全操作回数に対して手動操作の占める割合が所定の閾値よりも高ければ、対応する操作語彙に未習熟であると判断して、動作モードを学習モードに切り替えるとともに、手動操作の占める割合が閾値以下であれば、対応する操作語彙に習熟済みであると判断して、動作モードを通常モードに切り替える。この場合も、操作語彙に未習熟の場合のみ音声ガイダンスを出力させることで、ユーザが習熟していない操作語彙であることを際立たせることができ、学習効果をより高めることができる。

（実施形態２）
上述の実施形態１では、学習状況推定部たる制御部３０が、操作語彙の学習状況の進捗度合いを判定する際に、ある操作語彙に対応するタスクについて、全操作回数に対して音声操作の占める割合又は手動操作の占める割合の何れかに基づいて学習状況の進捗度合いを判定しているが、タスクを完了するまでの発話回数の平均値をもとに操作語彙の学習状況の進捗度合いを判定するようにしても良い。尚、操作器１の構成は実施形態１と同様であるので、共通する構成要素には同一の符号を付して、その説明は省略する。

例えば操作器１で制御される被制御機器がテレビの場合、テレビのスイッチをオンにして、チャンネルをｎチャンネルに合わせるというタスクを行う際に、「テレビ オン」という操作語彙でテレビをオンした後に、「テレビ ｎチャンネル」という操作語彙でチャンネルをｎチャンネルに切り替える方法と、「テレビ ｎチャンネル」という操作語彙により、いっぺんにテレビをオンしてチャンネルをｎチャンネルに切り替える方法とがある。また被制御機器が段調光機能を有する照明器具の場合、照明器具を調光点灯させるというタスクを行う際に、「ライトエー オン」という操作語彙で消灯状態の照明器具（ライトＡ）を点灯させた後に、「ライトエー チョウコウ」という操作語彙で照明器具（ライトＡ）を調光する方法と、「ライトエー チョウコウ」という操作語彙で、いっぺんに照明器具（ライトＡ）を調光点灯させる方法とがある。

このように同じタスクを複数通りの操作語彙で実現できる場合には、より少ない操作語彙でタスクを実行する方が、操作語彙に習熟していると考えられるので、学習状況推定部たる制御部３０が、個々のタスクを完了するまでの発話回数を積算して、タスクを１回実行する際の平均発話回数を求めており、個々のタスクを完了するまでの発話回数の平均値（平均発話回数）をもとに、個々のタスク毎に学習状況の進捗度合いを推定しており、発話回数の平均値が個々のタスク毎に予め設定された閾値以上であれば、対応する操作語彙に未習熟であると判断して、動作モードを学習モードに切り替えるとともに、発話回数の平均値が上記の閾値未満であれば、対応する操作語彙に習熟済であると判断して、動作モードを通常モードに切り替えている。

そして、動作モードが学習モードに切り替えられた場合には、音声認識により行える操作が手動操作部７によって行われると、制御部３０は、上記操作が音声認識により行えることを報知するための音声ガイダンスを音声生成部１２により音声合成し、スピーカ６から出力させているので、音声認識による操作が可能なことを知らなかったユーザに対して、音声認識による操作が可能なことを知らしめることができる。一方、動作モードが通常モードに切り替えられた場合には、制御部３０は、手動操作部７による手動操作が行われたとしても、上述の音声ガイダンスを出力することはなく、操作語彙に習熟しているユーザに対しては、音声ガイダンスの出力を停止することで、不要な音声ガイダンスを聞かされてユーザが不快に感じるのを防止できる。

（実施形態３）
上述の実施形態１では、学習状況推定部たる制御部３０が、被制御機器に所望の動作を行わせる個々のタスク毎に対応する操作語彙の学習状況を判定しているのに対して、本実施形態では、被制御機器に所望の動作を行わせる全てのタスクについて操作語彙の学習状況を判定するようにしている。尚、操作器１の構成は実施形態１と同様であるので、共通する構成要素には同一の符号を付して、その説明は省略する。

すなわち、学習状況推定部たる制御部３０では、操作器１により制御される被制御機器に所望の動作を行わせる全てのタスクについて、音声認識による音声操作と手動操作部による手動操作とを含めた全操作回数を積算するとともに、全操作回数に対する音声操作の割合、或いは、手動操作の割合を求めており、音声操作の割合又は手動操作の割合の何れかに基づいて操作語彙の学習状況を判定している。

つまり、制御部３０は、全操作回数に対する音声操作の割合が所定の閾値以下、或いは、手動操作の割合が所定の閾値よりも高ければ、音声操作に未習熟であると判断して、動作モードを学習モードに切り替えるとともに、全操作回数に対する音声操作の割合が所定の閾値よりも高ければ、或いは、手動操作の割合が所定の閾値以下であれば、音声操作に習熟済であると判断して、動作モードを通常モードに切り替えている。

そして、動作モードが学習モードに切り替えられた場合には、音声認識により行える操作が手動操作部７によって行われると、制御部３０は、上記操作が音声認識により行えることを報知するための音声ガイダンスを音声生成部１２により音声合成し、スピーカ６から出力させているので、音声認識による操作が可能なことを知らなかったユーザに対して、音声認識による操作が可能なことを知らしめることができる。一方、動作モードが通常モードに切り替えられた場合には、制御部３０は、手動操作部７による手動操作が行われたとしても、上述の音声ガイダンスを出力することはなく、操作語彙に習熟しているユーザに対しては、音声ガイダンスの出力を停止することで、不要な音声ガイダンスを聞かされてユーザが不快に感じるのを防止できる。

（実施形態４）
上述の実施形態では学習状況の進捗度合いを推定する際にユーザの識別を行っていないが、ユーザの識別を行って、個々のユーザ毎に学習状況の進捗度合いを判定するとともに、音声操作により行える操作が手動操作部により行われた際に、操作を行ったユーザの学習状況に応じて音声ガイダンスを出力するか否かを切り換えるようにしても良い。尚、音声認識機能付き操作器１の基本的な構成は実施形態１と同様であるので、共通する構成要素には同一の符号を付して、その説明は省略する。

本実施形態の操作器１では、操作部を操作する人物を撮影するカメラ（図示せず）を供え、操作器１を操作する全てのユーザの顔画像をデータベース１０に予め登録するとともに、全てのユーザの音響モデルを音響モデル記憶部８に記憶させており、音声操作による操作が行われた場合には、入力音声と音響モデル記憶部８に記憶された各ユーザの音響モデルとを比較することで、音声操作を行ったユーザを特定し、このユーザが音声操作を行った回数を計数する。また手動操作部７による操作が行わせれた場合には、手動操作部７を操作した人物のカメラ画像と、データベース１０に登録された顔画像とを比較することによって、手動操作を行ったユーザを特定し、このユーザが手動操作を行った回数を計数する。

次に、この操作器１の動作を図４のフローチャートに基づいて説明する。尚、図４のフローチャートに示す動作は、図３のフローチャートと略同様であるので、共通する部分の動作については、その説明は省略する。

操作入力方法が音声操作の場合、ステップＳ４で音声認識部９がマイク５からユーザの発話した音声を取り込み、入力された音声と音響モデル記憶部８に記憶された音響モデルとを比較することで音声認識を行って、認識結果を対話制御部１３に出力する（ステップＳ５）。対話制御部１３は、音声認識部９から入力された認識結果が音声か否かを判別し（ステップＳ６）、音声でなければステップＳ２に戻り、音声の場合は対話処理部１３がデータベース１０内に構築された語彙操作対応付けデータベースを参照する（ステップＳ７）。語彙操作対応付けデータベースには上記の表１に示すような認識語彙−操作対応テーブルが登録されており、個々の被制御機器に対して、設置位置を示す宅内ＩＤ、機器ＩＤと、被制御機器を操作するための操作語彙と、操作語彙による操作内容とを示すデータが対応付けて記憶されている。この時、制御部３０が、入力された音声と各ユーザの音響モデルとを比較することで、音声操作を行ったユーザを識別し、このユーザの音声操作回数を計数する（ステップＳ１８）。その後、対話制御部１３では、認識語彙操作テーブルを参照し（ステップＳ８）、認識結果が語彙操作対応付けデータベースに登録された操作語彙であれば、照明制御部１９により操作語彙に対応する処理を行わせた後（ステップＳ９）、タスクを終了して（ステップＳ１０）、ステップＳ２に戻る。

一方、操作入力方法が手動操作の場合、手動制御部１８が手動操作部７の操作内容に応じて照明制御部１９を制御し、所望の動作を行わせた後（ステップＳ１１）、制御部３０がカメラにより撮像された操作者の顔画像とデータベース１０に登録された各ユーザの顔画像とを比較することによって、手動操作を行ったユーザを識別し、このユーザの手動操作回数を計数する（ステップＳ１９）。その後、対話制御部１３が、手動制御部１８による制御動作をもとにデータベース１０内に構築された操作語彙対応付けデータベースを参照し（ステップＳ１２）、手動操作部７の操作に対応した操作語彙があるか否かを判別する（ステップＳ１３）。操作語彙対応付けデータベースには上記の表２に示すような操作−認識語彙対応テーブルが登録されており、個々のタスクに対して、手動操作部７による操作に割り当てた操作ＩＤと、操作語彙とが対応付けて記憶されている。ここで、操作−認識語彙対応テーブルに操作に対応した操作語彙があれば、学習状況推定部としての制御部３０が、手動操作を行ったユーザについて対応する操作語彙の学習状況を判定する処理を行う（ステップＳ２０）。すなわち制御部３０では、ステップＳ１８，Ｓ１９の識別結果をもとに、この操作語彙について音声操作と手動操作とを含めた全操作回数を積算するとともに、全操作回数に対する音声操作の割合、或いは、手動操作の割合を求め、全操作回数に対する音声操作又は手動操作の割合に基づいて動作モードを学習モード又は通常モードの何れかに切り替えている（ステップＳ１５）。ここにおいて、制御部３０では、全操作回数に対する音声操作の割合が所定の閾値以下、或いは、手動操作の割合が所定の閾値よりも高ければ、音声操作に未習熟であると判断して、動作モードを学習モードに切り替えるとともに、全操作回数に対する音声操作の割合が所定の閾値よりも高ければ、或いは、手動操作の割合が所定の閾値以下であれば、音声操作に習熟済であると判断して、動作モードを通常モードに切り替えている。そして、動作モードが学習モードに切り替えられた場合は、制御部３０が、手動操作部による操作に対応した操作語彙をユーザに知らせる音声ガイダンスを音声生成部１２により合成させて、スピーカ６から出力させた後（ステップＳ１６）、タスクを終了して（ステップＳ１０）、ステップＳ２に戻る。一方、動作モードが通常モードに切り替えられた場合、制御部３０は、この操作語彙にユーザが習熟済みであると判断し、タスクを終了して（ステップＳ１０）、ステップＳ２に戻る。

このように本実施形態では、制御部３０が、音声操作あるいは手動操作を行ったユーザを識別し、個々のユーザについてタスク毎に操作語彙の学習状況の進捗度合い（習熟度）を判定しているので、個々のユーザ毎にその習熟度に応じて動作モードを学習モード又は通常モードの何れかに切り換えることができる。複数のユーザが操作器１を使用する場合は、個々のユーザ毎に操作語彙の習熟度にバラツキが生じるが、発話したユーザを個別に識別することで、ユーザ毎に音声操作の習熟度を判定することができ、音声操作に未習熟のユーザに対してのみ音声ガイダンスを提供することで、その学習効果を高めることができる。また音声操作に習熟済のユーザに対しては音声ガイダンスの出力を停止することで、不要な音声ガイダンスを出力することによってユーザが不快感を感じるのを防ぐことができる。ここにおいて、個々のユーザ毎の音響モデルを登録した音響モデル記憶部８と音声認識部９、並びに、ユーザの顔画像を記憶したデータベースとカメラと顔認証を行う制御部３０などから、ユーザを個別に識別するユーザ識別部が構成される。

なお、本実施形態では制御部３０が、個々のユーザ毎に全操作回数に対する音声操作の割合又は手動操作の割合の何れかより学習状況の進捗度合いを判定しているが、実施形態２で説明したように、個々のタスクを完了するまでの発話回数の平均値から、個々のタスク毎の学習状況を推定するようにしても良く、この場合には個々のユーザ毎の音響モデルを登録した音響モデル記憶部８と音声認識部９とでユーザ識別部が構成される。

（実施形態５）
上述の各実施形態では、制御部３０が、全操作回数に対する音声操作の占める割合又は手動操作の占める割合の何れかに基づいて、ユーザによる操作語彙の学習状況の進捗状況を判定し、その判定結果に基づいて動作モードを学習モード又は通常モードの何れかに自動的に切り替えるようになっているが、ユーザ自身が制御部３０の動作モードを学習モード又通常モードの何れかに直接切り替えるようにしても良い。尚、操作器１の構成は実施形態１と同様であるので、共通する構成要素には同一の符号を付して、その説明は省略する。

本実施形態では手動操作部７に、制御部３０の動作モードを学習モード又は通常モードの何れかに選択的に切り替える切替スイッチ（図示せず）を設けてあり、ユーザによる切替スイッチの切替操作に応じて、制御部３０の動作モードが学習モード又は通常モードの何れかに切り替えられるので、ユーザ自身の意志で動作モードを設定することができる。

ここで、切替スイッチにより動作モードを学習モードに切り替えた場合、音声認識により行える操作が手動操作部７によって行われると、制御部３０は、上記操作が音声認識により行えることを報知するための音声ガイダンスを音声生成部１２により音声合成し、スピーカ６から出力させており、音声認識による操作が可能なことを知らなかったユーザに対して、音声認識による操作が可能なことを知らしめることができ、マニュアルを読むなどして操作語彙を覚えるユーザの負担を軽減し、操作器を使いながら自然に新しい操作語彙を学習させることができる。

一方、切替スイッチにより動作モードを通常モードに切り替えた場合、制御部３０は、手動操作部７による手動操作が行われたとしても、上述の音声ガイダンスを出力することはなく、音声ガイダンスの不要なユーザに対しては、音声ガイダンスの出力を停止することで、不要な音声ガイダンスを聞かされてユーザが不快に感じるのを防止できる。

実施形態１の音声認識機能付き操作器のブロック図である。 同上の正面図である。 同上の動作を説明するフローチャートである。 実施形態４の動作を説明するフローチャートである。

符号の説明

１ 音声認識機能付き操作器
５ マイク（音声入力部）
６ スピーカ（音声出力部）
７ 手動操作部
８ 音響モデル記憶部（記憶部）
９ 音声認識部
２０ 照明器具（被制御機器）
３０ 制御部

Claims (8)

1. 被制御機器を操作するための手動操作部と、ユーザの発話した音声が入力される音声入力部と、被制御機器を操作するための複数の操作語彙の音響モデルを記憶した記憶部と、音声入力部に入力された音声と記憶部に記憶された音響モデルとを比較することによって音声認識を行う音声認識部と、音声ガイダンスを出力する音声出力部と、手動操作部による操作入力または音声認識部による認識結果の何れかに基づいて被制御機器を制御する制御部とを備え、制御部は、音声認識により操作可能な操作が手動操作部により行われると、当該操作が音声認識により行えることを報知するための音声ガイダンスを音声出力部から出力させることを特徴とする音声認識機能付き操作器。
2. 制御部の動作モードを、手動操作部による操作入力に起因して音声出力部から音声ガイダンスを出力させる学習モード、又は、音声ガイダンスの出力を停止させる通常モードの何れかに切り換えるモード切換部を設けたことを特徴とする請求項１記載の音声認識機能付き操作器。
3. ユーザによる操作語彙の学習状況の進捗度合いを推定する学習状況推定部を設け、モード切換部制御部は、学習状況推定部の推定結果が所定レベル以下であれば動作モードを学習モードに切り替え、且つ、推定結果が所定レベルを超えると動作モードを通常モードに切り換えることを特徴とする請求項２記載の音声認識機能付き操作器。
4. 学習状況推定部は、被制御機器に所望の動作を行わせる個々のタスク毎に学習状況の進捗度合いを推定し、モード切換部は、個々のタスク毎に、学習状況推定部の推定結果に基づいて動作モードの切り換えを行うことを特徴とする請求項３記載の音声認識機能付き操作器。
5. 学習状況推定部は、個々のタスクを完了するまでの発話回数の平均値をもとに、個々のタスク毎に学習状況の進捗度合いを推定することを特徴とする請求項４記載の音声認識機能付き操作器。
6. 学習状況推定部は、個々のタスク毎に、音声認識による音声操作と手動操作部による手動操作とを含めた全操作回数に対して音声操作の占める割合又は手動操作の占める割合の少なくとも何れか一方に基づいて学習状況の進捗度合いを推定することを特徴とする請求項４記載の音声認識機能付き操作器。
7. 学習状況推定部は、被制御機器に所望の動作を行わせる全てのタスクについて、音声認識による音声操作と手動操作部による手動操作とを含めた全操作回数に対して音声操作の占める割合又は手動操作の占める割合の少なくとも何れか一方に基づいて学習状況の進捗度合いを推定し、モード切換部は、学習状況推定部の推定結果に基づいて動作モードの切り換えを行うことを特徴とする請求項３記載の音声認識機能付き操作器。
8. 音声入力部に入力された音声からユーザを個別に識別するユーザ識別部を設け、学習状況推定部が、ユーザ識別部により識別された個々のユーザ毎に学習状況の進捗度合いを推定し、制御部は、個々のユーザ毎に学習状況推定部の推定結果に基づいて動作モードの切り換えを行うことを特徴とする請求項３乃至７の何れか１項に記載の音声認識機能付き操作器。

Images