JP2008268517A - 音声認識機能付き操作器 - Google Patents

Abstract

【課題】音声操作語彙をユーザが記憶する負担を軽減した音声認識機能付き操作器を提供することにある。
【解決手段】操作器１は、マイク５により入力されたユーザの音声を音響モデル記憶部８に記憶された音声パターンと比較することによって音声認識を行う音声認識部９と、照明器具２０を操作するために用いられる複数の音声操作語彙が登録されたデータベース１０と、音声認識部９による認識結果がデータベース１０に登録された音声操作語彙に一致すると、当該音声操作語彙に基づき照明制御部１９を用いて照明器具２０に所望の動作を行わせる対話制御部１３とを備える。対話制御部１３は、音声認識部９の認識結果をもとにデータベース１０から関連する操作を表す音声操作語彙を抽出し、抽出した音声操作語彙の音声を音声生成部１２により生成してスピーカ６から出力させるとともに、表示制御部１４を用いてＬＣＤ４に文字で表示させる。
【選択図】図１

Description

本発明は、音声認識機能付き操作器に関するものである。

従来、ユーザが発話した音声を認識し、認識結果をもとに負荷のオン、オフを制御する音声認識装置が提供されている。

また、このような負荷制御装置に用いられる音声対話装置として、ユーザーが音声を入力する音声入力手段と、入力音声を認識する音声認識手段と、音声認識手段にて用いる認識用辞書を記憶する音声認識用辞書記憶手段とを備えたものが従来提案されている（例えば特許文献１参照）。
特開平１１−２１２５９４号公報

上述の音声対話装置では、入力音声を予め記憶された音声パターン認識可能語彙の音響モデルと比較することで音声認識を行っているため、音声で負荷を操作したいユーザは、音声操作に使用できる認識可能語彙を記憶しておく必要がある。また、上記の音声対話装置は、ユーザが発話した際に入力音声を含む音声ガイダンスを出力する機能も備えているが、入力音声を含む音声ガイダンスしか出力されないため、音声操作に用いる認識可能語彙の一部でもユーザが知っておく必要があった。ここで、音声操作に使用される認識可能語彙が数個であれば、ユーザにとって認識可能語彙を記憶する負担はあまり大きくないが、オン／オフだけではなく細かい制御（例えば空調装置であれば温度や風量の設定など）を行おうとすると、制御に必要な認識可能語彙の数が増加し、ユーザにとって認識可能語彙を記憶する負担が増大するという問題があった。

認識可能語彙を記憶するユーザの負担を軽減するために、認識可能語彙を紙などの媒体に記載して、音声認識装置に並設しておくことも考えられるが、音声操作に使用できる認識可能語彙を探す手間が増えるため、手動でスイッチを操作する場合に比べてユーザの負担が増大するばかりか、音声操作による操作性の向上という目的につながっていないという問題もあった。

本発明は上記問題点に鑑みて為されたものであり、その目的とするところは、音声操作語彙をユーザが記憶する負担を軽減した音声認識機能付き操作器を提供することにある。

上記目的を達成するために、請求項１の発明は、ユーザの発話した音声が入力される音声入力部と、音声入力部により入力された音声を予め記憶した音声パターンと比較することによって音声認識を行う音声認識部と、被制御機器を操作するために用いられる複数の音声操作語彙が登録されたデータベースと、音声認識部による認識結果がデータベースに登録された音声操作語彙に一致すると、当該音声操作語彙に基づいて被制御機器の動作を制御する制御部と、音声認識部の認識結果に関連した操作を表す音声操作語彙をデータベースから抽出してユーザに報知する報知部とを備えたことを特徴とする。

請求項２の発明は、請求項１の発明において、音声操作語彙を表示する表示部を備え、前記報知部は、前記音声認識部の認識結果と少なくとも一部が関連する音声操作語彙を前記データベースから抽出するとともに、抽出した音声操作語彙を表示部に表示させることを特徴とする。

請求項３の発明は、請求項１又は２の発明において、操作対象の被制御機器が複数存在するため、単独では操作対象の特定が不充分で操作が行えない音声操作語彙を操作不可能語彙として前記データベースに登録するとともに、操作不可能語彙に関連する操作を行わせるための音声操作語彙を関連操作語彙としてデータベースに登録しておき、前記報知部は、前記音声認識部の認識結果がデータベースに登録された操作不可能語彙に一致すると、当該操作不可能語彙に対応する関連操作語彙をデータベースから抽出してユーザに報知することを特徴とする。

請求項１の発明によれば、音声認識部が音声入力部により入力された音声の認識を行うと、音声認識部の認識結果に関連した操作を表す音声操作語彙を報知部がデータベースから抽出してユーザに報知しているので、これまでユーザが知らなかった音声操作語彙をユーザに知らしめることができる。したがって、ユーザが音声操作を行うにつれて、新たな音声操作語彙を自然に覚えることができ、音声操作語彙を記憶するユーザの負担を軽減できるという効果がある。

請求項２の発明によれば、音声操作語彙の一部しか記憶していない場合でも、音声操作語彙の一部を発話すれば、ユーザの発話した音声に少なくとも一部が関連する音声操作語彙を、報知部がデータベースから抽出しユーザに報知しているので、音声操作語彙の一部を発話することで、関連する音声操作語彙を表示部に表示させることができ、ユーザが音声操作語彙を正確に記憶する負担を軽減できるという効果がある。

請求項３の発明によれば、ユーザが操作不可能語彙を発話した場合は、報知部が、ユーザの発話した操作不可能語彙に対応する関連操作語彙をデータベースから抽出してユーザに報知しているので、ユーザが発話した内容では操作が行えないことをユーザに知らしめるとともに、関連する操作を行わせるための関連操作語彙をユーザに報知することで、ユーザの意図する操作を確実に行わせることができるという効果がある。

以下に本発明の実施の形態を図面に基づいて説明する。

（実施形態１）
本発明の実施形態１を図１〜図３に基づいて説明する。本実施形態の音声認識機能付き操作器（以下、操作器と略称する。）１は、被制御機器である宅内の設備機器（例えば照明器具、給湯器、防犯設備、防災設備、映像・音響設備など）を操作するために用いられる。操作器１は、図２に示すように例えば壁面に埋込配設される器体２を備えており、器体２の前面には動作表示用のＬＥＤ３と、バックライトを備えた液晶ディスプレイ（ＬＣＤ）４と、マイク（音声入力部）５と、スピーカ６と、各種の操作を行うための操作ボタン７ａ〜７ｄとを配置してある。

操作器１は、図１のブロック図に示すように、操作ボタン７ａ〜７ｄを有して被制御機器を操作したり各種の設定を行うために用いられる手動操作部７と、被制御機器である照明器具２０の点灯状態を制御する照明制御部１９と、手動操作部７の操作に対応した動作を行わせるように照明制御部１９を制御する手動制御部１８を備えるとともに、ＬＣＤ４の表示を制御する表示制御部１４や、器体２の外部（宅内）に設けた防犯センサ２１や防災センサ２２の動作を制御するとともに各センサからの警報信号が入力されるセンサ制御部１５や、外部の通信回線網２３が接続される通信制御部１６や、センサ制御部１５を介して防犯センサ２１や防災センサ２２からの警報信号が入力されると通信制御部１６を用いて予め設定された外部の通報先に警報を発する緊急通報部１７を備えている。

また操作器１は、手動操作部７の操作に応じて被制御機器である照明器具２０を制御する機能に加えて、音声により入力された音声操作語彙に応じて照明器具２０を制御する機能を備えている。すなわち被制御機器に所望の動作を行わせる操作（タスク）を、対応する音声操作語彙を発話することで行う音声操作と、手動操作部７を直接操作することで行う手動操作の両方で行えるようになっている。

而して操作器１は、音声認識処理を行うために、ユーザの発話した音声を電気信号に変換するマイク５と、マイク５により入力された電気信号（音声信号）を増幅するアンプ（図示せず）と、操作に対する報知音や警告音或いは後述の音声生成部１２で生成された音声を出力するためのスピーカ６と、スピーカ６から出力される音がマイク５へ回り込み入力されてエコーやハウリングが発生するのを防止するエコーキャンセラ１１とを備えるとともに、音声認識が可能な認識可能語彙について多数の話者が発した認識可能語彙の特徴量を例えばＨＭＭ（隠れマルコフモデル）を用いてモデル化した音響モデルを記憶した音響モデル記憶部８と、マイク５から入力されアンプにより増幅された音声信号と記憶部８に記憶された音響モデルとを比較し、入力された音声信号と類似度の高い音響モデルに対応する音（認識可能語彙）を認識結果として出力する音声認識部９と、被制御機器を操作するために用いられる複数の音声操作語彙などが予め登録されたデータベース１０と、人の音声を生成してスピーカ６から出力させる音声生成部１２と、音声の認識結果に基づいて表示制御部１４や照明制御部１９を制御するとともに、音声生成部１２に対して合成する音声を出力する対話制御部１３とを備えている。ここにおいて、対話制御部１３や表示制御部１４はマイクロコンピュータよりなる制御部３０の演算機能により実現される。

次に、この操作器１を用いて音声操作により被制御機器を操作する場合の動作について図３のフローチャートを参照して説明する。尚、手動操作部７による手動操作については説明を省略する。

ステップＳ１で操作器１が動作を開始すると、制御部３０は操作停止入力があるか否かを判別し（ステップＳ２）、操作停止入力があると操作器１が動作を停止する（ステップＳ３）。

一方、操作停止入力が無ければ、音声信号の入力待ちの状態となり、マイク５を介して音声信号が入力されると（ステップＳ４）、音声認識部９が、マイク５から入力された音声を音響モデル記憶部８に記憶された音響モデルおよび音声認識語彙辞書と比較することによって音声認識を行い（ステップＳ５）、ステップＳ６でマイク５からの入力が音声と判断された場合は、音声認識部９が対話制御部１３に認識結果を出力する。

対話制御部１３は、音声認識部９から認識結果が入力されると、データベース１０に記憶された語彙操作対応テーブルを参照して（ステップＳ７）、認識結果に対応する音声操作語彙が存在するか否かを判断し（ステップＳ７）、登録済みの音声操作語彙が存在する場合は音声操作語彙に対応した操作を照明制御部１９により行わせる（ステップＳ９）。

表１はデータベース１０に記憶された語彙操作対応テーブルの一例を示し、このデータテーブルには、被制御機器を操作するための複数の音声操作語彙が、操作対象の被制御機器の設置場所を示す宅内ＩＤと、被制御機器の機器ＩＤと、音声操作語彙による操作内容とを関連付けて登録されている。したがって、音声認識部９の認識結果が表１のデータテーブルに登録済みの音声操作語彙であれば、対話制御部１３は、照明制御部１９を用いて、対応する機器ＩＤの被制御機器（照明器具２０）に、対応する操作内容を実行させることができる。

対話制御部１３は、ステップＳ９で音声操作語彙に対応した操作を行った後、音声認識部９の認識結果（認識語彙）と少なくとも一部が関連する音声操作語彙をデータベース１０から検索する処理を行う（ステップＳ１０）。データベース１０には認識語彙と関連語彙とを対応付けて記憶した関連語彙対応テーブルが登録されている。表２は関連語彙対応テーブルの一例であり、このデータテーブルには複数の認識語彙が登録されるとともに、個々の認識語彙毎に、各認識語彙に割り当てた認識語彙ＩＤと、各認識語彙に少なくとも一部が関連する音声操作語彙（関連語彙）とが対応付けて登録されている。なお関連語彙としては、例えば認識語彙と意味的な同義語彙、反操作語彙（例えば認識語彙が「つけて」であれば「けして」）、操作対象機器の詳細な操作を行うための音声操作語彙などが登録されている。

対話制御部１３では、ステップＳ１０の関連語彙検索処理において、データベース１０に登録された関連語彙対応テーブルを検索して認識語彙が存在するか否かを判断し（ステップＳ１１）、関連語彙対応テーブルに認識語彙が存在すれば、認識語彙と対応付けて登録された関連語彙を抽出し、報知部としての対話制御部１３が抽出した関連語彙を報知する処理を行う（ステップＳ１２）。本実施形態では音声による報知と文字による報知の両方を行っており、対話制御部１３は表示制御部１４および音声生成部１２の動作を制御して、表示制御部１４により抽出した関連語彙を表示部としてのＬＣＤ４に表示させるとともに（ステップＳ１３）、音声生成部１２により関連語彙の音声を生成してスピーカ６から出力させた後（ステップＳ１４）、ステップＳ２に戻る。

ここで、関連語彙の報知中あるいは報知後に、スピーカ６から音声で出力された関連語彙を聞いたり、ＬＣＤ４に文字で表示された関連語彙を見ることで、ユーザに対して発話した語彙に関連する関連語彙（音声操作語彙）を知らしめることができ、ユーザが音声又は文字で提示された関連語彙を発話すると、上述と同様の処理により音声認識が行われ、発話した関連語彙に対応する操作を行うことができる。

ところで、図４（ａ）はＬＣＤ４に関連語彙を表示する画面の一例を示しており、画面の上側には認識語彙（音声操作語彙）Ｗ１が表示され、この認識語彙Ｗ１に関連した関連語彙Ｗ２が画面の下側に表示されている。図４（ａ）はユーザが「でんき」と発話した場合の画面例であり、ユーザの発話した「でんき」なる語彙は表１に示すように音声操作語彙として登録されているので、対話制御部１３では、照明制御部１９を用いて特定の照明器具（例えばシーリングライトＡ）の点灯／消灯を切り替えるとともに、表２に示す関連語彙対応テーブルから「でんき」という認識語彙Ｗ１に対応した関連語彙Ｗ２として「シーリングライトＡ」以外の「天井ライト」「スタンドライト」「玄関ライト」の３つの語彙を抽出し、表示制御部１４を制御してＬＣＤ４に表示させる。なお関連語彙が複数存在する場合、音声生成部１２では所定の優先順位にしたがって複数の関連語彙を順番に音声合成して、スピーカ６から出力させるようにすればよい。

一方、ステップＳ８において認識結果に対応する音声操作語彙が存在しないと判断された場合、対話制御部１３は、音声認識部９の認識結果（認識語彙）と少なくとも一部が関連する音声操作語彙（関連語彙）をデータベース１０から検索する処理を行い（ステップＳ１０）、ステップＳ１１の判定処理において関連語彙対応テーブルに認識語彙が存在すれば、認識語彙と対応付けて登録された関連語彙を抽出し、報知部としての対話制御部１３が抽出した関連語彙を報知する処理を行った後（ステップＳ１２〜Ｓ１４）、ステップＳ２に戻る。

ここで、図４（ｂ）はユーザが「てんじょう」と発話した場合にＬＣＤ４に表示される関連語彙の表示画面の一例であり、ユーザの発話した「てんじょう」なる語彙は表１に示すように音声操作語彙として登録されていないので、対話制御部１３では、「てんじょう」という認識語彙Ｗ３に関連する関連語彙を関連語彙対応テーブルから検索する。表２に示す関連語彙対応テーブルには、「てんじょう」という認識語彙Ｗ３に関連する関連語彙Ｗ４として「天井ライト」「天井ライトをつけて」「天井ライトを消して」という３つの語彙が登録されているので、対話制御部１３ではこれら３つの関連語彙を抽出し、ＬＣＤ４に表示させるのである。また対話制御部１３では音声生成部１２を用いて複数の関連語彙を所定の順番で音声合成し、スピーカ６から出力させている。なお、認識語彙Ｗ３から関連語彙を抽出する方法として、各認識語彙毎に１乃至複数の関連語彙を関連語彙対応テーブルに登録しておき、このテーブルから認識語彙Ｗ３に対応する関連語彙を抽出する方法を説明したが、対話制御部１３が、表１の語彙操作対応テーブルに登録された音声操作語彙から関連語彙Ｗ３に少なくとも一部が一致（前方一致、後方一致あるいは部分一致）する音声操作語彙を検索して、検索結果を文字あるいは音声で報知するようにしても良い。

したがって音声操作を行いたいユーザが音声操作語彙を知らない場合でも、操作対象の被制御機器の操作に関連するような言葉をユーザが発話することによって、発話した音声の内容（認識語彙）に関連する関連語彙がデータベース１０の関連語彙対応テーブルに登録されていれば、認識語彙に関連した関連語彙がＬＣＤ４に表示されたりスピーカ６から音声で出力されるので、ＬＣＤ４の表示を見たりスピーカ６からの音声を聞いたユーザは、操作対象の被制御機器の操作に関連する音声操作語彙を見つけ出すことができ、初めて音声操作を行う場合でも音声操作語彙を覚える必要が無く、音声操作語彙を覚えるユーザの負担を軽減することができる。また音声操作語彙の一部しか覚えていない場合でも、音声操作語彙の一部を発話すれば、発話した語彙（認識語彙）に関連する音声操作語彙がＬＣＤ４に表示されるので、所望の操作を行うための音声操作語彙をユーザに思い出させることができる。また更に、ユーザが音声操作語彙を発話した場合でも、対話制御部１３が、データベースからユーザの発話した音声操作語彙に関連する関連語彙を検索し、表示制御部１４を用いてＬＣＤ４に表示させるか、又は、スピーカ６から音声で出力されるので、マニュアルなどを見なくても、音声操作を行いながら関連する音声操作語彙を覚えることができ、音声操作語彙を覚えるユーザの負担をさらに軽減することができる。

（実施形態２）
本実施形態では、実施形態１で説明した操作器１において、操作対象の被制御機器が複数存在するため、単独では操作対象の特定が不充分で操作が行えない音声操作語彙を操作不可能語彙としてデータベース１０に登録するとともに、操作不可能語彙に関連する操作を行わせるための音声操作語彙を関連操作語彙としてデータベース１０に登録しており、報知部としての対話制御部１３では、音声認識部９の認識結果がデータベース１０に登録された操作不可能語彙に一致すると、当該操作不可能語彙に対応する関連操作語彙をデータベース１０から抽出してユーザに報知することで、ユーザの知らない音声操作語彙を報知できるようにしている。尚、操作器１の構成は実施形態１と同様であるので、共通する構成要素には同一の符号を付して、その説明は省略する。

データベース１０には、事前に予測される操作不可能語彙と、操作不可能語彙に関連する操作を行わせるための音声操作語彙（適応化後操作可能語彙）とを対応付けた操作不可能語彙対応テーブルが予め登録されている。なお操作不可能語彙とは、例えば「つけて」「けして」などのように操作対象の被制御機器を特定していない語彙であり、操作対象の被制御機器が複数存在するため、単独では操作対象の特定が不充分で操作が行えないような音声操作語彙である。また適応化後操作可能語彙とは、「つけて」「けして」といった操作不可能語彙により操作可能な被制御機器群を示す語彙（例えば「でんき」、「えあこん」、「てれび」など）や、被制御機器を個別に特定するための語彙（例えば「しーりんぐらいとえー」「すたんどらいと」などである。表３は操作不可能語彙対応テーブルの一例であり、このデータテーブルには複数の操作不可能語彙が登録されるとともに、個々の操作不可能語彙毎に、各操作不可能語彙に割り当てた操作不可能語彙ＩＤと、各操作不可能語彙に関連する操作を行わせるための音声操作語彙（適応化後操作可能語彙）とが対応付けて登録されている。

而して、対話制御部１３では、音声認識部９の認識結果がデータベース１０に登録された操作不可能語彙に一致した場合、操作不可能語彙対応テーブルから操作不可能語彙に対応付けて記憶された適応化後操作可能語彙（関連操作語彙）を検索し、検索された操作可能語彙をユーザに報知するのである。

ここで、この操作器１を用いて音声操作により被制御機器を操作する場合の動作について図５のフローチャートを参照して説明する。尚、ステップＳ１５の操作不可能語彙適応検索処理以外は、実施形態１において図３のフローチャートで説明した処理と同様であるので、共通する処理の説明は省略し、操作不可能語彙適応検索処理について以下に説明する。

ステップＳ８において、音声認識部９の認識結果に対応する音声操作語彙が存在しないと判断された場合、対話制御部１３は操作不可能語彙適応検索処理を行う（ステップＳ１５）。すなわち対話制御部１３では、データベース１０に登録された操作不可能語彙対応テーブルを検索して、音声認識部９の認識結果が操作不可能語彙であるか否かを判断し、操作不可能語彙であれば、操作不可能語彙テーブルから対応する適応化後操作可能語彙を関連操作語彙として抽出する処理を行った後、ステップＳ１０，Ｓ１１の処理を経て、関連操作語彙を報知する処理を行い（ステップＳ１２）、表示制御部１４を制御して適応化後操作可能語彙をＬＣＤ４に表示させたり（ステップＳ１３）、適応化後操作可能語彙を音声生成部１２により音声合成させてスピーカ６から出力させた後（ステップＳ１４）。、ステップＳ２に戻るのである。

ここで、関連語彙の報知中あるいは報知後に、スピーカ６から音声で出力された関連語彙を聞いたり、ＬＣＤ４に文字で表示された関連語彙を見ることで、ユーザに対して発話した操作不可能語彙に関連する関連語彙（音声操作語彙）を知らしめることができ、ユーザが音声又は文字で提示された関連語彙を発話すると、上述と同様の処理により音声認識が行われ、発話した関連語彙に対応する操作を行うことができる。

したがって、音声操作を行いたいユーザが音声操作語彙を正確に覚えておらず、単独では操作対象の特定が不充分なために操作が行えない操作不可能語彙を発話した場合でも、ユーザの発話した操作不可能語彙に関連する操作を行わせるための関連操作語彙がデータベース１０の操作不可能語彙テーブルに登録されていれば、操作不可能語彙に対応付けられた関連操作語彙が文字或いは音声で報知されるので、初めて音声操作を行う場合でも音声操作語彙を覚える必要が無く、音声操作語彙を覚えるユーザの負担を軽減することができる。また音声操作語彙を正確に覚えていない場合でも、発話した語彙が操作不可能語彙として登録されていれば、発話した操作不可能語彙に対応付けられた音声操作語彙（関連操作語彙）がユーザに報知されるので、所望の操作を行うための音声操作語彙をユーザに思い出させることができ、音声操作を行いながら音声操作語彙を学習することができる。

ところで、実施形態１で説明した操作器１ではユーザの発話した語彙が操作不可能語彙であった場合、ユーザの発話した操作不可能語彙（認識語彙）に一部が一致する音声操作語彙を検索し、検索結果をユーザに報知しているため、ユーザに報知する音声操作語彙の数が多くなる場合があるが、本実施形態では表３に示す操作不可能語彙対応テーブルに予め登録されている適応化後操作可能語彙がユーザに報知されるから、使用環境などを考慮して登録された語彙をユーザに報知することができ、的確な操作可能語彙をユーザに報知することができる。

実施形態１の音声認識機能付き操作器のブロック図である。 同上の正面図である。 同上の動作を示すフローチャートである。 （ａ）（ｂ）は同上に用いるＬＣＤの表示画面の例図である。 実施形態２の音声認識機能付き操作器の動作を示すフローチャートである。

符号の説明

１ 音声認識機能付き操作器
４ ＬＣＤ（表示部）
５ マイク（音声入力部）
６ スピーカ
８ 音響モデル記憶部（記憶部）
９ 音声認識部
１０ データベース
１２ 音声生成部
１３ 対話制御部（制御部、報知部）
１４ 表示制御部
１９ 照明制御部
２０ 照明器具

Claims (3)

1. ユーザの発話した音声が入力される音声入力部と、音声入力部により入力された音声を予め記憶した音声パターンと比較することによって音声認識を行う音声認識部と、被制御機器を操作するために用いられる複数の音声操作語彙が登録されたデータベースと、音声認識部による認識結果がデータベースに登録された音声操作語彙に一致すると、当該音声操作語彙に基づいて被制御機器の動作を制御する制御部と、音声認識部の認識結果に関連した操作を表す音声操作語彙をデータベースから抽出してユーザに報知する報知部とを備えたことを特徴とする音声認識機能付き操作器。
2. 音声操作語彙を表示する表示部を備え、前記報知部は、前記音声認識部の認識結果と少なくとも一部が関連する音声操作語彙を前記データベースから抽出するとともに、抽出した音声操作語彙を表示部に表示させることを特徴とする請求項１記載の音声認識機能付き操作器。
3. 操作対象の被制御機器が複数存在するため、単独では操作対象の特定が不充分で操作が行えない音声操作語彙を操作不可能語彙として前記データベースに登録するとともに、操作不可能語彙に関連する操作を行わせるための音声操作語彙を関連操作語彙としてデータベースに登録しておき、前記報知部は、前記音声認識部の認識結果がデータベースに登録された操作不可能語彙に一致すると、当該操作不可能語彙に対応する関連操作語彙をデータベースから抽出してユーザに報知することを特徴とする請求項１又は２記載の音声認識機能付き操作器。

Images