JP2006071791A

JP2006071791A - 車両の音声認識装置

Info

Publication number: JP2006071791A
Application number: JP2004252783A
Authority: JP
Inventors: Shinichi Satomi; 真一里見
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2004-08-31
Filing date: 2004-08-31
Publication date: 2006-03-16

Abstract

【課題】段階的な入力操作を行わせることなく簡単に音声を精度良く認識する。
【解決手段】マイク３から音声が入力されると、音声認識装置１は、予め設定しておいた単語辞書を検索し、マイク３から入力した音声に対応した認識候補を一致度合いの順番を付して選択し、車内ＣＡＮ通信網２からの現在の車両情報を基に、検索した各認識候補毎に予め設定しておいた車両情報に対応した重み付け係数を定め、一致度合いと重み付け係数とに基づき各認識候補の最終的な一致度合いを決定する。そして、最終的な一致度合いの認識候補の音声に基づき該当する車載機器４に対して信号を出力して作動させる。また、音声認識装置１は、認識した音声が正しいか否かをスピーカ５を通じて発声することにより常にドライバに確認しながら、認識結果の確認を行い、２回誤認識した場合には、再び、ドライバに対して音声入力を促す。
【選択図】図２

Description

本発明は、車室内で発せられた音声を正確に認識する車両の音声認識装置に関する。

近年、車両においては、ドライバの利便性を図るため、煩わしいスイッチ入力等を省き、ドライバの発する音声を感知して、該当する車載装置の作動が行える様々なシステムが開発されている。

例えば、特開２０００−２００９０号公報では、予め複数の言葉を記憶した単語辞書の中から使用者が発話した言葉を検索して特定することにより音声認識を行う車両の音声認識装置において、使用者の要求を、最初に少なくとも１つ一次要求として推定し、その一次要求から使用者の現在状態と未来状態とを推定して、その推定した状態から他の要求を推定する装置が開示されている。
特開２０００−２００９０号公報

しかしながら、上述の特許文献１で開示される音声認識装置では、使用者は一次要求を推定させるための発話に加えて、個人情報を入力する操作が必要であり設定に時間がかかり煩わしいという問題がある。また、使用者の要求を推定して、単語辞書の検索範囲を絞り、或いは、順序を変えたとしても、最終的には単語辞書で設定される単語の順位に縛られるため、精度の良い認識結果を得るには限界があるという問題がある。すなわち、単語辞書の順位は、前回までの単語の使用頻度等に影響されるものが多く、今回、使用者が置かれている状況が全く異なってしまっている場合でも、前回までの状況が考慮されて設定されてしまい誤認識となる場合がある。

本発明は上記事情に鑑みてなされたもので、使用者に段階的な入力操作を行わせることなく簡単に、使用者の音声を精度良く認識可能な車両の音声認識装置を提供することを目的とする。

本発明は、音声を入力する音声入力手段と、車両情報を検出する車両情報検出手段と、予め設定しておいた単語辞書を検索し、上記入力した音声に対応した認識候補を一致度合いの順番を付して選択する単語辞書検索手段と、現在の車両情報を基に、上記単語辞書検索手段で検索した各認識候補毎に予め設定しておいた車両情報に対応した重み付け係数を定める重み付け係数設定手段と、上記一致度合いと上記重み付け係数とに基づき上記各認識候補の最終的な一致度合いを決定する一致度合い決定手段と、上記一致度合い決定手段で決定した認識候補の音声に基づき車載機器に信号を出力する信号出力手段とを備えたことを特徴としている。

本発明による車両の音声認識装置によれば、使用者に段階的な入力操作を行わせることなく簡単に、使用者の音声を精度良く認識可能となる。

以下、図面に基づいて本発明の実施の形態を説明する。
図１〜図８は本発明の実施の第１形態を示し、図１は車両の音声認識装置の概略構成図、図２は音声認識プログラムのフローチャート、図３は各認識候補の最終結果を一覧に示した説明図、図４は認識候補「温度上げて」に設定されている重み付け得点の説明図、図５は認識候補「温度下げて」に設定されている重み付け得点の説明図、図６は認識候補「ライト上げて」に設定されている重み付け得点の説明図、図７は認識候補「ライト下げて」に設定されている重み付け得点の説明図、図８は認識候補「ワイパーつけて」に設定されている重み付け得点の説明図である。

図１において、符号１は車両の音声認識装置を示し、この音声認識装置１には、車両に構築した車両情報検出手段としての車内ＣＡＮ通信（Controller Area Network(ISO規格)に準拠した通信）網２と接続されている。この車内ＣＡＮ通信網２には、車載した様々な制御ユニット（例えば、エンジン制御ユニット、トランスミッション制御ユニット、ブレーキ制御ユニット、ナビゲーション装置、前方認識装置等）が連結されており、車両に設けた車内温度センサ、外気温度センサ、車速センサ、ワイパースイッチ、ブレーキスイッチ、エアコンスイッチ、ライティングスイッチ、リアデフォッガスイッチ、パワーウィンドウスイッチ、車内カレンダ時計等のセンサ、スイッチ類の信号や、各制御ユニットで演算されたデータ、及び、ドライバ（使用者）により入力される降水確率等の情報が共有可能となっている。

具体的には、音声認識装置１には、車内ＣＡＮ通信網２を通じて、車内温度センサからの車内温度、外気温度センサからの外気温度、エアコンスイッチからのエアコンのＯＮ−ＯＦＦ、ライティングスイッチからのヘッドライトのＯＮ−ＯＦＦ、更にＯＮの場合にはHigh−Low状態、ワイパースイッチからのワイパーのＯＮ−ＯＦＦ、リアデフォッガスイッチからのリアデフォッガのＯＮ−ＯＦＦ、パワーウインドウスイッチからは各窓毎の窓の開閉状況、前方認識装置からのカメラ或いはレーザレーダで捉えた前方情報を解析して得られる対向車の有無、ナビゲーション装置からの予めＤＶＤ−ＲＯＭ等に記録されている現在値が市街地か否かの情報、車内カレンダ時計からの「月」「日」「時間」、ドライバの入力した降水確率等の信号が入力される。

また、音声認識装置１には、ドライバからの音声を捉える音声入力手段としてのマイク３が接続されている。

マイク３から音声が入力されると、音声認識装置１は、後述する如く、予め設定しておいた単語辞書を検索し、マイク３から入力した音声に対応した認識候補を一致度合いの順番を付して選択し、車内ＣＡＮ通信網２からの現在の車両情報を基に、検索した各認識候補毎に予め設定しておいた車両情報に対応した重み付け係数を定め、一致度合いと重み付け係数とに基づき各認識候補の最終的な一致度合いを決定する。そして、最終的な一致度合いの認識候補の音声に基づき該当する車載機器４に対して信号を出力して作動させる。また、音声認識装置１は、認識した音声が正しいか否かをスピーカ５を通じて発声することにより常にドライバに確認しながら、認識結果の確認を行い、複数回（例えば２回）誤認識した場合には、再び、ドライバに対して音声入力を促すようになっている。

すなわち、音声認識装置１は、単語辞書検索手段、重み付け係数設定手段、一致度合い決定手段、信号出力手段、及び、確認手段としての機能を備えて構成されている。

ここで、車載機器４としては、エアコン（温度の上下調整、ＯＮ−ＯＦＦ）、ヘッドライト（ＯＮ−ＯＦＦ）、ワイパー（ＯＮ−ＯＦＦ）、リアデフォッガ（ＯＮ−ＯＦＦ）である。

次に、音声認識装置１で実行される音声認識プログラムを、図２のフローチャートで説明する。
まず、ステップ（以下、「Ｓ」と略称）１０１で、音声が入力されると、Ｓ１０２に進み、入力された音声に対応する単語を、予め記憶しておいた単語辞書を検索して認識候補として抽出する。この際、単語辞書は、検索頻度等を基に複数の認識候補を、認識スコア（一致度合い）を付けて抽出する。尚、この処理の段階では、認識スコアが高い認識候補ほど、入力された音声に一致している可能性が高い。

このＳ１０１とＳ１０２の具体的な処理の一例を、図３により説明する。まず、ドライバが「温度下げて」という音声を入力すると、単語辞書により、この音声に近い「温度上げて」、「温度下げて」、「ライト上げて」、「ライト下げて」、「ワイパーつけて」の５つの認識候補が、それぞれ認識スコア「０．６」、「０．５」、「０．３」、「０．２」、「０．１」を付して選択される。

次に、Ｓ１０３に進むと、現在の車両情報が読み込まれる。例えば、車内温度は「２７度」、カレンダは「６月」、降水確率は「１０％」、エアコンは「ＯＮ」、ヘッドライトは「ＯＦＦ」、ワイパーは「ＯＦＦ」であるとする。

次いで、Ｓ１０４に進み、車両情報に基づき重み付け係数の演算を行う。例えば、「温度上げて」については、図４に示すような、車両情報に対応した重み付け得点が予め設定されており、Ｓ１０３で取得した車両情報に沿って、その重み付け得点は「１」が設定される。同様に、「温度下げて」については、図５に示すような、車両情報に対応した重み付け得点が予め設定されており、Ｓ１０３で取得した車両情報に沿って、その重み付け得点は「９」が設定される。また、「ライト上げて」については、図６に示すような、車両情報に対応した重み付け得点が予め設定されており、Ｓ１０３で取得した車両情報に沿って、その重み付け得点は「１」が設定される。「ライト下げて」については、図７に示すような、車両情報に対応した重み付け得点が予め設定されており、Ｓ１０３で取得した車両情報に沿って、その重み付け得点は「１」が設定される。更に、「ワイパーつけて」については、図８に示すような、車両情報に対応した重み付け得点が予め設定されており、Ｓ１０３で取得した車両情報に沿って、その重み付け得点は「２」が設定される。そして、それぞれの認識候補の得点を、全認識候補の得点の和（１４＝１＋９＋１＋１＋２）で除した値を、それぞれの認識候補の重み付け係数とする。すなわち、「温度上げて」、「温度下げて」、「ライト上げて」、「ライト下げて」、「ワイパーつけて」の認識候補のそれぞれの重み付け係数は、「１／１４」、「９／１４」、「１／１４」、「１／１４」、「２／１４」である。

次に、Ｓ１０５に進み、Ｓ１０２での単語辞書検索の結果（認識スコア）とＳ１０４での重み付け係数の結果から最終的な一致度合いとしての最終スコアを演算し、認識候補の順位付けを行い認識結果の決定を行う。具体的には、最終スコアを各認識候補の認識スコアと重み付け係数を乗算して演算し、この最終スコアの最も高いものから順位付けを行う。すなわち、「温度上げて」、「温度下げて」、「ライト上げて」、「ライト下げて」、「ワイパーつけて」の認識候補のそれぞれの最終スコアは、「（０．６）×（１／１４）＝（６／１４０）」、「（０．５）×（９／１４）＝（４５／１４０）」、「（０．３）×（１／１４）＝（３／１４０）」、「（０．２）×（１／１４）＝（２／１４０）」、「（０．１）×（２／１４）＝（２／１４０）」となる。従って、これを高い順に並べると、１位が「温度下げて」、２位が「温度上げて」、３位が「ライト上げて」、４位が「ライト下げて」と「ワイパーつけて」となる。この結果、１位の「温度下げて」を認識結果として決定する。

次いで、Ｓ１０６に進み、認識結果の確認音声を出力する。具体的には、予め設定しておいた音声に、「温度下げ」をあてはめて発声するものであり、例えば、「温度下げるんですね」との音声を発声するものである。

その後、Ｓ１０７に進み、ドライバからの音声入力を待ち、「はい」若しくは「ＹＥＳ」、或いは、一定時間経過してもなんら音声入力がない場合には、ドライバから肯定的言葉の入力があったと判定処理する。逆に、「いいえ」若しくは「ＮＯ」の音声入力があった場合には、ドライバから否定的言葉の入力があったと判定処理する。

そして、Ｓ１０８に進み、Ｓ１０７の判定処理の結果、ドライバから肯定的言葉の入力があり、認識が正解と判断できる場合には、Ｓ１０９に進み、予め該当する車載機器へ信号を出力する。例えば、「温度下げて」の場合には、車載機器としてエアコンが選択され、エアコンの温度調整が現在より低い値に設定される。

その後、Ｓ１１０に進み、処理実行音声の出力を行ってプログラムを抜ける。例えば、「温度下げて」の認識結果により、Ｓ１０９でエアコンの温度を下げた場合、「エアコンの温度を下げました」と出力する。尚、この処理実行音声は、予め記憶しておいた音声である。

また、上述のＳ１０８の判断において、Ｓ１０７の判定処理の結果、ドライバから否定的言葉の入力があり、認識が不正解と判断できる場合には、Ｓ１１１に進み、不正解が２度目か否か判定する。

Ｓ１１１の判定の結果、不正解が２度目ではない場合、すなわち、１度目の場合には、Ｓ１１２に進み、認識候補の２番目を認識結果に変更し、前述のＳ１０６からの処理を行う。上述までの例でいえば、２位の「温度上げて」を認識結果とし、Ｓ１０６からの処理を行うのである。

また、Ｓ１１１の判定の結果、不正解が２度目の場合には、Ｓ１１３に進み、予め設定しておいた未処理音声出力、例えば、「認識できませんでした。もう一度言って下さい。」を出力してプログラムを抜ける。すなわち、上述の例でいえば、２位の「温度上げて」の場合でも不正解の場合には、「認識できませんでした。もう一度言って下さい。」を出力し、ドライバに再度の音声入力を促すのである。尚、この確認は、スピーカ５から発声して行われるが、他に、例えば、液晶ディスプレイ上に表示して確認するものであっても良い。

このように、本実施の第１形態によれば、従来のような頻度等に応じた単語辞書の検索により音声認識を行うのではなく、現在の車両情報に応じた重み付けにより音声認識を行うので使用者の音声を精度良く認識可能となる。また、ドライバは、自ら段階的に単語辞書を絞り込む必要がないため、煩わしさがなく、使い勝手の良い音声認識装置となっている。

次に、図９〜図１３は本発明の実施の第２形態を示し、図９は音声認識プログラムのフローチャート、図１０は各認識候補の最終結果を一覧に示した説明図、図１１は認識候補「エアコンつけて」に設定されている重み付け得点の説明図、図１２は認識候補「エアコン消して」に設定されている重み付け得点の説明図、図１３は認識候補「リアデフォッガつけて」に設定されている重み付け得点の説明図である。尚、本実施の第２形態は、単語辞書を車両情報に基づき予め制限選択して用いる点が前記第１形態と異なり、他の構成作用は前記第１形態と同様であるので説明は省略する。

すなわち、音声認識装置１で実行される音声認識プログラムは、図９のフローチャートに示すように、まず、Ｓ２０１で、音声が入力されると、Ｓ２０２に進み、現在の車両情報を読み込む。この第２形態では、ドライバは「温度下げて」という音声入力をしたとし、現在の車両情報は、車内温度は「２７度」、カレンダは「６月」、時間は「１４時」、降水確率は「１０％」、エアコンは「ＯＮ」、ヘッドライトは「ＯＦＦ」、ワイパーは「ＯＦＦ」、全てのパワーウインドウは閉じられている状態にあるとする。

次いで、Ｓ２０３に進み、車両情報に基づき、単語辞書を制限選択する。例えば、時間が７時〜１５時までの場合は、予めヘッドライト関連の単語辞書の選択を行わないようにし、降水確率が２０％以下の場合には、予めワイパー関連の単語辞書の選択を行わないようにする。従って、時間が「１４時」であることから、ヘッドライト関係の単語辞書の選択を行わないようにし、また、降水確率が「１０％」であることから、ワイパー関連の単語辞書の選択を行わないようにする。

次いで、Ｓ２０４に進み、Ｓ２０１で入力された音声に対応する単語を、Ｓ２０３で制限された単語辞書を検索して認識候補として抽出する。この際、単語辞書は、検索頻度等を基に複数の認識候補を、認識スコア（一致度合い）を付けて抽出する。尚、この処理の段階では、認識スコアが高い認識候補ほど、入力された音声に一致している可能性が高い。

具体的には、「温度下げて」という音声入力に対し、これに近い単語、例えば、図１０に示すように、「温度上げて」、「温度下げて」、「エアコンつけて」、「エアコン消して」、「リアデフォッガつけて」の５つの認識候補が、それぞれ認識スコア「０．６」、「０．５」、「０．３」、「０．２」、「０．１」を付して選択される。

次に、Ｓ１０４に進み、前記第１形態と同様、車両情報に基づき重み付け係数の演算を行う。例えば、「温度上げて」については、図４に示すような、車両情報に対応した重み付け得点が予め設定されており、Ｓ２０２で取得した車両情報に沿って、その重み付け得点は「１」が設定される。同様に、「温度下げて」については、図５に示すような、車両情報に対応した重み付け得点が予め設定されており、Ｓ２０２で取得した車両情報に沿って、その重み付け得点は「９」が設定される。また、「エアコンつけて」については、図１１に示すような、車両情報に対応した重み付け得点が予め設定されており、Ｓ２０２で取得した車両情報に沿って、その重み付け得点は「１」が設定される。「エアコン消して」については、図１２に示すような、車両情報に対応した重み付け得点が予め設定されており、Ｓ２０２で取得した車両情報に沿って、その重み付け得点は「５」が設定される。更に、「リアデフォッガつけて」については、図１３に示すような、車両情報に対応した重み付け得点が予め設定されており、Ｓ２０２で取得した車両情報に沿って、その重み付け得点は「３」が設定される。そして、それぞれの認識候補の得点を、全認識候補の得点の和（１９＝１＋９＋１＋５＋３）で除した値を、それぞれの認識候補の重み付け係数とする。すなわち、「温度上げて」、「温度下げて」、「エアコンつけて」、「エアコン消して」、「リアデフォッガつけて」の認識候補のそれぞれの重み付け係数は、「１／１９」、「９／１９」、「１／１９」、「５／１９」、「３／１９」である。

次に、Ｓ１０５に進み、Ｓ２０４での単語辞書検索の結果（認識スコア）とＳ１０４での重み付け係数の結果から最終的な一致度合いとしての最終スコアを演算し、認識候補の順位付けを行い認識結果の決定を行う。具体的には、最終スコアを各認識候補の認識スコアと重み付け係数を乗算して演算し、この最終スコアの最も高いものから順位付けを行う。すなわち、「温度上げて」、「温度下げて」、「エアコンつけて」、「エアコン消して」、「リアデフォッガつけて」の認識候補のそれぞれの最終スコアは、「（０．６）×（１／１９）＝（６／１９０）」、「（０．５）×（９／１９）＝（４５／１９０）」、「（０．３）×（１／１９）＝（３／１９０）」、「（０．２）×（５／１９）＝（１０／１９０）」、「（０．１）×（３／１９）＝（３／１９０）」となる。従って、これを高い順に並べると、１位が「温度下げて」、２位が「エアコン消して」、３位が「温度上げて」、４位が「エアコンつけて」と「リアデフォッガつけて」となる。この結果、１位の「温度下げて」を認識結果として決定する。

以下、Ｓ１０６以降の説明は、認識候補の２番目が「エアコン消して」であることを除き、前記第１形態で説明した通りであるので、説明は省略する。

このように、本発明の実施の第２形態によれば、前記第１形態の効果に加え、車両情報により検索する単語辞書が制限されるため、すなわち、言い換えれば、現在の車両情報を基に、認識候補のうち車両情報にそぐわないものを候補から除外することで、認識結果を抽出するのに要する時間が短縮され、処理速度を高くできる。

本発明の実施の第１形態による、車両の音声認識装置の概略構成図同上、音声認識プログラムのフローチャート同上、各認識候補の最終結果を一覧に示した説明図同上、認識候補「温度上げて」に設定されている重み付け得点の説明図同上、認識候補「温度下げて」に設定されている重み付け得点の説明図同上、認識候補「ライト上げて」に設定されている重み付け得点の説明図同上、認識候補「ライト下げて」に設定されている重み付け得点の説明図同上、認識候補「ワイパーつけて」に設定されている重み付け得点の説明図本発明の実施の第２形態による、音声認識プログラムのフローチャート同上、各認識候補の最終結果を一覧に示した説明図同上、認識候補「エアコンつけて」に設定されている重み付け得点の説明図同上、認識候補「エアコン消して」に設定されている重み付け得点の説明図同上、認識候補「リアデフォッガつけて」に設定されている重み付け得点の説明図

符号の説明

１音声認識装置（単語辞書検索手段、重み付け係数設定手段、一致度合い決定手段、信号出力手段、確認手段）
２車内ＣＡＮ通信網（車両情報検出手段）
３マイク（音声入力手段）
４車載機器
５スピーカ
代理人弁理士伊藤進

Claims

音声を入力する音声入力手段と、
車両情報を検出する車両情報検出手段と、
予め設定しておいた単語辞書を検索し、上記入力した音声に対応した認識候補を一致度合いの順番を付して選択する単語辞書検索手段と、
現在の車両情報を基に、上記単語辞書検索手段で検索した各認識候補毎に予め設定しておいた車両情報に対応した重み付け係数を定める重み付け係数設定手段と、
上記一致度合いと上記重み付け係数とに基づき上記各認識候補の最終的な一致度合いを決定する一致度合い決定手段と、
上記一致度合い決定手段で決定した認識候補の音声に基づき車載機器に信号を出力する信号出力手段と、
を備えたことを特徴とする車両の音声認識装置。
使用者に対して上記最終的な一致度合いの高い認識候補が、上記入力した音声に一致するか否かを確認する確認手段を備えたことを特徴とする請求項１記載の車両の音声認識装置。
上記確認手段は、上記最終的な一致度合いが最も高く一致している認識候補が上記入力した音声に一致しない場合、上記最終的な一致度合いがより低い認識候補についての一致を確認し、該確認による認識候補が一致しない場合は、使用者に再度の音声入力を促すことを特徴とする請求項２記載の車両の音声認識装置。
上記単語辞書検索手段は、現在の車両情報を基に、上記単語辞書における検索範囲を制限することを特徴とする請求項１乃至請求項３の何れか一つに記載の車両の音声認識装置。
上記単語辞書検索手段は、現在の車両情報を基に、認識候補のうち車両情報にそぐわないものを候補から除外することを特徴とする請求項１乃至請求項３の何れか一つに記載の車両の音声認識装置。