JP2008309966A

JP2008309966A - 音声入力処理装置および音声入力処理方法

Info

Publication number: JP2008309966A
Application number: JP2007156804A
Authority: JP
Inventors: Toshio Kitahara; 俊夫北原; Kentaro Koga; 健太郎古賀
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2007-06-13
Filing date: 2007-06-13
Publication date: 2008-12-25

Abstract

【課題】発話対象の認識精度を向上すると共に、発話対象の特定が不十分な状態であっても適切な入力処理を行なうことのできる音声入力処理装置および音声入力処理方法を提供すること。
【解決手段】音声入力処理部１０は、運転者の顔の向きや生体情報、車両の状況、音声認識エンジン２０による認識確度、音声区間の長さなどからユーザの音声が車載装置に対する音声入力である可能性を判定し、その判定結果に基づいて段階入力処理部１１が音声入力の動作を段階的に変化させる。
【選択図】図１

Description

この発明は、音声認識を用いて入力処理を行なう音声入力処理装置および音声入力処理方法に関し、特に、ユーザの発した音声が装置に対する音声入力であるか否かを識別する音声入力処理装置および音声入力処理方法に関する。

近年、利用者の音声を認識する技術の実現に向けて各種考案がなされている。利用者の音声を認識することができれば、利用者は各種機器の操作を音声によって実行することが可能であり、特に車載装置では運転者による手動操作の運転への影響が懸念されることから音声操作技術の実用化が切望されている。

音声認識によって車載装置を操作する場合、ユーザ（主に運転者）が発した音声が車載装置に向けた音声入力であるか否かを識別する必要がある。従来は、音声入力実行を示す所定の操作手段、所謂トークスイッチの操作状態を監視し、トークスイッチが押された後に集音した音声を車載装置に対する音声入力であると看做してきた。

しかしながら、このようなトークスイッチの操作自体も運転者に運転操作以外の操作負荷を生じる一因となっているため、かかるトークスイッチを用いることなく、ユーザの音声内から車載装置への音声入力を自動的に識別する技術が求められている。

ここで、一般に発話を行なう際にはその対象の方向を向くことから、発話者の顔の向きを認識して発話対象を識別する技術は既に考案されている（例えば特許文献１参照。）。

特開２００６−２１１１５６号公報

トークスイッチのような操作手段を排し、ユーザの音声から車載装置への音声入力を自動的に識別する場合、車載装置に向けられていない音声を音声入力として誤って認識する可能性が有る。

このように、発話対象を誤って音声入力を自動実行すると、車載装置がユーザの意図しない動作を行うことなり、ユーザの音声入力に対する信頼感を著しく損ねるという問題がある。

また、運転者が運転操作に集中している場合には、視線を車外に向けたまま音声入力を行なう場合があるので、上述した従来技術のように発話者の顔や視線の向きを用いた発話対象の判定は、車載装置の音声入力においては充分な効果を発揮することが出来ない。

本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、発話対象の認識精度を向上すると共に、発話対象の特定が不十分な状態であっても適切な入力処理を行なうことのできる音声入力処理装置および音声入力処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明にかかる音声入力処理装置および音声入力処理方法は、ユーザの音声が車載装置に対する音声入力である可能性を判定し、その判定結果に基づいて音声入力の動作を段階的に変化させる。

また、本発明にかかる音声入力処理装置および音声入力処理方法は、ユーザの顔の方向、音声認識結果の認識確度、音声の長さ、ユーザの状態、自車両の状況などからユーザの音声が車載装置に対する音声入力である可能性を判定する。

本発明によれば音声入力処理装置および音声入力処理方法は、ユーザの音声が車載装置に対する音声入力である可能性を判定し、その判定結果に基づいて音声入力の動作を段階的に変化させるので、発話対象の特定が不十分な状態であっても適切な入力処理を行なうことのできる音声入力処理装置および音声入力処理方法を得ることができるという効果を奏する。

また、本発明によれば音声入力処理装置および音声入力処理方法は、ユーザの顔の方向、音声認識結果の認識確度、音声の長さ、ユーザの状態、自車両の状況などからユーザの音声が車載装置に対する音声入力である可能性を判定ずるので、ユーザの発話対象の特定精度を向上した音声入力処理装置および音声入力処理方法を得ることができるという効果を奏する。

以下に添付図面を参照して、この発明に係る音声入力処理装置および音声入力処理方法の好適な実施の形態を詳細に説明する。

図１は、本発明の実施例である車載装置１の概要構成を示す概要構成図である。同図に示したように車載装置１は、その内部に音声認識エンジン２０、音声入力処理部１０、入出力処理部３０、マイク４１、タッチパネルディスプレイ４３、スピーカ４４、オーディオユニット４５、ナビゲーションユニット４６、カメラ５０、生体センサ５１、加速度センサ５２、速度センサ５３、ワイパー５４を有する。

タッチパネルディスプレイ４３は、表示出力を行なうディスプレイと、ユーザからの手動操作を受け付けるタッチパネルとを一体化した入出力手段である。また、スピーカ４４は、ユーザに対して音声出力を行なう出力手段である。

オーディオユニット４５は、ラジオ放送やテレビ放送の受信、ＣＤ，ＤＶＤ，ＨＤなどの記録媒体に格納した音楽データや映像データの再生出力を行なうユニットであり、ナビゲーションユニット４６は自車両の位置情報と地図情報を用いて周辺施設や道路の案内、目的地までの誘導などを行なうユニットである。

入出力処理部３０は、各種入力手段からの入力に基づいて、オーディオユニット４５およびナビゲーションユニットを動作制御し、タッチパネルディスプレイ４３からの表示出力制御、スピーカ４４からの音声出力制御を行なう。

さらに、車載装置１ではマイク４１、音声認識エンジン２０および音声入力処理部１０によって音声入力を実現する。具体的には、マイク４１がユーザの音声を集音した場合に、音声認識エンジン２０がユーザの音声データに最も適合する言葉（テキストデータ）に変換する。音声入力処理部１０は、このテキストデータがユーザから入力されたものとして入出力処理部３０への入力処理を行なう。

音声認識エンジン２０は、語彙と音声データとを対応付けた音声認識辞書２１を有しており、マイク４１から入力されたユーザの音声データに最も近い音声データに対応付けられた語彙を音声認識結果として出力する。

ここで、音声認識エンジン２０は、マイク４１が集音した音声に対して常に音声認識を実行し、その認識結果を音声入力処理部１０に出力する、いわゆる常時認識を行なっている。そのため、音声認識エンジン２０は、ユーザが車載装置１に対する音声入力として発した音声についても、同乗者との会話など車載装置１に対する入力を意図していない音声についても同様に音声認識を実行することとなる。

そこで、音声入力処理部１０は、ユーザの音声が車載装置１に対する音声入力である可能性を検知精度判定部１２によって判定している。そして、段階入力処理部１１は、音声認識エンジン２０による認識結果を入出力処理部３０に入力する際に、検知精度判定部１２の判定結果に基づいて、その入力内容を段階的に変化させる。

図２は、段階入力処理部１１による入力内容の段階的な変化について説明する説明図である。検知精度判定部１２によって音声入力である可能性が検知精度として百分率で出力される場合、同図に示したように、検知精度が８０％以上であれば音声認識エンジン２０の認識内容を自動実行するように入出力処理部３０に要求する。例えば、音声認識エンジン２０の認識結果が「目的地消去」である場合、段階入力処理部１１は、ナビゲーションユニット４６が設定している目的地を消去する制御を実行するように入出力処理部３０に対して要求する。

一方、検知精度が８０〜６０％である場合、ユーザの音声が車載装置１に対する音声入力ではない場合を考慮し、音声認識エンジン２０の認識内容がユーザの意図と一致するか否かを確認する確認出力を行なうよう、入出力処理部３０に要求する。例えば、音声認識エンジン２０の認識結果が「目的地消去」である場合、段階入力処理部１１は、目的地を消去してもよいかを運転者に確認するメッセージをタッチパネルディスプレイ４３およびスピーカ４４から出力するように入出力処理部３０に対して要求する。

さらに、検知精度が６０〜５０％である場合、ユーザの音声が車載装置１に対する音声入力ではない可能性が高く、また仮にユーザが音声入力を意図している場合であっても認識内容がユーザの意図と異なっている可能性があるので、ユーザに対して再入力を依頼するように入出力処理部３０に要求する。例えば、音声認識エンジン２０の認識結果が「目的地消去」である場合、段階入力処理部１１は、運転者に対して「再度、音声入力をしてください」などのようなメッセージをタッチパネルディスプレイ４３およびスピーカ４４から出力するように入出力処理部３０に対して要求する。

そして、検知精度が５０％である場合、段階入力処理部１１は、ユーザの音声が車載装置１に対する音声入力ではないと判定し、入出力処理部３０に対する入力制御は行なわない。

つづいて、検知精度判定部１２による検知精度の判定についてさらに説明する。検知精度判定部１２は、ユーザの顔の向き、音声認識結果の認識確度、音声の長さ、運転者の状態、自車両の状況を用いて運転者の音声が車載装置に対する音声入力である可能性を判定する。

そのため、検知精度判定部１２は、その内部に認識確度取得部１２ａ、音声区間取得部１２ｂ、顔方向判定部１２ｃ、運転者状態判定部１２ｄ、車両状況判定部１２ｅを有する。

認識確度取得部１２ａは、音声認識エンジン２０が音声認識結果を出力する場合に、その認識確度、すなわち音声認識の際にマイク４１から入力されたユーザの音声データと音声認識辞書２１に格納された音声データとの一致率を取得する。そして、検知精度判定部１２は、認識確度が高い場合には音声認識結果が車載装置に対する音声入力である可能性が高いと判定する。

また、音声区間取得部１２ｂは、マイク４１から、ユーザの音声の長さ、すなわち音声区間を取得する。ユーザが音声入力を行なう場合、その発話内容はある程度限定され、音声データの長さもある程度の範囲内に収まることが期待できる。そこで、検知精度判定部１２は、音声区間の長さが所定の範囲内である場合に、その音声認識結果が車載装置に対する音声入力である可能性が高いと判定する。

顔方向判定部１２ｃは、車室内を撮影するカメラ５０の撮影結果に対して画像認識を行ない、運転者の顔の向きを判定する。そして、検知精度判定部１２は、運転者が車載装置の方向に顔を向けていた場合には、音声認識結果が車載装置に対する音声入力である可能性が高いと判定する。

運転者状態判定部１２ｄは、運転者の生体情報を取得する生体センサ５１の出力に基づいて、運転者が緊張状態であるか否かを判定する処理を行なう。生体センサ５１としては、例えばハンドルを握る圧力、運転者の血圧や脈拍、呼吸、脳波などを生体情報として検知する任意のセンサを用いることが出来る。そして、検知精度判定部１２は、運転者が車載装置の方向以外の方向を向いていても、運転者が緊張状態であるならば、音声認識結果が車載装置に対する音声入力である可能性が高いと判定する。

車両状況判定部１２ｅは、自車両の状況が運転操作への集中が必要な状況であるか否かを判定する処理を行なう。この状況の判定には、ナビゲーションユニット４６がＧＰＳを用いて特定した位置情報や周辺の地図情報、加速度センサ５２が出力する自車両の加速度、速度センサ５３が出力する自車両の速度、ワイパー５４の動作状態から推定される降雨量、また図示しないカメラやレーダによって検知した周辺の他車両や歩行者の有無と位置、などを用いることが出来る。そして、検知精度判定部１２は、運転者が車載装置の方向以外の方向を向いていても、自車両の状況が運転操作への集中が必要な状況であるならば、音声認識結果が車載装置に対する音声入力である可能性が高いと判定する。

つづいて、図３を参照し、検知精度判定部１２の具体的な判定処理について説明する。同図に示したフローチャートは、音声入力処理部１０が音声認識エンジン２０から音声認識結果を受け取った際に開始される処理である。

同図に示したように、まず、検知精度判定部１２は、顔方向判定部１２ｃによって運転者の顔の方向（視線方向）を判定する（ステップＳ１０１）。その結果、運転者が車載装置１の方向を向いていた場合（ステップＳ１０１，Ｙｅｓ）、つぎに音声区間取得部１２ｂの取得結果をもちいて音声区間か一定の範囲内に収まるか否かを判定する（ステップＳ１０２）。

そして、音声区間が一定範囲内であるならば（ステップＳ１０２，Ｙｅｓ）、さらに音声認識の認識確度が所定値以上かいなかを判定し（ステップＳ１０３）、音声認識の認識確度が所定値以上であるならば（ステップＳ１０３，Ｙｅｓ）、検知精度を１００％と判定して（ステップＳ１０４）、処理を終了する。

一方、運転者の視線方向が車載装置１の方向ではない場合（ステップＳ１０１，Ｎｏ）、つぎに検知精度判定部１２は音声区間が一定範囲内であるか否かを判定する（ステップＳ１０５）。

そして、ステップＳ１０５において音声区間が一定範囲内である場合（ステップＳ１０５，Ｙｅｓ）、もしくはステップＳ１０２において音声区間が一定範囲内でない場合（ステップＳ１０２，Ｎｏ）、つぎに音声認識の認識確度が所定値以上か否かを判定する（ステップＳ１０６）。

そして、ステップＳ１０６において認識確度が所定値以上である場合（ステップＳ１０６，Ｙｅｓ）、もしくはステップＳ１０３において認識確度が所定値未満である場合（ステップＳ１０３，Ｎｏ）、検知精度判定部１２は車両状況から、運転者が運転操作に集中している、換言すれば運転者が緊張している可能性が高いか否かを判定する（ステップＳ１０７）し、運転者が運転に集中している状況であるならば（ステップＳ１０７，Ｙｅｓ）、検知精度を８０％と判定して（ステップＳ１０８）、処理を終了する。

一方、車両状況は運転に集中する状況ではない場合（ステップＳ１０７，Ｎｏ）、つぎに検知精度判定部１２は、運転者の生体運転者が緊張している可能性が高いか否かを判定し（ステップＳ１０９）、運転者が緊張している可能性が高いならば（ステップＳ１０９，Ｙｅｓ）、検知精度を６０％と判定して（ステップＳ１１０）、処理を終了する。

一方、ステップＳ１０５において音声区間が所定の範囲外である場合（ステップＳ１０５，Ｎｏ）、ステップＳ１０７において音声認識の認識確度が所定値未満である場合（ステップＳ１０７，Ｎｏ）、ステップＳ１０９において運転者が緊張していない場合（ステップＳ１０９，Ｎｏ）、検知精度判定部１２は、音声認識結果は音声入力ではないと判定し、そのまま処理を終了する。

なお、音声認識結果が音声入力ではないと判定した場合に、判定結果を明示的に段階入力処理部１１に出力するよう構成してもよい。

また、ステップＳ１０９において運転者状態判定部１２ｄが実行する運転者状態の判定は、生体センサ５０の出力をモニタし、出力に変化があった場合に緊張している可能性が高いと判定すればよい。例えば、運転者がハンドルを握る圧力を生体情報として取得している場合、圧力がそれまでよりも高くなった場合に運転者が緊張状態になったと判定する。同様に、運転者の血圧や脈拍、呼吸、脳波などを生体情報として取得した場合、その値が変化した場合に緊張状態になったと判定する。

ステップＳ１０７において車両状況判定部１２ｅが実行する車両状況の判定の具体例を図４を参照して説明する。同図に示した例では、運転者が運転に集中する可能性の高い状況の例として、交差点走行、踏み切り通過、住宅地走行、高速道路の合流時、高速道路のトンネル通過時を示している。

まず、交差点走行では、車両状況判定部１２ｅは、車間が狭い、交差点に近い、徐行もしくは渋滞中、降雨量が中程度以上である、のうち、３つ以上が該当する場合に運転者が運転操作に集中し、緊張状態にあると判定する。

同様に、踏み切り通過では、車両状況判定部１２ｅは、車間が狭い、踏み切りに近い、徐行もしくは渋滞中、降雨量が中程度以上である、のうち、３つ以上が該当する場合に運転者が運転操作に集中し、緊張状態にあると判定する。

さらに、住宅地走行では、車両状況判定部１２ｅは、車間が狭い、歩行者が多い、住宅地近傍である、道路が狭い、降雨量が中程度以上である、のうち、３つ以上が該当する場合に運転者が運転操作に集中し、緊張状態にあると判定する。

また、高速道路の合流では、車両状況判定部１２ｅは、車間が狭い、高速道路の合流地点近傍、車速が高い、加速度が大きい、降雨量が中程度以上である、のうち、３つ以上が該当する場合に運転者が運転操作に集中し、緊張状態にあると判定する。

同様に、高速道路のトンネル通過では、車両状況判定部１２ｅは、車間が狭い、高速道路のトンネル内である、車速が高い、加速度が大きい、降雨量が中程度以上である、のうち、３つ以上が該当する場合に運転者が運転操作に集中し、緊張状態にあると判定する。

ここで、周辺車両との車間や歩行者の有無は、レーダや画像認識によって取得することが出来る。また、交差点や踏み切り、住宅地、高速道路の合流点、高速道路のトンネル、道路幅などはナビゲーションユニットが出力する位置情報や地図情報から判定可能である。さらに、車速および加速度はそれぞれ車速センサ、加速度センサから取得することができ、雨量についてはワイパーの動作状態から推定することが可能である。

以上説明してきたように、本実施例にかかる車載装置１では、音声入力処理部１０は、運転者の顔の向きや生体情報、車両の状況、音声認識エンジン２０による認識確度、音声区間の長さなどからユーザの音声が車載装置に対する音声入力である可能性を判定し、その判定結果に基づいて段階入力処理部１１が音声入力の動作を段階的に変化させる。

そのため、ユーザの発話対象の特定精度を向上し、また発話対象の特定が不十分な状態であっても適切な入力処理を行なうことができる。

なお、本実施例はあくまで一例であり、本発明を限定するものではない。本発明は構成および動作を適宜変更して実施することが出来るものである。

例えば、本実施例では、各種情報を用いた段階的なフローチャートで検知精度を求める場合を例に説明を行なったが、図５に示す様に、各種情報の取得結果に重み付けを行なって加算した値を検知精度として用いても良い。

図５に示した例では、運転者の顔の方向に３０、認識確度に２０、音声区間に２０、運転者状態と車両状態にそれぞれ１５の重みを割り当て、各情報の取得結果にこの重みを付して合算した値を認識確度としている。

以上のように、本発明にかかる音声入力処理装置および音声入力処理方法は、音声入力技術に有用であり、特にユーザの発した音声が装置に対する音声入力であるか否かの識別に適している。

本発明の実施例である車載装置の概要構成を説明する説明図である。段階的な出力制御の具体例について説明する説明図である。検知精度判定の処理動作を説明するフローチャートである。車両状況の判定について説明する説明図である。重み付けを用いた検知精度の算出について説明する説明図である。

符号の説明

１車載装置
１０音声入力処理部
１１段階入力処理部
１２検知精度判定部
１２ａ認識確度取得部
１２ｂ音声区間取得部
１２ｃ顔方向判定部
１２ｄ運転者状態判定部
１２ｅ車両状況判定部
２０音声認識エンジン
２１音声認識辞書
３０入出力処理部
４１マイク
４３タッチパネルディスプレイ
４４スピーカ
４５オーディオユニット
４６ナビゲーションユニット
５０カメラ
５１生体センサ
５２加速度センサ
５３速度センサ
５４ワイパー

Claims

ユーザの音声に対する音声認識結果を取得し、当該音声認識結果を車載装置に対する音声入力として用いる音声入力処理装置であって、
前記ユーザの音声が前記車載装置に対する音声入力である可能性を判定する入力可能性判定手段と、
前記入力可能性判定手段による判定結果に応じて、前記音声認識結果を前記車載装置に入力する際の入力内容を変化させる段階入力処理手段と、
を備えたことを特徴とする音声入力処理装置。
前記段階入力処理手段は、複数の検知精度に対応した入力内容が規定されたテーブルを備え、前記入力可能性判定手段による判定結果である検知精度に応じて入力内容を変化させることを特徴とする請求項１に記載の音声入力処理装置。
前記入力可能性判定手段は、前記ユーザの顔の方向、前記音声認識結果の認識確度、前記音声の長さ、前記ユーザの状態、自車両の状況のうち、すくなくともいずれか一つを用いて前記音声が車載装置に対する音声入力である可能性を判定することを特徴とする請求項１または２に記載の音声入力処理装置。
前記入力可能性判定手段は、車室内を撮影する車室内撮影手段による撮影結果に対して画像認識を行なって前記ユーザの顔の向きを判定し、ユーザが前記車載装置の方向に顔を向けている場合に当該音声が車載装置に対する音声入力である可能性が高いと判定することを特徴とする請求項３に記載の音声入力処理装置。
前記入力可能性判定手段は、前記ユーザの生体情報からユーザが緊張状態である場合には、前記ユーザが車載装置の方向以外を向いて発した音声についても、車載装置に対する音声入力である可能性が高いと判定することを特徴とする請求項４に記載の音声入力処理装置。
前記入力可能性判定手段は、前記自車両の状況が運転操作への集中が必要な状況である場合には、前記ユーザが車載装置の方向以外を向いて発した音声についても、車載装置に対する音声入力である可能性が高いと判定することを特徴とする請求項４または５に記載の音声入力処理装置。
前記入力可能性判定手段は、前記音声認識において入力された音声データと認識辞書に登録された音声データとの一致度を前記認識確度として取得し、当該認識確度が高い場合に当該音声認識結果が車載装置に対する音声入力である可能性が高いと判定することを特徴とする請求項３〜６のいずれか一つに記載の音声入力処理装置。
前記入力可能性判定手段は、前記ユーザの音声の長さが所定の範囲内である場合に、当該音声が車載装置に対する音声入力である可能が高いと判定することを特徴とする請求項３〜７のいずれか一つに記載の音声入力処理装置。
段階入力処理手段は、前記入力可能性判定手段による判定結果に基づいて、音声認識した内容の自動実行、音声認識した内容の確認出力、音声入力の再実行の依頼のうちいずれかを含む複数の動作から実行する動作を選択することを特徴とする請求項１〜８のいずれか一つに記載の音声入力処理装置。
ユーザの音声に対する音声認識結果を取得し、当該音声認識結果を車載装置に対する音声入力として用いる音声入力処理方法であって、
前記ユーザの音声が前記車載装置に対する音声入力である可能性を判定する入力可能性判定工程と、
前記入力可能性判定工程による判定結果に基づいて、前記音声認識結果を前記車載装置に入力する際の入力内容を段階的に変化させる段階入力処理工程と、
を含んだことを特徴とする音声入力処理方法。