JP2016090681A - 車両用音声対話装置 - Google Patents

Abstract

【課題】質問に対する回答が得られるまでの間をつなぐ処理を行って、ドライバから多くの発話を引き出し、適切に音声感情認識を行う。【解決手段】ドライバと対話して、ドライバの音声に基づいて感情を推定する車両用音声対話装置１は、ドライバの音声が入力される音声入力部１１と、ドライバの音声データをサーバ２に送信すると共に、質問に対する回答に対応するデータをサーバ２から受信する通信部１７と、通信部１７が受信した質問に対する回答を音声として出力する音声出力部１２と、ドライバからの質問に含まれるワードに基づいて、許容待ち時間を推定する許容待ち時間推定部１６ａと、回答遅延時間が許容待ち時間よりも長い場合に、質問に対する回答が得られるまでの間をつなぐためにドライバに対して返答する間つなぎ処理部１６ｃと、を有する。【選択図】図３

Description

本発明は、車両用音声対話装置に係わり、特に、車両のドライバと対話して、ドライバの音声に基づいて感情を推定する車両用音声対話装置に関する。

従来から、車両のドライバから発せられた音声を認識して、ドライバに対して情報の提供などを行う音声対話装置が開発されている。一般的には、車両内の端末（例えば携帯電話など）によってドライバからの音声を取得し、端末から外部のサーバ（大型計算機など）に音声データを送って音声認識などの処理を行わせて、この処理結果に応じた音声を端末から出力させる音声対話システムが用いられている。このように音声認識などの処理をサーバに行わせているのは、処理に膨大な演算を要するからである。

例えば、特許文献１には、上記のような音声対話システムに関して、車両内の端末側で実行する音声認識の信頼度が高い場合には、その音声認識結果を用い、信頼度が低い場合にのみ、外部のサーバによる音声認識結果を用いる技術が開示されている。その他にも、本発明に関連する技術が、例えば特許文献２に開示されている。特許文献２には、車両の走行環境に基づいてドライバと対話可能な時間を算出し、その対話可能時間に応じた対話制御を行う技術が提案されている。

特開２００９−２８８６３０号公報 特開２００８−２３３６７８号公報

ところで、近年、ドライバの感情を推定して車両制御などに反映して、車両の安全性や商品性を向上させる開発が進められているが、この際の感情推定方法として、ドライバの音声に基づいて感情を推定する音声感情推定方法が有力なものとなっている。この音声感情推定方法では、感情を推定するための判断材料がドライバの音声であるため、ドライバとの対話によって、ドライバから多くの発話を引き出すことが望ましい。
しかしながら、上記したような車両内の端末と外部のサーバとによって構築された音声対話システムでは、ドライバに対して返答するまでの遅延時間（タイムラグ）が生じるため、音声対話システムに音声感情推定方法を適用した場合、このような遅延時間に起因するストレス、つまり対話の際の「間（ま）」に起因するストレスにより、ドライバが発話しなくなり、音声に基づいて感情を適切に推定することができなくなってしまう場合がある。

本発明は、上述した従来技術の問題点を解決するためになされたものであり、質問に対する回答が得られるまでの間をつなぐ処理を行って、ドライバから多くの発話を引き出し、適切に音声感情認識を行うことができる車両用音声対話装置を提供することを目的とする。

上記の目的を達成するために、本発明は、車両のドライバと対話して、ドライバの音声に基づいて感情を推定する車両用音声対話装置であって、ドライバからの質問に対応する音声が入力される音声入力手段と、音声入力手段に入力された、ドライバからの質問に対応する音声のデータを所定のサーバに送信すると共に、質問に対する回答に対応するデータをサーバから受信する通信手段と、通信手段が受信した質問に対する回答に対応するデータを音声として出力する音声出力手段と、音声入力手段に入力された、ドライバからの質問に含まれるワードに基づいて、質問に対する回答の待ち時間としてドライバが許容できる許容待ち時間を推定する許容待ち時間推定手段と、ドライバからの質問に対応する音声が音声入力手段に入力されてから、質問に対する回答に対応する音声を音声出力手段から出力させるまでの回答遅延時間が、許容待ち時間手段が推定した許容待ち時間よりも長い場合に、質問に対する回答に対応する音声を音声出力手段から出力させるまでの間をつなぐためにドライバに対して返答すべく、その返答内容に応じた音声を音声出力手段から出力させる間つなぎ処理手段と、を有することを特徴とする。
このように構成された本発明においては、質問に対する回答が得られるまでの回答遅延時間が、ドライバが許容できる許容待ち時間よりも長い場合に、回答が得られるまでの間をつなぐためにドライバに対して返答する間つなぎ処理を行うので、ドライバに与えるストレスを抑制して、ドライバとの対話により、ドライバから多くの発話を引き出すことができる。よって、ドライバの音声に基づいて感情を適切に推定することが可能となる。

本発明において、好ましくは、間つなぎ処理手段は、回答遅延時間の許容待ち時間に対する超過度合いに応じて、返答内容を切り替える。
このように構成された本発明によれば、回答遅延時間の許容待ち時間に対する超過度合いが大きい場合には、ドライバに与えるストレスが大きくなる傾向にあるが、このような場合に適切な返答内容を採用することで、ドライバに与えるストレスを効果的に抑制して、ドライバとの対話を継続することが可能となる。

本発明において、好ましくは、ドライバからの質問に含まれるワードに基づいて、回答遅延時間を推定する回答遅延時間推定手段を更に有し、間つなぎ処理手段は、回答遅延時間推定手段が推定した回答遅延時間を用いる。
このように構成された本発明によれば、例えば、質問に含まれるワードに関連付けて過去の実際の回答遅延時間をデータベースとして記憶しておき、このデータベースを参照して、今回のドライバからの質問に含まれるワードに応じた回答遅延時間を適用する。これにより、適切な回答遅延時間を適用することができる。

本発明において、好ましくは、許容待ち時間推定手段は、ドライバからの質問に含まれるワードに加えて、車両に設けられたセンサによって検出されたドライバの運転状態、及び／又は、車両に設けられたセンサによって検出されたドライバの生体情報に基づいて、許容待ち時間を推定する。
このように構成された本発明によれば、質問に含まれるワードに加えて、ドライバの運転状態及び／又はドライバの生体情報を更に考慮して、許容待ち時間を推定するので、より適切な許容待ち時間を適用することができる。

本発明において、好ましくは、許容待ち時間推定手段は、ドライバからの質問に含まれるワードに加えて、車両の走行状況に基づいて、許容待ち時間を推定する。
このように構成された本発明によれば、質問に含まれるワードに加えて、車両の走行状況を更に考慮して、許容待ち時間を推定するので、より適切な許容待ち時間を適用することができる。

本発明の車両用音声対話装置によれば、質問に対する回答が得られるまでの間をつなぐ処理を行って、ドライバから多くの発話を引き出し、適切に音声感情認識を行うことができる。

本発明の実施形態による車両用音声対話装置を適用した音声対話システムの概略構成図である。 本発明の実施形態による車両用音声対話装置の機能的構成を示すブロック図である。 本発明の実施形態による間つなぎ処理に係る全体処理の流れを示すフローチャートである。 本発明の実施形態による対話例１を示す図である。 本発明の実施形態による対話例２を示す図である。 本発明の実施形態による対話例３を示す図である。

以下、添付図面を参照して、本発明の実施形態による車両用音声対話装置について説明する。

［音声対話システムの構成］
図１は、本発明の実施形態による車両用音声対話装置を適用した音声対話システムの概略構成図である。図１に示すように、音声対話システム５は、主に、車両用音声対話装置１及びサーバ２を有する。車両用音声対話装置１は、１つの例では、スマートフォンなどの携帯型端末装置であり、他の例では、車両に搭載された、通信機能を有する車載ＰＣ（ナビゲーション機能などを有していてもよい）である。更に他の例では、携帯型端末装置と車載ＰＣとが協調制御を行う場合には、これらの携帯型端末装置及び車載ＰＣが車両用音声対話装置１に相当する。サーバ２は、大量のデータ処理能力及び大量のデータ容量を有する大型計算機であり、車両用音声対話装置１と通信可能に構成され、車両用音声対話装置１との間で種々の情報の送受信を行う。なお、以下では、車両用音声対話装置のことを単に「音声対話装置」と呼ぶこともある。

ここで、本実施形態において、車両用音声対話装置１とサーバ２との間で行われる基本的な処理の概要を説明する。本実施形態では、車両用音声対話装置１は、ドライバから発せられた質問に対応する音声データをサーバ２に送信し、サーバ２は、受信した音声データから、種々の情報が記憶されたデータベースを参照して、音声認識や構文分析を行い、ドライバからの質問に対する回答に対応するデータ（例えば音声データ）を生成する。そして、サーバ２は、生成した回答に対応するデータを車両用音声対話装置１に送信し、車両用音声対話装置１は、受信した回答に対応するデータを音声として出力する。

［車両用音声対話装置の構成］
次に、図２は、本発明の実施形態による車両用音声対話装置の機能的構成を示すブロック図である。図２に示すように、車両用音声対話装置１は、主に、音声入力部１１と、音声出力部１２と、運転状態取得部１３と、生体情報取得部１４と、走行状況取得部１５と、制御部１６と、通信部１７と、記憶部１８と、を有する。

音声入力部１１は、音声が入力されるマイクに相当する。典型的には、音声入力部１１には、ドライバからの質問に対応する音声が入力される。音声出力部１２は、音声を出力するスピーカである。典型的には、音声出力部１２は、ドライバと対話するための音声を出力する。

運転状態取得部１３は、車両のＣＡＮ（Controller Area Network）を介して、車両に設けられた各種センサによって検出されたドライバの運転状態を取得する。例えば、運転状態取得部１３は、アクセル開度センサによって検出されたドライバのアクセル操作や、操舵角センサによって検出されたドライバのステアリング操作などを、ドライバの運転状態として取得する。

生体情報取得部１４は、車両に設けられた、ドライバの生体情報を検出可能なセンサによって検出された生体情報を取得する。例えば、生体情報取得部１４は、ステアリングに設けられた発汗計によって検出されたドライバの手の発汗度合いや、運転席に内蔵された心拍センサによって検出されたドライバの心拍数や、車両内に設置されたカメラによって撮影されたドライバの瞳孔径などを、生体情報として取得する。

走行状況取得部１５は、車両の周囲の交通や車両の現在の挙動などを示す走行状況を取得する。例えば、走行状況取得部１５は、車両が走行している道路種別（高速道路や一般道路）や、車両の現在位置が交差点付近であるか否かや、車両が交差点で停止しているか否かや、車両が交差点を右折又は左折しているか否かなどを、走行状況として取得する。この場合、走行状況取得部１５は、ナビゲーション装置や車両のＣＡＮなどかの情報に基づき、このような走行状況を得る。なお、車両用音声対話装置１がナビゲーション装置としての機能（ＧＰＳ受信機などから取得した現在位置に基づき、記憶している地図データを用いて、目的地までのルート案内を行う機能）を有する場合には、走行状況取得部１５は、車両用音声対話装置１に内蔵されたナビゲーション装置に相当する構成部から、上記したような走行状況を取得すればよい。

通信部１７は、アンテナなどを備えており、上記したサーバ２（図１参照）と通信可能に構成され、サーバ２との間で種々の情報の送受信を行う。なお、車両用音声対話装置１は、サーバ２と通信する通信部１７以外にも、ＶＩＣＳ（登録商標）センタと通信する通信部を別途設けて、ＶＩＣＳ情報を受信してもよい。

制御部１６は、車両用音声対話装置１全体を制御するＣＰＵ（Central Processing Unit）などを備えて構成されている。まず、制御部１６の基本機能について簡単に説明する。制御部１６は、音声入力部１１に入力された、ドライバからの質問に対応する音声データを、通信部１７を介してサーバ２に送信し、サーバ２によって生成された、ドライバからの質問に対する回答に対応するデータを、通信部１７を介してサーバ２から受信し、この受信したデータを音声として音声出力部１２から出力させる。また、制御部１６は、音声入力部１１に入力されたドライバの音声データに基づいて、ドライバの感情を推定する。例えば、制御部１６は、声のトーン（声調）や、声の音域や、声の大きさや、ドライバからの質問に含まれるワードなどを分析することで、ドライバの感情（喜怒哀楽）を推定する。この場合、種々の音声感情認識アルゴリズムを適用することができる。また、制御部１６は、比較的簡単な音声認識処理も行う。具体的には、制御部１６は、音声認識処理によって、ドライバからの質問に所定のキーワードが含まれているか否かを判断する。この所定のキーワードには、天候（晴れ、曇り、雨）や、交通（渋滞など）や、時間などに関わる基本キーワード、及び、ニュースで使用される固有名詞（スポーツチーム名や有名人の名前など）などの、ドライバの嗜好に関わる嗜好キーワードが含まれる。

更に、制御部１６は、本実施形態に係る処理を行う機能的構成要素として、許容待ち時間推定部１６ａと、回答遅延時間推定部１６ｂと、間つなぎ処理部１６ｃとを有する。

制御部１６の許容待ち時間推定部１６ａは、ドライバからの質問に対する回答の待ち時間としてドライバが許容できる時間（許容待ち時間）を推定する。つまり、上述したように、ドライバからの質問に対する回答はサーバ２によって生成されるため、ドライバは質問を発してからその回答が車両用音声対話装置１から返されるまで待つ必要があるので、許容待ち時間推定部１６ａは、ドライバが許容できる待ち時間として許容待ち時間を推定する。この場合、許容待ち時間推定部１６ａは、ドライバの状態に基づいて、許容待ち時間を推定する。具体的には、許容待ち時間推定部１６ａは、ドライバからの質問に含まれるワード（上記のように音声認識により得られたワード）、運転状態取得部１３によって取得された運転状態、生体情報取得部１４によって取得された生体情報、及び走行状況取得部１５によって取得された走行状況のうちの少なくともいずれか１以上を、ドライバの状態として用いて、許容待ち時間を推定する。

制御部１６の回答遅延時間推定部１６ｂは、ドライバからの質問に対応する音声が音声入力部１１に入力されてから、この質問に対する回答に対応する音声を音声出力手段１２から出力させるまでの時間（回答遅延時間）を推定する。この回答遅延時間は、車両用音声対話装置１とサーバ５との通信に要する時間と、サーバ５において質問に対する回答を生成するのに要する時間とを加えた時間に概ね相当するため、回答遅延時間推定部１６ｂは、車両用音声対話装置１とサーバ５との通信状態（電波強度など）、及びドライバからの質問に含まれるワードに基づいて、回答遅延時間を推定する。

制御部１６の間つなぎ処理部１６ｃは、回答遅延時間推定部１６ｂによって推定された回答遅延時間が、許容待ち時間推定部１６ａによって推定された許容待ち時間よりも長い場合に、ドライバからの質問に対する回答に対応する音声を音声出力部１２から出力させるまでの「間（ま）」をつなぐために、ドライバに対して返答する処理（間つなぎ処理）を行う。この場合、間つなぎ処理部１６ｃは、ドライバからの質問に対する直接的な回答ではない、質問に応じた返答内容を、音声として音声出力部１２から出力させる。具体的には、間つなぎ処理部１６ｃは、回答遅延時間の許容待ち時間に対する超過度合いに応じて、返答内容を切り替える。

他方で、記憶部１８は、不揮発性半導体メモリや磁気記憶媒体や光学式記憶媒体などの記憶媒体によって構成され、制御部１６による制御・処理に必要な種々の情報を記憶している。典型的には、記憶部１８は、上記した基本キーワード及び嗜好キーワードを記憶したデータベースを有している。

なお、車両用音声対話装置１は、上述した構成要素以外にも、画像を表示する表示部や、ドライバからの操作入力を受け付ける操作部などを有していてもよい。

［処理フロー］
次に、図３を参照して、本発明の実施形態において、車両用音声対話装置１内の制御部１６が行う基本的な処理の流れについて説明する。図３は、本発明の実施形態による間つなぎ処理に係る全体処理の流れを示すフローチャートである。

まず、ステップＳ１１では、制御部１６は、音声入力部１１に入力された音声、具体的にはドライバから発せられた質問に対応する音声（音声データ）を取得する。この際に、制御部１６は、取得した音声データを、通信部１７を介してサーバ２に送信すると共に、音声データに基づいて、ドライバの感情（喜怒哀楽）を推定する。加えて、制御部１６は、ドライバからの質問に対応する音声データに対して、比較的簡単な音声認識処理も行う。この場合、制御部１６は、音声認識処理によって、ドライバからの質問に、記憶部１８に記憶された基本キーワード又は嗜好キーワードが含まれているか否かを判断する。

次いで、ステップＳ１２では、制御部１６の許容待ち時間推定部１６ａは、ドライバの状態に基づいて、許容待ち時間を推定する。具体的には、許容待ち時間推定部１６ａは、ドライバからの質問に含まれるワード（上記のように音声認識により得られたワード）、運転状態取得部１３によって取得された運転状態、生体情報取得部１４によって取得された生体情報、及び走行状況取得部１５によって取得された走行状況のうちの少なくともいずれか１以上を、ドライバの状態として用いて、許容待ち時間を推定する。

１つの例では、許容待ち時間推定部１６ａは、ドライバからの質問に基本キーワード又は嗜好キーワードが含まれている場合には、そのキーワードに応じた、比較的短い許容待ち時間を適用する。例えば、許容待ち時間推定部１６ａは、ドライバからの質問に「渋滞」などの基本キーワードが含まれている場合には、かなり短い許容待ち時間を適用する。こうするのは、この場合には、ドライバが運転上の情報を欲していると判断できるからである、もしくはドライバが苛ついていると判断できるからである。また、許容待ち時間推定部１６ａは、ドライバからの質問にスポーツチーム名などの嗜好キーワードが含まれている場合には、比較的短い許容待ち時間を適用する。この場合には、ドライバが車両用音声対話装置１と対話したいと考えていると判断でき、ドライバとの対話をテンポよく行うべきだからである。

他の例では、許容待ち時間推定部１６ａは、運転状態取得部１３によって取得された運転状態が、ドライバのアクセル操作やステアリング操作が頻繁に行われていることを示している場合、ドライバが苛ついていると判断して、かなり短い許容待ち時間を適用する。逆に、許容待ち時間推定部１６ａは、運転状態取得部１３によって取得された運転状態が、ドライバのアクセル操作やステアリング操作が緩やかに行われていることを示している場合には、ドライバの感情が穏やかであると判断して、比較的長い許容待ち時間を適用する。

更に他の例では、許容待ち時間推定部１６ａは、生体情報取得部１４によって取得されたドライバの発汗度合いや心拍数や瞳孔径が、ドライバが興奮状態にあることや緊張状態にあることを示している場合、かなり短い許容待ち時間を適用する。逆に、許容待ち時間推定部１６ａは、生体情報取得部１４によって取得されたドライバの発汗度合いや心拍数や瞳孔径が、ドライバの精神状態が安定していることを示している場合、比較的長い許容待ち時間を適用する。

更に他の例では、許容待ち時間推定部１６ａは、走行状況取得部１５によって取得された走行状況が、交通環境や運転操作が複雑な状況（都市部の交差点での右左折中など）を示している場合、運転操作が終わるタイミグまで回答が遅延しても問題ないと判断して（むしろ運転操作中に回答すべきでないと判断して）、比較的長い許容待ち時間を適用する。また、許容待ち時間推定部１６ａは、走行状況取得部１５によって取得された走行状況が、交差点で車両が停止している状況（信号待ちなど）を示している場合、ドライバは車両の停止中に回答を求めていると判断して、比較的短い許容待ち時間を適用する。また、許容待ち時間推定部１６ａは、走行状況取得部１５によって取得された走行状況が、車両が高速道道路などで巡航走行を行っている状況を示している場合、車速に応じた危険度に比例させて短くした許容待ち時間を適用する。

次いで、ステップＳ１３では、制御部１６の回答遅延時間推定部１６ｂは、車両用音声対話装置１とサーバ５との通信状態（電波強度など）、及びドライバからの質問に含まれるワードに基づいて、回答遅延時間を推定する。具体的には、回答遅延時間推定部１６ｂは、車両用音声対話装置１とサーバ５との通信状態が悪い場合には、その度合いに応じて長くした回答遅延時間を適用する。また、回答遅延時間推定部１６ｂは、ドライバからの質問に基本キーワードが含まれている場合には、その基本キーワードを含む質問に対する過去の実際の回答遅延時間（種々の基本キーワードを含む複数の質問に対する過去の回答遅延時間の履歴が、データベースとして記憶部１８に記憶されている）に基づいて、今回の回答遅延時間を推定する。他方で、回答遅延時間推定部１６ｂは、ドライバからの質問に基本キーワードが含まれていない場合には、予め定めた一定の時間（例えば５秒）を回答遅延時間に適用する。この場合には、回答遅延時間を推定することが困難だからである。
なお、車両用音声対話装置１とサーバ５との通信に要する時間は微々たるものであるので、車両用音声対話装置１とサーバ５との通信状態を考慮せずに、ドライバからの質問に含まれるワードのみに基づいて、回答遅延時間を推定してもよい。つまり、サーバ５において質問に対する回答を生成するのに要する時間のみに基づいて、回答遅延時間を推定してもよい。

次いで、ステップＳ１４では、制御部１６の間つなぎ処理部１６ｃは、ステップＳ１３で推定された回答遅延時間が、ステップＳ１２で推定された許容待ち時間よりも長いか否かを判定する。その結果、回答遅延時間が許容待ち時間よりも短いと判定された場合（ステップＳ１４：Ｎｏ）、処理は終了する。この場合には、間つなぎ処理部１６ｃは、質問に対する回答が車両用音声対話装置１から発せられるまでの間、ドライバが十分に待っていられるものと判断して、つまり質問に対する回答が発せられるまでの間（ま）はドライバにほとんどストレスを与えないと判断して、間つなぎ処理を行わない。

他方で、回答遅延時間が許容待ち時間よりも長いと判定された場合（ステップＳ１４：Ｙｅｓ）、間つなぎ処理部１６ｃは、質問に対する回答が車両用音声対話装置１から発せられるまでの間、ドライバが待っていられないと判断する、つまり質問に対する回答が発せられるまでの間（ま）がドライバにストレスを与えるものと判断する。この場合、ステップＳ１５に進み、間つなぎ処理部１６ｃは、間つなぎ処理を行う。つまり、間つなぎ処理部１６ｃは、ドライバからの質問に対する回答に対応する音声を音声出力部１２から出力させるまでの間（ま）をつなぐために、ドライバからの質問に対する直接的な回答ではない、質問に応じた返答内容を、音声として音声出力部１２から出力させる。例えば、間つなぎ処理部１６ｃは、以下の（ａ）〜（ｇ）のいずれかの返答内容を用いる。
（ａ）回答の遅延を詫びるような返答
（ｂ）質問から話題をそらさない、質問に関係する返答
（ｃ）質問に含まれるキーワードを所定の定型文に挿入した文章を用いた返答
（ｄ）状況の履歴を参照して、話題に関しての過去の事例を述べる返答
（ｅ）質問に含まれるワードを用いて、おうむ返しにする返答
（ｆ）質問に直接関係のない返答をして、間違ったことを詫びる返答
（ｇ）特に意味の無い返答

１つの例では、間つなぎ処理部１６ｃは、回答遅延時間の許容待ち時間に対する超過度合いに応じて、返答内容を切り替える。具体的には、回答遅延時間の許容待ち時間に対する超過度合いが大きいほど、ドライバに与えるストレスが大きくなるものと考え、間つなぎ処理部１６ｃは、この超過度合いが大きいほど、ドライバにストレスを与えないように気遣った返答を適用する。例えば、間つなぎ処理部１６ｃは、回答遅延時間の許容待ち時間に対する超過度合いが第１所定時間以上である場合には、（ａ）又は（ｂ）の返答を適用し、回答遅延時間の許容待ち時間に対する超過度合いが第１所定時間未満で第２所定時間以上である場合には（第２所定時間＜第１所定時間）、（ｃ）又は（ｄ）の返答を適用し、回答遅延時間の許容待ち時間に対する超過度合いが第２所定時間未満である場合には、（ｅ）、（ｆ）及び（ｇ）のいずれかの返答を適用する。

他の例では、間つなぎ処理部１６ｃは、ドライバからの質問に含まれるワードや、運転状態取得部１３によって取得された運転状態から、ドライバが苛ついている判断される場合や、生体情報取得部１４によって取得された生体情報から、ドライバが興奮状態にあることや緊張状態にあると判断される場合には、（ａ）又は（ｂ）の返答を適用する。他方で、間つなぎ処理部１６ｃは、運転状態取得部１３によって取得された運転状態から、ドライバの感情が穏やかであると判断される場合や、生体情報取得部１４によって取得された生体情報から、ドライバの精神状態が安定していると判断される場合には、（ａ）及び（ｂ）以外の返答を適用する。

［対話例］
次に、図４乃至図６を参照して、上述した図３のフローを実行した場合の対話例について説明する。

図４は、本発明の実施形態による対話例１を示す図である。対話例１では、まず、ドライバが「この先の渋滞はどこまで続いている？」という質問を発する。この際に、車両用音声対話装置１内の制御部１６は、音声入力部１１に入力された質問に対応する音声データを、通信部１７を介してサーバ２に送信すると共に、この音声データに対して音声認識処理を行って、質問に基本キーワード又は嗜好キーワードが含まれているか否かを判断する。この場合、制御部１６は、ドライバからの質問に「渋滞」という基本キーワードが含まれていると判断する。

そして、制御部１６の許容待ち時間推定部１６ａは、ドライバからの質問に「渋滞」という基本キーワードが含まれているため、ドライバが運転上の情報を欲していると判断すると共に、ドライバが苛ついていると判断して、かなり短い許容待ち時間を適用する。この場合、許容待ち時間推定部１６ａは、走行状況取得部１５によって取得された走行状況（ナビゲーション装置が用いている情報やＶＩＣＳ情報などに基づいたもの）から、車両が渋滞に巻き込まれていることを判断したり、運転状態取得部１３によって取得された運転状態や生体情報取得部１４によって取得された生体情報から、ドライバが苛ついていることを判断したりして、これらの判断結果を許容待ち時間の推定に用いてもよい。

次に、制御部１６の回答遅延時間推定部１６ｂは、ドライバからの質問に「渋滞」という基本キーワードが含まれているため、記憶部１８に記憶された回答遅延時間のデータベースを参照して、「渋滞」という基本キーワードを含む質問に対する過去の回答遅延時間に基づいて、今回の回答遅延時間を推定する。次に、制御部１７の間つなぎ処理部１６ｃは、回答遅延時間が許容待ち時間よりも長いか否かを判定する。この場合には、許容待ち時間がかなり短いので、間つなぎ処理部１６ｃは、回答遅延時間が許容待ち時間よりも長いと判定する。そして、間つなぎ処理部１６ｃは、回答遅延時間の許容待ち時間に対する超過度合いが大きいため、具体的には回答遅延時間の許容待ち時間に対する超過度合いが第１所定時間以上であるため、質問から話題をそらさない、質問に関係する返答（上述した（ｂ））を音声出力部１２から出力させる。具体的には、間つなぎ処理部１６ｃは、「ＶＩＣＳ情報を調べています。少々お待ち下さい。」という返答の音声を音声出力部１２から出力させる。

この後、制御部１６は、サーバ２によって生成された上記質問に対する回答に対応するデータを、通信部１７を介してサーバ２から受信し、この受信したデータを音声として音声出力部１２から出力させる。具体的には、制御部１６は、「Ａ交差点まで３ｋｍの渋滞です。」という回答の音声を音声出力部１２から出力させる。

次いで、図５は、本発明の実施形態による対話例２を示す図である。対話例２では、まず、ドライバが「今日の満潮は何時？」という質問を発する。この際に、車両用音声対話装置１内の制御部１６は、音声入力部１１に入力された質問に対応する音声データを、通信部１７を介してサーバ２に送信すると共に、この音声データに対して音声認識処理を行って、質問に基本キーワード又は嗜好キーワードが含まれているか否かを判断する。この場合、制御部１６は、ドライバからの質問に基本キーワードも嗜好キーワードも含まれていないと判断する。

そして、制御部１６の許容待ち時間推定部１６ａは、ドライバからの質問に基本キーワードも嗜好キーワードも含まれていないので、ドライバからの質問に含まれるワード以外の情報に基づいて、許容待ち時間を推定する。この場合、許容待ち時間推定部１６ａは、ドライバのアクセル操作やブレーキ操作が頻繁に行われていることを示す、運転状態取得部１３によって取得された運転状態と、現在ルート案内中であり、このルート案内の目的地が海に設定されていることを示す、走行状況取得部１５によって取得された走行状況とに基づいて、ドライバが運転上の情報以外の情報を求めていると判断して、比較的短い許容待ち時間を適用する。

次に、制御部１６の回答遅延時間推定部１６ｂは、ドライバからの質問に基本キーワードが含まれていないため、回答遅延時間を推定することが困難であるので、予め定めた比較的長めの時間（例えば５秒）を回答遅延時間に適用する。次に、制御部１７の間つなぎ処理部１６ｃは、回答遅延時間が許容待ち時間よりも長いか否かを判定する。この場合には、回答遅延時間が比較的長く、許容待ち時間が比較的短いので、間つなぎ処理部１６ｃは、回答遅延時間が許容待ち時間よりも長いと判定する。そして、間つなぎ処理部１６ｃは、回答遅延時間の許容待ち時間に対する超過度合いが第１所定時間未満で第２所定時間以上であるため、質問に含まれるワードを用いて、おうむ返しにする返答（上述した（ｅ））を音声出力部１２から出力させる。具体的には、間つなぎ処理部１６ｃは、ドライバからの質問に含まれる「今日」というワードを用いて、「今日のですね？」という返答の音声を音声出力部１２から出力させる。

そして、制御部１６は、サーバ２によって生成された上記質問に対する回答に対応するデータを、通信部１７を介してサーバ２から受信し、この受信したデータを音声として音声出力部１２から出力させる。具体的には、制御部１６は、「今日の満潮は午後２時です。」という回答の音声を音声出力部１２から出力させる。

この後、更に、ドライバが「大潮なの？」という質問を発する。この際に、車両用音声対話装置１内の制御部１６は、音声入力部１１に入力された質問に対応する音声データを、通信部１７を介してサーバ２に送信すると共に、この音声データに対して音声認識処理を行って、質問に基本キーワード又は嗜好キーワードが含まれているか否かを判断する。この場合、制御部１６は、ドライバからの質問に基本キーワードも嗜好キーワードも含まれていないと判断する。

そして、制御部１６の許容待ち時間推定部１６ａは、ドライバからの質問に基本キーワードも嗜好キーワードも含まれていないので、ドライバからの質問に含まれるワード以外の情報に基づいて、許容待ち時間を推定する。この場合にも、許容待ち時間推定部１６ａは、上記と同様にして、ドライバのアクセル操作やブレーキ操作が頻繁に行われていることを示す、運転状態取得部１３によって取得された運転状態と、現在ルート案内中であり、このルート案内の目的地が海に設定されていることを示す、走行状況取得部１５によって取得された走行状況とに基づいて、ドライバが運転上の情報以外の情報を求めていると判断して、比較的短い許容待ち時間を適用する。

次に、制御部１６の回答遅延時間推定部１６ｂは、ドライバからの質問に基本キーワードが含まれていないため、回答遅延時間を推定することが困難であるので、予め定めた比較的長めの時間（例えば５秒）を回答遅延時間に適用する。次に、制御部１７の間つなぎ処理部１６ｃは、回答遅延時間が許容待ち時間よりも長いか否かを判定する。この場合には、回答遅延時間が比較的長く、許容待ち時間が比較的短いので、間つなぎ処理部１６ｃは、回答遅延時間が許容待ち時間よりも長いと判定する。そして、間つなぎ処理部１６ｃは、回答遅延時間の許容待ち時間に対する超過度合いが第２所定時間未満であるため、特に意味の無い返答（上述した（ｇ））を音声出力部１２から出力させる。具体的には、間つなぎ処理部１６ｃは、「えーと…」という返答の音声を音声出力部１２から出力させる。

そして、制御部１６は、サーバ２によって生成された上記質問に対する回答に対応するデータを、通信部１７を介してサーバ２から受信し、この受信したデータを音声として音声出力部１２から出力させる。具体的には、制御部１６は、「半月ですので小潮です。」という回答の音声を音声出力部１２から出力させる。

このような対話例２から分かるように、質問に対する回答が得られるまでの間に間つなぎ処理を行うことによって、ドライバに与えるストレスを抑制して、ドライバとの対話により、ドライバから多くの発話を引き出すことができる。

次いで、図６は、本発明の実施形態による対話例３を示す図である。対話例３では、まず、ドライバが「今日チームＡは勝っている？」という質問を発する。この際に、車両用音声対話装置１内の制御部１６は、音声入力部１１に入力された質問に対応する音声データを、通信部１７を介してサーバ２に送信すると共に、この音声データに対して音声認識処理を行って、質問に基本キーワード又は嗜好キーワードが含まれているか否かを判断する。この場合、制御部１６は、ドライバからの質問に基本キーワードは含まれていないが、「チームＡ」という嗜好キーワード（例えば野球などのスポーツのチーム名）が含まれていると判断する。

そして、制御部１６の許容待ち時間推定部１６ａは、ドライバからの質問に「チームＡ」という嗜好キーワードが含まれているため、ドライバが車両用音声対話装置１と対話したいと考えていると判断し、ドライバとの対話をテンポよく行うべく、比較的短い許容待ち時間を適用する。

次に、制御部１６の回答遅延時間推定部１６ｂは、ドライバからの質問に基本キーワードが含まれていないため、回答遅延時間を推定することが困難であるので、予め定めた比較的長めの時間（例えば５秒）を回答遅延時間に適用する。次に、制御部１７の間つなぎ処理部１６ｃは、回答遅延時間が許容待ち時間よりも長いか否かを判定する。この場合には、回答遅延時間が比較的長く、許容待ち時間が比較的短いので、間つなぎ処理部１６ｃは、回答遅延時間が許容待ち時間よりも長いと判定する。そして、間つなぎ処理部１６ｃは、回答遅延時間の許容待ち時間に対する超過度合いが第１所定時間未満で第２所定時間以上であるため、質問に含まれるキーワードを所定の定型文に挿入した文章を用いた返答（上述した（ｃ））を音声出力部１２から出力させる。具体的には、間つなぎ処理部１６ｃは、ドライバからの質問に含まれる「チームＡ」というワードと、「最近人気がありますよね？」という定型文とを用いて、「チームＡは最近人気がありますよね？」という返答の音声を音声出力部１２から出力させる。このような間つなぎ処理による返答の結果、ドライバは「そうだね。」と返答する。

そして、制御部１６は、サーバ２によって生成された上記質問に対する回答に対応するデータを、通信部１７を介してサーバ２から受信し、この受信したデータを音声として音声出力部１２から出力させる。具体的には、制御部１６は、「チームＡはチームＢに４対３で勝っています。」という回答の音声を音声出力部１２から出力させる。

この後、更に、ドライバが「選手Ｃは出場した？」という質問を発する。この際に、車両用音声対話装置１内の制御部１６は、音声入力部１１に入力された質問に対応する音声データを、通信部１７を介してサーバ２に送信すると共に、この音声データに対して音声認識処理を行って、質問に基本キーワード又は嗜好キーワードが含まれているか否かを判断する。この場合、制御部１６は、ドライバからの質問に基本キーワードは含まれていないが、「選手Ｃ」という嗜好キーワード（例えば野球などの選手名）が含まれていると判断する。

そして、制御部１６の許容待ち時間推定部１６ａは、ドライバからの質問に「選手Ｃ」という嗜好キーワードが含まれているため、ドライバが車両用音声対話装置１と対話したいと考えていると判断し、ドライバとの対話をテンポよく行うべく、比較的短い許容待ち時間を適用する。

次に、制御部１６の回答遅延時間推定部１６ｂは、ドライバからの質問に基本キーワードが含まれていないため、回答遅延時間を推定することが困難であるので、予め定めた比較的長めの時間（例えば５秒）を回答遅延時間に適用する。次に、制御部１７の間つなぎ処理部１６ｃは、回答遅延時間が許容待ち時間よりも長いか否かを判定する。この場合には、回答遅延時間が比較的長く、許容待ち時間が比較的短いので、間つなぎ処理部１６ｃは、回答遅延時間が許容待ち時間よりも長いと判定する。そして、間つなぎ処理部１６ｃは、回答遅延時間の許容待ち時間に対する超過度合いが第１所定時間未満で第２所定時間以上であるため、質問に含まれるキーワードを所定の定型文に挿入した文章を用いた返答（上述した（ｃ））を音声出力部１２から出力させる。具体的には、間つなぎ処理部１６ｃは、ドライバからの質問に含まれる「選手Ｃ」というワードと、「どうですかね？」という定型文とを用いて、「選手Ｃはどうですかね？」という返答の音声を音声出力部１２から出力させる。

そして、制御部１６は、サーバ２によって生成された上記質問に対する回答に対応するデータを、通信部１７を介してサーバ２から受信し、この受信したデータを音声として音声出力部１２から出力させる。具体的には、制御部１６は、「選手Ｃは出場していないようです。」という回答の音声を音声出力部１２から出力させる。このような回答に対して、ドライバは「そうなんだ。」と返答する。

このような対話例３から分かるように、質問に対する回答が得られるまでの間に間つなぎ処理を行うことによって、ドライバに与えるストレスを抑制して、ドライバとテンポよく対話して、ドライバから多くの発話を引き出すことができる。

［作用効果］
次に、本発明の実施形態による車両用音声対話装置の作用効果について説明する。

本実施形態によれば、質問に対する回答が得られるまでの回答遅延時間が、ドライバが許容できる許容待ち時間よりも長い場合に、回答が得られるまでの間をつなぐためにドライバに対して返答する間つなぎ処理を行うので、ドライバに与えるストレスを抑制して、ドライバとの対話により、ドライバから多くの発話を引き出すことができる。よって、ドライバの音声に基づいて感情を適切に推定することができる。

また、本実施形態によれば、回答遅延時間の許容待ち時間に対する超過度合いに応じて、間つなぎ処理による返答内容を切り替えるので、超過度合いが大きい場合に適切な返答内容を採用することで、この場合にドライバに与えるストレスを適切に抑制することができる。

また、本実施形態によれば、ドライバからの質問に含まれるワード、運転状態、生体情報、及び走行状況のうちの少なくともいずれか１以上を、ドライバの状態として用いて、許容待ち時間を推定するので、適切な許容待ち時間を適用することができる。加えて、本実施形態によれば、ドライバからの質問に含まれるワードに基づいて、回答遅延時間を推定するので、適切な回答遅延時間を適用することができる。

１ 車両用音声対話装置
２ サーバ
５ 音声対話システム
１１ 音声入力部
１２ 音声出力部
１３ 運転状態取得部
１４ 生体情報取得部
１５ 走行状況取得部
１６ 制御部
１７ 通信部
１８ 記憶部
１６ａ 許容待ち時間推定部
１６ｂ 回答遅延時間推定部
１６ｃ 間つなぎ処理部

Claims (5)

1. 車両のドライバと対話して、ドライバの音声に基づいて感情を推定する車両用音声対話装置であって、
   ドライバからの質問に対応する音声が入力される音声入力手段と、
   上記音声入力手段に入力された、ドライバからの質問に対応する音声のデータを所定のサーバに送信すると共に、上記質問に対する回答に対応するデータを上記サーバから受信する通信手段と、
   上記通信手段が受信した上記質問に対する回答に対応するデータを音声として出力する音声出力手段と、
   上記音声入力手段に入力された、ドライバからの質問に含まれるワードに基づいて、上記質問に対する回答の待ち時間としてドライバが許容できる許容待ち時間を推定する許容待ち時間推定手段と、
   ドライバからの質問に対応する音声が上記音声入力手段に入力されてから、上記質問に対する回答に対応する音声を上記音声出力手段から出力させるまでの回答遅延時間が、上記許容待ち時間手段が推定した許容待ち時間よりも長い場合に、上記質問に対する回答に対応する音声を上記音声出力手段から出力させるまでの間をつなぐためにドライバに対して返答すべく、その返答内容に応じた音声を上記音声出力手段から出力させる間つなぎ処理手段と、
   を有することを特徴とする車両用音声対話装置。
2. 上記間つなぎ処理手段は、上記回答遅延時間の上記許容待ち時間に対する超過度合いに応じて、上記返答内容を切り替える、請求項１に記載の車両用音声対話装置。
3. 上記ドライバからの質問に含まれるワードに基づいて、上記回答遅延時間を推定する回答遅延時間推定手段を更に有し、
   上記間つなぎ処理手段は、上記回答遅延時間推定手段が推定した上記回答遅延時間を用いる、請求項１又は２に記載の車両用音声対話装置。
4. 上記許容待ち時間推定手段は、上記ドライバからの質問に含まれるワードに加えて、車両に設けられたセンサによって検出されたドライバの運転状態、及び／又は、車両に設けられたセンサによって検出されたドライバの生体情報に基づいて、上記許容待ち時間を推定する、請求項１乃至３のいずれか一項に記載の車両用音声対話装置。
5. 上記許容待ち時間推定手段は、上記ドライバからの質問に含まれるワードに加えて、車両の走行状況に基づいて、上記許容待ち時間を推定する、請求項１乃至４のいずれか一項に記載の車両用音声対話装置。

Images