JP2020064144A

JP2020064144A - 対話装置

Info

Publication number: JP2020064144A
Application number: JP2018195048A
Authority: JP
Inventors: 大介廣木; Daisuke Hiroki
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2018-10-16
Filing date: 2018-10-16
Publication date: 2020-04-23

Abstract

【課題】運転への集中が必要な場合にドライバーの集中を乱すことを抑制できる対話装置を提供する。【解決手段】運転者の現在及び将来の運転負荷を推定する運転負荷推定部と、運転負荷推定部によって推定された運転負荷に基づいて、運転者への対話内容を生成する対話制御部と、対話制御部によって生成された対話内容を発話する発話部とを備え、運転負荷推定部によって、現在の運転負荷が所定の閾値以上に高い、または、将来の運転負荷が増加すると推定される場合、対話制御部は、運転者からの回答を要求する対話内容を生成しない、対話装置。【選択図】図１

Description

本発明は、車両に搭載され、ドライバーとの対話を行う対話装置に関する。

特許文献１には、乗員とのコミュニケーションを行うエージェント像を車内の画像表示装置に表示する車両用エージェント装置が記載されている。特許文献１に記載の車両用エージェント装置では、ドライバー席及びパッセンジャー席の乗員の顔の向きまたは視線、乗員の音声認識結果、車両の走行状態に応じて、表示するエージェント像の振る舞いを決定している。

特開２００６−１８９３９４号公報

ドライバーとの対話を行う対話装置を車両に搭載した場合、対話装置が運転中のドライバーに対して複雑な内容の文言を発話すると、ドライバーが対話に気を取られてしまい、運転への集中を乱す虞がある。

それ故に、本発明は、運転負荷が高い場合にドライバーの集中を乱すことを抑制できる対話装置を提供することを目的とする。

本発明に係る対話装置は、運転者の現在及び将来の運転負荷を推定する運転負荷推定部と、運転負荷推定部によって推定された運転負荷に基づいて、運転者への対話内容を生成する対話制御部と、対話制御部によって生成された対話内容を発話する発話部とを備え、運転負荷推定部によって、現在の運転負荷が所定の閾値以上に高い、または、将来の運転負荷が増加すると推定される場合、対話制御部は、運転者からの回答を要求する対話内容を生成しない。

本発明によれば、運転負荷が高い場合にドライバーの集中を乱すことを抑制できる対話装置を提供することが可能となる。

実施形態に係る対話装置の機能ブロック図図１に示す対話装置が実行する制御処理を示すフローチャート図２の結合子Ａに続く部分のフローチャート

（実施形態）
実施形態に係る対話装置は、ドライバーの現在の運転負荷が高いと推定される場合、または、ドライバーの将来の運転負荷が増加すると推定される場合、ドライバーからの回答を要求する対話内容を発話しないようにする。これにより、運転負荷が高い場合に、対話装置との対話でドライバーの集中を乱してしまうことを抑制できる。

［構成］
図１は、実施形態に係る対話装置の機能ブロック図である。

対話装置１は、乗員状態収集部１１と、車両状態収集部１２と、運転負荷推定部１３と、対話制御部１４と、音声合成部１５と、音声出力部１６と、表示画像生成部１７と、画像出力部１８とを備える。尚、音声合成部１５及び音声出力部１６は、ドライバーに対する発話を行う発話部２０を構成する。

乗員状態収集部１１は、ドライバーの運転姿勢や顔の向き、ドライバーの生体信号、乗車している乗員の数、大人・子供・幼児等の年齢区分等の乗員の状態を表す情報を収集する。ドライバーの生体情報としては、例えば、心拍数や血圧、体温等を利用できる。乗員状態収集部１１は、カメラで撮影した乗員の画像や各種センサの出力値である乗員モニタリングデータや、他の車載機器やセンサから車載ネットワーク（ＣＡＮ）に送出されたＣＡＮデータに基づいて、上述した乗員の状態を表す情報を収集する。

車両状態収集部１２は、車速や舵角、エアコン設定温度等の車両の状態を表す情報と、車外の天候や照度、車両の周辺にある物標等に関する車両の外部の状態を表す情報とを収集する。車両状態収集部１２は、カメラやレーダ、各種センサ等から出力される運転支援センサデータや、他の車載機器やセンサから車載ネットワーク（ＣＡＮ）に送出されたＣＡＮデータに基づいて、上述した車両の状態を表す情報を収集する。

運転負荷推定部１３は、乗員状態収集部１１が収集した情報と、車両状態収集部１２が収集した情報とに基づいて、ドライバーの現在の運転負荷及び将来の運転負荷を推定する。ここで、運転負荷は、運転操作のためにドライバーにかかっている負荷の大きさを表し、運転負荷が大きい（高い）ほど、ドライバーが運転操作に集中する必要があり、運転負荷が小さいほど、運転操作以外のことができる余裕度が高くなる。運転負荷は、例えば、車外が暗い、天候が悪い、車両の周辺に歩行者や停止車両等が多い、カーブを走行中である、乗員の数が多い、幼児や子供が乗車している等の場合に高くなり得る。また、予測時点でドライバーの運転負荷が大きくなくても、近い将来（例えば、数秒〜数分後）、車両の周辺の歩行者や停止車両の数が増える、走行経路上に連続してカーブが存在する、走行経路上に道路工事等による通行規制区間がある等の要因がある場合には、運転負荷推定部１３は、将来的にドライバーの運転負荷が増加すると推定することができる。また、ドライバーの運転負荷を増加させる要因が将来的に解消される場合は、運転負荷推定部１３は、ドライバーの将来の運転負荷が減少すると推定できる。

対話制御部１４は、運転負荷推定部１３によって推定された、ドライバーの現在の運転負荷及び将来の運転負荷に基づいて、発話部２０による発話の可否を決定したり、発話部２０に発話させる文言を生成したりする。詳細は後述するが、運転負荷推定部１３によりドライバーの将来の運転負荷が減少すると推定される場合は、対話制御部１４は、ドライバーの回答を要求するような複雑な文言を生成することもできるが、運転負荷推定部１３によりドライバーの将来の運転負荷が増加すると推定される場合は、対話制御部１４は、ドライバーの回答を要求する文言の生成を制限して、ドライバーの回答を要求しない単純な文言を生成する。また、対話制御部１４は、運転負荷推定部１３によりドライバーの現在の運転負荷が所定の閾値以上に大きいと推定された場合、対話装置１からドライバーへの対話の必要性や、ドライバーまたは対話装置１の発話状態等に応じて、対話装置１からドライバーへの発話を制限する。また、対話制御部１４は、上述した文言の生成制御に加え、対話装置１からドライバーへの発話の開始タイミング及び終了タイミングの制御や、ドライバーが発話しているか否かの判定、対話装置１が発話中であるか否かの判定等、対話装置１全体の動作を制御する。

音声合成部１５は、対話制御部１４によって生成された文言に対応する音声合成データを生成し、対話制御部１４によって決定された発話の開始タイミングで生成した音声合成データを再生して、音声出力部１６に音声を出力させる。尚、音声出力部１６は、例えば、アンプとスピーカーを含む。

表示画像生成部１７は、発話部２０による発話と同時にドライバーに提示する画像を生成し、生成した画像を車載ディスプレイ等の画像出力部１８に表示させる。表示画像生成部１７は、例えば、発話部２０が発話した文言（対話制御部１４が生成した文言）やドライバーが発話した文言を文字列として画像出力部１８に表示させることができるが、表示画像生成部１７が画像表示部１８に表示させる画像は、特に限定されない。

［制御処理］
以下、図１〜３を併せて参照しながら、本実施形態に係る対話装置の制御処理の一例を説明する。

図２は、図１に示す対話装置１が実行する制御処理を示すフローチャートであり、図３は、図２の結合子Ａに続く部分のフローチャートである。図２の制御処理は、対話装置１が起動されることによって開始され、対話装置１の動作が停止されるまで繰り返し実行される。

ステップ１００：対話制御部１４は、対話イベントが発生したか否かを判定する。対話制御部１４は、ドライバーによる発話を検出した場合、または、対話装置１による発話（乗員に各種情報を通知するための音声通知）の必要性が発生した場合、対話イベントが発生したと判定する。ステップ１００の判定がＮＯの場合、処理はステップ１０１に進み、ステップ１００の判定がＹＥＳの場合、処理はステップ２００に進む。

ステップ１０１：対話制御部１４は、対話イベントが発生するまで所定時間待機した後、ステップ１００に進む。

ステップ２００：運転負荷推定部１３は、乗員状態収集部１１が収集した情報と、車両状態収集部１２が収集した情報とに基づいて、ドライバーの現在の運転負荷及び将来の運転負荷を推定する。運転負荷推定部１３は、乗員状態収集部１１及び車両状態収集部１２が収集した各種情報をスコア化し、適宜重み付け等を行うことにより、ドライバーの現在の運転負荷及び将来の運転負荷を表す推定値を算出する。その後、処理はステップ３００に進む。

ステップ３００：運転負荷推定部１３は、ドライバーの現在の運転負荷の推定値が所定の閾値以上であるか否かを判定する。ステップ３００の判定がＮＯの場合、処理はステップ４００に進み、ステップ３００の判定がＹＥＳの場合、図３のステップ７００に進む。

ステップ４００：運転負荷推定部１３は、ドライバーの現在の運転負荷及び将来の運転負荷の推定値を比較し、将来の運転負荷が増加傾向にあるか否かを判定する。このステップにおいて、将来の運転負荷の推定値が所定の閾値以上か否かを併せて判定し、将来の運転負荷が高いか否かを推定することが好ましい。ステップ４００の判定がＮＯの場合、処理はステップ５００に進み、ステップ４００の判定がＹＥＳの場合、処理はステップ６００に進む。

ステップ５００：対話制御部１４は、発話者が対話装置１及びドライバーのいずれであるかを判定する。尚、ドライバーが発話しているか否かは、車内に設けられたマイクにより集音された音声を解析することにより判定することができ、対話装置１が発話しているか否かは、音声合成部１５が音声出力部１６に音声を出力させているか否かによって判定することができる。ステップ５００の判定が対話装置１である場合、処理はステップ５０１に進み、ステップ５００の判定がドライバーである場合、処理はステップ５０２に進む。

ステップ５０１：発話者が対話装置１である場合、対話制御部１４は、発話部２０に発話させる文言を制限することなく、ドライバーに対して通知すべき文言を生成して発話部２０に発話させる。対話装置１とドライバーとの対話が終了すると、処理はステップ１００に進む。

ステップ５０２：発話者がドライバーである場合、対話制御部１４は、ドライバーの発話に応答して、発話部２０に発話させる文言を適宜生成して発話部２０に発話させる。これにより、対話装置１は、ドライバーの発話に応じて相槌を打ったり、ドライバーの発話終了に応じてドライバーに話しかけたりすることができる。対話装置１とドライバーとの対話が終了すると、処理はステップ１００に進む。

ステップ６００：対話制御部１４は、対話装置１とドライバーとの間で対話中であるか否かを判定する。ステップ６００の判定がＮＯの場合、処理はステップ６０１に進み、ステップ６００の判定がＹＥＳの場合、処理はステップ６０２に進む。

ステップ６０１：対話装置１とドライバーとの間で対話中でない場合、対話制御部１４は、ドライバーに対して質問する文言の生成を行わないよう制限することにより、発話部による質問を含む通知を抑止し、ドライバーの発話を待ち受ける。ドライバーから発話があった場合、対話制御部１４は、質問を含む文言以外の簡単な文言を発話部２０に発話させても良い。ドライバーに対して対話装置１とドライバーとの対話が終了すると、処理はステップ１００に進む。

ステップ６０２：対話装置１とドライバーとの間で対話中である場合、対話制御部１４は、ドライバーに対して質問する文言とドライバーに対して選択肢を投げかける文言の生成を行わないよう制限することにより、発話部２０による質問と選択肢の提示を抑止する。ドライバーから発話があった場合、対話制御部１４は、質問または選択肢を含む文言以外の簡単な文言を発話部２０に発話させても良い。対話装置１とドライバーとの対話が終了すると、その後、処理はステップ１００に進む。

ステップ７００：対話制御部１４は、対話装置１からドライバーに通知を行うための通知イベントが発生したか否かを判定する。対話装置１からドライバーへ情報を通知するための通知イベントとは、ドライバーに各種情報を通知する契機となる事象であり、例えば、メールの受信や電話の着信、走行経路上における渋滞の発生等が挙げられるが、これらに限定されない。ステップ７００の判定がＮＯの場合、処理は図２のステップ６０１に進み、ステップ７００の判定がＹＥＳの場合、処理はステップ８００に進む。

ステップ８００：対話制御部１４は、ドライバーが発話中であるか否かを判定する。ステップ８００の判定がＮＯの場合、処理はステップ９００に進み、ステップ８００の判定がＹＥＳの場合、処理はステップ８０１に進む。

ステップ８０１：ドライバーが発話中である場合、対話制御部１４は、ドライバーの発話に対して応答する文言の生成しないよう制限することにより、発話部２０による応答を抑止する。ドライバーの発話が終了すると、その後、処理は図２のステップ１００に進む。

ステップ９００：ドライバーが発話中でない場合、対話制御部１４は、対話装置１が発話中であるか否かを判定する。ステップ９００の判定がＮＯの場合、処理はステップ９０１に進み、ステップ９００の判定がＹＥＳの場合、処理はステップ９０２に進む。

ステップ９０１：ドライバー及び対話装置１のいずれもが発話していない場合、対話制御部１４は、発話する文言を生成しないよう制限することにより、発話部２０による自然言語の発話を抑止する。この場合、対話装置１は、画像出力部１８における画像表示やブザーによる報知音の出力、インジケータランプの点灯等による通知を行っても良い。その後、処理は図２のステップ１００に進む。

ステップ９０２：対話装置１が発話中である場合、対話制御部１４は、ドライバーとの対話を一旦終了する旨の文言を生成して発話部２０に発話させた後、発話する文言生成しないよう制限することにより発話部２０による発話を中止する。これにより、ドライバーが引き続き発話をしないように促すことができる。その後、処理は図２のステップ１００に進む。

［効果等］
本実施形態に係る対話装置１では、ドライバーの現在及び将来の運転負荷を推定し、推定した現在の運転負荷が所定の閾値以上に高いか、あるいは、推定した将来の運転負荷が増加傾向にある場合には、質問や選択肢を含む文言の発話を行わないよう制御する。したがって、ドライバーの運転負荷が高い、または、運転負荷が増加すると推定される場面において、ドライバーに回答を要求する文言の発話を行わないことにより、対話装置１との対話でドライバーの集中を乱すことを抑制できる。したがって、本実施形態によれば、運転負荷が高い場合にドライバーの集中を乱すことを抑制できる対話装置１を実現できる。

（参考例）
上記の実施形態では、ドライバーが対話装置１と対話する場合について説明したが、ドライバーが通信装置を介してオペレータと対話する場合も、オペレータはドライバーの運転負荷を把握できないことにより、オペレータとの対話により運転に対するドライバーの集中を乱してしまうことが考えられる。そこで、図１に示した運転負荷推定部１３によって推定された、ドライバーの現在の運転負荷及び将来の運転負荷を車外のサーバーを介してオペレータの端末装置に通知しても良い。この場合、オペレータは、端末装置に表示されたドライバーの現在の運転負荷や将来の運転負荷に基づいて、ドライバーに対する発話の速度や内容を調整することが可能となる。オペレータの応対が変化することについてドライバーが違和感を抱かないよう、ドライバーの運転負荷量をコクピットのモニタ等に表示し、ドライバーが自身の運転負荷量を把握できるようにしても良い。ドライバーの運転負荷量は、時系列のグラフとして表示しても良い。

本発明は、ドライバーとの対話やドライバーに対する通知を行う対話装置として利用できる。

１対話装置
１３運転負荷推定部
１４対話制御部
１５音声合成部
１６音声出力部
２０発話部

Claims

運転者の現在及び将来の運転負荷を推定する運転負荷推定部と、
前記運転負荷推定部によって推定された運転負荷に基づいて、運転者への対話内容を生成する対話制御部と、
前記対話制御部によって生成された対話内容を発話する発話部とを備え、
前記運転負荷推定部によって、現在の運転負荷が所定の閾値以上に高い、または、将来の運転負荷が増加すると推定される場合、前記対話制御部は、前記運転者からの回答を要求する対話内容を生成しない、対話装置。