JP2019164519A

JP2019164519A - 表示制御装置および表示制御方法

Info

Publication number: JP2019164519A
Application number: JP2018051538A
Authority: JP
Inventors: 智景久保; Chikage Kubo; 卓司山田; Takuji Yamada
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2018-03-19
Filing date: 2018-03-19
Publication date: 2019-09-26
Anticipated expiration: 2038-03-19
Also published as: JP7095337B2; CN110281857A; US10664951B2; US20190287214A1; CN110281857B

Abstract

【課題】運転者に情報を効果的に提供しつつ、その情報を認識させやすくする技術を提供する。【解決手段】車載のディスプレイ１６に画像を表示させる表示制御装置において、制御部は、ディスプレイ１６にキャラクタ３２を表示させる。位置情報取得部は、車両の位置情報を取得する。導出部は、運転者の属性情報および車両の位置情報をもとに運転者に提供する提供情報を導出する。制御部は、導出された提供情報を出力し、提供情報に応じた車両周辺の対象物３４にキャラクタ３２の視線を向けるように表示させる。【選択図】図１

Description

本発明は、車両に設けられたディスプレイの画像表示を制御する表示制御装置および表示制御方法に関する。

特許文献１には、現在位置検出部と、乗員の視線を検出する視線検出部と、三次元動作により任意の方向に視線を提示するキャラクターデバイスと、地物データを出力するスピーカおよびモニタと、制御部とを備える情報提供装置が開示されている。この制御部は、現在位置の周辺にある地物が検索された場合にキャラクターデバイスの視線を乗員の方に向け、乗員とキャラクターデバイスとのアイコンタクトを検出する。アイコンタクトを検出した場合に、キャラクターデバイスの視線を地物の方向に向け、視線検出部での検出結果に基づいて乗員がキャラクターデバイスの見ている方向を見る共同注視を行ったか否かを判定する。共同注視が検出された場合、情報提供装置は地物のデータを出力し、共同注視が検出されない場合、情報提供装置は地物のデータを出力しない。

特開２０１０−１２７７７９号公報

特許文献１には、キャラクターデバイスの動きに釣られて運転者が視線を動かしたときに、運転者の視線上にある地物のデータを出力する技術が開示されているが、運転者の興味とは無関係に地物のデータを出力するために、運転者が興味を持つ地物であるか不明である。

本発明の目的は、運転者に情報を効果的に提供しつつ、その情報を認識させやすくする技術を提供することにある。

上記課題を解決するために、本発明のある態様の表示制御装置は、車載のディスプレイに画像を表示させる表示制御装置であって、ディスプレイにキャラクタを表示させる制御部と、車両の位置情報を取得する位置情報取得部と、運転者の属性情報および車両の位置情報をもとに車両周辺の対象物の提供情報を導出する導出部と、を備える。制御部は、導出された提供情報を出力させ、導出された提供情報に示す車両周辺の対象物にキャラクタの視線を向けるように表示させる。

この態様によると、運転者の属性情報にもとづいて車両周辺にある対象物の情報を提供して、運転者が興味を持つと推定される情報を効果的に提供でき、その対象物にキャラクタの視線を向けるため、その対象物を認識させやすくできる。

乗員の発話を取得する発話取得部を備えてもよい。制御部は、発話した乗員の位置に向かってキャラクタの視線を向けるように表示させてもよい。

制御部は、導出された提供情報に示す対象物にキャラクタの視線を向けているときに、制御部に対してセッション開始を要求する発話が取得された場合、キャラクタの視線を乗員の位置へ向けるように表示させてもよい。

制御部は、発話した乗員の位置に向かってキャラクタの視線を向けているときに、提供情報に示す対象物が車両周辺にある場合でも、所定の解除条件を満たさなければ、キャラクタの視線を維持してもよい。

本発明の別の態様は、表示制御方法である。この方法は、車載のディスプレイに画像を表示させる表示制御方法であって、車両の位置情報を取得する取得ステップと、車両の位置情報および運転者の属性情報をもとに車両周辺の対象物の提供情報を導出する導出ステップと、導出された提供情報を出力させる出力ステップと、導出された提供情報に示す対象物に対してキャラクタの視線を向けるようにディスプレイに表示させる表示制御ステップと、含む。

本発明によれば、運転者に情報を効果的に提供しつつ、その情報を認識させやすくする技術を提供できる。

実施例の表示制御システムについて説明するための図である。表示制御システムの機能構成について説明するための図である。キャラクタの視線について説明するための図である。

図１は、実施例の表示制御システムについて説明するための図である。表示制御システムは、車両に設けられたディスプレイ１６に表示されるキャラクタ３２を動かすように制御する。キャラクタ３２は、目を有しており、目に含まれる瞳３２ａの位置および形状によって、キャラクタ３２の視線を示す。図１に示すキャラクタ３２は、目だけで構成されるが、目を有する人や動物であってよい。

表示制御システム１は、車両に乗車する乗員に対象物３４を案内するときに、音声での情報提供に加えて、キャラクタ３２の視線で対象物３４の位置を示す。これにより、乗員が車両周辺にある対象物３４を把握しやすくなる。

キャラクタ３２は、エージェントプログラムの実行によりディスプレイ１６にアニメーションで表示される。エージェントプログラムは、乗員と情報のやりとりをし、情報を音声および／または画像で提供し、走行中には走行に関する情報を提供して運転者の運転を支援する。キャラクタ３２は、所定の機能を表示する画像に重畳して表示されてよく、例えば、目的地案内機能として表示する地図に重畳して表示されてよい。

対象物３４は、例えば、運転者の嗜好に合う施設であったり、ナビゲーション装置に設定された目的地であったり、車両走行の障害となり得る障害物であってよい。車両走行中に乗員に対象物３４の情報を提供することで、興趣をわかせたり、運転を支援したりできる。

図２は、表示制御システム１の機能構成について説明するための図である。図２において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

表示制御システム１は、表示制御装置１０、車両用センサ１２、マイク１４、ディスプレイ１６およびスピーカ１８を備える。表示制御装置１０は、検出部２０、発話取得部２２、位置情報取得部２４、保持部２６、導出部２８および制御部３０を備える。

車両用センサ１２は、車両周辺の対象物を検知し、検知結果を検出部２０に送る。車両用センサ１２は、音波を出力してその反射波により対象物を検知する音波センサ、ミリ波を出力してその反射波により対象物を検知するミリ波センサ、および車両周辺を撮像して撮像画像を取得するイメージセンサのいずれか、またはそれらの組み合わせであってよい。車両用センサ１２の検知結果により、表示制御装置１０は対象物の距離および方向を示す情報を取得できる。車両用センサ１２により検知される対象物は、人、車両、ガードレール、壁など走行の障害となり得る物体を含む。

マイク１４は、車内音を検知するように設けられ、乗員の発話を含む音を電気信号に変換して、その信号を表示制御装置１０に送る。マイク１４は、車両の異なる位置に複数設けられる。表示制御装置１０はマイク１４で検知した音情報から乗員の発話を取得できる。複数のマイク１４を設けることで、それら検知結果の音量の差によって、発話した乗員の位置を特定できる。複数のマイク１４は、例えば車両の前後左右に４箇所設けられる。

ディスプレイ１６は、表示制御装置１０により制御され、エージェントのキャラクタをアニメーションで表示する。ディスプレイ１６は、運転席と助手席の間に位置してダッシュボードまたはセンターコンソールに設けられ、運転席および助手席より前方に位置する。ディスプレイ１６は、運転者の前方のフロントガラスに画像を投影することにより虚像である表示画像を実景に重畳して表示するヘッドアップディスプレイであってもよい。ヘッドアップディスプレイを用いることで、運転者は、車両の走行中に視線をほとんど動かすことなく虚像の情報を得ることができる。スピーカ１８は、制御部３０に制御されてエージェントの音声情報を出力する。

表示制御装置１０の検出部２０は、車両用センサ１２の検知結果を受け取って、車両周辺の対象物を検出し、自車両に対する対象物の位置を検出する。

発話取得部２２は、マイク１４により検知した音情報から乗員の発話を取得する。発話取得部２２は、複数のマイク１４で検知した音情報の音量の差によって、乗員の位置を特定する。

位置情報取得部２４は、ＧＰＳ（Global Positioning System）を用いて車両の位置情報を取得し、例えばナビゲーション装置から車両の位置情報を取得する。

保持部２６は、運転者の属性情報を保持する。運転者の属性情報には、運転者の性別、年代、嗜好情報などが含まれる。運転者の嗜好情報は、飲食物の嗜好情報、カメラや自動車などの物品の嗜好情報を含む。運転者の嗜好情報は、発話取得部２２により取得した運転者の発話によって生成されてよく、車両の位置情報および地図情報をもとに特定した運転者の移動履歴によって生成されてよい。

保持部２６は、飲食店や観光施設など対象物の地図情報を保持する。地図情報には、対象物の位置情報と、対象物の属性情報と、対象物の案内情報が含まれる。

導出部２８は、検出部２０の検出結果をもとに車両周辺の対象物の存在を運転者に知らせる提供情報を導出する。例えば、検出部２０が追い越し車両を検出した場合や、車両の進行方向に飛び出す対象物を検出した場合に、導出部２８は、対象物の存在を運転者に知らせる提供情報を導出する。導出部２８は、「前方に注意してください」などの注意を促す提供情報を導出し、対象物の位置情報と提供情報を制御部３０に送る。

また、導出部２８は、発話取得部２２により取得した乗員の発話に応答する提供情報を導出し、コミュニケーションを実現する。導出部２８は、運転者の発話に応答するために、ネットワークを介してサーバ装置から提供情報を取得してもよい。導出部２８は、乗員に応答する提供情報と、発話した乗員の位置情報を制御部３０に送る。

また、導出部２８は、車両の位置情報をもとに運転者に提供する提供情報を導出する。例えば、導出部２８は、車両周辺に位置する施設を案内する提供情報とその施設の位置情報を導出する。導出部２８は、「Ａ施設が右側前方にあります」という提供情報を導出し、その提供情報と「Ａ施設」の位置情報を制御部３０に送る。

また、導出部２８は、車両の位置情報と運転者の属性情報をもとに、車両周辺の対象物に関する運転者に提供する提供情報および、その対象物の位置情報を導出する。例えば、導出部２８は、運転者の属性情報を参照して、運転者の嗜好に合う車両周辺の施設を見つけた場合に、その施設を案内する提供情報を導出する。導出部２８は、導出した対象物の位置情報と提供情報を制御部３０に送る。これにより、運転者が興味を持つと推定される情報を効果的に提供できる。

制御部３０は、キャラクタ３２の画像を生成し、ディスプレイ１６にキャラクタ３２を表示させる。制御部３０は、導出部２８の導出結果にもとづいてキャラクタ３２の視線を定める。

制御部３０は、導出部２８から対象物の位置情報とその対象物に関する提供情報とを受け取って、提供情報を画像および／または音声で出力させるとともに、その対象物に対してキャラクタ３２の視線を向けるように表示させる。これにより、乗員が対象物の位置を把握しやすくできる。

また、制御部３０は、導出部２８から乗員に応答する提供情報と、その乗員の車内の位置情報を受け取って、乗員の位置にキャラクタ３２の視線を向けるように表示させる。これにより、エージェントプログラムが発話している乗員に応対していることを示す。例えば、制御部３０は、予め登録されたトリガ語句を発話した乗員に対して、キャラクタ３２の視線を向かわせる画像を表示させ、その乗員とのセッションが終了するまで、キャラクタ３２の視線を乗員に向かって維持する。トリガ語句は、制御部３０のエージェントプログラムに対してセッション開始を要求するための言葉である。

図３は、キャラクタ３２の視線について説明するための図である。図３（ａ）には、キャラクタ３２のまぶたを閉じた状態、つまり、キャラクタ３２のエージェントプログラムが待機状態であることを示す画像である。

図３（ｂ）は、虹彩を含む瞳３２ａが右側に寄っている状態を示す。発話取得部２２が右座席の乗員が発話したトリガ語句を取得すると、制御部３０は、瞳３２ａを右側に寄せて視線を右座席の乗員に向かうようにキャラクタ３２を表示させる。これにより、右座席の乗員は、エージェントプログラムがアクティブ状態であり、自身に応対していることを認識できる。また、右座席の乗員が発話していないときに、瞳３２ａが右側に寄った場合、乗員は、提供情報に示す対象物が車両の右側に位置することを認識できる。例えば、車両の右側に位置する対象物の情報を提供する場合、その対象物の位置をキャラクタ３２の瞳３２ａでも示すことで、乗員に対象物を認識しやすくできる。

図３（ｃ）は、キャラクタ３２が一対の目で表示されており、車両の右前方にある対象物に視線を向けた状態を示す。キャラクタ３２の瞳３２ａは、車両の前方に視線を向ける場合、裏側に移動するように目の外縁に寄る。図３（ｂ）では、瞳３２ａの全体が表示されているのに対し、図３（ｃ）では、瞳３２ａの一部が表示され、他の部分が裏側に移動したように一部が欠けて表示される。制御部３０は、瞳３２ａを円形の目のなかで移動するように表示させることで、その動きを見た乗員に対象の方向を示すことができる。

制御部３０は、キャラクタ３２の視線を車内の乗員に向ける場合と、車外の対象物に向ける場合がある。制御部３０は、乗員に向ける視線と、車外の対象物に向ける視線では、基本的に乗員に向ける視線を優先させる。つまり、制御部３０は、発話した乗員の位置に向かってキャラクタ３２の視線を向けている場合に、車両の位置情報と運転者の属性情報をもとに導出される対象物が車両周辺にあっても、キャラクタ３２の視線を乗員に向けたまま維持させる。また、制御部３０は、車両の位置情報と運転者の属性情報をもとに導出される対象物に対してキャラクタ３２の視線を向けている場合に、乗員によるセッション開始を要求する発話を取得すると、その乗員にキャラクタ３２の視線を向けるように表示させる。これにより、発話した乗員がキャラクタ３２に無視されたと感じることや、エージェントプログラムの不具合であると考えるおそれを回避できる。

制御部３０は、発話した乗員の位置に向かってキャラクタ３２の視線を向けている場合に、所定の解除条件を満たした対象物の情報を受け取ると、キャラクタ３２の視線を乗員の位置から対象物へ向けるよう表示させる。所定の解除条件は、車両前方に対象物が飛び出している場合など、車両走行の障害となり得る対象物を検出した場合に満たされる。このように、走行に関する重要な提供情報が導出された場合は、運転者がキャラクタ３２と対話していても提供情報の提供を優先できる。

ディスプレイ１６としてヘッドアップディスプレイで表示されるキャラクタ３２の視線は、図１に示すように矢印や線などの図柄で実景に重畳して表示されてよい。これにより、キャラクタ３２の視線を認識させやすくできる。

制御部３０は、ディスプレイ１６に表示されるキャラクタ３２の視線を対象物に向けさせている際に、所定の停止条件を満たした場合に、キャラクタ３２の視線を向ける表示を停止する。制御部３０は、所定の停止条件を満たした場合に、キャラクタ３２を表示しないように制御してよく、キャラクタ３２を表示しつつも、キャラクタ３２の視線を待機状態に戻してもよい。なお、制御部３０は、キャラクタ３２の視線を対象物に向けさせる表示を停止しても、乗員との対話によるセッションを継続してよい。

所定の停止条件は、所定閾値以上の運転操作量が検出された場合、および／または所定閾値以上の運転操作量の変化量が検出された場合に満たされる。これにより、運転者がブレーキペダルやアクセルペダルを急に踏み込んだ場合や、急なハンドル操作をした場合に、制御部３０はキャラクタ３２の表示を停止して、運転に集中させることができる。

また、所定の停止条件は、車両用センサ１２の検出結果にもとづいて車両の走行に緊急を要する状況が生じている場合に満たされる。例えば、進行方向前方にある障害物との衝突の可能性が高まった場合や、車両が交通違反をしていることを検出した場合に、制御部３０はキャラクタ３２の表示を停止して、運転者に障害物の存在を知らせる情報を出力する。

また、所定の停止条件は、自動ブレーキ制御により制動されているときに満たされる。これにより、自動ブレーキをしているときに、制御部３０はキャラクタ３２の表示を停止して運転者に運転への注意を向けさせることができる。

このように、制御部３０は、車両用センサ１２の検出結果にもとづいて車両走行状態が閾値を超えて所定の停止条件を満たした場合に、キャラクタ３２の視線を対象物に向けさせる表示を停止する。これにより、運転者がディスプレイ１６を見ていた場合に、対象物に向けていたキャラクタ３２の視線が待機状態に戻る、またはキャラクタ３２が表示されなくなることで、運転者がディスプレイ１６を見ることを止めさせることができる。

車両走行状態が閾値を超えた状態から通常状態に戻った場合、制御部３０は、キャラクタ３２の視線を表示可能にする。このとき、制御部３０は、キャラクタ３２の視線を対象物に再び向けるように表示させてよく、キャラクタ３２の視線を対象物に向ける表示を再開しなくてもよい。

なお実施例はあくまでも例示であり、各構成要素の組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施例では、保持部２６が運転者の属性情報を保持する態様を示したが、この態様に限られない。運転者の属性情報は、表示制御装置１０にネットワークを介して接続するサーバ装置に保持されてよい。また、対象物の案内情報を含む地図情報もサーバ装置に保持されてよい。いずれにしても、運転者の属性情報および地図情報は表示制御装置１０に一時的に保持される。

１表示制御システム、１０表示制御装置、１２車両用センサ、１４マイク、１６ディスプレイ、１８スピーカ、２０検出部、２２発話取得部、２４位置情報取得部、２６保持部、２８導出部、３０制御部、３２キャラクタ、３２ａ瞳、３４対象物。

Claims

車載のディスプレイに画像を表示させる表示制御装置であって、
ディスプレイにキャラクタを表示させる制御部と、
車両の位置情報を取得する位置情報取得部と、
運転者の属性情報および車両の位置情報をもとに、車両周辺の対象物に関して運転者に提供する提供情報を導出する導出部と、を備え、
前記制御部は、導出された提供情報を出力させ、車両周辺の対象物にキャラクタの視線を向けるように表示させることを特徴とする表示制御装置。
乗員の発話を取得する発話取得部を備え、
前記制御部は、発話した乗員の位置に対してキャラクタの視線を向けるように表示させることを特徴とする請求項１に記載の表示制御装置。
前記制御部は、導出された提供情報に示す対象物に対してキャラクタの視線を向けているときに、前記制御部にセッション開始を要求する発話が取得された場合、キャラクタの視線を乗員の位置へ向けるように表示させることを特徴とする請求項２に記載の表示制御装置。
前記制御部は、発話した乗員の位置に対してキャラクタの視線を向けているときに、提供情報に示す対象物が車両周辺にある場合でも、所定の解除条件を満たさなければ、乗員に向けたキャラクタの視線を維持することを特徴とする請求項２または３に記載の表示制御装置。
車載のディスプレイに画像を表示させる表示制御方法であって、
車両の位置情報を取得する取得ステップと、
車両の位置情報および運転者の属性情報をもとに、車両周辺の対象物に関して運転者に提供する提供情報を導出する導出ステップと、
導出された提供情報を出力する出力ステップと、
導出された対象物に対してキャラクタの視線を向けるようにディスプレイに画像を表示させる表示制御ステップと、含むことを特徴とする表示制御方法。