JP2018045273A - 表示装置 - Google Patents

Abstract

【課題】車両に設けられ、外界認識部による外界認識の信頼度を視認したユーザが把握できるようにする表示装置を提供する。【解決手段】車両１０に設けられた表示装置６０は、情報取得部１２で取得した外界の情報に基づいて所定の対象物を認識する外界認識部４８を有し、外界認識部による認識の信頼度を判定部７０で判定するとともに、判定された信頼度に応じて表示態様を変化させた所定の画像を表示部６４に表示する表示制御部７２を備える。【選択図】図１

Description

本発明は、車両に設けられて、所定の画像を画面に表示する表示装置に関する。

現在の車両は、外界（外部）の情報をカメラやレーダ等で取得し、取得した情報に基づいて外界に存在する対象物（認識対象物）を認識装置（ＥＣＵ等）で認識する。そして、認識結果を車内の表示装置に表示し、及び／又は、車両の制御に利用する。ところで、認識装置による認識の信頼度（精度）は、外界の情報を取得する装置の違いや外界の情報を取得する状況等によりばらつくことがある。特許文献１、２には、認識装置による認識の信頼度に応じて車両を制御する技術が開示されている。

特開２０１３−１９１０７２号公報 特許第５６７３６９１号公報

特許文献１、２に記載される技術のユーザ（ドライバを含む）は、認識装置の信頼度がどのような状態であるかを把握できない。ユーザは、認識装置の信頼度に応じて車両の動作が変化したとしても、その変化の根拠が判らないため、違和感を覚える可能性がある。

本発明はこのような課題を考慮してなされたものであり、外界認識部による外界認識の信頼度をユーザが把握できるようにする表示装置を提供することを目的とする。

本発明は、車両に設けられる表示装置であって、外界の情報を取得する情報取得部と、前記情報に基づいて所定の対象物を認識する外界認識部と、前記外界認識部による認識の信頼度を判定する判定部と、所定の画像を表示する表示部と、前記画像の表示態様を前記信頼度に応じて変化させる表示制御部とを備えることを特徴とする。この発明では、表示制御部は、表示部に所定の画像を表示させる際に、外界認識部による認識の信頼度に応じて画像の表示態様を変化させる。この発明によれば、ユーザは、画像の表示態様を視認することで外界認識部による認識の信頼度を把握することができる。

前記画像が前記対象物の形態を表していてもよい。この発明によれば、ユーザは、認識の信頼度だけでなく認識されている対象物も把握することができる。

前記対象物は路面上のレーンマークであり、前記表示制御部は、前記信頼度に応じて前記画像の表示と非表示とを切り替えると共に前記画像の色又は線種を変化させてもよい。この発明によれば、ユーザはレーンマークに対する認識の信頼度を直感的に把握することができる。

前記情報取得部は、前記車両の前方を撮像して画像情報を取得するカメラを含み、前記外界認識部は、前記画像情報により前記レーンマークを認識できない場合に仮想レーンマークを生成し、前記表示制御部は、前記表示部に前記仮想レーンマークを表示させてもよい。この発明によれば、レーンマークが存在しない又は消失している道路であっても、表示部にレーンマークの画像を表示することができる。

道路毎に設定されるレーンノードの情報を記憶する記憶部を更に備え、前記外界認識部は、交差点の入口に設定される前記レーンノードと前記交差点の出口に設定される前記レーンノードとを線で結び、前記線の両側に、前記線に沿って前記仮想レーンマークを生成してもよい。この発明によれば、レーンマークが存在しない交差点であっても、表示部にレーンマークの画像を表示することができる。

前記対象物は路面上のレーンマークであり、前記情報取得部は、前記車両の前方を撮像して画像情報を取得するカメラを含み、前記外界認識部は、前記画像情報により前記レーンマークを認識できない場合に仮想レーンマークを生成し、前記表示制御部は、前記表示部に前記仮想レーンマークを表示させてもよい。この発明によれば、レーンマークが存在しない又は消失している道路であっても、表示部にレーンマークの画像を表示することができる。

道路毎に設定されるレーンノードの情報を記憶する記憶部を更に備え、前記外界認識部は、交差点の入口に設定される前記レーンノードと前記交差点の出口に設定される前記レーンノードとを線で結び、前記線の両側に、前記線に沿って前記仮想レーンマークを生成してもよい。この発明によれば、レーンマークが存在しない交差点であっても、表示部にレーンマークの画像を表示することができる。

前記対象物は道路に設置される信号機であり、前記表示制御部は、前記信頼度に応じて前記画像の表示と非表示とを切り替えると共に前記信号機の点灯画像と非点灯画像とを切り替えてもよい。この発明によれば、ユーザは信号機に対する認識の信頼度を直感的に把握することができる。

前記車両は自動運転車両であり、前記表示制御部は、前記自動運転車両のユーザに対する手動運転の要求が行われる前に、前記要求の予告画像を表示させてもよい。この発明によれば、車両からユーザへの運転権限の委譲が必要になる場面で、委譲を速やかに行うことができる。

本発明によれば、ユーザは、画像の表示態様を視認することで認識部による認識の信頼度を把握することができる。

図１は本発明に係る表示装置を搭載する車両のブロック図である。 図２は各画像を表示する画面の画面表示図である。 図３はレーンマーク画像の表示処理のフローチャートである。 図４Ａ〜図４Ｃは認識の信頼度に応じた表示態様でレーンマーク画像を表示する画面の画面表示図である。 図５は仮想レーンマーク生成処理のフローチャートである。 図６は仮想レーンマーク生成処理の説明に供する説明図である。 図７は信号機画像の表示処理のフローチャートである。 図８Ａ〜図８Ｅは認識の信頼度に応じた表示態様で信号機画像を表示する画面の画面表示図である。 図９は停止線画像の表示処理のフローチャートである。 図１０Ａ〜図１０Ｃは認識の信頼度に応じた表示態様で停止線画像を表示する画面の画面表示図である。 図１１は車両画像の表示処理のフローチャートである。 図１２Ａ〜図１２Ｃは車両状態に応じた表示態様で車両画像を表示する画面の画面表示図である。 図１３はＨ／Ｏのリクエスト画像及び予告画像の表示処理のフローチャートである。 図１４ＡはＨ／Ｏリクエストの予告画像を表示する画面の画面表示図であり、図１４ＢはＨ／Ｏのリクエスト画像を表示する画面の画面表示図である。 図１５Ａ〜図１５Ｆは第１例に係る画像遷移を示す画像遷移図である。 図１６Ａ〜図１６Ｆは第２例に係る画像遷移を示す画像遷移図である。

以下、本発明に係る表示装置について、好適な実施形態を挙げ、添付の図面を参照して詳細に説明する。

［１ 自動運転車両１０の構成］
図１で示すように、本実施形態に係る表示装置６０は、自動運転車両１０（以下「車両１０」ともいう。）に設けられる。車両１０は、自動運転を実行するための構成、すなわち外界情報取得装置１２と、車両センサ１４と、自動運転スイッチ１６と、操作検出センサ１８と、車両制御装置２０と、駆動力装置２２と、操舵装置２４と、制動装置２６を備える。

外界情報取得装置１２は、複数のカメラ２８と、複数のレーダ３０と、複数のＬＩＤＡＲ３２と、ナビゲーション装置３４と、通信装置３６を有する。カメラ２８は車両１０の周囲を撮像する。レーダ３０は車両１０の周囲に電磁波を照射すると共に電磁波照射に対する反射波を検出する。ＬＩＤＡＲ３２は車両１０の周囲にレーザを照射すると共にレーザ照射に対する散乱光を検出する。なお、カメラ２８により取得される画像情報とレーダ３０により取得される検出情報とを融合するフュージョンセンサを用いることも可能である。

ナビゲーション装置３４は、地図情報を記憶するナビ記憶部３４ａを有する。地図情報は、例えば、道路の形状情報、レーンノード情報、交差点の位置情報、信号機の有無情報、停止線の位置情報等を含む。レーンノード情報には、車線に沿って一定間隔で設定されるノードの位置情報を含む。ナビゲーション装置３４は、衛星測位装置や車両センサ１４等の検出情報を用いて車両１０の現在位置（走行位置）を測定し、その位置からユーザが指定した目的地までの走行経路を生成する。ナビゲーション装置３４は、ユーザインタフェースとして、操作スイッチ（タッチパネルを含む）、ディスプレイ及びスピーカを有し、生成された走行経路を表示すると共に、走行経路を音声案内する。

通信装置３６は、路側機、他車又はサーバ等に設けられる他の通信装置と通信が可能である。通信装置３６は、信号機等に係わる情報、他車に係わる情報、プローブ情報及び更新地図情報等を送受信する。

車両センサ１４は、車両の各種挙動を検出する複数のセンサを有する。例えば、車両１０の速度（車速）を検出する速度（車速）センサ、加減速度を検出する加速度センサ、横Ｇを検出する横Ｇセンサ、車両１０の垂直軸周りの角速度を検出するヨーレートセンサ、車両１０の向きを検出する方位センサ、車両１０の勾配を検出する勾配センサ等を有する。

自動運転スイッチ１６は、開始ＳＷ３８と停止ＳＷ４０を有する。開始ＳＷ３８は、ユーザの操作に応じて車両制御装置２０に対して開始信号を出力する。停止ＳＷ４０は、ユーザの操作に応じて車両制御装置２０に対して停止信号を出力する。

操作検出センサ１８は、各操作デバイス（アクセルペダル、ステアリングホイール、ブレーキペダル、シフトレバー、方向指示レバー等）の操作の有無、操作量、操作位置を検出する。操作検出センサ１８は、検出結果としてアクセル踏込（開度）量、ハンドル操作（操舵）量、操舵トルク、ブレーキ踏込量、シフト位置、右左折方向等を車両制御装置２０に対して出力する。

車両制御装置２０は、１又は複数のＥＣＵにより構成され、第１ＣＰＵ４４と第１記憶装置４６等を有する。本実施形態では、第１ＣＰＵ４４が第１記憶装置４６に記憶されているプログラムを実行することにより、後述する各機能実現部４８、５０、５２、５４、５６が実現される。なお、集積回路等からなるハードウエアにより各機能実現部４８、５０、５２、５４、５６を実現することもできる。

外界認識部４８は、主にカメラ２８により取得される画像情報に基づいてレーンマーク、停止線、路側の物体（ガードレールの支柱や縁石等）、信号機及び道路標識等の認識対象物を認識すると共にその位置を認識する。このとき、例えば画像処理が行われる。なお、レーンマークはＬＩＤＡＲ３２の検出結果からも認識可能である。また、外界認識部４８は、主にレーダ３０及びＬＩＤＡＲ３２により取得される検出情報に基づいて周辺車両、歩行者、障害物等の認識対象物を認識すると共に、認識対象物の位置、相対速度及び移動方向を認識する。更に、外界認識部４８は、画像情報に基づいてレーンマークを認識できない場合に、ナビゲーション装置３４の地図情報を利用して仮想レーンマークを生成する。仮想レーンマークの生成に関しては後述する（下記［５］参照）。

自車位置認識部５０は、ナビゲーション装置３４により測定される車両１０の位置情報に基づいて車両１０の現在位置と姿勢を認識する。これとは別に、ナビゲーション装置３４を用いずに、衛星測位装置や車両センサ１４等の検出情報を用いて車両１０の現在位置を測定し、車両１０の現在位置と姿勢を認識することも可能である。

軌道生成部５２は、ナビゲーション装置３４により生成された走行経路に沿って車両１０を走行させるために、外界認識部４８の認識結果と自車位置認識部５０の認識結果に基づいて車両１０の目標走行軌道と目標速度を生成する。直進の目標走行軌道を生成する際には、外界認識部４８で認識される両側のレーンマークの略中央を目標位置とする。

車両制御部５４は、駆動力装置２２と操舵装置２４と制動装置２６に対して制御指令を出力する。車両制御部５４は、自動運転の際に、軌道生成部５２で生成された目標走行軌道に沿って目標速度で車両１０を走行させるように制御指令を出力し、手動運転の際に、操作検出センサ１８の検出結果に基づいて制御指令を出力する。

自動運転制御部５６は、自動運転を統括制御する。自動運転制御部５６は、開始ＳＷ３８から出力される開始信号に応じて自動運転を開始させ、停止ＳＷ４０から出力される停止信号に応じて自動運転を停止させる。また、自動運転制御部５６は、自動運転中に操作検出センサ１８によりいずれかの操作デバイスの手動操作が検出された場合に、自動運転を停止させる。更に、自動運転制御部５６は、自動運転中に軌道生成部５２が目標走行軌道を設定できない場合、例えば、外界認識部４８でレーンマーク（仮想レーンマークを含む）を認識できない場合に、自動運転を停止させる。また、自動運転制御部５６は、車両１０が交差点を右左折する場合に、自動運転を一旦停止させる。そして、交差点通過後に所定条件が成立する場合に、自動運転を開始（再開）させる。

駆動力装置２２は、駆動力ＥＣＵと、エンジン及び／又は駆動モータ等の車両１０の駆動源を有する。駆動力装置２２は、車両制御部５４から出力される制御指令に従って車両１０が走行するための走行駆動力（トルク）を生成し、トランスミッションを介し、あるいは直接車輪に伝達する。

操舵装置２４は、ＥＰＳ（電動パワーステアリングシステム）ＥＣＵと、ＥＰＳ装置を有する。操舵装置２４は、車両制御部５４から出力される制御指令に従って車輪（操舵輪）の向きを変更する。

制動装置２６は、例えば、油圧式ブレーキを併用する電動サーボブレーキであって、ブレーキＥＣＵと、ブレーキアクチュエータを有する。制動装置２６は、車両制御部５４から出力される制御指令に従って車輪を制動する。

なお、車両１０の操舵は、左右車輪に対するトルク配分や制動力配分を変更することでも可能である。

［２ 表示装置６０の構成］
図１で示すように、表示装置６０は、上述した外界情報取得装置１２及び車両制御装置２０の外界認識部４８の他に、表示制御装置６２と、表示部６４を備える。

表示制御装置６２は、１又は複数のＥＣＵにより構成され、第２ＣＰＵ６６と第２記憶装置６８等を有する。本実施形態では、第２ＣＰＵ６６が第２記憶装置６８に記憶されているプログラムを実行することにより、後述する各機能実現部７０、７２が実現される。なお、集積回路等からなるハードウエアにより各機能実現部７０、７２を実現することもできる。

判定部７０は、車両制御装置２０の外界認識部４８による認識の信頼度を所定のアルゴリズムに従って判定する。認識の信頼度は、認識対象物（本実施形態ではレーンマーク、信号機、停止線）毎に判定される。信頼度を判定するためのアルゴリズムは任意である。例えば、認識対象物の情報を取得する装置毎に、その装置に対応した信頼度を設定してもよい。以下で、信頼度の判定についてレーンマークの認識を例にして説明する。

本実施形態では、カメラ２８の画像情報に基づいてレーンマークを認識できる場合にはその認識結果を用いて自動運転を行う。また、交差点等のようにレーンマークが無い場合には、ナビゲーション装置３４の地図情報に基づいて仮想レーンマークを生成し、その仮想レーンマークを用いて自動運転を行う。いずれの場合も外界認識部４８はレーンマークを認識できる。しかし、両者の精度を比較した場合、情報源がレーンマークの実物であるという点で、カメラ２８の画像情報に基づいて認識したレーンマークの精度の方が仮想レーンマークの精度よりも高いといえる。こうしたことから、本実施形態では、カメラ２８の画像情報に基づいて認識したレーンマークの信頼度を高いと判定し、仮想レーンマークの信頼度を中と判定するように、アルゴリズムを構築する。

また、他の例として、対象物の情報を取得している装置の数に応じて信頼度を判定してもよい。この場合、装置の数が多いほど、信頼度が高くなる。例えば、外界認識部４８は、主としてカメラ２８の画像情報に基づいてレーンマークを認識するが、ＬＩＤＡＲ３２の検出情報に基づいてレーンマークを認識することも可能である。また、ナビゲーション装置３４の地図情報により生成される仮想レーンマークを認識することも可能である。カメラ２８、ナビゲーション装置３４の地図情報、ＬＩＤＡＲ３２の全てでレーンマークを認識することができる場合に信頼度が最も高いとし、全てでレーンマークを認識することができない場合に信頼度が最も低いと判定することも可能である。

表示制御部７２は、表示部６４に対して所定の画像７６、７８、８０、８２（図２参照）の表示指令を出力する。表示制御部７２は、判定部７０の判定結果と車両制御装置２０から出力される各種情報に基づいて画像７６、７８、８０、８２の表示態様を決定する。特に、画像７６、７８、８０の表示態様を判定部７０で判定された信頼度に応じて変化させる。

表示部６４は、フロントウインドウやダッシュボード上に設けられるＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）や、メータに設けられるＭＩＤ（Ｍｕｌｔｉ Ｉｎｆｏｍａｔｉｏｎ Ｄｉｓｐｌａｙ）等である。表示部６４は画面７４を有する。

［３ 表示部６４の画面７４に表示される各種画像］
図２を用いて表示部６４の画面７４に表示される各画像について説明する。画面７４には、レーンマーク画像７６（以下「画像７６」ともいう。）と信号機画像７８（以下「画像７８」ともいう。）と停止線画像８０（以下「画像８０」ともいう。）と車両画像８２（以下「画像８２」ともいう。）が表示される。

レーンマーク画像７６は、レーンマークを表す象徴的な画像であり、車両制御装置２０の外界認識部４８が路面上のレーンマーク（仮想レーンマークを含む）を認識している場合に表示される。信号機画像７８は、信号機を表す象徴的な画像であり、車両制御装置２０の外界認識部４８が道路に設置される信号機を認識している場合に表示される。停止線画像８０は、停止線を表す象徴的な画像であり、車両制御装置２０の外界認識部４８が路面上の停止線を認識している場合に表示される。車両画像８２は、車両１０を表す象徴的な画像であり、開始ＳＷ３８が操作されて車両制御装置２０が自動運転の制御を実行している場合に表示される。レーンマーク画像７６、信号機画像７８、停止線画像８０は、外界に存在する認識対象物を表す画像であり、車両画像８２は、車両１０の状態を表す画像である。本実施形態では、表示制御部７２が、レーンマーク画像７６と信号機画像７８と停止線画像８０の表示形態を、外界認識部４８による認識の信頼度に応じて変化させる。以下の［４］〜［８］で、各画像７６、７８、８０、８２の表示処理について説明する。

［４ レーンマーク画像７６の表示処理］
図３で示すフローチャートを用いてレーンマーク画像７６の表示処理について説明する。以下で説明する処理では、カメラ２８の画像情報に基づいてレーンマークを認識できる場合に認識の信頼度が高いと判定する。また、カメラ２８の画像情報又はナビゲーション装置３４の地図情報に基づいて仮想レーンマークを生成できる場合に認識の信頼度が中であると判定する。また、カメラ２８の画像情報及びナビゲーション装置３４の地図情報を用いてもレーンマークを認識できない場合に認識の信頼度が低いと判定する。以下で説明する一連の処理は、表示装置６０により一定時間毎に実行される。

ステップＳ１において、カメラ２８は車両１０の前方を撮像し、画像情報を取得する。ステップＳ２において、ナビゲーション装置３４は車両１０の現在位置を測定し、現在位置周辺の地図情報を取得する。ステップＳ３において、外界認識部４８が画像情報に基づいて車線の両側のレーンマークを認識できるか否かが判定される。認識できる場合（ステップＳ３：ＹＥＳ）、処理はステップＳ４に移行する。一方、認識できない場合（ステップＳ３：ＮＯ）、処理はステップＳ５に移行する。なお、車線の片側のレーンマークのみを認識できる場合も、処理はステップＳ５に移行する。

ステップＳ３からステップＳ４に移行する場合、判定部７０は信頼度が高いと判定する。表示制御部７２は、判定部７０の判定結果を受けて、信頼度が高いことを示す態様でレーンマーク画像７６を表示する旨の表示指令を表示部６４に出力する。すると、表示部６４は、図４Ａで示すように、画面７４に実線のレーンマーク画像７６ａを表示する。実線は、信頼度が高いことを示す表示態様である。

ステップＳ３からステップＳ５に移行する場合、外界認識部４８により仮想レーンマーク生成処理が実行される。この処理については後述する（下記［５］参照）。ステップＳ６において、外界認識部４８が仮想レーンマークを生成できた場合（ステップＳ６：ＹＥＳ）、処理はステップＳ７に移行する。一方、外界認識部４８が仮想レーンマークを生成できない場合（ステップＳ６：ＮＯ）、処理はステップＳ８に移行する。

ステップＳ６からステップＳ７に移行する場合、判定部７０は信頼度が中と判定する。表示制御部７２は、判定部７０の判定結果を受けて、信頼度が中であることを示す態様でレーンマーク画像７６を表示する旨の表示指令を表示部６４に出力する。すると、表示部６４は、図４Ｂで示すように、画面７４に破線のレーンマーク画像７６ｂを表示する。破線は、信頼度が中であることを示す表示態様である。

ステップＳ６からステップＳ８に移行する場合、判定部７０は信頼度が低いと判定する。このとき、画像情報及び地図情報のいずれを利用しもレーンマークを認識できない。表示制御部７２は、判定部７０の判定結果を受けて、信頼度が低いことを示す態様でレーンマーク画像７６を表示する旨の表示指令を表示部６４に出力する。すると、表示部６４は、図４Ｃで示すように、レーンマーク画像７６を非表示する。非表示は、信頼度が低いことを示す表示態様である。

なお、上記実施形態では、信頼度に応じてレーンマーク画像７６の線種を変えているが、信頼度に応じてレーンマーク画像７６の色を変えることも可能である。また、他の方法（例えば、点灯、点滅、非点灯等。）で信頼度を表示することも可能である。

［５ 仮想レーンマーク生成処理］
図５で示すフローチャートを用いて図３のステップＳ５で行われる仮想レーンマーク生成処理について説明する。以下で説明する一連の処理は外界認識部４８により実行される。

ステップＳ１１において、車両１０が交差点に進入するか否かを判定する。交差点に進入するか否かの判定には、ナビゲーション装置３４により取得される車両１０の現在位置情報及び現在位置周辺の地図情報、又は、通信装置３６により取得される道路情報を使用する。いずれかの情報から、車両１０の前方の所定距離内に交差点があることが検出される場合に、車両１０が交差点に進入すると判定される。車両１０が交差点に進入する場合（ステップＳ１１：ＹＥＳ）、処理はステップＳ１２に移行する。一方、車両１０が交差点に進入しない場合（ステップＳ１１：ＮＯ）、処理はステップＳ１４に移行する。

ステップＳ１１からステップＳ１２に移行する場合、図６で示すように、地図情報に含まれるレーンノード情報に基づいて交差点の入口のレーンノード９０と出口のレーンノード９２、９４を線９６、９８で結ぶ。この際、ナビゲーション装置３４により交差点を直進する走行経路が設定されている場合、外界認識部４８は、入口のレーンノード９０と直進方向の出口のレーンノード９２とを直線補間した線９６で結ぶ。ナビゲーション装置３４により交差点を右左折する走行経路が設定されている場合、外界認識部４８は、入口のレーンノード９０と右左折方向（図６では左折方向）の出口のレーンノード９４とを曲線補間した線９８で結ぶ。

ステップＳ１３において、外界認識部４８は、線９６の両側に、線９６から一定距離離れた位置に仮想レーンマーク１００、１００を生成する。又は、線９８の両側に、線９８から一定距離離れた位置に仮想レーンマーク１０２、１０２を生成する。以上で仮想レーンマーク生成処理は終了する。

ステップＳ１１からステップＳ１４に移行する場合、外界認識部４８が画像情報に基づいて路側の物体、例えばガードレールの支柱や縁石等を認識できるか否かが判定される。認識できる場合（ステップＳ１４：ＹＥＳ）、処理はステップＳ１５に移行する。一方、認識できない場合（ステップＳ１４：ＮＯ）、仮想レーンマーク生成処理は終了する。

ステップＳ１４からステップＳ１５に移行する場合、物体のエッジから所定距離離れた位置に仮想レーンマークを生成する。以上で仮想レーンマーク生成処理は終了する。

［６ 信号機画像７８の表示処理］
図７で示すフローチャートを用いて信号機画像７８の表示処理について説明する。以下で説明する処理では、カメラ２８の画像情報に基づいて信号機を認識できる場合に認識の信頼度が高いと判定する。また、ナビゲーション装置３４の地図情報に基づいて信号機の存在を認識できる場合に認識の信頼度が中であると判定する。また、カメラ２８の画像情報及びナビゲーション装置３４の地図情報を用いても信号機を認識できない場合に認識の信頼度が低いと判定する。以下で説明する一連の処理は、表示装置６０により一定時間毎に実行される。

ステップＳ２１において、カメラ２８は車両１０の前方を撮像し、画像情報を取得する。ステップＳ２２において、ナビゲーション装置３４は車両１０の現在位置を測定し、現在位置周辺の地図情報を取得する。ステップＳ２３において、外界認識部４８が画像情報に基づいて信号機を認識できるか否かが判定される。認識できる場合（ステップＳ２３：ＹＥＳ）、処理はステップＳ２４に移行する。一方、認識できない場合（ステップＳ２３：ＮＯ）、処理はステップＳ２５に移行する。

ステップＳ２３からステップＳ２４に移行する場合、判定部７０は信頼度が高いと判定する。表示制御部７２は、判定部７０の判定結果を受けて、信頼度が高いことを示す表示態様で信号機画像７８を表示する旨の表示指令を表示部６４に出力する。すると、表示部６４は、図８Ａ〜図８Ｃで示すように、画面７４に信号機の点灯画像７８ａ〜７８ｃのいずれかを表示する。点灯画像７８ａ〜７８ｃはそれぞれ信号機の点灯箇所が相違する。外界認識部４８は、画像情報に基づいて信号機を認識する際に、信号機の点灯箇所を認識する。表示制御部７２は、その認識結果に応じて点灯画像７８ａ〜７８ｃのいずれかを表示部６４に表示させる。点灯画像７８ａ〜７８ｃは、信頼度が高いことを示す表示態様である。

点灯画像７８ａは、左側のランプ（進行許可）が点灯していることを示す。点灯画像７８ｂは、真中のランプ（注意）が点灯していることを示す。点灯画像７８ａは、右側のランプ（停止指示）が点灯していることを示す。

ステップＳ２３からステップＳ２５に移行する場合、地図情報から信号機の存在を認識可能か否かが判定される。地図情報が車両１０の前方の所定距離内に存在する信号機の情報を含む場合に、外界認識部４８は、信号機の存在を認識する。この場合（ステップＳ２５：ＹＥＳ）、処理はステップＳ２６に移行する。一方、地図情報が車両１０の前方の所定距離内に存在する信号機の情報を含まない場合に、外界認識部４８は、信号機の存在を認識しない。この場合（ステップＳ２５：ＮＯ）、処理はステップＳ２７に移行する。

ステップＳ２５からステップＳ２６に移行する場合、判定部７０は信頼度が中と判定する。表示制御部７２は、判定部７０の判定結果を受けて、信頼度が中であることを示す表示態様で信号機画像７８を表示する旨の表示指令を表示部６４に出力する。すると、表示部６４は、図８Ｄで示すように、画面７４に信号機の非点灯画像７８ｄを表示する。非点灯画像７８ｄは、信頼度が中であることを示す表示態様である。

ステップＳ２５からステップＳ２７に移行する場合、判定部７０は信頼度が低いと判定する。このとき、画像情報及び地図情報のいずれを利用しても信号機を認識できない。表示制御部７２は、判定部７０の判定結果を受けて、信頼度が低いことを示す態様で信号機画像７８を表示する旨の表示指令を表示部６４に出力する。すると、表示部６４は、図８Ｅで示すように、信号機画像７８を非表示する。非表示は、信頼度が低いことを示す表示態様である。

なお、通信装置３６を利用して信号機の情報を取得してもよい。

［７ 停止線画像８０の表示処理］
図９で示すフローチャートを用いて停止線画像８０の表示処理について説明する。以下で説明する処理では、カメラ２８の画像情報に基づいて停止線を認識できる場合に認識の信頼度が高いと判定する。また、ナビゲーション装置３４の地図情報に基づいて停止線の存在を認識できる場合に認識の信頼度が中であると判定する。また、カメラ２８の画像情報及びナビゲーション装置３４の地図情報を用いても停止線を認識できない場合に認識の信頼度が低いと判定する。以下で説明する一連の処理は、表示装置６０により一定時間毎に実行される。

ステップＳ３１において、カメラ２８は車両１０の前方を撮像し、画像情報を取得する。ステップＳ３２において、ナビゲーション装置３４は車両１０の現在位置を測定し、現在位置周辺の地図情報を取得する。ステップＳ３３において、外界認識部４８が画像情報に基づいて停止線を認識できるか否かが判定される。認識できる場合（ステップＳ３３：ＹＥＳ）、処理はステップＳ３４に移行する。一方、認識できない場合（ステップＳ３３：ＮＯ）、処理はステップＳ３５に移行する。

ステップＳ３３からステップＳ３４に移行する場合、判定部７０は信頼度が高いと判定する。表示制御部７２は、判定部７０の判定結果を受けて、信頼度が高いことを示す表示態様で停止線画像８０を表示する旨の表示指令を表示部６４に出力する。すると、表示部６４は、図１０Ａで示すように、画面７４に実線の停止線画像８０ａを表示する。実線は、信頼度が高いことを示す表示態様である。

ステップＳ３３からステップＳ３５に移行する場合、地図情報から停止線の存在を認識可能か否かが判定される。地図情報が車両１０の前方の所定距離内に存在する停止線の情報を含む場合に、外界認識部４８は、停止線の存在を認識する。この場合（ステップＳ３５：ＹＥＳ）、処理はステップＳ３６に移行する。一方、地図情報が車両１０の前方の所定距離内に存在する停止線の情報を含まない場合に、外界認識部４８は、停止線の存在を認識しない。この場合（ステップＳ３５：ＮＯ）、処理はステップＳ３７に移行する。

ステップＳ３５からステップＳ３６に移行する場合、判定部７０は信頼度が中と判定する。表示制御部７２は、判定部７０の判定結果を受けて、信頼度が中であることを示す表示態様で信号機画像７８を表示する旨の表示指令を表示部６４に出力する。すると、表示部６４は、図１０Ｂで示すように、画面７４に破線の停止線画像８０ｂを表示する。破線は、信頼度が中であることを示す表示態様である。

ステップＳ３５からステップＳ３７に移行する場合、判定部７０は信頼度が低いと判定する。このとき、画像情報及び地図情報のいずれを利用しても停止線を認識できない。表示制御部７２は、判定部７０の判定結果を受けて、信頼度が低いことを示す態様で停止線画像８０を表示する旨の表示指令を表示部６４に出力する。すると、表示部６４は、図１０Ｃで示すように、停止線画像８０を非表示する。非表示は、信頼度が低いことを示す表示態様である。

［８ 車両画像８２の表示処理］
図１１で示すフローチャートを用いて車両画像８２の表示処理について説明する。以下で説明する一連の処理は、表示装置６０により一定時間毎に実行される。

ステップＳ４１において、車両１０が自動運転中か否かが判定される。このとき、表示制御部７２は、車両制御装置２０から、自動運転が実行されているか否かの情報を取得する。自動運転中である場合（ステップＳ４１：ＹＥＳ）、処理はステップＳ４２に移行する。一方、自動運転中でない場合（ステップＳ４１：ＮＯ）、処理はステップＳ４５に移行する。

ステップＳ４１からステップＳ４２に移行する場合、ブレーキが作動しているか、又は、車両１０が停止しているかが判定される。表示制御部７２は、車両制御装置２０から、車両センサ１４（速度センサ）で検出される車速及び操作検出センサ１８で検出されるブレーキ踏込量の情報を取得する。ブレーキが作動せず、且つ、車両１０が走行している場合（ステップＳ４２：ＮＯ）、処理はステップＳ４３に移行する。一方、ブレーキが作動している、又は、車両１０が停止している場合（ステップＳ４２：ＹＥＳ）、処理はステップＳ４４に移行する。

ステップＳ４３において、表示制御部７２は、車両１０が自動運転中であり且つ等速走行又は加速走行していることを示す表示態様で車両画像８２を表示する旨の表示指令を表示部６４に出力する。すると、表示部６４は、図１２Ａで示すように、画面７４に等速・加速画像８２ａを表示する。

ステップＳ４４において、表示制御部７２は、車両１０が自動運転中であり且つ減速走行又は停止していることを示す表示態様で車両画像８２を表示する旨の表示指令を表示部６４に出力する。すると、表示部６４は、図１２Ｂで示すように、画面７４に減速・停止画像８２ｂを表示する。減速・停止画像８２ｂは、車両１０のテールランプが点灯している状態を象徴する画像である。

ステップＳ４５において、表示制御部７２は、車両１０が自動運転中でないことを示す表示態様で車両画像８２を表示する旨の表示指令を表示部６４に出力する。すると、表示部６４は、図１２Ｃで示すように、車両画像８２を非表示する。

［９ Ｈ／Ｏのリクエスト画像及び予告画像の表示処理］
図１３のフローチャートを用いてＨ／Ｏのリクエスト画像８４（図１４Ｂ参照）及び予告画像８２ｃ（図１４Ａ参照）の表示処理について説明する。Ｈ／Ｏ（ハンドオーバ）というのは、車両１０の運転権限を車両１０側からユーザ（ドライバ）に委譲することをいう。また、自動運転中に車両１０がユーザに対して手動運転の要求を行うことをＨ／Ｏリクエストという。Ｈ／Ｏリクエストは、自動運転の終了地点（中断地点を含む。以下省略。）が近い場合や、自動運転の継続が困難である場合に、表示部６４や音響装置を介してユーザに通知される。本実施形態では、自動運転の終了地点が近い場合に予告画像８２ｃを表示するようにしている。以下で説明する一連の処理は、表示装置６０及び車両制御装置２０により一定時間毎に実行される。

ステップＳ５１において、車両制御装置２０の自車位置認識部５０は、自動運転中に、ナビゲーション装置３４で測定される車両１０の現在位置の情報及び地図情報を取得する。

ステップＳ５２において、車両１０の現在位置から自動運転の終了地点までの距離Ｄが第１所定距離Ｄ１以下になったか否かを判定する。第１所定距離Ｄ１というのは、予告画像８２ｃを非表示から表示に切り替える閾値である。距離Ｄが第１所定距離Ｄ１以下である場合（ステップＳ５２：ＹＥＳ）、処理はステップＳ５３に移行する。一方、距離Ｄが第１所定距離Ｄ１より大きい場合（ステップＳ５２：ＮＯ）、処理はステップＳ５６に移行する。

ステップＳ５３において、車両１０の現在位置から自動運転の終了地点までの距離Ｄが第２所定距離Ｄ２以下になったか否かを判定する。第２所定距離Ｄ２というのは、リクエスト画像８４を非表示から表示に切り替える閾値である。また、第２所定距離Ｄ２は第１所定距離Ｄ１よりも小さい。距離Ｄが第２所定距離Ｄ２以下である場合（ステップＳ５３：ＹＥＳ）、処理はステップＳ５４に移行する。一方、距離Ｄが第２所定距離Ｄ２より大きい場合（ステップＳ５３：ＮＯ）、処理はステップＳ５５に移行する。

ステップＳ５３からステップＳ５４に移行する場合、表示制御部７２は、Ｈ／Ｏのリクエスト画像８４を表示する旨の表示指令を表示部６４に出力する。すると、表示部６４は、図１４Ｂで示すように、画面７４にリクエスト画像８４を表示する。

ステップＳ５３からステップＳ５５に移行する場合、表示制御部７２は、Ｈ／Ｏの予告画像８２ｃを表示する旨の表示指令を表示部６４に出力する。すると、表示部６４は、図１４Ａで示すように、画面７４に予告画像８２ｃを表示する。予告画像８２ｃは、車両画像８２が振動している画像である。

ステップＳ５２からステップＳ５６に移行する場合、表示制御部７２は、Ｈ／Ｏが不要であることを示す表示態様の表示指令を表示部６４に出力する。すると、表示部６４は、リクエスト画像８４及び予告画像８２ｃを共に非表示する。

［１０ 画像遷移例］
［１０−１ 第１例］
図１５Ａ〜図１５Ｆを用いて画面７４における画像遷移の第１例について説明する。第１例では、車両１０が青信号の交差点を直進して通過する場面を想定する。車両１０の自動運転中に、画像情報に基づいてレーンマークを認識できる場合、図１５Ａで示すように、画面７４には等速・加速画像８２ａと実線のレーンマーク画像７６ａが表示される。地図情報に基づいて車両１０の前方に信号機及び停止線を備える交差点を認識できるようになると、図１５Ｂで示すように、画面７４には更に非点灯画像７８ｄと破線の停止線画像８０ｂが表示される。車両１０が前進し、画像情報に基づいて信号機を認識できるようになると、図１５Ｃで示すように、画面７４には信号機の点灯状態に応じた点灯画像７８ａが表示される。ここでは青信号の点灯状態を示す点灯画像７８ａが表示される。

車両１０が前進し、画像情報に基づいて停止線を認識できるようになると、図１５Ｄで示すように、画面７４には実線の停止線画像８０ａが表示される。信号機が青信号を維持し、車両１０が交差点に進入すると、停止線はカメラ２８の画角から外れる。更に、交差点にはレーンマークが存在しない。すると、図１５Ｅで示すように、画面７４には停止線画像８０が非表示されると共に、仮想レーンマークを示す破線のレーンマーク画像７６ｂが表示される。車両１０が交差点の出口に到達すると、信号機はカメラ２８の画角から外れる。その一方で、画像情報に基づいて交差点の出口の先にレーンマークを認識できるようになる。すると、図１５Ｆで示すように、画面７４には信号機画像７８が非表示されると共に、再び実線のレーンマーク画像７６ａが表示される。

［１０−２ 第２例］
図１６Ａ〜図１６Ｆを用いて画面７４における画像遷移の第２例について説明する。第２例では、車両１０が赤信号の交差点で一旦停止し、青信号への切り替わりを認識した段階で交差点を直進して通過する場面を想定する。車両１０の自動運転中に、画像情報に基づいてレーンマークを認識できる場合、図１６Ａで示すように、画面７４には等速・加速画像８２ａと実線のレーンマーク画像７６ａが表示される。地図情報に基づいて車両１０の前方に信号機及び停止線を備える交差点を認識できるようになると、図１６Ｂで示すように、画面７４には更に非点灯画像７８ｄと破線の停止線画像８０ｂが表示される。車両１０が前進し、画像情報に基づいて信号機を認識できるようになると、図１６Ｃで示すように、画面７４には信号機の点灯状態に応じた点灯画像７８ｃが表示される。ここでは赤信号の点灯状態を示す点灯画像７８ｃが表示される。更に、車両１０がブレーキを作動させると、図１６Ｃで示すように、画面７４には減速・停止画像８２ｂが表示される。

車両１０が前進し、画像情報に基づいて停止線を認識できるようになると、図１６Ｄで示すように、画面７４には実線の停止線画像８０ａが表示される。信号機が赤信号を維持すると、車両１０は停止線の手前で停止する。このとき、図１６Ｄで示される画面７４が維持される。信号機が赤信号から青信号に切り替わり、画像情報に基づいて信号機の切り替わりが認識されると、図１６Ｅで示すように、画面７４には信号機の点灯状態に応じた点灯画像７８ａが表示される。車両１０が発進して交差点に進入すると、停止線はカメラ２８の画角から外れる。更に、交差点にはレーンマークが存在しない。すると、図１６Ｅで示すように、画面７４には停止線画像８０が非表示されると共に、仮想レーンマークを示す破線のレーンマーク画像７６ｂが表示される。車両１０が交差点の出口に到達すると、信号機はカメラ２８の画角から外れる。その一方で、画像情報に基づいて交差点の出口の先にレーンマークを認識できるようになる。すると、図１６Ｆで示すように、画面７４には信号機画像７８が非表示されると共に、再び実線のレーンマーク画像７６ａが表示される。

［１１ 本実施形態のまとめ］
本実施形態に係る表示装置６０は、外界の情報を取得する外界情報取得装置１２（情報取得部）と、外界情報取得装置１２で取得される情報に基づいて所定の認識対象物を認識する外界認識部４８と、外界認識部４８による認識の信頼度を判定する判定部７０と、所定の画像７６、７８、８０を表示する表示部６４と、画像７６、７８、８０の表示態様を信頼度に応じて変化させる表示制御部７２とを備える。表示制御部７２は、表示部６４に所定の画像７６、７８、８０、８２、８４等を表示させる際に、外界認識部４８による認識の信頼度に応じて画像７６、７８、８０の表示態様を変化させる。この実施形態によれば、ユーザは、画像７６、７８、８０の表示態様を視認することで外界認識部４８による認識の信頼度を把握することができる。

本実施形態において、認識対象物は路面上のレーンマークであり、表示制御部７２は、信頼度に応じてレーンマーク画像７６の表示と非表示とを切り替えると共にレーンマーク画像７６の色又は線種を変化させる。この実施形態によれば、ユーザはレーンマークに対する認識の信頼度を直感的に把握することができる。

外界情報取得装置１２は、車両１０の前方を撮像して画像情報を取得するカメラ２８を含む。外界認識部４８は、画像情報によりレーンマークを認識できない場合に仮想レーンマークを生成し、表示制御部７２は、表示部６４に仮想レーンマークを表示させる。この実施形態によれば、レーンマークが存在しない又は消失している道路であっても、表示部６４の画面７４にレーンマーク画像７６ｂを表示することができる。

ナビゲーション装置３４は、道路毎に設定されるレーンノードの情報を記憶するナビ記憶部３４ａを備える。外界認識部４８は、レーンノード情報を取得し、交差点の入口に設定されるレーンノード９０と交差点の出口に設定されるレーンノード９２、９４とを線９６、９８で結び、線９６、９８の両側に、線９６、９８に沿って仮想レーンマーク１００、１０２を設定する。この実施形態によれば、レーンマークが存在しない交差点であっても、表示部６４の画面７４にレーンマーク画像７６ｂを表示することができる。

本実施形態において、認識対象物は道路に設置される信号機であり、表示制御部７２は、信頼度に応じて信号機画像７８の表示と非表示とを切り替えると共に信号機の点灯画像７８ａ、７８ｂ、７８ｃと非点灯画像７８ｄとを切り替える。この実施形態によれば、ユーザは信号機に対する認識の信頼度を直感的に把握することができる。

本実施形態において、車両１０は自動運転車両であり、表示制御部７２は、車両１０のユーザに対する手動運転の要求が行われる前に、要求の予告画像８２ｃを表示させる。この実施形態によれば、車両１０からユーザへの運転権限の委譲が必要になる場面で、委譲を速やかに行うことができる。

［１２ 変形例］
なお、本発明に係る表示装置６０は、上述の実施形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。

上記実施形態において、表示部６４は、認識対象物を表す象徴的な画像７６、７８、８０を画面７４に表示し、その画像７６、７８、８０の表示形態を変化させることにより、ユーザに対して認識の信頼度を報知するようにしている。画像７６、７８、８０に代えて、認識の信頼度を表す専用の画像、例えばインジケータ（バー等）、文字、数字、単に色が変化する画像等を用いることも可能である。

また、上記実施形態において、車両制御装置２０は、ナビゲーション装置３４が生成した走行経路に沿って車両１０を走行させるようにしている。しかし、ナビゲーション装置３４が生成した走行経路ではなく、道なりの走行経路に沿って車両を走行させることも可能である。この場合、車両制御装置２０は、車両１０を現在走行する道路に沿って走行させると共に、交差点等の分岐箇所では直進に近い道路を選択して走行させる。

１０…車両
１２…外界情報取得装置（情報取得部）
２８…カメラ ３４…ナビゲーション装置
３４ａ…ナビ記憶部（記憶部） ４８…外界認識部
６０…表示装置 ６４…表示部
７０…判定部 ７２…表示制御部
７６、７６ａ、７６ｂ…レーンマーク画像（画像）
７８…信号機画像（画像） ７８ａ、７８ｂ、７８ｃ…点灯画像
７８ｄ…非点灯画像
８０、８０ａ、８０ｂ…停止線画像（画像）
８２ｃ…予告画像 ９０、９２、９４…レーンノード
９６、９８…線 １００、１０２…仮想レーンマーク

Claims (9)

1. 車両に設けられる表示装置であって、
   外界の情報を取得する情報取得部と、
   前記情報に基づいて所定の対象物を認識する外界認識部と、
   前記外界認識部による認識の信頼度を判定する判定部と、
   所定の画像を表示する表示部と、
   前記画像の表示態様を前記信頼度に応じて変化させる表示制御部とを備える
   ことを特徴とする表示装置。
2. 請求項１に記載の表示装置において、
   前記画像は前記対象物の形態を表す
   ことを特徴とする表示装置。
3. 請求項１又は２に記載の表示装置において、
   前記対象物は路面上のレーンマークであり、
   前記表示制御部は、前記信頼度に応じて前記画像の表示と非表示とを切り替えると共に前記画像の色又は線種を変化させる
   ことを特徴とする表示装置。
4. 請求項３に記載の表示装置において、
   前記情報取得部は、前記車両の前方を撮像して画像情報を取得するカメラを含み、
   前記外界認識部は、前記画像情報により前記レーンマークを認識できない場合に仮想レーンマークを生成し、
   前記表示制御部は、前記表示部に前記仮想レーンマークを表示させる
   ことを特徴とする表示装置。
5. 請求項４に記載の表示装置において、
   道路毎に設定されるレーンノードの情報を記憶する記憶部を更に備え、
   前記外界認識部は、交差点の入口に設定される前記レーンノードと前記交差点の出口に設定される前記レーンノードとを線で結び、前記線の両側に、前記線に沿って前記仮想レーンマークを生成する
   ことを特徴とする表示装置。
6. 請求項１又は２に記載の表示装置において、
   前記対象物は路面上のレーンマークであり、
   前記情報取得部は、前記車両の前方を撮像して画像情報を取得するカメラを含み、
   前記外界認識部は、前記画像情報により前記レーンマークを認識できない場合に仮想レーンマークを生成し、
   前記表示制御部は、前記表示部に前記仮想レーンマークを表示させる
   ことを特徴とする表示装置。
7. 請求項６に記載の表示装置において、
   道路毎に設定されるレーンノードの情報を記憶する記憶部を更に備え、
   前記外界認識部は、交差点の入口に設定される前記レーンノードと前記交差点の出口に設定される前記レーンノードとを線で結び、前記線の両側に、前記線に沿って前記仮想レーンマークを生成する
   ことを特徴とする表示装置。
8. 請求項１又は２に記載の表示装置において、
   前記対象物は道路に設置される信号機であり、
   前記表示制御部は、前記信頼度に応じて前記画像の表示と非表示とを切り替えると共に前記信号機の点灯画像と非点灯画像とを切り替える
   ことを特徴とする表示装置。
9. 請求項３〜８のいずれか１項に記載の表示装置において、
   前記車両は自動運転車両であり、
   前記表示制御部は、前記自動運転車両のユーザに対する手動運転の要求が行われる前に、前記要求の予告画像を表示させる
   ことを特徴とする表示装置。

Images