JP2021165938A - 表示制御装置 - Google Patents

Abstract

【課題】自動運転中において、検出された不確かな情報の影響について運転者に直感的に把握させやすくする表示制御装置を提供する。
【解決手段】Ｓ１０４で、自動運転ＥＣＵは、自動運転機能を実行するための情報であって車両の周囲から検出される情報である複数の自動運転情報のそれぞれについて、情報の確からしさを示す指標である信頼度を算出する。Ｓ１０５で、自動運転ＥＣＵは、複数の自動運転情報の中に、信頼度が低下している低信頼情報が存在するか否かを判定する。その後、自動運転ＥＣＵは、周囲画像における低信頼情報が影響する部分の表示態様を、低信頼情報が影響しない場合の表示態様とは異なる表示態様に変更した周囲画像を表示領域に表示させる。
【選択図】図２

Description

本開示は、表示制御装置に関する。

運転者に代わって運転操作を実行可能な自動運転機能を備え、自動運転と手動運転とを切り替え可能な車両がある。特許文献１には、このような車両に搭載され、自動運転中において運転者が行うことのできる運転以外の行為を示す情報を呈示する情報呈示装置が記載されている。具体的には、情報呈示装置は、自動運転から手動運転への切り替えの緊急度に応じて、運転者が行うことができる行為、例えばテレビを視聴する行為、飲食を行う行為等を示すアイコンの画像を呈示する。

特許６３３０９０３号公報

しかしながら、発明者の詳細な検討の結果、以下の課題が見出された。すなわち、特許文献１に記載の情報呈示装置では、そもそも車両が車両の周囲の状況をどの程度認識できているのかといったことを運転者は把握しにくい。自動運転中には、車両の周囲の状況を認識するために、複数のセンサ類から情報が検出される。ここで、例えば、センサの故障等により、検出された情報に不確かなものが含まれていた場合、車両の周囲のうち当該センサの検出範囲について車両が状況を正しく認識できないという影響が生じることがある。なお、全ての運転操作が運転者に代わって実行される自動運転に限らず、加減速操作や操舵操作など一部の運転操作のみが運転者に代わって実行される自動運転についても、同様の問題が生じ得る。

本開示の一局面は、自動運転中において、検出された不確かな情報の影響について運転者に直感的に把握させやすくする表示制御装置を提供する。

本開示の一態様は、運転者に代わって運転操作を実行可能な自動運転機能を備える車両に搭載される表示制御装置であって、表示部（Ｓ１０６，Ｓ１０８，Ｓ１１０，Ｓ１１２，Ｓ１１４，Ｓ１１５）と、算出部（Ｓ１０４）と、判定部（Ｓ１０５，Ｓ１０７，Ｓ１０９，Ｓ１１１，Ｓ１１３）と、を備える。表示部は、車両の周囲の状況を示す周囲画像を、運転者の視認可能な位置に設けられた表示領域（６）に表示させるように構成される。算出部は、自動運転機能を実行するための情報であって車両の周囲から検出される情報である複数の自動運転情報のそれぞれについて、情報の確からしさを示す指標である信頼度を算出するように構成される。判定部は、複数の自動運転情報の中に、信頼度が低下している低信頼情報が存在するかを判定する。表示部は、周囲画像における低信頼情報が影響する部分の表示態様を、低信頼情報が影響しない場合の表示態様とは異なる表示態様に変更する。

このような構成によれば、自動運転中において、検出された不確かな情報の影響について運転者に直感的に把握させやすくすることができる。

自動運転ＥＣＵの構成を示すブロック図である。 表示制御処理の前半部分を示すフローチャートである。 表示制御処理の後半部分を示すフローチャートである。 低信頼情報が存在しない場合に表示される周囲画像の一例である。 前方についての信頼度が多少低下した場合に表示される周囲画像の一例である。 前方についての信頼度が中程度に低下した場合に表示される周囲画像の一例である。 前方についての信頼度が著しく低下した場合に表示される周囲画像の一例である。 左側方及び右側方についての信頼度が多少低下した場合に表示される周囲画像の一例である。 左側方及び右側方についての信頼度が著しく低下した場合に表示される周囲画像の一例である。 前方、後方、左側方、及び右側方についての信頼度が著しく低下した場合に表示される周囲画像の一例である。

以下、本開示の例示的な実施形態について図面を参照しながら説明する。
［１．実施形態］
図１に示す自動運転ＥＣＵ１は、自動車などの車両に搭載され、運転者に代わって運転操作を実行可能な自動運転機能を実現するための装置である。ＥＣＵは、Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ、すなわち、電子制御装置の略である。以下、自動運転ＥＣＵ１が搭載される車両を自車両という。

自車両には、自動運転ＥＣＵ１以外に、前方カメラ２ａと、後方カメラ２ｂと、左カメラ２ｃと、右カメラ２ｄと、前方測距センサ３ａと、後方測距センサ３ｂと、左測距センサ３ｃと、右測距センサ３ｄと、車車間通信装置４と、ナビゲーション装置５と、表示装置６と、駆動系ＥＣＵ７と、制動系ＥＣＵ８と、操舵系ＥＣＵ９と、が搭載されている。

前方カメラ２ａは、自車両の前方における所定の前方撮像領域を撮像するための画像センサである。後方カメラ２ｂは、自車両の後方における所定の後方撮像領域を撮像するための画像センサである。左カメラ２ｃは、自車両の左側方における所定の左側方撮像領域を撮像するための画像センサである。右カメラ２ｄは、自車両の右側方における所定の右側方撮像領域を撮像するための画像センサである。

各カメラ２ａ〜２ｄは、撮像した各撮像画像をそれぞれ自動運転ＥＣＵ１へ出力する。各撮像画像は、他車両及び道路区画線等の路面標示を検出する処理などに用いられる。
前方測距センサ３ａは、自車両の前方における所定の前方測距領域に存在する物体の、自車両を基準とした相対位置を検出するためのセンサである。後方測距センサ３ｂは、自車両の後方における所定の後方測距領域に存在する物体の、自車両を基準とした相対位置を検出するためのセンサである。左測距センサ３ｃは、自車両の左側方における所定の左側方測距領域に存在する物体の、自車両を基準とした相対位置を検出するためのセンサである。右測距センサ３ｄは、自車両の右側方における所定の右側方測距領域に存在する物体の、自車両を基準とした相対位置を検出するためのセンサである。

本実施形態では、各測距センサ３ａ〜３ｄとしてミリ波レーダが用いられる。ミリ波レーダは、各測距領域へミリ波を送信し、各測距領域に存在する物体からの反射波を受信する。ミリ波レーダは、受信結果に基づき各測距領域に存在する物体の相対位置及び相対速度を検出する。なお、ミリ波レーダに代えて、又はミリ波レーダとともに、例えばソナーやＬＩＤＡＲ等が用いられてもよい。なお、ＬＩＤＡＲとは、Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇの略である。

各測距センサ３ａ〜３ｄは、検出した各測距情報をそれぞれ自動運転ＥＣＵ１へ出力する。各測距情報は、他車両の相対位置を検出する処理などに用いられる。
車車間通信装置４は、自車両以外の他車両との間で無線通信を行うための通信装置である。車車間通信装置４は、自車両の周辺に存在する複数の他車両と無線で車車間通信を行う。具体的には、車車間通信装置４は、複数の他車両のそれぞれから、他車両の状況情報を受信するとともに、自車両の状況情報をブロードキャストで送信する。状況情報とは、現在位置、走行速度及び走行方向等の、送信元の車両における走行状況を表す情報である。状況情報には、例えば他にも、車幅、車長などが含まれていてもよい。

車車間通信装置４は、受信した状況情報について、自車両の周辺の領域うちいずれの領域に存在する他車両から受信した状況情報であるかを判定する。具体的には、車車間通信装置４は、状況情報に含まれる現在位置の情報に基づき、自車両の前方における所定の前方通信領域、自車両の後方における所定の後方通信領域、自車両の左側方における所定の左側方通信領域、及び自車両の右側方における所定の右側方通信領域のうち、いずれの通信領域に存在する他車両から状況情報を受信したのかを判定する。

車車間通信装置４は、いずれの通信領域に存在する他車両から受信したのかを示すデータを付した各状況情報を自動運転ＥＣＵ１へ出力する。各状況情報は、他車両の走行経路を予測する処理などに用いられる。

ナビゲーション装置５は、ＧＰＳアンテナを介して受信したＧＰＳ信号等に基づき緯度経度で特定される自車両の位置を検出する。また、ナビゲーション装置５には地図データが記録されている。地図データには、自車両の位置に基づき道路におけるいずれの車線に自車両が位置しているのかを特定できる程度に詳細な道路情報及び地図表示に必要な各種データ等が含まれている。なお、ＧＰＳはＧｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍの略である。

ナビゲーション装置５は、検出した自車両の位置及び後述する周囲画像に必要な部分の地図データを自動運転ＥＣＵ１へ出力する。
表示装置６は、画像を表示するためのディスプレイであり、自車両の運転者が視認可能な位置に設けられている。本実施形態では、表示装置６としてスピードメータの液晶ディスプレイが用いられる。スピードメータの液晶ディスプレイは、例えば運転者と対向する位置に設置される。表示装置６は、後述するメータ画像及び後述する周囲画像を表示する。なお、表示装置６として、ＣＩＤ、ヘッドアップディスプレイ等が用いられてもよい。ＣＩＤは、Ｃｅｎｔｅｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｐｌａｙの略である。

駆動系ＥＣＵ７は、自動運転ＥＣＵ１からの指示に従い、エンジン等の駆動系を制御する。
制動系ＥＣＵ８は、自動運転ＥＣＵ１からの指示に従い、ブレーキ等の制動系を制御する。

操舵系ＥＣＵ９は、自動運転ＥＣＵ１からの指示に従い、ステアリング等の操舵系の動作を制御する。
自動運転ＥＣＵ１は、ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、フラッシュメモリ７４等を有する周知のマイクロコンピュータを中心に構成される。ＣＰＵ７１は、非遷移的実体的記録媒体であるＲＯＭ７２に格納されたプログラムを実行する。当該プログラムが実行されることで、当該プログラムに対応する方法が実行される。具体的には、自動運転ＥＣＵ１は、当該プログラムに従い、後述する図２及び図３に示す表示制御処理を実行する。なお、自動運転ＥＣＵ１は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。

また、自動運転ＥＣＵ１は、自動運転機能を実行するための情報であって自車両の周囲から検出される情報である複数の自動運転情報に基づいて、自動運転機能を実現する。本実施形態では、自動運転ＥＣＵ１は、複数の自動運転情報に基づいて、駆動系ＥＣＵ７と、制動系ＥＣＵ８と、操舵系ＥＣＵ９と、に指示を出すことにより、自動運転機能を実現する。自動運転機能を実現する各種機能として、車間距離制御、車線維持制御、車線変更制御、及び自動制動制御等が含まれる。

車間距離制御において、自動運転ＥＣＵ１は、例えば、前方測距センサ３ａの測距情報に基づき先行車両との車間距離を認識し、先行車両との目標車間距離を維持するように、駆動系ＥＣＵ７と制動系ＥＣＵ８とに指示を出す。

車線維持制御において、自動運転ＥＣＵ１は、例えば、前方カメラ２ａの撮像画像に基づき自車両が走行している走行レーンの道路区画線を認識し、当該道路区画線に沿って走行するように、操舵系ＥＣＵ９に指示を出す。

車線変更制御において、自動運転ＥＣＵ１は、例えば、前方カメラ２ａ、後方カメラ２ｂ、左カメラ２ｃ、又は右カメラ２ｄの撮像画像と、前方測距センサ３ａ、後方測距センサ３ｂ、左測距センサ３ｃ、又は右測距センサ３ｄの測距情報と、前方通信領域、後方通信領域、左側方通信領域、又は右側方通信領域に存在する他車両からの状況情報と、に基づき隣接車線を走行する他車両を認識し、車線変更が可能なタイミングで車線変更するように、操舵系ＥＣＵ９に指示を出す。

自動制動制御において、自動運転ＥＣＵ１は、例えば、前方測距センサ３ａの測距情報と、前方通信領域に存在する他車両からの状況情報と、に基づき、自車両の走行速度を低減させる必要があると判定した場合、自車両の走行速度を低減させるように、制動系ＥＣＵ８に指示を出す。

なお、自車両は、自動運転と手動運転とを切り替え可能である。例えば、自動運転と手動運転とを切り替えるためのスイッチが運転者により押下された場合、自動運転と手動運転とが切り替わる。また例えば、自動運転中に、自動運転ＥＣＵ１が自動運転を継続することが難しいと判定した場合、自動運転から手動運転に切り替わる。

［２．処理］
ＣＰＵ７１が実行する表示制御処理について、図２及び図３のフローチャートを用いて説明する。表示制御処理は、自車両のイグニッションスイッチがオンされている間、所定の周期で繰り返し実行される。

まず、Ｓ１０１で、ＣＰＵ７１は、自車両が自動運転を実行中であるか否かを判定する。
ＣＰＵ７１は、Ｓ１０１で自車両が自動運転を実行中でないと判定した場合には、Ｓ１０２へ移行する。

Ｓ１０２で、ＣＰＵ７１は、メータ画像を生成し、表示装置６に表示させる。本実施形態では、ＣＰＵ７１は、例えば自車両の車速、平均燃費等の数値を表す画像をメータ画像として生成する。その後、ＣＰＵ７１は、図２及び図３の表示制御処理を終了する。

一方、ＣＰＵ７１は、Ｓ１０１で自車両が自動運転を実行中であると判定した場合には、Ｓ１０３へ移行する。
Ｓ１０３で、ＣＰＵ７１は、図４に示すような、自車両の周囲の状況を示す周囲画像を生成する。本実施形態では、ＣＰＵ７１は、各カメラ２ａ〜２ｄにより出力された各撮像画像と、各測距センサ３ａ〜３ｄにより出力された各測距情報と、車車間通信装置４により出力された各状況情報と、ナビゲーション装置５により出力された自車両の位置及び地図データと、に基づき周囲画像を生成する。具体的には、まずＣＰＵ７１は、自車両の位置及び地図データに基づき、仮想視点から見た自車両の周囲の道路形状を模式化した画像を生成する。当該画像の範囲は、各種センサ類の検出範囲を目安に設定されている。仮想視点は、例えば、自車両の後方上空から自車両の進行方向を見下ろすような視点である。続いてＣＰＵ７１は、模式化した画像に、その仮想視点から見た自車両の位置及び形状を示す自車両画像を重畳するように合成する。またＣＰＵ７１は、自車両の周囲に他車両が存在すると判定した場合、仮想視点から見た他車両の位置及び形状を示す他車両画像も、模式化した画像に重畳するように合成する。自車両の周囲に他車両が存在するか否かは、撮像画像と測距情報と状況情報とに基づき、公知の物体検出技術を用いて判定される。

図２に戻り、Ｓ１０４で、ＣＰＵ７１は、複数の自動運転情報のそれぞれについて、情報の確からしさを示す指標である信頼度を算出する。本実施形態では、ＣＰＵ７１は、各カメラ２ａ〜２ｄにより出力された各撮像画像と、各測距センサ３ａ〜３ｄにより出力された各測距情報と、車車間通信装置４により出力された各状況情報と、のそれぞれについて、信頼度を算出する。信頼度は、０以上１以下の値で算出される。

例えば、ＣＰＵ７１は、各カメラ２ａ〜２ｄにより出力された各撮像画像から検出した道路区画線のかすれ具合に基づいて、各撮像画像の信頼度を算出する。具体的には、ＣＰＵ７１は、検出した道路区画線においてかすれた箇所が増加するにつれて信頼度が小さい値となるように、各撮像画像の信頼度を算出する。ここでいう道路区画線とは道路を区画する白線や黄色線等を含む。撮像画像から道路区画線を検出する技術は、公知の任意の技術が用いられる。

また例えば、ＣＰＵ７１は、各測距センサ３ａ〜３ｄにより出力された各測距情報から生成される点群の密度に基づいて、各測距情報の信頼度を算出する。具体的には、ＣＰＵ７１は、点群の密度が増加するにつれて信頼度が大きい値となるように、各測距情報の信頼度を算出する。

また例えば、ＣＰＵ７１は、車車間通信装置４により出力された各状況情報に含まれる各種情報のうち有効な情報の数に基づいて、各状況情報の信頼度を算出する。具体的には、ＣＰＵ７１は、有効な情報の数が多いほど信頼度が大きい値となるように、各状況情報の信頼度を算出する。ＣＰＵ７１は、受信した状況情報に含まれる各種情報について、それぞれ有効な情報であるか否かを判定し、有効な情報の数をカウントする。ＣＰＵ７１は、各種情報の値があらかじめ設定された有効範囲に収まっている場合、有効な情報であると判定する。例えば、アクセル開度の有効範囲が０〜１００％であると設定されている場合、ＣＰＵ７１は、仮に各種情報の１つとして受信したアクセル開度の値が当該有効範囲内であれば、アクセル開度について有効な情報であると判定する。一方、ＣＰＵ７１は、仮に各種情報の１つとして受信したアクセル開度の値が当該有効範囲外であれば、アクセル開度について無効な情報であると判定する。

なお、ここで例示した撮像画像、測距情報、及び状況情報の信頼度の算出方法は一例であり、他の算出方法が用いられてもよい。
続いて、Ｓ１０５で、ＣＰＵ７１は、複数の自動運転情報の中に、信頼度が低下している低信頼情報が存在するか否かを判定する。本実施形態では、Ｓ１０４で算出されたそれぞれの信頼度のうち、いずれかの信頼度があらかじめ設定された所定の低下閾値を下回っていた場合、ＣＰＵ７１は、低信頼情報が存在すると判定する。各カメラ２ａ〜２ｄの各撮像画像に対するそれぞれの信頼度について、同じ低下閾値が設定されてもよいし、それぞれ異なる低下閾値が設定されてもよい。同様に、各測距センサ３ａ〜３ｄの各測距情報に対するそれぞれの信頼度について、同じ低下閾値が設定されてもよいし、それぞれ異なる低下閾値が設定されてもよい。また同様に、車車間通信装置４の各状況情報に対するそれぞれの信頼度について、同じ低下閾値が設定されてもよいし、それぞれ異なる低下閾値が設定されてもよい。

ＣＰＵ７１は、Ｓ１０５で低信頼情報が存在しないと判定した場合には、Ｓ１０６へ移行し、Ｓ１０３で生成した周囲画像をそのまま表示装置６に表示させる。なお、ＣＰＵ７１は、メータ画像も合わせて表示装置６に表示させてもよい。その後、ＣＰＵ７１は、図２及び図３の表示制御処理を終了する。

一方、ＣＰＵ７１は、Ｓ１０５で低信頼情報が存在すると判定した場合には、Ｓ１０７へ移行し、前方についての低信頼情報が存在するか否かを判定する。本実施形態では、前方カメラ２ａの撮像画像、前方測距センサ３ａの測距情報、及び前方通信領域に存在する他車両からの状況情報の、３種類の自動運転情報の中に低信頼情報が存在する場合、前方についての低信頼情報が存在すると判定する。

ＣＰＵ７１は、Ｓ１０７で前方についての低信頼情報が存在すると判定した場合には、Ｓ１０８へ移行し、前方についての低信頼情報が影響する周囲画像における部分の表示態様を変更する。本実施形態では、ＣＰＵ７１は、前方についての低信頼情報の影響度に応じて、周囲画像における自車両よりも前方の部分を、透過性のある黒色で塗りつぶすように加工する。具体的には、ＣＰＵ７１は、周囲画像における自車両よりも前方の部分を、３段階の塗りつぶし方で表現する。例えば、ＣＰＵ７１は、前方についての３種類の自動運転情報のうち、１種類の自動運転情報が低信頼情報であると判定した場合、図５に示すように、周囲画像における自車両よりも前方の部分であって、自車両から離れた側の部分の約３分の１を塗りつぶす。また例えば、ＣＰＵ７１は、前方についての３種類の自動運転情報のうち、２種類の自動運転情報が低信頼情報であると判定した場合、図６に示すように、周囲画像における自車両よりも前方の部分であって、自車両から離れた側の部分の約３分の２を塗りつぶす。また例えば、ＣＰＵ７１は、前方についての３種類の自動運転情報のうち、３種類の自動運転情報全てが低信頼情報であると判定した場合、図７に示すように、周囲画像における自車両よりも前方の大部分を塗りつぶす。その後、ＣＰＵ７１は、Ｓ１０９へ移行する。

図２に戻り、一方、ＣＰＵ７１は、Ｓ１０７で前方についての低信頼情報が存在しないと判定した場合には、Ｓ１０８の処理を実行せずにＳ１０９へ移行する。
ＣＰＵ７１は、Ｓ１０９で、後方についての低信頼情報が存在するか否かを判定する。本実施形態では、後方カメラ２ｂの撮像画像、後方測距センサ３ｂの測距情報、及び後方通信領域に存在する他車両からの状況情報の、３種類の自動運転情報の中に低信頼情報が存在する場合、後方についての低信頼情報が存在すると判定する。

ＣＰＵ７１は、Ｓ１０９で後方についての低信頼情報が存在すると判定した場合には、Ｓ１１０へ移行し、後方についての低信頼情報が影響する周囲画像における部分の表示態様を変更する。本実施形態では、ＣＰＵ７１は、後方についての低信頼情報の影響度に応じて、周囲画像における自車両よりも後方の部分を、透過性のある黒色で塗りつぶすように加工する。具体的には、ＣＰＵ７１は、Ｓ１０８で周囲画像における自車両よりも前方の部分を塗りつぶした場合と同様に、周囲画像における自車両よりも後方の部分を、３段階の塗りつぶし方で表現する。例えば、ＣＰＵ７１は、後方についての３種類の自動運転情報のうち、１種類の自動運転情報が低信頼情報であると判定した場合、周囲画像における自車両よりも後方の部分であって、自車両から離れた側の部分の約３分の１を塗りつぶす。また例えば、ＣＰＵ７１は、後方についての３種類の自動運転情報のうち、２種類の自動運転情報が低信頼情報であると判定した場合、周囲画像における自車両よりも後方の部分であって、自車両から離れた側の部分の約３分の２を塗りつぶす。また例えば、ＣＰＵ７１は、後方についての３種類の自動運転情報のうち、３種類の自動運転情報全てが低信頼情報であると判定した場合、周囲画像における自車両よりも後方の大部分を塗りつぶす。その後、ＣＰＵ７１は、Ｓ１１１へ移行する。

一方、ＣＰＵ７１は、Ｓ１０９で後方についての低信頼情報が存在しないと判定した場合には、Ｓ１１０の処理を実行せずにＳ１１１へ移行する。
図３に移り、ＣＰＵ７１は、Ｓ１１１で、左側方についての低信頼情報が存在するか否かを判定する。本実施形態では、左カメラ２ｃの撮像画像、左測距センサ３ｃの測距情報、及び左側方通信領域に存在する他車両からの状況情報の、３種類の自動運転情報の中に低信頼情報が存在する場合、左側方についての低信頼情報が存在すると判定する。

ＣＰＵ７１は、Ｓ１１１で左側方についての低信頼情報が存在すると判定した場合には、Ｓ１１２へ移行し、左側方についての低信頼情報が影響する周囲画像における部分の表示態様を変更する。本実施形態では、ＣＰＵ７１は、左側方についての低信頼情報の影響度に応じて、周囲画像における自車両よりも左側方の部分を、透過性のある黒色で塗りつぶすように加工する。具体的には、ＣＰＵ７１は、Ｓ１０８で周囲画像における自車両よりも前方の部分を塗りつぶした場合と同様に、周囲画像における自車両よりも左側方の部分を、３段階の塗りつぶし方で表現する。例えば、ＣＰＵ７１は、左側方についての３種類の自動運転情報のうち、１種類の自動運転情報が低信頼情報であると判定した場合、周囲画像における自車両よりも左側方の部分であって、自車両から離れた側の部分の約３分の１を塗りつぶす。また例えば、ＣＰＵ７１は、左側方についての３種類の自動運転情報のうち、２種類の自動運転情報が低信頼情報であると判定した場合、周囲画像における自車両よりも左側方の部分であって、自車両から離れた側の部分の約３分の２を塗りつぶす。また例えば、ＣＰＵ７１は、左側方についての３種類の自動運転情報のうち、３種類の自動運転情報全てが低信頼情報であると判定した場合、周囲画像における自車両よりも左側方の大部分を塗りつぶす。その後、ＣＰＵ７１は、Ｓ１１３へ移行する。

一方、ＣＰＵ７１は、Ｓ１１１で左側方についての低信頼情報が存在しないと判定した場合には、Ｓ１１２の処理を実行せずにＳ１１３へ移行する。
ＣＰＵ７１は、Ｓ１１３で、右側方についての低信頼情報が存在するか否かを判定する。本実施形態では、右カメラ２ｄの撮像画像、右測距センサ３ｄの測距情報、及び右側方通信領域に存在する他車両からの状況情報の、３種類の自動運転情報の中に低信頼情報が存在する場合、右側方についての低信頼情報が存在すると判定する。

ＣＰＵ７１は、Ｓ１１３で右側方についての低信頼情報が存在すると判定した場合には、Ｓ１１４へ移行し、右側方についての低信頼情報が影響する周囲画像における部分の表示態様を変更する。本実施形態では、ＣＰＵ７１は、右側方についての低信頼情報の影響度に応じて、周囲画像における自車両よりも右側方の部分を、透過性のある黒色で塗りつぶすように加工する。具体的には、ＣＰＵ７１は、Ｓ１０８で周囲画像における自車両よりも前方の部分を塗りつぶした場合と同様に、周囲画像における自車両よりも右側方の部分を、３段階の塗りつぶし方で表現する。例えば、ＣＰＵ７１は、右側方についての３種類の自動運転情報のうち、１種類の自動運転情報が低信頼情報であると判定した場合、周囲画像における自車両よりも右側方の部分であって、自車両から離れた側の部分の約３分の１を塗りつぶす。また例えば、ＣＰＵ７１は、右側方についての３種類の自動運転情報のうち、２種類の自動運転情報が低信頼情報であると判定した場合、周囲画像における自車両よりも右側方の部分であって、自車両から離れた側の部分の約３分の２を塗りつぶす。また例えば、ＣＰＵ７１は、右側方についての３種類の自動運転情報のうち、３種類の自動運転情報全てが低信頼情報であると判定した場合、周囲画像における自車両よりも右側方の大部分を塗りつぶす。その後、ＣＰＵ７１は、Ｓ１１５へ移行する。

一方、ＣＰＵ７１は、Ｓ１１３で右側方についての低信頼情報が存在しないと判定した場合には、Ｓ１１４の処理を実行せずにＳ１１５へ移行する。
Ｓ１１５で、ＣＰＵ７１は、低信頼情報が影響する周囲画像における部分の表示態様を変更した周囲画像を表示装置６に表示させる。

例えば、ＣＰＵ７１は、Ｓ１１１及びＳ１１３で、左側方について１種類の自動運転情報と、右側方について１種類の自動運転情報と、が低信頼情報であると判定した場合、図８に示すように、周囲画像における自車両よりも左側方の部分であって、自車両から離れた側の部分の約３分の１と、周囲画像における自車両よりも右側方の部分であって、自車両から離れた側の部分の約３分の１と、がともに塗りつぶされた態様の周囲画像を表示させる。

また例えば、ＣＰＵ７１は、Ｓ１１１及びＳ１１３で、左側方について３種類の自動運転情報と、右側方について３種類の自動運転情報と、が低信頼情報であると判定した場合、図９に示すように、周囲画像における自車両よりも左側方の大部分と、周囲画像における自車両よりも右側方の大部分と、がともに塗りつぶされた態様の周囲画像を表示させる。

また例えば、ＣＰＵ７１は、Ｓ１０７，Ｓ１０９，Ｓ１１１及びＳ１１３で、前方、後方、左側方、及び右側方の全てについて、それぞれ３種類の自動運転情報全てが低信頼情報であると判定した場合、図１０に示すように、自車両の周囲がほぼ塗りつぶされた態様の周囲画像を表示させる。

なお、ＣＰＵ７１は、メータ画像も合わせて表示装置６に表示させてもよい。その後、ＣＰＵ７１は、図２及び図３の表示制御処理を終了する。
［３．効果］
以上詳述した実施形態によれば、以下の効果が得られる。

（３ａ）自動運転ＥＣＵ１は、周囲画像における低信頼情報が影響する部分の表示態様を、低信頼情報が影響しない場合の表示態様とは異なる表示態様に変更する。このような構成によれば、自動運転ＥＣＵ１は、自動運転中において、検出された不確かな情報の影響について運転者に直感的に把握させやすくすることができる。

（３ｂ）複数の自動運転情報には、自車両の前方、後方、左側方、及び右側方の領域からそれぞれ検出される自動運転情報が含まれる。そして、自動運転ＥＣＵ１は、領域ごとに低信頼情報が存在するかを判定し、周囲画像における各領域に対応する部分の表示態様を変更する。このような構成によれば、自車両が状況を認識できている領域と、自車両が状況を認識できていない領域と、があることを運転者は直感的に把握できる。よって、自動運転を実現する各種機能のうち、実行できる機能と、実行できない機能と、があることを運転者は直感的に把握できる。

例えば、周囲画像における左側方の領域に対応する部分は黒く塗りつぶされているが、周囲画像における前方の領域に対応する部分は黒く塗りつぶされていないような場合、自車両は自車両の左側方について状況を認識できない部分があるが、自車両の前方については状況を認識できている、ということを運転者は直感的に把握できる。よって、例えば、自動運転を実現する各種機能のうち、左車線への車線変更を自動で制御する機能は実行できない可能性があるが、先行車両との車間距離を維持する機能は実行できるだろうと、運転者は直感的に把握できる。

（３ｃ）自動運転ＥＣＵ１は、領域ごとに低信頼情報が存在するかを判定し、低信頼情報の種類が多いほど、周囲画像における各領域に対応する部分において、表示態様を変更する割合を大きくする。このような構成によれば、低信頼情報の種類が多いほど、黒く塗りつぶされる部分が増える。よって、自車両が状況を認識できている度合いを領域ごとに運転者は直感的に把握できる。

（３ｄ）自動運転ＥＣＵ１は、自車両画像を含む画像を周囲画像として表示領域に表示させ、領域ごとに自車両が状況を認識できている度合いに応じて、周囲画像の各領域に対応する部分における自車両画像と離れた側から段階的に表示態様を変更する。このような構成によれば、自車両が状況を認識できていないほど、自車両と離れた側から自車両に向かって、黒く塗りつぶされる部分が増える。換言すれば、自車両が状況を認識できていないほど、自車両の周りにおける黒く塗りつぶされない部分が少なくなる。つまり、自車両が状況を認識できている領域が段々狭くなるように表示される。よって、自車両が状況を認識できている度合いを領域ごとに運転者はより直感的に把握できる。また例えば、自車両の周りにおける黒く塗りつぶされない部分が少なくなるに従って、自車両が自動運転を継続することが難しくなってきているため、そろそろ自動運転から手動運転に切り替わるだろうといったことを、運転者は直感的に把握できる。

（３ｅ）自動運転ＥＣＵ１は、自車両の周囲の道路形状を模式化した画像に、自車両画像を重畳した画像を周囲画像として表示領域に表示させる。このような構成によれば、自動運転ＥＣＵ１は、自車両を中心とした自車両の周囲の状況が表示されているということを、自車両画像を重畳しない画像を周囲画像として表示させる場合と比較して、運転者に把握させやすくすることができる。

（３ｆ）自動運転ＥＣＵ１は、周囲画像における低信頼情報が影響する部分を、低信頼情報が影響しない場合の色よりも明度が低い色で表示させる。このような構成によれば、自動運転ＥＣＵ１は、明度が低い部分を、自車両が認識できていない部分として、運転者に直感的に把握させやすくすることができる。これにより、自動運転ＥＣＵ１は、当該部分について運転者に目視確認を促すことができる。

（３ｇ）自車両のスピードメータ用ディスプレイに周囲画像が表示される。このような構成によれば、運転者にとってより見やすい位置に周囲画像を表示できる。
なお、本実施形態では、自動運転ＥＣＵ１が表示制御装置に相当し、Ｓ１０６，Ｓ１０８，Ｓ１１０，Ｓ１１２，Ｓ１１４，Ｓ１１５が表示部としての処理に相当し、Ｓ１０４が算出部としての処理に相当し、Ｓ１０５，Ｓ１０７，Ｓ１０９，Ｓ１１１，Ｓ１１３が判定部としての処理に相当する。

［４．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

（４ａ）上記実施形態では、自動運転ＥＣＵ１は、各カメラ２ａ〜２ｄにより出力された各撮像画像と、各測距センサ３ａ〜３ｄにより出力された各測距情報と、車車間通信装置４により出力された各状況情報と、のそれぞれについて、信頼度を算出した。しかし、信頼度を算出する対象は、これに限定されるものではない。例えば、自動運転ＥＣＵ１は、各撮像画像、各測距情報、及び各状況情報に加えて、自動運転機能を実現するための他の情報について信頼度を算出してもよい。例えば、自動運転ＥＣＵ１は、自動運転機能を実現するための各ＥＣＵのＣＰＵ負荷率等について信頼度を算出してもよい。

また、自動運転ＥＣＵ１は、ナビゲーション装置５の地図データについて信頼度を算出してもよい。具体的には、例えば自動運転ＥＣＵ１は、各カメラ２ａ〜２ｄの各撮像領域に対応する地図データの各部分について、各カメラ２ａ〜２ｄの各撮像画像と地図データの各部分とが整合する度合いを信頼度として算出する。例えば、左カメラ２ｃの撮像画像が低信頼情報でない場合であって、左カメラ２ｃの撮像画像では２車線写っているにもかかわらず、地図データの左側方部分では１車線を示している場合、自動運転ＥＣＵ１は、地図データの左側方部分の信頼度を低く算出する。

（４ｂ）上記実施形態では、自動運転ＥＣＵ１は、周囲画像における低信頼情報が影響する部分について、透過性のある黒色で塗りつぶすように加工した。しかし、周囲画像における低信頼情報が影響する部分についての表示態様は、これに限定されるものではない。例えば、自動運転ＥＣＵ１は、周囲画像における低信頼情報が影響する部分について、透過性のある他の色で塗りつぶすように加工してもよい。また例えば、自動運転ＥＣＵ１は、周囲画像における低信頼情報が影響する部分について、透過性のない色で塗りつぶすように加工してもよい。また例えば、自動運転ＥＣＵ１は、周囲画像における低信頼情報が影響する部分について、塗りつぶすとともに、生じている影響についてのメッセージを表示してもよい。例えば、自動運転ＥＣＵ１は、図７の塗りつぶされた部分に、「前方検知不良。速度を落としてください。」というメッセージ等を表示したり、図９の塗りつぶされた部分に、「信頼度５０％」「車線変更できません」というメッセージ等を表示したりしてもよい。

（４ｃ）上記実施形態では、自動運転ＥＣＵ１は、周囲画像における低信頼情報が影響する部分を、３段階の塗りつぶし方で表現した。しかし、影響する度合いに応じた表示態様の変化は、これに限定されるものではない。例えば、自動運転ＥＣＵ１は、２段階又は４段階以上の多段階で塗りつぶし方を変化させてもよいし、複数段階とせず、影響する度合いに関わらず単に塗りつぶすよう変化させてもよい。

（４ｄ）上記実施形態では、自動運転ＥＣＵ１は、自動運転情報の中にある低信頼情報の種類が多さを基準とし、表示態様を変更した。しかし、低信頼情報が各領域へ影響する度合いを測る基準は、これに限定されるものではない。例えば、自動運転ＥＣＵ１は、各領域における各自動運転情報の信頼度の合計値に応じて表示態様を変更してもよい。具体的には、自動運転ＥＣＵ１は、信頼度の合計値が小さいほど、表示態様を変更する割合が大きくなるようにしてもよい。また例えば、自動運転ＥＣＵ１は、自動運転情報に重み付けをしておき、重みに応じて表示態様を変更してもよい。例えば、車車間通信装置４の各状況情報よりも各カメラ２ａ〜２ｄの各撮像画像の方が高く重み付けされている場合、各状況情報の中に低信頼情報が存在する場合よりも、各撮像画像の中に低信頼情報が存在する場合の方が、表示態様を変更する割合が大きくなるようにされてもよい。

（４ｅ）上記実施形態では、自動運転ＥＣＵ１は、自車両の周囲を、前方、後方、左側方、及び右側方の領域、すなわち、第１の領域、第２の領域、第３の領域、及び第４の領域として区分し、４つの領域からそれぞれ自動運転情報を検出した。しかし、自動運転情報を検出する範囲の区分は、これに限定されるものではない。例えば、自動運転ＥＣＵ１は、自車両の周囲を２つに区分、すなわち、第１の領域及び第２の領域に区分し、それぞれ自動運転情報を検出してもよい。

（４ｆ）上記実施形態では、全ての運転操作が運転者に代わって実行される自動運転における表示制御処理を例示した。しかし例えば、加減速操作や操舵操作など一部の運転操作のみが運転者に代わって実行される自動運転において表示制御処理が実行されてもよい。

（４ｇ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。

１…自動運転ＥＣＵ、６…表示装置、７１…ＣＰＵ。

Claims (7)

1. 運転者に代わって運転操作を実行可能な自動運転機能を備える車両に搭載される表示制御装置であって、
   前記車両の周囲の状況を示す周囲画像を、前記運転者の視認可能な位置に設けられた表示領域（６）に表示させるように構成された表示部（Ｓ１０６，Ｓ１０８，Ｓ１１０，Ｓ１１２，Ｓ１１４，Ｓ１１５）と、
   前記自動運転機能を実行するための情報であって前記車両の周囲から検出される情報である複数の自動運転情報のそれぞれについて、情報の確からしさを示す指標である信頼度を算出するように構成された算出部（Ｓ１０４）と、
   前記複数の自動運転情報の中に、前記信頼度が低下している低信頼情報が存在するかを判定する判定部（Ｓ１０５，Ｓ１０７，Ｓ１０９，Ｓ１１１，Ｓ１１３）と、
   を備え、
   前記表示部は、前記周囲画像における前記低信頼情報が影響する部分の表示態様を、前記低信頼情報が影響しない場合の表示態様とは異なる表示態様に変更する、表示制御装置。
2. 請求項１に記載の表示制御装置であって、
   前記複数の自動運転情報には、前記車両の周囲における第１の領域から検出される第１の自動運転情報と、前記車両の周囲における前記第１の領域とは異なる第２の領域から検出される第２の自動運転情報と、が含まれ、
   前記表示部は、前記低信頼情報に前記第１の自動運転情報が含まれる場合、前記周囲画像における前記第１の領域に対応する部分の表示態様を変更し、前記低信頼情報に前記第２の自動運転情報が含まれる場合、前記周囲画像における前記第２の領域に対応する部分の表示態様を変更する、表示制御装置。
3. 請求項２に記載の表示制御装置であって、
   前記表示部は、前記低信頼情報に前記第１の自動運転情報が含まれる場合、前記低信頼情報が前記第１の領域へ影響する度合いが大きいほど、前記周囲画像における前記第１の領域に対応する部分において、表示態様を変更する割合を大きくし、前記低信頼情報に前記第２の自動運転情報が含まれる場合、前記低信頼情報が前記第２の領域へ影響する度合いが大きいほど、前記周囲画像における前記第２の領域に対応する部分において、表示態様を変更する割合を大きくする、表示制御装置。
4. 請求項３に記載の表示制御装置であって、
   前記表示部は、
   前記車両を示す自車両画像を含む画像を前記周囲画像として前記表示領域に表示させ、
   前記低信頼情報に前記第１の自動運転情報が含まれる場合、前記低信頼情報が前記第１の領域へ影響する度合いに応じて、前記周囲画像の前記第１の領域に対応する部分における前記自車両画像と離れた側から段階的に表示態様を変更し、前記低信頼情報に前記第２の自動運転情報が含まれる場合、前記低信頼情報が前記第２の領域へ影響する度合いに応じて、前記周囲画像の前記第２の領域に対応する部分における前記自車両画像と離れた側から段階的に表示態様を変更する、表示制御装置。
5. 請求項１から請求項４までのいずれか１項に記載の表示制御装置であって、
   前記表示部は、前記車両の周囲の道路形状を模式化した画像に、前記車両を示す自車両画像を重畳した画像を前記周囲画像として前記表示領域に表示させる、表示制御装置。
6. 請求項１から請求項５までのいずれか１項に記載の表示制御装置であって、
   前記表示部は、前記周囲画像における前記低信頼情報が影響する部分を、前記低信頼情報が影響しない場合の色よりも明度が低い色で表示させる、表示制御装置。
7. 請求項１から請求項６までのいずれか１項に記載の表示制御装置であって、
   前記表示領域は、前記車両のスピードメータ用ディスプレイである、表示制御装置。

Images