JP2019087100A

JP2019087100A - 車両用表示制御装置

Info

Publication number: JP2019087100A
Application number: JP2017215717A
Authority: JP
Inventors: 聖史森; Satoshi Mori
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2017-11-08
Filing date: 2017-11-08
Publication date: 2019-06-06

Abstract

【課題】視界における前方の車両によって遮られる部分を低減することができる車両用表示制御装置を得る。【解決手段】制御ＥＣＵ３０は、前方車両１２により取得された前方車両１２の前方視界の画像、又は前方車両１２よりも前の車両により取得された前方車両１２よりも前の車両の前方視界の画像を示す画像データを取得し、車両１０のウィンドウの前方車両１２により前方視界が遮られた部分に、取得した画像データが示す画像の前方車両１２により前方視界が遮られた部分に対応する画像を表示する制御を行う。【選択図】図３

Description

本発明は、車両用表示制御装置に関する。

特許文献１には、車両前方の死角の映像を、ウィンドウから連続する位置に設けられた表示装置に表示する技術が開示されている。

特開２０１３−７１６９９号公報

ところで、自車両の前方に車両が存在する場合、その前方の車両によって運転者の前方視界が遮られてしまう場合がある、という問題がある。特許文献１に記載の技術では、この問題については考慮されていない。

本発明は、以上の事実を考慮して成されたもので、視界における前方の車両によって遮られる部分を低減することを目的とする。

上記目的を達成するために、請求項１に記載の発明は、前方車両により取得された前記前方車両の前方視界の画像、又は前記前方車両よりも前の車両により取得された前記前の車両の前方視界の画像を示す画像データを取得する取得部と、自車両のウィンドウの前記前方車両により前方視界が遮られた部分に、前記画像データが示す画像の前記前方視界が遮られた部分に対応する画像を表示する制御を行う表示制御部と、を備えている。

請求項１に記載の発明によれば、取得部により、前方車両により取得された前方車両の前方視界の画像、又は前方車両よりも前の車両により取得された前方車両よりも前の車両の前方視界の画像を示す画像データが取得される。そして、表示制御部により、自車両のウィンドウの前方車両により前方視界が遮られた部分に、取得された画像データが示す画像の前方車両により前方視界が遮られた部分に対応する画像を表示する制御が行われる。従って、視界における前方の車両によって遮られる部分を低減することができる。

以上説明したように、本発明によれば、視界における前方の車両によって遮られる部分を低減することができる、という効果が得られる。

実施形態に係る車両及び前方車両の一例を示す側面図である。実施形態に係る車両の乗員の前方視界の一例を示す正面図である。実施形態に係る車両及び前方車両の構成の一例を示すブロック図である。実施形態に係る表示制御処理の一例を示すフローチャートである。

以下、図面を参照して、本発明を実施するための形態例を詳細に説明する。

まず、実施形態の詳細を説明する前に、本実施形態の概要について説明する。図１に示すように、車両１０の前方に位置する前方車両１２がトラック等の車高が比較的高い車両の場合、図２に示すように、車両１０の乗員の前方視界が比較的広い範囲に亘って遮られる。そこで、以下の実施形態では、車両１０の車載カメラにより撮影される前方視界Ｂを示す画像に、前方車両１２の車載カメラにより撮影される前方視界Ａを示す画像を合成することによって、車両１０の前方視界における前方車両１２によって遮られる部分を低減する。なお、前方車両１２は、トラック等に限定されず、乗用車等の車両でもよい。また、前方車両１２は、車両１０の直前の１台の車両に限定されない。前方車両１２は、車両１０の前に連なる複数台の車両でもよい。

次に、図３を参照して、本実施形態に係る車両１０及び前方車両１２の構成を説明する。図３に示すように、前方車両１２は、制御ＥＣＵ２０（Electronic Control Unit）、車載カメラ２２、ディスプレイ２４、周辺監視センサ２６、及び通信デバイス２８を備えている。

制御ＥＣＵ２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等を含むマイクロコンピュータで構成されている。また、制御ＥＣＵ２０には、車載カメラ２２、ディスプレイ２４、周辺監視センサ２６、及び通信デバイス２８が接続されている。

車載カメラ２２は、ＣＣＤ（Charge-Coupled Device）イメージセンサ等のイメージセンサを含んで構成され、自車両の前方視界の画像を撮影し、撮影して得られた画像データを制御ＥＣＵ２０に出力する。

ディスプレイ２４は、制御ＥＣＵ２０による制御によって、画像を表示する。周辺監視センサ２６は、自車両周辺の物体を検出するためのセンサであり、自車両と物体との距離に応じた信号を制御ＥＣＵ２０に出力する。周辺監視センサ２６の例としては、ミリ波レーダやライダー（LIDER：Laser Imaging Detection and Ranging）等が挙げられる。

通信デバイス２８は、無線通信を行うためのアンテナ素子、Ａ／Ｄ（Analog-to-Digital）変換器、及びＤ／Ａ（Digital-to-Analog）変換器等を含み、自車両が他の車両と無線通信を行う際に用いられる。

本実施形態に係る制御ＥＣＵ２０は、車載カメラ２２を制御し、予め定められたフレームレートで車載カメラ２２により撮影されて得られた自車両の前方視界を示す画像データを取得する。また、制御ＥＣＵ２０は、取得した画像データに、画像データを取得した時点での車載カメラ２２の位置情報（例えば、緯度、経度、及び高さ）を付与する。この位置情報は、例えば、ＧＰＳ（Global Positioning System）等によって得ることができる。

更に、制御ＥＣＵ２０は、画像データを取得した際に、自車両の前方に他の車両が存在するか否かに応じて、取得した画像データに、自車両の前方に他の車両が存在するか否かを示す車両有無情報を付与する。例えば、制御ＥＣＵ２０は、周辺監視センサ２６から入力された信号により示される自車両と自車両の前方の他の車両との距離が、所定値未満であるか否かを判定することによって、自車両の前方に他の車両が存在するか否かを判定する。なお、以下では、車載カメラ２２により撮影されて得られた画像データに、制御ＥＣＵ２０により車載カメラ２２の位置情報及び上記車両有無情報が付与されたデータを「前方車両画像データ」という。

そして、制御ＥＣＵ２０は、前方車両画像データが得られるたびに、前方車両画像データを、通信デバイス２８を介して、無線通信によってブロードキャストする。なお、制御ＥＣＵ２０は、所定回数に一回、前方車両画像データを、通信デバイス２８を介して、無線通信によってブロードキャストしてもよい。

また、図３に示すように、車両１０は、制御ＥＣＵ３０、車載カメラ３２、前面ディスプレイ３４、周辺監視センサ３６、及び通信デバイス３８を備えている。

制御ＥＣＵ３０は、ＣＰＵ、ＲＯＭ、及びＲＡＭ等を含むマイクロコンピュータで構成されている。また、制御ＥＣＵ３０には、車載カメラ３２、前面ディスプレイ３４、周辺監視センサ３６、及び通信デバイス３８が接続されている。また、本実施形態に係る車両１０は、制御ＥＣＵ３０による制御によって自動運転が可能とされている。

車載カメラ３２は、ＣＣＤイメージセンサ等のイメージセンサを含んで構成され、自車両の前方視界の画像を撮影し、撮影して得られた画像データを制御ＥＣＵ３０に出力する。

前面ディスプレイ３４は、制御ＥＣＵ３０による制御によって、自車両のフロントウィンドウに画像を表示する。周辺監視センサ３６は、自車両周辺の物体を検出するためのセンサであり、自車両と物体との距離に応じた信号を制御ＥＣＵ３０に出力する。周辺監視センサ３６の例としては、ミリ波レーダやライダー等が挙げられる。

通信デバイス３８は、無線通信を行うためのアンテナ素子、Ａ／Ｄ変換器、及びＤ／Ａ変換器等を含み、自車両が他の車両と無線通信を行う際に用いられる。

次に、図４を参照して、本実施の形態に係る車両１０の作用について説明する。なお、図４は、本実施の形態に係る車両１０の制御ＥＣＵ３０で実行される表示制御処理の流れの一例を示すフローチャートである。また、本実施の形態では、図４に示す表示制御処理は、ＲＯＭに予め記憶されたプログラムを制御ＥＣＵ３０が実行することにより実行される。また、図４に示す制御処理は、例えば、車両１０の自動運転が開始された場合に実行される。また、図４に示す制御処理は、車両１０の乗員により実行開始の指示が入力された場合に実行されてもよい。また、本実施形態では、図４に示す表示制御処理と並行して、車両１０と無線通信が可能なエリア内に位置する前方車両１２から送信された前方車両画像データを制御ＥＣＵ３０が受信する処理が実行されているものとする。

図４のステップＳ１０で、制御ＥＣＵ３０は、車載カメラ３２を制御し、車載カメラ３２により撮影されて得られた自車両の前方視界の画像を示す画像データ（以下、「自車両画像データ」という）を取得する。また、制御ＥＣＵ３０は、自車両画像データを取得する際に、例えば、ＧＰＳによって車載カメラ３２の位置情報（例えば、緯度、経度、及び高さ）も取得する。

ステップＳ１２で、制御ＥＣＵ３０は、周辺監視センサ３６の出力信号を取得する。ステップＳ１４で、制御ＥＣＵ３０は、自車両の前方に前方車両１２が存在するか否かを判定する。例えば、制御ＥＣＵ３０は、ステップＳ１２で取得された出力信号により示される自車両と自車両の前方の他の車両との距離が、所定値未満であるか否かを判定することによって、自車両の前方に前方車両１２が存在するか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ１６に移行する。なお、例えば、制御ＥＣＵ３０は、ステップＳ１０で取得された自車両画像データに対して車両の輪郭を抽出する処理等の画像処理を行い、この画像処理の結果によって、自車両の前方に前方車両１２が存在するか否かを判定してもよい。

ステップＳ１６で、制御ＥＣＵ３０は、ステップＳ１０で取得された自車両画像データに対して前面ディスプレイ３４に整合させるための画像処理（例えば、拡大、縮小、回転、及びトリミング等）を行って得られた自車両の前方視界の画像を前面ディスプレイ３４に表示する制御を行う。ステップＳ１６の処理が終了すると、処理はステップＳ２４に移行する。

一方、ステップＳ１４の判定が肯定判定となった場合は、処理はステップＳ１８に移行する。ステップＳ１８で、制御ＥＣＵ３０は、直近に受信した前方車両画像データのうち、自車両の直前に位置する前方車両１２により取得された前方車両画像データを取得する。例えば、制御ＥＣＵ３０は、ステップＳ１０で取得された位置情報と前方車両画像データに含まれる位置情報との差から、自車両の直前に位置する前方車両１２により取得された前方車両画像データを特定する。なお、後述するステップＳ２０の判定が肯定判定となってステップＳ１８がＮ回目（Ｎは２以上の整数）に実行される場合は、制御ＥＣＵ３０は、直近に受信した前方車両画像データのうち、自車両のＮ台前に位置する前方車両１２により取得された前方車両画像データを取得する。

ステップＳ２０で、制御ＥＣＵ３０は、直前のステップＳ１８の処理により取得された前方画像データに含まれる車両有無情報から、当該前方画像データを取得した前方車両１２の前方に他の車両が存在するか否かを判定する。この判定が肯定判定となった場合は、処理はステップＳ１８に戻り、否定判定となった場合は、処理はステップＳ２２に移行する。

すなわち、ステップＳ１８及びステップＳ２０の処理により、制御ＥＣＵ３０は、自車両の前方に位置する前方車両１２が１台の場合は、その前方車両１２により取得された前方車両画像データを取得する。また、制御ＥＣＵ３０は、自車両の前方に位置する前方車両１２が複数台の場合は、その前方車両１２群の先頭に位置する前方車両１２により取得された前方車両画像データを取得する。なお、制御ＥＣＵ３０は、自車両の前方に位置する前方車両１２が複数台の場合に、先頭ではなく予め定められた所定台数前の前方車両１２により取得された前方車両画像データを取得してもよい。

ステップＳ２２で、制御ＥＣＵ３０は、フロントウィンドウの前方車両１２により前方視界が遮られた部分に、前方車両画像データが示す画像の前方車両１２により前方視界が遮られた部分に対応する画像を表示する制御を行う。具体的には、例えば、制御ＥＣＵ３０は、ステップＳ１０で取得された自車両画像データが示す画像（以下、「自車両画像」という）、及びステップＳ１８で取得された前方車両画像データが示す画像（以下、「前方車両画像」という）の各々から特徴点を抽出する処理を行い、各特徴点を対応付ける。また、制御ＥＣＵ３０は、対応付けた特徴点の自車両画像及び前方車両画像の各画像内の位置と、前方車両画像データに含まれる位置情報と、ステップＳ１０で取得された位置情報との各情報に基づいて、以下に示す処理を行う。

すなわち、この場合、制御ＥＣＵ３０は、上記各情報に基づいて、前方車両画像に対して拡大、縮小、回転、及び位置合わせ等の少なくとも１つの画像処理を行うことによって、自車両画像に合わせた前方車両画像を生成する。また、制御ＥＣＵ３０は、自車両画像から、自車両画像と生成した前方車両画像との差分である前方車両１２に対応する部分を抽出する。

また、制御ＥＣＵ３０は、自車両画像における抽出した前方車両１２に対応する部分に、前方車両画像の対応する部分を合成した合成画像を生成する。すなわち、合成画像は、自車両画像の前方車両１２に対応する部分が透明化された画像となる。そして、制御ＥＣＵ３０は、生成した合成画像を前面ディスプレイ３４に表示する。

ステップＳ２４で、制御ＥＣＵ３０は、予め定められた終了タイミングが到来したか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ１０に戻り、肯定判定となった場合は、表示制御処理が終了する。なお、この終了タイミングの例としては、車両１０の自動運転が終了するタイミング、及び車両１０の乗員により実行開始の指示が入力されたタイミング等が挙げられる。

以上説明したように、本実施形態によれば、車両１０のフロントウィンドウの前方車両１２により前方視界が遮られた部分に、前方車両画像データが示す画像の対応する部分を表示する制御を行っている。従って、視界における前方の車両によって遮られる部分を低減することができる。

なお、上記実施形態では、車両１０の前方に前方車両１２が位置する際に、合成画像を前面ディスプレイ３４に表示する場合について説明したが、これに限定されない。例えば、自車両画像における車両１０の前方視界の所定の割合以上が前方車両１２によって遮られている場合に、合成画像を前面ディスプレイ３４に表示する形態としてもよい。

また、上記実施形態における制御ＥＣＵ３０により行われる処理は、プログラムを実行することにより行われるソフトウェア処理として説明したが、ハードウェアで行われる処理としてもよい。また、制御ＥＣＵ３０により行われる処理は、ソフトウェア及びハードウェアの双方を組み合わせて行われる処理としてもよい。また、ＲＯＭに記憶されるプログラムは、各種記憶媒体に記憶して流通させてもよい。

また、本発明は、上記の形態例に限定されるものではなく、上記の形態例以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

１０車両
１２前方車両
３０制御ＥＣＵ（取得部、表示制御部）
３２車載カメラ
３４前面ディスプレイ
３６周辺監視センサ
３８通信デバイス

Claims

前方車両により取得された前記前方車両の前方視界の画像、又は前記前方車両よりも前の車両により取得された前記前の車両の前方視界の画像を示す画像データを取得する取得部と、
自車両のウィンドウの前記前方車両により前方視界が遮られた部分に、前記画像データが示す画像の前記前方視界が遮られた部分に対応する画像を表示する制御を行う表示制御部と、
を備えた車両用表示制御装置。