JP2016215726A - 車両周辺表示装置、車両周辺表示方法 - Google Patents

車両周辺表示装置、車両周辺表示方法 Download PDF

Info

Publication number
JP2016215726A
JP2016215726A JP2015100162A JP2015100162A JP2016215726A JP 2016215726 A JP2016215726 A JP 2016215726A JP 2015100162 A JP2015100162 A JP 2015100162A JP 2015100162 A JP2015100162 A JP 2015100162A JP 2016215726 A JP2016215726 A JP 2016215726A
Authority
JP
Japan
Prior art keywords
image
display
vehicle
area
peripheral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015100162A
Other languages
English (en)
Inventor
大貴 五藤
Hirotaka Goto
大貴 五藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2015100162A priority Critical patent/JP2016215726A/ja
Priority to PCT/JP2016/002214 priority patent/WO2016185677A1/ja
Publication of JP2016215726A publication Critical patent/JP2016215726A/ja
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】表示装置の数をむやみに増大させることなく、車両の外部周辺領域における複数の領域の映像等をわかりやすく運転者に提示可能な技術を提供する。
【解決手段】車両周辺表示装置は、画像取得手段と、画像表示手段と、状況判定手段と、表示領域変更手段と、を備える。画像取得手段は、車両の外部周辺領域において互いに異なる第1領域及び第2領域をそれぞれ撮像した第1周辺画像及び第2周辺画像を取得する。画像表示手段は、画像取得手段により取得した第1周辺画像及び第2周辺画像を、車室内に設けられた表示装置7,8の一つの画面に表示させる。状況判定手段は、車両の走行状況を判定する。表示領域変更手段は、表示装置の表示画面のうち、第1周辺画像が表示される領域を主表示領域、第2周辺画像が表示される領域を副表示領域とし、状況判定手段による判定結果に応じて、所定の走行状況条件が成立した場合、画像表示手段に副表示領域を拡大させる。
【選択図】図8

Description

本発明は、車両の外部周辺領域の映像等を表示する技術に関する。
従来、車両における左右一対のフロントピラーの内側にディスプレイをそれぞれ設け、フロントピラーで運転者の視界が遮られることにより生じる車両外の死角領域の映像をディスプレイに表示する技術が提案されている(特許文献1参照)。
国際公開2009/157446号公報
ところで、昨今では、コストや車室内デザイン等の観点から、ディスプレイの数をなるべく減少させることが望まれている。また、車両の外部周辺領域の映像等を表示する構成においては、死角領域に限らず、複数の領域の映像等を運転者に提示することが望まれている。
しかしながら、従来技術では、例えばピラーが透過しているように死角領域の映像をわかりやすく運転者に提示しようとすると、ピラーに沿うように専用のディスプレイを配置しなければならない等の制約があるため、一つのディスプレイに複数の領域の映像等を運転者に提示することが困難である、という問題があった。
本発明は、こうした問題にかんがみてなされたものであり、表示装置の数をむやみに増大させることなく、車両の外部周辺領域における複数の領域の映像等をわかりやすく運転者に提示可能な技術を提供することを目的としている。
本発明の一局面である車両周辺表示装置は、画像取得手段と、画像表示手段と、状況判定手段と、表示領域変更手段と、を備える。画像取得手段は、車両の外部周辺領域において互いに異なる第1領域及び第2領域をそれぞれ撮像した第1周辺画像及び第2周辺画像を取得する。
画像表示手段は、画像取得手段により取得した第1周辺画像及び第2周辺画像を、車両の室内に設けられた表示装置の一つの画面に表示させる。状況判定手段は、車両の走行状況を判定する。
表示領域変更手段は、表示装置の表示画面のうち、第1周辺画像が表示される領域を主表示領域、第2周辺画像が表示される領域を副表示領域とし、状況判定手段による判定結果に応じて、所定の走行状況条件が成立した場合、画像表示手段に副表示領域を拡大させる。
このような構成によれば、表示画面において複数の周辺画像に主従関係を持たせて表示させることにより、車両の外部周辺領域のうち各領域に対応する画像部分を運転者に直感的に知らしめることが可能となる。さらに車両の走行状況に応じて副表示領域が拡大されることにより、走行シーンに応じて確認する必要性が高くなった領域を運転者に瞬時に理解させ、且つ、その領域の画像を運転者に視認性よく提示することが可能となる。従って、本発明によれば、表示装置の数をむやみに増大させることなく、車両の外部周辺領域における複数の領域の映像等をわかりやすく運転者に提示することができる。
また、本発明の一局面である周辺領域表示方法によれば、上記同様の理由により、本発明の一局面である周辺領域表示装置において既に述べた効果と同様の効果を得ることができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
車両周辺表示装置1の全体構成を示すブロック図である。 車両周辺表示装置1を搭載した車両の上面図である。 車両周辺表示装置1を搭載した車両の室内の様子を示した図である。 ECU2の機能的構成を示すブロック図である。 画像生成処理のフローチャートである。 図6Aは輪郭線重畳画像を含む境界可視化画像を示す図、図6Bは透過重畳画像を含む境界可視化画像を示す図である。 表示制御処理のフローチャートである。 左ディスプレイ7の表示例において、図8Aは副表示領域を縮小表示させた場合を示す図、図8Bは副表示領域を拡大表示させた場合を示す図である。 右ディスプレイ6の表示例において、図9Aは副表示領域を縮小表示させた場合を示す図、図9Bは副表示領域を拡大表示させた場合を示す図である。 第2実施形態における画像生成処理のフローチャートである。 マスク重畳画像を含む境界可視化画像を示す図である。
以下、本発明が適用された実施形態について、図面を用いて説明する。
[1.第1実施形態]
[1−1.構成]
[1−1−1.全体構成]
図1に示す車両周辺表示装置1は、ECU(Electronic Control Unit)2と、後側方カメラ3と、前側方カメラ4と、ADASロケータ5と、右ディスプレイ6と、左ディスプレイ7と、車速センサ8と、方向指示器9と、明るさ検出部15と、ドライバカメラ18と、ボデー形状DB(Data Base)19と、を備える。
後側方カメラ3は、図2に示す車両の右側部及び左側部においてサイドミラーが通常設置される位置付近に搭載されており、車両の後側方領域(第1領域に相当する)をそれぞれ撮像する右後カメラ3A及び左後カメラ3Bによって構成されている。右後カメラ3A及び左後カメラ3Bは、CMOSカメラ等によって各々構成されており、撮像画角Gの範囲内における領域(すなわち、後側方領域)を撮像し、撮像した画像(以下「第1周辺画像」という)をECU2へ出力する。なお、車両にはサイドミラーが設置されておらず、ディスプレイ6,7が第1周辺画像を表示することにより、後側方カメラ3と共にいわゆる電子ミラーを構成している。
前側方カメラ4は、右フロントピラー31及び左フロントピラー32の死角領域を含む車両の前側方領域(第2領域に相当する)をそれぞれ撮像する右前カメラ4A及び左前カメラ4Bによって構成されている。死角領域とは、左右のフロントピラー31,32を含む車両フレームで運転者の視界が遮られることにより生じる車両外の周辺領域のことである。右前カメラ4A及び左前カメラ4Bは、CMOSカメラ等によって各々構成されており、撮像画角Fの範囲内における領域(すなわち、前側方領域)を撮像し、撮像した画像(以下「第2周辺画像」という)をECU2へ出力する。なお、以下では、前側方領域のうち、死角領域以外の他の領域を隣接領域、死角領域と隣接領域との境界を死角領域境界と称する。
図1に戻り、ECU2は、装置全体の制御を行う電子制御ユニットである。ECU2は、CPU10を主体として構成され、ROMやRAMやフラッシュメモリ等のメモリ11、入力信号回路、出力信号回路、電源回路等を備えている。ECU2では、CPU10がメモリ11に記憶されたプログラムに基づいて、後側方カメラ3及び前側方カメラ4から第1周辺画像及び第2周辺画像をそれぞれ取得し、取得した左右各周辺画像についてそれぞれ左右ディスプレイ6,7の表示領域を設定する等の各種処理を実施する。
右ディスプレイ6及び左ディスプレイ7は、ECU2により設定された表示領域において第1周辺画像及び第2周辺画像をそれぞれ表示する機能を有している。例えば、右ディスプレイ6は、図3に示すように、車両の室内において右フロントピラー31の付近に設けられた液晶ディスプレイ等により構成されており、右後カメラ3Aの第1周辺画像と右前カメラ4Aの第2周辺画像とを表示する。同様に、左ディスプレイ7は、車両の室内において左フロントピラー32の付近に設けられた液晶ディスプレイ等により構成されており、左後カメラ3Bの第1周辺画像と左前カメラ4Bの第2周辺画像を表示する。
ADASロケータ5は、アドバンスド・ドライバ・アシスタンス・システムに使用される周知のものであり、全地球測位システム(いわゆるGPS)等を利用して車両の現在位置を検出する。また、ADASロケータ5は、緯度や経度等の位置情報に対応づけて道路地図情報を含む地図データベース(DB)を有する。道路地図情報は、道路を構成するリンクのリンク情報と、リンクとリンクを接続するノードのノード情報とを対応づけたテーブル状のDBである。リンク情報にはリンク長、幅員、接続ノード、カーブ情報等が含まれるため、道路地図情報を用いて道路形状を検出することができる。
なお、車速センサ8は、車輪の回転速度に基づき自車速を検出する周知のものとして構成されており、その検出結果をECU2へ出力する。また、方向指示器9は、車両の右左折や進路変更の際に、運転者のウインカー操作によってその方向を周囲に示すための周知のものであり、運転者のウインカー操作を検出すると、その検出結果をECU2へ出力する。また、明るさ検出部15は、車両外の明るさを検出する照度センサ等により構成されており、その検出結果をECU2へ出力する。
ドライバカメラ18は、運転者の目を含む顔領域を撮像するように車室内に配置されている。ドライバカメラ18は、周知の視線検出技術を利用して、撮像画像内における運転者の目のうち、例えば目頭や角膜反射等を基準点、虹彩や瞳孔等を動点として各々3次元位置を検出し、基準点に対する動点の位置に基づいて運転者の視線を検出する。基本的には、例えば左目の虹彩が目頭から離れていれば、運転者は左側を見ており、左目の目頭と虹彩が近ければ、運転者は右側を見ていることになる。このような基本原理を応用することにより、基準点に対する動点の3次元相対位置から、運転者の視線方向を3次元空間で求めることができる。ドライバカメラ18は、こうして検出した運転者の目の位置と視線方向とを示す情報(以下「ドライバカメラ情報」という)をECU2へ出力する。
ボデー形状DB19は、車両のボデーを構成するフロントピラー等のフレームの各パーツに関する3次元位置を示すボデー形状データを格納している。なお、ボデー形状DB19は、メモリ11内に構築されていてもよい。
[1−1−2.機能的構成]
次に、ECU2の機能的構成について、図4のブロック図を用いて説明する。
ECU2は、画像取得部21と、画像生成部22と、画像表示部23と、状況判定部24と、表示領域変更部25と、を機能的に備えている。なお、画像取得部21、画像生成部22、画像表示部23、状況判定部24及び表示領域変更部25としての各機能を実現するための処理は、メモリ11に記憶されたプログラムに基づき、CPU10によって実行される。
画像取得部21は、右後カメラ3A、右前カメラ4A、左後カメラ3B、左前カメラ4Bのそれぞれから第1周辺画像及び第2周辺画像をそれぞれ時系列に沿って取得し、取得した各周辺画像のうち、第1周辺画像を画像表示部23に供給し、第2周辺画像を画像生成部22に供給する。
画像生成部22は、右前カメラ4A及び左前カメラ4Bのそれぞれについて、画像取得部21から供給された第2周辺画像を元画像として、車両の前側方領域のうちの死角領域と隣接領域との死角領域境界を可視化させた画像(以下「境界可視化画像」という)を生成する処理(以下「画像生成処理」という)を実行し、生成した境界可視化画像のそれぞれを時系列に沿って画像表示部23に供給する。
画像表示部23は、右後カメラ3A及び左後カメラ3Bのそれぞれについて画像取得部21から時系列に沿って供給された第1周辺画像と、右前カメラ4A及び左前カメラ4Bのそれぞれについて画像生成部22から時系列に沿って供給された境界可視化画像と、を映像として、右ディスプレイ6及び左ディスプレイ7に各々表示する。具体的には、右カメラ3A,4Aに対応する第1周辺映像及び境界可視化映像を右ディスプレイ6に表示し、左カメラ3B,4Bに対応する第1周辺映像及び境界可視化映像を左ディスプレイ7に表示する。
[1−2.処理]
[1−2−1.画像生成処理]
次に、画像生成部22が実行する画像生成処理について、図5のフローチャートを用いて説明する。なお、本処理は、例えば車両周辺表示機能に関する起動や停止の操作内容を入力するスイッチ(不図示)がオンである間、所定サイクル毎に繰り返し起動される。また、本処理では、煩雑さを避けるため、右前カメラ4Aと左前カメラ4Bを特に区別することなく、処理対象を画像取得部21から供給された第2周辺画像として説明する。
本処理が起動すると、画像生成部22は、まず、ステップ(以下単に「S」と記す)110において、ドライバカメラ18からドライバカメラ情報を取得する。
続いて、S120では、ボデー形状DB19からボデー形状データを読み出す。
次に、S130では、運転者の目の位置とフロントピラーの位置との位置関係に基づき、運転者が車両の前側方領域を見たときの死角領域を第2周辺画像上において設定する。なお、運転者の目の位置についてはドライバカメラ情報から読み出し、フロントピラーの位置についてはボデー形状データから抽出する。具体的には、前側方カメラ4のカメラパラメータを用いて、運転者の目の位置からフロントピラーの位置までのベクトルに対応する死角領域を、ワールド座標からカメラ画像に変換する。このとき、運転者の視線方向に基づいてベクトルを補正することもできる。
続いて、S140では、第2周辺画像上において死角領域境界に対応する輪郭線画像を重畳させることにより、図6Aに示す輪郭線重畳画像を生成する。この輪郭線画像としては、第2周辺画像の死角領域境界を透過させるものが好ましく、色相、明度、彩度、輝度等の画像属性が予めデフォルト値に設定されたものが用いられる。
次に、S150では、第2周辺画像上において死角領域に対応する透過画像を重畳させることにより、図6Bに示す透過重畳画像を生成する。具体的には、第2周辺画像の死角領域部分に周知のフィルタ処理を施すことにより、透過重畳画像を生成する。この透過画像としては、フロントピラーを含むフレーム部分を運転者に想起させるように、車両ボデーの色や半透明のアクリルを模擬した色を有するものが好ましく、周辺画像の死角領域部分を透過させるためのデフォルト値に画像属性を予め設定したものが用いられる。
続いて、S160では、輪郭線重畳画像及び透過重畳画像の画像属性を変更する属性変更処理を実施し、属性変更処理を施した輪郭線重畳画像及び透過重畳画像を含む第2周辺画像(つまり、境界可視化画像)を画像表示部23に供給し、本処理を終了する。
例えば、属性変更処理では、車両周辺領域の明るさに応じて、輪郭線重畳画像及び透過重畳画像のそれぞれに関する明度及び/又は輝度を変更する。具体的には、明るさ検出部15の検出結果に基づき、車両周辺領域の照度が低い場合には、輪郭線重畳画像及び透過重畳画像のそれぞれに関する明度及び/又は輝度を高くし、車両周辺領域の照度が高い場合には、輪郭線重畳画像及び透過重畳画像のそれぞれに関する明度及び/又は輝度を低くする。
また例えば、属性変更処理では、第2周辺画像に対してコントラストが高くなるように輪郭線重畳画像及び透過重畳画像のそれぞれに関する画像属性を変更する。具体的には、画像取得部21から供給された第2周辺画像に関する色相、明度、彩度及び/又は輝度が低い場合には、輪郭線重畳画像及び透過重畳画像のそれぞれに関する色相、明度、彩度及び/又は輝度を高くする。また、画像取得部21から供給された第2周辺画像に関する色相、明度、彩度及び/又は輝度が高い場合には、輪郭線重畳画像及び透過重畳画像のそれぞれに関する色相、明度、彩度及び/又は輝度を低くする。
[1−2−2.表示制御処理]
次に、状況判定部24及び表示領域変更部25が実行する表示制御処理について、図7のフローチャートを用いて説明する。なお、本処理は、例えば車両周辺表示機能に関する起動や停止の操作内容を入力するスイッチ(不図示)がオンである間、所定サイクル毎に繰り返し起動される。また、本処理では、煩雑さを避けるため、右ディスプレイ6と左ディスプレイ7を特に区別することなく、制御対象を画像表示部23により表示される第1周辺映像及び境界可視化映像の各表示領域として説明する。
本処理が起動すると、状況判定部24は、まず、S210において、車速センサ8の検出結果に基づいて、自車速が所定のしきい値以下であるか否かを判断する。しきい値は、車両が交差点等において右左折する場合に徐行する上限速度を目安として予め設定されている。自車速がしきい値以下であると判断した場合には、S220に移行し、自車速がしきい値を上回ると判断した場合には、S230に移行する。
S220では、状況判定部24は、方向指示器9の検出結果に基づいて、左右いずれかのウインカー操作がなされたか否か、つまり、方向指示器9がオン状態であるか否かを判断する。方向指示器9がオン状態であると判断した場合には、S240に移行し、方向指示器9がオフ状態であると判断した場合には、S230に移行する。
このように、S210〜S220では、車両が右左折しようとしているか否かを判定し、車両が右左折しようとしていると判定した場合には、S240に移行し、車両が右左折しようとしていないと判定した場合には、S230に移行するようにしている。
次に、S230では、状況判定部24は、車両がカーブ走行しようとしているか否かを判定し、車両がカーブ走行しようとしていると判定した場合には、S240に移行し、車両がカーブ走行しようとしていないと判定した場合には、S250に移行する。具体的には、状況判定部24は、例えばADASロケータ5の地図情報及び車両位置情報に基づいて、車両前方の道路形状がカーブ形状であると判断した場合に、車両がカーブ走行しようとしていると判定することができる。
一方、表示領域変更部25は、状況判定部24による判定結果に応じて、画像表示部23により表示される第1周辺映像及び境界可視化映像の各表示領域を変更する処理を実施する。具体的には、車両が右左折しようとしていること、及び、車両がカーブ走行しようとしていること、のいずれか一方の走行状況条件が成立した場合、S240の処理を行い、いずれの走行状況条件も成立していない場合、S250の処理を行う。
S240では、表示領域変更部25は、画像表示部23により表示される表示画面のうち、第1周辺映像が表示される領域を主表示領域、境界可視化映像(つまり、第2周辺映像)が表示される領域を副表示領域とし、画像表示部23に副表示領域を拡大表示させる指令を送る。例えば、車両が左折又は左にカーブ走行しようとしている場合、図8Aに示す左ディスプレイ7の右上端部に配置された副表示領域を、図8Bに示すように左下方に対角線が延びるように拡大表示させる。また例えば、車両が右折又は右にカーブ走行しようとしている場合には、同様に、右ディスプレイ6の右上端部に配置された副表示領域を左下方に対角線が延びるように拡大表示させる。
S250では、表示領域変更部25は、画像表示部23により表示される表示画面のうち、第1周辺映像が表示される領域を主表示領域、境界可視化映像(つまり、第2周辺映像)が表示される領域を副表示領域とし、画像表示部23に副表示領域を縮小表示させる指令を送る。例えば、左折及び左カーブ走行に関するいずれの走行状況条件にも該当しない場合には、図8Bに示す左ディスプレイ7に配置された副表示領域を、図8Aに示すように右上端部に縮小表示させる。また例えば、右折又は右カーブ走行に関するいずれの走行状況条件にも該当しない場合には、同様に、右ディスプレイ6に配置された副表示領域を右上端部に縮小表示させる。
なお、本実施形態では、車両にサイドミラー(つまり、ドアミラー)が設置されておらず、ディスプレイ6,7の主表示領域に第1周辺画像が表示される、いわゆる電子ミラーが構成されている。このため、画像表示部23は、ドアミラーの形状を模擬した主表示領域に第1周辺画像を表示させることにより、あたかもドアミラーに映し出された車両外部の後側方領域を見ているかのように第1周辺画像を運転者に提示させることが可能となる。
この場合、表示領域変更部25は、S240において、例えば車両が右折又は右にカーブ走行しようとしている場合、図9Aに示す右ディスプレイ6において、上部に配置された副表示領域と、下部に配置された主表示領域と、の境界(以下「主副領域境界」という)を、図9Bに示すように下方にシフトさせることにより、副表示領域を拡大表示させる。また例えば、車両が左折又は左にカーブ走行しようとしている場合には、同様に、左ディスプレイ7において主副領域境界を下方にシフトさせることにより、副表示領域を拡大表示させる。
また、表示領域変更部25は、S250において、例えば、右折及び右カーブ走行に関するいずれの走行状況条件にも該当しない場合には、図9Bに示す右ディスプレイ6において、主副領域境界を図9Aに示すように上方にシフトさせることにより、副表示領域を縮小表示させる。また例えば、左折又は左カーブ走行に関するいずれの走行状況条件にも該当しない場合には、同様に、左ディスプレイ7において主副領域境界を上方にシフトさせることにより、副表示領域を縮小表示させる。
[1−3.効果]
以上詳述した第1実施形態によれば、以下の効果が得られる。
(1a)表示画面において2つの周辺画像に主従関係を持たせて表示させることにより、車両の外部周辺領域のうち各領域に対応する画像部分を運転者に直感的に知らしめることが可能となる。さらに車両の走行状況に応じて副表示領域が拡大されることにより、走行シーンに応じて確認する必要性が高くなった領域を運転者に瞬時に理解させ、且つ、その領域の画像を運転者に視認性よく提示することが可能となる。従って、ディスプレイの数をむやみに増大させることなく、車両の外部周辺領域における2つの領域の映像等をわかりやすく運転者に提示することができる。
(2a)車両が右左折しようとしている場合に、車両の前側方領域を映し出した第2周辺映像を拡大表示するため、右左折時に注意すべき死角領域等の映像をオンデマンドで運転者に提示することができる。
(3a)車両がカーブ走行しようとしている場合に、車両の前側方領域を映し出した第2周辺映像を拡大表示するため、カーブ走行時に注意すべき死角領域等の映像をオンデマンドで運転者に提示することができる。
(4a)表示画面では、主表示領域において、第1周辺画像として車両の後側方領域を撮像した画像が表示され、副表示領域において、第2画像として車両の死角領域を含む前側方領域を撮像した画像が表示されるため、いわゆる電子ミラー機能と死角表示機能とについてディスプレイを共通化することができる。
(5a)ドアミラーの形状を模擬した主表示領域に第1周辺画像が表示されるため、その表示画像が車両の後側方領域を撮像した画像であることを運転者に直感的に知らしめることができる。
(6a)表示画面では、主表示領域が副表示領域の下方に配置され、走行状況条件が成立した場合に主副領域境界が上方にシフトされるため、あたかもドアミラーの上方を覗き込んで死角領域を見ているかのように第2周辺画像を運転者に提示させることができる。
(7a)また、表示画像において死角領域境界が可視化されることにより、死角領域に対応する画像部分を運転者に直感的に知らしめることが可能となり、さらに死角領域と車両周辺領域(あるいは隣接領域)との対応関係を、ディスプレイ6,7の形状や配置等にかかわらず運転者に瞬時に理解させることが可能となる。従って、車両設計を複雑化させることなく、死角領域を映像でわかりやすく運転者に提示することができる。
(8a)運転者の目の位置とフロントピラーの位置との位置関係に基づき、運転者が車両周辺領域を見たときの死角領域を周辺画像上において設定するため、表示画像において例えば死角領域境界を表す輪郭線を運転者の目の位置に合わせて移動させることが可能となり、死角領域を映像でより直観的にわかりやすく運転者に提示することができる。
(9a)第2周辺画像上において死角領域境界に対応する輪郭線画像を重畳させることにより、表示画像において死角領域境界を明確に運転者に知らしめることができる。
(10a)第2周辺画像上において死角領域に対応する透過画像を重畳させることにより、表示画像において死角領域をより直観的にわかりやすく運転者に提示することができる。
(11a)輪郭線重畳画像及び透過重畳画像の画像属性を変更することにより、例えば車両周辺領域の明るさや第2周辺画像に対してコントラストが高くなるように画像属性を再設定することで、表示画像において視認性を向上させることができる。
[2.第2実施形態]
[2−1.第1実施形態との相違点]
第2実施形態は、基本的な構成は第1実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。
前述した第1実施形態では、境界可視化画像を生成する際に、第2周辺画像上において死角領域に対応する透過画像を重畳させていた。これに対し、第2実施形態では、境界可視化画像を生成する際に、第2周辺画像上において隣接領域に対応するマスク画像を重畳させる点で、第1実施形態と相違する。
[2−2.画像生成処理]
次に、第2実施形態の画像生成部22が、第1実施形態の画像生成処理(図5)に代えて実行する画像生成処理について、図10のフローチャートを用いて説明する。なお、図10におけるS310〜S340の処理は、図5におけるS110〜S140の処理と同様であるため、説明を一部簡略化している。
本処理が起動すると、画像生成部22は、まず、S310において、ドライバカメラ18からドライバカメラ情報を取得する。
続いて、S320では、ボデー形状DB19からボデー形状データを読み出す。
次に、S330では、運転者の目の位置とフロントピラーの位置との位置関係に基づき、運転者が車両の前側方領域を見たときの死角領域を第2周辺画像上において設定する。
続いて、S340では、第2周辺画像上において死角領域境界に対応する輪郭線画像を重畳させることにより、図6Aに示す輪郭線重畳画像を生成する。
次に、S350では、第2周辺画像上において隣接領域に対応するマスク画像を重畳させることにより、図11に示すマスク重畳画像を生成する。具体的には、第2周辺画像の隣接領域部分に周知のフィルタ処理を施すことにより、マスク重畳画像を生成する。このマスク画像としては、車両周辺領域のうち死角領域以外の部分であること、若しくは運転者が直接視認可能な領域であることを運転者に想起させるように、第2周辺画像の隣接領域部分を目立たなくするためのデフォルト値に画像属性を予め設定したものが用いられる。
続いて、S260では、輪郭線重畳画像及びマスク重畳画像の画像属性を変更する属性変更処理を実施し、属性変更処理を施した輪郭線重畳画像及びマスク重畳画像を含む第2周辺画像(つまり、境界可視化画像)を画像表示部23に供給し、本処理を終了する。
例えば、属性変更処理では、車両周辺領域の明るさに応じて、輪郭線重畳画像及びマスク重畳画像のそれぞれに関する明度及び/又は輝度を変更する。具体的には、明るさ検出部15の検出結果に基づき、車両周辺領域の照度が低い場合には、輪郭線重畳画像及びマスク重畳画像のそれぞれに関する明度及び/又は輝度を高くし、車両周辺領域の照度が高い場合には、輪郭線重畳画像及びマスク重畳画像のそれぞれに関する明度及び/又は輝度を低くする。
また例えば、属性変更処理では、第2周辺画像に対してコントラストが高くなるように輪郭線重畳画像及びマスク重畳画像のそれぞれに関する画像属性を変更する。具体的には、画像取得部21から供給された第2周辺画像に関する色相、明度、彩度及び/又は輝度が低い場合には、輪郭線重畳画像及びマスク重畳画像のそれぞれに関する色相、明度、彩度及び/又は輝度を高くする。また、画像取得部21から供給された第2周辺画像に関する色相、明度、彩度及び/又は輝度が高い場合には、輪郭線重畳画像及びマスク重畳画像のそれぞれに関する色相、明度、彩度及び/又は輝度を低くする。
[2−3.効果]
以上詳述した第2実施形態によれば、前述した第1実施形態の効果(1a)−(9a)に加え、以下の効果が得られる。
(1b)第2周辺画像上において隣接領域に対応するマスク画像を重畳させることにより、表示画像において死角領域をより直観的にわかりやすく運転者に提示することができる。
(2b)輪郭線重畳画像及びマスク重畳画像の画像属性を変更することにより、例えば車両周辺領域の明るさや第2周辺画像に対してコントラストが高くなるように画像属性を再設定することで、表示画像において視認性を向上させることができる。
[3.他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。
(3A)上記実施形態では、輪郭線重畳画像及び透明重畳画像、あるいは輪郭線重畳画像及びマスク重畳画像の画像属性を変更していたが、これに限定されるものではない。例えば、輪郭線重畳画像、透明重畳画像及びマスク重畳画像の少なくとも一つの画像属性を変更してもよい。
(3B)上記実施形態では、左右のフロントピラー31,32の死角領域と隣接領域との領域境界を可視化させた境界可視化画像を生成していたが、これに限定されるものではない。例えば、センターピラーやリアピラー等の他のピラーの死角領域について同様に境界可視化画像を生成してもよい。
(3C)上記実施形態では、車両の外部周辺領域において互いに異なる2つの領域をそれぞれ撮像した2つの周辺画像を、各ディスプレイ6,7の一つの画面にそれぞれ表示させていたが、これに限定されるものではない。例えば、領域の数をさらに増やして3つ以上の領域を撮像するように構成し、3つ以上の周辺画像を各ディスプレイ6,7の一つの画面にそれぞれ表示させてもよい。この場合、表示画面において、2つ以上の主表示領域を配置してもよいし、2つ以上の副表示領域を配置してもよい。
(3D)上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
(3E)上述した車両周辺表示装置1の他、当該車両周辺表示装置1を構成要素とするシステム、当該車両周辺表示装置1としてコンピュータを機能させるための1ないし複数のプログラム、このプログラムの少なくとも一部を記録した1ないし複数の媒体、車両周辺表示方法等、種々の形態で本発明を実現することもできる。
1…車両周辺表示装置、2…ECU、3…後側方カメラ、3A…右後カメラ、3B…左後カメラ、4…前側方カメラ、4A…右前カメラ、4B…左前カメラ、5…ADASロケータ、6…右ディスプレイ、7…左ディスプレイ、8…車速センサ、9…方向指示器、10…CPU、11…メモリ、15…明るさ検出部、18…ドライバカメラ、19…ボデー形状DB、21…画像取得部、22…画像生成部、23…画像表示部、24…状況判定部、25…表示領域変更部、31…右フロントピラー、32…左フロントピラー、F,G…撮像画角。

Claims (8)

  1. 車両の外部周辺領域において互いに異なる第1領域及び第2領域をそれぞれ撮像した第1周辺画像及び第2周辺画像を取得する画像取得手段と、
    前記画像取得手段により取得した第1周辺画像及び第2周辺画像を、前記車両の室内に設けられた表示装置の一つの画面に表示させる画像表示手段と、
    前記車両の走行状況を判定する状況判定手段と、
    前記表示装置の表示画面のうち、前記第1周辺画像が表示される領域を主表示領域、前記第2周辺画像が表示される領域を副表示領域とし、前記状況判定手段による判定結果に応じて、所定の走行状況条件が成立した場合、前記画像表示手段に前記副表示領域を拡大させる表示領域変更手段と、
    を備えることを特徴とする車両周辺表示装置。
  2. 請求項1に記載の車両周辺表示装置であって、
    前記状況判定手段は、前記車両が右左折しようとしていることを、前記走行状況条件の成立要件とする、
    ことを特徴とする車両周辺表示装置。
  3. 請求項1又は請求項2に記載の車両周辺表示装置であって、
    前記状況判定手段は、前記車両がカーブ走行しようとしていることを、前記走行状況条件の成立要件とする、
    ことを特徴とする車両周辺表示装置。
  4. 請求項1から請求項3までのいずれか1項に記載の車両周辺表示装置であって、
    前記第1周辺画像は、前記車両の後側方領域を前記第1領域として撮像した画像であり、
    前記第2周辺画像は、前記車両のピラーを含むフレームで運転者の視界が遮られることにより生じる車両外の死角領域を有する、前記車両の前側方領域を前記第2領域として撮像した画像である、
    ことを特徴とする車両周辺表示装置。
  5. 請求項4に記載の車両周辺表示装置であって、
    前記画像表示手段は、ドアミラーの形状を模擬した前記主表示領域に前記第1周辺画像を表示させる、
    ことを特徴とする車両周辺表示装置。
  6. 請求項5に記載の車両周辺表示装置であって、
    前記画像表示手段は、前記表示画面上において前記副表示領域を前記主表示領域の上方に配置し、
    前記表示領域変更手段は、前記走行状況条件が成立した場合、前記主表示領域と前記副表示領域との境界である主副領域境界を下方にシフトさせる、
    ことを特徴とする車両周辺表示装置。
  7. 請求項4から請求項6までのいずれか1項に記載の車両周辺表示装置であって、
    前記画像取得手段により取得した第2周辺画像を元画像として、前記車両の前側方領域のうちの前記死角領域と他の領域との境界である死角領域境界を可視化させた境界可視化画像を生成する画像生成手段、
    を更に備え、
    前記画像表示手段は、前記画像生成手段により生成した境界可視化画像を前記副表示領域に表示する、
    ことを特徴とする車両周辺表示装置。
  8. 車両の外部周辺領域において互いに異なる第1領域及び第2領域をそれぞれ撮像した第1周辺画像及び第2周辺画像を取得する画像取得工程と、
    前記画像取得手段により取得した第1周辺画像及び第2周辺画像を、前記車両の室内に設けられた表示装置の一つの画面に表示させる画像表示工程と、
    前記車両の走行状況を判定する状況判定工程と、
    前記表示装置の表示画面のうち、前記第1周辺画像が表示される領域を主表示領域、前記第2周辺画像が表示される領域を副表示領域とし、前記状況判定工程による判定結果に応じて、所定の走行状況条件が成立した場合、前記画像表示工程に前記副表示領域を拡大させる表示領域変更工程と、
    を備えることを特徴とする車両周辺表示方法。
JP2015100162A 2015-05-15 2015-05-15 車両周辺表示装置、車両周辺表示方法 Pending JP2016215726A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015100162A JP2016215726A (ja) 2015-05-15 2015-05-15 車両周辺表示装置、車両周辺表示方法
PCT/JP2016/002214 WO2016185677A1 (ja) 2015-05-15 2016-04-27 車両周辺表示装置及び車両周辺表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015100162A JP2016215726A (ja) 2015-05-15 2015-05-15 車両周辺表示装置、車両周辺表示方法

Publications (1)

Publication Number Publication Date
JP2016215726A true JP2016215726A (ja) 2016-12-22

Family

ID=57319788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015100162A Pending JP2016215726A (ja) 2015-05-15 2015-05-15 車両周辺表示装置、車両周辺表示方法

Country Status (2)

Country Link
JP (1) JP2016215726A (ja)
WO (1) WO2016185677A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019125920A (ja) * 2018-01-17 2019-07-25 株式会社ジャパンディスプレイ モニター表示システム及びその表示方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3064225B1 (fr) * 2017-03-23 2021-05-21 Faurecia Interieur Ind Habitacle de vehicule comprenant un module de retroviseur a image projetee sur un montant lateral

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005125828A (ja) * 2003-10-21 2005-05-19 Fujitsu Ten Ltd 車両周囲視認装置を備えた車両周囲視認システム
JP2009119915A (ja) * 2007-11-12 2009-06-04 Kanto Auto Works Ltd 自動車
JP5168213B2 (ja) * 2009-04-02 2013-03-21 株式会社デンソー 表示装置
JP5724470B2 (ja) * 2011-03-09 2015-05-27 いすゞ自動車株式会社 車両の視界補助装置
JP2012237725A (ja) * 2011-05-13 2012-12-06 Nippon Seiki Co Ltd 車両用表示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019125920A (ja) * 2018-01-17 2019-07-25 株式会社ジャパンディスプレイ モニター表示システム及びその表示方法
JP7160301B2 (ja) 2018-01-17 2022-10-25 株式会社ジャパンディスプレイ モニター表示システム及びその表示方法

Also Published As

Publication number Publication date
WO2016185677A1 (ja) 2016-11-24

Similar Documents

Publication Publication Date Title
US10665206B2 (en) Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance
JP6493361B2 (ja) 車両用装置、車両用プログラム、フィルタ設計プログラム
JP6443559B2 (ja) 車両用表示装置及び車両用表示方法
KR102071155B1 (ko) 차량용 표시 장치 및 차량용 표시 방법
KR102490272B1 (ko) 차량의 주변 영역을 표시하기 위한 방법
JP4867512B2 (ja) 画像表示装置およびプログラム
JP6669019B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6233599B2 (ja) 車両用表示制御装置
JP5533766B2 (ja) 車両用表示装置
JP6277933B2 (ja) 表示制御装置、表示システム
JP2013168063A (ja) 画像処理装置、画像表示システム及び画像処理方法
JP2018142884A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
US11828947B2 (en) Vehicle and control method thereof
JP2018121287A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2019047296A (ja) 表示装置、表示方法、制御プログラム、および電子ミラーシステム
WO2016185677A1 (ja) 車両周辺表示装置及び車両周辺表示方法
WO2020230418A1 (ja) 表示装置
WO2017168953A1 (ja) 車両用装置、車両用プログラム、フィルタ設計プログラム
WO2020017230A1 (ja) 電子制御装置及び電子制御方法
JP2005294954A (ja) 表示装置及び補助表示装置
JP2008128867A (ja) タイヤ向き特定装置
WO2016185678A1 (ja) 死角表示装置及び死角表示方法
JP6313271B2 (ja) 車両用運転支援装置
JP6488628B2 (ja) 映像処理装置、及び車載映像処理システム
JP2018113622A (ja) 画像処理装置、画像処理システム、及び、画像処理方法