JP2022048455A - 車両用表示装置 - Google Patents

車両用表示装置 Download PDF

Info

Publication number
JP2022048455A
JP2022048455A JP2020154280A JP2020154280A JP2022048455A JP 2022048455 A JP2022048455 A JP 2022048455A JP 2020154280 A JP2020154280 A JP 2020154280A JP 2020154280 A JP2020154280 A JP 2020154280A JP 2022048455 A JP2022048455 A JP 2022048455A
Authority
JP
Japan
Prior art keywords
vehicle
image
view
view image
virtual viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020154280A
Other languages
English (en)
Inventor
大智 菅原
Daichi Sugawara
晃一 村田
Koichi Murata
恵里花 堀
Erika Hori
智範 大坪
Tomonori Otsubo
慶暁 松葉
Yoshiaki Matsuba
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2020154280A priority Critical patent/JP2022048455A/ja
Priority to CN202110841509.9A priority patent/CN114179725B/zh
Priority to EP21195481.3A priority patent/EP3967554B1/en
Priority to US17/469,606 priority patent/US11601621B2/en
Publication of JP2022048455A publication Critical patent/JP2022048455A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

【課題】死角領域を含めた必要十分な範囲のビュー画像を視認性に優れた態様で表示する。【解決手段】車両用表示装置は、車両の周辺を撮影する撮影部(2)と、撮影部(2)により撮撮影された画像を車室内から車両周辺を見た画像であるビュー画像に変換する画像処理部3と、画像処理部3により生成されたビュー画像を表示する表示部(4)とを備える。画像処理部3は、ビュー画像として、車室内に位置する第1仮想視点から車両後方を見たときに得られる後方ビュー画像と、車室内において第1仮想視点よりも後側に位置する第2仮想視点から車両前方を見たときに得られる前方ビュー画像とを生成可能である。表示部(4)は、車両の後退時に後方ビュー画像を、車両の前進時に前方ビュー画像をそれぞれ表示するとともに、当該両ビュー画像を略同一の画角で表示する。【選択図】図3

Description

本発明は、車両周辺の画像を表示するために車両に搭載された車両用表示装置に関する。
上記車両用表示装置の一例として、下記特許文献1のものが知られている。この特許文献1の車両用表示装置は、車両の周囲を撮影する複数のカメラと、当該複数のカメラで撮影された画像から特定の視野角に含まれる画像を合成、加工した合成画像を生成する画像処理装置と、当該画像処理装置により生成された合成画像を表示する表示装置とを備えている。画像処理装置は、上記合成画像として、所定の仮想視点から見た車両の周辺領域を示す周辺画像と、車室内の各種部品(例えばダッシュボードやピラー等)を透過状態で示す車室画像とを重畳した画像を生成し、生成した当該合成画像を表示装置に表示させる。
上記のように構成された特許文献1の車両用表示装置によれば、自車両周辺の障害物等の情報を自車両との位置関係を把握しながら認識できるという利点がある。
特開2014-197818号公報
ここで、上記特許文献1では、視野方向を車両前方とした場合の合成画像(以下、前方ビュー画像という)と、視野方向を車両後方とした場合の合成画像(以下、後方ビュー画像という)とが、ドライバーの操作に応じて選択的に表示されるようになっている。前方ビュー画像を生成するときの仮想視点と、後方ビュー画像を生成するときの仮想視点とは、いずれも運転席位置に設定される。
しかしながら、上記のように運転席位置に固定的に設定された仮想視点を基準に前方ビュー画像および後方ビュー画像を生成した場合には、両ビュー画像の少なくとも一方において、ドライバーにとって死角となる車両前部または車両後部の左右の近傍領域(死角領域)を十分に表示できなくなる可能性がある。この場合において、死角領域の表示が十分になるように前方ビュー画像および後方ビュー画像の各画角を適宜広げることが考えられるが、その結果として両ビュー画像の画角が互いに異なるようになれば、例えば後方ビュー画像から前方ビュー画像に(あるいはその逆に)切り替わったときにドライバーが違和感を覚え、切り替え後の画像の視認性が悪化するおそれがある。
本発明は、上記のような事情に鑑みてなされたものであり、死角領域を含めた必要十分な範囲のビュー画像を視認性に優れた態様で表示することが可能な車両用表示装置を提供することを目的とする。
前記課題を解決するためのものとして、本発明は、車両周辺の画像を表示するために車両に搭載された車両用表示装置であって、車両の周辺を撮影する撮影部と、前記撮影部により撮影された画像を車室内から車両周辺を見た画像であるビュー画像に変換する画像処理部と、前記画像処理部により生成されたビュー画像を表示する表示部とを備え、前記画像処理部は、前記ビュー画像として、車室内に位置する第1仮想視点から車両後方を見たときに得られる後方ビュー画像と、車室内において前記第1仮想視点よりも後側に位置する第2仮想視点から車両前方を見たときに得られる前方ビュー画像とを生成可能であり、前記表示部は、車両の後退時に前記後方ビュー画像を、車両の前進時に前記前方ビュー画像をそれぞれ表示するとともに、当該両ビュー画像を略同一の画角で表示する、ことを特徴とするものである(請求項1)。
本発明によれば、車両の後退時に、車室内において相対的に前側に位置する第1仮想視点から車両後方を見た画像である後方ビュー画像が表示部に表示されるので、遠く引いた位置から車両後方を俯瞰したかのような画像を後方ビュー画像として得ることができ、車両後部の左右の近傍に存在する死角領域を含めた必要十分な範囲を後方ビュー画像により表示することができる。これにより、例えばドライバーが車両を後向き駐車させる運転操作を行っているときのように、後退中の自車両に障害物(他車両や歩行者など)が衝突することが懸念されるシーンにおいて、ドライバーが見落とすおそれの高い車両の後側方(死角領域)の障害物をドライバーに的確に認識させることができ、このような障害物との衝突(巻き込み)を回避し得る安全な運転を行うようドライバーをアシストすることができる。
同様に、車両の前進時には、車室内において相対的に後側に位置する第2仮想視点から車両前方を見た画像である前方ビュー画像が表示部に表示されるので、遠く引いた位置から車両前方を俯瞰したかのような画像を前方ビュー画像として得ることができ、車両前部の左右の近傍に存在する死角領域を含めた必要十分な範囲を前方ビュー画像により表示することができる。これにより、例えばドライバーが車両を前向き駐車させる運転操作を行っているときのように、前進中の自車両に障害物(他車両や歩行者など)が衝突することが懸念されるシーンにおいて、ドライバーが見落とすおそれの高い車両の前側方(死角領域)の障害物をドライバーに的確に認識させることができ、このような障害物との衝突(巻き込み)を回避し得る安全な運転を行うようドライバーをアシストすることができる。
また、後方ビュー画像および前方ビュー画像の画角が略同一に設定されるので、両ビュー画像の視認性を良好に確保することができる。例えば、後方ビュー画像と前方ビュー画像との間で画角が大きく異なっていた場合には、後方ビュー画像から前方ビュー画像に(あるいはその逆に)切り替わったときにドライバーが違和感を覚え、切り替え後の画像がドライバーに瞬時に理解されないおそれがある。これに対し、後方ビュー画像および前方ビュー画像の画角が略同一とされた本発明によれば、前記のような違和感が生じるのを回避することができ、各ビュー画像をドライバーに瞬時に理解させることができる。
好ましくは、前記第1仮想視点は、運転席に着座したドライバーのアイポイントよりも上方かつ前方の位置に設定され、前記第2仮想視点は、前記ドライバーのアイポイントよりも上方かつ後方の位置に設定される(請求項2)。
この構成によれば、ドライバーの目線に近い方向視で後方ビュー画像および前方ビュー画像を表示することができ、各ビュー画像をドライバーにとって直観的に認識し易いものとすることができる。
前記構成において、より好ましくは、前記第1仮想視点は、側面視において、車両の後端から徐行時の制動距離だけ離れた路面上の第1ターゲット位置と前記ドライバーのアイポイントとを通る第1傾斜ライン上に設定され、前記第2仮想視点は、側面視において、車両の前端から徐行時の制動距離だけ離れた路面上の第2ターゲット位置と前記ドライバーのアイポイントとを通る第2傾斜ライン上に設定される(請求項3)。
この構成によれば、車両後方の第1ターゲット位置にドライバーが実際に視線を向けたときに見える画に近い画像が後方ビュー画像として表示されるので、例えばドライバーが車両を後向き駐車する操作を行っているときに、第1ターゲット位置上の障害物を後方ビュー画像を通じてドライバーに的確に認識させることができる。同様に、車両前方の第2ターゲット位置にドライバーが実際に視線を向けたときに見える画に近い画像が前方ビュー画像として表示されるので、例えばドライバーが車両を前向き駐車する操作を行っているときに、第2ターゲット位置上の障害物を前方ビュー画像を通じてドライバーに的確に認識させることができる。車両から徐行時の制動距離だけ離れた第1・第2ターゲット位置は、衝突回避のための重要な位置(ドライバーが注意を向けるべき位置)といえるから、このような第1・第2ターゲット位置にある障害物をドライバーに的確に認識させることにより、当該障害物との衝突の可能性を低減することができる。
前記構成において、より好ましくは、前記画像処理部は、前記撮影部により撮影された画像を前記第1仮想視点または前記第2仮想視点を投影中心として予め定められた仮想的な投影面に投影することにより、前記第1ビュー画像または前記第2ビュー画像を生成し、前記投影面は、路面上に設定された平面投影面と、平面投影面の外周から立ち上がる立体投影面とを有し、前記第1ターゲット位置および前記第2ターゲット位置は、前記立体投影面の下縁の近傍に設定される(請求項4)。
このように、立体投影面の下縁(換言すれば平面投影面の外周)の近傍に第1ターゲット位置および第2ターゲット位置を設定した場合には、各ターゲット位置に障害物があったときに当該障害物の画像を主に立体投影面に投影した状態で表示することができる。立体投影面は、平面投影面よりも投影時に生じる歪みが少ないので、各ターゲット位置上の障害物の画像をこのような立体投影面に主に投影することにより、障害物の視認性を高めることができ、当該障害物との衝突の可能性をより低減することができる。
好ましくは、前記画像処理部は、自車両の後部の部品群を表す第1模擬画像を前記後方ビュー画像に透過状態で重畳表示するとともに、自車両の前部の部品群を表す第2模擬画像を前記前方ビュー画像に透過状態で重畳表示し、前記第1模擬画像には、自車両の後部の最外郭を規定する部品の画像が含まれ、前記第2模擬画像には、自車両の前部の最外郭を規定する部品の画像が含まれる(請求項5)。
このように、自車両の後部(前部)の部品群を透過状態で示す第1模擬画像(第2模擬画像)を後方ビュー画像(前方ビュー画像)に重畳して表示するようにした場合には、各ビュー画像に表示される障害物等の情報を、自車両との位置関係を把握しながらドライバーに認識させることができる。しかも、第1模擬画像には自車両の後部の最外郭を規定する部品の画像が含まれ、第2模擬画像には自車両の前部の最外郭を規定する部品の画像が含まれるので、車両の後側方および前側方にある障害物と、当該障害物と最初に衝突する可能性のある部品との位置関係をドライバーに的確に認識させることができ、当該障害物との衝突の可能性をより低減することができる。
以上説明したように、本発明の車両用表示装置によれば、死角領域を含めた必要十分な範囲のビュー画像を視認性に優れた態様で表示することができる。
本発明の一実施形態にかかる車両用表示装置を備えた車両の平面図である。 上記車両における車室の前部を後方から見た斜視図である。 上記車両用表示装置の制御系統を示すブロック図である。 上記車室の前部を側方から見た側面図である。 車室内に設定される仮想視点(第1仮想視点および第2仮想視点)と、当該仮想視点から見たビュー画像を生成する際に用いられる投影面とを示す斜視図である。 車両の運転中に画像処理部により実行される制御の内容を示すフローチャートである。 図6のステップS4で実行される後方ビュー画像の生成・表示制御の詳細を示すサブルーチンである。 図6のステップS8で実行される前方ビュー画像の生成・表示制御の詳細を示すサブルーチンである。 人間の注視安定視野について説明するための図であり、(a)は平面図、(b)は側面図である。 後方ビュー画像の生成時に使用される画像データの範囲を説明するための図であり、(a)は平面図、(b)は側面図である。 後方ビュー画像の生成時に使用される第1仮想視点の位置を説明するための側面図である。 前方ビュー画像の生成時に使用される画像データの範囲を説明するための図であり、(a)は平面図、(b)は側面図である。 前方ビュー画像の生成時に使用される第2仮想視点の位置を説明するための側面図である。 視点変換の処理を説明するための模式図であり、(a)は投影面よりも仮想視点から遠い撮影対象を撮影する場合を、(b)は投影面よりも仮想視点に近い撮影対象を撮影する場合を、それぞれ示している。 後方ビュー画像の一例を示す図である。 前方ビュー画像の一例を示す図である。
(1)全体構成
図1は、本発明の一実施形態にかかる車両用表示装置1(以下、表示装置1という)を備えた車両の平面図であり、図2は、当該車両における車室の前部を示す斜視図であり、図3は、表示装置1の制御系統を示すブロック図である。本図に示すように、表示装置1は、車両の周辺を撮影する車外撮影装置2(図1、図3)と、車外撮影装置2で撮影された画像に種々の画像処理を施す画像処理部3(図3)と、画像処理部3で処理された画像を表示する車内ディスプレイ4(図2、図3)とを備えている。なお、車外撮影装置2は、本発明における「撮影部」の一例に該当し、車内ディスプレイ4は、本発明における「表示部」の一例に該当する。
車外撮影装置2は、車両の前方を撮影する前カメラ2aと、車両の後方を撮影する後カメラ2bと、車両の左方を撮影する左カメラ2cと、車両の右方を撮影する右カメラ2dとを備えている。図1に示すように、前カメラ2aは、車両前端のフロントフェイス部11に取り付けられ、車両前方の角度範囲Ra内の画像を取得し得るように構成されている。後カメラ2bは、車両後部のバックドア12の後面に取り付けられ、車両後方の角度範囲Rb内の画像を取得し得るように構成されている。左カメラ2cは、車両の左側のサイドミラー13に取り付けられ、車両左方の角度範囲Rc内の画像を取得し得るように構成されている。右カメラ2dは、車両の右側のサイドミラー14に取り付けられ、車両右方の角度範囲Rd内の画像を取得し得るように構成されている。これら前後左右の各カメラ2a~2dは、いずれも視野が広い魚眼レンズ付きカメラにより構成されている。
車内ディスプレイ4は、車室前部のインストルメントパネル20(図2)の中央部に配置されている。車内ディスプレイ4は、例えばフルカラーの液晶パネルからなり、乗員による操作や車両の走行状態に応じて種々の画面を表示することが可能である。具体的に、車内ディスプレイ4は、車外撮影装置2(カメラ2a~2d)で撮影された画像を表示する機能に加えて、例えば車両の目的地までの走行経路を案内するナビゲーション画面や、車両に備わる各種機器の設定を行うための設定画面等を表示する機能を有している。なお、図示の車両は右ハンドル車であり、車内ディスプレイ4の右側にはステアリングホイール21が配置されている。また、ステアリングホイール21の後方には、車両を運転するドライバーが着座するシートである運転席7(図1)が配置されている。
画像処理部3は、車外撮影装置2(カメラ2a~2d)で撮影された画像に種々の画像処理を施すことにより、車室内から車両周辺を見たときに得られる画像(以下、これをビュー画像という)を生成し、生成したビュー画像を車内ディスプレイ4に表示させる。詳細は後述するが、画像処理部3は、車室内から車両後方を見たときに得られる後方ビュー画像と、車室内から車両前方を見たときに得られる前方ビュー画像とのいずれかを条件に応じて生成し、生成したビュー画像を車内ディスプレイ4に表示させる。
図3に示すように、画像処理部3には、車速センサSN1、シフトポジションセンサSN2、およびビュースイッチSW1が電気的に接続されている。
車速センサSN1は、車両の走行速度を検出するセンサである。
シフトポジションセンサSN2は、車両に備わる自動変速機(図示略)のシフトポジションを検出するセンサである。自動変速機は、少なくともD(ドライブ)、N(ニュートラル)、R(リバース)、P(パーキング)の4つのシフトポジションを達成可能であり、このうちのいずれのポジションが達成されているかがシフトポジションセンサSN2によって検出される。なお、Dポジションは車両の前進時に選択させるシフトポジション(前進レンジ)であり、Rポジションは車両の後退時に選択させるシフトポジション(後退レンジ)であり、N,Pの各ポジションは車両の非走行時に選択されるシフトポジションである。
ビュースイッチSW1は、シフトポジションがDポジションのとき(つまり車両の前進時)にビュー画像の表示を許可するか否かを決定するためのスイッチである。詳細は後述するが、当実施形態では、シフトポジションがRポジション(後退レンジ)のときは自動的に車内ディスプレイ4に後方ビュー画像が表示される一方で、シフトポジションがDポジション(前進レンジ)のときはビュースイッチSW1が操作されているとき(つまりドライバーの要求時)にのみ車内ディスプレイ4に前方ビュー画像が表示されるようになっている。画像処理部3は、車内ディスプレイ4に前方/後方ビュー画像のいずれを表示するか、または双方を表示しないかを、ビュースイッチSW1の操作状況と、シフトポジションセンサSN2による検出結果とに応じて決定する。なお、ビュースイッチSW1は、例えばステアリングホイール21に設けることが可能である。
(2)画像処理部の詳細
画像処理部3の構成についてより詳しく説明する。画像処理部3は、図3に示すように、判定部31と、画像抽出部32と、画像変換部33と、アイコン設定部34と、表示制御部35とを機能的に有している。
判定部31は、画像処理を行うにあたって必要な各種判定を行うモジュールである。
画像抽出部32は、前後左右のカメラ2a~2dの撮影画像を所要範囲で抽出する処理を行うモジュールである。具体的に、画像抽出部32は、車両が後退しているか前進しているかに応じて使用するカメラを切り替える。例えば、車両の後退時(シフトポジションがRレンジであるとき)には、少なくとも後カメラ2bを含む複数のカメラが使用され、車両の前進時(シフトポジションがDレンジであるとき)には、少なくとも前カメラ2aを含む複数のカメラが使用される。なお、使用される各カメラから抽出される画像の範囲は、最終的に車内ディスプレイ4に表示される画像(後述するビュー画像)の画角に応じた範囲とされる。
画像変換部33は、画像抽出部32により抽出された各カメラの撮影画像を合成しつつ視点変換の処理を行うことにより、車室内から車両周辺を見た画像であるビュー画像を生成するモジュールである。視点変換に際しては、図5に示す投影面Pと、図1、図4および図5に示す第1仮想視点V1および第2仮想視点V2とが用いられる。投影面Pは、お椀状を呈する仮想的な面であり、車両が水平な路面上を走行していると仮定したときの当該路面上に設定された平面投影面P1と、平面投影面P1の外周から立ち上がる立体投影面P2とを含む。平面投影面P1は、車両を取り囲むことが可能な直径を有する円形の投影面である。立体投影面P2は、上側ほど(平面投影面P1の外周から離れるほど)直径が大きくなるように上拡がり状に形成されている。第1仮想視点V1および第2仮想視点V2(図1、図4)は、投影面Pに投影する際の投影中心となる点であり、いずれも車室内に設定される。第1仮想視点V1は第2仮想視点V2よりも前側に位置している。画像変換部33は、抽出した各カメラの撮影画像を、第1仮想視点V1または第2仮想視点V2を投影中心として投影面Pに投影したビュー画像に変換する。変換可能なビュー画像には、少なくとも、第1仮想視点V1から車両後方を見た場合の投影画像(カメラ画像を投影面Pにおける後側領域に投影した画像)である後方ビュー画像と、第2仮想視点V2から車両前方を見た場合の投影画像(カメラ画像を投影面Pにおける前側領域に投影した画像)である前方ビュー画像とが含まれる。
アイコン設定部34は、上記ビュー画像(後方ビュー画像または前方ビュー画像)に重畳表示される第1自車両アイコンG1(図15)および第2自車両アイコンG2(図16)を設定する処理を行うモジュールである。第1自車両アイコンG1は、第1仮想視点V1から車両後方を見たときに映る自車両の各種部品(車輪や車室部品)を透過状態で表示するグラフィック画像であり、第2自車両アイコンG2は、第2仮想視点V2から車両前方を見たときに映る自車両の各種部品を透過状態で表示するグラフィック画像である。第1自車両アイコンG1は、本発明における「第1模擬画像」に相当し、第2自車両アイコンG2は、本発明における「第2模擬画像」に相当する。
表示制御部35は、第1または第2自車両アイコンG1,G2が重畳されたビュー画像を車内ディスプレイ4に表示させる処理を行うモジュールである。すなわち、表示制御部35は、画像変換部33により生成された後方ビュー画像に対し、アイコン設定部34により設定された第1自車両アイコンG1を重畳し、その重畳後のビュー画像を車内ディスプレイ4に表示させる。同様に、表示制御部35は、画像変換部33により生成された前方ビュー画像に対し、アイコン設定部34により設定された第2自車両アイコンG2を重畳し、その重畳後のビュー画像を車内ディスプレイ4に表示させる。
(3)制御動作
図6は、車両の運転中に画像処理部3により実行される制御の内容を示すフローチャートである。本図に示す制御がスタートすると、画像処理部3(判定部31)は、車速センサSN1により検出された車速が予め定められた閾値速度X1以下であるか否かを判定する(ステップS1)。なお、閾値速度X1は、例えば15km/h程度とすることができる。
上記ステップS1でYESと判定されて車速が閾値速度X1以下であることが確認された場合、画像処理部3(判定部31)は、シフトポジションセンサSN2により検出されたシフトポジションがRポジション(後退レンジ)であるか否かを判定する(ステップS2)。
上記ステップS2でYESと判定されてシフトポジションがRポジションであることが確認された場合(換言すれば車両の後退時)、画像処理部3は、後述するステップS4で生成される後方ビュー画像の画角を設定する(ステップS3)。具体的に、このステップS3では、水平方向の画角が90度に、垂直方向の画角が45度に設定される。
上記ステップS3で設定される画角は、人間の注視安定視野に基づいている。注視安定視野とは、頭部の運動(首振り運動)が眼球運動を助けることで無理なく視認することができる範囲のことである。注視安定視野は、一般に、水平方向において左45度から右45度までの角度範囲を有するとともに、垂直方向において上30度から下40度までの角度範囲を有するとされている。すなわち、図9(a)(b)に示すように、注視安定視野の水平方向の最大角度(水平最大角度)をθ1、垂直方向の最大角度(垂直最大角度)をθ2とすると、水平最大角度θ1は90度、垂直最大角度θ2は70度である。また、注視安定視野の内側には、水平30度、垂直20度の角度範囲を有する有効視野が存在し、この有効視野内の情報であれば眼球運動だけで正確に判別できると言われている。逆に、有効視野の外側の情報は、見えてはいても十分な精度で判別することが難しく、細かな変化に気づき難い。有効視野の外側の情報を精度よく視認(注視)するには、頭部の運動(首振り)による助けが必要となる。一方で、有効視野の外側であっても注視安定視野の内側であれば、無理のないわずかな頭部運動を伴うだけで情報を正確に判別でき、細かな変化にも比較的迅速に対応できると考えられている。
上記の点を考慮して、当実施形態では、後方ビュー画像の画角が水平90度、垂直45度に設定されている。すなわち、後方ビュー画像の水平方向の画角が、注視安定視野の水平最大角度θ1と同じ90度に設定されるとともに、後方ビュー画像の垂直方向の画角が、注視安定視野の垂直最大角度θ2(=70度)よりも小さい45度に設定されている。
次いで、画像処理部3は、車室内の第1仮想視点V1から車両後方を見たときに得られる後方ビュー画像を生成して車内ディスプレイ4に表示する制御を実行する(ステップS4)。この制御の詳細については後述する。
次に、上記ステップS2でNOと判定された場合、つまり自動変速機のシフトポジションがRポジション(後退レンジ)でなかった場合の制御について説明する。この場合、画像処理部3(判定部31)は、シフトポジションセンサSN2により検出されたシフトポジションがDポジション(前進レンジ)であるか否かを判定する(ステップS5)。
上記ステップS5でYESと判定されてシフトポジションがDポジションであることが確認された場合(換言すれば車両の前進時)、画像処理部3(判定部31)は、ビュースイッチSW1からの信号に基づいて、当該ビュースイッチSW1がON状態にあるか否かを判定する(ステップS6)。
上記ステップS6でYESと判定されてビュースイッチSW1がON状態であることが確認された場合、画像処理部3は、後述するステップS8で生成される前方ビュー画像の画角を設定する(ステップS7)。このステップS7で設定される前方ビュー画像の画角は、上述したステップS3で設定される後方ビュー画像の画角と同一であり、当実施形態では水平90度、垂直45度に設定される。
次いで、画像処理部3は、車室内の第2仮想視点V2から車両前方を見たときに得られる前方ビュー画像を生成して車内ディスプレイ4に表示する制御を実行する(ステップS8)。この制御の詳細については後述する。
図7は、上述したステップS4で実行される後方ビュー画像の生成・表示制御の詳細を示すサブルーチンである。本図に示す制御がスタートすると、画像処理部3(画像抽出部32)は、後カメラ2b、左カメラ2c、および右カメラ2dの撮影画像から所要範囲の画像データを取得する(ステップS11)。
図10(a)(b)は、上記ステップS11で取得される画像データの範囲を説明するための模式図であり、車両とその周囲の投影面Pとを平面視および側面視で示している。既に述べたとおり、後方ビュー画像は、第1仮想視点V1を投影中心として水平90度、垂直45度の角度範囲でカメラ画像を後方に投影した画像である。したがって、このような後方ビュー画像を得るのに必要な画像データは、少なくとも、第1仮想視点V1から水平90度、垂直45度の角度で後方に拡がる立体扇型状の撮影領域W1の画像データである。そこで、上記ステップS11では、後カメラ2b、左カメラ2c、および右カメラ2dの各撮影画像のデータから、当該撮影領域W1内の画像に対応するデータをそれぞれ取得する。
この点についてより詳しく説明する。当実施形態では、図10(a)に示すように、第1仮想視点V1が車両中心軸Lc(車両中心Cを通って前後方向に延びる軸線)上に設定されるとともに、この第1仮想視点V1から真っ直ぐ後方を見たときに得られる画像が後方ビュー画像として生成される。このため、撮影領域W1は、平面視において、第1仮想視点V1から水平90度(車両中心軸Lcの左右に45度ずつ)の角度範囲をもって後方に拡がる扇型の領域、つまり第1仮想視点V1から左後方に45度の角度で延びる第1ラインk11と第1仮想視点V1から右後方に45度の角度で延びる第2ラインk12とで画成される扇型の領域となる。このような撮影領域W1内の撮影データを得るために、上記ステップS11では、撮影領域W1を平面視で3つの領域W11~W13(図10(a))に分割し、各領域W11~W13の画像データを異なるカメラから取得する。領域W11を第1領域、領域W12を第2領域、領域W13を第3領域とすると、当実施形態では、第1領域W11の画像データを後カメラ2bから取得し、第2領域W12の画像データを左カメラ2cから取得し、第3領域W13の画像データを右カメラ2dから取得する。
具体的に、第1領域W11は、上述した撮影領域W1(第1ラインk11と第2ラインk12とで画成される領域)のうち、後カメラ2bから水平170度(車両中心軸Lcの左右に85度ずつ)の角度範囲をもって後方に拡がる扇型の領域と重複する領域である。言い換えると、第1領域W11は、後カメラ2bから左後方に85度の角度で延びる第3ラインk13と、後カメラ2bから右後方に85度の角度で延びる第4ラインk14と、第1ラインk11のうち第3ラインk13との交点j11よりも後側に位置する部分と、第2ラインk12のうち第4ラインk14との交点j12よりも後側に位置する部分とにより画成される領域である。第2領域W12は、撮影領域W1の左半分から第1領域W11の分を除いた残余の領域である。第3領域W13は、撮影領域W1の左半分から第1領域W11の分を除いた残余の領域である。なお、第2・第3領域W12,W13のうち車両の直ぐ後側にあたる領域は左右のカメラ2c,2dで撮影できない領域となるが、この領域の画像は所定の補間処理(例えば死角領域に隣接する領域の画像を引き延ばす処理)によって補われる。
以上のようにして各カメラ2b,2c,2dから所要範囲の画像を取得した後、画像処理部3(画像変換部33)は、後述するステップS15で後方ビュー画像を生成する際に用いる第1仮想視点V1を設定する(ステップS12)。図4および図10(a)に示すように、第1仮想視点V1は、車室に含まれる位置であって、平面視で車両中心軸Lcに一致しかつ側面視でドライバーの頭部D1よりも前方にずれた位置に設定される。
第1仮想視点V1の詳しい位置について図11を参照しつつ説明する。図11において、点T1は、車両の後端M1から距離dtだけ離れた路面上(より正確には平面投影面P1と同一平面をなす仮想の路面上)の点であり、以下ではこれを第1ターゲット位置という。車両の後端M1から第1ターゲット位置T1までの距離dtは、徐行時(車速が5km/hのとき)の制動距離、つまりドライバーが危険に気付いてから車両をブレーキ操作により停止させるまでの車両の移動距離に相当しており、例えば2mに設定される。また、図11における点E(図4にも記載)は、運転席7に着座したドライバーの目の位置、つまりアイポイントである。なお、この場合におけるドライバーは、米国成人男性の50パーセンタイルのダミー人形であるAM50と同じ体格を有するものとし、また、ドライバーが着座する運転席7(図4)のシートポジションは、AM50相当のドライバーが適切な運転姿勢をとれるポジションに設定されているものとする。
図11に示すように、第1仮想視点V1は、側面視において、路面上の第1ターゲット位置T1とドライバーのアイポイントEとを通る第1傾斜ラインL1上に位置し、かつアイポイントEよりも車両前方に距離dvだけずれるように設定される。言い換えると、第1仮想視点V1は、車室内においてドライバーのアイポイントEよりも上方かつ前方に位置するように設定される。このような位置に設定された第1仮想視点V1は、図4に示す側面視において、運転席7のシートバック7aよりも前側の領域におけるルーフパネル8の下側の近傍に位置している。なお、アイポイントEから第1仮想視点V1までの前後方向の距離dvは、例えば200mm程度に設定することができる。
次いで、画像処理部3(画像変換部33)は、後述するステップS15で後方ビュー画像を生成する際に用いる投影面Pを設定する(ステップS13)。図5を用いて既に説明したとおり、投影面Pは、車両を内包するお椀状の投影面であって、平面投影面P1と立体投影面P2とを含む。当実施形態では、平面視において投影面P(平面投影面P1)の中心が図10(a)に示す車両中心C(車両の前後方向および車幅方向の中心)と一致するものとする。すなわち、ステップS13において、画像処理部3(画像変換部33)は、車両中心Cと同じ中心を有する円形の平面投影面P1を設定するとともに、この平面投影面P1の外周から所定の曲率で拡径しつつ立ち上がる立体投影面P2を設定する。また、図11に示すように、平面投影面P1の半径は、第1ターゲット位置T1が平面投影面P1の外周(換言すれば立体投影面P2の下縁)の近傍に位置するように設定される。具体的に、当実施形態では、第1ターゲット位置T1が平面投影面P1の外周(立体投影面P2の下縁)の後端から若干(例えば200mmほど)後方にずれた位置に存在するように、平面投影面P1の半径が例えば4~5m程度に設定されている。
次いで、画像処理部3(アイコン設定部34)は、後述するステップS16で後方ビュー画像とともに重畳表示される第1自車両アイコンG1(図15)を設定する(ステップS14)。ここで設定される第1自車両アイコンG1は、図15に示すように、第1仮想視点V1から後方を見たときに映る自車両の各種部品を表すアイコンであって、車両の後輪g1や車両後部の外郭部品(リヤフェンダーg3等)を透過状態で表示するグラフィック画像を含むものとされる。このような第1自車両アイコンG1は、画像処理部3に予め記憶されているグラフィック画像を、第1仮想視点V1と投影面Pとの位置関係から定まる縮尺率で拡大または縮小する等により生成することができる。
次いで、画像処理部3(画像変換部33)は、上記ステップS11で取得した各カメラ2b,2c,2dの撮影画像を合成するとともに、その合成後の画像に対し、上記ステップS12,S13で設定した第1仮想視点V1および投影面Pを用いて視点変換の処理を行うことにより、第1仮想視点V1から車両後方を見たときに得られる後方ビュー画像を生成する(ステップS15)。すなわち、画像処理部3(画像変換部33)は、後カメラ2bが撮影した第1領域W11の画像、左カメラ2cが撮影した第2領域W12の画像、および右カメラ2dが撮影した第3領域W13の画像(それぞれ図10(a)参照)を合成する。そして、この合成後の画像を、第1仮想視点V1を投影中心として投影面Pの後側の一部、つまり投影面P(平面投影面P1および立体投影面P2)における上記領域W11~W13に対応する範囲である後側領域P1wに投影する視点変換の処理を行う。これにより、第1仮想視点V1から車両後方を見たときに得られる後方ビュー画像を生成することができる。
なお、上述した視点変換(投影面Pへの投影)の処理は、例えば次のようにして行うことができる。まず、合成後のカメラ画像の各画素に3次元(X,Y,Z)の座標が定められる。次に、各画素の座標が、第1仮想視点V1と投影面Pの後側領域P1wとの位置関係から定まる所定の演算式等を用いて、投影後の座標に変換される。例えば、図14(a)に示すように、投影面Pよりも第1仮想視点V1から遠い撮影対象を撮影して得られた画像がA1であり、この画像A1における特定の画素の座標がa1,a2であったとすると、各画素の投影後の座標は、それぞれ投影面P上の座標a1i,a2iとなる。逆に、図14(b)に示すように、投影面Pよりも第1仮想視点V1に近い撮影対象を撮影して得られた画像がB1であり、この画像B1における特定の画素の座標がb1,b2であったとすると、各画素の投影後の座標は、それぞれ投影面P上の座標b1i,b2iとなる。そして、このような変換後の座標と元の座標との関係に基づき撮影画像が加工される。例えば、図14(a)のケースでは、撮影対象の画像A1が加工されて画像A1iに変換され、図14(b)のケースでは、撮影対象の画像B1が加工されて画像B1iに変換される。画像処理部3(画像変換部33)は、以上のような手順で視点変換(投影面Pへの投影)の処理を行うことにより、第1仮想視点V1から車両後方を見たときに得られる後方ビュー画像を生成する。
次いで、画像処理部3(表示制御部35)は、上記ステップS15で生成された後方ビュー画像を、上記ステップS14で設定された第1自車両アイコンG1を重畳した状態で車内ディスプレイ4に表示させる(ステップS16)。図15は、その表示の一例を模式的に示す図である。この例において、後方ビュー画像には、自車両の後方に位置する駐車車両(他車両)Q1,Q2の画像と、駐車スペースを確定するために路面に付された白線U1の画像とが含まれている。また、第1自車両アイコンG1には、左右の後輪g1,g1と、サスペンション部品g2と、各後輪g1,g1の周囲に位置するリヤフェンダーg3,g3と、リヤガラスg4と、左右のリヤランプg5とをそれぞれ透過状態で表示するグラフィック画像が含まれている。これらの部品のうち、リヤフェンダーg3,g3は、車両後部の最外郭(最も車幅方向の外側に位置する面)を規定する部品である。
次に、図8を用いて、上述したステップS8(図6)で実行される前方ビュー画像の生成・表示制御の詳細について説明する。図8に示す制御がスタートすると、画像処理部3(画像抽出部32)は、前カメラ2a、左カメラ2c、および右カメラ2dの撮影画像から所要範囲の画像データを取得する(ステップS21)。
図12(a)(b)は、上記ステップS21で取得される画像データの範囲を説明するための模式図であり、車両とその周囲の投影面Pとを平面視および側面視で示している。既に述べたとおり、前方ビュー画像は、第2仮想視点V2を投影中心として水平90度、垂直45度の角度範囲でカメラ画像を前方に投影した画像である。したがって、このような前方ビュー画像を得るのに必要な画像データは、少なくとも、第2仮想視点V2から水平90度、垂直45度の角度で前方に拡がる立体扇型状の撮影領域W2の画像データである。そこで、上記ステップS21では、前カメラ2a、左カメラ2c、および右カメラ2dの各撮影画像のデータから、当該撮影領域W2内の画像に対応するデータをそれぞれ取得する。
上記ステップS21で前方の撮影領域W2内の画像を取得する方法は、上述したステップS11(図7)の方法、つまり後方の撮影領域W1(図10)内の画像を取得する方法と同様である。すなわち、上記ステップS21では、図12(a)に示すように、平面視において第2仮想視点V2から水平90度(車両中心軸Lcの左右に45度ずつ)の角度範囲をもって前方に拡がる扇型の領域、つまり第2仮想視点V2から左前方に45度の角度で延びる第1ラインk21と第2仮想視点V2から右前方に45度の角度で延びる第2ラインk22とで画成される扇型の領域を、撮影領域W2として規定する。そして、この撮影領域W2を平面視で3つの領域W21~W23に分割し、各領域W21~W23の画像データを異なるカメラから取得する。領域W21を第1領域、領域W22を第2領域、領域W23を第3領域とすると、当実施形態では、第1領域W21の画像データを前カメラ2aから取得し、第2領域W22の画像データを左カメラ2cから取得し、第3領域W23の画像データを右カメラ2dから取得する。
具体的に、第1領域W21は、上述した撮影領域W2(第1ラインk21と第2ラインk22とで画成される領域)のうち、前カメラ2aから水平170度(車両中心軸Lcの左右に85度ずつ)の角度範囲をもって前方に拡がる扇型の領域と重複する領域である。言い換えると、第1領域W21は、前カメラ2aから左前方に85度の角度で延びる第3ラインk23と、前カメラ2aから右前方に85度の角度で延びる第4ラインk24と、第1ラインk21のうち第3ラインk23との交点j21よりも前側に位置する部分と、第2ラインk22のうち第4ラインk24との交点j22よりも前側に位置する部分とにより画成される領域である。第2領域W22は、撮影領域W2の左半分から第1領域W21の分を除いた残余の領域である。第3領域W23は、撮影領域W2の左半分から第1領域W21の分を除いた残余の領域である。なお、第2・第3領域W22,W23のうち車両の直ぐ前側にあたる領域は左右のカメラ2c,2dで撮影できない領域となるが、この領域の画像は所定の補間処理(例えば死角領域に隣接する領域の画像を引き延ばす処理)によって補われる。
以上のようにして各カメラ2a,2c,2dから所要範囲の画像を取得した後、画像処理部3(画像変換部33)は、後述するステップS25で前方ビュー画像を生成する際に用いる第2仮想視点V2を設定する(ステップS22)。図4および図12(a)に示すように、第2仮想視点V2は、車室に含まれる位置であって、平面視で車両中心軸Lcに一致しかつ側面視でドライバーの頭部D1よりも後方にずれた位置に設定される。
第2仮想視点V2の詳しい位置について図13を参照しつつ説明する。図13において、点T2は、車両の前端M2から徐行時(車速が5km/hのとき)の制動距離に相当する距離dt(例えば2m)だけ離れた路面上(より正確には平面投影面P1と同一平面をなす仮想の路面上)の点であり、以下ではこれを第2ターゲット位置という。
図13に示すように、第2仮想視点V2は、側面視において、路面上の第2ターゲット位置T2とドライバーのアイポイントEとを通る第2傾斜ラインL2上に位置し、かつアイポイントEよりも車両後方に距離dv(例えば200mm)だけずれるように設定される。言い換えると、第2仮想視点V2は、車室内においてドライバーのアイポイントEよりも上方かつ後方に位置するように設定される。このような位置に設定された第2仮想視点V2は、図4に示す側面視において、運転席7のシートバック7aよりも後側の領域におけるルーフパネル8の下側の近傍に位置している。
次いで、画像処理部3(画像変換部33)は、後述するステップS25で前方ビュー画像を生成する際に用いる投影面Pを設定する(ステップS23)。この投影面Pは、既に述べた後方ビュー画像の生成時に用いる投影面P(上記ステップS13)と同じであり、車両中心Cと同じ中心を有する円形の平面投影面P1と、平面投影面P1の外周から所定の曲率で拡径しつつ立ち上がる立体投影面P2とを含むものとされる。これにより、図13に示すように、第2ターゲット位置T2が平面投影面P1の外周(換言すれば立体投影面P2の下縁)に近接する。具体的に、第2ターゲット位置T2は、平面投影面P1の外周(立体投影面P2の下縁)の前端から若干(例えば200mmほど)前方にずれた位置に設定される。
次いで、画像処理部3(アイコン設定部34)は、後述するステップS26で前方ビュー画像とともに重畳表示される第2自車両アイコンG2(図16)を設定する(ステップS24)。ここで設定される第2自車両アイコンG2は、図16に示すように、仮想視点Vから前方を見たときに映る自車両の各種部品を表すアイコンであって、車両の前輪g11や車両前部の外郭部品(フロントフェンダーg13等)を透過状態で表示するグラフィック画像を含むものとされる。このような第2自車両アイコンG2は、画像処理部3に予め記憶されているグラフィック画像を、第2仮想視点V2と投影面Pとの位置関係から定まる縮尺率で拡大または縮小する等により生成することができる。
次いで、画像処理部3(画像変換部33)は、上記ステップS21で取得した各カメラ2a,2c,2dの撮影画像を合成するとともに、その合成後の画像に対し、上記ステップS22,S23で設定した第2仮想視点V2および投影面Pを用いて視点変換の処理を行うことにより、第2仮想視点V2から車両前方を見たときに得られる前方ビュー画像を生成する(ステップS25)。すなわち、画像処理部3(画像変換部33)は、前カメラ2aが撮影した第1領域W21の画像、左カメラ2cが撮影した第2領域W22の画像、および右カメラ2dが撮影した第3領域W23の画像(それぞれ図12(a)参照)を合成する。そして、この合成後の画像を、第2仮想視点V2を投影中心として投影面Pの前側の一部、つまり投影面P(平面投影面P1および立体投影面P2)における上記領域W21~W23に対応する範囲である前側領域P2wに投影する視点変換の処理を行う。これにより、第2仮想視点V2から車両前方を見たときに得られる前方ビュー画像を生成することができる。なお、視点変換の処理の詳細は既に述べた後方ビュー画像の生成時と同様であるので、ここではその説明を省略する。
次いで、画像処理部3(表示制御部35)は、上記ステップS25で生成された前方ビュー画像を、上記ステップS24で設定された第2自車両アイコンG2を重畳した状態で車内ディスプレイ4に表示させる(ステップS26)。図16は、その表示の一例を模式的に示す図である。この例において、前方ビュー画像には、自車両の前方に位置する駐車車両(他車両)Q11,Q12の画像と、駐車スペースを確定するために路面に付された白線U11の画像とが含まれている。また、第2自車両アイコンG2には、左右の前輪g11,g11と、サスペンション部品g12と、各前輪g11,g11の周囲に位置するフロントフェンダーg13,g13と、フロントグリルg14と、フロントガラスg15とをそれぞれ透過状態で表示するグラフィック画像が含まれている。これらの部品のうち、フロントフェンダーg13,g13は、車両前部の最外郭(最も車幅方向の外側に位置する面)を規定する部品である。
(4)作用効果
以上説明したように、当実施形態では、車外撮影装置2(カメラ2a~2d)により撮影された画像に基づいて、車室内の第1仮想視点V1から車両後方を見た画像である後方ビュー画像と、車室内において第1仮想視点V1よりも後側に位置する第2仮想視点V2から車両前方を見た画像である前方ビュー画像とを生成可能であり、車両の後退時には後方ビュー画像が、車両の前進時には前方ビュー画像が、それぞれ車内ディスプレイ4に表示される。また、後方ビュー画像および前方ビュー画像は、互いに同一の画角(水平90度、垂直45度)で表示される。このような構成によれば、死角領域を含めた必要十分な範囲の後方/前方ビュー画像を視認性に優れた態様で表示できるという利点がある。
すなわち、上記実施形態では、車両の後退時に、車室内において相対的に前側に位置する第1仮想視点V1から車両後方を見た画像である後方ビュー画像が車内ディスプレイ4に表示されるので、遠く引いた位置から車両後方を俯瞰したかのような画像を後方ビュー画像として得ることができ、車両後部の左右の近傍に存在する死角領域を含めた必要十分な範囲を後方ビュー画像により表示することができる。これにより、例えばドライバーが車両を後向き駐車させる運転操作を行っているときのように、後退中の自車両に障害物(他車両や歩行者など)が衝突することが懸念されるシーンにおいて、ドライバーが見落とすおそれの高い車両の後側方(死角領域)の障害物をドライバーに的確に認識させることができ、このような障害物との衝突(巻き込み)を回避し得る安全な運転を行うようドライバーをアシストすることができる。
同様に、車両の前進時には、車室内において相対的に後側に位置する第2仮想視点V2から車両前方を見た画像である前方ビュー画像が車内ディスプレイ4に表示されるので、遠く引いた位置から車両前方を俯瞰したかのような画像を前方ビュー画像として得ることができ、車両前部の左右の近傍に存在する死角領域を含めた必要十分な範囲を前方ビュー画像により表示することができる。これにより、例えばドライバーが車両を前向き駐車させる運転操作を行っているときのように、前進中の自車両に障害物(他車両や歩行者など)が衝突することが懸念されるシーンにおいて、ドライバーが見落とすおそれの高い車両の前側方(死角領域)の障害物をドライバーに的確に認識させることができ、このような障害物との衝突(巻き込み)を回避し得る安全な運転を行うようドライバーをアシストすることができる。
また、後方ビュー画像および前方ビュー画像の画角が統一されているので、両ビュー画像の視認性を良好に確保することができる。例えば、後方ビュー画像と前方ビュー画像との間で画角が大きく異なっていた場合には、後方ビュー画像から前方ビュー画像に(あるいはその逆に)切り替わったときにドライバーが違和感を覚え、切り替え後の画像がドライバーに瞬時に理解されないおそれがある。これに対し、後方ビュー画像および前方ビュー画像の画角が統一されている上記実施形態によれば、上記のような違和感が生じるのを回避することができ、各ビュー画像をドライバーに瞬時に理解させることができる。
また、上記実施形態では、運転席7に着座したドライバーのアイポイントEよりも上方かつ前方に第1仮想視点V1が、アイポイントEよりも上方かつ後方に第2仮想視点V2がそれぞれ設定されるので、ドライバーの目線に近い方向視で各ビュー画像を表示することができ、各ビュー画像をドライバーにとって直観的に認識し易いものとすることができる。
また、上記実施形態では、側面視において、車両の後端M1から徐行時の制動距離に相当する距離dtだけ離れた路面上の第1ターゲット位置T1とドライバーのアイポイントEとを通る第1傾斜ラインL1上に第1仮想視点V1が設定されるので、例えば車両を後向き駐車する操作を行っているドライバーに第1ターゲット位置T1上の障害物を的確に認識させることができ、当該障害物との衝突の可能性を低減することができる。すなわち、ドライバーが後向き駐車の操作を行っているときに仮に第1ターゲット位置T1に障害物が存在したとしても、車両から当該障害物まで徐行時の制動距離だけ離れていることから、当該障害物との衝突はドライバーのブレーキ操作によってぎりぎり回避され得る。逆に言えば、第1ターゲット位置T1は、そこにある障害物を確実に認識できるようにドライバーが注意を向けるべき位置であり、衝突回避のための重要な位置であるといえる。これに対し、上記のように第1傾斜ラインL1上に第1仮想視点V1が設定された上記実施形態によれば、第1ターゲット位置T1にドライバーが実際に視線を向けたときに見える画に近い画像が後方ビュー画像として表示されることになるので、当該後方ビュー画像を通じて第1ターゲット位置T1にある障害物を的確にドライバーに認識させることができ、当該障害物との衝突の可能性を低減することができる。
同様に、上記実施形態では、側面視において、車両の前端M2から距離dt(徐行時の制動距離)だけ離れた路面上の第2ターゲット位置T2とドライバーのアイポイントEとを通る第2傾斜ラインL2上に第2仮想視点V2が設定されるので、このような第2仮想視点V2から見た前方ビュー画像を通じて、例えば車両を前向き駐車する操作を行っているドライバーに第2ターゲット位置T2上の障害物を的確に認識させることができ、当該障害物との衝突の可能性を低減することができる。
また、上記実施形態では、後方ビュー画像および前方ビュー画像の生成時に第1・第2仮想視点V1,V2を投影中心としてカメラ画像が投影面P(平面投影面P1および立体投影面P2)に投影されるとともに、第1ターゲット位置T1および第2ターゲット位置T2が立体投影面P2の下縁(平面投影面P1の外周)に近接するように設定されるので、各ターゲット位置T1,T2に障害物があったときに当該障害物の画像を主に立体投影面P2に投影した状態で表示することができ、各ターゲット位置T1,T2上の障害物の視認性をより高めることができる。すなわち、図14(b)に示したように、平面投影面P1に投影した後の画像には大きな歪みが生じ易いのに対し、立体投影面P2に投影した後の画像に生じる歪みは小さく、視認性がよい。このため、上記のように各ターゲット位置T1,T2上の障害物の画像が主に立体投影面P2に投影されるように構成した場合には、当該障害物の視認性を高めることができ、当該障害物との衝突の可能性をより低減することができる。
また、上記実施形態では、車両後部の部品群を透過状態で示す第1自車両アイコンG1が後方ビュー画像に重畳して表示されるとともに、車両前部の部品群を透過状態で示す第2自車両アイコンG2が前方ビュー画像に重畳して表示されるので、各ビュー画像に表示される障害物等の情報を、自車両との位置関係を把握しながらドライバーに認識させることができる。しかも、第1自車両アイコンG1には車両後部の最外郭を規定する部品(リヤフェンダーg3)の画像が含まれ、第2自車両アイコンG2には車両前部の最外郭を規定する部品(フロントフェンダーg13)の画像が含まれるので、車両の後側方および前側方にある障害物と、当該障害物と最初に衝突する可能性のある部品との位置関係をドライバーに的確に認識させることができ、当該障害物との衝突の可能性をより低減することができる。
(5)変形例
上記実施形態では、後方ビュー画像および前方ビュー画像の水平方向の画角を、人間の注視安定視野の水平最大角度θ1(=90度)と同一の90度に設定したが、注視安定視野の広さに多少の個人差があることなどを考慮すれば、各ビュー画像の水平方向の画角は90度から多少ずれた値であってもよい。言い換えると、各ビュー画像の水平方向の画角は、90度もしくはこれに近い値(略90度)であればよく、例えば85度以上95度以下の範囲の適宜の値に設定可能である。
上記実施形態では、後方ビュー画像および前方ビュー画像の垂直方向の画角を45度に設定したが、各ビュー画像の垂直方向の画角は、人間の注視安定視野の垂直最大角度θ2(=70度)以下で、かつ40度以上であればよい。すなわち、後方ビュー画像および前方ビュー画像の垂直方向の画角は、40度以上70度以下の範囲の適宜の値に設定可能である。
上記実施形態では、後方ビュー画像および前方ビュー画像の画角を互いに同一(水平90度、垂直45度)に設定したが、両ビュー画像の画角は完全同一でなくてもよく、多少ずれていてもよい。具体的に、後方ビュー画像および前方ビュー画像の画角の差が5度以下であれば、両ビュー画像の画角は略同一であるといえ、本発明はこのような態様をも含むものである。
上記実施形態では、後方ビュー画像および前方ビュー画像の生成時にカメラ画像が投影される投影面Pの中心を、平面視において車両中心Cに一致させるようにしたが、投影面Pは車両を内包するように設定すればよく、車両中心Cからずれた位置に投影面Pの中心を設定してもよい。例えば、投影面Pの中心を第1仮想視点V1または第2仮想視点V2に一致させるようにしてもよい。より詳しくは、後方ビュー画像の生成時には第1仮想視点V1を中心とした投影面を設定し、前方ビュー画像の生成時には第2仮想視点V2を中心とした投影面を設定するようにしてもよい。
上記実施形態では、車両の後端M1から徐行時の制動距離に相当する距離dt(例えば2m)だけ離れた第1ターゲット位置T1と、車両の前端M2から同じ距離dtだけ離れた第2ターゲット位置T2とが、それぞれ投影面Pにおける立体投影面P2の下縁(平面投影面P1の外周)に対しわずかに外側(車両から離れる側)に位置するように、平面投影面P1の半径を設定したが、各ターゲット位置T1,T2は立体投影面P2の下縁の近傍にあればよく、その限りにおいて種々の位置に変更可能である。例えば、各ターゲット位置T1,T2は、立体投影面P2の下縁と一致する位置にあってもよいし、立体投影面P2の下縁からわずかに内側(車両に近づく側)に離れた位置にあってもよい。各ターゲット位置T1,T2と立体投影面P2の下縁との距離は±50cmまで許容される。言い換えると、当該距離が±50cm以下であれば、各ターゲット位置T1,T2は立体投影面P2の下縁の近傍にあるといえる。
1 :車両用表示装置
2 :車外撮影装置(撮影部)
3 :画像処理部
4 :車内ディスプレイ(表示部)
E :(ドライバーの)アイポイント
G1 :第1自車両アイコン(第1模擬画像)
G2 :第2自車両アイコン(第2模擬画像)
g3 :リヤフェンダー(車両後部の最外郭を規定する部品)
g13:フロントフェンダー(車両前部の最外郭を規定する部品)
M1 :車両の後端
M2 :車両の前端
L1 :第1傾斜ライン
L2 :第2傾斜ライン
P :投影面
P1 :平面投影面
P2 :立体投影面
T1 :第1ターゲット位置
T2 :第2ターゲット位置
V1 :第1仮想視点
V2 :第2仮想視点

Claims (5)

  1. 車両周辺の画像を表示するために車両に搭載された車両用表示装置であって、
    車両の周辺を撮影する撮影部と、
    前記撮影部により撮影された画像を車室内から車両周辺を見た画像であるビュー画像に変換する画像処理部と、
    前記画像処理部により生成されたビュー画像を表示する表示部とを備え、
    前記画像処理部は、前記ビュー画像として、車室内に位置する第1仮想視点から車両後方を見たときに得られる後方ビュー画像と、車室内において前記第1仮想視点よりも後側に位置する第2仮想視点から車両前方を見たときに得られる前方ビュー画像とを生成可能であり、
    前記表示部は、車両の後退時に前記後方ビュー画像を、車両の前進時に前記前方ビュー画像をそれぞれ表示するとともに、当該両ビュー画像を略同一の画角で表示する、ことを特徴とする車両用表示装置。
  2. 請求項1に記載の車両用表示装置において、
    前記第1仮想視点は、運転席に着座したドライバーのアイポイントよりも上方かつ前方の位置に設定され、前記第2仮想視点は、前記ドライバーのアイポイントよりも上方かつ後方の位置に設定される、ことを特徴とする車両用表示装置。
  3. 請求項2に記載の車両用表示装置において、
    前記第1仮想視点は、側面視において、車両の後端から徐行時の制動距離だけ離れた路面上の第1ターゲット位置と前記ドライバーのアイポイントとを通る第1傾斜ライン上に設定され、
    前記第2仮想視点は、側面視において、車両の前端から徐行時の制動距離だけ離れた路面上の第2ターゲット位置と前記ドライバーのアイポイントとを通る第2傾斜ライン上に設定される、ことを特徴とする車両用表示装置。
  4. 請求項3に記載の車両用表示装置において、
    前記画像処理部は、前記撮影部により撮影された画像を前記第1仮想視点または前記第2仮想視点を投影中心として予め定められた仮想的な投影面に投影することにより、前記第1ビュー画像または前記第2ビュー画像を生成し、
    前記投影面は、路面上に設定された平面投影面と、平面投影面の外周から立ち上がる立体投影面とを有し、
    前記第1ターゲット位置および前記第2ターゲット位置は、前記立体投影面の下縁の近傍に設定される、ことを特徴とする車両用表示装置。
  5. 請求項1~4のいずれか1項に記載の車両用表示装置において、
    前記画像処理部は、自車両の後部の部品群を表す第1模擬画像を前記後方ビュー画像に透過状態で重畳表示するとともに、自車両の前部の部品群を表す第2模擬画像を前記前方ビュー画像に透過状態で重畳表示し、
    前記第1模擬画像には、自車両の後部の最外郭を規定する部品の画像が含まれ、
    前記第2模擬画像には、自車両の前部の最外郭を規定する部品の画像が含まれる、ことを特徴とする車両用表示装置。
JP2020154280A 2020-09-15 2020-09-15 車両用表示装置 Pending JP2022048455A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020154280A JP2022048455A (ja) 2020-09-15 2020-09-15 車両用表示装置
CN202110841509.9A CN114179725B (zh) 2020-09-15 2021-07-26 车辆用显示装置
EP21195481.3A EP3967554B1 (en) 2020-09-15 2021-09-08 Vehicular display system
US17/469,606 US11601621B2 (en) 2020-09-15 2021-09-08 Vehicular display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020154280A JP2022048455A (ja) 2020-09-15 2020-09-15 車両用表示装置

Publications (1)

Publication Number Publication Date
JP2022048455A true JP2022048455A (ja) 2022-03-28

Family

ID=77666346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020154280A Pending JP2022048455A (ja) 2020-09-15 2020-09-15 車両用表示装置

Country Status (4)

Country Link
US (1) US11601621B2 (ja)
EP (1) EP3967554B1 (ja)
JP (1) JP2022048455A (ja)
CN (1) CN114179725B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022048454A (ja) * 2020-09-15 2022-03-28 マツダ株式会社 車両用表示装置
US20230326091A1 (en) * 2022-04-07 2023-10-12 GM Global Technology Operations LLC Systems and methods for testing vehicle systems
WO2024057060A1 (en) * 2022-09-13 2024-03-21 Vinai Artificial Intelligence Application And Research Joint Stock Company Surround view monitoring system and method
US11948227B1 (en) * 2023-04-18 2024-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Eliminating the appearance of vehicles and/or other objects when operating an autonomous vehicle

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4114292B2 (ja) * 1998-12-03 2008-07-09 アイシン・エィ・ダブリュ株式会社 運転支援装置
WO2011001642A1 (ja) * 2009-06-29 2011-01-06 パナソニック株式会社 車載用映像表示装置
JP5108837B2 (ja) * 2009-07-13 2012-12-26 クラリオン株式会社 車両用死角映像表示システムと車両用死角映像表示方法
WO2011070640A1 (ja) * 2009-12-07 2011-06-16 クラリオン株式会社 車両周辺画像表示システム
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
KR101265711B1 (ko) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3d 차량 주변 영상 생성 방법 및 장치
JP6148887B2 (ja) 2013-03-29 2017-06-14 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像処理システム
US9961259B2 (en) * 2013-09-19 2018-05-01 Fujitsu Ten Limited Image generation device, image display system, image generation method and image display method
JP6579903B2 (ja) * 2015-10-15 2019-09-25 株式会社デンソーテン 運転支援装置、車両、および車庫協調制御システム
JP6658642B2 (ja) * 2017-03-24 2020-03-04 トヨタ自動車株式会社 車両用視認装置
JP6504529B1 (ja) * 2017-10-10 2019-04-24 マツダ株式会社 車両用表示装置
JP7156937B2 (ja) * 2018-12-27 2022-10-19 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
EP3967554B1 (en) 2023-06-28
CN114179725B (zh) 2024-01-30
US20220086400A1 (en) 2022-03-17
US11601621B2 (en) 2023-03-07
EP3967554A1 (en) 2022-03-16
CN114179725A (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
US11528413B2 (en) Image processing apparatus and image processing method to generate and display an image based on a vehicle movement
JP2022048455A (ja) 車両用表示装置
EP1916846B1 (en) Device and method for monitoring vehicle surroundings
JP5209578B2 (ja) 車両用画像表示装置
JP6548900B2 (ja) 画像生成装置、画像生成方法及びプログラム
US20190100145A1 (en) Three-dimensional image driving assistance device
JP5251804B2 (ja) 運転支援装置
JP6014433B2 (ja) 画像処理装置、画像処理方法、及び、画像処理システム
JP2010183170A (ja) 車両用表示装置
JP5724446B2 (ja) 車両の運転支援装置
JP6723820B2 (ja) 画像生成装置、画像表示システムおよび画像表示方法
JP7091624B2 (ja) 画像処理装置
JP2013078151A (ja) 車両用表示装置
JPH10175482A (ja) 車両後方視界支援装置
JP2021043815A (ja) 画像処理装置
JP7013751B2 (ja) 画像処理装置
JP2006163756A (ja) 車両の視界補助装置
JP3830025B2 (ja) 描画装置
WO2016088150A1 (ja) 車載用表示装置、車両及び表示方法
JP5605605B2 (ja) 車両周辺監視装置
JP2022048454A (ja) 車両用表示装置
US20200231099A1 (en) Image processing apparatus
JP2018097535A (ja) 運転支援装置及び運転支援方法
JP2022048456A (ja) 車両用表示装置
JP2022048458A (ja) 車両用表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240326