JP2006311272A - 車両用映像表示装置 - Google Patents

車両用映像表示装置 Download PDF

Info

Publication number
JP2006311272A
JP2006311272A JP2005132101A JP2005132101A JP2006311272A JP 2006311272 A JP2006311272 A JP 2006311272A JP 2005132101 A JP2005132101 A JP 2005132101A JP 2005132101 A JP2005132101 A JP 2005132101A JP 2006311272 A JP2006311272 A JP 2006311272A
Authority
JP
Japan
Prior art keywords
camera
image data
display
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005132101A
Other languages
English (en)
Inventor
Mikio Kato
幹雄 加藤
Ichiro Yoshida
一郎 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2005132101A priority Critical patent/JP2006311272A/ja
Priority to US11/398,552 priority patent/US7825953B2/en
Publication of JP2006311272A publication Critical patent/JP2006311272A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/404Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components triggering from stand-by mode to operation mode
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Abstract

【課題】 運転者にとって死角となる車両後方及び側方領域の状況を、カメラによる撮影映像に基づいて違和感なく且つ直感的に把握できるようにすること。
【解決手段】 車両1のリアウインドウ及び左側のリアサイドウインドウには、透過型のリアウインドウディスプレイ2及びサイドウインドウディスプレイ4が設置され、左側リアピラーの内側にはリアピラーディスプレイ3が設置される。車両1の後部及び左側部にはそれぞれ円周魚眼レンズを備えた第1カメラ5及び第2カメラ6が設置される。各カメラ5、6が撮影した画像データ(超広角画像データ)を受ける画像データ処理装置は、その画像データを通常レンズ画像データに変換し、変換後の画像データからディスプレイ2、3、4に対応した領域を車両運転者の視線で透視した範囲に相当した画像データを切り取る処理を行う。このように切り取られた画像データは、表示制御装置によってディスプレイ2、3、4で再生される。
【選択図】 図3

Description

本発明は、カメラにより撮影した車両周辺領域の映像を表示するための車両用映像表示装置に関する。
車両においては、車両後方のトランク(セダン系の車両の場合)やバックドア(ハッチバック系の車両の場合)或いはリアピラーなどの影となる部分に運転者にとって死角となる領域が発生し、また、特に右ハンドル車両の場合には、車両の左側後方に沿って比較的大きな死角領域が発生するという事情がある。このような事情に対処するために、従来では、車両後方の死角となる領域を撮影するカメラを設置し、このカメラにより撮影した映像を、例えば運転席の前方に設置したモニタ或いは運転席の後方に設置したモニタで再生する構成とした装置が提供されている(例えば特許文献1及び2参照)。
特開平6−227318号公報 特開平11−129815号公報
特許文献1及び2に見られるような従来の装置では、カメラにより撮影した映像が、実際の撮影方向とは異なる位置に設置されたモニタで再生される構成であるため、モニタに障害物が映し出された場合に障害物と車両との位置関係を直感的に把握することが困難になるなど、その使い勝手が悪くなるという問題点があった。
本発明は、上記問題点を解決するためになされたものであり、運転者にとって死角となる車両後方及び側方領域の状況を、カメラによる撮影映像に基づいて違和感なく且つ直感的に把握できるようになる車両用映像表示装置を提供することを目的としたものである。
請求項1記載の発明によれば、第1カメラにより車両の後方領域を撮影した超広角レンズ画像データが得られると共に、第2カメラにより車両の左側方領域及び右側方領域の少なくとも一方を撮影した超広角レンズ画像データが得られる。
また、画像処理手段は、第1カメラ及び第2カメラによる各超広角レンズ画像データを通常レンズ画像データに変換した後に、第1カメラに対応した通常レンズ画像データのうち、少なくとも第1ディスプレイ(これは車両の車室内における後面壁部分に設置されている)を含む所定領域を車両運転者の視線で透視した範囲に相当した画像データを切り取って第1画像データを出力すると共に、第2カメラに対応した通常レンズ画像データのうち、少なくとも第2ディスプレイ(これは車室内における後面壁部分と連続した左側面壁部分及び右側面壁部分のうち、第2カメラの設置側に対応した側面壁部分に設置されている)を含む所定領域を車両運転者の視線で透視した範囲に相当した画像データを切り取って第2画像データを出力する処理、または、第1カメラによる超広角レンズ画像データのうち、少なくとも第1ディスプレイを含む所定領域を車両運転者の視線で透視した範囲に相当した画像データを切り取ると共に、第2カメラによる超広角レンズ画像データのうち、少なくとも第2ディスプレイを含む所定領域を車両運転者の視線で透視した範囲に相当した画像データを切り取り、このように切り取った各超広角レンズ画像データを通常レンズ画像データに変換し、変換後の各データをそれぞれ第1画像データ及び第2画像データとして出力する処理を行う。
表示制御手段は、このように出力された第1画像データ及び第2画像データを第1ディスプレイ及び第2ディスプレイで再生するようになる。つまり、第1ディスプレイ及び第2ディスプレイには、第1カメラ及び第2カメラにより撮影された車両後方及び側方領域の実際の状況を示す映像が、各ディスプレイの設置領域を車両運転者の視線で透過した状態で見た場合と同様の形態で表示されることになる。この結果、運転者にとって、トランク、バックドア、リアピラーなどにより死角となる車両後方及び側方領域の状況を、カメラによる撮影映像に基づいて違和感なく且つ直感的に把握できることになる。
請求項2記載の発明によれば、画像処理手段は、第1カメラ及び第2カメラによる各撮影画像データの切り取り範囲を、記憶手段に記憶された第1ディスプレイ及び第2ディスプレイの各外形を特定するための形状データ及び各設置位置を示す位置データを参照して決定する構成となっている。このため、本発明による車両用映像表示装置の設置対象となる車両の種類が異なる場合、つまり第1ディスプレイ及び第2ディスプレイの外形や設置場所が異なる場合であっても、記憶手段の記憶内容を変更するだけで容易に対応できるようになり、極めて高い汎用性が得られる。
請求項3記載の発明によれば、暗所撮影可能な第1カメラ及び第2カメラによって車両後方及び側方領域の状況を目視可能な状態で撮影できるようになる。このため、夜間などのように周囲が暗い状況下においても、第1ディスプレイ及び第2ディスプレイにて明瞭な映像を再生できるようになるから、車両運転者は、車両の後方及び側方領域の状況を正確に把握可能となる。
請求項4記載の発明によれば、第1ディスプレイ及び第2ディスプレイが設置された各領域に車両のリアウインドウ或いはサイドウインドウが含まれる場合に、少なくとも各ディスプレイにおけるウインドウ対応部分が透過型素子として構成されているから、それら第1ディスプレイ及び第2ディスプレイの存在が、リアウインドウやサイドウインドウを通じた視認性を阻害する事態を未然に防止できる。
請求項5記載の発明によれば、透過型素子として構成された第1ディスプレイ及び第2ディスプレイを通じて車両外部の状態を視認可能な環境下(周囲が明るい環境下)では、画像処理手段は、第1カメラ及び第2カメラによる各撮影画像データのうち車両運転者にとって死角となる範囲の画像データのみを切り取るようになり、この画像データに応じた映像が第1ディスプレイ及び第2ディスプレイで再生される。つまり、車両運転者は、死角にならない範囲の状態を透過型素子である第1ディスプレイ及び第2ディスプレイを通じて直接的に確認できるから、不要な映像表示をことさら行う必要がなくなり、また、死角となる範囲については各ディスプレイに表示された映像により確認できるから、安全性を高める上で有益になる。
請求項6記載の発明によれば、夜間などにおいて第1カメラ及び第2カメラにより暗所撮影が行われた場合には、画像処理手段は、第1カメラ及び第2カメラによる各撮影画像データのうち、第1ディスプレイ及び第2ディスプレイの各対応領域を車両運転者の視線で透視した範囲の全体に相当した画像データを切り取るようになり、この画像データに応じた映像が第1ディスプレイ及び第2ディスプレイで再生される。つまり、透過型素子として構成された第1ディスプレイ及び第2ディスプレイを通じて車両外部の状態を視認不可能な環境下(周囲が暗い環境下)では、第1カメラ及び第2カメラにより暗所撮影された画像データに応じた映像が第1ディスプレイ及び第2ディスプレイの全体で再生されるから、夜間などにおいても車両後方及び側方領域の状況を違和感なく且つ直感的に把握できるようになる。
請求項7記載の発明によれば、画像処理手段は、第1カメラ及び第2カメラによる各撮影画像データの切り取り範囲を車両運転者の視点位置を示す情報に応じて調整する構成となっているから、車両が複数の運転者により利用される場合でも、第1ディスプレイ及び第2ディスプレイにおいて各運転者に応じた最適な映像を再生できるようになる。
以下、本発明の一実施例について図1〜図5を参照しながら説明する。
図3には、右ハンドル車両の模式的平面図が示されている。この図3において、車両1は例えばハッチバックタイプのものであり、リアウインドウ(符号なし:車室内における後面壁部分に相当)には、例えば透過型のELパネルより成るリアウインドウディスプレイ2(第1のディスプレイに相当)が設置される。また、車両1の左側リアピラー(符号なし:車室内における左側壁部分に相当)の内側には、例えばELパネルより成るリアピラーディスプレイ3(第2のディスプレイに相当)が設置され、左側のリアサイドウインドウ(符号なし:車室内における左側壁部分に相当)には、例えば透過型のELパネルより成るサイドウインドウディスプレイ4(第2のディスプレイに相当)が設置される。
車両1の後部には、その後方領域を円周魚眼レンズ(画角が180°の超広角レンズ)により撮影するための第1カメラ5が設置されている。また、車両1の左側部には、当該車両1の左側方領域を円周魚眼レンズにより撮影するための第2カメラ6が設置されている。この場合、第1カメラ5及び第2カメラ6は、暗所撮影が可能な構成、例えば、通常のCCDカメラ(或いはCMOSカメラ)と赤外線カメラとを切り替えて使用する構成、或いは高感度カメラを使用する構成とされている。尚、図3においては、車両運転者が符号Dを付して示されている。
図1には、本実施例による車両用映像表示装置の全体構成が機能ブロックの組み合わせにより示されている。
この図1において、カメラ制御器7は、例えば、車両1の後方の状態を確認するための図示しない操作スイッチがオンされたとき(或いは図示しない音声入力装置を通じて音声による動作指令が行われたとき、車両1のシフトレバーがリバースポジションに投入されたときなど)に第1カメラ5及び第2カメラ6を動作開始させる。また、カメラ制御器7は、第1カメラ5及び第2カメラ6による撮影画像を所定周期で取り込む制御することにより、それらカメラ5及び6により撮影された画像データ(超広角レンズ画像データ)を画像データ処理装置8(画像処理手段に相当)へ送る構成となっている。この場合、カメラ制御器7は、夜間、或いは車両1の周囲の照度が設定値より低い場合に、第1カメラ5及び第2カメラ6を暗所撮影モードに切り替える構成となっている。尚、夜間か否かの判断は、車両1のライティングスイッチのオン状態、或いは車両1に搭載された照度センサの出力に基づいて行うことができ、このような照度センサは、車両1の周囲の照度が設定値より低いか否かを判断するときに使用できる。また、上記のように画像データ処理装置8へ送信される画像データは、例えばコマ撮りによる動画像データである。
画像データ処理装置8は、カメラ制御器7から受信した画像データを、リアウインドウディスプレイ2、リアピラーディスプレイ3及びサイドウインドウディスプレイ4上で映像として表示できるように加工する機能(これについては後述する)を備えている。
表示制御装置9は、画像データ処理装置8により加工された画像データを各ディスプレイ2〜4で再生するために設けられている。尚、表示制御装置9には、上記画像データを一時的に格納するための記憶手段(例えばビデオRAM)が設けられている。また、この表示制御装置9には、リアウインドウディスプレイ2、リアピラーディスプレイ3及びサイドウインドウディスプレイ4の明るさ調整機能を設けることが望ましい。
画像データ処理装置8からアクセス可能に接続されたデータメモリ8a(記憶手段に相当)は、不揮発性メモリ(ROM、フラッシュメモリなど)より成るもので、前記リアウインドウディスプレイ2、リアピラーディスプレイ3及びサイドウインドウディスプレイ4についてのプラグ&プレイ機能用の属性データが予め格納されている。この属性データは、具体的には、
・各ディスプレイ2〜4に固有のID番号、
・各ディスプレイ2〜4のピクセル数、
・各ディスプレイ2〜4の外形(寸法)を示す3次元相対位置座標データ、
・各ディスプレイ2〜4の実際の設置位置を示す3次元絶対位置座標データ、
などを含んだ構成となっている。
図2には、画像データ処理装置8による制御例が示されており、以下これについて関連した作用と共に説明する。
即ち、画像データ処理装置8は、カメラ制御器7からの画像データを新たに受信するまで待機し(ステップS1)、受信したときには当該受信画像データを図示しない内蔵記憶回路(例えばRAM)に記憶する(ステップS2)。次いで、データメモリ8aにアクセスすることにより、リアウインドウディスプレイ2、リアピラーディスプレイ3及びサイドウインドウディスプレイ4に係る属性データを読み込み(ステップS3)、この後に画像データ加工処理ルーチンS4を実行する。
ここで、画像データ処理装置8には、カメラ制御器7からの画像データ(超広角レンズ画像データ)を通常レンズ画像データに変換する画像変換プログラム(画像変換機能に相当)、第1カメラ5による撮影画像データのうち、リアウインドウディスプレイ2に対応した領域を車両運転者の視線で透視した範囲に相当した画像データを切り取る第1のデータ抽出プログラム(第1のデータ抽出機能に相当)、第2カメラ6による撮影画像データのうち、リアピラーディスプレイ3及びサイドウインドウディスプレイ4に対応した領域を車両運転者の視線で透視した範囲に相当した画像データを切り取る第2のデータ抽出プログラム(第2のデータ抽出機能に相当)が設定されている。
前記画像データ加工処理ルーチンS4では、上記画像変換プログラム、第1及び第2のデータ抽出プログラムを利用して画像データの加工が行われるものである。
具体的には、第1カメラ5及び第2カメラ6により撮影された各画像データ(超広角レンズ画像データ)は、それぞれ図4(a)に模式的に示すような状態となる。この図4(a)において、Aは障害物(歩行者)を示し、また、二点鎖線Bで囲った領域は、リアウインドウディスプレイ2に対応した領域を車両運転者の視線で透視した範囲に相当し、二点鎖線Cで囲った領域は、リアピラーディスプレイ3及びサイドウインドウディスプレイ4に対応した領域を車両運転者の視線で透視した範囲に相当する。
画像データ加工処理ルーチンS4では、前記画像変換プログラムを機能させることにより、図4(a)に示すような各画像データを、それぞれ同図(b)に示すような通常レンズ画像データに変換する。尚、ここでいう通常レンズ画像データに対応した「通常レンズ」とは、厳密に定義されるものではなく、カメラシステムにおいて標準とされる焦点距離またはこれに近い焦点距離を持ったレンズという意味である。
画像データ加工処理ルーチンS4では、この後に前記第1及び第2のデータ抽出プログラムを機能させることにより、図4(b)に示す各通常レンズ画像データから二点鎖線で囲った領域B、Cの各画像データを切り取る処理を行い、この後に次のステップS5へ移行する。
ステップS5では、画像データ加工処理ルーチンS4において加工された各画像データ(領域B、Cに対応した各画像データ)をそれぞれ第1画像データ及び第2画像データとして表示制御装置9へ送信し、この送信後に初期状態(ステップS1)へリターンする。
上記第1画像データ及び第2画像データを受信した表示制御装置9は、図4(c)に展開状態で示すように、第1画像データをリアウインドウディスプレイ2に表示する制御、並びに第2画像データをリアピラーディスプレイ3及びリアサイドディスプレイ4に表示する制御を行うことになる。
図5には、上記した画像データ処理装置8による画像加工の概念が示されている。この図5は、車両1におけるリアウインドウディスプレイ2、リアピラーディスプレイ3及びリアサイドディスプレイ4の配置状態を上から見た状態で模式的に示すものであり、同図中のXは、第1カメラ5により撮影された画像データに対応した通常レンズ画像データによるイメージ、同じくYは、第2カメラ6により撮影された画像データに対応した通常レンズ画像データによるイメージである。この図5において、第1のデータ抽出プログラムは、上記イメージXのうち、リアウインドウディスプレイ2に対応した領域を車両運転者Dの視線で透視した範囲Xaに相当した画像データを切り取ることになり、また、第2のデータ抽出プログラムは、上記イメージYのうち、リアピラーディスプレイ3及びサイドウインドウディスプレイ4に対応した領域を車両運転者Dの視線で透視した範囲Yaに相当した画像データを切り取ることになる。
従って、図4(c)に示すように、リアウインドウディスプレイ2に表示される第1画像データによる映像と、リアピラーディスプレイ3及びサイドウインドウディスプレイ4に表示される第2画像データによる映像の繋ぎ目(図5に符号Pを付して示す)は、違和感のない位置に自動的に決定されることになる。
以上要するに、上記した本実施例の構成によれば、以下に述べるような作用・効果を奏するものである。
即ち、リアウインドウディスプレイ2、リアピラーディスプレイ3及びサイドウインドウディスプレイ4には、第1カメラ5及び第2カメラ6により撮影された車両1の後方及び側方領域の実際の状況を示す映像が、各ディスプレイ2〜4の設置領域(リアウインドウ、リアピラー、サイドウインドウ)を車両1の運転者の視線で透過した状態で見た場合と同様の形態で表示されることになる。この結果、運転者にとってバックドア、リアピラーなどにより死角となる車両1の後方及び側方領域の状況を、第1カメラ5及び第2カメラ6による撮影映像に基づいて違和感なく且つ直感的に把握できることになる。
尚、第1カメラ5及び第2カメラ6は、被写界深度が極めて大きい魚眼レンズを使用しているから、ピント合わせを行わなくても良好な画質の画像データを得ることができる。
リアウインドウディスプレイ2、リアピラーディスプレイ3及びサイドウインドウディスプレイ4についてのプラグ&プレイ機能用の属性データ(各ディスプレイ2〜4に係るID番号、ピクセル数、外形(寸法)を示す3次元相対位置座標データ、実際の設置位置を示す3次元絶対位置座標データなど)をデータメモリ8aに予め格納しておき、画像データ処理装置8は、第1カメラ5及び第2カメラ6による各撮影画像データの切り取り範囲を、データメモリ8aに格納された属性データを参照して決定する構成となっている。このため、本実施例による車両用映像表示装置の設置対象となる車両1の種類が異なる場合、つまりリアウインドウディスプレイ2、リアピラーディスプレイ3及びサイドウインドウディスプレイ4の外形や設置場所が異なる場合であっても、データメモリ8aの記憶内容を変更するだけで容易に対応できるようになり、極めて高い汎用性が得られる。
夜間、或いは車両1の周囲の照度が設定値より低い状況下では、第1カメラ5及び第2カメラ6が暗所撮影モードに切り替えられる構成となっているから、それらカメラ5及び6によって車両1の後方及び側方領域の状況を目視可能な状態で撮影できるようになる。このため、夜間などのように周囲が暗い状況下においても、リアウインドウディスプレイ2、リアピラーディスプレイ3及びサイドウインドウディスプレイ4にて明瞭な映像を再生できるようになるから、車両1の運転者は、当該車両1の後方及び側方領域の状況を正確に把握可能となる。
車両のリアウインドウ及びサイドウインドウにそれぞれ設置されるリアウインドウディスプレイ2及びサイドウインドウディスプレイ4は、透過型素子である透過型ELパネルにより構成されているから、それらディスプレイ2及び4の存在が、リアウインドウやサイドウインドウを通じた視認性を阻害する事態を未然に防止できる。
夜間などにおいて第1カメラ5及び第2カメラ6により暗所撮影が行われた場合には、画像データ処理装置8は、第1カメラ5及び第2カメラ6による各撮影画像データのうち、リアウインドウディスプレイ2、リアピラーディスプレイ3及びサイドウインドウディスプレイ4の各対応領域を車両運転者の視線で透視した範囲の全体に相当した画像データを切り取るようになり、この画像データに応じた映像が各ディスプレイ2〜4で再生される。つまり、透過型素子として構成されたリアウインドウディスプレイ2及びサイドウインドウディスプレイ4を通じて車両1の外部の状態を視認不可能な環境下(周囲が暗い環境下)では、第1カメラ5及び第2カメラ6により暗所撮影された画像データに応じた映像が各ディスプレイ2〜4の全体で再生されるから、夜間などにおいても車両1の後方及び側方領域の状況を違和感なく且つ直感的に把握できるようになる。
(その他の実施の形態)
本発明は上記した実施例に限定されるものではなく、例えば以下のような変形または拡張が可能である。
第1カメラ5による撮影画像データからは、リアウインドウディスプレイ2に対応した領域を車両運転者の視線で透視した範囲に相当した画像データを切り取る構成としたが、当該リアウインドウディスプレイ2に対応した領域の他に、リアピラーディスプレイ3及びサイドウインドウディスプレイ4に対応した領域の一部を含んだ範囲を車両運転者の視線で透視した範囲に相当した画像データを切り取る構成としても良い。
この場合には、前記図5と同等の内容を示す図6のように、画像データ処理装置8に設定された第1のデータ抽出プログラムにより、第1カメラ5により撮影された画像データに対応したイメージXのうち、リアウインドウディスプレイ2の他に例えばリアピラーディスプレイ3に対応した領域の一部を含んだ範囲を車両運転者Dの視線で透視した範囲Xbに相当した画像データを切り取ることになり、また、画像データ処理装置8に設定された第2のデータ抽出プログラムにより、第1カメラ5により撮影された画像データに対応したイメージYのうち、前記第1のデータ抽出プログラムにより切り取られた領域以外の範囲を車両運転者Dの視線で透視した範囲Ybに相当した画像データを切り取ることになる。この場合には、第1画像データによる映像と第2画像データによる映像の繋ぎ目Pが、前方へ移動することになる。
また、この逆に、第2カメラ5による撮影画像データからは、リアピラーディスプレイ3及びサイドウインドウディスプレイ4に対応した領域の他に、リアウインドウディスプレイ2に対応した領域の一部を含んだ範囲を車両運転者の視線で透視した範囲に相当した画像データを切り取る構成としても良い。
上記実施例では、画像データ処理装置8において実行される画像データ加工処理ルーチンS4において、第1カメラ5及び第2カメラ6により撮影された各画像データ(超広角レンズ画像データ)を、画像変換プログラムによって通常レンズ画像データに変換した後に、各画像データの所定範囲を第1及び第2のデータ抽出プログラムによって切り取る構成としたが、この逆に、第1カメラ5及び第2カメラ6により撮影された各画像データから、第1及び第2のデータ抽出プログラムにより所定範囲ずつの画像データ(超広角レンズ画像データ)を切り取った後に、各画像データを画像変換プログラムにより通常レンズ画像データに変換する構成としても良い。
画像データ処理装置8に設定される前記第1及び第2のデータ抽出プログラムは、透過型素子として構成されたリアウインドウディスプレイ2及びサイドウインドウディスプレイ4を通じて車両1の外部の状態を視認可能な環境下では、第1カメラ5及び第2カメラ6による各撮影画像データのうち、車両1の運転者にとって死角となる範囲の画像データのみを切り取るように構成しても良い。この構成によれば、車両1の運転者は、死角にならない範囲の状態を透過型素子であるリアウインドウディスプレイ2及びサイドウインドウディスプレイ4を通じて直接的に確認できるから、不要な映像表示をことさら行う必要がなくなり、また、死角となる範囲については各ディスプレイ2〜4に表示された映像により確認できるから、安全性を高める上で有益になる。
画像データ処理装置8に設定される第1及び第2のデータ抽出プログラムには、第1カメラ5及び第2カメラ6による各撮影画像データの切り取り範囲を、車両1の運転者の視点位置を示す情報(例えば運転者毎に予め入力した始点位置を示す数値データ)に応じて調整するキャリブレーション機能を付加しても良い。この構成によれば、車両1が複数の運転者により利用される場合でも、リアウインドウディスプレイ2、リアピラーディスプレイ3及びサイドウインドウディスプレイ4において各運転者に応じた最適な映像を再生できるようになる。
車両の右側部にも上記実施例と同様の第2カメラを設置すると共に、車両1の右側リアピラー及び右側のリアサイドウインドウにも上記実施例と同様のディスプレイを設置する構成としても良い。第1カメラ5及び第2カメラ6は、魚眼レンズを使用する構成としたが、魚眼レンズより画角が狭い超広角レンズで代用しても良い。本実施例による車両用映像表示装置の設置対象の車両は、乗用車に限らず、トラックなど運転席からの後方確認が困難となる車両にも拡大できる。
本発明の一実施例を示す車両用映像表示装置全体の機能ブロック図 画像データ処理装置による制御例を示すフローチャート 車両の模式的平面図 画像データ処理装置による制御内容などを説明するための模式図 画像データ処理装置による画像加工の概念を説明するための模式図 本発明の他の実施例を説明するための図5相当図
符号の説明
1は車両、2はリアウインドウディスプレイ(第1のディスプレイ)、3はリアピラーディスプレイ(第2のディスプレイ)、4はサイドウインドウディスプレイ(第2のディスプレイ)、5は第1カメラ、6は第2カメラ、7はカメラ制御器、8は画像データ処理装置(画像処理手段)、8aはデータメモリ(記憶手段)、9は表示制御装置を示す。

Claims (7)

  1. 車両の後部に設置され、当該車両の後方領域を超広角レンズにより撮影する第1カメラと、
    前記車両の左側部及び右側部の少なくとも一方に設置され、当該車両の側方領域を超広角レンズにより撮影する第2カメラと、
    前記車両の車室内における後面壁部分に設置された第1ディスプレイと、
    前記車両の車室内における前記後面壁部分と連続した左側面壁部分及び右側面壁部分のうち、前記第2カメラの設置側に対応した側面壁部分に設置された第2ディスプレイと、
    前記第1カメラ及び第2カメラが撮影した超広角レンズ画像データを通常レンズ画像データに変換する画像変換機能、前記第1カメラによる撮影画像データのうち、少なくとも前記第1ディスプレイを含む所定領域を車両運転者の視線で透視した範囲に相当した画像データを切り取る第1のデータ抽出機能、前記第2カメラによる撮影画像データのうち、少なくとも前記第2ディスプレイを含む所定領域を車両運転者の視線で透視した範囲に相当した画像データを切り取る第2のデータ抽出機能が設定され、前記画像変換機能により変換した通常レンズ画像データを前記第1及び第2のデータ抽出機能により切り取ることにより、前記第1カメラ及び第2カメラにそれぞれ対応した第1画像データ及び第2画像データを出力する処理、または、前記第1及び第2のデータ抽出機能により切り取った各超広角レンズ画像データを前記画像変換機能により通常レンズ画像データに変換することにより、前記第1カメラ及び第2カメラにそれぞれ対応した第1画像データ及び第2画像データを出力する処理を実行する画像処理手段と、
    この画像処理手段から出力される第1画像データ及び第2画像データを前記第1ディスプレイ及び第2ディスプレイで再生する表示制御手段と、
    を備えたことを特徴とする車両用映像表示装置。
  2. 前記第1ディスプレイ及び第2ディスプレイの各外形を特定するための形状データ及びそれら各ディスプレイの設置位置を示す位置データなどを記憶するための記憶手段を備え、
    前記画像処理手段に設定される前記第1及び第2のデータ抽出機能は、前記第1カメラ及び第2カメラによる各撮影画像データの切り取り範囲を、前記記憶手段に記憶された形状データ及び位置データなどを参照して決定することを特徴とする請求項1記載の車両用映像表示装置。
  3. 前記第1カメラ及び第2カメラは、暗所撮影が可能な構成とされていることを特徴とする請求項1または2記載の車両用映像表示装置。
  4. 前記第1ディスプレイが設置された領域に車両のリアウインドウが含まれる場合に、少なくとも当該第1ディスプレイにおけるリアウインドウ対応部分が透過型素子として構成され、前記第2ディスプレイが設置された領域に車両のサイドウインドウが含まれる場合に、少なくとも当該第2ディスプレイにおけるサイドウインドウ対応部分が透過型素子として構成されることを特徴とする請求項1ないし3の何れかに記載の車両用映像表示装置。
  5. 請求項4記載の車両用映像表示装置において、
    前記画像処理手段に設定される前記第1及び第2のデータ抽出機能は、透過型素子として構成された前記第1ディスプレイ及び第2ディスプレイを通じて車両外部の状態を視認可能な環境下では、前記第1カメラ及び第2カメラによる各撮影画像データのうち車両運転者にとって死角となる範囲の画像データのみを切り取るように構成されることを特徴とする車両用映像表示装置。
  6. 請求項4記載の車両用映像表示装置において、
    前記第1カメラ及び第2カメラが暗所撮影を行った場合には、
    前記画像処理手段に設定される前記第1及び第2のデータ抽出機能は、前記第1カメラ及び第2カメラによる撮影画像データが前記暗所撮影により得られたものであったときに、前記第1カメラ及び第2カメラによる各撮影画像データのうち、前記第1ディスプレイ及び第2ディスプレイの各対応領域を車両運転者の視線で透視した範囲の全体に相当した画像データを切り取るように構成されることを特徴とする車両用映像表示装置。
  7. 前記画像処理手段に設定される前記第1及び第2のデータ抽出機能には、前記第1カメラ及び第2カメラによる各撮影画像データの切り取り範囲を、車両運転者の視点位置を示す情報に応じて調整するキャリブレーション機能が付加されていることを特徴とする請求項1ないし6の何れかに記載の車両用映像表示装置。
JP2005132101A 2005-04-28 2005-04-28 車両用映像表示装置 Withdrawn JP2006311272A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005132101A JP2006311272A (ja) 2005-04-28 2005-04-28 車両用映像表示装置
US11/398,552 US7825953B2 (en) 2005-04-28 2006-04-06 Vehicular image display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005132101A JP2006311272A (ja) 2005-04-28 2005-04-28 車両用映像表示装置

Publications (1)

Publication Number Publication Date
JP2006311272A true JP2006311272A (ja) 2006-11-09

Family

ID=37234052

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005132101A Withdrawn JP2006311272A (ja) 2005-04-28 2005-04-28 車両用映像表示装置

Country Status (2)

Country Link
US (1) US7825953B2 (ja)
JP (1) JP2006311272A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008290584A (ja) * 2007-05-24 2008-12-04 Toyota Motor Corp 車載カメラシステム
KR20170031755A (ko) * 2014-09-17 2017-03-21 인텔 코포레이션 사발형 이미징 시스템에서의 물체 가시화
JP2018074440A (ja) * 2016-10-31 2018-05-10 トヨタ自動車株式会社 車両後方画像表示装置
JP2021083006A (ja) * 2019-11-21 2021-05-27 株式会社デンソー 車両用映像表示装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4351132B2 (ja) * 2004-09-17 2009-10-28 本田技研工業株式会社 車載用暗視装置
JP2007304407A (ja) * 2006-05-12 2007-11-22 Alpine Electronics Inc 車載カメラ用自動露出装置および車載カメラ用自動露出方法
JP5159070B2 (ja) * 2006-08-31 2013-03-06 アルパイン株式会社 車両周辺画像表示装置及び表示方法
US9135842B1 (en) * 2007-03-05 2015-09-15 Rachael Riley Mobile display and advertising assembly
US20090102923A1 (en) * 2007-09-24 2009-04-23 Mason Edward L Truck security system
DE102007046971A1 (de) * 2007-09-28 2009-04-16 Continental Automotive Gmbh Kraftfahrzeug mit einer Anzeige und einer Kamera
JP4412380B2 (ja) * 2007-10-02 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法及びコンピュータプログラム
US8207835B2 (en) * 2008-10-19 2012-06-26 Micha Schwartz Vehicle safety device
US20100310100A1 (en) * 2009-06-03 2010-12-09 International Truck Intellectual Property Company, Llc Loudspeaker input switch system to reorient sound in truck
DE102010063567A1 (de) * 2010-12-20 2012-06-21 Bayerische Motoren Werke Aktiengesellschaft Anzeigesystem für ein Kraftfahrzeug
CN103108154A (zh) * 2011-11-14 2013-05-15 辉达公司 一种汽车导航设备
US10457209B2 (en) * 2012-02-22 2019-10-29 Magna Electronics Inc. Vehicle vision system with multi-paned view
US9633186B2 (en) * 2012-04-23 2017-04-25 Apple Inc. Systems and methods for controlling output of content based on human recognition data detection
KR20140028210A (ko) * 2012-08-27 2014-03-10 주식회사 만도 차량 주변 환경 인식 시스템
KR101449160B1 (ko) * 2012-12-12 2014-10-08 현대자동차주식회사 차량의 사각지대 정보 제공 장치 및 방법
KR101811157B1 (ko) 2013-12-19 2018-01-25 인텔 코포레이션 사발형 영상 시스템
CN104890576A (zh) * 2015-05-22 2015-09-09 西安电子科技大学 一种智能全方位消除汽车盲区的装置
US10486600B1 (en) 2015-09-28 2019-11-26 Apple Inc. Systems for improving side-mirror functionality of a vehicle
CN108791068B (zh) * 2018-04-28 2021-06-29 安徽上造智能设备科技有限公司 一种用于电动汽车a柱视野盲区的辅助设备
CN108958376B (zh) * 2018-06-26 2020-06-02 Oppo广东移动通信有限公司 显示装置及显示方法
EP3974231A1 (en) * 2018-08-06 2022-03-30 Koito Manufacturing Co., Ltd. Vehicle display system and vehicle
CN111114468A (zh) * 2018-10-30 2020-05-08 百度在线网络技术(北京)有限公司 获取采集盲区的方法和装置
CN111409556B (zh) * 2020-04-13 2022-05-10 京东方科技集团股份有限公司 车辆a柱显示组件的显示方法、系统、设备和存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06227318A (ja) 1993-02-08 1994-08-16 Hitachi Ltd 車両の後方モニタ装置及び方法
US5289321A (en) * 1993-02-12 1994-02-22 Secor James O Consolidated rear view camera and display system for motor vehicle
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
US5963247A (en) * 1994-05-31 1999-10-05 Banitt; Shmuel Visual display systems and a system for producing recordings for visualization thereon and methods therefor
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
JP3572378B2 (ja) 1997-10-28 2004-09-29 日産自動車株式会社 車両用後方確認装置
JP2000272417A (ja) 1999-03-24 2000-10-03 Sony Corp 車両の後方監視装置
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP2001114048A (ja) 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車載運転支援情報表示装置
JP4425495B2 (ja) 2001-06-08 2010-03-03 富士重工業株式会社 車外監視装置
JP4567255B2 (ja) * 2001-09-28 2010-10-20 アイシン精機株式会社 駐車補助装置
US7212653B2 (en) 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
US6683539B2 (en) * 2001-12-27 2004-01-27 Koninklijke Philips Electronics N.V. Computer vision based parking assistant
JP2004064131A (ja) 2002-07-24 2004-02-26 Honda Motor Co Ltd 車両用表示装置
JP5006118B2 (ja) * 2007-06-25 2012-08-22 富士フイルム株式会社 超広角撮像レンズおよび撮像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008290584A (ja) * 2007-05-24 2008-12-04 Toyota Motor Corp 車載カメラシステム
KR20170031755A (ko) * 2014-09-17 2017-03-21 인텔 코포레이션 사발형 이미징 시스템에서의 물체 가시화
JP2017536717A (ja) * 2014-09-17 2017-12-07 インテル コーポレイション ボウル型イメージングシステムにおけるオブジェクト視覚化
KR102253553B1 (ko) * 2014-09-17 2021-05-18 인텔 코포레이션 사발형 이미징 시스템에서의 물체 가시화
JP2018074440A (ja) * 2016-10-31 2018-05-10 トヨタ自動車株式会社 車両後方画像表示装置
JP2021083006A (ja) * 2019-11-21 2021-05-27 株式会社デンソー 車両用映像表示装置

Also Published As

Publication number Publication date
US7825953B2 (en) 2010-11-02
US20060244829A1 (en) 2006-11-02

Similar Documents

Publication Publication Date Title
JP2006311272A (ja) 車両用映像表示装置
JP5120880B2 (ja) 画像処理装置及び画像処理方法
JP5627253B2 (ja) 画像処理装置、電子装置、および、画像処理方法
US20190028651A1 (en) Imaging device, imaging system, and imaging method
JP5347257B2 (ja) 車両用周辺監視装置および映像表示方法
US9706175B2 (en) Image processing device, image processing system, and image processing method
JP4254887B2 (ja) 車両用画像表示システム
JP3916958B2 (ja) 車両後方モニタシステムおよびモニタ装置
JP2009524171A (ja) 複数の画像を結合して鳥瞰図画像にする方法
JP2009081664A (ja) 車両用周辺監視装置および映像表示方法
JP2005110202A (ja) カメラ装置及び車両周辺監視装置
JP2009078597A (ja) 後方確認システム
KR20190047027A (ko) 차량의 차량 주변 리어뷰 미러 조망을 제공하는 방법
WO2010070920A1 (ja) 車両周囲画像生成装置
JP2010130647A (ja) 車両周辺確認装置
US20190087665A1 (en) Information processing apparatus and program
JP2008100596A (ja) 後方視認装置
JP2016168877A (ja) 車両用視認装置
JP2011049735A (ja) 車両周辺画像提供装置
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP2007129290A (ja) 車両/周囲画像提供装置
JP6118936B2 (ja) 画像処理装置
KR20100019605A (ko) 후방 카메라 디스플레이 시스템
KR101941607B1 (ko) 차량용 촬영 표시 장치 및 기록 매체
KR20180074093A (ko) 어라운드 뷰 영상 제공 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070709

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20081114