JP2007311970A - 車両周辺画像生成装置および撮像装置の測光調整方法 - Google Patents

車両周辺画像生成装置および撮像装置の測光調整方法 Download PDF

Info

Publication number
JP2007311970A
JP2007311970A JP2006137393A JP2006137393A JP2007311970A JP 2007311970 A JP2007311970 A JP 2007311970A JP 2006137393 A JP2006137393 A JP 2006137393A JP 2006137393 A JP2006137393 A JP 2006137393A JP 2007311970 A JP2007311970 A JP 2007311970A
Authority
JP
Japan
Prior art keywords
photometric
area
imaging
vehicle
host vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006137393A
Other languages
English (en)
Other versions
JP4812510B2 (ja
Inventor
Hisashi Watanabe
久之 渡辺
Tasuku Nomura
翼 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2006137393A priority Critical patent/JP4812510B2/ja
Priority to US11/741,310 priority patent/US7663476B2/en
Publication of JP2007311970A publication Critical patent/JP2007311970A/ja
Application granted granted Critical
Publication of JP4812510B2 publication Critical patent/JP4812510B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/005—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Abstract

【課題】輝度差による切れ目がなく、運転者にとって違和感の少ない車両周辺画像を少ない演算量で生成可能な「車両周辺画像生成装置および撮像装置の測光調整方法」を提供する。
【解決手段】カメラ１ａ〜１ｄの撮影領域どうしが重なる重複領域を測光重点領域として決定する測光重点領域決定部５と、測光重点領域を重点的に測光して各カメラ１ａ〜１ｄの適正露出を算出する露出算出部６とを備え、車両周辺画像を生成する際に使用する各カメラ１ａ〜１ｄの少なくとも一部について、例えば自車両の予測進行方向にある撮影範囲の重複領域を測光重点領域として測光することにより、少なくとも、測光重点領域において撮影領域の重なりを有する複数の画像の輝度が同程度となるようにし、その画像間に輝度差に起因する切れ目が殆ど見えなくなるようにする。
【選択図】 図１

Description

本発明は、車両周辺画像生成装置および撮像装置の測光調整方法に関し、特に、自車両の上方の仮想視点から見た車両周辺画像を生成する車両周辺画像生成装置および、自車両の周辺の画像を撮影するために自車両の周囲に取り付けられた複数の撮像装置の測光を調整する方法に用いて好適なものである。
従来、自車両の前後左右に複数のカメラを設置し、当該複数のカメラにより撮影した自車両周囲の画像を視点変換処理することにより、自車両の上方の仮想視点から見た車両周辺画像を生成して表示する技術が提供されている。運転者は、自車両の表示装置に表示された車両周辺画像を確認することで、自車両とその周囲の障害物との位置関係を把握し、自車両と障害物との衝突等を防ぐように運転することができる。
一般的には、自車両の前方に配置されるフロントカメラで自車両の前方の撮影領域を撮影する。また、自車両の左側方に配置される左サイドカメラで自車両左側方の撮影領域を撮影する。また、自車両の右側方に配置される右サイドカメラで自車両の右側方の撮影領域を撮影する。また、自車両の後方に配置されるリアカメラで自車両の後方の撮影領域を撮影する。そして、各カメラで撮影した前方、左側方、右側方、後方の画像をもとに、車両周辺画像を生成する。
この種のシステムでは、前後左右の異なる位置に複数のカメラを設置して使用するので、各カメラの撮影領域毎に被写体の明るさが異なる場合がある。例えば、自車両の右側から日光が照射している場合、右側方の撮影領域は日向になって明るくなるが、左側方の撮影領域は日陰になって暗くなる。また、後退しながら自車両を車庫に駐車しようとしている過程では、後方の撮影領域は車庫内にあって暗くなるが、その他の撮影領域は車庫外にあって明るくなる。このような場合には、各カメラで撮影される画像に輝度の差が生じる。
このように輝度差のある複数の画像を合成して、自車両の全周囲が見える車両周辺画像を生成した場合、異なる方向の画像間に輝度差による切れ目が見えて、違和感があって見にくい画像となってしまうという問題が生じる。太陽の位置や天候、周囲環境などが異なるあらゆる状況下において、各カメラで撮影される画像を輝度差による切れ目が見えないように合成することは困難である。
なお、車両の全周囲にわたって車両近辺をできるだけ現実に近いように分かり易く１枚の画像として合成できるようにするために、自車両上方の仮想視点から見た３次元空間内の点Ｐが複数のカメラで撮影した画像と対応付けられている場合に、点Ｐの画素の色を、複数のカメラで点Ｐを見たときの色を用いた計算により決定する技術が提案されている（例えば、特許文献１参照）。
特許第３２８６３０６号公報
しかしながら、上記特許文献１に記載の技術では、仮想視点から見た点Ｐが複数のカメラで撮影した画像と対応付けられていない場合には、点Ｐの画素の色を適切に調整することができず、違和感が残ってしまうという問題があった。また、上記特許文献１に記載の技術では、個々の画素毎に色を計算によって求めていく必要があるので、演算に相当の時間がかかってしまうという問題があった。
本発明は、このような問題を解決するために成されたものであり、異なる位置に設置した複数のカメラの撮影画像から車両周辺画像を生成する場合に、運転者にとって違和感の少ない車両周辺画像を少ない演算量で生成できるようにすることを目的とする。
上記した課題を解決するために、本発明では、車両周辺画像を生成する際に使用する複数の撮像装置の少なくとも一部について、当該少なくとも一部の撮像装置が有する撮影領域の中から測光重点領域を決定し、測光重点領域を他の領域よりも重点的に測光して撮像装置の適正露出を算出するようにしている。例えば、複数の撮像装置がそれぞれ有している撮影領域どうしの重なり部分のうち、自車両の予測進行方向にある重なり部分を測光重点領域として決定する。また、自車両周辺において障害物がある方向の重なりの部分を測光重点領域として決定する。
上記のように構成した本発明によれば、少なくとも、測光重点領域において撮影領域の重なりを有する複数の画像の輝度は同程度となり、その画像間に輝度差に起因する切れ目は殆ど見えなくなる。ここで、測光重点領域は、自車両の進行方向や障害物が存在する方向など、運転者が特に注視する必要がある部分に設定される。したがって、特に運転者が運転時に見るべき方向の画像について輝度差による違和感を解消することができ、運転者が運転時に見たい箇所の視認性を向上させることができる。また、個々の画素毎に色を計算するといった煩雑な演算を行わなくても済むので、少ない演算量で違和感のない車両周辺画像を生成することができる。
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による車両周辺画像生成装置１０の構成例を示すブロック図である。図１において、１は複数の撮像装置であり、自車両の前方を撮影するためのフロントカメラ１ａ、自車両の左側方を撮影するための左サイドカメラ１ｂ、自車両の右側方を撮影するための右サイドカメラ１ｃおよび自車両の後方を撮影するためのリアカメラ１ｄにより構成されている。
図２は、各カメラ１ａ〜１ｄの配置および撮影領域の例を示す図である。図２において、フロントカメラ１ａは自車両１００の前方に配置され、前方の撮影領域Ｈ１を撮影する。左サイドカメラ１ｂは自車両１００の左側方に配置され、左方の撮影領域Ｈ２を撮影する。右サイドカメラ１ｃは自車両１００の右側方に配置され、右方の撮影領域Ｈ３を撮影する。リアカメラ１ｄは自車両１００の後方に配置され、後方の撮影領域Ｈ４を撮影する。
前方の撮影領域Ｈ１と左方の撮影領域Ｈ２とは一部の領域ＯＡ１において重なっている。前方の撮影領域Ｈ１と右方の撮影領域Ｈ３とは一部の領域ＯＡ２において重なっている。後方の撮影領域Ｈ４と左方の撮影領域Ｈ２とは一部の領域ＯＡ３において重なっている。また、後方の撮影領域Ｈ４と右方の撮影領域Ｈ３とは一部の領域ＯＡ４において重なっている。
２は車両周辺画像生成部であり、画像処理部２ａ、マッピングテーブル記憶部２ｂおよび自車両画像記憶部２ｃを備えている。画像処理部２ａは、各カメラ１ａ〜１ｄにて撮影された画像を入力し、マッピングテーブル記憶部２ｂに記憶されている変換情報に従って、自車両１００の周辺を上方から見たときの背景画像を生成する。
ここで、背景画像は、フロントカメラ１ａにより撮影された画像を視点変換して生成されたフロント車両周辺画像と、左サイドカメラ１ｂにより撮影された画像を視点変換して生成された左サイド車両周辺画像と、右サイドカメラ１ｃにより撮影された画像を視点変換して生成された右サイド車両周辺画像と、リアカメラ１ｄにより撮影された画像を視点変換して生成されたリア車両周辺画像とを合成することによって生成する。
マッピングテーブル記憶部２ｂは、各カメラ１ａ〜１ｄにより撮影された画像の画素データと自車両１００の周辺を上方の仮想視点から見た背景画像の画素データとの対応関係を記載したテーブルであり、撮影された画像のある画素が背景画像のどの画素に対応するかを示す変換情報を記載している。自車両画像記憶部２ｃは、自車両１００を上方から見たときの形体を示す自車両画像を記憶しており、画像処理部２ａにより読み出される。画像処理部２ａは、上述した背景画像の略中央に自車両画像を合成することにより、車両周辺画像を生成する。３は表示装置であり、画像処理部２ａにより生成された車両周辺画像を表示する。
４は進行方向予測部であり、自車両１００の進行方向を予測する。進行方向の予測は、例えばギアポジションに基づき行う。すなわち、進行方向予測部４は、変速機のギアがどのポジションに入っているかを判定し、その判定結果に応じて自車両１００の進行方向を予測する。具体的には、進行方向予測部４は、変速機がフロントギア（ニュートラル、パーキング、バックギアの３つ以外のギア）に入っていることを検出した場合、自車両１００が前進する（進行方向は前方である）と予測する。また、変速機がバックギアに入っていることを検出した場合、自車両１００が後退する（進行方向は後方である）と予測する。
なお、自車両１００の進行方向の予測は、この方法に限定されない。例えば、自車両１００の進行方向を方向指示器の動作状態に基づき予測するようにしても良い。すなわち、進行方向予測部４は、どの方向の指示器が動作しているかを判定し、その判定結果に応じて自車両１００の進行方向を予測する。具体的には、進行方向予測部４は、右折の方向指示器が動作していることを検出した場合、自車両１００が右前方へ進行すると予測する。また、左折の方向指示器が動作していることを検出した場合、自車両１００が左前方へ進行すると予測する。
自車両１００の進行方向を方向指示器の動作状態に基づいて予測する場合、これだけでは、方向指示器が動作していないときに自車両１００の進行方向を予測することができない。したがって、方向指示器の動作状況に基づく進行方向の予測は、ギアポジションに基づく進行方向の予測に対して付加的に行うのが好ましい。
５は測光重点領域決定部であり、各カメラ１ａ〜１ｄの少なくとも一部について、当該少なくとも一部のカメラが有する撮影領域どうしが重なる重複領域を、少なくとも一部のカメラそれぞれの測光重点領域として決定する。具体的には、進行方向予測部４により予測された進行方向において撮影領域の重なりを有するカメラのそれぞれについて、その重複領域を測光重点領域として決定する。ここで、測光重点領域は、重複領域の全部であっても良いし、一部であっても良い。また、重複領域の全部を含んでそれより所定量だけ広い領域を測光重点領域として決定するようにしても良い。
例えば、進行方向予測部４によって自車両１００が前進すると予測されたとする。この場合、予測された進行方向である前方において、前方の撮影領域Ｈ１と左方の撮影領域Ｈ２とが重複領域ＯＡ１で重なり、前方の撮影領域Ｈ１と右方の撮影領域Ｈ３とが重複領域ＯＡ２で重なっている。したがって、前方において撮影領域の重なりを有するカメラは、フロントカメラ１ａ、左サイドカメラ１ｂおよび右サイドカメラ１ｃの３つとなる。
この場合、測光重点領域決定部５は、フロントカメラ１ａ、左サイドカメラ１ｂおよび右サイドカメラ１ｃのそれぞれについて、撮影領域Ｈ１，Ｈ２，Ｈ３の重複領域ＯＡ１，ＯＡ２を測光重点領域として決定する。すなわち、フロントカメラ１ａについては、前方の撮影領域Ｈ１のうち、左方の撮影領域Ｈ２との重複領域ＯＡ１と、右方の撮影領域Ｈ３との重複領域ＯＡ２とを測光重点領域として決定する。左サイドカメラ１ｂについては、左方の撮影領域Ｈ２のうち、前方の撮影領域Ｈ１との重複領域ＯＡ１を測光重点領域として決定する。また、右サイドカメラ１ｃについては、右方の撮影領域Ｈ３のうち、前方の撮影領域Ｈ１との重複領域ＯＡ２を測光重点領域として決定する。
例えば、進行方向予測部４によって自車両１００の進行方向が右前進であると予測されたとする。この場合、予測された進行方向である右前方において、前方の撮影領域Ｈ１と右方の撮影領域Ｈ３とが重複領域ＯＡ２で重なっている。したがって、右前方において撮影領域の重なりを有するカメラは、フロントカメラ１ａおよび右サイドカメラ１ｃの２つとなる。
この場合、測光重点領域決定部５は、フロントカメラ１ａおよび右サイドカメラ１ｃのそれぞれについて、撮影領域Ｈ１，Ｈ３の重複領域ＯＡ２を測光重点領域として決定する。すなわち、フロントカメラ１ａについては、前方の撮影領域Ｈ１のうち、右方の撮影領域Ｈ３との重複領域ＯＡ２を測光重点領域として決定する。また、右サイドカメラ１ｃについては、右方の撮影領域Ｈ３のうち、前方の撮影領域Ｈ１との重複領域ＯＡ２を測光重点領域として決定する。
６は露出算出部であり、それぞれのカメラ１ａ〜１ｄ毎に適正露出を算出する。このとき、測光重点領域決定部５により測光重点領域が決定された一部のカメラについては、決定された測光重点領域を他の領域よりも重点的に測光して適正露出を算出する。具体的には、測光重点領域から得られる撮像信号に対して、測光重点領域とは異なる領域から得られる撮像信号よりも大きな重みを設定して、重み付けした撮像信号に基づいて適正露出を算出する。一方、測光重点領域決定部５により測光重点領域が設定されていないカメラについては、あらかじめ決められた測光方式により測光して適正露出を算出する。あらかじめ決められた測光方式は、いわゆるマルチパターン測光であっても良いし、中央部重点測光であっても良いし、スポット測光であっても良い。
上述の例では、フロントカメラ１ａについては、２箇所の重複領域ＯＡ１，ＯＡ２が測光重点領域として決定されている。この場合、露出算出部６は、フロントカメラ１ａによる前方の撮影領域Ｈ１のうち、２箇所の測光重点領域ＯＡ１，ＯＡ２を重点的に測光してフロントカメラ１ａの露出を算出する。左サイドカメラ１ｂについては、１箇所の重複領域ＯＡ１が測光重点領域として決定されている。この場合、露出算出部６は、左サイドカメラ１ｂによる左方の撮影領域Ｈ２のうち、１箇所の測光重点領域ＯＡ１を重点的に測光して左サイドカメラ１ｂの露出を算出する。
また、右サイドカメラ１ｃについては、１箇所の重複領域ＯＡ２が測光重点領域として決定されている。この場合、露出算出部６は、右サイドカメラ１ｃによる右方の撮影領域Ｈ３のうち、１箇所の測光重点領域ＯＡ２を重点的に測光して右サイドカメラ１ｃの露出を算出する。また、測光重点領域が設定されていないリアカメラ１ｄについては、あらかじめ決められた測光方式により測光して適正露出を算出する。
そして、露出算出部６は、算出した適正露出となるように、各カメラ１ａ〜１ｄのアイリス（虹彩絞り）を調整する。上述の車両周辺画像生成部２は、露出算出部６により算出された露出に従って各カメラ１ａ〜１ｄの撮影により生成された画像信号を用いて、車両周辺画像を生成する。
次に、上記のように構成した本実施形態による車両周辺画像生成装置１０の動作を説明する。図３は、本実施形態による車両周辺画像生成装置１０の動作例を示すフローチャートである。
図３において、進行方向予測部４は、変速機のギアがバックギアに入っているかどうかを判定する（ステップＳ１）。バックギアに入っていることが検出された場合、測光重点領域決定部５は、左サイドカメラ１ｂ、右サイドカメラ１ｃおよびリアカメラ１ｄのそれぞれについて、撮影領域Ｈ２，Ｈ３，Ｈ４の重複領域ＯＡ３，ＯＡ４を測光重点領域として決定する（ステップＳ２）。
すなわち、リアカメラ１ｄについては、後方の撮影領域Ｈ４のうち、左方の撮影領域Ｈ２との重複領域ＯＡ３と、右方の撮影領域Ｈ３との重複領域ＯＡ４とを測光重点領域として決定する。左サイドカメラ１ｂについては、左方の撮影領域Ｈ２のうち、後方の撮影領域Ｈ４との重複領域ＯＡ３を測光重点領域として決定する。また、右サイドカメラ１ｃについては、右方の撮影領域Ｈ３のうち、後方の撮影領域Ｈ４との重複領域ＯＡ４を測光重点領域として決定する。なお、残りのフロントカメラ１ａについては、あらかじめ決められた測光方式に従って測光領域を決定する。
上記ステップＳ１で変速機がバックギアに入っていないと判断された場合、進行方向予測部４は、変速機がフロントギアに入っているかどうかを判定する（ステップＳ３）。フロントギアに入っていることが検出された場合、進行方向予測部４は、方向指示器が動作しているかどうかを更に判定する（ステップＳ４）。ここで、方向指示器が動作していないことが検出された場合、測光重点領域決定部５は、フロントカメラ１ａ、左サイドカメラ１ｂおよび右サイドカメラ１ｃのそれぞれについて、撮影領域Ｈ１，Ｈ２，Ｈ３の重複領域ＯＡ１，ＯＡ２を測光重点領域として決定する（ステップＳ５）。
すなわち、フロントカメラ１ａについては、前方の撮影領域Ｈ１のうち、左方の撮影領域Ｈ２との重複領域ＯＡ１と、右方の撮影領域Ｈ３との重複領域ＯＡ２とを測光重点領域として決定する。左サイドカメラ１ｂについては、左方の撮影領域Ｈ２のうち、前方の撮影領域Ｈ１との重複領域ＯＡ１を測光重点領域として決定する。また、右サイドカメラ１ｃについては、右方の撮影領域Ｈ３のうち、前方の撮影領域Ｈ１との重複領域ＯＡ２を測光重点領域として決定する。なお、リアカメラ１ｄについては、あらかじめ決められた測光方式に従って測光領域を決定する。
また、ステップＳ４で方向指示器が動作していることが検出された場合、測光重点領域決定部５は、撮影領域Ｈ１，Ｈ２，Ｈ３の重複領域ＯＡ１，ＯＡ２のうち、方向指示器で進行方向が指示されている方を測光重点領域として決定する（ステップＳ６）。すなわち、左折が指示されている場合は、フロントカメラ１ａおよび左サイドカメラ１ｂのそれぞれについて、重複領域ＯＡ１を測光重点領域として決定する。このとき、右サイドカメラ１ｃおよびリアカメラ１ｄについては、あらかじめ決められた測光方式に従って測光領域を決定する。また、右折が指示されている場合は、フロントカメラ１ａおよび右サイドカメラ１ｃのそれぞれについて、重複領域ＯＡ２を測光重点領域として決定する。このとき、左サイドカメラ１ｂおよびリアカメラ１ｄについては、あらかじめ決められた測光方式に従って測光領域を決定する。
変速機がバックギアにもフロントギアにも入っていない場合（ニュートラルまたはパーキングの場合）、進行方向予測部４は、方向指示器が動作しているかどうかを判定する（ステップＳ７）。ここで、方向指示器が動作していないことが検出された場合、測光重点領域決定部５は、各カメラ１ａ〜１ｄについて、あらかじめ決められた測光方式に従って測光領域を決定する（ステップＳ８）。一方、方向指示器が動作していることが検出された場合は、ステップＳ６に進み、その方向指示器により指示されている方向に応じて、左前方の重複領域ＯＡ１または右前方の重複領域ＯＡ２を測光重点領域として決定する。
以上のステップＳ２，Ｓ５，Ｓ６，Ｓ８の何れかにおいて測光重点領域決定部５により測光領域が決定されると、露出算出部６は、それぞれのカメラ１ａ〜１ｄ毎に、測光重点領域決定部５により決定された測光領域から得られる撮像信号に基づいて各カメラ１ａ〜１ｄの適正露出を算出する（ステップＳ９）。そして、算出した適正露出となるように各カメラ１ａ〜１ｄを制御する。このとき露出算出部６は、測光重点領域の撮像信号に対して測光重点領域とは異なる領域の撮像信号よりも大きな重みを設定して、適正露出を算出する。
車両周辺画像生成部２は、露出算出部６により算出された露出に従って各カメラ１ａ〜１ｄの撮影により生成された画像信号を用いて、車両周辺画像を生成する（ステップＳ１０）。そして、表示装置３は、車両周辺画像生成部２により生成された車両周辺画像を表示する（ステップＳ１１）。
以上詳しく説明したように、本実施形態では、自車両１００の予測進行方向を検出し、当該予測進行方向にある撮影領域の重なり部分を測光重点領域として決定する。そして、当該重複領域を重点的に測光し、各カメラ１ａ〜１ｄの適正露出を算出するようにしている。これにより、少なくとも、測光重点領域において撮影領域の重なりを有する複数の画像の輝度は同程度となり、その画像間に輝度差に起因する切れ目を殆ど見えなくすることができる。したがって、特に運転者が運転時に見るべき進行方向の画像について輝度差による違和感を解消することができ、運転者が運転時に見たい箇所の視認性を向上させることができる。
例えば、図３のステップＳ２で後方２箇所の重複領域ＯＡ３，ＯＡ４を測光重点領域として決定した場合、当該測光重点領域において撮影領域の重なりを有する左サイドカメラ１ｂ、右サイドカメラ１ｃおよびリアカメラ１ｄによる撮影画像の輝度は同程度となる。これにより、図４に示すように、後方の画像間の継ぎ目において輝度差に起因する切れ目を殆ど見えなくすることができる。
また、図３のステップＳ５で前方２箇所の重複領域ＯＡ１，ＯＡ２を測光重点領域として決定した場合、当該測光重点領域において撮影領域の重なりを有するフロントカメラ１ａ、左サイドカメラ１ｂおよび右サイドカメラ１ｃによる撮影画像の輝度は同程度となる。これにより、図５に示すように、前方の画像間の継ぎ目において輝度差に起因する切れ目を殆ど見えなくすることができる。
また、図３のステップＳ６で前方１箇所の重複領域ＯＡ１またはＯＡ２を測光重点領域として決定した場合、当該測光重点領域において撮影領域の重なりを有するフロントカメラ１ａと左サイドカメラ１ｂ、またはフロントカメラ１ａと右サイドカメラ１ｃによる撮影画像の輝度は同程度となる。これにより、左前方または右前方の画像間の継ぎ目において輝度差に起因する切れ目を殆ど見えなくすることができる。
また、本実施形態によれば、個々の画素毎に色を計算によって求めていく必要がなく、単に重点的に測光する領域を決定するだけで良い。これにより、負荷の大きい煩雑な演算を行わなくて済み、運転者にとって違和感のない車両周辺画像を容易に（少ない演算量で）生成することができる。
図６は、本実施形態による車両周辺画像生成装置１０の他の構成例を示すブロック図である。なお、この図６において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。図６に示す例では、図１に示した構成に加えて、障害物検出部７を更に備えている。
障害物検出部７は、自車両１００の周辺にある障害物を検出するものである。例えば、障害物検出部７はレーダを備え、レーダから発信される電波等の反射波を観測することによって、障害物の有無およびそれが存在する方向を検出する。また、障害物検出部７は、各カメラ１ａ〜１ｄにより撮影された画像を解析することによって障害物の有無およびそれが存在する方向を検出するものであっても良い。なお、ここに挙げた障害物の検出方法は単なる例示であり、これに限定されるものではない。
図６に示す構成の場合、測光重点領域決定部５は、進行方向予測部４により予測された進行方向において撮影領域の重なりを有するカメラのうち、障害物検出部７により障害物が検出された方向において撮影領域の重なりを有するカメラについて、その重複領域を測光重点領域として決定する。
例えば、進行方向予測部４によって自車両１００の進行方向が後方であると予測された場合、後方２箇所の重複領域ＯＡ３，ＯＡ４を撮影領域の一部として持つカメラは、左サイドカメラ１ｂ、右サイドカメラ１ｃおよびリアカメラ１ｄとなる。このとき、例えば障害物検出部７によって右後方に障害物が検出されたととすると、カメラ１ｂ，１ｃ，１ｄのうち、右後方の重複領域ＯＡ４を撮影領域の一部として持つ右サイドカメラ１ｃおよびリアカメラ１ｄのそれぞれについて、その重複領域ＯＡ４を測光重点領域として決定する。このとき、フロントカメラ１ａおよび左サイドカメラ１ｂについては、あらかじめ決められた測光方式に従って測光領域を決定する。
なお、ここでは進行方向予測部４および障害物検出部７の双方を用いる例について説明しているが、障害物検出部７のみを用いるようにしても良い。ただし、障害物の有無だけに基づいて測光重点領域を決定する場合、障害物がないときには測光重点領域を決定することができない。したがって、障害物の有無に基づく測光重点領域の決定は、進行方向に基づく測光重点領域の決定に対して付加的に行うのが好ましい。
図７は、図６のように構成した車両周辺画像生成装置１０の動作例を示すフローチャートである。図７において、進行方向予測部４は、変速機のギアがバックギアに入っているかどうかを判定する（ステップＳ１１）。バックギアに入っていることが検出された場合、障害物検出部７は、自車両１００の後方に障害物が有るかどうかを検出する（ステップＳ１２）。
ここで、障害物が存在しないと判断された場合、測光重点領域決定部５は、左サイドカメラ１ｂ、右サイドカメラ１ｃおよびリアカメラ１ｄのそれぞれについて、撮影領域Ｈ２，Ｈ３，Ｈ４の重複領域ＯＡ３，ＯＡ４を測光重点領域として決定する（ステップＳ１３）。一方、自車両１００の後方に障害物が存在すると判断された場合、重複領域ＯＡ３，ＯＡ４のうち、その障害物が存在する方向の重複領域を測光重点領域として決定する（ステップＳ１７）。
上記ステップＳ１１で変速機がバックギアに入っていないと判断された場合、進行方向予測部４は、変速機がフロントギアに入っているかどうかを判定する（ステップＳ１４）。フロントギアに入っていることが検出された場合、障害物検出部７は、自車両１００の前方に障害物が有るかどうかを検出する（ステップＳ１５）。
ここで、障害物が存在しないと判断された場合、測光重点領域決定部５は、フロントカメラ１ａ、左サイドカメラ１ｂおよび右サイドカメラ１ｃのそれぞれについて、撮影領域Ｈ１，Ｈ２，Ｈ３の重複領域ＯＡ１，ＯＡ２を測光重点領域として決定する（ステップＳ１６）。一方、自車両１００の前方に障害物が存在すると判断された場合、重複領域ＯＡ１，ＯＡ２のうち、その障害物が存在する方向の重複領域を測光重点領域として決定する（ステップＳ１７）。
変速機がバックギアにもフロントギアにも入っていない場合、障害物検出部７は、自車両１００の周囲に障害物が有るかどうかを検出する（ステップＳ１８）。ここで、何れの方向にも障害物が存在しないと判断された場合、測光重点領域決定部５は、各カメラ１ａ〜１ｄについて、あらかじめ決められた測光方式に従って測光領域を決定する（ステップＳ１９）。一方、何れかの方向に障害物が存在することが検出された場合は、その障害物が存在する方向の重複領域を測光重点領域として決定する（ステップＳ１７）。
以上のステップＳ１３，Ｓ１６，Ｓ１７，Ｓ１９の何れかにおいて測光重点領域決定部５により測光領域が決定されると、露出算出部６は、それぞれのカメラ１ａ〜１ｄ毎に、測光重点領域決定部５により決定された測光領域から得られる撮像信号に基づいて各カメラ１ａ〜１ｄの適正露出を算出する（ステップＳ２０）。そして、算出した適正露出となるように各カメラ１ａ〜１ｄを制御する。このとき露出算出部６は、測光重点領域の撮像信号に対して測光重点領域とは異なる領域の撮像信号よりも大きな重みを設定して、適正露出を算出する。
車両周辺画像生成部２は、露出算出部６により算出された露出に従って各カメラ１ａ〜１ｄの撮影により生成された画像信号を用いて、車両周辺画像を生成する（ステップＳ２１）。そして、表示装置３は、車両周辺画像生成部２により生成された車両周辺画像を表示する（ステップＳ２２）。
図６のように構成した車両周辺画像生成装置１０によれば、障害物がある方向のように、運転者が運転時に特に注意すべき進行方向の画像について輝度差による違和感を解消することができ、運転者が運転時に見たい箇所の視認性を向上させることができる。
なお、上記実施形態では、撮影領域の重なり部分を重点的に測光する特定部重点測光の例について説明したが、これに限定されない。例えば、撮影領域の重なり部分のみを測光するスポット測光としても良い。この場合のスポット測光は、測光重点領域以外の領域の重みをゼロとすることに相当する。
また、上記実施形態では、測光重点領域決定部５により決定された測光領域の撮像信号を用いて露出算出部６により適正露出する算出する自動露出調整の機能について説明したが、これに限定されない。例えば、測光重点領域決定部５により決定された測光領域の撮像信号を用いてホワイトバランス調整を行う自動ホワイトバランス調整機能にも適用することが可能である。
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
本実施形態による車両周辺画像生成装置の構成例を示すブロック図である。 各カメラの配置および撮影領域の例を示す図である。 本実施形態による車両周辺画像生成装置の動作例を示すフローチャートである。 後退時に本実施形態の車両周辺画像生成装置により生成される車両周辺画像の例を示す図である。 前進時に本実施形態の車両周辺画像生成装置により生成される車両周辺画像の例を示す図である。 本実施形態による車両周辺画像生成装置の他の構成例を示すブロック図である。 本実施形態による車両周辺画像生成装置の他の動作例を示すフローチャートである。
符号の説明
１ 複数のカメラ（撮像装置）
２ 車両周辺画像生成部
３ 表示装置
４ 進行方向予測部
５ 測光重点領域決定部
６ 露出算出部
７ 障害物検出部

Claims (13)

  1. 自車両の異なる場所に設置された複数の撮像装置によって撮影された自車両周囲の画像を視点変換処理することにより、上記自車両の上方の仮想視点から見た車両周辺画像を生成する車両周辺画像生成装置であって、
    上記複数の撮像装置の少なくとも一部について、当該少なくとも一部の撮像装置が有する撮影領域どうしが重なる重複領域の全部または一部を、上記少なくとも一部の撮像装置それぞれの測光重点領域として決定する測光重点領域決定部と、
    上記一部の撮像装置については上記測光重点領域決定部により決定された上記測光重点領域を他の領域よりも重点的に測光して、上記複数の撮像装置の適正露出をそれぞれ算出する露出算出部と、
    上記露出算出部により算出された露出に従って生成された画像信号を用いて、上記車両周辺画像を生成する車両周辺画像生成部とを備えたことを特徴とする車両周辺画像生成装置。
  2. 上記自車両の進行方向を予測する進行方向予測部を備え、
    上記測光重点領域決定部は、上記進行方向予測部により予測された進行方向において撮影領域の重なりを有する撮像装置のそれぞれについて、上記重複領域の全部または一部を上記測光重点領域として決定することを特徴とする請求項１に記載の車両周辺画像生成装置。
  3. 上記進行方向予測部は、上記自車両の進行方向をギアポジションに基づき予測することを特徴とする請求項２に記載の車両周辺画像生成装置。
  4. 上記進行方向予測部は、上記自車両の進行方向をギアポジションおよび方向指示器の動作状態に基づき予測することを特徴とする請求項２に記載の車両周辺画像生成装置。
  5. 上記自車両の周辺にある障害物を検出する障害物検出部を備え、
    上記測光重点領域決定部は、上記障害物検出部により障害物が検出された方向において撮影領域の重なりを有する撮像装置のそれぞれについて、上記重複領域の全部または一部を上記測光重点領域として決定することを特徴とする請求項１に記載の車両周辺画像生成装置。
  6. 上記自車両の進行方向を予測する進行方向予測部をさらに備え、
    上記測光重点領域決定部は、上記進行方向予測部により予測された進行方向において撮影領域の重なりを有する撮像装置のうち、上記障害物検出部により障害物が検出された方向において撮影領域の重なりを有する撮像装置のそれぞれについて、上記重複領域の全部または一部を上記測光重点領域として決定することを特徴とする請求項５に記載の車両周辺画像生成装置。
  7. 上記測光重点領域決定部は、上記重複領域の全部を含んでそれより所定量だけ広い領域を上記測光重点領域として決定することを特徴とする請求項１に記載の車両周辺画像生成装置。
  8. 自車両の上方の仮想視点から見た車両周辺画像を生成する車両周辺画像生成装置において自車両周囲の画像を撮影するために上記自車両の異なる場所に設置された複数の撮像装置の測光を調整する方法であって、
    上記自車両の進行方向を予測する第１のステップと、
    上記第１のステップで予測された進行方向において撮影領域の重なりを有する撮像装置のそれぞれについて、重複領域の全部または一部を測光重点領域として決定する第２のステップとを有することを特徴とする撮像装置の測光調整方法。
  9. 上記第１のステップでは、上記自車両の進行方向をギアポジションに基づき予測することを特徴とする請求項８に記載の撮像装置の測光調整方法。
  10. 上記第１のステップでは、上記自車両の進行方向をギアポジションおよび方向指示器の動作状態に基づき予測することを特徴とする請求項８に記載の撮像装置の測光調整方法。
  11. 上記自車両の周辺にある障害物を検出する第３のステップを有し、
    上記第２のステップでは、上記第１のステップで予測された進行方向において撮影領域の重なりを有する撮像装置のうち、上記第３のステップで障害物が検出された方向において撮影領域の重なりを有する撮像装置のそれぞれについて、上記重複領域の全部または一部を上記測光重点領域として決定することを特徴とする請求項８に記載の撮像装置の測光調整方法。
  12. 自車両の上方の仮想視点から見た車両周辺画像を生成する車両周辺画像生成装置において自車両周囲の画像を撮影するために上記自車両の異なる場所に設置された複数の撮像装置の測光を調整する方法であって、
    上記自車両の周辺にある障害物を検出する第１のステップと、
    上記第１のステップで障害物が検出された方向において撮影領域の重なりを有する撮像装置のそれぞれについて、重複領域の全部または一部を測光重点領域として決定することを特徴とする撮像装置の測光調整方法。
  13. 上記第２のステップでは、上記重複領域の全部を含んでそれより所定量だけ広い領域を上記測光重点領域として決定することを特徴とする請求項８に記載の撮像装置の測光調整方法。
JP2006137393A 2006-05-17 2006-05-17 車両周辺画像生成装置および撮像装置の測光調整方法 Expired - Fee Related JP4812510B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006137393A JP4812510B2 (ja) 2006-05-17 2006-05-17 車両周辺画像生成装置および撮像装置の測光調整方法
US11/741,310 US7663476B2 (en) 2006-05-17 2007-04-27 Surrounding image generating apparatus and method of adjusting metering for image pickup device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006137393A JP4812510B2 (ja) 2006-05-17 2006-05-17 車両周辺画像生成装置および撮像装置の測光調整方法

Publications (2)

Publication Number Publication Date
JP2007311970A true JP2007311970A (ja) 2007-11-29
JP4812510B2 JP4812510B2 (ja) 2011-11-09

Family

ID=38711457

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006137393A Expired - Fee Related JP4812510B2 (ja) 2006-05-17 2006-05-17 車両周辺画像生成装置および撮像装置の測光調整方法

Country Status (2)

Country Link
US (1) US7663476B2 (ja)
JP (1) JP4812510B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011082750A (ja) * 2009-10-06 2011-04-21 Nikon Corp 撮像装置
JP2015061125A (ja) * 2013-09-17 2015-03-30 日本電信電話株式会社 画像撮影装置及び画像撮影方法
WO2016104166A1 (ja) * 2014-12-26 2016-06-30 株式会社Ｊｖｃケンウッド 撮像システム
JP2018533858A (ja) * 2015-08-27 2018-11-15 ノキア テクノロジーズ オサケユイチア アンカー・フレームに基づくマルチフレーム画像を修正するための方法および装置

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7277123B1 (en) * 1998-10-08 2007-10-02 Matsushita Electric Industrial Co., Ltd. Driving-operation assist and recording medium
US7821679B2 (en) * 2004-10-06 2010-10-26 CSSN Inc, Card Scanning Solutions System and method for electronically combining images taken by two or more adjacent image sensors
JP2007304407A (ja) * 2006-05-12 2007-11-22 Alpine Electronics Inc 車載カメラ用自動露出装置および車載カメラ用自動露出方法
JP4321643B2 (ja) * 2007-08-10 2009-08-26 トヨタ自動車株式会社 周辺監視装置
EP2179892A1 (de) * 2008-10-24 2010-04-28 Magna Electronics Europe GmbH & Co. KG Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
DE102009029439A1 (de) * 2009-09-14 2011-03-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Darstellung von Hindernissen in einem Einparkhilfesystem von Kraftfahrzeugen
US8633810B2 (en) 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
JP5548002B2 (ja) * 2010-03-25 2014-07-16 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
JP5592138B2 (ja) * 2010-03-31 2014-09-17 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
WO2012137332A1 (ja) 2011-04-07 2012-10-11 パイオニア株式会社 移動体の周囲状況検知システム
JP5941292B2 (ja) * 2012-02-10 2016-06-29 矢崎総業株式会社 車両用表示装置
US9446713B2 (en) 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
US9286509B1 (en) 2012-10-19 2016-03-15 Google Inc. Image optimization during facial recognition
DE102013004493A1 (de) * 2013-03-14 2014-09-18 Schlauerparken Ug Verfahren zur Anzeige von Parkplätzen
WO2015079702A1 (ja) 2013-11-27 2015-06-04 京セラ株式会社 撮像設定変更装置、撮像システム、および撮像設定変更方法
JP6330383B2 (ja) * 2014-03-12 2018-05-30 株式会社デンソー 合成画像生成装置、および合成画像生成プログラム
EP3160138B1 (en) * 2014-06-20 2021-03-17 Clarion Co., Ltd. Image synthesis system, image synthesis device therefor, and image synthesis method
CN105405093B (zh) * 2015-11-12 2019-03-15 中国商用飞机有限责任公司 飞机驾驶舱视界增强系统和方法
KR101949358B1 (ko) * 2016-04-04 2019-02-18 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
JP6555195B2 (ja) * 2016-06-13 2019-08-07 株式会社デンソー 画像生成装置
JP7055743B2 (ja) * 2016-08-08 2022-04-18 株式会社小糸製作所 複数カメラを用いた車両用モニタリングシステム
KR102551099B1 (ko) 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
CN108259775B (zh) * 2018-04-09 2021-01-22 京东方科技集团股份有限公司 一种成像方法、成像装置及后视镜
CN108769476B (zh) * 2018-06-06 2019-07-19 Oppo广东移动通信有限公司 图像获取方法及装置、图像采集装置、计算机设备和可读存储介质
JP2022182335A (ja) * 2021-05-28 2022-12-08 株式会社Subaru 車両の車外撮像装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001055100A (ja) * 1999-08-18 2001-02-27 Matsushita Electric Ind Co Ltd 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP2002079881A (ja) * 2000-05-24 2002-03-19 Matsushita Electric Ind Co Ltd 描画装置
JP2002281379A (ja) * 2001-03-21 2002-09-27 Ricoh Co Ltd 撮像システム
JP2002324235A (ja) * 2001-04-24 2002-11-08 Matsushita Electric Ind Co Ltd 車載カメラの画像合成表示方法及びその装置
JP2006121587A (ja) * 2004-10-25 2006-05-11 Nissan Motor Co Ltd 運転支援装置及び俯瞰画像作成方法
JP2007141098A (ja) * 2005-11-21 2007-06-07 Nissan Motor Co Ltd 画像処理装置及び画像処理方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
DE19743580B4 (de) * 1997-10-02 2004-12-02 Robert Bosch Gmbh Verfahren und Anordnung zur Ermittlung der Lichtverhältnisse in Front eines beweglichen Fahrzeuges, insbesondere vor einem Kraftfahrzeug
EP2309453A3 (en) 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus and image displaying method
US7277123B1 (en) * 1998-10-08 2007-10-02 Matsushita Electric Industrial Co., Ltd. Driving-operation assist and recording medium
JP3269056B2 (ja) * 2000-07-04 2002-03-25 松下電器産業株式会社 監視システム
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
US20050192725A1 (en) * 2004-03-01 2005-09-01 Shih-Hsiung Li Auxiliary visual interface for vehicles
WO2005125208A1 (ja) * 2004-06-15 2005-12-29 Matsushita Electric Industrial Co., Ltd. 監視装置および車両周辺監視装置
JP2006033570A (ja) * 2004-07-20 2006-02-02 Olympus Corp 画像生成装置
JP2006050263A (ja) * 2004-08-04 2006-02-16 Olympus Corp 画像生成方法および装置
JP2006054504A (ja) * 2004-08-09 2006-02-23 Olympus Corp 画像生成方法および装置
JP4089911B2 (ja) * 2005-02-23 2008-05-28 三菱電機株式会社 画像入力装置
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
JP4706466B2 (ja) * 2005-12-16 2011-06-22 株式会社日立製作所 撮像装置
JP2007304407A (ja) * 2006-05-12 2007-11-22 Alpine Electronics Inc 車載カメラ用自動露出装置および車載カメラ用自動露出方法
JP4325642B2 (ja) * 2006-05-31 2009-09-02 ソニー株式会社 移動体カメラシステム
JP4863791B2 (ja) * 2006-07-05 2012-01-25 アルパイン株式会社 車両周辺画像生成装置および画像切替方法
US20090128630A1 (en) * 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method
JP2008028957A (ja) * 2006-07-25 2008-02-07 Denso Corp 車両用画像処理装置
JP4879031B2 (ja) * 2007-01-11 2012-02-15 三洋電機株式会社 運転支援システム、画像処理装置及びずれ検出方法
JP4987573B2 (ja) * 2007-06-01 2012-07-25 富士重工業株式会社 車外監視装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001055100A (ja) * 1999-08-18 2001-02-27 Matsushita Electric Ind Co Ltd 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP2002079881A (ja) * 2000-05-24 2002-03-19 Matsushita Electric Ind Co Ltd 描画装置
JP2002281379A (ja) * 2001-03-21 2002-09-27 Ricoh Co Ltd 撮像システム
JP2002324235A (ja) * 2001-04-24 2002-11-08 Matsushita Electric Ind Co Ltd 車載カメラの画像合成表示方法及びその装置
JP2006121587A (ja) * 2004-10-25 2006-05-11 Nissan Motor Co Ltd 運転支援装置及び俯瞰画像作成方法
JP2007141098A (ja) * 2005-11-21 2007-06-07 Nissan Motor Co Ltd 画像処理装置及び画像処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011082750A (ja) * 2009-10-06 2011-04-21 Nikon Corp 撮像装置
JP2015061125A (ja) * 2013-09-17 2015-03-30 日本電信電話株式会社 画像撮影装置及び画像撮影方法
WO2016104166A1 (ja) * 2014-12-26 2016-06-30 株式会社Ｊｖｃケンウッド 撮像システム
JP2016127329A (ja) * 2014-12-26 2016-07-11 株式会社Ｊｖｃケンウッド 撮像システム
JP2018533858A (ja) * 2015-08-27 2018-11-15 ノキア テクノロジーズ オサケユイチア アンカー・フレームに基づくマルチフレーム画像を修正するための方法および装置

Also Published As

Publication number Publication date
US7663476B2 (en) 2010-02-16
JP4812510B2 (ja) 2011-11-09
US20070268118A1 (en) 2007-11-22

Similar Documents

Publication Publication Date Title
JP4812510B2 (ja) 車両周辺画像生成装置および撮像装置の測光調整方法
JP5035643B2 (ja) 画像表示装置
JP4706466B2 (ja) 撮像装置
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
JP4685562B2 (ja) 移動体撮像装置
EP1895766B1 (en) Camera with two or more angles of view
JP2007274377A (ja) 周辺監視装置、プログラム
US11528453B2 (en) Sensor fusion based perceptually enhanced surround view
JP4756316B2 (ja) 広域画像生成装置及びこれを用いた車両の周辺監視装置並びに広域画像生成方法
JP2010118935A (ja) 車体透過表示装置
JP2012040883A (ja) 車両周囲画像生成装置
JP2007274213A (ja) 画像処理装置及び方法、及び撮像装置
JP2011049735A (ja) 車両周辺画像提供装置
JP2007027948A (ja) 車両周辺監視装置及び車両周辺監視方法
JP2018182536A (ja) 表示制御装置、表示制御方法及びカメラモニタリングシステム
JPWO2018105052A1 (ja) 表示制御装置、表示システム、及び、表示制御方法
EP3076655B1 (en) Imaging settings changing device, imaging system, and imaging settings changing method
JP2016200726A (ja) 表示装置
JP2013100057A (ja) 運転支援装置
JP2001148865A (ja) 画像入力装置
JP2019202584A (ja) 画像処理装置および画像処理方法
JP2008230561A (ja) 撮像制御装置および測光領域調整方法
JP2013172378A (ja) 画像処理装置及び車両
JP2007318198A (ja) 車両周辺画像生成装置および撮像装置の測光調整方法
JP2005184523A (ja) 車載監視カメラ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110823

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110823

R150 Certificate of patent or registration of utility model

Ref document number: 4812510

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140902

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees