JP2010188765A - 測光領域決定装置および測光領域決定方法 - Google Patents

Abstract

【目的】カメラの実際の取り付け位置、取り付け角度が想定している取り付け位置、取り付け角度と異なる場合であっても、カメラの測光領域を正しく設定できる「測光領域決定装置および測光領域決定方法」を提供することである。
【構成】車両の周辺画像を広角カメラで撮影してディスプレイ画面に表示する画像表示装置において、測光領域決定に際して、カメラで撮影した撮影画像より車両のボディBDYの端部を検出し、該ボディ端位置を自動露出に用いる測光領域の下端部PAUとして設定し、該測光領域の下端部と別途設定されている上端部PAUとで測光領域を決定する。
【選択図】図１

Description

本発明は測光領域決定装置および測光領域決定方法に関わり、特に、車両の周辺画像を広角カメラで撮影してディスプレイ画面に表示する画像表示装置における測光領域決定装置および測光領域決定方法に関する。

車庫入れや駐車等に際して運転手を支援するため支援システムが研究され、実用化されている。かかる支援システムとして車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像を合成して車両上方の視点から眺めた合成画像(トップビュー画像)をフレームメモリに描画し、該フレームメモリより画像データを読み出してモニターに表示するトップビューシステムが知られている(特許文献1参照)。
このトップビューシステムは、図１４（A），（B)に示すように、車両周囲を撮影する複数の広角カメラ(魚眼カメラとする)１a〜１dを車両２のフロント、両サイド、リアに装着し、画像合成処理部３が各魚眼カメラ１a〜１dから取り込んだ画像を用いて、図１４（C）に示す車両上方所定の位置（仮想視点）４から車両の方向を眺めた風景の合成画像を作成してモニター５に表示し、これにより駐車、車庫入れなどを支援する。
画像合成処理部３は合成に際して、マッピングテーブルを用いて各カメラで撮影した画像部分をフレームメモリにマッピングして表示する。図１５は各魚眼カメラ１a〜１dで撮影した魚眼図形IMa〜IMdを画面対応のフレームメモリ６にマッピングする場合の説明図である。魚眼図形IMa〜IMdはフレームメモリ６の対応する領域６a〜６dにそれぞれマッピングされ、また、予め撮影されて保存されている車両画像７はフレームメモリ６の中央部にマッピングされ、これによりフレームメモリ６に１画面のトップビュー画像が生成される。

図１６はマッピング法の説明図であり、車両２に取り付けた魚眼カメラ１a〜１dにより車両前方の風景、車両左側の風景、車両右側の風景、車両後方の風景を撮影する。各魚眼カメラ１a〜１dはそれぞれ魚眼レンズにより前方１８０⁰の範囲にわたって風景を撮影することができ、カメラ１aはラインＦＦより前方の風景を撮影し、カメラ１bはラインＬＬより左側の車両左側風景を撮影し、カメラ１cはラインＲＲより右側の車両右側風景を撮影し、カメラ１dはラインＢＢより後方の車両後方風景を撮影する。
図１６（Ｂ）に示すようにカメラ１bで車両左側の地面に描かれた矩形の格子模様を撮影すると図１６(Ｃ)示すように魚眼で見た図形（魚眼図形という）になる。
各カメラで撮影した魚眼図形を歪補正後に地面の平面上に投影することによりトップビュー画像を得ることができる。矩形図形６と魚眼図形７において同一番号を付した領域は対応しており、矩形図形６における領域１〜６は魚眼図形７では領域１〜６になる。したがって、矩形図形６の領域１〜６の画像を記憶すべきフレームメモリ位置に、該領域に対応する魚眼図形７の領域１〜６の画像（実際には歪補正後の画像）を記憶し、同様に、全カメラで撮影した画像をフレームメモリに描画して読み出せば、魚眼カメラ１a〜１dで撮影した画像を地面の平面上に投影した図形に視点変換してモニターに表示することが可能になる。

以上のようにトップビュー技術は魚眼カメラの映像を取得し、上から車両を見下ろす図になる様に、各魚眼画像に歪補正を行って合成している。図１７は各魚眼カメラ１a〜１dで撮影した魚眼図形IMa〜IMdに歪補正処理、画像切り出し処理、視点変換処理を施して合成した合成画像例であり、B_LRは左画像IMbとリア画像IMdの画像境界線、B_LFは左画像IMbとフロント画像IMaの画像境界線、B_RRは右画像IMcとリア画像IMdの画像境界線、B_RFは右画像IMcとフロント画像IMaの画像境界線である。

ところで、従来は、車載カメラの自動露出（AE：auto exposure）を行う際に、車載カメラの撮像範囲（換言すれば、CCD受光面における光電変換が行われる有効画素領域等の撮像面）の中央部に重みを置きつつ、撮像範囲全体を測光領域とした測光を行うようになっていた（中央部重点測光（center-weighted metering））。しかし、このような中央部重点測光に基づいて露出を決定した場合には、以下に示すように、適切な露出を行うことができない。

例えば、屋外駐車場においてトップビュー画像を生成する場合、図１８に示すように、魚眼カメラの撮像範囲１１内には、駐車場面１２のみでなく、空や自車両の車体(ボディ)の一部等の不要な物体も捉えられる。このため、従来は、まず、車載カメラの撮像範囲１１における中央部１３（図１８の一点鎖線枠内）に重みを置きつつ撮像範囲１１全体を測光領域１５とした測光を行って露出を自動的に決定し、決定された露出の下で、撮像範囲１１内に捉えられている外界を撮像する。
そして、外界の撮像画像の中から、駐車場面１２のみが含まれた画像、例えば、撮像範囲１１における図１８の破線で囲まれた撮像画像を使用してトップビュー画像を生成し、空や自車両のボディ等の不要な画像は使用しない。

しかし、撮像範囲１１全体を測光領域１５としたのでは、たとえ、重みが置かれる撮像範囲１１内の中央部１３に駐車場面１２が捉えられたとしても、露出を決定する際に、空やボディ等の不要な物体の明るさが考慮されてしまい適正な露光を行なうことができない問題が生じる。例えば、図１８における空の明るさが駐車場面１２の明るさに比べて非常に明るい場合には、撮像範囲１１内に捉えられている外界が平均的に明るい（駐車場面１２よりも明るい）と判断され、この判断に基づいて、撮像画像における駐車場面が必要以上に暗くなる（アンダーとなる）ように露出が決定されてしまう。
以上より、中央部重点測光では、駐車場面１２以外の明るさが露出に大きく影響するため、各カメラで撮影した画像の明るさが一定にならず、トップビュー画像の明度が車両の前方、両サイド、後方で異なり、低品質の画像となる問題があった。また、中央部重点測光では、中央部の対象物の影響を受けやすくなってしまい、横断歩道のような白黒が入れ替わる場所を撮影すると画像がパタパタと明るくなったり暗くなったりする。また、自動車のボディの映り込みにより、ボディ色に影響されてAWB(Auto White Balance)に影響が出て色誤差が生じる。

そこで、中央部重点測光の問題点を解決するために、トップビュー画像における各カメラの撮影画像領域(図１７の画像境界線B_LF、B_RF、B_LR、B_RRのうち、２つの画像境界線で挟まれた領域)を各カメラの測光領域とする方法が提案されている（特許文献２）。例えばバックカメラ１dの測光領域を画像境界線B_LR、B_RR(図１７)で囲まれた領域とするものである。具体的には、図１９に示すように、バックカメラ１dによって駐車場面１２を含む外界を撮像する場合、バックカメラ１ｄの撮像範囲１１をM×N個の矩形ブロックに分割し、該矩形ブロックにより測光領域を特定する。たとえば、バックカメラ１dの撮像範囲１１のうちトップビュー画像に用いられる一部撮影画像領域IM_B(点線領域)を矩形ブロックで近似し、該近似領域を測光領域PA_Bとする。このようにして設定されたバックカメラ１dの測光領域PA_Bは、空やボディ等の不要な物体を含まないため、駐車場面１２の明るさを忠実に反映した測光を行うことができる。この結果、各カメラで撮影した画像の明るさが略一定になり、高品質のトップビュー画像を生成することが可能になる。

しかし、上記従来の測光領域設定方法は、カメラの取り付け位置、取り付け角度の変化に応じて測光領域を制御するものではない。このため、カメラの実際の取り付け位置、取り付け角度が想定している取り付け位置、取り付け角度と略同じ場合には有効であるが、カメラの取り付け角度、取り付け位置が想定している取り付け位置、取り付け角度と異なる場合には測光領域設定に誤差が発生しトップビュー画像の明度が車両の前方、両サイド、後方で異なる問題が発生する。
すなわち、工場において想定している取り付け位置に、想定している取り付け角度でカメラを取り付けて出荷する場合、上記の従来の測光領域設定方法は有効である。しかし、ユーザが市販のカメラを購入して車両に取り付けて該カメラで撮影した画像を画像表示装置に入力する場合、カメラ取り付け位置や取り付け角度がユーザにより異なり、想定している取り付け位置、取り付け角度から相当にずれる場合があり、かかる場合には測光領域が正しくなくなり、明度ムラが発生し高品質のトップビュー画像を生成できなくなる。又、AE（Automatic Exposure）のみならず、ボディ色に影響されてAWB(Auto White Balance)に影響が出て色誤差が生じる。

特許３３００３３４号 特開２００７−３０４４０７

以上から本発明の目的は、カメラの実際の取り付け位置、取り付け角度が想定している取り付け位置、取り付け角度と異なる場合であっても、カメラの測光領域を正しく設定することである。
本発明の目的は、カメラの実際の取り付け位置、取り付け角度が想定している取り付け位置、取り付け角度と異なる場合であっても、トップビュー画像に明度ムラや色むらがないようにすることである。

本発明は、車両の周辺画像を広角カメラで撮影してディスプレイ画面に表示する画像表示装置における測光領域決定装置および測光領域決定方法である。
・測光領域決定方法
本発明の測光領域決定方法は、カメラで撮影した撮影画像より車両のボディ端を検出するステップ、該ボディ端位置を自動露出に用いる測光領域の下端部として設定するステップ、該測光領域の下端部と別途設定されている上端部とで測光領域を決定するステップを備えている。
第１の前記ボディ端検出ステップにおいては、カメラ撮影画像の垂直方向における輝度差が設定値以上の画素位置を求めて車両のボディ端を検出する。
第２の前記ボディ端検出ステップにおいては、等間隔でマトリクス状に敷き詰めた多数のブロブの上に車両を停車した状態で、車両周辺をカメラにより撮影し、撮影画像よりボディ端側のブロブを求め、該ブロブにより車両のボディ端を検出する。
第３の前記ボディ端検出ステップにおいては、等間隔でマトリクス状にブロブを有するキャリブレーションパターンを既知の位置に配置して該キャリブレーションパターンをカメラにより撮影し、撮影キャリブレーションパターンに含まれる各ブロブの位置に基づいてカメラの車両への取り付け位置を測定し、該取り付け位置に基づいて車両のボディ端を検出する。
前記測光領域の上端部の決定は、カメラの車両への取り付け角度を測定し、該取り付け角度に基づいて測光領域の上端部を決定することにより行なう。すなわち、水平方向から地面方向への取り付け角が大きくなるにつれて前記測光領域の上端部をカメラ撮影範囲の上方向にシフトする。

・測光領域決定装置
本発明の測光領域決定装置は、前記カメラで撮影した撮影画像より車両のボディ端を検出するボディ端検出部、該ボディ端位置を自動露出に用いる測光領域の下端部として決定する測光領域下端決定部、該測光領域の下端部と別途設定されている上端部とで測光領域を決定する測光領域決定部、を備えている。ボディ端検出部は、前記第１〜第３のボディ端検出ステップのいずれかにしたがってボディ端を検出する。
本発明の測光領域決定装置は、更に、カメラの車両への取り付け角度を測定する取り付け角度測定部、該取り付け角度に基づいて測光領域上端部を決定する測光領域上端決定部を有している。該測光領域上端決定部は、水平方向から地面方向への取り付け角が大きくなるにつれて前記測光領域の上端をカメラ撮影範囲の上方向にシフトする。

本発明によれば、カメラで撮影した撮影画像より車両のボディ端を検出し、該ボディ端位置を自動露出に用いる測光領域の下端部として設定し、該測光領域の下端部と別途設定されている上端部とで測光領域を決定するから、カメラの実際の取り付け位置、取り付け角度が想定している取り付け位置、取り付け角度と異なる場合であっても、カメラの測光領域を正しく設定することができる。この結果、画像を適正露出で撮影して表示することができ、特に、トップビュー画像に明度ムラや色むらがないようにすることができ、高品質のトップビュー画像を生成することができる。

本発明の概略説明図である。 測光領域の上端部PAUの決定原理説明図である。 本発明の画像表示装置の構成図である。 車載カメラの詳細構成図である。 第１の測光領域設定部の構成図である。 第１の測光領域決定制御の説明図である。 第２の測光領域設定部の構成図である。 第２の測光領域決定制御の説明図である。 第３の測光領域設定部の構成図である。 第３の測光領域決定制御の説明図である。 カメラ取付角/取付位置検出部の構成図である。 座標変換説明図である。 カメラ取り付け角度Rv，Rh，Rr決定処理の説明図である。 トップビューシステムの説明図である。 各魚眼カメラで撮影した魚眼図形を画面対応のフレームメモリにマッピングする場合の説明図である。 各魚眼カメラで撮影した魚眼図形を画面対応のフレームメモリにマッピングする場合の説明図である。 各魚眼カメラで撮影した魚眼図形に画像処理を施して合成した合成画像例である。 従来の第１の測光領域決定制御説明図である。 従来の第２の測光領域決定制御説明図である。

（Ａ）本発明の概略
図１は本発明の概略説明図である。
本発明では、測光領域を決定するために、カメラで撮影した撮影画像より車両のボディ端を検出し、該ボディ端位置を自動露出に用いる測光領域の下端部として設定し、該測光領域の下端部と別途設定されている上端部とで測光領域を決定する。
１) ボディ端を検出する第１の方法は、図１(Ａ)に示すカメラ撮影画像の垂直方向(ｙ軸方向)における輝度差が設定値以上の画素位置を求め、該画素位置に基づいて車両のボディBDYの端部を検出し、該ボディ端の位置を自動露出に用いる測光領域の下端部PALとする。測光領域の上端部PAUはカメラの車両への取り付け角度に基づいて決定する。カメラの取り付け角度は、後述するようにキャリブレーションパターンCBPTを撮影し、該キャリブレーションパターンに含まれるブロブ(黒丸)の中心位置より算出する。
２) ボディ端を検出する第２の方法は、図１(Ｂ)に示すように、等間隔でマトリクス状に敷き詰めた多数のブロブBLBの上に車両を停車した状態で、車両周辺をカメラにより撮影し、撮影画像よりボディBDY端側のブロブBBCを求め、該ブロブにより車両のボディ端を検出する。測光領域の上端部PAUは第１の方法と同様に、カメラの車両への取り付け角度に基づいて決定する。
３) ボディ端を検出する第３の方法は、図1(C)に示す等間隔でマトリクス状にブロブBLBを有するキャリブレーションパターンCBPTを、図1(A)に示すように既知の位置に配置し、該キャリブレーションパターンCBPTをカメラにより撮影し、撮影キャリブレーションパターンに含まれる各ブロブBLBの位置に基づいてカメラの車両への取り付け位置を測定し、該取り付け位置に基づいて車両のボディ端を決定し、該ボディ端位置により測定領域の下端部を決定する。測光領域の上端部PAUは第１の方法と同様に、カメラの車両への取り付け角度に基づいて決定する。

図２は測光領域の上端部PAUの決定原理説明図である。
図２(A)に示すように、カメラCMの取り付けは、地面垂直方向を0⁰とすると水平方向90⁰までの所定角度で取り付けることができる。カメラCMRでキャリブレーションパターンCBPTを撮影し、該キャリブレーションパターンに含まれる全ブロブBLBの中心位置に基づいてカメラの車両への取り付け角度を計算する。
一方、図２(B)に示すように、カメラ撮像範囲をM×N(図では８×８)の多数の矩形ブロックに分割し、該ブロックにより測光領域を特定するものする。なお、レンズの特性の影響を避けるため、画角周辺を除いた内側の６×６をカメラ撮像範囲とする。
カメラCMが水平に取り付けられたとき、カメラ垂直画角方向の上半分（カメラ撮像範囲の上半分）に空が映り込む。このため、カメラ水平取り付け時において、カメラ撮像範囲の中央線CLが測光領域PAの上端部PAUとなる。カメラが水平方向から地面鉛直方向へ向かって傾いてくると地面の映りこむ量が多くなり、測光領域PAの上端部PAUは図２（B）の点線で示すように該傾きαに応じてカメラ撮像範囲の上方向にシフトする。カメラ撮像範囲を８×８のブロックで分割し、垂直画角を約140^０と仮定すると、ブロック１個当たり17.5⁰となる。したがって、αが17.5⁰以上になると、すなわち、カメラが17.5⁰以上鉛直方向に傾くと測光領域PAの上端部PAUは1ブロック上にシフトする。
以上より、測光領域の上端部PAUの位置は、カメラ取り付け角度α、カメラの垂直画角、カメラ撮像範囲の垂直分割数Nに基づいて決定することができる。

（B）画像表示装置
図３は本発明の画像表示装置の構成図であり、車両の前部、左、右側部及び後部に魚眼カメラ１a，１b，１c，１dを取り付け（図１４（B）参照）、車両前方の風景、車両左側の風景、車両右側の風景、車両後方の風景をそれぞれ撮影し、ECU(Electric Control Unit)５０を構成するカメラ対応のカメラ画像入力部５１a〜５１dに入力して内蔵の記憶部に記憶する。各カメラ１a，１b，１c，１dは測光領域設定部５３により設定された測光領域に基づいてAE,AWB制御を行って得られた画像を出力する。
カメラ画像入力部５１a〜５１dは、トップビュー表示モードでは、各カメラ画像をAD変換して画像処理部５２に入力し、測光領域を決定するモードでは、各カメラ画像を測光領域設定部５３に入力する。
トップビュー表示モードにおいて、画像処理部５２は、１）各カメラ撮影画像の歪補正処理、２）各カメラ撮影画像からのトップビュー画像部分切り出し処理、３)視点座標系への視点変換処理、４）トップビュー画像を生成するための各カメラ撮影画像のマッピング処理を行い、フレームメモリ５４にトップビュー画像を書き込む。モニター６０はフレームメモリ５４に書き込まれたトップビュー画像を読み取って表示する。これらトップビュー画像表示処理は周知であり(例えば特開2008‐152424号公報参照)、しかも、本発明と関係がないので詳細な説明は省略する。
測光領域を決定するモードにおいて、測光領域設定部５３は後述方法で各カメラ１a，１b，１c，１dの測光領域を決定して各カメラに入力する。各カメラ１a，１b，１c，１dは測光領域設定部５３により設定された測光領域に基づいてAE,AWB制御を行って得られた画像を出力する。

（Ｃ）カメラによる露出制御
図４は車載カメラの詳細構成図で、各カメラ１a，１b，１c，１dは図４の構成を有している。車載カメラは、CCD（Charged Coupled Device：電荷結合素子）71を有しており、このCCD 7１の受光面には、広角レンズ72によって集光された光が結合するようになっている。CCD 71は、受光面に結合された光をRAWデータ（生データ）に光電変換してAFE（Analog Front End）73に入力する。AFE 73は、CDS（Cor-related Double Sampling）回路73aと、CDS回路73aの後段に接続されたAGC（Auto Gain Control）回路73bと、AGC回路73bの後段に接続されたA‐Dコンバータ73ｃと、TG（Timing Generator）73 dを有している。CDS回路73aは、CCD 71から入力されたRAWデータに対してノイズを除去する処理を行い、処理後のRAWデータをAGC回路73bに出力するようになっている。
AGC回路73bは、後段のA‐Dコンバータ73ｃがRAWデータをA‐D変換する際の入力ゲインを、露出に応じた値に制御することによって、車載カメラの自動露出を行うようになっている。A‐Dコンバータ73ｃは、AGC回路73bによる入力ゲインの制御の下でRAWデータをA‐D変換してAFE 73から出力する。TG（Timing Generator）73dはCCD 7１の水平同期信号を出力し、V‐Driver 74はCCD 7１の垂直同期信号を出力し、該CCDを駆動するようになっている。
AFE 73には、DSP（Digital Signal Processor）75が接続されており、該DSP 75には、A‐Dコンバータ73ｃから出力されたA‐D変換後のRAWデータが入力される。DSP 75は、入力されたRAWデータに対して信号の加工や補正（γ補正等）を行うことによって、RAWデータをYUV信号に変換して出力する。
また、DSP 75には、測光領域設定部５３から測光領域特定データが入力されており、該測光領域特定データが示す測光領域内の測光を行って露出を決定し、AGC回路73bに入力する。
DSP 75の出力側には、ビデオエンコーダ76が接続されており、このビデオエンコーダ76には、DSP 75から出力されたYUV信号が入力される。ビデオエンコーダ76は、入力されたYUV信号をD‐A変換によってNTSC（National Television Standards Committee）信号に変換してECU１４に出力する。このNTSC信号が、各カメラ1a〜1dの撮像画像データとなる。

（Ｄ）測光領域決定制御
（ａ）第１の測光領域設定部
図５は第１の測光領域設定部５３の構成図であり、図６は測光領域決定制御の説明図である。
測光領域決定モードにおいて、図６に示すように等間隔で５×５のマトリクス状にブロブBLBを有するキャリブレーションパターンCBPTを車両の前後左右の既知の位置に配置し、該キャリブレーションパターンCBPTを各カメラにより撮影し、撮影画像(図１(Ａ)参照)を測光領域設定部５３に入力する。なお、キャリブレーションパターンCBPTはカメラ１a〜1dの車両ＣＲへの取り付け位置、取り付け角度を測定するためのものである。
輝度急変部分検出部８１は、カメラ撮影画像の垂直方向(ｙ軸方向)における輝度差が設定値以上の画素位置を求め、該画素位置に基づいて車両のボディBDYの端部を検出する。測光領域下端決定部８２は、該ボディ端の位置を自動露出に用いる測光領域の下端部PALとする。実際にはカメラ撮影画面をN×M個のブロックに分割し（図２(Ｂ)参照）、ブロックの集合により測光領域を近似するから、ボディ端の位置に基づいて測光領域ＰＡの下端のブロックを特定する。
カメラ取付情報検出部８３はカメラ１a〜1dのそれぞれについて車両CRへの取り付け角度α(図２参照)を測定し、測光領域上端決定部８４は、該取付角度α、カメラの垂直画角(既知)、カメラ撮像範囲の垂直分割数N(既知)に基づいて前述のように測光領域の上端部PAUのブロックを特定する。カメラ取り付け角度の測定については図１１にしたがって後述する。
測光領域決定部８５は、測光領域ＰＡの下端のブロックと測光領域ＰＡの上端のブロックとで挟まれたカメラ撮影範囲を測光領域として決定し、該測光領域特定データを対応するカメラに入力する。

（ｂ）第２の測光領域設定部
図７は第２の測光領域設定部５３の構成図であり、図８は測光領域決定制御の説明図である。
測光領域決定モードにおいて、図８に示すように等間隔でマトリクス状に多数のブロブBLBが印刷されたブロブシートBSTの上に車両を停車すると共に、等間隔で５×５のマトリクス状にブロブBLBを有するキャリブレーションパターンCBPTを車両の前後左右の既知の位置に配置する。なお、キャリブレーションパターンCBPはカメラ１a〜1dの車両ＣＲへの取り付け位置、取り付け角度を測定するためのものである。
かかる状態において各カメラ１a〜1dによりブロブシートBSTおよびキャリブレーションパターンCBPを撮影し、撮影画像(図１(B)参照)を測光領域設定部５３に入力する。ブロブ検出部８６は、カメラ撮影画像よりブロブを検出し、ボディ端位置検出部８７はボディ端側のブロブBBCにより車両のボディ端を検出する。測光領域下端決定部８８は、該ボディ端の位置を自動露出に用いる測光領域の下端部PALとする。実際にはカメラ撮影画面をN×M個のブロックに分割し（図２(Ｂ)参照）、ブロックの集合により測光領域を近似するから、ボディ端側のブロブ位置に基づいて測光領域ＰＡの下端のブロックを特定する。
カメラ取付情報検出部８３および測光領域上端決定部８４は、図５で説明したと同様の方法により測光領域PAの上端部PAUのブロックを特定し、測光領域決定部８５は、測光領域ＰＡの下端のブロックと測光領域ＰＡの上端のブロックとで挟まれたカメラ撮影範囲を測光領域として決定し、該測光領域特定データを対応するカメラに入力する。

（ｃ）第３の測光領域設定部
図９は第３の測光領域設定部５３の構成図であり、図１０は測光領域決定制御の説明図である。
測光領域決定モードにおいて、図１０に示すように等間隔で５×５のマトリクス状にブロブBLBを有するキャリブレーションパターンCBPTを車両の前後左右の既知の位置にそれぞれ車両のボディ端と平行となるように配置し、該キャリブレーションパターンCBPTを各カメラにより撮影し、撮影画像(図１(Ａ)参照)を測光領域設定部５３に入力する。カメラ取付情報検出部８３はカメラの車体への取り付け角度及び取り付け位置をそれぞれ測定し、取り付け角度αを測光領域上端決定部８４に入力し、取り付け位置（X，Y）をボディ端位置決定部９１に入力する。
キャリブレーションパターンCBPTのブロブBLBの中心位置（x，y）は既知であるから、所定のブロブBLB１の中心位置（x,y）から（x−X，y−Y）離れた位置がカメラ取り付け位置、すなわちボディ端上の１つの位置となり、該位置を通るブロブBLB1~BLB5に平行な直線がボディ端である。そこで、ボディ端位置決定部９１は、左サイドカメラ１ｂの場合、所定のブロブBLB１の中心位置から（x−X，y−Y）離れた位置を求め、該位置を通るブロブBLB1~BLB5に平行な直線がボディ端として計算する。座標変換部９２はXY座標系のボディ端位置を魚眼座標系に変換し、測光領域下端決定部９３は、魚眼座標系の該ボディ端の位置を自動露出に用いる測光領域の下端部PALとする。実際にはカメラ撮影画面をN×M個のブロックに分割し（図２(Ｂ)参照）、ブロックの集合により測光領域を近似するから、測光領域ＰＡの下端のブロックを特定する。
測光領域上端決定部８４は、図５で説明したと同様の方法により測光領域PAの上端部PAUのブロックを特定し、測光領域決定部８５は、測光領域ＰＡの下端のブロックと測光領域ＰＡの上端のブロックとで挟まれたカメラ撮影範囲を測光領域として決定し、該測光領域特定データを対応するカメラに入力する。

（Ｅ）カメラ取付角/取付位置検出制御
図１１はカメラ取付角/取付位置検出部８３の構成図である。
画像処理部１０１は各カメラ1a〜1dよりキャリブレーションパターンCBPT(図６、図８、図１０参照)の撮影画像を取り込んで画像処理し、該キャリブレーションパターンCBPTにおける５×５の全ブロブBLBの中心座標値(魚眼座標系)を検出してブロブ中心位置座標記憶部１０２に保存する。

ついで、座標変換部座標系１０３は各ブロブの中心座標値を魚眼座標系から、地面をX-Y平面とする基準座標系に変換し、ブロブ中心位置座標記憶部１０４に保存する。図１２は座標変換説明図であり、X-Y-Zは基準座標系、U-V-Sは魚眼座標系である。Tx，Ty，Tzを魚眼座標系U-V-Sと基準座標系X-Y-Zの原点間の距離、Rx，Ry，Rzを基準座標系X-Y-Zに対する魚眼カメラの各軸周りの回転量とすれば、次式が成立する。ただし(u，v，s)はブロブの魚眼座標系における中心座標値で既知、λはブロブ間の間隔で、例えば、間隔が150mmであれば、λ＝150である。

図１２の（B）より、カメラの光軸がX-Y平面状のポイントPに向いているときのX軸周りの回転量はRv（＝Rx）、Y軸周りの回転量はRh（＝Ry）、Z軸周りの回転量はRr（＝Rz）である。

以後、ブロブ間距離調整部１０５、ブロブ位置調整部１０６、カメラ取付情報調整部１０７はブロブ間の各軸方向距離が実際の各軸方向距離と等しくなるように、かつブロブ位置が実際のブロブ位置と等しくなるようにRv，Rh，Rr，Tx，Ty，Tzを決定する。すなわち、最初に、ブロブ間距離調整部１０５およびカメラ取付情報調整部１０７は、Tx，Ty，Tzを固定した状態でRv,Rh,Rrを変更しながら各ブロブの中心座標値を(1)式を用いて計算し、各ブロブ間の各軸方向距離を計算し、各ブロブ間の各軸方向距離が等しくなるRv,Rh,Rrを求め、これらRv,Rh,Rrをカメラ取り付け角度として出力する。ついで、ブロブ位置調整部１０６およびカメラ取付情報調整部１０７は、(1)式より各ブロブの中心座標値を計算し、実際のブロブの中心位置(既知)と等しくなるTx，Ty，Tzを求め、カメラ取り付け位置として出力する。
具体的には、Rrを変更することにより図１３（A）に示すようにブロブの傾斜を調整することができ、Rhを変更することにより図１３（B）に示すようにブロブ間のX軸方向の距離を調整することができ、Rvを変更することにより図１３（C）に示すようにブロブ間のY軸方向の距離を調整することができる。

したがって、最初、ブロブ傾斜調整量決定部１０５aはTx，Ty，Tzを一定値(例えば０)としたときの各ブロブの中心座標値を用いてブロブ傾斜角度を計算する。図１３(A)の左側に示すようにブロブが傾斜している場合には右側に示すように傾斜角=０となるようにRrを調整し、調整量ΔRrをカメラ取付情報調整部１０７に入力する。カメラ取付情報調整部１０７はRr=Rr+ΔRrにより、新Rrを計算して座標変換部１０３に入力する。
これにより、座標変換部１０３は(1)式により各ブロブの中心座標値を計算し、ブロブ傾斜調整量決定部１０５aは各ブロブの中心座標値を用いてブロブ傾斜角度を計算する。以後、該ブロブ傾斜角度が零となるまで以上の処理を継続してRrの調整を行なう。

ブロブ傾斜角度が零となるようにRrの調整が終了すれば、ブロブ間距離算出部１０５ｂは各ブロブ間のX軸方向の距離を計算し、ブロブ間距離調整完了決定部１０５cは各ブロブ間のX軸方向距離が等しいか調べ、等しくなければブロブ間距離調整量決定部１０５ｄに調整指示信号を入力する。これにより、ブロブ間距離調整量決定部１０５ｄはRhを調整し、調整量ΔRhをカメラ取付情報調整部１０７に入力する。カメラ取付情報調整部１０７はRx=Rx+ΔRhにより、新Rxを計算して座標変換部１０３に入力する。これにより、座標変換部１０３は(1)式により各ブロブの中心座標値を計算し、ブロブ間距離算出部１０５ｂは各ブロブの中心座標値を用いて各ブロブ間のX軸方向距離を計算し、各ブロブ間のX軸方向距離が等しくなるまでRhの調整を行なう。

Rhの調整が完了すれば、ブロブ間距離算出部１０５ｂは各ブロブ間のY軸方向の距離を計算し、ブロブ間距離調整完了決定部１０５ｃは各ブロブ間のY軸方向距離が等しいか調べ、等しくなければブロブ間距離調整量決定部１０５ｄに調整指示信号を入力する。これにより、ブロブ間距離調整量決定部１０５ｄはRvを調整し、調整量ΔRvをカメラ取付情報調整部１０７に入力する。カメラ取付情報調整部１０７はRy=Ry+ΔRvにより、新Ryを計算して座標変換部１０３に入力する。これにより、座標変換部１０３は(1)式により各ブロブの中心座標値を計算し、ブロブ間距離算出部１０５ｂは各ブロブの中心座標値を用いて各ブロブ間のY軸方向距離を計算し、各ブロブ間のY軸方向距離が等しくなるまでRvの調整を行なう。
以上により、Rv，Rh，Rrの調整が完了すれば、ブロブ間距離調整完了決定部５７ｄは取り付け角度調整完了信号DAJEDを出力する。

ブロブ位置調整部１０６は取り付け角度調整完了信号DAJEDが発生すると、実際のブロブ中心位置(Xs,Ys)と等しくなるTx，Tyを(1)式より求め、又、ブロブのサイズ(あるいはブロブ間距離)が実際のブロブサイズ(あるいはブロブ間距離)と等しくなるようにTzを調整し、カメラ取り付け位置として出力する。
しかる後、カメラ取付情報調整部１０７は算出したカメラ取り付け角度Rx，Ry，Rz及びカメラ取付位置Tx，Ty，Tzを出力する。ただし、Rx+Ry=αである。

以上、本発明によれば、カメラの実際の取り付け位置、取り付け角度に応じた測光領域を正しく設定することができ、トップビュー画像に明度ムラや色むらがないようにすることができ、高品質のトップビュー画像を生成することができる。
なお、以上では本発明をトップビュー画像生成に際して適用した例を示したが本発明はかかる場合に限らず、各カメラで撮影した画像を単独で表示する場合にも適用できるものである。
また、以上の実施例ではカメラ撮影範囲をN×Mのブロックに分割して測光領域を特定したが本発明は必ずしもカメラ撮影範囲を分割する必要は無い。

CBPT キャリブレーションパターン
BLB ブロブ
BDY ボディ
PAL 測光領域下端
PAU 測光領域上端
BBC ボディBDY端側のブロブ

Claims (15)

1. 車両の周辺画像を広角カメラで撮影してディスプレイ画面に表示する画像表示装置における測光領域決定方法において、
   前記カメラで撮影した撮影画像より車両のボディ端を検出し、
   該ボディ端位置を自動露出に用いる測光領域の下端部として設定し、
   該測光領域の下端部と別途設定されている上端部とで測光領域を決定する、
   ことを特徴とする測光領域決定方法。
2. 前記ボディ端検出ステップにおいて、カメラ撮影画像の垂直方向における輝度差が設定値以上の画素位置を求めて車両のボディ端を検出する、
   ことを特徴とする請求項１記載の測光領域決定方法。
3. 前記ボディ端検出ステップにおいて、
   等間隔でマトリクス状に敷き詰めた多数のブロブの上に車両を停車した状態で、車両周辺をカメラにより撮影し、
   撮影画像よりボディ端側のブロブを求め、該ブロブにより車両のボディ端を検出する、
   ことを特徴とする請求項１記載の測光領域決定方法。
4. 前記ボディ端検出ステップにおいて、
   等間隔でマトリクス状にブロブを有するキャリブレーションパターンを既知の位置に配置して該キャリブレーションパターンをカメラにより撮影し、
   撮影キャリブレーションパターンに含まれる各ブロブの位置に基づいてカメラの車両への取り付け位置を測定し、
   該取り付け位置に基づいて車両のボディ端を検出する、
   ことを特徴とする請求項１記載の測光領域決定方法。
5. カメラの車両への取り付け角度を測定し、
   該取り付け角度に基づいて測光領域の上端部を決定する、
   ことを特徴とする請求項１記載の測光領域決定方法。
6. 水平方向から地面方向への取り付け角が大きくなるにつれて前記測光領域の上端部をカメラの撮像範囲の上方向にシフトする、
   ことを特徴とする請求項５記載の測光領域決定方法。
7. カメラの撮像範囲をM×Nの多数の矩形ブロックに分割し、該ブロックにより測光領域を特定する、
   ことを特徴とする請求項１〜請求項５記載の測光領域決定方法。
8. 車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像に所定の画像処理を施して合成することにより車両上方の視点から眺めた合成画像を表示する画像表示装置における測光領域決定方法において、
   各カメラで撮影した撮影画像よりそれぞれ車両のボディ端を検出し、
   該ボディ端位置を自動露出に用いる測光領域の下端部として設定し、
   該測光領域の下端部と別途設定されている上端部とで各カメラの測光領域を決定する、
   ことを特徴とする測光領域決定方法。
9. 車両の周辺画像を広角カメラで撮影してディスプレイ画面に表示する画像表示装置における測光領域決定装置おいて、
   前記カメラで撮影した撮影画像より車両のボディ端を検出するボディ端検出部、
   該ボディ端位置を自動露出に用いる測光領域の下端部として決定する測光領域下端決定部、
   該測光領域の下端部と別途設定されている上端部とで測光領域を決定する測光領域決定部、
   を備えたことを特徴とする測光領域決定装置。
10. 前記ボディ端検出部は、カメラ撮影画像の垂直方向における輝度差が設定値以上の画素位置を求めて車両のボディ端を検出する、
    ことを特徴とする請求項９記載の測光領域決定装置。
11. 前記ボディ端検出部は、
    等間隔でマトリクス状に敷き詰めた多数のブロブの上に車両を停車した状態で、車両周辺をカメラにより撮影したとき、該撮影画像よりボディ端側のブロブを検出するブロブ検出部、
    該ボディ端側のブロブにより車両のボディ端を検出する検出部、
    を有することを特徴とする請求項９記載の測光領域決定装置。
12. 前記ボディ端検出部は、
    等間隔でマトリクス状にブロブを有するキャリブレーションパターンを既知の位置に配置して該キャリブレーションパターンをカメラにより撮影したとき、撮影キャリブレーションパターンに含まれる各ブロブの位置に基づいてカメラの車両への取り付け位置を測定する取り付け位置測定部、
    該取り付け位置よりボディ端位置を決定するボディ端決定部、
    該ボディ端位置をカメラ座標系に変換する座標変換部、
    を備え、前記測光領域下端決定部は、座標変換されたボディ端位置より測光領域の下端部を決定する、
    ことを特徴とする請求項９記載の測光領域決定装置。
13. カメラの車両への取り付け角度を測定する取り付け角度測定部、
    該取り付け角度に基づいて測光領域上端部を決定する測光領域上端決定部、
    を有することを特徴とする請求項９記載の測光領域決定装置。
14. 前記測光領域上端決定部は、水平方向から地面方向への取り付け角が大きくなるにつれて前記測光領域の上端部をカメラの撮像範囲の上方向にシフトする、
    ことを特徴とする請求項１３記載の測光領域決定装置。
15. 前記測光領域決定部は、カメラの撮像範囲をM×Nの多数の矩形ブロックに分割し、該ブロックにより測光領域を特定する、
    ことを特徴とする請求項９〜請求項１３記載の測光領域決定装置。

Images