JP2010283718A - 車両周辺画像提供装置 - Google Patents

Abstract

【課題】カメラ画像の重複領域の範囲で障害物が検出された場合でもその障害物を正確に表示することが可能な「車両周辺画像提供装置」を提供すること。
【解決手段】車両周辺画像提供装置は、表示手段と、車両周辺の画像を取得可能に設置された複数のカメラと、車両の画像のデータを予め格納すると共に、撮像手段により取得された画像のデータを逐次格納する記憶手段と、記憶手段に格納されているデータから車両の画像と車両周辺の画像を合成して表示手段の画面に表示させるように制御する制御手段と、を備える。制御手段は、各画像のうち隣接する２つの画像の重複領域の範囲に障害物を検出したとき、各カメラのオートホワイトバランスの設定位置を重複領域に指定して各画像を取得する。
【選択図】図５

Description

本発明は、車両周辺画像提供装置に関し、特に、複数の車載用カメラで撮影した画像を基に車両周辺の俯瞰画像を生成する車両周辺画像提供装置に関する。

近年、自車両のドアミラーやナンバープレート近傍にカメラを設置し、これら複数台のカメラにより自車両周囲の画像を撮影し、この画像を車室内に設置したディスプレイ等の表示装置に表示する技術が実用化されている。かかる技術は特に駐車する際に利用されており、その際、運転者は、表示装置に表示された画像を確認しながら、障害物等の存在を把握することで、衝突等の事故を防ぐことが可能になる。特に、ミラーだけでは死角になる位置の画像も表示することができるので、安全な駐車に寄与することができる。

また、自車両に複数台のカメラを設置し、これらのカメラにより撮像された画像を基に、これら撮像画像を自車両の上方の仮想視点から見た画像（俯瞰画像）に変換し、その視点変換された車両周辺の俯瞰画像（以下、便宜上「トップビュー画像」という。）をディスプレイ等の表示装置に表示することで、自車両の周辺を監視する技術が実用化されている。

このトップビュー画像は、複数台のカメラで撮影された画像を合成して生成されるが、カメラの撮影領域がそれぞれ異なるために、画像のつなぎ部分に切れ目が生ずる場合がある。

このような画像のつなぎ部の切れ目を補正する技術として、例えば、特許文献１には、カメラの撮影領域どうしが重なる領域において複数の画像の輝度を同程度にし、画像間に輝度差による切れ目が見えなくなるようにする技術が記載されている。

特開２００７−３１１９７０号公報

上記したような運転者にとって違和感の少ないトップビュー画像により、自車両の周辺を死角領域をなくして表示することができ、バック走行等の際にトップビュー画像を確認しながら運転することにより、危険を回避することが可能となる。

また、トップビュー画像では、複数のカメラで撮像された画像を基に車両周囲の障害物（移動体や静止物）を認識して表示している。この認識処理において、１台のカメラ固有の撮影範囲における障害物は特に問題なく認識可能である。

しかし、複数のカメラによる撮像範囲が重複する領域に障害物が存在していた場合、それぞれのカメラによる自動ホワイトバランス機能により色調整が行われるため、同じ障害物を撮像したとしても、同じものとは認識されず、二つの障害物があるものとして表示されてしまう。

従って、重複領域でない領域では一つの障害物として表示されていたものが、重複領域に入るといきなり二つの障害物として表示されてしまうことになり、運転者に混乱を与え、安全走行に支障をきたすおそれがある。

本発明は、かかる従来技術の課題に鑑みなされたものであり、トップビュー画像生成の際の画像認識品質を向上し、カメラ画像の重複領域の範囲で障害物が検出された場合でもその障害物を正確に表示することが可能な車両周辺画像提供装置を提供することを目的とする。

上述した従来技術の課題を解決するため、本発明の一形態によれば、表示手段と、車両周辺の画像を取得可能に設置された複数のカメラと、当該車両の画像のデータを予め格納すると共に、前記カメラにより取得された画像のデータを逐次格納する記憶手段と、前記記憶手段に格納されているデータから当該車両の画像と車両周辺の画像を合成して前記表示手段の画面に表示させるように制御する制御手段と、を備え、前記制御手段は、前記各画像のうち隣接する２つの画像の重複領域の範囲に障害物を検出したとき、前記各画像を撮像した各カメラのオートホワイトバランスの基準とする設定位置を前記重複領域に指定して前記各画像を取得することを特徴とする車両周辺画像提供装置が提供される。

この形態に係る車両周辺画像提供装置において、前記制御手段は、前記各カメラのうち前記障害物までの距離の短いカメラで撮像された前記障害物の画像を前記表示手段の画面に表示させるようにしてもよく、前記制御手段は、前記各カメラに対して、前記重複領域と当該重複領域以外の領域のそれぞれをオートホワイトバランスの前記設定位置に指定するようにしてもよく、前記制御手段は、前記重複領域が複数存在し、それらの重複領域の範囲にそれぞれ障害物を検出したとき、前記各カメラに対して、各重複領域と重複領域以外の領域のそれぞれをオートホワイトバランスの前記設定位置に指定するようにしてもよい。

また、この形態に係る車両周辺画像提供装置において、前記カメラは、当該車両の前方、後方、左方及び右方をそれぞれ撮影する車載カメラであり、各車載カメラは、レンズを下方に向けて広角範囲で画像を取得可能に、かつ、協働して当該車両の全周囲を撮影可能に配置されているようにしてもよく、前記制御手段は、前記各車載カメラで撮影された各方向の画像の視点をそれぞれ当該車両の上方からの視点に変換し、視点変換後の画像を合成して当該車両周辺の画像を生成するようにしてもよい。

本発明では、トップビュー画像の生成の際に２つの画像の重複領域に障害物を検出したとき、それぞれのカメラのオートホワイトバランスの設定領域をその重複領域に指定してそれぞれの画像を取得するようにしている。これにより、それぞれのカメラにより撮像される障害物が同一の色相になり、障害物を同一のものと認識することが可能となる。

本発明の一実施形態に係る車両周辺画像提供装置の構成を概略的に示すブロック図である。 図１の装置における各車載カメラの設置例を模式的に示す図である。 マッピングテーブルを説明する図である。 マッピングテーブルの一例を示す図である。 ＡＷＢ調整処理を行った場合（本実施形態）と行っていない場合（従来例）のトップビュー画像の提供に係る画面表示例を概略的に示す図である。 ＡＷＢ調整処理の一例を示すフローチャートである。

以下、本発明の実施形態について、添付の図面を参照しながら説明する。

図１は、本発明の一実施形態に係る車両周辺画像提供装置１０の構成を概略的に示したものである。本実施形態では、本発明に係る車両周辺画像提供装置１０を車載用ナビゲーション装置の一部として組み込んだ場合の構成例を示している。

本実施形態に係る車両周辺画像提供装置１０は、図１に示すように、４台の車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄと、各車載カメラ１１ａ〜１１ｄで取得されたアナログの画像データをデジタルデータに変換するコンバータ（Ａ／Ｄ）１２と、撮影画像メモリ１３と、視点変換部１４と、周辺画像生成部１５と、マッピングメモリ１６と、車両画像メモリ１７と、画像合成部１８と、ディスプレイ装置１９と、制御部２０と、操作部２１と、障害物検出部２２と、オートホワイトバランス（ＡＷＢ）設定部２０ａとを備えている。

各車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄは、それぞれ自車両の前方、後方、左方及び右方の画像を取得するためのものであり、自車両外部の適当な箇所に設置されている。図２はその設置例を模式的に示したものであり、前方カメラ１１ａは車両の前部に、後方カメラ１１ｂは車両の後部に、左方カメラ１１ｃ及び右方カメラ１１ｄはそれぞれ車両の左側部及び右側部（図示の例では、ドアミラーの下部）にそれぞれ設置されている。

また、各車載カメラ１１ａ〜１１ｄは、各々のレンズが若干下方を向くように位置決めされ、図中破線で示すように広角範囲（理想的には１８０°の撮像範囲）で画像を取得できるように設置されている。つまり、各車載カメラ１１ａ〜１１ｄが協働して自車両の全周辺（車両周辺）を撮影できるように配置されている。

隣接する車載カメラで撮像される領域は、境界付近で相互に重なる重複領域が存在している。例えば、前方カメラ１１ａで撮影された画像と右方カメラ１１ｄで撮影された画像とが、重複領域ＤＲｂにおいて重なっている。

各車載カメラ１１ａ〜１１ｄは、光学撮像系を内蔵しており、この光学撮像系には、特に図示はしないが当業者には周知の一般的な光学部材、例えば、外部からの光を透過させるレンズ、このレンズを通して入射された光から映像（電気信号）を検出するための撮像素子（例えば、ＣＣＤイメージセンサ）、レンズと撮像素子の間に介在された赤外線カットフィルタ等が含まれている。なお、低照度視認性向上のため、赤外線カットフィルタは無くてもよい。

また、ＣＣＤイメージセンサから出力されるアナログ電気信号をデジタル信号に変換した後、デジタル化された画像データをデジタル信号プロセッサ（ＤＳＰ）に入力する。このプロセッサでは、多種多様の画像処理が行われ、例えば、自動焦点、自動露光、自動ホワイトバランス調整などの画像処理が行われる。このプロセッサを通して画像処理された画像データはアナログ画像信号（ＮＴＳＣ信号）に変換して出力される。

撮影画像メモリ１３は、その記憶媒体として、例えばＨＤＤを使用している。この撮影画像メモリ１３（ＨＤＤ内の一部の記憶領域）には、制御部２０からの制御に基づき、各車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄで継続的に撮影して得られた車両周辺の画像のＡ／Ｄ変換後のデータが一画面分（１フレーム）毎に逐次格納されるようになっている。なお、車載用のＨＤＤの記憶容量には限りがあり、今までに取得した撮影画像データをすべて保存しておくことはできないため、ＨＤＤを効率的に運用する観点から、ＨＤＤ内の該当する記憶領域に撮影画像データを順次上書きしながら格納する。

視点変換部１４は、各車載カメラ１１ａ〜１１ｄで撮影された各方向（車両の前方、後方、左方及び右方）の画像の視点をマッピングテーブルを参照してそれぞれ自車両の上方からの視点に変換した画像（俯瞰画像）を生成するものである。

周辺画像生成部１５は、制御部２０からの制御に基づき、視点変換部１４の出力である視点変換後の各方向（車両の前方、後方、左方及び右方）の画像を合成して、車両周辺の画像を生成する。なお、この車両周辺の画像生成では、ＡＷＢ設定部２０ａでオートホワイトバランスの設定位置が指定された場合には、そのＡＷＢによる各車載カメラの撮像画像を使用する。

マッピングメモリ１６は、表示画像の種別（サイドビュー画像、トップビュー画像、バックビュー画像等）に応じて複数のマッピングテーブルを格納している。マッピングテーブルは、撮像画像の画素位置と表示画像の画素位置との対応関係が記述されたテーブルであり、マッピングデータとして、１フレームの表示画像の各画素に、対応する撮像画像の画像取得位置の座標情報が記述されている。

車両画像メモリ１７は、撮影画像メモリ１３と同様に、その記憶媒体としてＨＤＤを使用している。この車両画像メモリ１７（ＨＤＤ内の別の記憶領域）には、予め準備された自車両の画像（自車画像）のデータが格納されている。この自車画像は、必要に応じて、制御部２０からの制御に基づき画像合成部１８において、少なくとも一つの車載カメラ（例えば、左方カメラ１１ｃ）で撮影された自車両の一部（車体）の画像から抽出された車体色に修正してもよい。

画像合成部１８は、制御部２０からの制御に基づいて、周辺画像生成部１５で生成された車両周辺の画像（俯瞰画像）に、車両画像メモリ１７に予め記憶させておいた自車画像を合成する（トップビュー画像の生成）。その際、必要に応じて、少なくとも一つの車載カメラで撮影された自車両の一部（車体）の画像から車体色の情報を抽出し、自車画像の色をその抽出した車体色に修正するための画像処理を行い、その画像処理後の自車画像を車両周辺の画像に合成するようにしてもよい。

ディスプレイ装置１９は、例えば、ＬＣＤ（液晶ディスプレイ）等からなり、運転席から表示画面を見ることができるように車室内のセンターコンソールのほぼ中間位置に設置されている。このディスプレイ装置１９の表示画面には、画像合成部１８で合成された画像（トップビュー画像）が表示される。特に、本発明に関連する情報として、車両周辺画像の重複領域の部分をオートホワイトバランスの設定位置に指定した後に撮影された画像を基に合成されたトップビュー画像が表示される。さらにこの表示画面には、ナビゲーションに係る案内情報（自車の現在位置の周囲の地図、出発地から目的地までの誘導経路等）も表示される。

制御部２０は、例えば、マイクロコンピュータ等により構成され、各車載カメラ１１ａ〜１１ｄによる画像を取得して撮像画像メモリ１３に格納し、視点変換部１４及び周辺画像生成部１５にトップビュー画像を生成させて、ディスプレイ装置１９に画像を表示する機能を有している。また、オートホワイトバランス（ＡＷＢ）設定部２０ａを有し、ＡＷＢ設定部２０ａにおいて特定されるＡＷＢ調整をする際に基準となる設定位置を、各車載カメラ１１ａ〜１１ｄに対して指示を与える機能を有している。さらに、制御部２０は、ナビゲーションに係る種々の処理（ＧＰＳ受信機の出力から自車の現在位置を検出したり、自立航法センサの出力から自車の方位や走行速度を検出したり、地図データベースを参照して設定された探索条件で自車の現在位置から目的地までの誘導経路を探索するなど）を制御する機能も有している。

操作部２１は、ユーザが指示した情報を入力するためのものであり、例えば、リモコン送信機の形態を有しており、特に図示はしないが、ディスプレイ装置１９の画面上の各種メニュー、各種項目等を選択したり、選択したメニュー等を実行させるための各種操作ボタン、ジョイスティックなどを備えている。本発明に関連する入力指示として、ディスプレイ装置１９の画面に「トップビュー表示」を行わせるための入力指示を与える。

障害物検出部２２は、自車両の周囲に存在する移動体や静止物などの障害物を検出する。例えば、レーダー装置によりレーダビームを発し、反射波の強度を解析することによって障害物の有無や障害物がある場合にはその方向を検出する。また、電波や光の送信波を発し、反射波を受信するまでの時間から距離を計測し、所定距離範囲内に障害物の存在を検出するようにしてもよい。さらに、車載カメラ１１ａ〜１１ｄによって撮影された画像を解析し、２眼の視差から三角測量の原理を用いて距離を計測し、所定範囲内に障害物の存在を検出するようにしてもよい。また、１つのカメラでフレーム間差分から障害物を検出するようにしてもよい。

このように構成された車両周辺画像提供装置１０において、運転者が操作部２１を操作して「トップビュー表示」を指示すると、トップビュー画像の生成において、車両周辺のトップビュー表示を行うと同時に、車両周辺の障害物検出を行う。障害物がトップビュー画像の隣接する車載カメラによる画像の重複領域に存在するとき、各車載カメラのＡＷＢの設定位置をその重複領域にするよう各車載カメラに指示を与え、ＡＷＢ調整後の画像を用いたトップビュー画像を生成して表示する。なお、運転者が「トップビュー表示」を指示しない場合であっても、例えば、シフトレバーがバックの位置になったことを検出したときに自動的に、トップビュー画像が表示されるようにしてもよい。

以下に、本実施形態にかかる車両周辺画像提供装置１０において行う、隣接する車載カメラによる撮影画像の重複領域に障害物が検出された場合におけるオートホワイトバランス調整処理について説明する。まず、図３及び図４を参照して、トップビュー画像について説明し、その後、図５及び図６を参照して、オートホワイトバランス調整処理について説明する。

図３は、マッピングテーブルの説明図である。図３（ａ）の矩形枠Ａは、前方カメラ１１ａによって撮影された画像を示しており、このうち領域Ｂの画像がトップビュー画像の合成に使用される。図３（ｂ）はトップビュー画像の一例を示しており、車両の前方、右方、後方、左方のカメラで撮影された画像を視点変換して、それぞれトップビュー画像の前方画像ＦＰ、右方画像ＲＰ、後方画像ＢＰ、左方画像ＬＰに表示される。さらに自車両の画像が中央部分に合成されてトップビュー画像が生成される。例えば、図３（ａ）の領域Ｂの画像は、図３（ｂ）のトップビュー画像の前方画像ＦＰに対応している。

魚眼レンズのような広角レンズを通して撮影されて撮影画像メモリ１３に格納された画像データは、視点変換部１４において、魚眼レンズを通して得られた歪みのある画像データを歪みのない画像データに変換する。この変換に、アドレス関係が記載されたマッピングテーブルが使用される。例えば、図３（ａ）のＰ１に対応する撮影画像の画素位置と図３（ｂ）のＱ１ｓに対応する表示画像の画素位置とを対応させ、図３（ａ）のＰ２に対応する撮影画像の画素位置と図３（ｂ）のＱ２に対応する表示画像の画素位置とを対応させるような変換規則がマッピングテーブルに定義されている。

図４は、マッピングテーブルの具体例を示した図である。図４に示すように、マッピングテーブルは、表示位置、カメラ番号、位置、補間データを構成要素としている。このうち、表示位置は、出力表示画面に表示される画像の画素位置を示しており、座標（Ｘｏ，Ｙｏ）で示されている。

カメラ番号は、車両のどこに搭載されたカメラであるかを示す識別番号を示している。また、位置は、カメラ番号で特定されたカメラによって撮像された画像の画素位置の座標（ｘ、ｙ）を示している。また、補間データは、隣接する画素間の色の変化をスムーズにするための色情報を調整する値を示している。

例えば、図４のマッピングテーブルを参照すると、出力表示画面の表示位置（２５１，１００）にはカメラ番号１のカメラで撮像された画像の座標位置（２０２，１００）の画素が割り当てられる。さらに、ｘ方向の隣接する画素の情報が当該画素の色情報に取り入れられる。また、表示位置画素に撮像画像の２画素が割り当てられている場合、その中間の色情報が割り当てられる。例えば、当該画素の色が白で、隣接する画素の色が黒であった場合、当該画素の色を灰色とする。

図３（ｂ）に示したように、トップビュー画像は、前方画像ＦＰ、右方画像ＲＰ、後方画像ＢＰ、左方画像ＬＰの部分画像を合成して構成されているが、隣接する車載カメラによる画像は、両方のカメラで撮影される重複領域が存在する。

図５は、トップビュー画像の一例を示しており、図５（ａ）は、本実施形態のＡＷＢ調整処理を行った場合の画像であり、図５（ｂ）は、本実施形態のＡＷＢ調整処理を行っていない場合の画像である。

図５（ａ）及び（ｂ）に示すように、車両の画像５２と、各車載カメラで撮像された画像による車両周囲の画像（５１、５１ａ）とを合成したトップビュー画像（５０、５０ａ）となっている。また、それぞれのトップビュー画像において、隣接する車載カメラにより撮像される重複領域ＤＲａ〜ＤＲｄでは、例えば、予め境界５４ａ〜５４ｄを決定し、重複領域内に表示する画像をどの車載カメラで撮像された画像にするかを定義しておく。

図５に示すように、この重複領域に障害物５３が存在すると仮定すると、前方カメラ及び右方カメラの双方で障害物が撮影される。

車載カメラでは、太陽を光源とする白色を基準として、白い被写体を白く再現するためにオートホワイトバランス調整が行われている。このオートホワイトバランスは、映像信号全体の平均が無彩色となるようにホワイトバランス調整を行う方式がよく知られている。すなわち、基本的には、画面全体を平均すると無彩色になるという仮定に基づいて行われている。この仮定は、各種の色が混入している風景を撮影したときには成立するが、有彩色が画面の大部分を占める等、被写体によっては画像全体の平均値が無彩色とならない場合は、誤ったホワイトバランス調整になってしまう。

このような誤ったホワイトバランス調整が行われた場合でも、一つの車載カメラによる画像であれば、色相は実際のものとは異なるものの正確な数の障害物を検出することが可能である。

しかし、複数の車載カメラで車両周囲を撮影する場合、それぞれの車載カメラによって撮影される対象に応じてオートホワイトバランス調整が行われるため、それぞれの車載カメラによって色相が異なってしまうことが起こりうる。

例えば、図５（ｂ）に示すように、前方車載カメラ１１ａで撮影した車両前方の画像及び左方車載カメラ１１ｃで撮影した車両左方の画像は被写体の影響を受けて赤みがかって撮影され（図５（ｂ）では、斜線で表示している）、右方車載カメラ１１ｃで撮影した車両右方の画像は車両前方の画像よりも赤みが少なく撮影されている。

このような車両周囲状況において、前方画像領域と右方画像領域との重複領域に一つの障害物が存在したものとすると、前方車載カメラ１１ａ及び右方車載カメラ１１ｃの両車載カメラによって障害物が撮影されたとき、両車載カメラの色相が異なるため、その障害物が同一のものとは判定されなくなってしまう。その結果、図５（ｂ）に示すように、障害物の画像として、前方車載カメラ１１ａによる画像５３ｂと右方車載カメラ１１ｃによる画像５３ｃとが表示され、２つの障害物が存在しているように表示されてしまう。

そこで、本実施形態では、画像の重複領域で障害物が検出されたとき、その重複領域が含まれる画像を撮影した車載カメラに対してオートホワイトバランスの基準となる設定位置を、その重複領域に設定する。そして、それぞれの車載カメラで画像を撮影すればＡＷＢが同じように調整されるため色相が同一になり、重複領域に存在する一つの障害物を一つのものとして認識するようにしている。

合成画像を生成する際には、２つの車載カメラで撮影された画像のうちのいずれか一方の障害物の画像を表示するようにしている。例えば、車載カメラから障害物までの距離の短い方の画像を選択して表示する。図５（ａ）の例では、前方カメラ１１ａから障害物までの距離が右方カメラ１１ｃから障害物までの距離よりも短いため、前方カメラ１１ａにより撮影された障害物の画像が表示されている。

上記の図５を用いた例では、前方車載カメラ１１ａと右方車載カメラ１１ｄによる画像の重複領域ＤＲｂで障害物を検出した場合について説明したが、他の重複領域（ＤＲａ、ＤＲｃ、ＤＲｄ）で障害物を検出した場合も同様にオートホワイトバランス調整処理を行う。

また、これらの重複領域ＤＲａ〜ＤＲｄのいずれかでなく、複数の重複領域で障害物を検出した場合であっても、それぞれの重複領域をＡＷＢの設定位置としてＡＷＢ調整処理を行う。

例えば、重複領域ＤＲａ及びＤＲｂでそれぞれ障害物が検出されたとする。重複領域ＤＲａは、前方カメラ１１ａと左方カメラ１１ｃによる画像の重複領域であり、重複領域ＤＲｂは、前方カメラ１１ａと右方カメラ１１ｄによる画像の重複領域である。よって、左方カメラ１１ｃに対して、ＡＷＢの設定位置をＤＲａとするように指示し、ＡＷＢ調整後の画像を取得する。また、右方カメラ１１ｄに対して、ＡＷＢの設定位置をＤＲｂとするように指示し、ＡＷＢ調整後の画像を取得する。さらに、前方カメラ１１ａに対しては、ＡＷＢの設定位置を３ヵ所、すなわちＤＲａ、ＤＲｂ、ＤＲａ及びＤＲｂ以外の領域に設定するように指示し、ＡＷＢ調整後の画像を取得する。

次に、本実施形態に係る車両周辺画像提供装置１０において行うオートホワイトバランス調整処理について、図６のフローチャートを参照しながら説明する。

本実施形態では、自車両に設置されている車載カメラ１１ａ〜１１ｄは、常に自車両の周辺を撮影しているものとする。

まず、最初のステップＳ１１では、トップビュー表示機能を「オン」する。これにより、各車載カメラ１１ａ〜１１ｄは起動し、それぞれ自車両の前方、後方、左方及び右方の撮像を開始する。シフト位置がバックの位置にあることを指示するシフト位置信号や、操作部２１からのユーザ指示に基づいてトップビュー表示機能を「オン」にする。

次のステップＳ１２において、各車載カメラ１１ａ〜１１ｄで撮影して得られた車両周辺の画像のＡ／Ｄ変換後のデータを撮影画像メモリ１３に逐次格納する。

次のステップＳ１３では、各車載カメラ１１ａ〜１１ｄ間の画像重複領域に障害物があるか否かを判定する。障害物の判定は、ステップＳ１２で取得した画像を基に検出する。なお、画像重複領域に障害物があるか否かを判定する際に、画像により判定する代わりに、レーダー装置を用いて反射波の情報を解析することによって障害物の検出を行うようにしてもよい。

障害物が存在すると判定したときは、ステップＳ１４に移行し、重複領域に障害物が存在しないときはステップＳ１５に移行する。

次のステップＳ１４では、ステップＳ１３で障害物が存在すると判定された画像重複領域を撮影している車載カメラに対して、その画像重複領域をＡＷＢの設定位置に指定し、その車載カメラにその旨を指示する。障害物が検出された画像重複領域が１つの場合は、その領域を撮影した２つの車載カメラに対してＡＷＢの設定位置を指示する。また、複数の重複領域で障害物が検出された場合には、それぞれの重複領域をＡＷＢの設定位置として各車載カメラに指示する。このとき、一つの車載カメラによる画像に複数の重複領域が含まれていれば、それらの重複領域及び重複領域以外の領域をＡＷＢの設定位置として指示するようにする。

次のステップＳ１５では、ＡＷＢ調整後の車載カメラによる画像を取得し、その取得した画像（データ）を基に、トップビュー画像を生成して画面に表示する。すなわち、制御部２０からの制御に基づき周辺画像生成部１５において、視点変換部１４の出力である視点変換後の各方向（前方、後方、左方及び右方）の各画像を合成して、車両周辺の画像を生成する。さらに、制御部２０からの制御に基づき画像合成部１８において、周辺画像生成部１５で生成された車両周辺の画像に、車両画像メモリ１７に予め記憶させておいた自車画像を合成し（トップビュー画像の生成）、さらに、画像合成部１８を介してディスプレイ装置１９の画面に、そのトップビュー画像を表示する。

次のステップＳ１６では、エンジンが停止したか否か、つまり、駐車操作をしていた場合には駐車を完了したか否かを判定する。判定結果がＹＥＳの場合には本処理フローは終了となり、判定結果がＮＯの場合には、ステップＳ１２に戻り上記の処理を繰り返す。

一方、ステップＳ１３において判定結果がＮＯ（カメラ間の画像重複領域に障害物が存在しない場合）には、ステップＳ１５に移行して、上記のトップビュー画像の生成及びその表示を行う。

以上説明したように、本実施形態における車両周辺画像提供装置では、トップビュー画像の生成の際に２つの画像の重複領域に障害物を検出したとき、それぞれのカメラのオートホワイトバランスの設定領域をその重複領域に指定してそれぞれの画像を取得するようにしている。これにより、それぞれのカメラにより撮像される障害物が同一の色相になり、障害物を同一のものと認識することが可能となる。

１０…車両周辺画像提供装置、
１１ａ、１１ｂ、１１ｃ、１１ｄ…車載カメラ（撮像手段）、
１３…撮像画像メモリ（記憶手段）、
１４…視点変換部（制御手段）、
１５…周辺画像生成部（制御手段）、
１６…マッピングメモリ、
１７…車両画像メモリ（記憶手段）、
１８…画像合成部（制御手段）、
１９…ディスプレイ装置（表示手段）、
２０…制御部（制御手段）、
２０ａ…ＡＷＢ設定部、
２１…操作部、
２２…障害物検出部、
５０、５０ａ…トップビュー画像、
５１、５１ａ…車両周辺の画像、
５２…車両の画像、
５３ａ、５３ｂ、５３ｃ…障害物の画像、
ＤＲａ、ＤＲｂ、ＤＲｃ、ＤＲｄ…画像重複領域。

Claims (6)

1. 表示手段と、
   車両周辺の画像を取得可能に設置された複数のカメラと、
   当該車両の画像のデータを予め格納すると共に、前記カメラにより取得された画像のデータを逐次格納する記憶手段と、
   前記記憶手段に格納されているデータから当該車両の画像と車両周辺の画像を合成して前記表示手段の画面に表示させるように制御する制御手段と、
   を備え、
   前記制御手段は、前記各画像のうち隣接する２つの画像の重複領域の範囲に障害物を検出したとき、前記各画像を撮像した各カメラのオートホワイトバランスの基準とする設定位置を前記重複領域に指定して前記各画像を取得することを特徴とする車両周辺画像提供装置。
2. 前記制御手段は、前記各カメラのうち前記障害物までの距離が短いカメラで撮像された前記障害物の画像を前記表示手段の画面に表示させることを特徴とする請求項１に記載の車両周辺画像提供装置。
3. 前記制御手段は、前記各カメラに対して、前記重複領域と当該重複領域以外の領域のそれぞれをオートホワイトバランスの前記設定位置に指定することを特徴とする請求項２に記載の車両周辺画像提供装置。
4. 前記制御手段は、前記重複領域が複数存在し、それらの重複領域の範囲にそれぞれ障害物を検出したとき、前記各カメラに対して、各重複領域と重複領域以外の領域のそれぞれをオートホワイトバランスの前記設定位置に指定することを特徴とする請求項３に記載の車両周辺画像提供装置。
5. 前記カメラは、当該車両の前方、後方、左方及び右方をそれぞれ撮影する車載カメラであり、各車載カメラは、レンズを下方に向けて広角範囲で画像を取得可能に、かつ、協働して当該車両の全周囲を撮影可能に配置されていることを特徴とする請求項１から４のいずれか一項に記載の車両周辺画像提供装置。
6. 前記制御手段は、前記各車載カメラで撮影された各方向の画像の視点をそれぞれ当該車両の上方からの視点に変換し、視点変換後の画像を合成して当該車両周辺の画像を生成することを特徴とする請求項５に記載の車両周辺画像提供装置。

Images