JP2011049735A - 車両周辺画像提供装置 - Google Patents

Abstract

【課題】トップビュー画像生成の際に白飛びを避けるように画像を生成して車両周囲の表示をすることが可能な「車両周辺画像提供装置」を提供すること。
【解決手段】車両周辺画像提供装置は、表示手段と、車両周辺の画像を取得可能に設置された複数のカメラと、車両の画像のデータを予め格納すると共に、カメラにより取得された画像のデータを逐次格納する記憶手段と、記憶手段に格納されているデータから車両の画像と車両周辺の画像を合成して表示手段の画面に表示させるように制御する制御手段と、を備える。制御手段は、各カメラにより取得された画像間の境界領域となるつなぎ目の付近の所定数の画素を抽出して輝度値を算出し、輝度値が白飛びを規定する所定の値以上のときに、白飛びの発生しない位置につなぎ目を変更して新たなつなぎ目とするつなぎ目調整処理を行い、車両周辺の画像を合成する。
【選択図】図５

Description

本発明は、車両周辺画像提供装置に関し、特に、複数の車載用カメラで撮影した画像を基に車両周辺の俯瞰画像を生成する車両周辺画像提供装置に関する。

近年、自車両のドアミラーやナンバープレート近傍にカメラを設置し、これら複数台のカメラにより自車両周囲の画像を撮影し、この画像を車室内に設置したディスプレイ等の表示装置に表示する技術が実用化されている。かかる技術は特に駐車する際に利用されており、その際、運転者は、表示装置に表示された画像を確認しながら、障害物等の存在を把握することで、衝突等の事故を防ぐことが可能になる。特に、ミラーだけでは死角になる位置の画像も表示することができるので、安全な駐車に寄与することができる。

また、自車両に複数台のカメラを設置し、これらのカメラにより撮像された画像を基に、これら撮影画像を自車両の上方の仮想視点から見た画像（俯瞰画像）に変換し、その視点変換された車両周辺の俯瞰画像（以下、便宜上「トップビュー画像」という。）をディスプレイ等の表示装置に表示することで、自車両の周辺を監視する技術が実用化されている。

このトップビュー画像は、複数台のカメラで撮影された画像を合成して生成されるが、カメラの撮影領域がそれぞれ異なるために、画像のつなぎ部分に切れ目が生じたり、つなぎ部分に障害物が重なり、障害物が見づらくなる場合がある。

このような問題に対して、特許文献１には、車両が右左折をしたり、ハンドルを切りながら後退するなどの運転状態に応じて画像信号の境界（画像のつなぎ目）を変更する技術が記載されている。

また、特許文献２には、つなぎ部分に障害物の表示が重なるときには、つなぎ部分を変更して障害物の表示を見やすくする技術が記載されている。

特開２００７−０８９０８１号公報 特開２００７−１０４３７３号公報

上記したように、複数のカメラで撮影された画像を合成するトップビュー画像の表示において各画像のつなぎ部分に生ずる見づらさを解消し、自車両の周辺を死角領域をなくして表示することができ、バック走行等の際にトップビュー画像を確認しながら運転することにより、危険を回避することが可能となる。

ところで、このようなトップビュー画像の生成において、使用されている複数のカメラの解像度が低く、夜間に使用した場合には車両周囲の画像が明瞭に表示されないという状況が発生している。このような問題に対して、各車載カメラの解像度を高くすることで明瞭に車両周囲画像を表示するように対処可能である。

しかし、車載カメラを高解像度にすることにより、次のような不都合が発生してしまう。すなわち、夜間に車両を走行させる場合にはライトを点灯させるが、そのライトの明るさによってカメラの撮影画像に白飛びが発生してしまう場合がある。強い明るさのヘッドライトが点灯されているとき、前方カメラによる画像では白飛びは発生しない。また、強い明るさが存在しないときは側方のカメラで撮影された画像にも白飛びは発生しない。これに対し、ヘッドライトが点灯しているときには、側方のカメラで撮影する範囲の一部だけが明るさが強くなり、その一部に白飛びが発生してしまう。

このような白飛びが発生すると、その領域に障害物が存在していた場合であっても、その障害物が表示されず、安全走行に支障をきたすおそれがある。

本発明は、かかる従来技術の課題に鑑みなされたものであり、トップビュー画像生成の際に白飛びが発生した場合には、その白飛びの部分を避けるようにして画像を生成して車両周囲の表示をすることが可能な車両周辺画像提供装置を提供することを目的とする。

上述した従来技術の課題を解決するため、本発明の一形態によれば、表示手段と、車両周辺の画像を取得可能に設置された複数のカメラと、当該車両の画像のデータを予め格納すると共に、前記カメラにより取得された画像のデータを逐次格納する記憶手段と、前記記憶手段に格納されているデータから当該車両の画像と車両周辺の画像を合成して前記表示手段の画面に表示させるように制御する制御手段と、を備え、前記制御手段は、前記各カメラにより取得された画像間の境界領域となるつなぎ目の付近の所定数の画素を抽出して輝度値を算出し、当該輝度値が白飛びを規定する所定の値以上のときに、前記白飛びの発生しない位置に前記つなぎ目を変更して新たなつなぎ目とするつなぎ目調整処理を行い、前記車両周辺の画像を合成することを特徴とする車両周辺画像提供装置が提供される。

この形態に係る車両周辺画像提供装置において、前記制御手段は、前記つなぎ目と前記車両の画像を表示する領域の辺とのなす角の大きさを変えて前記所定の数の画素の輝度値を算出し、当該輝度値が前記所定の値未満になるときのつなぎ目を前記新たなつなぎ目とするようにしてもよく、前記制御手段は、予め定められたつなぎ目の候補の位置における前記所定数の画素の輝度値を算出して、当該輝度値が前記所定の値未満になるときのつなぎ目の候補を前記新たなつなぎ目とするようにしてもよく、前記制御手段は、前記つなぎ目を前記新たなつなぎ目に変更した後、当初のつなぎ目付近の所定数の画素を抽出して輝度値を算出し、当該輝度値が前記所定の値未満のとき、つなぎ目を前記当初のつなぎ目に戻して、前記車両周辺の画像を合成するようにしてもよい。

本発明では、トップビュー画像の生成の際に、２つのカメラによる撮影画像の境界付近において白飛びが発生することを検出したとき、白飛びが発生しない位置に境界のつなぎ目を変更するようにしている。これにより、夜間においてヘッドライトが点灯されている場合であっても前方カメラによる画像と左方又は右方カメラによる画像との境界付近で白飛びの状態を回避することが可能となる。その結果、白飛びのために視認できなかった境界付近の状況を明確に視認可能になり、その境界付近に障害物が存在する場合にはその障害物を表示することができ、安全走行に寄与することが可能になる。

本発明の一実施形態に係る車両周辺画像提供装置の構成を概略的に示すブロック図である。 図１の装置における各車載カメラの設置例を模式的に示す図である。 マッピングテーブルを説明する図である。 マッピングテーブルの一例を示す図である。 白飛び表示の調整処理を行った場合（本実施形態）と行っていない場合（従来例）のトップビュー画像の提供に係る画面表示例を概略的に示す図である。 白飛び表示の調整処理を説明する図である。 白飛び表示調整処理の一例を示すフローチャート（その１）である。 白飛び表示調整処理の一例を示すフローチャート（その２）である。

以下、本発明の実施形態について、添付の図面を参照しながら説明する。

図１は、本発明の一実施形態に係る車両周辺画像提供装置１０の構成を概略的に示したものである。本実施形態では、本発明に係る車両周辺画像提供装置１０を車載用ナビゲーション装置の一部として組み込んだ場合の構成例を示している。

本実施形態に係る車両周辺画像提供装置１０は、図１に示すように、４台の車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄと、各車載カメラ１１ａ〜１１ｄで取得されたアナログの画像データをデジタルデータに変換するコンバータ（Ａ／Ｄ）１２と、撮影画像メモリ１３と、視点変換部１４と、周辺画像生成部１５と、マッピングメモリ１６と、車両画像メモリ１７と、画像合成部１８と、ディスプレイ装置１９と、制御部２０と、操作部２１とを備えている。

各車載カメラ１１ａ〜１１ｄは、それぞれ自車両の前方、後方、左方及び右方の画像を取得するためのものであり、自車両外部の適当な箇所に設置されている。図２はその設置例を模式的に示したものであり、前方カメラ１１ａは車両の前部に、後方カメラ１１ｂは車両の後部に、左方カメラ１１ｃ及び右方カメラ１１ｄはそれぞれ車両の左側部及び右側部（図示の例では、ドアミラーの下部）にそれぞれ設置されている。

また、各車載カメラ１１ａ〜１１ｄは、各々のレンズが若干下方を向くように位置決めされ、図中破線で示すように広角範囲（理想的には１８０°の撮像範囲）で画像を取得できるように設置されている。つまり、各車載カメラ１１ａ〜１１ｄが協働して自車両の全周辺（車両周辺）を撮影できるように配置されている。

隣接する車載カメラで撮像される領域は、境界付近で相互に重なる重複領域が存在している。例えば、前方カメラ１１ａで撮影された画像と右方カメラ１１ｄで撮影された画像とが、重複領域ＤＲｂにおいて重なっている。

各車載カメラ１１ａ〜１１ｄは、光学撮像系を内蔵しており、この光学撮像系には、特に図示はしないが当業者には周知の一般的な光学部材、例えば、外部からの光を透過させるレンズ、このレンズを通して入射された光から映像（電気信号）を検出するための撮像素子（例えば、ＣＣＤイメージセンサ）、レンズと撮像素子の間に介在された赤外線カットフィルタ等が含まれている。なお、低照度視認性向上のため、赤外線カットフィルタは無くてもよい。

また、ＣＣＤイメージセンサから出力されるアナログ電気信号をデジタル信号に変換した後、デジタル化された画像データをデジタル信号プロセッサ（ＤＳＰ）に入力する。このプロセッサでは、多種多様の画像処理が行われ、例えば、自動焦点、自動露光、自動ホワイトバランス調整などの画像処理が行われる。このプロセッサを通して画像処理された画像データはアナログ画像信号（ＮＴＳＣ信号）に変換して出力される。

撮影画像メモリ１３は、その記憶媒体として、例えばＤＲＡＭを使用している。この撮影画像メモリ１３（ＤＲＡＭ内の一部の記憶領域）には、制御部２０からの制御に基づき、各車載カメラ１１ａ〜１１ｄで継続的に撮影して得られた車両周辺の画像（自車両の前方、後方、左方及び右方の周囲の画像）のＡ／Ｄ変換後のデータが一画面分（１フレーム）毎に逐次格納されるようになっている。なお、車載用のＤＲＡＭの記憶容量には限りがあり、今までに取得した撮影画像データをすべて保存しておくことはできないため、ＤＲＡＭを効率的に運用する観点から、ＤＲＡＭ内の該当する記憶領域に撮影画像データを順次上書きしながら格納する。

視点変換部１４は、各車載カメラ１１ａ〜１１ｄで撮影された各方向（車両の前方、後方、左方及び右方）の画像の視点を、マッピングテーブルを参照してそれぞれ自車両の上方からの視点に変換した画像（俯瞰画像の画像データ）を生成するものである。画像データは、画素毎の明度、彩度、輝度等の情報を含んでいる。

周辺画像生成部１５は、制御部２０からの制御に基づき、視点変換部１４の出力である視点変換後の各方向（車両の前方、後方、左方及び右方）の画像を合成して、車両周辺の画像を生成する。

マッピングメモリ１６は、表示画像の種別（サイドビュー画像、トップビュー画像、バックビュー画像等）に応じて複数のマッピングテーブルを格納している。マッピングテーブルは、撮影画像の画素位置と表示画像（自車両の周辺の上方の仮想視点から見た画像）の画素位置との対応関係が記述されたテーブルであり、マッピングデータとして、１フレームの表示画像の各画素に、対応する撮影画像の画像取得位置の座標情報が記述されている。なお、どのカメラによる画像についての撮影画像の画素位置と表示画像の画素位置との対応関係かが分かるようにすることで、マッピングテーブルを一つ用意するようにしてもよい。

車両画像メモリ１７は、撮影画像メモリ１３と同様に、その記憶媒体としてＤＲＡＭを使用している。この車両画像メモリ１７（ＤＲＡＭ内の別の記憶領域）には、予め準備された自車両の画像（自車画像）のデータが格納されている。

画像合成部１８は、制御部２０からの制御に基づいて、周辺画像生成部１５で生成された車両周辺の画像（俯瞰画像）に、車両画像メモリ１７に予め記憶させておいた自車画像を合成する（トップビュー画像の生成）。その際、必要に応じて、少なくとも一つの車載カメラで撮影された自車両の一部（車体）の画像から車体色の情報を抽出し、自車画像の色をその抽出した車体色に修正するための画像処理を行い、その画像処理後の自車画像を車両周辺の画像に合成するようにしてもよい。

ディスプレイ装置１９は、例えば、ＬＣＤ（液晶ディスプレイ）等からなり、運転席から表示画面を見ることができるように車室内のインストゥルメントパネルのほぼ中間位置に設置されている。このディスプレイ装置１９の表示画面には、画像合成部１８で合成された画像（トップビュー画像）が表示される。特に、本発明に関連する情報として、トップビュー画像における隣接するカメラ画像の境界領域において白飛びが発生する場合、白飛びの表示がされないように境界領域を変更して各カメラの画像を基に合成されたトップビュー画像が表示される。さらにこの表示画面には、ナビゲーションに係る案内情報（自車の現在位置の周囲の地図、出発地から目的地までの誘導経路等）も表示される。

制御部２０は、例えば、マイクロコンピュータ等により構成され、各車載カメラ１１ａ〜１１ｄによる画像を取得して撮影画像メモリ１３に格納し、視点変換部１４及び周辺画像生成部１５にトップビュー画像を生成させて、ディスプレイ装置１９に画像を表示する機能を有している。また、撮像素子によって得られた撮像映像のうち予め定められた領域（例えばトップビュー画像におけるつなぎ目にそった画素領域）の輝度を計算し、予め定められた閾値Ｗを上回る輝度値で表された領域の有無を検出する。所定の画素領域の輝度値が閾値Ｗを上回るときは、輝度値が閾値Ｗ未満となる画素領域を検出してつなぎ目を変更する。

さらに、制御部２０は、ナビゲーションに係る種々の処理（ＧＰＳ受信機の出力から自車の現在位置を検出したり、自立航法センサの出力から自車の方位や走行速度を検出したり、地図データベースを参照して設定された探索条件で自車の現在位置から目的地までの誘導経路を探索するなど）を制御する機能も有している。

操作部２１は、ユーザが指示した情報を入力するためのものであり、例えば、リモコン送信機の形態を有しており、特に図示はしないが、ディスプレイ装置１９の画面上の各種メニュー、各種項目等を選択したり、選択したメニュー等を実行させるための各種操作ボタン、ジョイスティックなどを備えている。本発明に関連する入力指示として、ディスプレイ装置１９の画面に「トップビュー表示」を行わせるための入力指示を与える。

このように構成された車両周辺画像提供装置１０において、運転者が操作部２１を操作して「トップビュー表示」を指示すると、トップビュー画像の生成において、車両周辺のトップビュー表示を行う。この際に、各車載カメラの画像間のつなぎ目付近の所定の画素の輝度値を算出し、算出された輝度値から白飛びが発生しているか否かを判定する。白飛びが発生する場合はその白飛びが表示されないように各車載カメラの画像間のつなぎ目の位置を変更する処理を施してトップビュー画像を生成し表示する。

なお、運転者が「トップビュー表示」を指示しない場合であっても、例えば、シフトレバーがバックの位置になったことを検出したときに自動的に、トップビュー画像が表示されるようにしてもよい。

以下に、本実施形態にかかる車両周辺画像提供装置１０において行う、白飛び調整処理について説明する。まず、図３及び図４を参照して、トップビュー画像について説明し、その後、図５から図８を参照して、白飛び調整処理について説明する。

図３は、マッピングテーブルの説明図である。図３（ａ）の矩形枠Ａは、前方カメラ１１ａによって撮影された画像を示しており、このうち歪みの大きな部分を除いた領域Ｂの画像がトップビュー画像の合成に使用される。図３（ｂ）はトップビュー画像の一例を示しており、車両の前方、右方、後方、左方のカメラで撮影された画像を視点変換して、それぞれトップビュー画像の前方画像ＦＰ、右方画像ＲＰ、後方画像ＢＰ、左方画像ＬＰに表示される。さらに自車両の画像が中央部分に合成されてトップビュー画像が生成される。例えば、図３（ａ）の領域Ｂの画像は、図３（ｂ）のトップビュー画像の前方画像ＦＰに対応している。

魚眼レンズのような広角レンズを通して撮影されて撮影画像メモリ１３に格納された画像データは、視点変換部１４において、魚眼レンズを通して得られた歪みのある画像データを歪みのない画像データに変換する。この変換に、アドレス関係が記載されたマッピングテーブルが使用される。例えば、図３（ａ）のＰ１に対応する撮影画像の画素位置と図３（ｂ）のＱ１に対応する表示画像の画素位置とを対応させ、図３（ａ）のＰ２に対応する撮影画像の画素位置と図３（ｂ）のＱ２に対応する表示画像の画素位置とを対応させるような変換規則がマッピングテーブルに定義されている。

図４は、マッピングテーブルの具体例を示した図である。図４に示すように、マッピングテーブルは、表示位置、カメラ番号、位置、補間データを構成要素としている。このうち、表示位置は、出力表示画面に表示される画像の画素位置を示しており、座標（Ｘｏ，Ｙｏ）で示されている。図４のマッピングテーブルでは、解像度が８００×４８０（ＷＶＧＡ）の場合を示している。

カメラ番号は、車両のどこに搭載されたカメラであるかを示す識別番号を示している。また、位置は、カメラ番号で特定されたカメラによって撮像された画像の画素位置の座標（ｘ、ｙ）を示している。また、補間データは、隣接する画素間の色の変化をスムーズにするための色情報を調整する値を示している。

例えば、図４のマッピングテーブルを参照すると、出力表示画面の表示位置（２５１，１００）にはカメラ番号１のカメラで撮像された画像の座標位置（２０２，１００）の画素が割り当てられる。さらに、ｘ方向の隣接する画素の情報が当該画素の色情報に取り入れられる。また、表示位置画素に撮影画像の２画素が割り当てられている場合、その中間の色情報が割り当てられる。例えば、当該画素の色が白で、隣接する画素の色が黒であった場合、当該画素の色を灰色とする。

このようなマッピングテーブルによって、各カメラで撮影された画像の表示位置が決定される。これにより、隣接する車載カメラによる画像の重複領域において、隣接する撮影画像のうちのどちらの画像をトップビュー画像として表示するか、すなわち各撮影画像間の境界（つなぎ目）が規定される。

図５は、高感度の車載カメラを使用した場合であって、夜間など車両の周囲が暗いときにヘッドライトを点灯した場合のトップビュー画像の一例を示している。図５（ａ）は、本実施形態の白飛び表示の調整処理を行った場合の画像であり、図５（ｂ）は、白飛び表示の調整処理を行っていない場合の画像である。

図５（ａ）は、車両の画像５２と、各車載カメラ１１ａ〜１１ｄで撮影された画像による車両周囲の画像５１ａ〜５１ｄとを合成したトップビュー画像５０を示している。また、図５（ｂ）は、車両の画像５２と、各車載カメラ１１ａ〜１１ｄで撮影された画像による車両周囲の画像５１ｅ〜５１ｈとを合成したトップビュー画像５０ａを示している。

図５（ｂ）のトップビュー画像において、隣接する車載カメラにより撮像される重複領域ＤＲａ〜ＤＲｄでは、予め通常時におけるつなぎ目５４ａ〜５４ｄが決定され、黒塗りで表示されている。

高感度の車載カメラを使用しているため、夜間などの周囲が暗いときであっても、道路上の白線を表示することができる。図５（ｂ）の前方画像５１ｅでは白線５５ｃが、左方画像５１ｆでは白線５５ｂが、後方画像５１ｇでは白線５５ｄが、右方画像５１ｈでは白線５５ａがそれぞれ視認可能に表示されている。また、前方画像５１ｅには、車止め（５３a、５３ｂ）が表示されている。

しかし、高感度の車載カメラを使用しているため、前方画像５１ｅと左方画像５１ｆとの境界付近、及び、前方画像５１ｅと右方画像の境界付近では、それぞれ白飛び（５８ａ，５８ｂ）が発生してしまう。この白飛びは左方カメラ１１ｃ又は右方カメラ１１ｄによって撮影された画像に現れており、ヘッドライトの明るさが原因となっている。このような状況では境界領域の付近における状況を把握することが不可能となり、境界領域の実空間に障害物があっても視認することができず、安全走行に支障をきたしてしまう。

一方、ヘッドライトの明るさは前方カメラの撮像範囲の全体に及んでいるため、前方カメラ１１ａによる画像には白飛びは発生していない。

そこで、本実施形態では、各カメラによる撮影画像のうち、トップビュー画像における隣接するカメラの撮影画像との境界領域付近において白飛びが発生することが検出されたとき、その白飛びが表示されないように境界領域であるつなぎ目の位置を変更するようにしている。

図５（ａ）は、つなぎ目を変更したときのトップビュー画像を示している。図５（ｂ）のつなぎ目５７ａに対し図５（ａ）では角度を変えたつなぎ目５４ａを採用している。また、図５（ｂ）のつなぎ目５７ｂに対し図５（ａ）では角度を変えたつなぎ目５４ｂを採用している。このようにつなぎ目を変更することにより、白飛び（つなぎ目５４ａ付近の白飛び５６ａ、つなぎ目５４ｂ付近の白飛び５６ｂ）を少なくしている。これにより、前方画像５１ａにおいて、図５（ｂ）では表示されていなかった車止め５３ｃが表示されるようになる。

なお、図５（ｂ）と同様に、前方画像５１ａ、左方画像５１ｂ、後方画像５１ｃ及び右方画像５１ｄのそれぞれにおいて、白線５５ｃ、５５ｂ、５５ｄ及び５５ａが視認可能に表示されている。

以下に、白飛び表示の調整処理について図６を参照しながら説明する。

図６（ａ）は、左方カメラ１１ｃにより撮像した画像６１の一例を示している。また、図６（ｂ）は、図５（ｂ）に示したトップビュー画像のうちの前方部分を示している。

図６（ａ）は、魚眼レンズを通して撮影された画像であり、車両の左側部６３と、車両の左側方の景色が撮影されている。この画像から生成するトップビュー画像において、左方画像と前方画像の境界である通常のつなぎ目は、車両の左前方角部を通る鉛直線の地面上の点を基点Ｄ１としたラインＨＬ１としている。この通常のつなぎ目において、白飛びが発生したときには、基点Ｄ１を中心につなぎ目ＨＬ２、つなぎ目ＨＬ３のようにつなぎ目を回転させて、新たなつなぎ目の変更候補とする。

図５（ｂ）のトップビュー画像に対応させると、図６（ｂ）に示すように、車両の画像を表示する領域の左辺上の点Ｄ２が基点となり、破線ＨＬ４が通常のつなぎ目となっている。図６（ｂ）では、通常のつなぎ目ＨＬ４のときに白飛び５８ａが発生しているため、基点Ｄ２を中心として、つなぎ目ＨＬ５、つなぎ目ＨＬ６のようにつなぎ目を回転させて、新たなつなぎ目の変更候補を検出する。

図６（ｂ）に示す３本のつなぎ目（ＨＬ４，ＨＬ５，ＨＬ６）は、トップビュー画像における自車画像を表示する表示領域の左辺の延長線を基準線ＢＬ２としたとき、点Ｄ２を基点として基準線ＢＬ２とつなぎ目の線との角度を変えて設定している。

本実施形態では、トップビュー画像の表示の際に通常のつなぎ目にしたときに白飛びが発生するか否かを判定し、白飛びが発生するときに、その白飛びが表示されないようにつなぎ目を変更するようにしている。

まず、図６（ｂ）に示すようなトップビューの表示画像データを用いて、通常時の境界線（つなぎ目）付近の輝度値を求める。この輝度値は、隣接するカメラ画像の予め定められた通常の境界領域の付近の所定の数の画素、例えば、４０×４０個分の画素を抽出して、それらの画素の輝度値を合計することによって算出する。このときの画像データは、各カメラから取得した画像であって、トップビュー画像の生成前、すなわち、境界線で区切られていない画像データを用いる。なお、所定の数の画素は、線状の境界領域に沿った矩形状の領域でもよいし、境界領域に沿って、車両に近い方の画素を多くし、車両から離れるに従って画素を少なくするようにしてもよい。また、白飛びの判定に使用する画素は、白飛びが発生すると予測される左方カメラ１１ｃ側の画素であってもよい。

上記の所定の領域形状及び所定の数の画素に対して、白飛びが発生するときの合計輝度値を予め算出しておき、白飛び判定値とする。上記算出した境界領域付近の画素の輝度値が白飛び判定値以上であれば白飛びが発生すると判定する。

白飛びが発生していると判定されたときは、その白飛びが発生しているカメラ側につなぎ目を所定の量だけ回転させて、新たなつなぎ目となる変更候補領域に仮想的に移動させ、通常時の境界領域の場合と同様に、その変更候補領域付近の所定数の画素を抽出して画素の合計輝度値を算出する。図６（ｂ）に示すように、前方カメラ画像と左方カメラ画像の合成の場合には、左方カメラ１１ｃによって撮像された画像に白飛びが発生するため、基準線ＢＬ２から左方向に変更候補領域を移動させる。

このようにして、合計輝度値が白飛び判定値未満となる変更候補領域を検出して、新たなつなぎ目とする。なお、変更候補領域の検出の際に、図６に示すように、予め所定の角度の領域を規定しておいてもよいし、通常のつなぎ目から所定の角度毎につなぎ目を回転させて、白飛びのないつなぎ目を検出するようにしてもよい。

この新たなつなぎ目の情報を基にマッピングテーブルを変更してマッピングメモリに格納し、各領域のトップビュー画像を生成する際に、各カメラの画像を表示メモリに出力する。

上記の図５を用いた例では、前方車載カメラ１１ａと左方車載カメラ１１ｃによる画像の境界における白飛びの調整について説明したが、他の境界において白飛びが発生した場合も同様に白飛び調整処理を行う。

なお、トップビュー画像表示における隣接する画像の境界領域は、解像度と立体物の見え方から図５（ｂ）に示したような角度をもった位置に設けている。従って、この領域において白飛びが発生していなければ、通常のつなぎ目にすることが好ましい。よって、白飛びの発生によってつなぎ目を変更した後、通常のつなぎ目における白飛びの発生を検出し、白飛びの発生がなくなれば通常のつなぎ目に戻すようにする。例えば、夜間であっても信号待ち等で停車しているときに、境界領域付近に障害物が存在する場合には、通常のつなぎ目にすることによってその障害物を実物に近い形で表示されるようになる。

また、上記白飛び調整処理は、ユーザの指示によって行うようにしてもよいし、車両の照明（ヘッドライトやテールライト）が点灯されたときに連動して行うようにしてもよい。

次に、本実施形態に係る車両周辺画像提供装置１０において行う白飛び調整処理方法について、図７のフローチャートを参照しながら説明する。

本実施形態では、自車両に設置されている車載カメラ１１ａ〜１１ｄは、常に自車両の周辺を撮影しているものとする。

まず、最初のステップＳ１１では、トップビュー表示機能を「オン」する。これにより、各車載カメラ１１ａ〜１１ｄは起動し、それぞれ自車両の前方、後方、左方及び右方の撮像を開始する。シフト位置がバックの位置にあることを指示するシフト位置信号や、操作部２１からのユーザ指示に基づいてトップビュー表示機能を「オン」にする。

次のステップＳ１２において、各車載カメラ１１ａ〜１１ｄで撮影して得られた車両周辺の画像のＡ／Ｄ変換後のデータを撮影画像メモリ１３に逐次格納する。

次のステップＳ１３では、通常の境界領域における輝度加算値を算出する。この輝度加算値は、境界領域の予め決められた所定位置及び数の画素を選択し、それらの画素の輝度値を合計することによって算出する。

次のステップＳ１４では、ステップＳ１３で算出した通常の境界領域における輝度値から、通常の境界領域において白飛びが発生しているか否かを検出する。白飛びが発生しているか否かは、予め白飛びが発生する輝度値を閾値として設定しておき、算出した輝度値がその閾値以上であれば白飛びが発生すると判定し、閾値未満であれば白飛びが発生しないと判定する。

白飛びが発生すると判定されたときは、ステップＳ１５に移行し、白飛びが発生しないと判定されたときは、本白飛び表示調整処理は終了する。

次のステップＳ１５では、境界領域の各変更候補領域における輝度加算値を算出する。変更候補領域（変更候補つなぎ目）は、トップビュー画像における自車画像を表示する表示領域の辺と変更候補つなぎ目との角度を変えることによって複数のつなぎ目を変更候補としている。

例えば、左方カメラ１１ｃによる撮影画像と前方カメラ１１ａによる撮影画像との境界において、通常のつなぎ目は、自車画像表示領域の左辺とつなぎ目とのなす角度が３０度であり、変更候補つなぎ目として、自車画像表示領域の左辺とのなす角度が４５度又は６０度の場合を対象とする。

これらの角度のときのつなぎ目付近の所定の画素を選択して通常のつなぎ目のときと同様に輝度値を算出する。

なお、変更候補つなぎ目として、上記した角度に限らず、自車画像表示領域の左辺となす角度を９０度にしてもよく、通常のつなぎ目から所定の角度毎につなぎ目を回転させるようにしてもよい。

次のステップＳ１６において、ステップＳ１５で算出した各変更候補領域における輝度加算値から、白飛びしない変更候補領域があるか否かを判定する。変更候補領域がある場合は、ステップＳ１７に移行し、変更候補領域がない場合は本白飛び調整処理は終了する。

次のステップＳ１７では、白飛びしない変更候補領域を新たな境界領域とし、トップビュー表示を行う。すなわち、制御部２０からの制御に基づき周辺画像生成部１５において、視点変換部１４の出力である視点変換後の各方向（前方、後方、左方及び右方）の各画像を合成して、車両周辺の画像を生成する。この各方向の各画像の合成の際に、隣接する画像の境界領域はステップＳ１５で検出された白飛びの画像表示がされないようなつなぎ目になるようにしている。さらに、制御部２０からの制御に基づき画像合成部１８において、周辺画像生成部１５で生成された車両周辺の画像に、車両画像メモリ１７に予め記憶させておいた自車画像を合成し（トップビュー画像の生成）、画像合成部１８を介してディスプレイ装置１９の画面に、そのトップビュー画像を表示する。

なお、ステップＳ１５において、変更候補のつなぎ目と基準線（自車画像表示領域の左辺）とのなす角を４５度及び６０度としたが、これに限らず、角度を９０度としてもよく、通常時のつなぎ目の角度である３０度から所定の角度（例えば１０度）毎に変えて、それぞれのつなぎ目を変更候補として、輝度値を算出するようにしてもよい。

次に、つなぎ目を変更した後の白飛び表示調整処理について図８のフローチャートを参照しながら説明する。

まず、最初のステップＳ２１において、各車載カメラにより取得した画像（データ）をメモリに格納する。

次のステップＳ２２において、通常の境界領域における輝度加算値を算出する。

次のステップＳ２３において、ステップＳ２２で算出した輝度加算値により、通常の境界領域において白飛びが発生しているか否かを判定する。白飛びが発生している場合はステップＳ２５に移行し、白飛びが発生していない場合はステップＳ２４に移行する。

次のステップＳ２４において、トップビュー画像における隣接するカメラ間の境界領域を通常の境界領域に変更する。その後、トップビュー画像を生成して表示する。

一方、ステップＳ２５では変更された境界領域を維持してトップビュー画像を表示し、ステップＳ２１に戻り、本処理を継続する。

以上説明したように、本実施形態における車両周辺画像提供装置では、トップビュー画像の生成の際に、２つのカメラによる撮影画像の境界付近において白飛びが発生することを検出したとき、白飛びが発生しない位置に境界のつなぎ目を変更するようにしている。これにより、夜間においてヘッドライトが点灯されている場合であっても前方カメラによる画像と左方又は右方カメラによる画像との境界付近で白飛びの状態を回避することが可能となる。その結果、白飛びのために視認できなかった境界付近の状況を明確に視認可能になり、その境界付近に障害物が存在する場合にはその障害物を表示することができ、安全走行に寄与することが可能になる。

１０…車両周辺画像提供装置、
１１ａ、１１ｂ、１１ｃ、１１ｄ…車載カメラ（撮像手段）、
１３…撮影画像メモリ（記憶手段）、
１４…視点変換部（制御手段）、
１５…周辺画像生成部（制御手段）、
１６…マッピングメモリ、
１７…車両画像メモリ（記憶手段）、
１８…画像合成部（制御手段）、
１９…ディスプレイ装置（表示手段）、
２０…制御部（制御手段）、
２１…操作部、
５０、５０ａ…トップビュー画像、
５１ａ〜５１ｈ…車両周辺の画像、
５２…車両の画像、
５４ａ〜５４ｄ、５７ａ〜５７ｄ…つなぎ目、
５６ａ、５６ｂ、５８ａ、５８ｂ…白飛び。

Claims (7)

1. 表示手段と、
   車両周辺の画像を取得可能に設置された複数のカメラと、
   当該車両の画像のデータを予め格納すると共に、前記カメラにより取得された画像のデータを逐次格納する記憶手段と、
   前記記憶手段に格納されているデータから当該車両の画像と車両周辺の画像を合成して前記表示手段の画面に表示させるように制御する制御手段と、
   を備え、
   前記制御手段は、前記各カメラにより取得された画像間の境界領域となるつなぎ目の付近の所定数の画素を抽出して輝度値を算出し、当該輝度値が白飛びを規定する所定の値以上のときに、前記白飛びの発生しない位置に前記つなぎ目を変更して新たなつなぎ目とするつなぎ目調整処理を行い、前記車両周辺の画像を合成することを特徴とする車両周辺画像提供装置。
2. 前記制御手段は、前記つなぎ目と前記車両の画像を表示する領域の辺とのなす角の大きさを変えて前記所定の数の画素の輝度値を算出し、当該輝度値が前記所定の値未満になるときのつなぎ目を前記新たなつなぎ目とすることを特徴とする請求項１に記載の車両周辺画像提供装置。
3. 前記制御手段は、予め定められたつなぎ目の候補の位置における前記所定数の画素の輝度値を算出して、当該輝度値が前記所定の値未満になるときのつなぎ目の候補を前記新たなつなぎ目とすることを特徴とする請求項２に記載の車両周辺画像提供装置。
4. 前記制御手段は、前記車両が少なくともヘッドライト又はテールライトのいずれかの照明を点灯したことを検出したとき、前記つなぎ目調整処理を行うことを特徴とする請求項３に記載の車両周辺画像提供装置。
5. 前記制御手段は、前記つなぎ目を前記新たなつなぎ目に変更した後、当初のつなぎ目付近の所定数の画素を抽出して輝度値を算出し、当該輝度値が前記所定の値未満のとき、つなぎ目を前記当初のつなぎ目に戻して、前記車両周辺の画像を合成することを特徴とする請求項４に記載の車両周辺画像提供装置。
6. 前記カメラは、当該車両の前方、後方、左方及び右方をそれぞれ撮影する車載カメラであり、各車載カメラは、レンズを下方に向けて広角範囲で画像を取得可能に、かつ、協働して当該車両の全周囲を撮影可能に配置されていることを特徴とする請求項１から５のいずれか一項に記載の車両周辺画像提供装置。
7. 前記制御手段は、前記各車載カメラで撮影された各方向の画像の視点をそれぞれ当該車両の上方からの視点に変換し、視点変換後の画像を合成して当該車両周辺の画像を生成することを特徴とする請求項６に記載の車両周辺画像提供装置。

Images