JP2007300559A - 車両周辺画像提供装置及び車両周辺画像における影補正方法 - Google Patents

Abstract

【課題】車両近傍に影が生じている場合でも車両周辺の状況を確認できるようにし、障害物等の存在の確認及び安全な駐車に寄与することができる「車両周辺画像提供装置及び車両周辺画像における影補正方法」を提供すること。
【解決手段】表示手段と、車両周辺の画像を取得可能に設置された撮像手段と、当該車両の画像のデータを予め格納すると共に、前記撮像手段により取得された画像のデータを逐次格納する記憶手段と、前記記憶手段に格納されているデータから当該車両の画像と車両周辺の画像を合成して前記表示手段の画面に表示させるよう制御する制御手段とを備えた車両周辺画像提供装置において、前記撮像手段により取得された車両周辺の画像に当該車両の影が含まれている場合に（Ｓ２〜Ｓ４）、当該影の部分の画像の輝度を補正して影の無い画像に処理し（Ｓ５）、当該車両の画像と合成して表示手段に供給する（Ｓ６）。
【選択図】図３

Description

本発明は、駐車場や車庫等において運転者の便宜（駐車支援）を図るのに有用な技術に関し、より詳細には、駐車の際に当該車両の画像とその周辺の画像を合成して運転者に提供する車両周辺画像提供装置及び車両周辺画像における影補正方法に関する。

上述した車両周辺画像提供装置は、多くの場合、ナビゲーション装置を搭載した車両に搭載されている。典型的な車載用ナビゲーション装置には、ナビゲーションに係る一切の処理を制御するＣＰＵ、地図データを格納したＤＶＤ−ＲＯＭやＨＤＤ等の記憶装置、画面を通して案内情報を提供するディスプレイ装置、自車の現在位置を検出するためのＧＰＳ (Global Positioning System ) 受信機、自車の進行方位や走行速度等を検出するためのジャイロや車速センサ等が設けられている。そして、ＣＰＵにより、自車の現在位置を含む地図データを記憶装置から読み出し、この地図データに基づいて自車位置の周囲の地図画像をディスプレイ画面に描画すると共に、自車の現在位置を指示する自車位置マークをディスプレイ画面に重ね合わせて表示し、自車の移動に応じて地図画像をスクロール表示したり、あるいは地図画像を画面に固定して自車位置マークを移動させたりして、自車が現在何処を走行しているのかを一目で判るようにしている。さらにナビゲーション装置には、ユーザが設定した目的地に向けて道路を間違うことなく容易に走行できるように案内する機能（経路誘導機能）が搭載されている。

かかるナビゲーション装置の地図データベースには駐車場の情報も含まれており、当然のことながら、その駐車場を目的地として設定すれば上記の経路誘導機能に基づいて自車両を当該駐車場の場所まで誘導することができる。あるいは、ナビゲーション装置による経路誘導機能に頼らずに、運転者が車両を走行中にたまたま駐車場を見つけて立ち寄る場合もある。いずれにせよ、駐車場に到着後は、その駐車場内で適当な空きスペース（駐車スペース）を見つけてその場所に自車両を停めることになる。

その際、従来の駐車の仕方では、運転者がルームミラー等を見ながら、もしくは窓から顔を出して後ろを確認しながら、あるいは同乗者もしくは第三者の誘導に基づき、車両を後ろ向きに移動させて当該駐車スペースに収まるようにしていた。しかし、このような方法では、駐車スペース内にきっちり収まるように車両を操作するのは非常に難しく、かなりの熟練を必要とする。また、窓から顔を出して車両を操作する方法では、安全性の面から好ましいとはいえない。

そこで、かかる不都合に対処するための技術として、車両の前後左右の所要箇所にそれぞれカメラを搭載し、各カメラで取得した車両周辺の画像（動画像）を車載ディスプレイの画面に表示することで、運転者が車両の全周囲を確認できるようにした方法が提案されている。この技術では、各カメラはそれぞれレンズを下方に向けて広角範囲（理想的には１８０°の撮像範囲）で画像を取得できるように設置されており、また、各カメラで撮影された画像の視点を車両上方からの視点に変換し、視点変換後の画像（俯瞰画像）を合成して車両周辺の画像を生成し、画面に表示している。その際、画面上で自車両に相当する部分は「空いた」ままであるので、この「空いた」部分に自車両の画像を表示するようにしている。

現状の技術では、画面上で自車両を真上から見た表示を行う場合、あらかじめ自車両の画像（自車画像）をメモリ等に準備しておき、駐車時など必要なときにこの自車画像を視点変換後の車両周辺の画像に合成して、ディスプレイの画面に表示するようにしている。なお、以下の記述において、視点変換後の車両周辺の画像（俯瞰画像）に自車画像を合成して画面に表示したものは、自車両を真上から見ているという意味で、便宜上、「トップビュー画像（表示）」ともいう。

上記の従来技術に関連する技術としては、例えば、特許文献１に記載されるように、人工衛星等から地表を撮影して得られた画像等に含まれるビル等の建物の比較的大きい陰影部の画像のコントラストを改善して当該陰影部の画像を見やすい画像に処理するようにしたものがある。
特開２００５−２０２８０７号公報

上述したように従来の技術では、駐車支援を図るためにトップビュー画像を運転者に提供するようにした機能が提案されているが、その場合、画面に映し出されたトップビュー画像を見て車両周辺の状況を容易に確認できれば特に問題は生じない。

しかしながら、太陽の光によって車両近傍に影が生じると、視点変換した画像ではその影の部分が黒くなってしまい、その部分に存在するものが確認できなくなるといった不都合が生じる。

図５（ｂ）はその場合のトップビュー画像の一例を示したものである。図示の例では、トップビュー画像３０ａ内の車両周辺の画像３１ａにおいて車両（自車画像３２）の右側後方に影（画像）３１ｂが生じ、この影３１ｂの部分に障害物ＯＢが含まれている場合の表示例を示している。このように車両近傍に影が生じていると、車両周辺画像３１ａの一部に影の部分３１ｂが黒く映し出されるため、トップビュー画像３０ａを一見しただけでは車両周辺の状況を確認するのが困難であり、特に、その影の部分３１ｂに障害物ＯＢが含まれていると、その障害物ＯＢが見えないので問題がある。

このように従来のトップビュー表示に係る技術では、車両近傍に影が生じていると、車両周辺の状況を容易に確認することができず、また、駐車の際に車両周辺に障害物等があった場合でもその存在を確認できない場合があり、安全性の面で問題があった。

本発明は、かかる従来技術における課題に鑑み創作されたもので、車両近傍に影が生じている場合でも車両周辺の状況を確認できるようにし、ひいては障害物等の存在の確認及び安全な駐車に寄与することができる車両周辺画像提供装置及び車両周辺画像における影補正方法を提供することを目的とする。

上述した従来技術の課題を解決するため、本発明の一形態によれば、画面を通して情報を提供する表示手段と、車両周辺の画像を取得可能に設置された撮像手段と、当該車両の画像のデータを予め格納すると共に、前記撮像手段により取得された画像のデータを逐次格納する記憶手段と、前記記憶手段に格納されているデータから当該車両の画像と車両周辺の画像を合成して前記表示手段の画面に表示させるよう制御する制御手段とを備え、前記制御手段は、前記撮像手段により取得された車両周辺の画像に当該車両の影が含まれている場合に、当該影の部分の画像の輝度を補正して影の無い画像に処理し、当該車両の画像と合成して前記表示手段に供給することを特徴とする車両周辺画像提供装置が提供される。

本発明に係る車両周辺画像提供装置によれば、制御手段により、撮像手段で取得された車両周辺の画像に当該車両の影が含まれていると判定された場合に、当該影の部分の画像の輝度を補正して影の無い画像に処理し、その処理された車両周辺画像を当該車両の画像と合成して表示手段の画面に表示させるよう制御している。

これによって、従来は画面上で確認できなかった車両周辺の「影の部分」を見ることができるので、車両の全周囲の状況を容易に確認することができる。その結果、駐車の際に車両周辺に障害物等があった場合でもその存在を画面上で確認できるので、安全に駐車させることができる。

また、本発明の他の形態によれば、車両の画像と車両周辺の画像を合成して表示手段の画面に表示する機能を備えた車両周辺画像提供装置において、撮像手段により取得した車両周辺の画像のデータを記憶手段に逐次格納する一方で、格納された車両周辺の画像に当該車両の影が含まれている場合に、当該影の部分の画像の輝度を補正して影の無い画像に処理し、該処理された車両周辺の画像に当該車両の画像を合成して前記表示手段に供給することを特徴とする車両周辺画像における影補正方法が提供される。

本発明に係る車両周辺画像提供装置等の他の構成上の特徴及びそれに基づく具体的な処理態様等については、後述する発明の実施の形態を参照しながら詳細に説明する。

以下、本発明の実施の形態について、添付の図面を参照しながら説明する。

＜第１の実施形態（図１〜図５参照）＞
図１は本発明の一実施形態に係る車両周辺画像提供装置の構成を概略的に示したものである。本実施形態では、本発明に係る車両周辺画像提供装置を車載用ナビゲーションシステムの一部として組み込んだ場合の構成例を示している。

本実施形態に係る車両周辺画像提供装置１０は、基本的には、パーキングエリアでの駐車や車庫入れ等の際に車両周辺の画像と自車画像を合成（トップビュー画像を生成）して運転者に提供するものであり、本発明に関連する処理としては、後述するように視点変換後の車両周辺画像における影が生じている部分（画像）の輝度を補正して影の無い画像に処理し（影補正処理）、自車画像と合成して画面に表示するものである。

本実施形態の車両周辺画像提供装置１０は、図示のように４台の車載カメラ１１ａ，１１ｂ，１１ｃ及び１１ｄと、各車載カメラ１１ａ〜１１ｄで取得されたアナログの画像データをデジタルデータに変換するコンバータ（Ａ／Ｄ）１２と、撮影画像メモリ１３と、視点変換部１４と、本発明の特徴をなす影補正処理を行う輝度補正部１５と、周辺画像生成部１６と、車両画像メモリ１７と、画像合成部１８と、ディスプレイ装置１９と、制御部２０と、操作部２１とを備えている。

各車載カメラ１１ａ，１１ｂ，１１ｃ及び１１ｄは、それぞれ自車両の前方、後方、左方及び右方の画像を継続的に取得するためのものであり、自車両外部の適当な箇所に設置されている。図２はその設置例を模式的に示したものであり、図示のように前方カメラ１１ａは車両の前部に、後方カメラ１１ｂは車両の後部に、左方カメラ１１ｃ及び右方カメラ１１ｄはそれぞれ車両の左側部及び右側部（図示の例では、ドアミラーの下部）にそれぞれ設置されている。また、各車載カメラ１１ａ〜１１ｄは、各々のレンズが若干下方を向くように位置決めされ、図中破線で示すように広角範囲（理想的には１８０°の撮像範囲）で画像を取得できるように設置されている。つまり、各車載カメラ１１ａ〜１１ｄが協働して自車両の全周囲（車両周辺）を撮影できるように配置されている。また、各車載カメラ１１ａ〜１１ｄのうち少なくとも一つの車載カメラは、車両の一部（車体）の画像を取得できるように設置されている。図示の例では、左方カメラ１１ｃ又は右方カメラ１１ｄにより車体を撮影することができる。各車載カメラ１１ａ〜１１ｄは光学撮像系を内蔵しており、この光学撮像系には、特に図示はしないが当業者には周知の一般的な光学部材、例えば、外部からの光を透過させるレンズ、このレンズを通して入射された光から映像（電気信号）を検出するための撮像素子（この第１の実施形態では、ＣＣＤイメージセンサ）、レンズと撮像素子の間に介在された赤外線カットフィルタ等が含まれている。

撮影画像メモリ１３は、その記憶媒体として、例えばＨＤＤを使用している。この撮影画像メモリ１３（ＨＤＤ内の一部の記憶領域）には、制御部２０からの制御に基づき、各車載カメラ１１ａ〜１１ｄで継続的に撮影して得られた車両周辺の画像のＡ／Ｄ変換後のデータが所定のタイミングで逐次格納されるようになっている。このようにして格納された車両周辺の画像のデータは、各タイミング毎に一定時間保存される。この一定時間は、後述するようにトップビュー画像を表示する際に車両周辺画像における影が生じている部分（画像）の輝度をその周囲の画像（輝度情報）によって補正できるタイミングとなるまでに要する時間に設定されている。なお、車載用のＨＤＤの記憶容量には限りがあり、今までに取得した撮影画像データを全て保存しておくことはできないため、ＨＤＤを効率的に運用する観点から、ＨＤＤ内の該当する記憶領域に撮影画像データを順次上書きしながら格納する。

視点変換部１４は、各車載カメラ１１ａ〜１１ｄで撮影された各方向（車両の前方、後方、左方及び右方）の画像の視点をそれぞれ自車両の上方からの視点に変換した画像（俯瞰画像）を生成するものである。

輝度補正部１５は、後述するように制御部２０からの制御に基づき、視点変換後の各方向の画像のいずれかに当該車両の影が含まれている場合に、その影の部分（画像）の輝度を補正して影の無い画像に処理（影補正処理）するものである。その処理方法としては、例えば、その影が生じている部分の周囲の画像から輝度情報を取得してその輝度平均値を求め、その求めた輝度情報（画像）に基づいて当該影の部分の輝度を補正する。

周辺画像生成部１６は、制御部２０からの制御に基づき、視点変換部１４の出力である視点変換後の各方向（車両の前方、後方、左方及び右方）の画像に対し必要に応じて輝度補正部１５により影補正処理が施された後の各方向の画像を合成して、車両周辺の画像を生成するものである。

車両画像メモリ１７は、撮影画像メモリ１３と同様に、その記憶媒体としてＨＤＤを使用している。この車両画像メモリ１７（ＨＤＤ内の別の記憶領域）には、予め準備された自車両の画像（自車画像）のデータが格納されている。この自車画像は、必要に応じて、後述するように制御部２０からの制御に基づき画像合成部１８において、少なくとも一つの車載カメラ（例えば、左方カメラ１１ｃ）で撮影された自車両の一部（車体）の画像から抽出された車体色に修正される。

画像合成部１８は、制御部２０からの制御に基づいて、周辺画像生成部１６で生成された車両周辺の画像（俯瞰画像）に、車両画像メモリ１７に予め記憶させておいた自車画像を合成する（トップビュー画像の生成）。その際、必要に応じて、少なくとも一つの車載カメラで撮影された自車両の一部（車体）の画像から車体色の情報を抽出し、自車画像の色をその抽出した車体色に修正するための画像処理を行い、その画像処理後の自車画像を車両周辺の画像に合成するようにしてもよい。

ディスプレイ装置１９は、例えば、ＬＣＤ（液晶ディスプレイ）等からなり、運転席から表示画面を見ることができるように車室内のセンターコンソールのほぼ中間位置に設置されている。このディスプレイ装置１９の表示画面には、画像合成部１８で合成された画像（トップビュー画像）が表示され、特に本発明に関連する情報として、輝度補正部１５による影補正処理が施された後のトップビュー画像が表示される。さらにこの表示画面には、ナビゲーションに係る案内情報（自車の現在位置の周囲の地図、出発地から目的地までの誘導経路、自車の現在位置を示すマーク等）も表示される。

制御部２０は、例えば、マイクロコンピュータ等により構成され、後述するように車両周辺画像における影の部分の輝度補正及びそれに基づくトップビュー画像の表示に係る処理を制御する機能を有している。また、このトップビュー表示機能を「オン」させるためのトリガとして、制御部２０には車両状態検知信号が入力されている。例えば、シフト位置検出センサから出力されるシフト位置信号や、自立航法センサ（ジャイロ等の角度センサや距離センサ等）から出力される車速信号やヨーレイト(yaw-rate)信号、エンジン起動／停止信号などが含まれる。さらに制御部２０は、ナビゲーションに係る種々の処理（ＧＰＳ受信機の出力から自車の現在位置を検出したり、自立航法センサの出力から自車の方位や走行速度を検出したり、地図データベースを参照して設定された探索条件で自車の現在位置から目的地までの誘導経路を探索するなど）を制御する機能も有している。

操作部２１は、ユーザが指示した情報を入力するためのものであり、例えば、リモコン送信機の形態を有しており、特に図示はしないが、ディスプレイ装置１９の画面上の各種メニュー、各種項目等を選択したり、選択したメニュー等を実行させるための各種操作ボタン、ジョイスティックなどを備えている。この操作部２１は、本発明に関連する入力指示として、ディスプレイ装置１９の画面に「トップビュー表示」を行わせるための入力指示を与える。

以上のように構成された本実施形態の車両周辺画像提供装置１０において、各車載カメラ１１ａ〜１１ｄは「撮像手段」に、撮影画像メモリ１３及び車両画像メモリ１７は「記憶手段」に、ディスプレイ装置１９は「表示手段」に、制御部２０は視点変換部１４、輝度補正部１５、周辺画像生成部１６及び画像合成部１８と協働して「制御手段」に、それぞれ対応している。

以下、本実施形態に係る車両周辺画像提供装置１０において行う車両周辺画像における影の部分の輝度補正及びそれに基づくトップビュー画像の表示に係る処理について、その一例を示す図３を参照しながら説明する。併せて、図４及び図５も参照しながら補足説明する。

先ず初期状態として、本装置１０を搭載した車両は、ナビゲーションシステムによる経路誘導機能に基づいて設定された目的地（この場合、駐車場）に到着し、その駐車場内で適当な空きスペースを見つけてその場所に駐車すべく、車両を後ろ向き（バック）に移動させようとしている状態にあるものとする。

このように車両を後ろ向き（バック）で駐車しようとしている状態で、最初のステップＳ１では、制御部２０により、車両状態検知信号（この場合、シフト位置検出センサから出力される、シフト位置が「バック」の位置にあることを指示するシフト位置信号）に基づいてトップビュー表示機能を「オン」する。これにより、各車載カメラ１１ａ〜１１ｄは起動し、それぞれ自車両の前方、後方、左方及び右方の撮像（図２参照）を開始する。本実施形態では、車両状態検知信号をトリガとして使用しているが、これに代えて、操作部２１からのユーザ指示に基づいてトップビュー表示機能を「オン」させてもよい。

次のステップＳ２では、制御部２０からの制御に基づき、各車載カメラ１１ａ〜１１ｄで撮影して得られた車両周辺の画像のＡ／Ｄ変換後のデータを撮影画像メモリ１３に逐次格納する。このようにして格納された画像データは、制御部２０により、後述するようにトップビュー画像を表示する際に車両周辺画像における影が生じている部分（画像）の輝度をその周囲の画像（輝度情報）によって補正できるタイミングとなるまでに要する時間が経過するまでの間、保存される。

次のステップＳ３では、制御部２０において、撮影画像メモリ１３に所定のタイミングで格納された車両周辺の画像に「スミア」が発生している（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ４に進み、判定結果がＮＯの場合にはステップＳ６に進む。

ここでいう「スミア」とは、撮影しようとした画像の中に太陽や電灯などの強い光源からの光が入ってしまったときに、その撮像画像の中に縦筋の白い帯状の部分が発生してしまう現象のことをいう。図４はその一例を示したものであり、図中、ＳＮで示す白く丸い部分が太陽（画像）であり、ＳＭで示す縦筋の白い帯状の部分が「スミア」である。この「スミア」は、本実施形態のように撮像素子にＣＣＤイメージセンサを用いたカメラに特有の現象であり、その原理上、撮像素子にＣＭＯＳイメージセンサを用いた場合には発生しない。

次のステップＳ４では（スミアが発生している場合）、制御部２０において、図４に例示したように撮像画像にスミアが発生する現象を利用して、太陽の位置を特定し、影の位置を算出する。例えば、前方カメラ１１ａにより太陽を含む画像を撮像した場合（図４参照）、太陽の中心（スミアが発生している部分）の画像上の座標を（ｘ，ｙ）、当該カメラのレンズ中心位置から太陽を見た水平方向の方位角をθ１ 、太陽の高度（仰角）をθ２ とすると、θ１ ＝ａ１ ｘ、θ２ ＝ａ２ ｙとして、太陽の位置を特定することができる。ここに、ａ１ 、ａ２ は当該カメラのレンズに固有の定数を表している。太陽の位置が特定されると、車両の形状によって影の形は変わるが、影がどのように発生するか、すなわち、影の位置は算出することができる。

次のステップＳ５では、制御部２０からの制御に基づき輝度補正部１５において、視点変換部１４を通して視点変換された各方向（車両の前方、後方、左方及び右方）の画像に対し、前のステップで算出した影の位置に対応する当該画像上の部分の輝度を補正して影の無い画像に処理する（影補正処理）。例えば、その影が生じている部分の周囲の画像から輝度情報を取得してその輝度平均値を求め、その求めた輝度情報（画像）に基づいて当該影の部分の輝度を補正する。

次のステップＳ６では、トップビュー画像（周辺画像＋自車画像）を生成して画面に表示する。すなわち、制御部２０からの制御に基づき周辺画像生成部１６において、視点変換部１４の出力である視点変換後の各方向（前方、後方、左方及び右方）の画像に対して輝度補正部１５により影補正処理が施された後の各方向の画像を合成して、車両周辺の画像を生成する。さらに、制御部２０からの制御に基づき画像合成部１８において、周辺画像生成部１６で生成された車両周辺の画像に、車両画像メモリ１７に予め記憶させておいた自車画像を合成し（トップビュー画像の生成）、さらに画像合成部１８を介してディスプレイ装置１９の画面に、そのトップビュー画像を表示する。

次のステップＳ７では、制御部２０において、車両状態検知信号（この場合、エンジン停止信号）に基づいてエンジンが停止した（ＹＥＳ）か否（ＮＯ）か、つまり、駐車を完了したか否かを判定する。判定結果がＹＥＳの場合には本処理フローは「終了」となり、判定結果がＮＯの場合にはステップＳ２に戻って上記の処理を繰り返す。

一方、ステップＳ３において判定結果がＮＯの場合（スミアが発生していない場合）には、制御部２０では、撮影画像メモリ１３に所定のタイミングで格納された車両周辺の画像に影が含まれていないものと判断し、ステップＳ６に進んで上記のトップビュー画像の生成及びその表示を行う。

以上説明したように、本実施形態に係る車両周辺画像提供装置１０によれば、ＣＣＤイメージセンサを使用した車載カメラ１１ａ〜１１ｄで撮像された画像に「スミア」が発生する現象（図４）を利用して太陽の位置を特定し、その太陽の位置から影の位置を算出して、その影の位置に対応する当該画像上の部分の輝度を補正して影の無い画像に処理（影補正処理）した後、自車画像と合成してディスプレイ装置１９の画面に表示するようにしている。

これにより、従来は画面上で確認できなかった車両周辺の「影の部分」に相当する画像を見ることができるので、駐車の際に車両の全周囲の状況を確認することができる。従って、図５（ａ）に例示するように車両右側後方に障害物ＯＢがあった場合でもその存在を画面上のトップビュー画像３０（車両周辺の画像３１、自車画像３２）で確認することができるので、運転者は、その障害物ＯＢを回避するようにして車両を白線内（駐車スペース内）に安全に停めることができる。つまり、安心して駐車することができる。

＜第２の実施形態（図６参照）＞
上述した第１の実施形態に係る車両周辺画像提供装置１０（図１）では、各車載カメラ１１ａ〜１１ｄにＣＣＤイメージセンサを使用したときにその撮像画像に「スミア」が発生する現象（図４）を利用して太陽の位置を特定する場合を例にとって説明したが、太陽の位置を特定する手段がこれに限定されないことはもちろんである。例えば、日本全国各地における所定の期間（３箇月、６箇月、１年など）の太陽の位置（方位及び高度）に関する情報をあらかじめデータベースとして用意しておき、このデータベースに基づいて太陽の位置を特定するようにしてもよい。図６はその場合の実施形態に係る車両周辺画像提供装置の構成を示したものである。

この第２の実施形態に係る車両周辺画像提供装置１０ａ（図６）は、第１の実施形態に係る車両周辺画像提供装置１０（図１）と比べて、制御部２０の代わりに、時刻を算出するタイマ機能を内蔵した制御部２０ａを設けた点、ＧＰＳ衛星から送られてくるＧＰＳ信号を受信して自車の現在位置の経度及び緯度を検出するＧＰＳ受信機２２を設けた点、あらかじめ日本全国各地における所定の期間（例えば、１年間）の太陽の位置（方位及び高度）に関する情報を登録した太陽位置データベース２３を備えている点で相違する。他の構成及びその機能については、第１の実施形態の場合と同じであるのでその説明は省略する。

また、この第２の実施形態に係る車両周辺画像提供装置１０ａにおいて行う車両周辺画像における影の部分の輝度補正及びそれに基づくトップビュー画像の表示に係る処理についても、基本的に第１の実施形態に係る処理（図３）と同じであるのでその説明は省略する。ただし、この第２の実施形態では、図３においてステップＳ３及びＳ４で行う処理の代わりに、制御部２０ａにおいて、内蔵のタイマにより算出した時刻とＧＰＳ受信機２２の出力から算出した自車の現在位置とに基づき、太陽位置データベース２３の内容を参照することで、太陽の位置を特定し、影の位置を算出する。この後の処理（ステップＳ５以降）については上述した通りである。

この第２の実施形態に係る車両周辺画像提供装置１０ａにおいても、上述した第１の実施形態に係る車両周辺画像提供装置１０において得られた効果と同様の効果を得ることができる。さらに本実施形態では、ＣＣＤイメージセンサを使用した場合に発生する特有の現象（スミア）を利用する必要がないので、車載カメラ１１ａ〜１１ｄの撮像素子としてＣＣＤイメージセンサ以外にも、ＣＭＯＳイメージセンサを使用することができる。

＜第３の実施形態（図７参照）＞
上述した第２の実施形態に係る車両周辺画像提供装置１０ａ（図６）では、あらかじめ太陽位置に関する情報を登録したデータベース２３を車両に搭載しておく場合を例にとって説明したが、かかるデータベースを車両側に用意する代わりに、インターネット等の外部ネットワークから取得するようにしてもよい。図７はその場合の実施形態に係る車両周辺画像提供装置の構成を示したものである。

この第３の実施形態に係る車両周辺画像提供装置１０ｂ（図７）は、第２の実施形態に係る車両周辺画像提供装置１０ａ（図６）と比べて、同様に時刻を算出するタイマ機能を内蔵した制御部２０ｂを設けた点、太陽位置データベース２３を省略した点、太陽位置に関する情報を保有している外部の情報センタ等と通信するための携帯電話機や車載電話機等の通信機２４を設けた点で相違する。他の構成及びその機能については、第２の実施形態の場合と同じであるのでその説明は省略する。

また、この第３の実施形態に係る車両周辺画像提供装置１０ｂにおいて行う車両周辺画像における影の部分の輝度補正及びそれに基づくトップビュー画像の表示に係る処理については、基本的に第１の実施形態に係る処理（図３）と同じであるのでその説明は省略する。ただし、この第３の実施形態では、図３においてステップＳ３及びＳ４で行う処理の代わりに、制御部２０ｂにおいて、内蔵のタイマにより算出した時刻とＧＰＳ受信機２２の出力から算出した自車の現在位置とに基づき、通信機２４を介して外部から取得した太陽の位置に関する情報を参照することで、影の位置を算出する。この後の処理（ステップＳ５以降）については上述した通りである。

この第３の実施形態に係る車両周辺画像提供装置１０ｂにおいても、上述した第１の実施形態に係る車両周辺画像提供装置１０において得られた効果と同様の効果を得ることができる。さらに本実施形態では、第２の実施形態のように太陽の位置に関する情報（太陽位置データベース２３）を車両側で保有する必要がないので、車載メモリの容量を小さく抑えることができる。

上述した各実施形態（図１、図６、図７）では、車両周辺画像提供装置１０，１０ａ，１０ｂを搭載する車両にナビゲーションシステムも搭載され、このナビゲーションシステムの一部として組み込んだ場合を例にとって説明したが、本発明の要旨からも明らかなように、必ずしもナビゲーションシステムを搭載した車両に搭載される必要がないことはもちろんである。要は、上述したようにトップビュー表示機能と太陽の位置を特定する手段を備えていれば十分であり、本発明は、かかる機能と手段を備えた装置であれば同様に適用することが可能である。

また、上述した第１の実施形態（図１）では、車載カメラ１１ａ〜１１ｄにおける撮像画像に「スミア」を発生させる要因として太陽からの光入射を例にとって説明したが、その撮像素子として使用するＣＣＤイメージセンサの動作原理上、強い光を照射する光源であれば同様に「スミア」は発生し、必ずしも太陽光に限定されない。例えば、高輝度の電灯が車両周辺にあれば、仮に太陽が照っていない曇天などの状況下でも、その電灯からの強い光に起因して「スミア」は発生する。第１の実施形態は、このような場合にも同様に適用することが可能である。

本発明の第１の実施形態に係る車両周辺画像提供装置の構成を示すブロック図である。 図１の装置における各車載カメラの設置例を模式的に示す図である。 図１の装置において行う車両周辺画像における影の部分の輝度補正及びそれに基づくトップビュー画像の表示に係る処理の一例を示すフロー図である。 図３においてステップＳ３、Ｓ４で行う処理を説明するための図である。 影の部分の輝度補正を行った場合（本実施形態）と行っていない場合（従来例）のトップビュー画像の提供に係る画面表示例を概略的に示す図である。 本発明の第２の実施形態に係る車両周辺画像提供装置の構成を示すブロック図である。 本発明の第３の実施形態に係る車両周辺画像提供装置の構成を示すブロック図である。

符号の説明

１０，１０ａ，１０ｂ…車両周辺画像提供装置、
１１ａ，１１ｂ，１１ｃ，１１ｄ…車載カメラ（撮像手段）、
１３…撮影画像メモリ（記憶手段）、
１４…視点変換部（制御手段）、
１５…輝度補正部（制御手段）、
１６…周辺画像生成部（制御手段）、
１７…車両画像メモリ（記憶手段）、
１８…画像合成部（制御手段）、
１９…ディスプレイ装置（表示手段）、
２０，２０ａ，２０ｂ…制御部（制御手段）、
２１…操作部、
２２…ＧＰＳ受信機（車両位置検出手段）、
２３…太陽位置データベース、
２４…通信機（通信手段）、
３０，３０ａ…トップビュー画像、
３１，３１ａ…車両周辺の画像、
３１ｂ…影が生じている部分（画像）、
３２…車両の画像、
ＯＢ…障害物（画像）、
ＳＭ…スミア、
ＳＮ…太陽（画像）。

Claims (14)

1. 画面を通して情報を提供する表示手段と、
   車両周辺の画像を取得可能に設置された撮像手段と、
   当該車両の画像のデータを予め格納すると共に、前記撮像手段により取得された画像のデータを逐次格納する記憶手段と、
   前記記憶手段に格納されているデータから当該車両の画像と車両周辺の画像を合成して前記表示手段の画面に表示させるよう制御する制御手段とを備え、
   前記制御手段は、前記撮像手段により取得された車両周辺の画像に当該車両の影が含まれている場合に、当該影の部分の画像の輝度を補正して影の無い画像に処理し、当該車両の画像と合成して前記表示手段に供給することを特徴とする車両周辺画像提供装置。
2. 前記撮像手段は、撮像素子としてＣＣＤイメージセンサを有し、
   前記制御手段は、前記ＣＣＤイメージセンサにより撮像された車両周辺の画像にスミアが発生していることを検知したときに、当該スミアの画像上の位置から光源の位置を特定して当該車両の影の位置を算出することを特徴とする請求項１に記載の車両周辺画像提供装置。
3. 前記制御手段は、前記撮像手段により取得された車両周辺の画像に当該車両の影が含まれている場合に、当該影の部分の周囲の画像から輝度情報を取得して当該画像の輝度平均値を算出し、該算出した輝度平均値に基づいて当該影の部分の画像の輝度を補正することを特徴とする請求項１に記載の車両周辺画像提供装置。
4. 画面を通して情報を提供する表示手段と、
   車両周辺の画像を取得可能に設置された撮像手段と、
   当該車両の画像のデータを予め格納すると共に、前記撮像手段により取得された画像のデータを逐次格納する記憶手段と、
   車両の現在位置を検出する車両位置検出手段と、
   あらかじめ日本全国各地における所定の期間の太陽の位置に関する情報を登録したデータベースと、
   時刻を算出する手段を有し、前記記憶手段に格納されているデータから当該車両の画像と車両周辺の画像を合成して前記表示手段の画面に表示させるよう制御する制御手段とを備え、
   前記制御手段は、算出された時刻と検出された車両の現在位置と前記データベースの内容とに基づき、太陽の位置を特定して当該車両の影の位置を算出し、前記撮像手段により取得された車両周辺の画像上の、前記算出された影の位置に対応する部分の画像の輝度を補正して影の無い画像に処理し、当該車両の画像と合成して前記表示手段に供給することを特徴とする車両周辺画像提供装置。
5. 画面を通して情報を提供する表示手段と、
   車両周辺の画像を取得可能に設置された撮像手段と、
   当該車両の画像のデータを予め格納すると共に、前記撮像手段により取得された画像のデータを逐次格納する記憶手段と、
   車両の現在位置を検出する車両位置検出手段と、
   外部と通信するための通信手段と、
   時刻を算出する手段を有し、前記記憶手段に格納されているデータから当該車両の画像と車両周辺の画像を合成して前記表示手段の画面に表示させるよう制御する制御手段とを備え、
   前記制御手段は、算出された時刻と検出された車両の現在位置と前記通信手段を介して外部から取得した太陽の位置に関する情報とに基づき、太陽の位置を特定して当該車両の影の位置を算出し、前記撮像手段により取得された車両周辺の画像上の、前記算出された影の位置に対応する部分の画像の輝度を補正して影の無い画像に処理し、当該車両の画像と合成して前記表示手段に供給することを特徴とする車両周辺画像提供装置。
6. 前記制御手段は、前記太陽の位置を特定して当該車両の影の位置を算出したときに、前記撮像手段により取得された車両周辺の画像上の、前記算出された影の位置に対応する部分の周囲の画像から輝度情報を取得して当該画像の輝度平均値を算出し、該算出した輝度平均値に基づいて当該影の位置に対応する部分の画像の輝度を補正することを特徴とする請求項４又は請求項５に記載の車両周辺画像提供装置。
7. 前記撮像手段は、当該車両の前方、後方、左方及び右方をそれぞれ撮影する車載カメラであり、各車載カメラは、レンズを下方に向けて広角範囲で画像を取得可能に、かつ、協働して当該車両の全周囲を撮影可能に配置されていることを特徴とする請求項１から６のいずれか一項に記載の車両周辺画像提供装置。
8. 前記制御手段は、前記各車載カメラで撮影された各方向の画像の視点をそれぞれ当該車両の上方からの視点に変換し、視点変換後の画像を合成して当該車両周辺の画像を生成することを特徴とする請求項７に記載の車両周辺画像提供装置。
9. 車両の画像と車両周辺の画像を合成して表示手段の画面に表示する機能を備えた車両周辺画像提供装置において、
   撮像手段により取得した車両周辺の画像のデータを記憶手段に逐次格納する一方で、
   格納された車両周辺の画像に当該車両の影が含まれている場合に、当該影の部分の画像の輝度を補正して影の無い画像に処理し、
   該処理された車両周辺の画像に当該車両の画像を合成して前記表示手段に供給することを特徴とする車両周辺画像における影補正方法。
10. 前記撮像手段に内蔵されたＣＣＤイメージセンサにより撮像した車両周辺の画像にスミアが発生していることを検知したときに、当該スミアの画像上の位置から光源の位置を特定して当該車両の影の位置を算出することを特徴とする請求項９に記載の車両周辺画像における影補正方法。
11. 前記記憶手段に格納された車両周辺の画像に当該車両の影が含まれている場合に、当該影の部分の周囲の画像から輝度情報を取得して当該画像の輝度平均値を算出し、該算出した輝度平均値に基づいて当該影の部分の画像の輝度を補正することを特徴とする請求項９に記載の車両周辺画像における影補正方法。
12. 車両の画像と車両周辺の画像を合成して表示手段の画面に表示する機能を備えた車両周辺画像提供装置において、
    あらかじめ日本全国各地における所定の期間の太陽の位置に関する情報をデータベースに登録しておき、
    撮像手段により取得した車両周辺の画像のデータを記憶手段に逐次格納する一方で、
    算出した時刻と検出した車両の現在位置と前記データベースの内容とに基づき、太陽の位置を特定して当該車両の影の位置を算出し、
    前記記憶手段に格納された車両周辺の画像上の、前記算出された影の位置に対応する部分の画像の輝度を補正して影の無い画像に処理し、
    該処理された車両周辺の画像に当該車両の画像を合成して前記表示手段に供給することを特徴とする車両周辺画像における影補正方法。
13. 車両の画像と車両周辺の画像を合成して表示手段の画面に表示する機能を備えた車両周辺画像提供装置において、
    撮像手段により取得した車両周辺の画像のデータを記憶手段に逐次格納する一方で、
    算出した時刻と検出した車両の現在位置と通信手段を介して外部から取得した太陽の位置に関する情報とに基づき、太陽の位置を特定して当該車両の影の位置を算出し、
    前記記憶手段に格納された車両周辺の画像上の、前記算出された影の位置に対応する部分の画像の輝度を補正して影の無い画像に処理し、
    該処理された車両周辺の画像に当該車両の画像を合成して前記表示手段に供給することを特徴とする車両周辺画像における影補正方法。
14. 前記撮像手段を構成する複数の車載カメラで撮影された当該車両の前方、後方、左方及び右方の画像の視点をそれぞれ当該車両の上方からの視点に変換し、視点変換後の画像を合成して当該車両周辺の画像を生成することを特徴とする請求項９から１３のいずれか一項に記載の車両周辺画像における影補正方法。

Images