JP2016091250A - 車両周辺画像表示装置、車両周辺画像表示方法 - Google Patents

Abstract

【課題】履歴画像を用いて車両周辺の俯瞰画像を表示する技術において、異物の検出にかかる処理負担を軽減しつつ、異物が除去された履歴画像を切り出す。【解決手段】車載カメラによって得られた撮影画像を視線変換することによって撮影俯瞰画像を生成する。そして、車両の移動量に関する移動情報を取得して、車両が現在の位置に達する前に生成された撮影俯瞰画像の中から、車両の死角領域を撮影した部分の画像である履歴画像を切り出して、撮影俯瞰画像と共に表示画面上に表示する。また、撮影俯瞰画像中の履歴画像として切り出す部分から、車載カメラに付着した異物を検出し、該異物が検出された場合には、該異物が除去された状態で履歴画像を切り出す。【選択図】図９

Description

本発明は、車載カメラを用いて車両の周辺領域を撮影した画像を、表示画面上に表示する技術に関する。

車両の前後左右に搭載した車載カメラで得られた撮影画像に対して、あたかも車両を上方から見たような画像に視線変換する処理を施して、得られた画像（俯瞰画像）を表示する技術が知られている。車両の運転者は俯瞰画像を確認することができれば、周囲に存在する障害物と自車両との位置関係や、路面に描かれた表示などと自車両との位置関係を、距離感も含めて容易に把握することが可能となる。

また、車両の左右には車載カメラを搭載しないにも拘わらず、車両の前後左右方向の周辺領域の俯瞰画像を表示する技術も提案されている。この技術では、車両の左右方向の周辺領域については車載カメラで直接画像を撮影することはできないが、車両の前後に搭載した車載カメラの画像から、次のような原理で左右方向の俯瞰画像を生成する。

先ず、車両の前方の車載カメラによって得られた撮影画像には、車両の正面の領域だけでなく、その両側に斜め前方の領域も写っている。そして、この斜め前方の領域は、車両が前進することによって、やがては車両の左右方向の領域となる。このことから、俯瞰画像を記憶しておき、車両の移動量に応じて、記憶しておいた俯瞰画像の中から車両の左右方向の領域に対応する画像を切り出して表示すれば、車両の左右方向も含めて周辺領域の俯瞰画像を表示することができる。

もちろん、上述した内容は、車両が後進している場合にも全く同様に当て嵌まる。従って、車両の後進時にも、車両の前後左右方向の俯瞰画像を表示することができる。尚、車両の左右方向に表示される俯瞰画像は、実際には少し前に撮影されていた過去の俯瞰画像である。このため、過去の俯瞰画像から切り出されて車両の左右方向に表示される画像は「履歴画像」と呼ばれる。

このような履歴画像を表示する技術において、車載カメラのレンズや該レンズを覆うカバーなどに水滴や泥等の異物が付着すると、撮影画像だけでなく履歴画像にも異物が写り込むことがある。このため、複数の履歴画像を並べることによって俯瞰画像を表示する場合は、複数の履歴画像に跨がって異物が写り込んでしまい、車両の周辺領域を適切に表示できなくなってしまう。そこで、撮影画像に写り込んだ異物を検出し、検出した異物を履歴画像から除去する技術が提案されている。（特許文献１）。

国際公開第２００９／０５７４１０号

しかし、上述した技術において車載カメラに付着した異物を検出するには、撮影画像の画像領域全体から異物を検出する必要があるので、処理負担が大きくなってしまうという問題があった。

この発明は、従来技術が有する上述した課題に鑑みてなされたものであり、履歴画像を用いて車両周辺の俯瞰画像を表示する技術において、異物の検出にかかる処理負担を軽減しつつ、異物が除去された履歴画像を切り出す技術の提供を目的とする。

上述した課題を解決するために本発明の車両周辺画像表示装置および車両周辺画像表示方法は、車車載カメラによって得られた撮影画像を視線変換することによって撮影俯瞰画像を生成する。そして、車両の移動量に関する移動情報を取得して、車両が現在の位置に達する前に生成された撮影俯瞰画像の中から、車両の死角領域を撮影した部分の画像である履歴画像を切り出して、撮影俯瞰画像と共に表示画面上に表示する。また、撮影俯瞰画像中の履歴画像として切り出す部分から、車載カメラに付着した異物を検出し、該異物が検出された場合には、該異物が除去された状態で履歴画像を切り出す。

こうすれば、撮影俯瞰画像の画像領域全体から異物を検出するのではなく、履歴画像として切り出す部分に限定して異物を検出し、異物が検出されれば該異物を除去して履歴画像を切り出す。このため、異物の検出にかかる処理負担を軽減しつつ、異物が除去された履歴画像を切り出すことができる。

本実施例の画像表示装置１００を搭載した車両１を示す説明図である。 画像表示装置１００の大まかな内部構成を示す説明図である。 車両１の前方の領域を撮影して得られる撮影画像を示した説明図である。 撮影画像を俯瞰画像に変換する原理についての説明図である。 履歴画像を用いて車両１の周辺の俯瞰画像を表示する原理についての説明図である。 履歴画像を用いて車両１の周辺の俯瞰画像を表示する技術が車載カメラ１０Ｆ，１０Ｒに付着した異物の影響を受け易い理由についての説明図である。 第１実施例の俯瞰画像表示処理の前半部分のフローチャートである。 第１実施例の俯瞰画像表示処理の後半部分のフローチャートである。 第１実施例の異物探索処理のフローチャートである。 異物を探索する様子を概念的に示す説明図である。 第１実施例の異物除去処理のフローチャートである。 第１実施例の履歴画像から異物を除去する様子を概念的に示す説明図である。 第１実施例の撮影俯瞰画像から異物を除去する様子を示す説明図である。 第２実施例の履歴画像から異物を除去する様子を概念的に示す説明図である。 第２実施例の異物除去処理のフローチャートである。 第２実施例の撮影俯瞰画像から異物を除去する様子を示す説明図である。

以下では、上述した本願発明の内容を明確にするために実施例について説明する。
Ａ．装置構成 ：
図１には、画像表示装置１００を搭載した車両１が示されている。尚、本実施例では、画像表示装置１００が本発明における「車両周辺画像表示装置」に対応する。
図示されるように車両１は、車両１の前方に搭載された車載カメラ１０Ｆと、車両１の後方に搭載された車載カメラ１０Ｒと、車室内に搭載された表示画面１１と、画像表示装置１００などを備えている。尚、本実施例では、車両１の前方および後方にそれぞれ車載カメラ１０Ｆ，１０Ｒが搭載されているものとして説明するが、車載カメラ１０Ｆあるいは車載カメラ１０Ｒの何れか一方を搭載した車両１に対しても、本願発明を適用することができる。
画像表示装置１００は、車載カメラ１０Ｆ，１０Ｒで撮影した車両１の周辺の画像を受け取ると、その画像を、車両１の上方から撮影したような俯瞰画像に変換した後、得られた画像を表示画面１１に表示する。

また、車両１には、操舵ハンドル２の操舵角を検出する操舵角センサー１２や、車速を検出する車速センサー１３や、図示しない変速機のシフトポジションを検出するシフト位置センサー１４などが搭載されている。操舵角センサー１２や、車速センサー１３、シフト位置センサー１４の出力は画像表示装置１００に入力されており、画像表示装置１００は、これらの出力に基づいて車両１の移動情報（走行速度および移動方向など）を取得する。そして、画像表示装置１００は、車両１の移動情報と、車載カメラ１０Ｆ，１０Ｒによって得られた俯瞰画像とに基づいて、車載カメラ１０Ｆ，１０Ｒの死角になっている領域（車両１の左右方向の領域）についての俯瞰画像を生成して、表示画面１１に表示する。

図２には、本実施例の画像表示装置１００の大まかな内部構成が示されている。図示されるように本実施例の画像表示装置１００は、撮影画像取得部１０１と、撮影俯瞰画像生成部１０２と、画像表示部１０３と、移動情報取得部１０４と、異物検出部１０５と、異物除去部１０６と、撮影俯瞰画像記憶部１０７と、履歴画像切出部１０８とを備えている。
尚、これら８つの「部」は、画像表示装置１００が車両１の周辺の画像を表示画面１１に表示する機能に着目して、画像表示装置１００の内部を便宜的に分類した抽象的な概念であり、画像表示装置１００が物理的に８つの部分に区分されることを表すものではない。従って、これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。

撮影画像取得部１０１は、車載カメラ１０Ｆおよび車載カメラ１０Ｒに接続されており、車載カメラ１０Ｆから車両１の前方の領域を斜め上方から撮影した撮影画像を一定周期（約３０Ｈｚ）で取得する。また、車載カメラ１０Ｒからは、車両１の後方の領域を斜め上方から撮影した撮影画像を一定周期（約３０Ｈｚ）で取得する。そして、取得した撮影画像を、撮影俯瞰画像生成部１０２に出力する。
尚、本実施例では、撮影画像取得部１０１が本発明における「撮影画像取得手段」に対応する。

撮影俯瞰画像生成部１０２は、撮影画像取得部１０１から車載カメラ１０Ｆ，１０Ｒによる撮影画像を受け取って俯瞰画像を生成する。すなわち、車載カメラ１０Ｆによって得られる撮影画像は、車両１の前方の領域を斜め上方から撮影した画像であるが、この画像に対して後述する視線変換を施すことにより、車両１の上方から撮影したような俯瞰画像を生成する。同様に、車載カメラ１０Ｒによる撮影画像は、車両１の後方の領域を斜め上方から撮影した画像であるが、この画像を、車両１の上方から撮影したような俯瞰画像に変換する。車載カメラ１０Ｆ，１０Ｒによる撮影画像に視線変換を施して俯瞰画像を生成する方法については後述する。本実施例では、撮影俯瞰画像生成部１０２が本発明における「撮影俯瞰画像生成手段」に対応する。

尚、後述するように、本実施例の画像表示装置１００では、車両１の前後方向の領域だけでなく、車両１の左右方向の領域についても俯瞰画像を生成して、表示画面１１に表示することができる。ここで、車両１の前後方向に表示する俯瞰画像は、車載カメラ１０Ｆ，１０Ｒで撮影した現在の画像を視線変換した画像である。これに対し、車両１の左右方向に表示する俯瞰画像は、車両１の移動情報に基づいて、車両１の前後方向に表示した過去の俯瞰画像を合成した画像である。そこで以下では、車両１の前後方向に表示する俯瞰画像を、車両１の左右方向に表示する合成された俯瞰画像と区別するために「撮影俯瞰画像」と称することにする。また、単に「俯瞰画像」という時は、車両１の上方から見た画像を意味しており、従って、撮影俯瞰画像も、車両１の左右方向に表示する合成された俯瞰画像（後述の履歴画像）も、「俯瞰画像」に該当する。
撮影俯瞰画像生成部１０２は、生成した撮影俯瞰画像を、撮影俯瞰画像記憶部１０７と、画像表示部１０３とに出力する。

画像表示部１０３は、撮影俯瞰画像生成部１０２から車両１の前後の撮影俯瞰画像を受け取ると、表示画面１１上で車両１の前方および後方に存在する撮影領域に配置することによって、車両１の周辺領域の俯瞰画像を表示する。本実施例では、画像表示部１０３が本発明における「撮影俯瞰画像表示手段」に対応する。
尚、画像表示部１０３は、車両１の左右方向に存在する死角領域についても、後述する方法によって俯瞰画像を表示することが可能である。

撮影俯瞰画像記憶部１０７は、撮影俯瞰画像生成部１０２から供給された撮影俯瞰画像を記憶する。本実施例では、撮影俯瞰画像記憶部１０７が本発明における「撮影俯瞰画像記憶手段」に対応する。
移動情報取得部１０４は、操舵角センサー１２や、車速センサー１３や、シフト位置センサー１４に接続されている。移動情報取得部１０４は、これらセンサーの出力に基づいて、車両１の移動情報を取得する。ここで、車両１の移動情報とは、車両１が前進しているのか、後進しているのか、停車しているのかといった情報や、車両１が真っ直ぐ進んでいるのか、右旋回しているのか、左旋回しているのか、旋回している場合には旋回の大きさに関する情報や、車両１の走行速度に関する情報などである。本実施例では、移動情報取得部１０４が、本発明における「移動情報取得手段」に対応する。

履歴画像切出部１０８は、移動情報取得部１０４からの移動情報に基づいて、撮影俯瞰画像記憶部１０７に記憶されている撮影俯瞰画像の中から、車両１の左右の死角領域に対応する部分の画像（履歴画像）を切り出す。すなわち、現在の死角領域も、過去には撮影領域であったことがあるから、撮影俯瞰画像記憶部１０７に記憶されている撮影俯瞰画像の中には、現在の死角領域に対応する画像が含まれている。そこで、死角領域に対応する画像が、撮影俯瞰画像中のどの部分であるかを、車両１の移動情報に基づいて特定して、その部分の画像を履歴画像として切り出す。そして、切り出した履歴画像を、画像表示部１０３に出力する。

画像表示部１０３は、履歴画像切出部１０８から車両１の左右の履歴画像を受け取ると、表示画面１１上で対応する位置に配置することによって、車両１の死角領域の俯瞰画像を表示する。この結果、撮影俯瞰画像生成部１０２から受け取った撮影俯瞰画像と合わせて、車両１の全周に亘る周辺領域についての俯瞰画像を表示画面１１に表示することができる。尚、本実施例では、画像表示部１０３が本発明における「履歴画像表示手段」にも対応する。

異物検出部１０５は、撮影俯瞰画像記憶部１０７に記憶された撮影俯瞰画像の画像領域を探索することによって、車載カメラ１０Ｆ，１０Ｒに付着して撮影画像に写り込む泥や水滴等の異物を検出する。ここで、異物が撮影画像に写り込むと、撮影俯瞰画像にも異物が写り込んでしまい、ひいては、表示画面１１に表示される履歴画像（俯瞰画像）にも異物が写り込んでしまう。そこで、異物検出部１０５は、撮影画像に写り込む異物を検出する。尚、撮影俯瞰画像に代えて、撮影画像取得部１０１によって取得された撮影画像の画像領域を探索することによって、異物を検出することとしてもよい。
異物除去部１０６は、履歴画像切出部１０８から表示前の履歴画像を一旦受け取り、該履歴画像から異物を除去して、履歴画像切出部１０８に出力する（異物が除去された履歴画像を切り出す）。こうすることにより、車載カメラ１０Ｆ，１０Ｒに異物が付着して撮影画像に異物が写り込んでしまっても、異物が除去された履歴画像（俯瞰画像）を表示画面１１に表示することができる。以上のように、本実施例では、異物検出部１０５や、異物除去部１０６、履歴画像切出部１０８が協働して、異物が検出されなければ履歴画像をそのまま切りだし、異物が検出されれば異物が除去された履歴画像を切り出す。従って、異物検出部１０５、異物除去部１０６、履歴画像切出部１０８は本発明における「履歴画像切出手段」に対応している。

上述した本実施例の画像表示装置１００は、車両１の死角領域の俯瞰画像を表示するために履歴画像を用いていながらも、撮影画像（ひいては履歴画像）への異物の写り込みの影響を受けにくいという大きな特長を有している。以下では、その理由とともに、本実施例の画像表示装置１００が車両１の周辺の俯瞰画像を表示する方法について説明するが、その準備として、視線変換により撮影俯瞰画像を生成する方法と、履歴画像を用いて俯瞰画像を表示する方法とについて、概要を説明する。

Ｂ．履歴画像を用いて車両の周辺の俯瞰画像を表示する原理 ：
一例として、車両１の車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）で撮影した地面に、複数の目印が等間隔で格子状に描かれていた場合について考える。
図３（ａ）には、車両１の前方の地面に等間隔で格子状に描かれた複数の丸い目印を、車両１の上方から見た状態が示されている。図中で、車載カメラ１０Ｆから斜め方向に伸びる２本の一点鎖線は、車載カメラ１０Ｆの撮影領域と死角領域との境界を表している。また、丸い目印が太い実線で表示されているのは、その目印が車載カメラ１０Ｆの撮影領域内にあることを表しており、丸い目印が細い破線で表示されているのは、その目印が車載カメラ１０Ｆの死角領域内にあることを表している。車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）は、このような地面を斜め上方から撮影する。

図３（ｂ）には、車載カメラ１０Ｆで得られる撮影画像が示されている。撮影画像には、車載カメラ１０Ｆの撮影範囲内に存在する地面の目印が写っている。例えば、撮影画像上での目印ａは、図３（ａ）の地面上の目印Ａが写ったものであり、撮影画像上での目印ｂは、地面上の目印Ｂが写ったものである。同様に、撮影画像上での目印ｃおよび目印ｄは、地面上の目印Ｃおよび目印Ｄが写ったものである。
このように、車載カメラ１０Ｆの撮影範囲内の地面上の座標と、撮影画像上の座標との間には１対１の対応関係が存在する。従って、この対応関係を利用すれば、図３（ｂ）に例示した撮影画像を、図３（ａ）に例示したように車両１の上方から地面を見下ろしたような画像（俯瞰画像）に変換することができる。これが、車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）の撮影画像を視線変換して俯瞰画像を生成する際の考え方である。

このような視線変換を行うことにより、図４（ａ）に示した撮影画像は、図４（ｂ）に示すような俯瞰画像に変換される。こうして得られた俯瞰画像は、遠くの位置ほど左右方向に広がった画像となる。これは、車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）の撮影範囲が左右両側に広がっていることによる（図３（ａ）参照）。図４（ｂ）では、俯瞰画像中で左側に広がった領域を領域Ｌ、右側に広がった領域を領域Ｒと表示している。

図４（ｂ）に示した状態では、領域Ｌも領域Ｒも、車載カメラ１０Ｆの撮影領域内にある。しかし、車両１が前進すれば、領域Ｌは車両１の左方向の死角領域となり、領域Ｒは車両１の右方向の死角領域となる。
そこで、車載カメラ１０Ｆの撮影画像を視線変換して得られた俯瞰画像（撮影俯瞰画像）を記憶しておき、車両１の移動に伴って、過去の撮影俯瞰画像の中から、現在の死角領域に対応する部分の画像（履歴画像）を切り出して表示してやればよい。

図５には、車両１の移動に伴って死角領域に履歴画像が表示される様子が示されている。例えば、時刻Ｔａでは、車両１の前方および後方に撮影俯瞰画像が表示されているが、車両１の左右にはまだ履歴画像が表示されていないものとする。また、この撮影俯瞰画像は、単に車両１の撮影領域の俯瞰画像を表示するために用いられるだけでなく、その後に死角領域の俯瞰画像を表示するために記憶される。

次に、時刻Ｔｂで新たな画像が車載カメラ１０Ｆ，１０Ｒによって撮影されると、その撮影画像から新たな撮影俯瞰画像が生成されて、車両１の前方および後方に表示される。また、図中には、時刻Ｔａで記憶しておいた撮影俯瞰画像が斜線を付して表示されている。尚、図５では、異なる時刻で得られた撮影俯瞰画像の重なりを示すために、過去に得られた撮影俯瞰画像（斜線を付して表示された画像）については車両１の進行方向に対して右側に少しだけ位置をずらして表示している。
図示されているように、時刻Ｔａで得られた撮影俯瞰画像の一部は時刻Ｔｂで新たに得られた撮影俯瞰画像と重なっているが、重なっていない部分も存在する。この重なっていない部分が、時刻Ｔｂで車載カメラ１０Ｆの死角領域に入った部分（今回新たに死角領域となった部分）に該当する。そこで時刻Ｔｂでは、時刻Ｔａの撮影俯瞰画像の中から、時刻Ｔｂの撮影俯瞰画像に重なっていない部分の画像を履歴画像として切り出して、車両１の左右の死角領域に表示する。また、時刻Ｔｂの撮影俯瞰画像も、後ほど履歴画像を切り出すために記憶する。
尚、車載カメラ１０Ｆ，１０Ｒは、約３０Ｈｚの周期で画像を撮影するので、時刻Ｔａから時刻Ｔｂまでに車両１が移動する距離は短いが、図示が煩雑となることを避けるために、図５では、車両１の移動距離が実際よりも長く表示されている。従って、実際には、時刻Ｔａの撮影俯瞰画像の多くの部分が時刻Ｔｂの撮影俯瞰画像に重なっており、履歴画像として切り出されるのは、図示されているよりも小さな画像となる。

更に、時刻Ｔｃで新たな画像が車載カメラ１０Ｆ，１０Ｒによって撮影されると、その撮影画像から生成された撮影俯瞰画像が、車両１の前方および後方に表示される。また、図示されるように、時刻Ｔｃでは、時刻Ｔａおよび時刻Ｔｂの２つの撮影俯瞰画像が記憶されている。
時刻Ｔｂで死角領域に既に表示されている履歴画像は、時刻Ｔｂから時刻Ｔｃ間の車両１の移動に伴って、表示位置を車両１の進行方向と逆方向に移動（シフト）される。例えば、図示されるように車両１が前進している場合は、表示位置が車両１の後方向にシフトされる。また、車両１の移動に伴って新たに死角領域となった部分については、該当部分を履歴画像として撮影俯瞰画像から切り出す。ここでは、時刻Ｔａと時刻Ｔｂの複数の撮影俯瞰画像が存在するが何れにも死角領域となった部分が含まれるので、新しい方の時刻Ｔｂの撮影俯瞰画像から履歴画像を切り出す。そして、この履歴画像を、新たな死角領域に対応する位置に表示する。
また、時刻Ｔｃの撮影俯瞰画像も履歴画像を切り出すために記憶しておく。

以降、時刻Ｔｄ、時刻Ｔｅについても同様に、車載カメラ１０Ｆ，１０Ｒが新たな画像を撮影する度に、撮影俯瞰画像および履歴画像を表示する。すなわち、車両１の前後の撮影領域については、撮影画像を視線変換して得られた撮影俯瞰画像を表示する。そして、死角領域については、既に表示されている履歴画像をシフトして表示すると共に、新たな死角領域に対応する履歴画像を切り出して表示する。こうすることによって、車両１の周辺の全周に亘る俯瞰画像を表示することが可能となる。

もっとも、このようにして履歴画像を用いて俯瞰画像を表示する技術には、次のような問題があった。すなわち、車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）に異物が付着して撮影画像に異物が写り込んでしまうと、表示される俯瞰画像の画質が悪化するという弱点があった。
この理由について、図６を用いて説明する。例えば、時刻Ｔａで車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）に異物が付着して撮影画像に異物が写り込んだとする。撮影画像に異物が写り込むと、該撮影画像を視線変換した撮影俯瞰画像にも異物が写り込む。図中で時刻Ｔａの撮影俯瞰画像に塗りつぶした円形で示されているのは、撮影俯瞰画像に異物が写り込んでいることを表している。この例では、撮影俯瞰画像の画像領域のうち、時刻Ｔｂで履歴画像として切り出される領域に異物が写り込んでいる。従って、時刻Ｔｂでは、切り出された履歴画像にも異物が表示され、その後の時刻でも、該履歴画像がシフトされながら表示される限りは、異物が表示されたままとなる。

また、車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）に異物が一旦付着すると、しばらくは異物が付着したままになってしまうことが通常であり、このような場合は、その後に生成される撮影俯瞰画像にも異物が写り込んでしまう。例えば、図中では時刻Ｔｂ〜Ｔｄで生成される撮影俯瞰画像にも異物が写り込んでいる。従って、時刻Ｔｃ〜Ｔｅで新たに切り出される履歴画像にも異物が表示されることとなるので、図示されるように異物が連なって表示されてしまう。この結果、異物に隠されて車両１の周辺状況が表示されない範囲が広がってしまう。
そこで、このような事態を回避するために、本実施例の画像表示装置１００では、次のような方法で、車両１の周辺の俯瞰画像を表示する。

Ｃ．第１実施例の俯瞰画像表示処理 ：
図７および図８には、上述した第１実施例の俯瞰画像表示処理のフローチャートが示されている。この処理は、画像表示装置１００によって実行される。
図示されるように、第１実施例の俯瞰画像表示処理を開始すると、先ず始めに車載カメラ１０Ｆおよび車載カメラ１０Ｒから、車両１の前方および後方の撮影画像を取得する（Ｓ１０１）。
続いて、車両１の移動情報を取得する（Ｓ１０２）。ここで、車両１の移動情報とは、操舵角センサー１２や、車速センサー１３、シフト位置センサー１４などから取得された情報である。

次に、画像表示装置１００は、車載カメラ１０Ｆ，１０Ｒから得た撮影画像を視線変換することによって、車両１の前方および後方の撮影領域についての撮影俯瞰画像を生成する（Ｓ１０３）。
そして、表示画面１１上で車載カメラ１０Ｆおよび車載カメラ１０Ｒの撮影領域に対応するフレームメモリーに、前方および後方の撮影俯瞰画像を書き込む（Ｓ１０４）。ここで、フレームメモリーとは、表示画面１１に画像を表示するために用いられるメモリー領域である。表示画面１１に表示される画像は一旦、フレームメモリー上に生成された後、映像信号として出力されることによって、表示画面１１に表示される。フレームメモリー上の１つ１つのアドレス（例えば２４ビットのアドレス領域）は、表示画面１１上の１つ１つの画素と対応している。Ｓ１０４では、表示画面１１上で車載カメラ１０Ｆの撮影領域に対応するフレームメモリーの各アドレスには前方の撮影俯瞰画像を書き込み、車載カメラ１０Ｒの撮影領域に対応するフレームメモリーの各アドレスには後方の撮影俯瞰画像を書き込む。

続いて、得られた撮影俯瞰画像をメモリーに記憶する（Ｓ１０５）。撮影俯瞰画像は、車載カメラ１０Ｆ，１０Ｒが画像を撮影する度に生成されて記憶されるので、Ｓ１０５では、複数の撮影俯瞰画像間で、画像が記憶された（あるいは生成された）タイミングの前後関係を識別可能な状態で（たとえばタイムスタンプと共に）メモリーに記憶する。

こうして、履歴俯瞰画像をメモリーに記憶したら（Ｓ１０５）、異物探索処理を行う（Ｓ１０６）。異物探索処理では、メモリーに記憶された撮影俯瞰画像の画像領域を探索することによって、車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）に付着して撮影画像に写り込む異物を検出する。尚、異物探索処理については後に詳しく説明する。

続いて、車両１が前進中か否かを判断する（図８のＳ１０７）。車両１が前進中か否かは、Ｓ１０２で取得した移動情報に基づいて判断することができる。
その結果、車両１が前進中であった場合は（Ｓ１０７：ｙｅｓ）、車両１の前方に表示した過去の撮影俯瞰画像の中から最新の（１つ前の）撮影俯瞰画像を選択する。すなわち、この最新の撮影俯瞰画像は、直前まで撮影領域を撮影した画像であるので、今回新たに車両１の死角領域となった部分を写していた撮影俯瞰画像である。尚、過去の撮影俯瞰画像の中には最新の撮影俯瞰画像でなくても、新たに死角領域となった部分を写していた撮影画像が存在することもあるところ、現在の車両１の周辺状況により近い俯瞰画像（履歴画像）を表示するべく、最新の撮影俯瞰画像を選択する。
一方、車両１が後進中であった場合は（Ｓ１０７：ｎｏ）、車両１の後方に表示した過去の撮影俯瞰画像の中から、今回新たに死角領域となった部分を写していた過去の（最新の）撮影俯瞰画像を選択する（Ｓ１０９）。

続いて、Ｓ１０８またはＳ１０９で選択した撮影俯瞰画像の画像領域のうち、今回新たに死角領域となった部分に対応する画像領域（履歴画像）を切り出す（Ｓ１１０）。車両１の移動情報はＳ１０２で既に取得しているので、この移動情報に基づいて、過去の（最新の）撮影俯瞰画像の画像領域のうち、今回新たに死角領域となった部分に対応する画像領域（履歴画像）を決定することができる。この切り出された履歴画像は、異物の除去を施す対象として一旦メモリーに記憶される。そして、この履歴画像に対して、異物を除去する異物除去処理を行う（Ｓ１１１）。すなわち、Ｓ１０６の異物探索処理で異物が検出されていれば、Ｓ１１０で切り出した履歴画像から異物を除去する処理を行う。当然ながら、Ｓ１０６の異物探索処理で異物が検出されていなければ、Ｓ１１０の処理で切り出した履歴画像から異物を除去する処理は行われない。尚、異物除去処理（Ｓ１１１）については、異物探索処理（Ｓ１０６）と共に、後に詳しく説明する。

続いて、今回新たに死角領域となった部分に対応する履歴画像（異物が検出されていれば異物が除去された履歴画像）をフレームメモリーに書き込む前に、既に書き込まれている過去の履歴画像を車両１の移動量に対応するアドレスに移動（シフト）する（Ｓ１１２）。すなわち、既に書き込まれている過去の履歴画像に対応する死角領域は、車両１の移動量に応じて車両１の前方あるいは後方に移動している。そこで、既に書き込まれている過去の履歴画像を車両１の移動量に対応させてシフトする。尚、車両１が移動することによって車両１の死角領域と対応しなくなった履歴画像、つまり、シフトされることによってフレームメモリー上の死角領域に対応するアドレスから外れた履歴画像は消去される。
こうして過去の履歴画像をシフトすると、フレームメモリー上の死角領域に対応するアドレスの一部が空いて履歴画像が記憶されていない状態となる。この空いたフレームメモリー上のアドレスは、新たな死角領域に対応するアドレスである。そこで、このアドレスにＳ１１０で切り出された新たな履歴画像を書き込む（Ｓ１１４）。
また、撮影領域については車両１の前方および後方の撮影俯瞰画像が、図８のＳ１０４で既にフレームメモリーに書き込まれているので、死角領域において過去の履歴画像がシフトされると共に新たな履歴画像が書き込まれることによって、フレームメモリー上で表示画面１１に表示する画像が完成する。
そこで、画像表示装置１００は、フレームメモリー上の画像を表示画面１１に出力する（Ｓ１１４）。その結果、表示画面１１には、車両１の周辺を上方から見たような俯瞰画像が表示されることになる。

以上のようにして、フレームメモリー上の画像を表示画面１１に表示したら（Ｓ１１４）、車両１の周辺領域についての俯瞰画像の表示を終了するか否かを判断する（Ｓ１１５）。その結果、まだ表示を終了しない場合は（Ｓ１１５：ｎｏ）、処理の先頭に戻って、再び、車載カメラ１０Ｆ，１０Ｒによって得られた撮影画像を取得した後（図７のＳ１０１）、上述した続く一連の処理を実行する。
これに対して、表示を終了すると判断した場合は（Ｓ１１５：ｙｅｓ）、第１実施例の俯瞰画像表示処理を終了する。

図９には、異物探索処理のフローチャートが示されている。図７を用いて前述したように、異物探索処理（Ｓ１０６）は、撮影俯瞰画像を記憶した後に行われる処理である。異物探索処理では、記憶された撮影俯瞰画像の画像領域を探索することによって、車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）に付着して撮影画像に写り込む異物を検出する処理が行われる。

異物探索処理を開始すると、先ず、異物の探索を開始する条件（探索開始条件）が成立しているか否かを判断する。例えば、図示されるように、車両１が走行中であるか否かを判断し（Ｓ２０１）、車両１が走行中であれば（Ｓ２０１：ｙｅｓ）、前回に異物を探索してから所定時間（例えば、１分）が経過しているか否かを判断する（Ｓ２０２）。その結果、前回に異物を探索してから所定時間が経過していれば（Ｓ２０２：ｙｅｓ）、探索開始条件が成立したとして、以降の異物を探索する処理を開始する。ここで、運転者が表示画面１１に表示された俯瞰画像を見るのは、車両１の走行中に周辺に障害物がないかを確認するためであることが考えられる。この点、上述したように車両１が走行中である場合に異物の探索を開始する構成とすると、運転者が俯瞰画像を見る可能性が低いタイミングでは（車両１の停止中は）異物の探索を行わないことで処理負担を軽減しつつも、運転者が俯瞰画像を見る可能性が高いタイミングでは（車両１の走行中は）俯瞰画像（履歴画像）に写り込む異物を検出することができる。尚、この点に鑑みると、車両１が走行を開始した場合や、車両１の走行を開始させるための操作（例えば、アクセル操作や、サイドブレーキを解除する操作、変速機のシフトポジションを走行レンジに切り換える操作など）が行われた場合に（車両１に対する運転者操作の変化量が所定量以上となった場合に）、異物の探索を開始することとしてもよい。

また、運転者が表示画面１１に表示された俯瞰画像を見るのは、車両１の周辺に存在する障害物が視界に入っており該障害物との距離を確認するためであることが考えられる。そして、このように視界に障害物が入っている場合は、運転者は車両１の走行速度を落とすことが考えられる。そこで、車両１の走行速度が所定速度以下である場合や、車両１の走行速度が所定速度以下になった場合、車両１の走行速度の低下量が所定量以上である場合、車両１の走行速度を落とすための操作（例えば、アクセル操作など）が行われた場合に（車両１に対する運転者操作の変化量が所定量以上となった場合に）、異物の探索を開始することとしてもよい。こうした場合も、運転者が俯瞰画像を見る可能性が低いタイミング（ここでは、車両１の高速走行中や定速走行中）では異物の探索を行わないことで処理負担を軽減しつつも、運転者が俯瞰画像を見る可能性が高いタイミング（ここでは車両１の低速走行中や走行速度を落とす場合）では俯瞰画像（履歴画像）に写り込む異物を検出することができる。

また、運転者が表示画面１１に表示された俯瞰画像を見るのは、車両１を後進させて駐車するためであることが考えられる。そこで、車両１が後進した場合や、車両１を後進させるための操作（例えば、アクセル操作や、変速機のシフトポジションを後進用のレンジに切り換える操作など）が行われた場合に（車両１に対する運転者操作の変化量が所定量以上となった場合に）、異物の探索を開始することとしてもよい。こうした場合も、運転者が俯瞰画像を見る可能性が低いタイミング（ここでは、前進中）では異物の探索を行わないことで処理負担を軽減しつつも、運転者が俯瞰画像を見る可能性が高いタイミング（ここでは後進中や後進を開始する場合）では俯瞰画像（履歴画像）に写り込む異物を検出することができる。

上述したような異物の探索を開始する条件（探索開始条件）が成立している場合は（図９ではＳ２０１：ｙｅｓ、Ｓ２０２：ｙｅｓ）、撮影俯瞰画像に写り込んでいる異物を探索する処理を行う。本実施例では、撮影俯瞰画像の全ての画像領域を対象として異物を探索するのではなく、撮影俯瞰画像の画像領域のうち履歴画像として使用される（切り出される）画像領域に限定して異物を探索する。以下では、撮影俯瞰画像の画像領域のうち履歴画像として使用される（切り出される）画像領域、すなわち、異物の探索対象となる画像領域を「探索画像領域」と称する。

異物を探索する処理では、先ず、探索画像領域を決定する（Ｓ２０３）。探索画像領域は、上述したように履歴画像として使用される（切り出される）画像領域であるので、撮影俯瞰画像から履歴画像を切り出すとき（図８のＳ１１０）と同様に、Ｓ１０２で得られた移動情報に基づいて今回新たな死角領域となった部分に対応する画像領域を決定し、該画像領域を探索画像領域とする（Ｓ２０３）。例えば、図１０（ａ）に示す例では、車両１が前進していることから前方の撮影俯瞰画像のうち斜線部分が探索画像領域として決定されている。

探索画像領域を決定したら（Ｓ２０３）、この探索画像領域を探索して、所定期間に亘って色情報（ＲＧＢ値や輝度値など）の変化量が少ない領域（画素）を検出する（Ｓ２０４）。すなわち、車両１が前進あるいは後進して周辺状況が変化したにも拘わらず、色情報の変化量が少ない領域がある場合は、該領域は異物が写り込んだ領域（以下「異物画像領域」という）であると判断できる。本実施例では、このような異物画像領域を検出することを「異物を検出する」と表現している。

異物画像領域の検出は、図１０（ｂ）に示すように例えば、最新の撮影俯瞰画像から過去に遡った複数の撮影俯瞰画像を、メモリーに記憶された撮影俯瞰画像の中から読み出す。そして、読み出した複数の撮影俯瞰画像間で、探索画像領域内に変化量が少ない領域（異物画像領域）があるか否かを判断する。ここで、車両１の走行速度が小さい場合は、短時間では車両１の周辺状況の変化は小さくなり易いので、探索画像領域の色情報の変化量は異物画像領域でなくても小さくなり易い。従って、車両１の走行速度が小さい場合に短時間分の撮影俯瞰画像を対象として異物を探索すると、異物が写り込んでいないにも拘わらず異物を検出してしまう虞がある。これに対して、車両１の走行速度が大きい場合は、短時間でも車両１の周辺状況の変化は大きくなり易いので、探索画像領域の色情報の変化量は異物画像領域でなければ大きくなり易い。従って、車両１の走行速度が大きい場合は短時間分の撮影俯瞰画像を対象として異物を探索しても、異物を誤って検出してしまう虞が小さい。そこで、車両の走行速度が所定速度以上（例えば５ｋｍ／ｈ以上）である場合において、異物探索の対象とする（遡って読み出す）撮影俯瞰画像の数は、車両１の走行速度に応じて決定することとしてもよい（車両の走行速度に応じた時間に亘って取得する数としてもよい）。こうすると、異物の誤検出を抑制しつつ、異物検出にかかる処理負担を軽減することができる。

尚、上述した例では、探索画像領域において色情報の変化量が少ない領域を異物画像領域とすることとしたが、周知のエッジ検出処理等によって探索画像領域に写り込んだ物体を検出し、複数の撮影俯瞰画像間において該物体の移動量（いわゆる移動ベクトル）が所定量以下である場合に、該物体の写り込んだ領域を異物画像領域とすることとしてもよい。
また、上述した例では、撮影俯瞰画像の探索画像領域を探索して異物画像領域（異物）を検出することとしたが、撮影画像の履歴画像に対応する領域を探索画像領域として決定し、撮影画像の探索画像領域を探索して異物画像領域（異物）を検出することとしてもよい。

こうして探索画像領域内の異物画像領域（異物）を探索した結果（Ｓ２０４）、異物画像領域（異物）を検出した場合は（Ｓ２０５：ｙｅｓ）、この異物画像領域をメモリーに記憶した後（Ｓ２０６）、図９に示す異物探索処理を終了して、図７および図８に示す俯瞰画像表示処理に復帰する。これに対して、異物画像領域を検出しなかった場合は（Ｓ２０５：ｎｏ）、そのまま図９に示す異物探索処理を終了して、図７および図８に示す俯瞰画像表示処理に復帰する。尚、メモリーに記憶された異物画像領域は、次に異物画像領域（異物）が探索される際に消去される。

以上のように、本実施例の画像表示装置１００では、撮影俯瞰画像あるいは撮影画像の全ての画像領域を対象として異物を探索するのではなく、履歴画像として使用される画像領域に限定して異物を探索する。従って、異物の写り込みによる影響を受けやすい履歴画像から異物を除去することができるだけでなく、該異物の検出にかかる処理負担を軽減することができる。

図１１には、異物除去処理のフローチャートが示されている。図８を用いて前述したように、異物除去処理（Ｓ１１１）は、図８のＳ１１０で履歴画像を切り出した後に行われる処理であって、該履歴画像から異物を除去する処理である。

異物除去処理を開始すると、先ず、異物画像領域が記憶されているか否かを判断する（Ｓ３０１）。すなわち、図９を用いて前述した異物探索処理にて異物画像領域（異物）が検出され、該異物画像領域がメモリーに記憶されているか否かを判断する。その結果、異物画像領域が記憶されていない場合（異物が検出されなかった場合）は（Ｓ３０１：ｎｏ）、図８のＳ１１０で切り出した履歴画像には異物は写り込んでいないので、そのまま図１１に示す異物除去処理を終了して、図８に示す俯瞰画像表示処理に復帰する。そして、図８に示す俯瞰画像表示処理において、異物除去処理に続くＳ１１２〜Ｓ１１４の処理が行われることによって、図８のＳ１１０で切り出した履歴画像がそのまま表示される。

これに対して、異物画像領域が記憶されている場合（異物が検出された場合）は（図１１のＳ３０１：ｙｅｓ）、図８のＳ１１０で切り出した履歴画像に異物が写り込んでいるので、該履歴画像から異物を除去する。ここで、フローチャートに沿って異物を除去する処理の詳細を説明する前に、図１２を用いて異物を除去する処理の概要を説明する。尚、以下の説明では、車両１は前進しているものとする。

図１２（ａ）に示すように、探索画像領域は履歴画像として切り出される画像領域であることから、探索画像領域にて異物画像領域（図中、塗りつぶした円形）が検出された場合は、履歴画像にも異物が写り込む。この異物が写り込んだ履歴画像をそのまま表示画面１１に表示すると、該履歴画像がシフトされながら表示されている間は異物も表示された状態となる。また、その後に切り出される履歴画像にも異物が写り込むので、図示されるように、異物が連なって表示されてしまう。この結果、異物に隠されて車両１の周辺状況が表示されない範囲が広がってしまう。
そこで、探索画像領域に異物画像領域が検出された場合（切り出した履歴画像に異物が写り込む場合）は、異物が写り込む履歴画像を他の履歴画像に置き換えることによって、切り出した履歴画像から異物を除去する。本実施例では、図１２（ｂ）に示すように、切り出した履歴画像（異物が写り込んだ履歴画像）は表示せず（図中、破線×印）、該履歴画像を切り出した撮影俯瞰画像よりも１つ前に（過去に）記憶された撮影俯瞰画像を読み出す。そして、この１つ前に記憶された撮影俯瞰画像から、履歴画像（異物が写り込んだ履歴画像）と同じ死角領域が写った画像領域（以下「代替画像領域」という）を新たな履歴画像として切り出して表示する（図中、実線矢印）。すなわち、車両が移動していれば、今回の撮影俯瞰画像では探索画像領域に写っている死角領域も、過去の撮影俯瞰画像では別の画像領域（代替画像領域）に写っているので、該画像領域を新たな履歴画像とする。これにより、履歴画像から異物を除去することができる。尚、図中にクロスハッチングで示すように、撮影領域には、撮影俯瞰画像がそのまま表示される。

以上のことを踏まえて、図１１に示すフローチャートの説明に戻る。Ｓ３０１の判断処理で、異物画像領域が記憶されていると判断された場合（異物が検出された場合）は（Ｓ３０１：ｙｅｓ）は、先ず、今回切り出した履歴画像（異物が写り込んだ履歴画像）より１つ前に記憶された撮影俯瞰画像を読み出す（Ｓ３０２）。そして、この撮影俯瞰画像に代替画像領域が存在するか否かを判断する（Ｓ３０３）。代替画像領域とは、図１２（ｂ）を用いて前述したように、今回切り出した履歴画像（異物が写り込んだ履歴画像）と同じ死角領域が写った画像領域である。Ｓ３０３の判断処理の結果、１つ前に記憶された撮影俯瞰画像に代替画像領域が存在しない場合は（Ｓ３０３：ｎｏ）、そのまま図１１に示す異物除去処理を終了して、図８に示す俯瞰画像表示処理に復帰する。この場合は、図８に示す俯瞰画像表示処理において、異物除去処理に続くＳ１１２〜Ｓ１１４の処理が行われることによって、Ｓ１１０で切り出した履歴画像がそのまま（異物が除去されないまま）表示されることとなる。

一方、１つ前の撮影俯瞰画像に代替画像領域が存在する場合は（Ｓ３０３：ｙｅｓ）、先ず、該代替画像領域を探索して（Ｓ３０４）異物が写り込んでいないか否かを判断する（Ｓ３０５）。すなわち、本実施例では、図１２（ｂ）を用いて前述したように、代替画像領域を新たな履歴画像として切り出して表示するところ、代替画像領域にも異物が写り込んでいる可能性がある。そこで、探索画像領域を探索した場合と同様に（図１０参照）、代替画像領域についても異物（異物画像領域）を探索する。その結果、代替画像領域に異物が写り込んでいなければ（Ｓ３０５：ｎｏ）、該代替画像領域を切り出して新たな履歴画像としてメモリーに記憶する（異物が除去された状態で履歴画像を切り出す）。その後、図１１に示す異物除去処理を終了して、図８に示す俯瞰画像表示処理に復帰する。この場合は、図８に示す俯瞰画像表示処理において、異物除去処理に続くＳ１１２〜Ｓ１１４の処理が行われることによって、代替画像領域を切り出した新たな履歴画像が表示されることとなる。こうすると、車両１の死角領域のうち異物に隠されて表示されなかった部分を表示することができ、俯瞰画像の画質を向上させることが可能となる。

これに対して、代替画像領域にも異物が写り込んでいる場合は（Ｓ３０５：ｙｅｓ）、代替画像領域の異物画像領域をメモリーに記憶する（Ｓ３０６）。そして、代替画像領域の異物画像領域の大きさ（画素数）と、既に切り出されている履歴画像（ここでは探索画像領域）の異物画像領域の大きさ（画素数）とを比較し（Ｓ３０７）、代替画像領域の異物画像領域の方が小さければ（Ｓ３０７：ｙｅｓ）、該代替画像領域を切り出して新たな履歴画像としてメモリーに記憶する（Ｓ３０８）。つまり、既に切り出されている履歴画像に写り込んでいる異物の大きさと、新たに切り出そうとしている履歴画像に写り込んでいる異物との大きさとを比較し、新たに切り出そうとしている履歴画像に写り込んでいる異物の方が小さければ、新たに履歴画像を切り出す。
代替画像領域の異物画像領域の大きさ、すなわち、新たに切り出そうとしている履歴画像に写り込んでいる異物の大きさが、既に切り出されている履歴画像に写り込んでいる異物の大きさ以上である場合は、代替画像領域（新たに履歴画像）を切り出すことはしない。

こうして、Ｓ３０７またはＳ３０８の処理を行ったら、Ｓ３０２以降の処理を繰り返すことによって、撮影俯瞰画像を１つずつ過去に遡って読み出し（Ｓ３０２）、該撮影俯瞰画像に代替画像領域が存在する否かを判断し（Ｓ３０３）、該代替画像領域が存在する場合は（Ｓ３０３：ｙｅｓ）、代替画像領域に異物が写り込んでいるか否かを判断する（Ｓ３０４、Ｓ３０５）。そして、代替画像領域に異物が写り込んでいない場合は（Ｓ３０５：ｎｏ）、その代替画像領域を切り出して新たな履歴画像とする（異物が除去された状態で履歴画像を切り出す）。この場合は、図８に示す俯瞰画像表示処理において、異物除去処理に続くＳ１１２〜Ｓ１１４の処理が行われることによって、異物が写り込んでいない履歴画像（異物が除去された履歴画像）が表示されることとなる。こうすると、車両１の死角領域のうち異物に隠されて表示できなかった部分の画像を過去に遡って見つけることができる。この結果、車両１の死角領域のうち異物に隠されて表示されなかった部分を表示できる確率を高めることができ、俯瞰画像の画質を向上させることが可能となる。

これに対して、代替画像領域に異物が写り込んでいる場合は（Ｓ３０５：ｙｅｓ）、代替画像領域（新たに切り出そうとしている履歴画像）に写り込んだ異物の大きさと既に切り出されている履歴画像に写り込んだ異物の大きさとを比較し、代替画像領域（新たに切り出そうとしている履歴画像）に写り込んだ異物の方が小さければ（Ｓ３０７：ｙｅｓ）、新たに履歴画像を切り出す（Ｓ３０８）。つまり、撮影俯瞰画像を過去に遡って読み出しても、代替画像領域に異物が写り込んでいる場合は、写り込んでいる異物が最も小さい代替画像領域を新たな履歴画像として切り出す。
そして、異物が写り込んでいない代替画像領域を見つけられないまま、過去の撮影俯瞰画像に代替画像領域が存在しなくなったら（Ｓ３０３：ｎｏ）、図１１に示す異物除去処理を終了して、図８に示す俯瞰画像表示処理に復帰する。この場合は、図８に示す俯瞰画像表示処理において、異物除去処理に続くＳ１１２〜Ｓ１１４の処理が行われることによって、現時点でメモリーに記憶されている履歴画像が表示されることとなる。つまり、写り込んでいる異物が最も小さい履歴画像が表示されることとなる。こうすると、車両１の死角領域のうち異物に隠されて表示されなかった部分を完全になくすことはできなくても、該領域を小さくすることができ、俯瞰画像の画質を向上させることが可能となる。

尚、探索画像領域に異物が写り込んでいる場合は、図１２（ｂ）に示すように、撮影領域に表示する撮影俯瞰画像（図中、クロスハッチングで示す撮影俯瞰画像）にも異物が写り込んでしまう。そこで、図１３に示すように、探索画像領域に異物が写り込んでいる場合は、撮影領域に表示する撮影俯瞰画像の探索画像領域を、過去の撮影俯瞰画像の代替画像領域に置き換える処理を行ってもよい。こうすると、車両１の撮影領域のうち異物に隠されて表示されなかった部分を表示することができ、俯瞰画像の画質を向上させることが可能となる。

Ｄ．第２実施例の俯瞰画像表示処理 ：
次に、第２実施例の俯瞰画像表示処理について説明する。図１４には、第２実施例の異物除去処理の概要が示されている。図１４において、車両１は前進しているものとする。第２実施例では、探索画像領域において異物画像領域が検出されると（切り出した履歴画像に異物が写り込む場合は）、第１実施例とは別の方法で異物を除去する。第２実施例では、図１４に示すように、切り出した履歴画像（異物が写り込んだ履歴画像）のうち異物が写り込んでいない画像領域（異物画像領域以外の画像領域）についてはそのまま表示する（図中、実線矢印）。また、異物が写り込んだ画像領域（異物画像領域）については、代わりの画像に置き換える（図中、破線矢印）。すなわち、履歴画像（異物が写り込んだ履歴画像）を切り出した撮影俯瞰画像よりも１つ前に（過去に）記憶された撮影俯瞰画像を読み出す。そして、この１つ前に記憶された撮影俯瞰画像から、履歴画像の異物画像領域に対応する死角領域が写った画像領域、換言すると、履歴画像においては異物に隠されて表示されなかった死角領域が写った画像領域（以下「部分画像領域」という）を読み出して合成する。これにより、履歴画像から異物を除去することができる。尚、図中にクロスハッチングで示すように、撮影領域には、撮影俯瞰画像がそのまま表示される。

図１５には、第２実施例の異物除去処理のフローチャートが示されている。第２実施例の異物除去処理も、図８のＳ１１０で履歴画像を切り出した後に行われる処理である。

第２実施例の異物除去処理を開始すると、先ず、異物画像領域が記憶されているか否かを判断する（Ｓ４０１）。すなわち、図９を用いて前述した異物探索処理にて異物画像領域（異物）が検出され、該異物画像領域がメモリーに記憶されているか否かを判断する。その結果、異物画像領域が記憶されていない場合（異物が検出されなかった場合）は（Ｓ４０１：ｎｏ）、図８のＳ１１０で切り出した履歴画像には異物は写り込んでいないので、そのまま図１５に示す異物除去処理を終了して、図８に示す俯瞰画像表示処理に復帰する。そして、図８に示す俯瞰画像表示処理において、異物除去処理に続くＳ１１２〜Ｓ１１４の処理が行われることによって、Ｓ１１０で切り出した履歴画像がそのまま表示される。

これに対して、異物画像領域が記憶されている場合（異物が検出された場合）は（図１４のＳ４０１：ｙｅｓ）、図８のＳ１１０で切り出した履歴画像に異物が写り込んでいるので、該履歴画像から異物を除去する処理を行う。この処理では先ず、今回切り出した履歴画像（異物が写り込んだ履歴画像）より１つ前に記憶された撮影俯瞰画像を読み出す（Ｓ４０２）。そして、この撮影俯瞰画像に部分画像領域が存在するか否かを判断する（Ｓ４０３）。部分画像領域とは、図１４を用いて前述したように、今回切り出した履歴画像（異物が写り込んだ履歴画像）の異物画像領域に対応する死角領域が写った画像領域であって、換言すると、今回切り出した履歴画像（異物が写り込んだ履歴画像）においては異物に隠されて表示されなかった死角領域が写った画像領域である。Ｓ４０３の判断処理の結果、１つ前に記憶された撮影俯瞰画像に部分画像領域が存在しない場合は（Ｓ４０３：ｎｏ）、そのまま図１５に示す異物除去処理を終了して、図８に示す俯瞰画像表示処理に復帰する。この場合は、図８に示す俯瞰画像表示処理において、異物除去処理に続くＳ１１２〜Ｓ１１４の処理が行われることによって、Ｓ１１０で切り出した履歴画像がそのまま（異物が除去されないまま）表示されることとなる。

一方、１つ前の撮影俯瞰画像に部分画像領域が存在する場合は（Ｓ４０３：ｙｅｓ）、先ず、該部分画像領域を探索して（Ｓ４０４）異物が写り込んでいないか否かを判断する（Ｓ４０５）。すなわち、本実施例では、図１４を用いて前述したように、部分画像領域を切り出して履歴画像と合成して表示するところ、部分画像領域にも異物が写り込んでいる可能性がある。そこで、探索画像領域を探索した場合と同様に（図１０参照）、部分画像領域についても異物（異物画像領域）を探索する。その結果、部分画像領域に異物が写り込んでいなければ（Ｓ４０５：ｎｏ）、該部分画像領域を切り出す。そして、図８のＳ１１０で切り出した履歴画像の異物画像領域に切り出した部分画像領域を合成（上書き）して、メモリーに記憶する（異物が除去された状態で履歴画像を切り出す）。その後、図１５に示す異物除去処理を終了して、図８に示す俯瞰画像表示処理に復帰する。この場合は、図８に示す俯瞰画像表示処理において、異物除去処理に続くＳ１１２〜Ｓ１１４の処理が行われることによって、切り出した部分画像領域が合成された履歴画像が表示されることとなる。こうすると、車両１の死角領域のうち、異物に隠されていない領域については最新の画像（図８のＳ１１０の処理で切り出された履歴画像）を表示しつつ、異物に隠されて表示されなかった部分（部分画像領域の画像）を表示することができる。この結果、俯瞰画像の画質を向上させることが可能となる。

これに対して、部分画像領域にも異物が写り込んでいる場合は（Ｓ４０５：ｙｅｓ）、部分画像領域の異物画像領域をメモリーに記憶する（Ｓ４０６）。そして、部分画像領域の異物画像領域の大きさ（画素数）と、履歴画像の異物画像領域の大きさ（画素数）とを比較し（Ｓ４０７）、部分画像領域の異物画像領域の方が小さければ（Ｓ４０７：ｙｅｓ）、該部分画像領域を切り出して履歴画像の異物画像領域に合成して、メモリーに記憶する（Ｓ４０８）。つまり、履歴画像に写り込んでいる異物の大きさと、新たに切り出そうとしている部分画像領域に写り込んでいる異物の大きさとを比較し、新たに切り出そうとしている部分画像領域に写り込んでいる異物の方が小さければ、該部分画像領域を切り出して履歴画像の異物画像領域に合成する。
新たに切り出そうとしている部分画像領域の異物画像領域の大きさ、すなわち、新たに切り出そうとしている部分画像領域に写り込んでいる異物の大きさが、履歴画像に写り込んでいる異物の大きさ以上である場合は、部分画像領域を履歴画像に合成することはしない。

こうして、Ｓ４０７またはＳ４０８の処理を行ったら、Ｓ４０２以降の処理を繰り返すことによって、撮影俯瞰画像を１つずつ過去に遡って読み出し（Ｓ４０２）、該撮影俯瞰画像に部分画像領域が存在する否かを判断し（Ｓ４０３）、該部分画像領域が存在する場合は（Ｓ４０３：ｙｅｓ）、部分画像領域に異物が写り込んでいるか否かを判断する（Ｓ４０４、Ｓ４０５）。そして、部分画像領域に異物が写り込んでいない場合は（Ｓ４０５：ｎｏ）、その部分画像領域を切り出して履歴画像の異物画像領域に合成する（異物が除去された状態で履歴画像を切り出す）。この場合は、図８に示す俯瞰画像表示処理において、異物除去処理に続くＳ１１２〜Ｓ１１４の処理が行われることによって、異物が写り込んでいない部分画像領域が合成された履歴画像（異物が除去された履歴画像）が表示されることとなる。こうすると、車両１の死角領域のうち異物に隠されて表示できなかった部分の画像を過去に遡って見つけることができる。この結果、車両１の死角領域のうち異物に隠されて表示されなかった部分を表示できる確率を高めることができ、俯瞰画像の画質を向上させることが可能となる。

これに対して、部分画像領域に異物が写り込んでいる場合は（Ｓ４０５：ｙｅｓ）、部分画像領域に写り込んだ異物の大きさと、履歴画像に写り込んだ異物の大きさ（既に前回切り出した部分画像領域が合成されている場合は合成された後の履歴画像に写り込んだ異物の大きさ）とを比較し、部分画像領域（新たに切り出そうとしている部分画像領域）に写り込んだ異物の方が小さければ（Ｓ４０７：ｙｅｓ）、その部分画像領域を切り出して履歴画像の異物画像領域に合成する（Ｓ４０８）。つまり、撮影俯瞰画像を過去に遡って読み出しても、代替画像領域に異物が写り込んでいる場合は、写り込んでいる異物が最も小さい部分画像領域を履歴画像の異物画像領域に合成する。
そして、異物が写り込んでいない部分画像領域を見つけられないまま、過去の撮影俯瞰画像に部分画像領域が存在しなくなったら（Ｓ４０３：ｎｏ）、図１５に示す異物除去処理を終了して、図８に示す俯瞰画像表示処理に復帰する。この場合は、図８に示す俯瞰画像表示処理において、異物除去処理に続くＳ１１２〜Ｓ１１４の処理が行われることによって、現時点でメモリーに記憶されている履歴画像が表示されることとなる。つまり、写り込んでいる異物が最も小さい部分画像領域が合成された履歴画像が表示されることとなる。こうすると、車両１の死角領域のうち異物に隠されて表示されなかった部分を完全になくすことはできなくても、該領域を小さくすることができ、俯瞰画像の画質を向上させることが可能となる。

尚、探索画像領域に異物が写り込んでいる場合は、図１４に示すように、撮影領域に表示する撮影俯瞰画像（図中、クロスハッチングで示す撮影俯瞰画像）にも異物が写り込んでしまう。そこで、図１６に示すように、探索画像領域に異物が写り込んでいる場合は、撮影領域に表示する撮影俯瞰画像の異物画像領域を、過去の撮影俯瞰画像の部分画像領域に置き換える処理を行ってもよい。こうすると、撮影領域に表示する撮影俯瞰画像に異物が写り込んでしまうことを抑制することができる。こうすると、車両１の撮影領域のうち異物に隠されて表示されなかった部分を表示することができ、俯瞰画像の画質を向上させることが可能となる。
また、上述した第２実施例では、履歴画像の異物画像領域に過去の撮影俯瞰画像の部分画像領域を合成して表示することによって異物を除去するとしたが、これに限らず、異物画像領域の画像（色情報）を、履歴画像の異物画像領域に予め定められた画像（色情報）や、異物画像領域の周辺領域と同様の画像（色情報）に置き換えることによって異物を除去することとしてもよい。こうすると、異物の除去にかかる処理負担を軽減しつつ、異物が目立って表示されることを抑制することができる。

以上、各種の実施例について説明したが、本発明は上記の実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

１…車両、 ２…操舵ハンドル、 １０Ｆ，１０Ｒ…車載カメラ、
１１…表示画面、 １２…操舵角センサー、 １３…車速センサー、
１４…シフト位置センサー、 １００…画像表示装置、
１０１…撮影画像取得部、 １０２…撮影俯瞰画像生成部、
１０３…画像表示部、 １０４…移動情報取得部、
１０５…異物検出部、 １０６…異物除去部、
１０７…撮影俯瞰画像記憶部、 １０８…履歴画像切出部。

Claims (6)

1. 車載カメラ（１０Ｆ，１０Ｒ）を用いて車両（１）の周辺領域を撮影した画像を、表示画面（１１）上に表示する車両周辺画像表示装置（１００）であって、
   前記車載カメラから撮影画像を取得する撮影画像取得手段（１０１）と、
   前記撮影画像に対して、前記車載カメラに写った前記周辺領域を前記車両の上方から撮影した画像に変換する視線変換を施すことによって、撮影俯瞰画像を生成する撮影俯瞰画像生成手段（１０２）と、
   前記撮影俯瞰画像を、前記表示画面上で前記車載カメラが撮影した前記周辺領域に対応する位置に表示する撮影俯瞰画像表示手段（１０３）と、
   前記車両の移動量に関する移動情報を取得する移動情報取得手段（１０４）と、
   前記車両の周辺領域の中で前記車載カメラの死角となる死角領域については、前記車両が現在の位置に達する前に生成され且つ該死角領域を撮影した前記撮影俯瞰画像の中から該死角領域に対応する部分の画像である履歴画像を、前記移動情報に基づいて切り出す履歴画像切出手段（１０８）と、
   前記履歴画像を、前記表示画面上で前記死角領域に対応する位置に表示する履歴画像表示手段（１０３）と、
   を備え、
   前記履歴画像切出手段は、前記撮影俯瞰画像中の前記履歴画像として切り出す部分から、前記車載カメラに付着した異物を検出し、該異物が検出された場合には、該異物が除去された状態で前記履歴画像を切り出す手段（１０５、１０６、１０８）である
   車両周辺画像表示装置。
2. 請求項１に記載の車両周辺画像表示装置であって、
   前記履歴画像切出手段は、前記移動情報に基づいて前記車両が走行中であるか否かを判断し、前記車両が走行中である場合は、該車両の走行中に生成される複数の撮影俯瞰画像に基づいて、前記撮影俯瞰画像中の移動していない部分を検出することによって、前記異物を検出する手段である
   車両周辺画像表示装置。
3. 請求項２に記載の車両周辺画像表示装置であって、
   前記履歴画像切出手段は、前記移動情報に基づいて前記車両の走行速度を検出し、該車両の走行速度に応じた時間に亘って生成される複数の前記撮影俯瞰画像に基づいて、前記異物を検出する手段である
   車両周辺画像表示装置。
4. 請求項１ないし請求項３の何れか一項に記載の車両周辺画像表示装置であって、
   前記履歴画像切出手段は、前記異物が検出された場合は、該異物が検出された部分については、前記履歴画像を切り出す撮影俯瞰画像よりも前に生成された撮影俯瞰画像から画像を切り出すことにより、前記異物が除去された前記履歴画像を切り出す手段である
   車両周辺画像表示装置。
5. 請求項１ないし請求項３の何れか一項に記載の車両周辺画像表示装置であって、
   前記履歴画像切出手段は、前記異物が検出された場合は、該異物が検出された部分の周辺の画像に基づいて前記異物が除去された前記履歴画像を切り出す手段である
   車両周辺画像表示装置。
6. 車載カメラを用いて車両の周辺領域を撮影した画像を、表示画面上に表示する車両周辺画像表示方法（Ｓ１００）であって、
   前記車載カメラから撮影画像を取得する撮影画像取得工程（Ｓ１０１）と、
   前記撮影画像に対して、前記車載カメラに写った前記周辺領域を前記車両の上方から撮影した画像に変換する視線変換を施すことによって、撮影俯瞰画像を生成する撮影俯瞰画像生成工程（Ｓ１０３）と、
   前記撮影俯瞰画像を、前記表示画面上で前記車載カメラが撮影した前記周辺領域に対応する位置に表示する撮影俯瞰画像表示工程（Ｓ１１４）と、
   前記車両の移動量に関する移動情報を取得する移動情報取得工程（Ｓ１０２）と、
   前記車両の周辺領域の中で前記車載カメラの死角となる死角領域については、前記車両が現在の位置に達する前に生成され且つ該死角領域を撮影した前記撮影俯瞰画像の中から該死角領域に対応する部分の画像である履歴画像を、前記移動情報に基づいて切り出す履歴画像切出工程（Ｓ１１０）と、
   前記履歴画像を、前記表示画面上で前記死角領域に対応する位置に表示する履歴画像表示工程（Ｓ１１４）と、
   を備え、
   前記履歴画像切出工程は、前記撮影俯瞰画像中の前記履歴画像として切り出す部分から、前記車載カメラに付着した異物を検出し、該異物が検出された場合には、該異物が除去された状態で前記履歴画像を切り出す工程（Ｓ１０６、Ｓ１１０、Ｓ１１１）である
   車両周辺画像表示方法。

Images