JP2015171106A - 車両周辺画像表示装置、車両周辺画像表示方法 - Google Patents

Abstract

【課題】ノイズの影響を抑制しつつ、履歴画像を用いて車両周辺の俯瞰画像を表示する。
【解決手段】車載カメラで得られた撮影画像を視線変換して撮影俯瞰画像を生成し、得られた撮影俯瞰画像を記憶する。また、撮影画像中のノイズの有無も判定しておく。車両の移動量に関する移動情報に基づいて、記憶しておいた撮影俯瞰画像の中から車両の死角領域についての履歴画像を切り出して、撮影俯瞰画像と共に表示画面上に表示する。履歴画像を切り出す際には、ノイズを有さないと判定された撮影画像に基づいて生成された撮影俯瞰画像から履歴画像を切り出すようにする。こうすれば、たとえ撮影画像がノイズを含んでいても、ノイズを有さない履歴画像が表示されるので、ノイズによる画質の悪化を抑制することができる。
【選択図】図７

Description

本発明は、車載カメラを用いて車両の周辺領域を撮影した画像を、表示画面上に表示する技術に関する。

車両の前後左右に搭載した車載カメラで得られた撮影画像に対して、あたかも車両を上方から見たような画像に視線変換する処理を施して、得られた画像（俯瞰画像）を表示する技術が知られている。車両の運転者は俯瞰画像を確認することができれば、周囲に存在する障害物と自車両との位置関係や、路面に描かれた表示などと自車両との位置関係を、距離感も含めて容易に把握することが可能となる。

また、車両の左右には車載カメラを搭載しないにも拘わらず、車両の前後左右方向の周辺領域の俯瞰画像を表示する技術も提案されている（特許文献１）。この技術では、車両の左右方向の周辺領域については車載カメラで直接画像を撮影することはできないが、車両の前後に搭載した車載カメラの画像から、次のような原理で左右方向の俯瞰画像を生成する。

先ず、車両の前方の車載カメラによって得られた撮影画像には、車両の正面の領域だけでなく、その両側に斜め前方の領域も写っている。従って、前方の車載カメラから得られる俯瞰画像にも、車両の左右斜め前方の領域の画像が含まれている。そして、この斜め前方の領域は、車両が前進することによって、やがては車両の左右方向の領域となる。このことから、俯瞰画像を記憶しておき、車両の移動流に応じて、記憶しておいた俯瞰画像の中から車両の左右方向の領域に対応する画像を切り出して表示すれば、車両の左右方向も含めて周辺領域の俯瞰画像を表示することができる。

もちろん、上述した内容は、車両が後進している場合にも全く同様に当て嵌まる。従って、車両の後進時にも、車両の前後左右方向の俯瞰画像を表示することができる。尚、車両の左右方向に表示される俯瞰画像は、実際には少し前に撮影されていた過去の俯瞰画像である。このため、過去の俯瞰画像から切り出されて車両の左右方向に表示される画像は「履歴画像」と呼ばれる。

特開２００２−３７３３２７号公報

しかし、上述したように、車載カメラの死角となる領域を含めて俯瞰画像を表示するために履歴画像を利用する技術には、車載カメラで撮影した画像にノイズが発生した場合に、ノイズの影響を強く受けてしまうという問題があった。
すなわち、履歴画像を利用しないのであれば、車載カメラの撮影周期で画像が更新されていくので、ある画像にノイズが発生した場合でも直ぐに新たな画像に更新される。このため、ノイズを含んだ画像が表示されるのは僅かな期間に過ぎない。これに対して、車載カメラで撮影した画像を記憶しておき履歴画像として利用する場合には、撮影した画像にノイズが発生していると、その画像が履歴画像として利用される限り、常にノイズを含んだ画像が表示され続けることになる。このため、履歴画像を利用する場合には、履歴画像を利用しない場合に比べて、ノイズの影響を強く受けてしまうという問題があった。

この発明は、従来技術が有する上述した課題に鑑みてなされたものであり、履歴画像を用いて車両周辺の俯瞰画像を表示しながら、ノイズの影響を抑制することが可能な技術の提供を目的とする。

上述した課題を解決するために本発明の車両周辺画像表示装置および車両周辺画像表示方法は、車載カメラによって得られた撮影画像を視線変換することによって撮影俯瞰画像を生成し、得られた撮影俯瞰画像を記憶する。また、撮影画像に含まれるノイズの有無も判定しておく。そして、車両の移動量に関する移動情報を取得して、記憶しておいた撮影俯瞰画像の中から、車両の死角領域を撮影した部分の画像である履歴画像を切り出して、撮影俯瞰画像と共に表示画面上に表示する。また、履歴画像を切り出す際には、ノイズを有さないと判定された撮影画像に基づいて生成された撮影俯瞰画像から履歴画像を切り出してやる。

こうすれば、たとえ撮影画像にノイズが含まれていても、ノイズを有さない履歴画像を表示することができる。このため、車両の周辺の死角領域の俯瞰画像を表示するために履歴画像を利用していながら、ノイズの影響を受けて画質が悪化することを抑制することができる。

本実施例の画像表示装置１００を搭載した車両１を示す説明図である。 画像表示装置１００の大まかな内部構成を示す説明図である。 車両１の前方の領域を撮影して得られる撮影画像を示した説明図である。 撮影画像を俯瞰画像に変換する原理についての説明図である。 履歴画像を用いて車両１の周辺の俯瞰画像を表示する原理についての説明図である。 履歴画像を用いて車両１の周辺の俯瞰画像を表示する技術が撮影画像中のノイズの影響を受け易い理由についての説明図である。 第１実施例の俯瞰画像表示処理の概要についての説明図である。 第１実施例の俯瞰画像表示処理の前半部分のフローチャートである。 第１実施例の俯瞰画像表示処理の後半部分のフローチャートである。 第１実施例の俯瞰画像表示処理によって得られる車両１の周辺の俯瞰画像を例示した説明図である。 第２実施例の俯瞰画像表示処理の概要についての説明図である。 第２実施例の俯瞰画像表示処理の前半部分のフローチャートである。 第２実施例の俯瞰画像表示処理によって得られる車両１の周辺の俯瞰画像を例示した説明図である。 第２実施例の変形例によって得られる車両１の周辺の俯瞰画像を例示した説明図である。 第２実施例の他の変形例によって得られる車両１の周辺の俯瞰画像を例示した説明図である。 第３実施例の俯瞰画像表示処理の概要についての説明図である。 第３実施例の俯瞰画像表示処理の前半部分のフローチャートである。 第３実施例の俯瞰画像表示処理の後半部分のフローチャートである。 第３実施例の変形例で記憶された撮影俯瞰画像の中からノイズを含まない撮影俯瞰画像を選択する様子を示した説明図である。 第３実施例の変形例の概要についての説明図である。

以下では、上述した本願発明の内容を明確にするために実施例について説明する。
Ａ．装置構成 ：
図１には、画像表示装置１００を搭載した車両１が示されている。尚、本実施例では、画像表示装置１００が、本発明における「車両周辺画像表示装置」に対応する。
図示されるように車両１は、車両１の前方に搭載された車載カメラ１０Ｆと、車両１の後方に搭載された車載カメラ１０Ｒと、車室内に搭載された表示画面１１と、画像表示装置１００などを備えている。尚、本実施例では、車両１の前方および後方にそれぞれ車載カメラ１０Ｆ，１０Ｒが搭載されているものとして説明するが、車載カメラ１０Ｆあるいは車載カメラ１０Ｒの何れか一方を搭載した車両１に対しても、本願発明を適用することができる。
画像表示装置１００は、車載カメラ１０Ｆ，１０Ｒで撮影した車両１の周辺の画像を受け取ると、その画像を、車両１の上方から撮影したような俯瞰画像に変換した後、得られた画像を表示画面１１に表示する。

また、車両１には、操舵ハンドル２の操舵角を検出する操舵角センサー１２や、車速を検出する車速センサー１３や、図示しない変速機のシフトポジションを検出するシフト位置センサー１４などが搭載されている。操舵角センサー１２や、車速センサー１３、シフト位置センサー１４の出力は画像表示装置１００に入力されており、画像表示装置１００は、これらの出力に基づいて車両１の移動情報（移動速度および移動方向など）を取得する。そして、画像表示装置１００は、車両１の移動情報と、車載カメラ１０Ｆ，１０Ｒによって得られた俯瞰画像とに基づいて、車載カメラ１０Ｆ，１０Ｒの死角になっている領域（車両１の左右方向の領域）についての俯瞰画像を生成して、表示画面１１に表示する。

図２には、本実施例の画像表示装置１００の大まかな内部構成が示されている。図示されるように本実施例の画像表示装置１００は、撮影画像取得部１０１と、撮影俯瞰画像生成部１０２と、画像表示部１０３と、移動情報取得部１０４と、ノイズ検出部１０５と、撮影俯瞰画像記憶部１０６と、履歴画像切出部１０７とを備えている。
尚、これら７つの「部」は、画像表示装置１００が車両１の周辺の画像を表示画面１１に表示する機能に着目して、画像表示装置１００の内部を便宜的に分類した抽象的な概念であり、画像表示装置１００が物理的に７つの部分に区分されることを表すものではない。従って、これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。

撮影画像取得部１０１は、車載カメラ１０Ｆおよび車載カメラ１０Ｒに接続されており、車載カメラ１０Ｆから車両１の前方の領域を斜め上方から撮影した撮影画像を一定周期（約３０Ｈｚ）で取得する。また、車載カメラ１０Ｒからは、車両１の後方の領域を斜め上方から撮影した撮影画像を一定周期（約３０Ｈｚ）で取得する。そして、取得した撮影画像を、撮影俯瞰画像生成部１０２に出力する。
尚、本実施例では、撮影画像取得部１０１が本発明における「撮影画像取得手段」に対応する。

撮影俯瞰画像生成部１０２は、撮影画像取得部１０１から車載カメラ１０Ｆ，１０Ｒによる撮影画像を受け取って俯瞰画像を生成する。すなわち、車載カメラ１０Ｆによって得られる撮影画像は、車両１の前方の領域を斜め上方から撮影した画像であるが、この画像に対して後述する視線変換を施すことにより、車両１の上方から撮影したような俯瞰画像を生成する。同様に、車載カメラ１０Ｒによる撮影画像は、車両１の後方の領域を斜め上方から撮影した画像であるが、この画像を、車両１の上方から撮影したような俯瞰画像に変換する。車載カメラ１０Ｆ，１０Ｒによる撮影画像に視線変換を施して俯瞰画像を生成する方法については後述する。本実施例では、撮影俯瞰画像生成部１０２が本発明における「撮影俯瞰画像生成手段」に対応する。

尚、後述するように、本実施例の画像表示装置１００では、車両１の前後方向の領域だけでなく、車両１の左右方向の領域についても俯瞰画像を生成して、表示画面１１に表示することができる。ここで、車両１の前後方向に表示する俯瞰画像は、車載カメラ１０Ｆ，１０Ｒで撮影した現在の画像を視線変換した画像である。これに対し、車両１の左右方向に表示する俯瞰画像は、車両１の移動情報に基づいて、車両１の前後方向に表示した過去の俯瞰画像から合成した画像である。そこで以下では、車両１の前後方向に表示する俯瞰画像を、車両１の左右方向に表示する合成された俯瞰画像と区別するために「撮影俯瞰画像」と称することにする。また、単に「俯瞰画像」という時は、車両１の上方から見た画像を意味しており、従って、撮影俯瞰画像も履歴画像も「俯瞰画像」に該当する。
撮影俯瞰画像生成部１０２は、生成した撮影俯瞰画像を、撮影俯瞰画像記憶部１０６と、画像表示部１０３とに出力する。

画像表示部１０３は、撮影俯瞰画像生成部１０２から車両１の前後の撮影俯瞰画像を受け取ると、表示画面１１上で車両１の前方および後方に存在する撮影領域に配置することによって、車両１の周辺領域の俯瞰画像を表示する。本実施例では、画像表示部１０３が本発明における「撮影俯瞰画像表示手段」に対応する。
尚、画像表示部１０３は、車両１の左右方向に存在する死角領域についても、後述する方法によって俯瞰画像を表示することが可能である。

ノイズ検出部１０５は、撮影画像取得部１０１が取得した撮影画像に含まれるノイズを検出することによってノイズの有無を判定し、その結果を、撮影俯瞰画像記憶部１０６に出力する。本実施例では、ノイズ検出部１０５が本発明における「ノイズ判定手段」に対応する。
更に、ノイズ検出部１０５は、撮影画像中にノイズが検出されると、ノイズが検出されなくなってから所定期間に亘ってノイズが検出されないことも確認する。従って、ノイズ検出部１０５は、本発明における「ノイズ確認手段」にも対応する。

撮影俯瞰画像記憶部１０６は、撮影俯瞰画像生成部１０２から供給された撮影俯瞰画像を記憶する。また、ノイズ検出部１０５でノイズが検出された場合には、撮影俯瞰画像生成部１０２からの撮影俯瞰画像にはノイズが含まれていると考えられる。そこで、このような場合、撮影俯瞰画像記憶部１０６は、撮影俯瞰画像生成部１０２から受け取った撮影俯瞰画像の代わりに、既に記憶した撮影俯瞰画像の画像位置をずらして、新たな撮影俯瞰画像として記憶する。本実施例では、撮影俯瞰画像記憶部１０６が、本発明における「撮影俯瞰画像記憶手段」に対応する。

尚、ここでは、ノイズ検出部１０５が検出したノイズの有無に関する情報は、撮影俯瞰画像記憶部１０６に供給されるものとして説明する。図１中で、ノイズ検出部１０５から撮影俯瞰画像記憶部１０６に向かって実線の矢印が表示されているのは、このことを表している。しかし、ノイズの有無に関する情報は、図１中で破線の矢印で示したように、撮影俯瞰画像記憶部１０６ではなく撮影俯瞰画像生成部１０２に供給してもよい。あるいは、図１中で一点鎖線の矢印で示したように、履歴画像切出部１０７に供給してもよい。これらの点については、後ほど詳しく説明する。

移動情報取得部１０４は、操舵角センサー１２や、車速センサー１３や、シフト位置センサー１４に接続されている。移動情報取得部１０４は、これらセンサーの出力に基づいて、車両１の移動情報を取得する。ここで、車両１の移動情報とは、車両１が前進しているのか、後進しているのか、停車しているのかといった情報や、車両１が真っ直ぐ進んでいるのか、右旋回しているのか、左旋回しているのか、旋回している場合には旋回の大きさに関する情報や、車両１の移動速度に関する情報などである。本実施例では、移動情報取得部１０４が、本発明における「移動情報取得手段」に対応する。

履歴画像切出部１０７は、移動情報取得部１０４からの移動情報に基づいて、撮影俯瞰画像記憶部１０６に記憶されている撮影俯瞰画像の中から、車両１の左右の死角領域に対応する部分の画像（履歴画像）を切り出す。すなわち、現在の死角領域も、以前には撮影領域であったことがあるから、撮影俯瞰画像記憶部１０６に記憶されている撮影俯瞰画像の中には、現在の死角領域に対応する画像が含まれている。そこで、死角領域に対応する画像が、撮影俯瞰画像中のどの部分であるかを、車両１の移動情報に基づいて特定して、その部分の画像を履歴画像として切り出す。そして、切り出した履歴画像を、画像表示部１０３に出力する。
尚、本実施例では、履歴画像切出部１０７が、本発明における「履歴画像切出手段」に対応する。

画像表示部１０３は、履歴画像切出部１０７から車両１の左右の履歴画像を受け取ると、表示画面１１上で対応する位置に配置することによって、車両１の死角領域の俯瞰画像を表示する。この結果、撮影俯瞰画像生成部１０２から受け取った撮影俯瞰画像と合わせて、車両１の全周に亘る周辺領域についての俯瞰画像を得ることができる。尚、本実施例の画像表示部１０３は、本発明における「履歴画像表示手段」にも対応する。
そして、画像表示部１０３は、得られた俯瞰画像を表示画面１１に出力する。こうすることにより、表示画面１１には、車両１の全周に亘る周辺領域についての俯瞰画像が表示される。

上述した本実施例の画像表示装置１００は、車両１の死角領域の俯瞰画像を表示するために履歴画像を用いていながらも、ノイズの影響を受けにくいという大きな特長を有している。以下では、その理由とともに、本実施例の画像表示装置１００が車両１の周辺の俯瞰画像を表示する方法について説明するが、その準備として、視線変換により撮影俯瞰画像を生成する方法と、履歴画像を用いて俯瞰画像を表示する方法とについて、概要を説明する。

Ｂ．履歴画像を用いて車両の周辺の俯瞰画像を表示する原理 ：
一例として、車両１の車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）で撮影した地面に、複数の目印が等間隔で格子状に描かれていた場合について考える。
図３（ａ）には、車両１の前方の地面に等間隔で格子状に描かれた複数の丸い目印を、車両１の上方から見た状態が示されている。図中で、車載カメラ１０Ｆから斜め方向に伸びる２本の一点鎖線は、車載カメラ１０Ｆの撮影領域と死角領域との境界を表している。また、丸い目印が太い実線で表示されているのは、その目印が車載カメラ１０Ｆの撮影領域内にあることを表しており、丸い目印が細い破線で表示されているのは、その目印が車載カメラ１０Ｆの死角領域内にあることを表している。車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）は、このような地面を斜め上方から撮影する。

図３（ｂ）には、車載カメラ１０Ｆで得られる撮影画像が示されている。撮影画像には、車載カメラ１０Ｆの撮影範囲内に存在する地面の目印が写っている。例えば、撮影画像上での目印ａは、図３（ａ）の地面上の目印Ａが写ったものであり、撮影画像上での目印ｂは、地面上の目印Ｂが写ったものである。同様に、撮影画像上での目印ｃおよび目印ｄは、地面上の目印Ｃおよび目印Ｄが写ったものである。
このように、車載カメラ１０Ｆの撮影範囲内の地面上の座標と、撮影画像上の座標との間には１対１の対応関係が存在する。従って、この対応関係を利用すれば、図３（ｂ）に例示した撮影画像を、図３（ａ）に例示したように車両１の上方から地面を見下ろしたような画像（俯瞰画像）に変換することができる。これが、車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）の撮影画像を視線変換して俯瞰画像を生成する際の考え方である。

このような視線変換を行うことにより、図４（ａ）に示した撮影画像は、図４（ｂ）に示すような俯瞰画像に変換される。こうして得られた俯瞰画像は、遠くの位置ほど左右方向に広がった画像となる。これは、車載カメラ１０Ｆ（あるいは車載カメラ１０Ｒ）の撮影範囲が左右両側に広がっていることによる（図３（ａ）参照）。図４（ｂ）では、俯瞰画像中で左側に広がった領域を領域Ｌ、右側に広がった領域を領域Ｒと表示している。

図４（ｂ）に示した状態では、領域Ｌも領域Ｒも、車載カメラ１０Ｆの撮影領域内にある。しかし、車両１が前進すれば、領域Ｌは車両１の左方向の死角領域となり、領域Ｒは車両１の右方向の死角領域となる。
そこで、車載カメラ１０Ｆの撮影画像を視線変換して得られた俯瞰画像（撮影俯瞰画像）を記憶しておき、車両１の移動に伴って、過去の撮影俯瞰画像の中から、現在の死角領域に対応する部分の画像（履歴画像）を切り出して表示してやればよい。

図５には、車両１の移動に伴って死角領域に履歴画像が表示される様子が示されている。例えば、時刻Ｔａでは、車両１の前方および後方に撮影俯瞰画像が表示されているが、車両１の左右にはまだ履歴画像が表示されていないものとする。また、この撮影俯瞰画像は、単に車両１の撮影領域の俯瞰画像を表示するために用いられるだけでなく、その後に死角領域の俯瞰画像を表示するために記憶される。

次に、時刻Ｔｂで新たな画像が車載カメラ１０Ｆ，１０Ｒによって撮影されると、その撮影画像から新たな撮影俯瞰画像が生成されて、車両１の前方および後方に表示される。また、図中には、時刻Ｔａで記憶しておいた撮影俯瞰画像が斜線を付して表示されている。尚、図５では、異なる時刻で得られた撮影俯瞰画像の重なりを示すために、過去に得られた撮影俯瞰画像（斜線を付して表示された画像）については車両１の進行方向に対して左側に少しだけ位置をずらして表示されている。
図示されているように、時刻Ｔａで得られた撮影俯瞰画像の一部は時刻Ｔｂで新たに得られた撮影俯瞰画像と重なっているが、重なっていない部分も存在する。この重なっていない部分が、時刻Ｔｂで車載カメラ１０Ｆの死角領域に入った部分に該当する。そこで時刻Ｔｂでは、時刻Ｔａの撮影俯瞰画像の中から、時刻Ｔｂの撮影俯瞰画像に重なっていない部分の画像を履歴画像として切り出して、車両１の左右の死角領域に表示する。また、時刻Ｔｂの撮影俯瞰画像も、後ほど履歴画像を切り出すために記憶する。
尚、車載カメラ１０Ｆ，１０Ｒは、約３０Ｈｚの周期で画像を撮影するので、時刻Ｔａから時刻Ｔｂまでに車両１が移動する距離は短いが、図示が煩雑となることを避けるために、図５では、車両１の移動距離が実際よりも長く表示されている。従って、実際には、時刻Ｔａの撮影俯瞰画像の多くの部分が時刻Ｔｂの撮影俯瞰画像に重なっており、履歴画像として切り出されるのは、図示されているよりも小さな画像となる。

更に、時刻Ｔｃで新たな画像が車載カメラ１０Ｆ，１０Ｒによって撮影されると、その撮影画像から生成された撮影俯瞰画像が、車両１の前方および後方に表示される。また、図中に示されるように、時刻Ｔｃでは、時刻Ｔａおよび時刻Ｔｂの２つの撮影俯瞰画像が記憶されている。
車両１の死角領域の中で、時刻Ｔａの撮影俯瞰画像しか存在しない部分については、時刻Ｔａの撮影俯瞰画像から履歴画像を切り出すが、２つの撮影俯瞰画像が存在する部分については、新しい方の時刻Ｔｂの撮影俯瞰画像から履歴画像を切り出す。そして、これらの履歴画像を、車両１の左右の死角領域に表示する。
また、時刻Ｔｃの撮影俯瞰画像も履歴画像を切り出すために記憶しておく。

以降、時刻Ｔｄ、時刻Ｔｅについても同様に、車載カメラ１０Ｆ，１０Ｒが新たな画像を撮影する度に、撮影画像を視線変換して得られた撮影俯瞰画像を、車両１の前後の撮影領域に表示すると共に、履歴画像を切り出して死角領域に表示する。こうすることによって、車両１の周辺の全周に亘る俯瞰画像を表示することが可能となる。

もっとも、このようにして履歴画像を用いて俯瞰画像を表示する技術には、撮影画像中にノイズが載ると、その影響を強く受けてしまい、表示される俯瞰画像の画質が悪化するという弱点があった。
この理由について、図６を用いて説明する。例えば、時刻Ｔｂで車載カメラ１０Ｆが撮影した画像にノイズが載っていたとする。撮影画像にノイズが載っていれば、撮影俯瞰画像のノイズが載った画像となる。図中で時刻Ｔｂの撮影俯瞰画像に斜線が付されているのは、ノイズによって画質が悪化した画像であることを表している。

続いて、時刻Ｔｃで新たに撮影した画像にはノイズが載っていなかったとする。この場合、車両１の前方に表示される撮影俯瞰画像は、ノイズを含んだＴｂの撮影俯瞰画像から、ノイズを含まない時刻Ｔｃの撮影俯瞰画像に変更されるが、ノイズを含んだＴｂの撮影俯瞰画像は、履歴画像として今度は死角領域に表示される。
時刻Ｔｄ、時刻Ｔｅでも、全く同様なことが当て嵌まる。すなわち、ノイズを含んだＴｂの撮影俯瞰画像が履歴画像として使用される間は、悪い画質の状態が継続されてしまうことになる。
そこで、このような事態を回避するために、本実施例の画像表示装置１００では、次のような方法で、車両１の周辺の俯瞰画像を表示する。

Ｃ．第１実施例の俯瞰画像表示処理 ：
第１実施例の俯瞰画像表示処理の詳細な内容について説明する前に、処理の概要について予め説明しておく。
図７には、時刻Ｔａ〜時刻Ｔｄで得られた撮影画像に対して様々な処理が施されて、表示画面１１上に俯瞰画像として表示される様子が示されている。例えば、時刻Ｔａの撮影画像について説明すると、この撮影画像は視線変換されて撮影俯瞰画像に変換された後、履歴画像を切り出すために記憶される。また、得られた撮影俯瞰画像は、表示画面１１上で、車両１の前方（あるいは後方）の撮影領域に俯瞰画像として表示される。

ここで、時刻Ｔｂの撮影画像にノイズが載ったとすると、この撮影画像を視線変換して得られる撮影俯瞰画像もノイズを含む画像となる。このため、時刻Ｔｂの時点では、表示画面１１上の車両１の前方（あるいは後方）にはノイズを含んだ撮影俯瞰画像が表示される。
但し、第１実施例の俯瞰画像表示処理では、時刻Ｔｂの撮影俯瞰画像を記憶する代わりに、時刻Ｔａの撮影俯瞰画像を記憶する。もっとも、時刻Ｔａから時刻Ｔｂまでの間に車両１が移動している。そこで、時刻Ｔａの撮影俯瞰画像の中から、時刻Ｔｂの撮影俯瞰画像として使える部分を切り出して、時刻Ｔｂでの撮影俯瞰画像として記憶する。

そして、その後に履歴画像を切り出す際には、このようにして記憶された撮影俯瞰画像から、該当する部分の画像を切り出してやる。例えば、図７中に例示されているように、時刻Ｔｄでの俯瞰画像を表示する場合には、時刻Ｔａ〜時刻Ｔｃの撮影俯瞰画像として記憶されている画像の中から履歴画像を切り出してきて、表示画面１１上に表示する。
このようにすれば、履歴画像はノイズを含まない撮影俯瞰画像から切り出されることになる。このため、図６を用いて説明したように、ノイズを含んだ履歴画像が長期間に亘って表示されてしまう事態を、回避することが可能となる。

図８および図９には、上述した第１実施例の俯瞰画像表示処理のフローチャートが示されている。この処理は、画像表示装置１００によって実行される。
図示されるように、第１実施例の俯瞰画像表示処理を開始すると、先ず始めに車載カメラ１０Ｆおよび車載カメラ１０Ｒから、車両１の前方および後方の撮影画像を取得する（Ｓ１０１）。
続いて、車両１の移動情報を取得する（Ｓ１０２）。ここで、車両１の移動情報とは、操舵角センサー１２や、車速センサー１３、シフト位置センサー１４などから取得された情報である。

その後、車載カメラ１０Ｆ，１０Ｒから受け取った撮影画像にノイズが含まれているか否かを判定する（Ｓ１０３）。撮影画像中のノイズの有無は、画像成分を含んでいない部分を用いて判定する。すなわち、画像表示装置１００が車載カメラ１０Ｆ，１０Ｒから受け取る撮影画像の前後には、画像成分を含んでいない部分（いわゆるベタ画像の部分、あるいは同期のためのタイミング信号と画像成分との間の無信号の部分など）が存在する。ノイズが存在しなければ、この部分は一定値となっている筈であり、仮に、値が変動している場合には、それはノイズが載ったものと考えてよい。そして、画像成分を含まない部分にノイズが載っていれば、画像成分を含んだ部分にもノイズが載っていると考えることができる。Ｓ１０３では、このようにして、撮影画像のノイズの有無を判定する。

次に、画像表示装置１００は、車載カメラ１０Ｆ，１０Ｒから得た撮影画像を視線変換することによって、車両１の前方および後方の撮影領域についての撮影俯瞰画像を生成する（Ｓ１０４）。
そして、表示画面１１上で車載カメラ１０Ｆおよび車載カメラ１０Ｒの撮影領域に対応するフレームメモリーに、前方および後方の撮影俯瞰画像を書き込む（Ｓ１０５）。ここで、フレームメモリーとは、表示画面１１に画像を表示するために用いられるメモリー領域である。表示画面１１に表示される画像は一旦、フレームメモリー上に生成された後、映像信号として表示画面１１に出力されることによって、表示画面１１に表示される。フレームメモリー上の１つ１つのアドレスは、表示画面１１上の１つ１つの画素と対応している。Ｓ１０５では、表示画面１１上で車載カメラ１０Ｆの撮影領域に対応するフレームメモリーの各アドレスには前方の撮影俯瞰画像を書き込み、車載カメラ１０Ｒの撮影領域に対応するフレームメモリーの各アドレスには後方の撮影俯瞰画像を書き込む。

続いて、撮影画像がノイズを有していたか否かを判断する（Ｓ１０６）。撮影画像は、車両１の前方に搭載された車載カメラ１０Ｆ、および車両１の後方に搭載された車載カメラ１０Ｒのそれぞれから得られるので、それぞれの撮影画像についてノイズの有無を判断する。
その結果、撮影画像がノイズを有していなかった場合は（Ｓ１０６：ｎｏ）、その撮影画像から生成された撮影俯瞰画像もノイズを有していないと考えて良いので、得られた撮影俯瞰画像をメモリーに記憶する（Ｓ１０７）。
尚、ノイズの有無を判断し、ノイズを有さないと判断した場合に撮影俯瞰画像を記憶する処理（Ｓ１０６、Ｓ１０７）は、車両１の前方および後方のそれぞれについて行う。例えば、車両１の前方および後方の撮影画像の何れもノイズを有していないと判断した場合は、前方および後方の撮影俯瞰画像をメモリーに記憶する。これに対して、何れか一方の撮影画像はノイズを有していないが、他方の撮影画像はノイズを有すると判断した場合は、ノイズを有しない方の撮影画像から得られた撮影俯瞰画像をメモリーに記憶し、他方の撮影俯瞰画像はメモリーに記憶しない。
また、撮影俯瞰画像は、車載カメラ１０Ｆ，１０Ｒが画像を撮影する度に生成されて記憶されるので、Ｓ１０７では、複数の撮影俯瞰画像間で、画像が記憶された（あるいは生成された）タイミングの前後関係を識別可能な状態で（たとえばタイムスタンプと共に）メモリーに記憶する。

一方、撮影画像がノイズを有していた場合は（Ｓ１０６：ｙｅｓ）、１つ前のタイミングで記憶された撮影俯瞰画像をメモリーから読み出す（Ｓ１０８）。
そして、１つ前のタイミングの撮影俯瞰画像の中から、今回のタイミングの撮影俯瞰画像に該当する部分を切り出す（Ｓ１０９）。車両１の移動情報はＳ１０２で既に取得してあるので、この情報に基づいて、１つ前のタイミングの撮影俯瞰画像の中から該当する部分を特定することができる。
こうして切り出した画像を、今回の撮影俯瞰画像として、他の撮影俯瞰画像との前後関係を識別可能な状態で、メモリーに記憶する（Ｓ１１０）。

尚、１つ前の撮影俯瞰画像から切り出された画像は、当然ながら、元の撮影俯瞰画像よりも小さな画像となるから、その画像を新たな撮影俯瞰画像として記憶すると画像の欠落部分が生じる。そこで、撮影俯瞰画像をメモリーに記憶する際には、この欠落部分を、予め設定しておいた所定の画像（例えば、真っ黒あるいは真っ白な画像）で埋めておく。

以上のようにして、撮影画像のノイズの有無に応じて撮影俯瞰画像を記憶したら（Ｓ１０７あるいはＳ１１０）、今度は、車両１が前進中か否かを判断する（図９のＳ１１１）。車両１が前進中か否かは、Ｓ１０２で取得した移動情報に基づいて容易に判断することができる。
その結果、車両１が前進中であった場合は（Ｓ１１１：ｙｅｓ）、車両１の前方に表示した過去の撮影俯瞰画像の中から、車両１の死角領域に該当する部分を写していた画像を選択する（Ｓ１１２）。尚、車両１の死角領域を含む撮影俯瞰画像は複数存在することが通常であるから、その場合は、最新の撮影俯瞰画像を選択する。
一方、車両１が後進中であった場合は（Ｓ１１１：ｎｏ）、車両１の後方に表示した過去の撮影俯瞰画像の中から、車両１の死角領域を含む最新の撮影俯瞰画像を選択する（Ｓ１１３）。

その後、こうして選択した撮影俯瞰画像の中から、車両１の死角領域に対応する画像（履歴画像）を切り出す（Ｓ１１４）。車両１の移動情報はＳ１０２で既に取得しているので、過去の撮影俯瞰画像の中から、現在の車両１の死角領域に該当する部分を決定することができる。
続いて、切り出した履歴画像を、表示画面１１上で車載カメラ１０Ｆおよび車載カメラ１０Ｒの死角領域に対応するフレームメモリーに書き込む（Ｓ１１５）。
また、車両１の前方および後方の撮影俯瞰画像は、図８のＳ１０５で既にフレームメモリーに書き込まれているので、履歴画像が書き込まれることによって、フレームメモリー上で表示画面１１に表示する画像が完成する。
そこで、画像表示装置１００は、フレームメモリー上の画像を表示画面１１に出力する（Ｓ１１６）。その結果、表示画面１１には、車両１の周辺を上方から見たような俯瞰画像が表示されることになる。

以上のようにして、フレームメモリー上の画像を表示画面１１に表示したら（Ｓ１１６）、車両１の周辺領域についての俯瞰画像の表示を終了するか否かを判断する（Ｓ１１７）。その結果、まだ表示を終了しない場合は（Ｓ１１７：ｎｏ）、処理の先頭に戻って、再び、車載カメラ１０Ｆ，１０Ｒによって得られた撮影画像を取得した後（図８のＳ１０１）、上述した続く一連の処理を実行する。
これに対して、表示を終了すると判断した場合は（図９のＳ１１７：ｙｅｓ）、第１実施例の俯瞰画像表示処理を終了する。

図１０には、上述した第１実施例の俯瞰画像表示処理によって表示画面１１に表示される俯瞰画像が例示されている。
図示されるように、ノイズが発生している間（図示した例では時刻Ｔｂ）は、車両１の前方にノイズを有する撮影俯瞰画像が表示される。しかし、第１実施例の俯瞰画像表示処理では、ノイズを有する撮影俯瞰画像は、履歴画像を切り出すための画像として記憶されることはないので、ノイズの影響が履歴画像に及ぶことはない。その結果、ノイズが発生しなくなると、その後は、ノイズのない撮影俯瞰画像および履歴画像を表示することが可能となる。
また、上述した第１実施例では、ノイズが発生している間はノイズを有する撮影俯瞰画像が表示されてしまうものの、そのこと自体は、たとえば車両１の前後左右に車載カメラを搭載する等して、履歴画像を用いずに俯瞰画像を表示する場合にも同様に起こり得る。このことから、上述した第１実施例によれば、履歴画像を用いて俯瞰画像を表示していながら、ノイズによる画質の悪化を、履歴画像を用いずに俯瞰画像を表示する従来の方式と同じ程度に抑制することが可能となる。

Ｄ．第２実施例の俯瞰画像表示処理 ：
上述した第１実施例の俯瞰画像表示処理では、撮影画像にノイズが検出された場合でも、その撮影画像を視線変換して、得られた撮影俯瞰画像を表示画面１１上に表示するものとして説明した。
しかし、撮影画像にノイズが検出された場合は、その画像については視線変換しないものとしても良い。

図１１には、第２実施例の俯瞰画像表示処理の概要が示されている。第２実施例の俯瞰画像表示処理においても、撮影画像を視線変換して、得られた撮影俯瞰画像を表示画面１１に表示すると共に、履歴画像を切り出すために記憶する。そして、車両１の移動に伴って、記憶しておいた撮影俯瞰画像から履歴画像を切り出して表示画面１１上に表示する。

ここで、第２実施例の俯瞰画像表示処理では、撮影画像にノイズが検出されると、その画像は視線変換せずに、記憶されている撮影俯瞰画像を読み出してきて、撮影俯瞰画像として使用する。図１１に示した例では、時刻Ｔｂの撮影画像にノイズが検出された場合が示されている。この場合、時刻Ｔｂの撮影画像からは撮影俯瞰画像は生成されることはない。その代わりに、時刻Ｔａの撮影俯瞰画像を読み出して、時刻Ｔｂの撮影俯瞰画像として使用する。
もっとも、時刻Ｔａから時刻Ｔｂまでの間に車両１が移動しているので、時刻Ｔａの撮影俯瞰画像の中から、時刻Ｔｂの撮影俯瞰画像として使える部分を切り出して、時刻Ｔｂでの撮影俯瞰画像として使用する。このため、時刻Ｔｂの撮影俯瞰画像には、図１１に示すように画像が欠落する部分が生じることになる。

そして、こうして得られた時刻Ｔｂの撮影俯瞰画像を表示画面１１に表示すると共に、その後の履歴画像を切り出すために、時刻Ｔｂの撮影俯瞰画像として記憶する。
こうすれば、撮影俯瞰画像および履歴画像の何れについても、ノイズを有さない画像を表示することが可能となる。以下では、このような第２実施例の俯瞰画像表示処理について、前述した第１実施例との相違点を中心として説明する。

図１２には、上述した第２実施例の俯瞰画像表示処理の前半部分のフローチャートが示されている。尚、第２実施例の俯瞰画像表示処理の後半部分については、図９を用いて前述した第１実施例と同様であるため、フローチャートの図示は省略した。また、第２実施例の俯瞰画像表示処理も、前述した第１実施例の俯瞰画像表示処理と同様に、画像表示装置１００によって実行される。

図１２に示されるように第２実施例の俯瞰画像表示処理においても、処理を開始すると、先ず始めに車載カメラ１０Ｆおよび車載カメラ１０Ｒから、車両１の前方および後方の撮影画像を取得し（Ｓ２０１）、続いて、車両１の移動情報を取得する（Ｓ２０２）。

その後、第２実施例の俯瞰画像表示処理では、車載カメラ１０Ｆ，１０Ｒから受け取った撮影画像にノイズが含まれているか否かを判定する（Ｓ２０３）。すなわち、前述した第１実施例の俯瞰画像表示処理では、撮影画像を視線変換して撮影俯瞰画像を生成してから、その撮影画像にノイズが含まれていたか否かを判定したが、第２実施例では、撮影画像を視線変換する前に、ノイズの有無を判定する。尚、ノイズの有無を判定する方法は、前述した第１実施例と同様な方法を用いることができる。

その結果、撮影画像がノイズを有していないと判断した場合は（Ｓ２０４：ｎｏ）、撮影画像を視線変換することによって撮影俯瞰画像を生成する（Ｓ２０５）。尚、撮影画像のノイズの有無を判定し、ノイズを有さないと判断した場合に撮影俯瞰画像を生成する処理（Ｓ２０４、Ｓ２０５）は、車載カメラ１０Ｆからの撮影画像、および車載カメラ１０Ｒからの撮影画像のそれぞれについて行う。
これに対して、撮影画像がノイズを有していると判断した場合は（Ｓ２０４：ｙｅｓ）、１つ前のタイミングで記憶された撮影俯瞰画像をメモリーから読み出して（Ｓ２０６）、その撮影俯瞰画像の中から、今回のタイミングの撮影俯瞰画像に該当する部分を切り出す（Ｓ２０７）。
また、切り出した画像には、画像が欠落した部分が存在するから、その部分を、予め設定しておいた所定の画像（例えば、真っ黒あるいは真っ白な画像）で埋めるなどして、欠落部分の表示態様を変更しておく（Ｓ２０８）。尚、欠落部分の表示態様は、通常とは異なることが容易に了解できるような適切な態様としておくことができる。

こうして、Ｓ２０５あるいはＳ２０８で得られた画像を、表示画面１１上で撮影領域に対応するフレームメモリーに書き込む（Ｓ２０９）。
更に、得られた画像を、撮影俯瞰画像として、画像が記憶された（あるいは生成された）タイミングの前後関係を識別可能な状態で（たとえばタイムスタンプと共に）メモリーに記憶する（Ｓ２１０）。
尚、Ｓ２０５あるいはＳ２０８で得られた画像をフレームメモリーに書き込んで（Ｓ２０９）、撮影俯瞰画像としてメモリーに記憶する処理（Ｓ２１０）は、車載カメラ１０Ｆ、１０Ｒから得られたそれぞれの画像について行う。

以降の処理は、前述した第１実施例の俯瞰画像表示処理と同様である。以下、図９を参照しながら簡単に説明すると、車両１が前進中か否かを判断する（図９のＳ１１１相当）。そして、車両１が前進中であった場合は（Ｓ１１１：ｙｅｓ相当）、車両１の前方に表示した過去の撮影俯瞰画像の中から、車両１の死角領域に該当する部分を写していた画像を選択する（Ｓ１１２相当）。
これに対して、車両１が後進中であった場合は（Ｓ１１１：ｎｏ相当）、車両１の後方に表示した過去の撮影俯瞰画像の中から、車両１の死角領域を含む最新の撮影俯瞰画像を選択する（Ｓ１１３相当）。

その後、選択した撮影俯瞰画像の中から、車両１の死角領域に対応する履歴画像を切り出して（Ｓ１１４相当）、表示画面１１上で死角領域に対応するフレームメモリーに書き込む（Ｓ１１５相当）。そして、画像表示装置１００は、フレームメモリー上の画像を表示画面１１に出力する（Ｓ１１６相当）。その結果、表示画面１１には、車両１の周辺を上方から見たような俯瞰画像が表示される。

続いて、俯瞰画像の表示を終了するか否かを判断し（Ｓ１１７相当）、表示を終了しない場合は（Ｓ１１７：ｎｏ相当）、図１２を用いて説明した第２実施例の俯瞰画像表示処理の先頭に戻る。
これに対して、表示を終了すると判断した場合は（図９のＳ１１７：ｙｅｓ相当）、第２実施例の俯瞰画像表示処理を終了する。

図１３には、上述した第２実施例の俯瞰画像表示処理によって表示画面１１に表示される俯瞰画像が例示されている。
図示した例では、時刻Ｔｂのタイミングでノイズが発生しているが、この時の撮影俯瞰画像には、時刻Ｔａで得られた画像が表示される（図１２のＳ２０４、Ｓ２０６、Ｓ２０９参照）。このため、第２実施例では、ノイズが発生している間も、表示画面１１にはノイズの無い俯瞰画像を表示することができる。
また、表示画面１１の表示されたノイズの無い撮影俯瞰画像が記憶されて（図１２のＳ２１０参照）、履歴画像が切り出されるので、その後に表示される履歴画像も、ノイズを含まない画像を表示することができる。

更に、時刻Ｔａの撮影俯瞰画像から切り出した画像を、時刻Ｔｂの撮影俯瞰画像として用いたことによる画像の欠落部分は、通常とは異なることが容易に了解できるように予め設定しておいた態様で表示される（図１２のＳ２０８参照）。
このため、画像の欠落部分が生じた場合でも、何らかの事情で意図的に表示されたものであることを認識させることができるので、機器の故障によるものと誤解される虞を抑制することが可能となる。

尚、上述した第２実施例については、幾つかの変形例が存在する。以下では、これら変形例について、第２実施例との相違点に焦点をあてて、簡単に説明する。

上述した第２実施例では、撮影画像のノイズが含まれていた場合、その撮影画像から生成された撮影俯瞰画像ではなく、過去の撮影画像から生成された撮影俯瞰画像を表示する。従って、車両１の前方あるいは後方の撮影範囲に移動物（たとえば動物やボール、歩行者など）が存在していた場合には、移動物については現在の位置ではなく、過去に存在していた位置を表示してしまうことになる。
そこで、現在の撮影俯瞰画像の代わりに、過去の撮影俯瞰画像を表示する場合には、撮影俯瞰画像の表示態様を、通常とは異なる態様（例えば、赤色がかった表示や、黄色がかった表示や、枠で囲って表示するなどの態様）としてもよい。
こうすれば、車両１の運転者は、表示画面１１上で車両１の前方あるいは後方に表示された撮影俯瞰画像が過去の画像であり、実際の状況とは異なる可能性があることを認識することが可能となる。

また、車両１の死角領域に表示される履歴画像についても、同様な事情が当て嵌まる。すなわち、履歴画像を用いて表示される俯瞰画像は、動かない障害物などと車両１との位置関係を把握するためには有効であるが、移動物については、過去の時点での位置関係を参考として表示しているに過ぎない。そこで、車両１の死角領域に表示される履歴画像については、車両１の前後の撮影領域に表示される撮影俯瞰画像とは異なる態様で表示される場合がある。
そこで、このように履歴画像を撮影俯瞰画像と異なる態様で表示する場合には、撮影俯瞰画像として過去の撮影俯瞰画像を表示する際には、過去の撮影俯瞰画像を履歴画像と同じ態様で表示するようにしても良い。

図１４には、このように、過去の撮影俯瞰画像を履歴画像と同じ態様で表示する第２実施例の変形例が示されている。
図示した例では、時刻Ｔｄでノイズが発生したために、時刻Ｔｃの撮影俯瞰画像の一部が切り出されて、車両１の前方の撮影俯瞰画像として表示されている。また、このときの撮影俯瞰画像の表示態様は、時刻Ｔｂや時刻Ｔｃでの履歴画像と同じ態様となっており、車両１の運転者には、あたかも履歴画像が車両１の前方まで拡大されたように感じられる。このため、車両１の前方の撮影領域に表示されているが、履歴画像と同様に過去の画像が表示されていることを、運転者に容易に認識させることが可能となる。

また、上述したように、撮影画像でノイズが検出された場合には、通常の表示態様とは異ならせて過去の撮影俯瞰画像を表示する場合には、ノイズが検出されなくなっても、所定期間の間は通常とは異なる態様で撮影俯瞰画像を表示するようにしても良い。
図１５には、このような第２実施例の変形例が示されている。図示した例では、時刻Ｔｂで撮影画像のノイズが検出されたために、時刻Ｔａでの撮影俯瞰画像の中から対応する部分が切り出されて、撮影俯瞰画像として表示されている。また、このときの撮影俯瞰画像の表示態様は、履歴画像と同じ態様となっている。

その後、時刻Ｔｃになると撮影画像のノイズは検出されなくなるので、その撮影画像を用いて生成した撮影俯瞰画像を表示する。この撮影俯瞰画像は、過去の撮影俯瞰画像ではなく現在の状況を表す画像であるが、履歴画像と同じ態様で表示する。時刻Ｔｄについても同様に、撮影画像中にノイズは検出されないので現在の状況を表す撮影俯瞰画像を表示するが、表示の態様は、履歴画像と同じ態様のままとする。そして、時刻Ｔｅになっても撮影画像中にノイズが検出されないことを確認して、ようやく撮影俯瞰画像の表示態様を通常の態様に復帰させる。

ノイズは単発的に発生するのではなく、時間間隔を空けて断続的に発生することが考えられる。このような場合に、ノイズが検出されなくなったからといって、撮影俯瞰画像の表示態様を直ちに通常の態様に戻していると、直ぐに再びノイズが検出されて、通常とは異なる態様に切り換えなければならなくなる。この結果、表示画面１１上での表示態様が短時間で何度も切り換わることになって、表示画面１１上の俯瞰画像が見難くなってしまう可能性がある。
そこで、撮影俯瞰画像の表示態様を通常とは異なる態様に切り換えた後は、その後、一滴期間に亘って、撮影画像にノイズが検出されないことを確認してから、通常の表示態様に戻してやる。こうすれば、断続的にノイズが発生した場合でも、表示画面１１上の俯瞰画像が見にくくなってしまうことを回避することが可能となる。

Ｅ．第３実施例の俯瞰画像表示処理 ：
上述した第１実施例あるいは第２実施例の俯瞰画像表示処理では、撮影画像のノイズが検出されると、その撮影画像を視線変換した撮影俯瞰画像の代わりに、過去の撮影俯瞰画像から切り出した画像を記憶するものとして説明した。例えば、第１実施例では、ノイズが検出された撮影画像についても視線変換するものの、得られた撮影俯瞰画像は記憶せずに別の画像を記憶した。また、第２実施例では、撮影画像にノイズが検出されるとその画像からは撮影俯瞰画像すら生成せずに、別の画像を撮影俯瞰画像として記憶した。
しかし、ノイズが検出された撮影画像についても視線変換して撮影俯瞰画像を生成し、得られた画像を記憶しても良い。このようにしても、撮影俯瞰画像から履歴画像を切り出す際の処理を工夫すれば、ノイズを有する履歴画像が表示されることを回避することが可能である。

図１６には、このような第３実施例の俯瞰画像表示処理の概要が示されている。第３実施例の俯瞰画像表示処理も、ノイズを有さない撮影画像についての処理は、前述した第１実施例あるいは第２実施例の俯瞰画像表示処理と同様である。すなわち、撮影画像を視線変換して撮影俯瞰画像を生成し、得られた撮影俯瞰画像を表示画面１１に表示すると共に、履歴画像を切り出すためにメモリーに記憶する。そして、車両１の移動に伴って、記憶しておいた撮影俯瞰画像から履歴画像を切り出して表示画面１１上に表示する。
これに対して、ノイズを有する撮影画像に対しては次のような処理を行う。

図１６に示した例では、時刻Ｔｂの撮影画像でノイズが検出されている。第３実施例の俯瞰画像表示処理では、ノイズが検出された撮影画像も、ノイズが検出されない撮影画像と同様に、視線変換して撮影俯瞰画像を生成する。そして、得られた撮影俯瞰画像を表示画面１１上に表示すると共にメモリーにも記憶する。
しかし、メモリーに記憶された撮影俯瞰画像から履歴画像を切り出す際には、ノイズを有する時刻Ｔｂの撮影俯瞰画像を避けて、それより前に（図示した例では時刻Ｔａに）得られた撮影俯瞰画像から履歴画像を切り出してやる。
こうすれば、表示画面１１上にはノイズを含まない履歴画像を表示することが可能となる。以下では、このような第３実施例の俯瞰画像表示処理について、前述した第１実施例あるいは第２実施例との相違点を中心として説明する。

図１７および図１８には、上述した第３実施例の俯瞰画像表示処理のフローチャートが示されている。尚、第３実施例の俯瞰画像表示処理も、前述した第１実施例および第２実施例の俯瞰画像表示処理と同様に、画像表示装置１００によって実行される。
図示されるように第２実施例の俯瞰画像表示処理においても、処理を開始すると、先ず始めに車載カメラ１０Ｆおよび車載カメラ１０Ｒから、車両１の前方および後方の撮影画像を取得し（Ｓ３０１）、続いて、車両１の移動情報を取得する（Ｓ３０２）。

その後、車載カメラ１０Ｆ，１０Ｒから受け取った撮影画像にノイズが含まれているか否かを判定する（Ｓ３０３）。
そして、ノイズの有無に拘わらず、撮影画像を視線変換して撮影俯瞰画像を生成し（Ｓ３０４）、得られた撮影俯瞰画像を、表示画面１１上で撮影領域に対応するフレームメモリーに書き込む（Ｓ３０５）。

続いて、第３実施例の俯瞰画像表示処理では、撮影俯瞰画像を、画像が生成されたタイミングの前後関係を識別可能な状態で（たとえばタイムスタンプと共に）メモリーに記憶する（Ｓ３０６）。このとき、その撮影俯瞰画像を生成するために用いた撮影画像からノイズが検出されていたか否かを示す情報も、撮影俯瞰画像と共に記憶する。
尚、撮影画像のノイズを検出してから撮影俯瞰画像を記憶するまでの一連の処理（Ｓ３０３〜Ｓ３０６）は、車載カメラ１０Ｆ、１０Ｒから得られたそれぞれの画像について行う。

その後、車両１が前進中か否かを判断する（Ｓ３０７）。そして、車両１が前進中であった場合は（Ｓ３０７：ｙｅｓ）、車両１の前方に表示した過去の撮影俯瞰画像の中から、車両１の死角領域に該当する部分を含む最新の撮影俯瞰画像を選択する（Ｓ３０８）。
そして、選択した撮影俯瞰画像のノイズの有無を判断する（Ｓ３０９）。上述したように、第３実施例の俯瞰画像表示処理では、撮影俯瞰画像を表示する際にノイズの有無に関する情報も記憶しているから、選択した撮影俯瞰画像がノイズを有するか否かは容易に判断することができる。
その結果、選択した撮影俯瞰画像がノイズを有する場合は（Ｓ３０９：ｙｅｓ）、選択した撮影俯瞰画像を、その画像よりも１つ前の撮影俯瞰画像に変更する（Ｓ３１０）。この処理について、図１９を用いて説明する。

図１９に示した例では、過去の撮影俯瞰画像として３つの画像が記憶されている。死角領域の履歴画像を切り出す際には、この中で最新の撮影俯瞰画像を選択して、その画像から死角領域に対応する部分を切り出すが、記憶されている中で最新の撮影俯瞰画像（現在から１つ前の撮影俯瞰画像）はノイズを有する画像（ノイズ画像）となっている。
そこで、もう１つ前の撮影俯瞰画像（現在から２つ前の撮影俯瞰画像）を選択する。図示されるように、過去の撮影俯瞰画像は、車両１が移動した分だけ互いに位置がずれているものの、画像の大部分は重複している。このため、もう１つ前の撮影俯瞰画像（現在から２つ前の撮影俯瞰画像）を選択した場合でも、死角領域に対応する履歴画像を切り出すことができる。また、現在から２つ前の撮影俯瞰画像もノイズを有する画像であった場合には、更にもう１つ前（現在から３つ前）の撮影俯瞰画像を選択すればよい。
図１７のＳ３１０では、以上のようにして履歴画像を切り出すための撮影俯瞰画像を選択する。
また、選択した撮影俯瞰画像がノイズを有していなかった場合は（Ｓ３０９：ｎｏ）、その撮影俯瞰画像を別の撮影俯瞰画像に変更するための処理（Ｓ３１０）は行わない。

以上では、車両１が前進中と判断した場合（Ｓ３０７：ｙｅｓ）について説明した。これに対して、車両１が後進中と判断した場合は（Ｓ３０７：ｎｏ）、車両１の後方に表示した過去の撮影俯瞰画像について、同様な処理を行う。すなわち、車両１の後方に表示した過去の撮影俯瞰画像の中から、死角領域に該当する部分を含む最新の撮影俯瞰画像を選択して（図１８のＳ３１２）、ノイズの有無を判断する（Ｓ３１３）。
その結果、選択した撮影俯瞰画像がノイズを有していなかった場合は（Ｓ３１３：ｎｏ）、選択した撮影俯瞰画像の中から履歴画像を切り出す（図１８のＳ３１１）。これに対して、選択した撮影俯瞰画像がノイズを有する場合は（Ｓ３１３：ｙｅｓ）、選択した撮影俯瞰画像を、その画像よりも前の撮影俯瞰画像に変更する（Ｓ３１４）。

こうして撮影俯瞰画像を選択したら（図１７のＳ３０８、Ｓ３１０、図１８のＳ３１２、Ｓ３１４）、その撮影俯瞰画像から死角領域に該当する部分の画像（履歴画像）を切り出す（Ｓ３１１）。そして、切り出した履歴画像を、表示画面１１上で車載カメラ１０Ｆおよび車載カメラ１０Ｒの死角領域に対応するフレームメモリーに書き込む（Ｓ３１５）。車両１の前方および後方の撮影俯瞰画像は、図１７のＳ３０５で既にフレームメモリーに書き込まれているので、履歴画像が書き込まれることによって、フレームメモリー上で表示画面１１に表示する画像が完成する。

そこで、画像表示装置１００は、フレームメモリー上の画像を表示画面１１に出力した後（Ｓ３１６）、車両１の周辺領域についての俯瞰画像の表示を終了するか否かを判断する（Ｓ３１７）。その結果、まだ表示を終了しない場合は（Ｓ３１７：ｎｏ）、処理の先頭に戻って、再び、車載カメラ１０Ｆ，１０Ｒによって得られた撮影画像を取得した後（図１７のＳ３０１）、上述した続く一連の処理を実行する。
これに対して、表示を終了すると判断した場合は（図１８のＳ３１７：ｙｅｓ）、第３実施例の俯瞰画像表示処理を終了する。

上述した第３実施例においても前述した第１実施例と同様に、ノイズを有する撮影俯瞰画像をフレームメモリーに書き込むので（図１７のＳ３０５）、ノイズが発生している間は、表示画面１１上ではノイズを有する撮影俯瞰画像が車両１の前方に表示される（図１６の時刻Ｔｂを参照）。しかし、第３実施例の俯瞰画像表示処理では、ノイズを有する撮影俯瞰画像は、履歴画像を切り出すための撮影俯瞰画像として選択されることはないので（図１７のＳ３０９、Ｓ３１０、図１８のＳ３１３、Ｓ３１４）、履歴画像がノイズを有する画像となることはない。その結果、ノイズが発生しなくなると、その後は、ノイズのない撮影俯瞰画像および履歴画像を表示することが可能となる。

また、上述した第３実施例では、履歴画像を切り出す際にノイズを有さない撮影俯瞰画像を選択するだけで、それ以外の処理については、ノイズの有無に拘わらず同じ処理内容となっている。このため、第３実施例では、俯瞰画像表示処理を簡素化することができるので、画像表示装置１００の処理負荷を軽減することが可能となる。

また、上述した第３実施例では、ノイズの有無に拘わらず、撮影画像から生成された撮影俯瞰画像を表示画面１１に表示するものとしているので、撮影画像にノイズが含まれている間は、ノイズを有する撮影俯瞰画像が表示画面１１上に表示される。
しかし、第３実施例においても、ノイズを含んだ撮影俯瞰画像が表示画面１１に表示されないようにすることもできる。

図２０には、第３実施例の変形例の俯瞰画像表示処理の概要が示されている。第３実施例の変形例においても、図１６に示した第３実施例と同様に、ノイズの有無に拘わらず撮影画像を視線変換して、得られた撮影俯瞰画像を記憶する。また、履歴画像を切り出すために過去の撮影俯瞰画像を選択する際に、選択した撮影俯瞰画像がノイズを含む画像であった場合には、その画像を、１つ前のタイミングで記憶された撮影俯瞰画像に変更する点でも、第３実施例の変形例と、第３実施例とは共通する。
しかし、第３実施例の変形例では、表示画面１１上で車両１の前後の撮影領域に表示しようとする撮影俯瞰画像がノイズを有する画像であった場合には、その画像の代わりに、１つ前の撮影俯瞰画像の中から該当する部分を切り出して、表示画面１１上に表示する。例えば、図２０に示した例では、時刻Ｔｂの撮影俯瞰画像にノイズが含まれているので、この画像の代わりに、時刻Ｔａの撮影俯瞰画像の中から時刻Ｔｂでの撮影領域に該当する部分の画像を切り出して、表示画面１１上に表示する。
こうすれば、撮影画像にノイズが含まれている間も、表示画面１１上にはノイズを含まない撮影俯瞰画像を表示することが可能となる。また、時刻Ｔａの撮影俯瞰画像の中から時刻Ｔｂでの撮影領域に該当する部分の画像を切り出す際に、画像が欠落する部分が生じるが、この部分については予め定めておいた画像を埋め込むようにしてもよい。

以上、各種の実施例および各種の変形例について説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

１…車両、 ２…操舵ハンドル、 １０Ｆ，１０Ｒ…車載カメラ、
１１…表示画面、 １２…操舵角センサー、 １３…車速センサー、
１４…シフト位置センサー、 １００…画像表示装置、
１０１…撮影画像取得部、 １０２…撮影俯瞰画像生成部、
１０３…画像表示部、 １０４…移動情報取得部、
１０５…ノイズ検出部、 １０６…撮影俯瞰画像記憶部、
１０７…履歴画像切出部。

Claims (10)

1. 車載カメラ（１０Ｆ，１０Ｒ）を用いて車両（１）の周辺領域を撮影した画像を、表示画面（１１）上に表示する車両周辺画像表示装置（１００）であって、
   前記車載カメラから撮影画像を取得する撮影画像取得手段（１０１）と、
   前記撮影画像に含まれるノイズの有無を判定するノイズ判定手段（１０５）と、
   前記撮影画像に対して、前記車載カメラに写った前記周辺領域を前記車両の上方から撮影した画像に変換する視線変換を施すことによって、撮影俯瞰画像を生成する撮影俯瞰画像生成手段（１０２）と、
   前記撮影俯瞰画像を、前記表示画面上で前記車載カメラが撮影した前記周辺領域に対応する位置に表示する撮影俯瞰画像表示手段（１０３）と、
   複数の前記撮影俯瞰画像を記憶する撮影俯瞰画像記憶手段（１０６）と、
   前記車両の移動量に関する移動情報を取得する移動情報取得手段（１０４）と、
   前記車両の周辺領域の中で前記車載カメラの死角となる死角領域については、前記車両が現在の位置に達する前に生成され且つ該死角領域を撮影した前記撮影俯瞰画像の中から該死角領域に対応する部分の画像である履歴画像を、前記移動情報に基づいて切り出す履歴画像切出手段（１０７）と、
   前記履歴画像を、前記表示画面上で前記死角領域に対応する位置に表示する履歴画像表示手段（１０３）と
   を備え、
   前記履歴画像切出手段は、前記ノイズを含まないと判定された前記撮影画像に基づく前記撮影俯瞰画像から前記履歴画像を切り出す手段である
   車両周辺画像表示装置。
2. 請求項１に記載の車両周辺画像表示装置であって、
   前記撮影俯瞰画像記憶手段は、複数の前記撮影俯瞰画像を、該撮影俯瞰画像が生成された順序を識別可能な状態で記憶する手段であり、
   前記履歴画像切出手段は、前記死角領域を撮影した最新の前記撮影俯瞰画像の中から前記履歴画像を切り出す手段である
   車両周辺画像表示装置。
3. 請求項１または請求項２に記載の車両周辺画像表示装置であって、
   前記撮影俯瞰画像記憶手段は、前記撮影画像が前記ノイズを含むと判定された場合には、既に記憶されている前記撮影俯瞰画像を、該ノイズを含む該撮影画像に基づく前記撮影俯瞰画像の代わりに記憶する手段である
   車両周辺画像表示装置。
4. 請求項１ないし請求項３の何れか一項に記載の車両周辺画像表示装置であって、
   前記撮影俯瞰画像記憶手段は、既に記憶されている前記撮影俯瞰画像を、前記ノイズを含む撮影画像に基づく前記撮影俯瞰画像の代わりに記憶する際には、該既に記憶されている撮影俯瞰画像の中から前記移動情報に基づいて対応する部分を切り出した画像を記憶する手段である
   車両周辺画像表示装置。
5. 請求項１ないし請求項４の何れか一項に記載の車両周辺画像表示装置であって、
   前記撮影俯瞰画像生成手段は、前記撮影画像が前記ノイズを含むと判定された場合には、該ノイズを含む該撮影画像に基づく前記撮影俯瞰画像を生成する代わりに、前記撮影俯瞰画像記憶手段に記憶されている前記撮影俯瞰画像の中から対応する部分の画像を切り出して、前記撮影画像に基づく前記撮影俯瞰画像として出力する手段である
   車両周辺画像表示装置。
6. 請求項５に記載の車両周辺画像表示装置であって、
   前記撮影俯瞰画像表示手段は、前記撮影俯瞰画像として、前記撮影俯瞰画像記憶手段に記憶されている前記撮影俯瞰画像の中から切り出された前記撮影画像を表示する場合には、通常の表示態様とは異なる態様で表示する手段である
   車両周辺画像表示装置。
7. 請求項６に記載の車両周辺画像表示装置であって、
   前記履歴画像表示手段は、前記撮影俯瞰画像表示手段が前記撮影俯瞰画像を表示する態様とは異なる態様で、前記履歴画像を表示する手段であり、
   前記撮影俯瞰画像表示手段は、前記撮影俯瞰画像として、前記撮影俯瞰画像記憶手段に記憶されている前記撮影俯瞰画像の中から切り出された前記撮影画像を表示する場合には、前記履歴画像表示手段が前記履歴画像を表示する態様で表示する手段である
   車両周辺画像表示装置。
8. 請求項６または請求項７に記載の車両周辺画像表示装置であって、
   前記撮影画像が前記ノイズを有すると判定されると、前記撮影画像が所定期間に亘って前記ノイズを含まないことを確認するノイズ確認手段（１０５）を備え、
   前記撮影俯瞰画像表示手段は、前記撮影俯瞰画像を通常とは異なる態様で表示した場合には、前記撮影画像が前記所定期間に亘って前記ノイズを含まないことが前記ノイズ確認手段で確認された後に、前記撮影俯瞰画像の表示態様を通常の態様に復帰させる手段である
   車両周辺画像表示装置。
9. 請求項２ないし請求項８の何れか一項に記載の車両周辺画像表示装置であって、
   前記履歴画像切出手段は、前記履歴画像を切り出そうとする前記撮影俯瞰画像が前記ノイズを含む前記撮影画像に基づいて生成された画像であった場合には、該撮影俯瞰画像よりも古い順序の前記撮影俯瞰画像から該履歴画像を切り出す手段である
   車両周辺画像表示装置。
10. 車載カメラを用いて車両の周辺領域を撮影した画像を、表示画面上に表示する車両周辺画像表示方法（Ｓ１００、Ｓ２００、Ｓ３００）であって、
    前記車載カメラから撮影画像を取得する撮影画像取得工程（Ｓ１０１、Ｓ２０１、Ｓ３０１）と、
    前記撮影画像に含まれるノイズの有無を判定するノイズ判定工程（Ｓ１０３、Ｓ２０３、Ｓ３０３）と、
    前記撮影画像に対して、前記車載カメラに写った前記周辺領域を前記車両の上方から撮影した画像に変換する視線変換を施すことによって、撮影俯瞰画像を生成する撮影俯瞰画像生成工程（Ｓ１０４、Ｓ２０５、Ｓ３０４）と、
    前記撮影俯瞰画像を、前記表示画面上で前記車載カメラが撮影した前記周辺領域に対応する位置に表示する撮影俯瞰画像表示工程（Ｓ１０５、Ｓ１１６、Ｓ２０９、Ｓ３０５、Ｓ３１６）と、
    複数の前記撮影俯瞰画像を記憶する撮影俯瞰画像記憶工程（Ｓ１０７、Ｓ２１０、Ｓ３０６）と、
    前記車両の移動量に関する移動情報を取得する移動情報取得工程（Ｓ１０２、Ｓ２０２、Ｓ３０２）と、
    前記車両の周辺領域の中で前記車載カメラの死角となる死角領域については、前記車両が現在の位置に達する前に生成され且つ該死角領域を撮影した前記撮影俯瞰画像の中から該死角領域に対応する部分の画像である履歴画像を、前記移動情報に基づいて切り出す履歴画像切出工程（Ｓ１１４、Ｓ３１１）と、
    前記履歴画像を、前記表示画面上で前記死角領域に対応する位置に表示する履歴画像表示工程（Ｓ１１５、Ｓ１１６、Ｓ３１５、Ｓ３１６）と
    を備え、
    前記履歴画像切出工程は、前記ノイズを含まないと判定された前記撮影画像に基づく前記撮影俯瞰画像から前記履歴画像を切り出す工程である
    車両周辺画像表示方法。

Images