JP2007249814A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】車両の乗員に対して移動体の存在を早期に認知させることのできる画像処理装置及びプログラムを提供する。
【解決手段】車両の後退走行中（Ｓ１０１：ＹＥＳ）、後方の撮影画像を座標変換して鳥瞰画像を生成し（Ｓ１０２）、生成した鳥瞰画像に、その鳥瞰画像よりも前の時点での撮影画像に基づき生成した鳥瞰画像である履歴画像を合成した周辺画像を生成する（Ｓ１０３）。また、車両の周辺に歩行者等の移動体が存在するか否かを判定し（Ｓ１０４）、移動体が存在すると判定した場合には（Ｓ１０４：ＹＥＳ）、移動体の存在を示唆する移動体画像を周辺画像に重畳する（Ｓ１０５）。こうして生成した画像を、表示用画像として出力する（Ｓ１０６）。
【選択図】図４

Description

本発明は、車両に搭載されて用いられる画像処理装置に関するものである。

従来、車両後方の状況を撮影するカメラを車両の後部に設置し、その撮影画像を運転席付近に設置されたモニタに表示させることにより後退走行中の運転を支援する車載システムが実現されている。このような車載システムでは、カメラの撮影画像をそのままモニタに表示させるようにすると、車両後方の状況をある程度把握することは可能となるものの、距離感がつかみにくい。このため、撮影画像を座標変換して鳥瞰画像（上方からほぼ真下に見下ろしたイメージの画像（上面画像））を生成し、その鳥瞰画像をモニタに表示させる構成が種々提案されている。

例えば、特許文献１には、車両の周辺全域をカバーするように車両の複数箇所にカメラを設置し、各カメラの撮影画像から生成した鳥瞰画像を合成してモニタに表示させる構成が開示されている。このようにすることで、単一のカメラの撮影画像から生成した鳥瞰画像のみをモニタに表示する構成に比べ、車両の周辺状況を表す周辺画像を広い範囲で表示することができる。

しかしながら、このような構成では、車両における複数の撮影位置からの撮影画像に基づく複数の鳥瞰画像を合成しているため、車両等の立体物が撮影対象領域に存在する場合には極めて不自然な画像が表示される。すなわち、撮影画像を鳥瞰画像に変換すると、撮影画像中の立体物は歪んで現れ、その歪み方はカメラと立体物との位置関係により大きく変化する。具体的には、カメラと立体物との距離が近いほど立体物は鳥瞰画像において大きく現れ、また、撮影方向に応じた方向に歪む。このため、異なる撮影位置からの撮影画像に基づく複数の鳥瞰画像を合成した画像は、各鳥瞰画像における立体物の現れ方が全く異なることにより非常に見にくいものとなり、運転者をかえって混乱させてしまうことが考えられる。

一方、特許文献２には、単一のカメラを用いて広い範囲の周辺画像を表示する構成が開示されている。具体的には、車両の後退走行に伴い、現時点での撮影画像から生成した鳥瞰画像に、過去の撮影画像から生成した鳥瞰画像である履歴画像を合成することにより、現時点での撮影画像から生成した鳥瞰画像のみよりも広い範囲の周辺画像を表示する。このような構成では、車両における一定の撮影位置からの撮影画像に基づく鳥瞰画像のみを用いるため、撮影時点の異なる複数の鳥瞰画像を合成しても、上述したように画像が非常に見にくいものとなるといった問題が生じにくい。
特開平３−９９９５２号公報 特開２００２−８７１６０号公報

しかしながら、上記特許文献２に記載の構成のように履歴画像を合成する構成では、履歴画像の部分に歩行者等の移動体が侵入しても、モニタに表示されている画像には反映されないため、運転者による移動体の認知が遅れてしまうという問題がある。

本発明は、こうした問題にかんがみてなされたものであり、車両の乗員に対して移動体の存在を早期に認知させることのできる画像処理装置及びプログラムを提供することを目的としている。

上記目的を達成するためになされた本発明の請求項１に記載の画像処理装置は、車両に搭載されて用いられるものであって、画像変換手段と、画像出力手段とを備えている。
画像変換手段は、車両における所定の撮影位置からの撮影画像を座標変換して鳥瞰画像を生成する。なお、車両における所定の撮影位置から車両の周辺状況を撮影する撮影手段（車載用の撮影手段）自体は公知であり、こうした撮影手段から画像を入力する構成とすることが可能である。

また、画像出力手段は、画像変換手段により生成された鳥瞰画像に、その鳥瞰画像よりも前の時点での撮影画像に基づき画像変換手段により生成された鳥瞰画像である履歴画像を合成し、その合成した周辺画像を表示用画像として出力する。なお、車両における運転者から視認可能な位置で画像を表示する表示手段（車載用の表示手段）自体は公知であり、こうした表示手段に表示用画像を表示させる構成とすることが可能である。

このような構成を備えた画像処理装置では、１つの撮影画像から生成した鳥瞰画像のみよりも広い範囲の周辺画像を表示用画像として出力することが可能となる。すなわち、車両における一定の撮影位置からの撮影画像であっても、車両の走行に伴う移動により撮影対象領域は変化するため、撮影時点の異なる撮影画像から生成した複数の鳥瞰画像を合成することで、広い範囲の周辺画像を生成することができるのである。

しかしながら、このような構成では、周辺画像における履歴画像（撮影時点の古い鳥瞰画像）の部分に歩行者等の移動体が侵入しても、周辺画像には移動体が反映されず、車両の乗員（主として運転者）による移動体の認知が遅れてしまうことが考えられる。

そこで、本発明の画像処理装置は、移動体判定手段を備えており、この移動体判定手段が、車両の周辺に移動体が存在するか否かを判定する。そして、上述した画像出力手段が、移動体判定手段により移動体が存在すると判定された場合には、移動体の存在を示唆する移動体画像を周辺画像に合成する。

このような構成の画像処理装置によれば、周辺画像における履歴画像の部分に移動体が侵入した場合に移動体画像が表示されることとなり、車両の乗員に対して移動体の存在を早期に認知させることができる。

具体的には、例えば請求項２に記載のように、移動体判定手段は、上述した撮影位置（鳥瞰画像を生成する画像の撮影位置）とは異なる位置からの撮影画像の時間的な変化に基づき車両の周辺に移動体が存在するか否かを判定する。そして、画像出力手段は、移動体判定手段により移動体が存在すると判定された場合には、その移動体が撮影された画像を移動体画像として周辺画像に合成する。このような構成の画像処理装置によれば、移動体の存在だけでなく移動体の外見についても車両の乗員に認知させることが可能となる。

特に、請求項３に記載のように、画像出力手段が、移動体が撮影された画像を座標変換して生成した鳥瞰画像を、移動体画像として周辺画像に合成するようにすれば、移動体画像が周辺画像と同じ視点で表されることとなる。この結果、移動体が存在する位置についても車両の乗員に認知させることが可能となる。

また、請求項４に記載のように、画像出力手段が、移動体画像を強調させる画像加工処理を行う構成では、移動体の存在を車両の乗員に一層確実に認知させることができる。なお、画像加工処理としては、例えば、移動体画像の外縁や周囲に枠を形成する処理や、移動体画像自体の色を変化させる処理などが挙げられる。

一方、移動体が存在するか否かの判定は、撮影画像に基づき行うことに限定されるものではない。例えば、請求項５に記載の画像処理装置では、移動体判定手段は、車両から発信される検出波（例えば超音波、ミリ波、レーザ光、近赤外線）の反射波の時間的な変化に基づき車両の周辺に移動体が存在するか否かを判定する。なお、検出波を発信してその反射波を受信する検出手段（反射波検出手段）自体は公知であり、こうした検出手段を利用することが可能である。

また、画像出力手段は、移動体判定手段により移動体が存在すると判定された場合には、あらかじめ記憶されている画像を移動体画像として周辺画像に合成する。なお、あらかじめ記憶されている画像としては、例えば、移動体が存在する旨の文字（メッセージ）や図形等の画像が挙げられる。このような構成の画像処理装置によれば、移動体が存在するか否かの判定を撮影手段を用いることなく行うことが可能となる。

一方、請求項６に記載のように、画像出力手段が、移動体判定手段により移動体が存在すると判定された場合には、周辺画像における履歴画像の一部又は全部を消去するようにしてもよい。このようにすれば、移動体の反映されていない履歴画像に基づき移動体が存在しないと誤認知されてしまうことを防ぐことができる。

また、車両の周辺状況として、特に車両後方の状況は確認しにくいため、請求項７に記載のように、画像変換手段により生成される鳥瞰画像は、車両の後方の状況を表す画像であることが好ましい。この構成によれば、後退走行中の安全性を向上させることができる。

さらに、請求項８に記載のように、画像出力手段が、車両を示す画像を周辺画像に合成する構成では、車両と移動体との位置関係を把握しやすくすることができる。
一方、請求項９に記載の画像処理プログラムは、請求項１から請求項８までのいずれか１項に記載の画像処理装置が備える画像変換手段、画像出力手段及び移動体判定手段としてコンピュータを機能させるものである。このような画像処理プログラムによれば、上述した画像処理装置としてコンピュータを機能させることができ、これにより上述した効果を得ることができる。

以下、本発明が適用された実施形態について、図面を用いて説明する。
［第１実施形態］
図１は、第１実施形態の周辺画像表示システムの概略構成を表すブロック図である。

同図に示すように、この周辺画像表示システムは、車両１に搭載されて用いられるものであり、撮影手段としての複数のカメラ１１〜１３と、検出手段としての複数のセンサ２１〜２４と、表示手段としてのモニタ３０と、画像処理手段としての画像処理装置４０とを備えている。

本周辺画像表示システムは、車両１の周辺状況を撮影する撮影手段として、後方カメラ１１と、右側方カメラ１２と、左側方カメラ１３とを備えている。
具体的には、図２（Ａ）に示すように、後方カメラ１１は、車両１の後端部（本実施形態ではリアバンパーにおけるナンバープレート上方位置）に設置されており、車両１の後方の状況を撮影する。

右側方カメラ１２は、車両１の右端部（本実施形態では右ドアミラーの先端位置）に設置されており、車両１の右側方の状況を撮影する。
左側方カメラ１３は、車両１の左端部（本実施形態では左ドアミラーの先端位置）に設置されており、車両１の左側方の状況を撮影する。

このように、右側方カメラ１２及び左側方カメラ１３は、車両１の周辺状況のうち、後方カメラ１１では撮影されない車両１の側方の状況を撮影することができる。なお、本実施形態では、各カメラ１１，１２，１３として、全方位（周囲３６０度）を撮影可能なレンズを有したＣＣＤカメラが用いられている。また、図２（Ａ）に示すように、後方カメラ１１の撮影画像から生成される鳥瞰画像の範囲（実線で区切られたグレーの範囲）と、右側方カメラ１２及び左側方カメラ１３による各撮影画像から生成される各鳥瞰画像の範囲（点線で囲まれた範囲）とは、一部重複している。

図１に戻り、本周辺画像表示システムは、車両１の走行状態を検出する検出手段（走行状態検出手段）として、車両１の走行速度を検出する車速センサ２１と、ヨーレートを検出するヨーレートセンサ２２とを備えている。さらに、運転操作の状態を検出する検出手段（運転操作検出手段）として、車両１の操舵角を検出するステアリングセンサ２３と、シフトレバーの位置を検出するシフトレバー位置センサ２４とを備えている。

また、本周辺画像表示システムは、車両１の乗員に対して画像を表示するための表示手段として、モニタ３０を備えている。このモニタ３０は、車両１の運転者から視認可能な位置に設置されている。

一方、本周辺画像表示システムの主要部を構成する画像処理装置４０は、制御部４１と、カメラインタフェース（Ｉ／Ｆ）４５と、車両インタフェース（Ｉ／Ｆ）４６と、表示インタフェース（Ｉ／Ｆ）４７と、これらを結ぶバス４８とを備える。

制御部４１は、ＣＰＵ４２、ＲＯＭ４３、ＲＡＭ４４等からなるマイクロコンピュータを中心に構成されている。ここで、ＲＯＭ４３には、後述する周辺画像表示処理（図４）をＣＰＵ４２に実行させるためのプログラムが記憶されている。

カメラインタフェース４５は、後方カメラ１１、右側方カメラ１２及び左側方カメラ１３から撮影画像を入力するためのインタフェースである。
車両インタフェース４６は、各種センサ２１〜２４から信号を入力するためのインタフェースである。なお、センサ２１〜２４からの信号は、直接入力されてもよく、また、車両１に搭載されている各種ＥＣＵ（電子制御装置）等を介して入力されてもよい。

表示インタフェース４７は、モニタ３０に表示させるための画像である表示用画像をモニタ３０へ出力するためのインタフェースである。
以上のような構成を備えた本実施形態の周辺画像表示システムは、車両１の後退走行中に、車両１の後方の状況をモニタ３０に表示する機能を有する。具体的には、図２（Ｂ）等に示すように、あらかじめ記憶されている車両１を示す画像（車両１を上方から真下に見下ろした画像であって少なくとも車両１の外形を表すもの）が中央部やや上方よりの位置に固定的に配置された表示用画像をモニタ３０に表示する。そして、表示用画像における車両１の後方部分には、後方カメラ１１の撮影画像から生成した鳥瞰画像が、現時点での車両１の後方の状況を表す周辺画像として表示される。このため、後退走行開始時には、車両１の後方部分の周辺画像のみが表示されることとなるが（図２（Ａ）参照）、車両１の後退走行に伴い過去の鳥瞰画像を履歴画像として残存させることにより、周辺画像の表示範囲が拡張されていく（図２（Ｂ）参照）。また、本実施形態の周辺画像表示システムは、右側方カメラ１２又は左側方カメラ１３の撮影対象領域において移動体を検出した場合に、移動体の画像を周辺画像に重畳してモニタ３０に表示することを特徴としている（図３（Ｃ）参照）。

このような機能を実現するために、画像処理装置４０のＣＰＵ４２が定期的（例えば１００ｍｓごと）に実行する周辺画像表示処理について、図４のフローチャートを用いて説明する。

この周辺画像表示処理が開始されると、まず、Ｓ１０１で、シフトレバー位置センサ２４からの信号に基づき、シフトレバーの位置がリバース「Ｒ」であるか否かを判定する。
そして、Ｓ１０１で、シフトレバーの位置がリバースでないと判定した場合には、そのまま本周辺画像表示処理を終了する。

一方、Ｓ１０１で、シフトレバーの位置がリバースであると判定した場合には、Ｓ１０２へ移行し、後方カメラ１１の撮影画像を入力し、この撮影画像を座標変換して鳥瞰画像を生成する。これにより、現時点での車両１の後方の状況（後方カメラ１１の撮影対象領域における状況）を表す鳥瞰画像が生成される。

続いて、Ｓ１０３では、Ｓ１０２で生成した現時点での状況を表す鳥瞰画像に、その鳥瞰画像よりも前の時点での撮影画像から生成した鳥瞰画像である履歴画像を合成することにより、車両１の周辺状況を表す周辺画像（周辺状況を表す鳥瞰画像）を生成する。具体的には、車速センサ２１、ヨーレートセンサ２２及びステアリングセンサ２３からの信号に基づき、前回の周辺画像表示処理から今回の周辺画像表示処理までの間における車両１の移動ベクトル（移動距離及び移動方向）を算出する。そして、その算出した移動ベクトルに合わせて、前回の周辺画像表示処理におけるＳ１０３で生成した周辺画像の位置（表示用画像における位置）をずらし、Ｓ１０２で生成した現時点での鳥瞰画像を一定の位置に重畳する。つまり、撮影時点の異なる（換言すれば撮影対象領域の異なる）複数の鳥瞰画像を互いの位置関係が整合するようにつなぎ合わせることで、周辺画像の表示範囲を拡張するのである。この結果、車両１の後退走行に伴い、周辺画像の表示範囲が車両１の前方方向へ拡張され（図２（Ａ）→図２（Ｂ））、車両１の側方における状態が把握しやすくなる。なお、シフトレバーがリバースにされてから車両が走行（移動）を開始するまでの間は周辺画像の表示範囲が拡張されないため、Ｓ１０２で生成した鳥瞰画像が本Ｓ１０３で生成される周辺画像となる。

続いて、Ｓ１０４では、右側方カメラ１２及び左側方カメラ１３の撮影画像に基づき、車両１の周辺に移動体が存在するか否かを判定する。具体的には、右側方カメラ１２及び左側方カメラ１３の各撮影画像について、時間的な変化に基づき移動体が存在するか否かを判定する。すなわち、移動体が存在しない場合には、車両１の停止中は撮影画像が変化せず、車両１の走行中は撮影画像に含まれる画素が一定方向に移動する。これに対し、移動体が存在する場合には、撮影画像に含まれる一部の画素が他の画素とは異なった移動態様となるため、移動体として検出することが可能となる。

そして、Ｓ１０４で、移動体が存在すると判定した場合には、Ｓ１０５へ移行し、移動体の撮影画像を周辺画像に重畳した後、Ｓ１０６へ移行する。具体的には、まず、移動体が撮影された画像を座標変換して鳥瞰画像を生成する。そして、その鳥瞰画像のうち移動体と認識した部分のみを切り取ることにより、移動体の存在を示唆する移動体画像を生成する。こうして生成した移動体画像に、その周囲を囲む点線の長方形枠を形成する画像加工処理を施した後、Ｓ１０３で生成した周辺画像に重畳する。例えば、モニタ３０に表示されている画像が図２（Ｂ）の状態において左側方カメラ１３の撮影領域に歩行者が進入した場合、右側方カメラ１２の撮影画像では歩行者は検出されないが（図３（Ａ））、左側方カメラ１３の撮影画像では歩行者が検出される（図３（Ｂ））。この結果、左側方カメラ１３により撮影された歩行者が周辺画像に重畳される（図３（Ｃ））。なお、左側方カメラ１３（又は右側方カメラ１２）の鳥瞰画像の範囲と後方カメラ１１の鳥瞰画像の範囲との重複部分で歩行者が検出された場合には、左側方カメラ１３（又は右側方カメラ１２）の撮影画像から生成された移動体画像が後方カメラ１１の鳥瞰画像に重畳される（図５（Ａ））。

一方、Ｓ１０４で、移動体が存在しないと判定した場合には、そのままＳ１０６へ移行する。
Ｓ１０６では、生成した画像を表示用画像としてモニタ３０へ出力する処理を行う。これにより、表示用画像がモニタ３０に表示される。その後、本周辺画像表示処理を終了する。

なお、第１実施形態の周辺画像表示システムでは、周辺画像表示処理（図４）におけるＳ１０２の処理を実行するＣＰＵ４２が、本発明の画像変換手段に相当し、Ｓ１０３、Ｓ１０５及びＳ１０６の処理を実行するＣＰＵ４２が、本発明の画像出力手段に相当し、Ｓ１０４の処理を実行するＣＰＵ４２が、本発明の移動体判定手段に相当する。

以上説明したように、第１実施形態の周辺画像表示システムは、車両１の周辺に移動体が存在するか否かを判定し（Ｓ１０４）、移動体が存在すると判定した場合には（Ｓ１０４：ＹＥＳ）、移動体が撮影された画像を座標変換して鳥瞰画像を生成し、周辺画像に重畳する（Ｓ１０５）。このため、本周辺画像表示システムによれば、移動体の存在位置及びその外見を車両１の乗員に早期に認知させることができる。この結果、後退走行中の安全性を向上させることができる。特に、本周辺画像表示システムでは、移動体画像の周囲に枠を形成して強調させるようにしているため、移動体の存在を車両１の乗員に一層確実に認知させることができる。

なお、上記第１実施形態の周辺画像表示システムでは、移動体画像の周囲を点線の長方形枠で囲むことにより移動体画像を強調させるようにしているが、これに限定されるものではない。例えば、移動体画像自体の色を、実際の色とは異なる色（例えば赤みがかった色）に変更する画像加工処理を行うことにより強調させるようにしてもよい。特に、移動体画像の色を、時間の経過に伴い変化させる（例えば原色と画像加工処理後の色とを交互に切り替えることで点滅させる）ようにすれば、車両１の乗員に認知させやすくすることができる。

また、移動体画像を表示する場合には、周辺画像における履歴画像の一部又は全部を消去するようにしてもよい。具体的には、例えば、右側方カメラ１２の撮影画像に基づき移動体画像を表示する場合には、右側方カメラ１２の撮影領域部分の履歴画像（車両１の右側の履歴画像）を消去する。また、左側方カメラ１３の撮影画像に基づき移動体画像を表示する場合には、左側方カメラ１３の撮影領域部分の履歴画像（車両１の左側の履歴画像）を消去する。このようにすれば、移動体の反映されていない履歴画像に基づき移動体が存在しないと誤認知されてしまうことを防ぐことができる。

さらに、上記第１実施形態の周辺画像表示システムでは、右側方カメラ１２又は左側方カメラ１３の撮影画像から鳥瞰画像を生成し、移動体と認識した部分のみを重畳するようにしているが、これに限定されるものではない。例えば、撮影画像から生成した鳥瞰画像全体を重畳することも可能である。また、鳥瞰画像に変換せずに原画像を重畳するようにしてもよい。また、例えば、図５（Ｂ）に示すように、移動体が検出された側の履歴画像を消去し、移動体の存在をドアミラーに映る画像の形に変換して表示（電子ミラー表示）すれば、車両１の乗員に移動体の存在を直感的に把握させることができる。

一方、車両１に設置されるカメラの位置や数は、上記第１実施形態の構成に限定されるものでないことはもちろんである。
［第２実施形態］
次に、第２実施形態の周辺画像表示システムについて説明する。

図６は、第２実施形態の周辺画像表示システムの概略構成を表すブロック図である。
同図に示すように、この周辺画像表示システムは、上記第１実施形態の周辺画像表示システム（図１）と比較すると、右側方カメラ１２及び左側方カメラ１３を備えていない点と、クリアランスソナー２５を備えている点とが異なる。その他、共通する構成については同一符号を付しており詳細な説明は省略する。

本周辺画像表示システムは、検出波としての超音波を発信し、その反射波を受信することにより物体の存在を検出する反射波検出手段としてのクリアランスソナー２５を備えている。このクリアランスソナー２５は、少なくとも車両１の右側方及び左側方に存在する物体を検出可能に構成されている。

ここで、画像処理装置４０のＣＰＵ４２が定期的（例えば１００ｍｓごと）に実行する周辺画像表示処理について、図７のフローチャートを用いて説明する。なお、この周辺画像表示処理におけるＳ２０１〜Ｓ２０３，Ｓ２０６の各処理は、上記第１実施形態の周辺画像表示処理におけるＳ１０１〜Ｓ１０３，Ｓ１０６の各処理と同じである。

この周辺画像表示処理が開始されると、まず、Ｓ２０１で、シフトレバー位置センサ２４からの信号に基づき、シフトレバーの位置がリバース「Ｒ」であるか否かを判定する。
そして、Ｓ２０１で、シフトレバーの位置がリバースでないと判定した場合には、そのまま本周辺画像表示処理を終了する。

一方、Ｓ２０１で、シフトレバーの位置がリバースであると判定した場合には、Ｓ２０２へ移行し、後方カメラ１１の撮影画像を入力し、この撮影画像を座標変換して鳥瞰画像を生成する。これにより、現時点での車両１の後方の状況（後方カメラ１１の撮影対象領域における状況）を表す鳥瞰画像が生成される。

続いて、Ｓ２０３では、Ｓ２０２で生成した現時点での状況を表す鳥瞰画像に、その鳥瞰画像よりも前の時点での撮影画像から生成した鳥瞰画像である履歴画像を合成することにより周辺画像を生成する。

続いて、Ｓ２０４では、クリアランスソナー２５からの信号に基づき、車両１の周辺に移動体が存在するか否かを判定する。具体的には、クリアランスソナー２５の検出信号の時間的な変化に基づき移動体が存在するか否かを判定する。すなわち、移動体が存在していない場合には、車両１の停止中はクリアランスソナー２５により検出される物体の位置が変化せず、車両１の走行中はクリアランスソナー２５により検出される物体が車両１の移動に伴い移動する。これに対し、移動体が存在している場合には、クリアランスソナー２５により検出される物体の位置が車両１の移動とは無関係に移動するため、移動体として検出することが可能となる。

そして、Ｓ２０４で、移動体が存在すると判定した場合には、Ｓ２０５へ移行し、あらかじめ記憶されている移動体画像（「目視にて確認してください」とのメッセージを表す画像）を、Ｓ２０３で生成した周辺画像に重畳する（図５（Ｃ）参照）。その後、Ｓ２０６へ移行する。

一方、Ｓ２０４で、移動体が存在しないと判定した場合には、そのままＳ２０６へ移行する。
Ｓ２０６では、生成した画像を表示用画像としてモニタ３０へ出力する処理を行う。これにより、表示用画像がモニタ３０に表示される。その後、本周辺画像表示処理を終了する。

以上説明したように、第２実施形態の周辺画像表示システムは、右側方カメラ１２及び左側方カメラ１３を備えていない代わりにクリアランスソナー２５を備えた構成により、上記第１実施形態の周辺画像表示システムと同様の効果を奏する。

なお、第２実施形態の周辺画像表示システムでは、周辺画像表示処理（図７）におけるＳ２０２の処理を実行するＣＰＵ４２が、本発明の画像変換手段に相当し、Ｓ２０３、Ｓ２０５及びＳ２０６の処理を実行するＣＰＵ４２が、本発明の画像出力手段に相当し、Ｓ２０４の処理を実行するＣＰＵ４２が、本発明の移動体判定手段に相当する。

［他の形態］
以上、本発明の実施形態について説明したが、本発明は、種々の形態を採り得ることは言うまでもない。

上記各実施形態の周辺画像表示システムでは、鳥瞰画像の生成処理、周辺画像の生成処理、及び、移動体画像の重畳処理をすべて同一の装置（画像処理装置４０）で行うようにしているが、これに限定されるものではない。例えば、後方カメラ１１として、撮影画像を座標変換して鳥瞰画像を生成する手段を内蔵したものを用いれば、画像処理装置４０で撮影画像から鳥瞰画像を生成する必要がない。

また、上記実施形態の周辺画像表示システムでは、車両１の後方の状況を表示する例について説明したが、これに限定されるものではなく、例えば、車両１の前方の状況を表示する構成に適用することも可能である。

第１実施形態の周辺画像表示システムの概略構成を表すブロック図である。 表示用画像及びカメラの配置の説明図である。 右側方カメラ及び左側方カメラの撮影画像並びに移動体画像の表示された表示用画像を表す説明図である。 第１実施形態の周辺画像表示処理のフローチャートである。 表示用画像の説明図である。 第２実施形態の周辺画像表示システムの概略構成を表すブロック図である。 第２実施形態の周辺画像表示処理のフローチャートである。

符号の説明

１…車両、１１…後方カメラ、１２…右側方カメラ、１３…左側方カメラ、２１…車速センサ、２２…ヨーレートセンサ、２３…ステアリングセンサ、２４…シフトレバー位置センサ、２５…クリアランスソナー、３０…モニタ、４０…画像処理装置、４１…制御部、４２…ＣＰＵ、４３…ＲＯＭ、４４…ＲＡＭ

Claims (9)

1. 車両に搭載されて用いられる画像処理装置であって、
   前記車両における所定の撮影位置からの撮影画像を座標変換して鳥瞰画像を生成する画像変換手段と、
   前記画像変換手段により生成された鳥瞰画像に、その鳥瞰画像よりも前の時点での撮影画像に基づき前記画像変換手段により生成された鳥瞰画像である履歴画像を合成した周辺画像を表示用画像として出力する画像出力手段と、
   前記車両の周辺に移動体が存在するか否かを判定する移動体判定手段と、
   を備え、
   前記画像出力手段は、前記移動体判定手段により移動体が存在すると判定された場合には、移動体の存在を示唆する移動体画像を前記周辺画像に合成すること
   を特徴とする画像処理装置。
2. 前記移動体判定手段は、前記車両における前記撮影位置とは異なる位置からの撮影画像の時間的な変化に基づき前記車両の周辺に移動体が存在するか否かを判定し、
   前記画像出力手段は、前記移動体判定手段により移動体が存在すると判定された場合には、その移動体が撮影された画像を前記移動体画像として前記周辺画像に合成すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記画像出力手段は、前記移動体が撮影された画像を座標変換して生成した鳥瞰画像を、前記移動体画像として前記周辺画像に合成すること
   を特徴とする請求項２に記載の画像処理装置。
4. 前記画像出力手段は、前記移動体画像を強調させる画像加工処理を行うこと
   を特徴とする請求項２又は請求項３に記載の画像処理装置。
5. 前記移動体判定手段は、前記車両から発信される検出波の反射波の時間的な変化に基づき前記車両の周辺に移動体が存在するか否かを判定し、
   前記画像出力手段は、前記移動体判定手段により移動体が存在すると判定された場合には、あらかじめ記憶されている画像を前記移動体画像として前記周辺画像に合成すること
   を特徴とする請求項１に記載の画像処理装置。
6. 前記画像出力手段は、前記移動体判定手段により移動体が存在すると判定された場合には、前記周辺画像における前記履歴画像の一部又は全部を消去すること
   を特徴とする請求項１から請求項５までのいずれか１項に記載の画像処理装置。
7. 前記画像変換手段により生成される鳥瞰画像は、前記車両の後方の状況を表す画像であること
   を特徴とする請求項１から請求項６までのいずれか１項に記載の画像処理装置。
8. 前記画像出力手段は、前記車両を示す画像を前記周辺画像に合成すること
   を特徴とする請求項１から請求項７までのいずれか１項に記載の画像処理装置。
9. 請求項１から請求項８までのいずれか１項に記載の画像処理装置が備える画像変換手段、画像出力手段及び移動体判定手段としてコンピュータを機能させることを特徴とする画像処理プログラム。