JP2008238927A - 車両周辺画像表示装置 - Google Patents

Abstract

【課題】複数のカメラを備えることなく車両周辺の移動体を広範囲で検出して表示するとともに、より有益な画像表示を行う。
【解決手段】車両周辺を広角度で撮影する広角カメラにより撮影された画像から地上を移動する移動体を検出し、地上を移動する移動体が検出されたと判定された場合、広角カメラにより撮影された画像の全体を表示し、地上を移動する移動体が検出されていないと判定された場合には、広角カメラの撮影画像に対して所定の処理を施した画像を表示する。
【選択図】図２

Description

本発明は、車両に搭載されたカメラにより車両の周囲状況を撮影して表示する車両周辺画像表示装置に関する。

従来、車両に搭載されたカメラにより車両の周囲状況を撮影して画像表示する車両周辺画像表示装置として、車両に搭載されたカメラにより車両の周囲状況を画像情報として検出するとともに車両の周囲で該車両に対して相対移動する移動体を検出し、車両の周囲状況の表示画面中の移動体の存在する画像領域に強調表示を加えて画像表示する装置がある（例えば、特許文献１参照）。
特許第３４３１６７８号公報

特許文献１に記載された装置は、車両に複数のカメラを搭載して車両周辺の各方面を撮影し、車両周辺の移動体を検出するようになっているが、複数のカメラを備えるのは部品点数の増加や組み付けコストの増加につながるため好ましくない。

より視野角の広い広角カメラを車両に搭載して車両周辺を撮影すれば、複数のカメラを備えることなくより広範囲で移動体を検出して表示することが可能であるが、広角カメラを用いて撮影された画像は被写体が小さく映し出されるため、常時、このような広角カメラを用いて撮影された画像を表示しても無駄である。

本発明は上記点に鑑みたもので、複数のカメラを備えることなく車両周辺の移動体を広範囲で検出して表示するとともに、より有益な画像表示を行うことが可能な車両周辺画像表示装置を提供することを目的とする。

本発明の第１の特徴は、車両周辺を広角度で撮影する広角カメラと、広角カメラにより撮影された画像から地上を移動する移動体を検出する移動体検出手段と、移動体検出手段の検出結果から移動体が検出されたか否かを判定する移動体検出判定手段と、移動体検出判定手段により移動体が検出されたと判定された場合、広角カメラにより撮影された画像の全体を表示手段に表示させ、移動体が検出されていないと判定された場合、広角カメラの撮影画像に対して所定の処理を施した画像を表示手段に表示させる表示制御手段と、を備えたことである。

このような構成では、車両周辺を広角度で撮影する広角カメラにより撮影された画像から地上を移動する移動体を検出し、地上を移動する移動体が検出されたと判定された場合、広角カメラにより撮影された画像の全体が表示されるので、複数のカメラを備えることなく車両周辺の移動体を広範囲で検出して表示することができる。また、地上を移動する移動体が検出されていないと判定された場合には、広角カメラの撮影画像に対して所定の処理を施した画像が表示されるので、より有益な画像表示を行うことが可能である。

また、本発明の第２の特徴は、移動体検出判定手段は、移動体検出手段により移動体が検出された場合、直ちに移動体が検出されたと判定し、移動体が検出されない状態が予め定められた期間よりも長く継続した場合、移動体が検出されていないと判定することである。

移動体が検出された場合に直ちに移動体が検出されたと判定し、移動体が検出されない場合に直ちに移動体が検出されていないと判定すると、表示画像が頻繁に切り替わり乗員に煩わしさを感じさせてしまう可能性があるが、移動体が検出された場合に直ちに移動体が検出されたと判定し、移動体が検出されない状態が予め定められた期間よりも長く継続した場合に移動体が検出されていないと判定するので、表示画像が頻繁に切り替わるような状況を防止することができる。

また、本発明の第３の特徴は、表示制御手段は、移動体検出判定手段により移動体が検出されたと判定された場合、広角カメラにより撮影された画像に含まれる移動体の位置に強調表示画像を加えることである。

このような構成では、広角カメラにより撮影された画像に含まれる移動体の位置に強調表示画像が加えられるので、乗員は移動体の位置を容易に認識することが可能である。

また、本発明の第４の特徴は、移動体検出判定手段により移動体が検出されたと判定された場合、移動体が検出されたことを音声出力手段から音声出力させる第１の音声制御手段を備えたことである。

このような構成では、移動体が検出されたことが音声出力されるので、乗員はより確実に移動体が検出されたことを認識することができる。

また、本発明の第５の特徴は、表示制御手段は、移動体検出判定手段により移動体が検出されていないと判定された場合、広角カメラの撮影画像から撮影画像の一部を拡大した画像を表示手段に表示させることである。

広角カメラを用いて撮影された画像は被写体が小さく映し出されるが、広角カメラの撮影画像から撮影画像の一部を拡大した画像が表示されるので、視認性を確保することができる。

また、本発明の第６の特徴は、広角カメラにより撮影された画像から歩行者を検出する歩行者検出手段と、歩行者検出手段の検出結果から歩行者が検出されたか否かを判定する歩行者検出判定手段と、を備え、表示制御手段は、歩行者検出判定手段によって歩行者が検出されたと判定された場合、広角カメラにより撮影された画像に含まれる歩行者の位置に強調表示画像を加えることである。

このような構成では、歩行者が検出されたと判定された場合、広角カメラにより撮影された画像に含まれる歩行者の位置に強調表示画像が加えられるので、乗員は歩行者の位置を容易に認識することが可能である。

また、本発明の第７の特徴は、車両が移動する領域を予測した予測軌跡線を算出する走行軌跡線算出手段を備え、歩行者検出手段は、走行軌跡線算出手段によって算出された予測軌跡線により囲まれる領域を検出範囲として歩行者の検出を行うことである。

このような構成では、予測軌跡線により囲まれる領域を検出範囲として歩行者の検出が行われるので、歩行者検出のための処理負荷の低減を図ることができる。

また、本発明の第８の特徴は、歩行者検出判定手段によって歩行者が検出されたと判定された場合、歩行者が検出されたことを音声出力手段から音声出力させる第２の音声制御手段を備えたことである。

このような構成では、歩行者が検出されたことが音声出力されるので、乗員はより確実に歩行者が検出されたことを認識することができる。

（第１実施形態）
本発明の第１実施形態に係る車両周辺画像表示装置の構成を図１に示す。本車両周辺画像表示装置１は、広角カメラ１０、スピーカ１１、表示装置１２および制御部１３を備えている。

広角カメラ１０は、車両の後方に取り付けられ、広角レンズを用いて車両後方の周辺を広角度で撮影した画像を制御部１３へ送出する。車両に搭載される車両後方カメラは１２０度の水平画角を有するものが多いが、本実施形態の広角カメラ１０は１８０度の水平画角を有しており、より広角度で車両周辺を撮影するようになっている。

スピーカ１１は、制御部１３から入力される音声信号に応じた音声を出力する。

表示装置１２は、液晶等のディスプレイを有し、制御部１３から入力される画像信号に応じた画像をディスプレイに表示させる。

制御部１３は、ＣＰＵ、メモリ、Ｉ／Ｏ等を備えたコンピュータとして構成されており、ＣＰＵはメモリに記憶されたプログラムに従って各種処理を実施する。

また、制御部１３には、車両のシフトレバーのシフト位置を検知するシフト位置センサ（図示せず）から検知信号が入力されるようになっている。

図２に、本実施形態に係る制御部１３のフローチャートを示す。最初に、図２に従って、全体の処理について説明する。なお、制御部１３は、運転者のシフトレバーの操作に応じてシフト位置センサからシフトレバーがリバース（Ｒ）位置になされたことを示す検知信号が入力されると、図２に示す処理を開始する。

まず、広角カメラ１０によって撮影された画像を取得する（Ｓ１００）。具体的には、広角カメラ１０から送出される複数フレーム分の広角カメラ１０の撮影画像をメモリに記憶する。図３に、広角カメラ１０によって撮影された画像の一例を示す。図３に示されるような広角度で撮影された画像をメモリに記憶する。

そして、このような広角カメラ１０の撮影画像から地上を移動する移動体を検出する移動体検出処理（Ｓ２００）を実施し、この移動体検出処理の検出結果から移動体が検出されたか否かを判定する（Ｓ３００）。ここで、移動体が検出されたと判定された場合、警告処理（Ｓ４００）を実施した後、移動体検出結果の表示を行い（Ｓ５０２）、移動体が検出されていないと判定された場合、シーン画像表示（Ｓ５００）を実施する。

そして、シフト位置センサからシフトレバーがリバース（Ｒ）位置になされたことを示す検知信号が入力されたか否かに基づいてシフトレバーがリバース（Ｒ）位置であるか否かを判定し（Ｓ６００）、リバース位置になされていないと判定された場合には、Ｓ１００へ戻り、リバース位置になされたと判定されると、本処理を終了する。

次に、Ｓ２００の移動体検出処理の詳細について説明する。図４に、移動体検出処理のフローチャートを示す。この移動体検出処理では、まず、広角カメラ１０によって撮影された画像から地上を移動する移動体を検出したか否かを判定する（Ｓ２０２）。具体的には、撮影画像を格子状にブロック分割し、撮影時刻の異なる２つの撮影画像間で対応するブロックがどの位置に移動したかを示す移動ベクトルを算出するブロックマッチング法（例えば、特開２００４−２８３９１３号公報参照）を用いて、広角カメラ１０によって撮影された複数の画像から地上を移動する移動体を検出する。このように、ブロックマッチング法を用いることで車両が走行中であっても地上を移動する移動体の検出を実現することができる。

地上を移動する移動体が検出された場合、Ｓ２０２の判定はＹＥＳとなり、移動体検出カウンタ（図示せず）のカウント値を０にセットした後（Ｓ２０４）、移動体検出カウンタをカウントアップさせる（Ｓ２０６）。具体的には、移動体検出カウンタのカウント値を１つ増加させる。

また、地上を移動する移動体が検出されない場合、Ｓ２０２の判定はＮＯとなり、移動体検出カウンタ（図示せず）のカウント値を０にセットすることなく、移動体検出カウンタをカウントアップさせる（Ｓ２０６）。

そして、カウント値が予め定められた基準値ｎ（ｎ＞１）よりも小さいか否かを判定する（Ｓ２０８）。

ここで、カウント値が予め定められた基準値ｎ（ｎ＞１）よりも小さい場合、Ｓ２０８の判定はＹＥＳとなり、移動体が検出されたことを示す移動体検出フラグをセットする（Ｓ２１０）。具体的には、移動体検出フラグを１にして、本移動体検出処理を終了する。

また、カウント値が予め定められた基準値ｎ（ｎ＞１）以上の場合、Ｓ２０８の判定はＮＯとなり、移動体が検出されたことを示す移動体検出フラグをクリアする（Ｓ２１２）。具体的には、移動体検出フラグを０にして、本移動体検出処理を終了する。

次に、Ｓ４００の警告処理の詳細について説明する。図５に、警告処理のフローチャートを示す。この警告処理では、まず、後述する警告カウンタ（図示せず）が０であるか否かを判定する（Ｓ４０２）。なお、本車両周辺画像表示装置１が起動した状態では、この警告カウンタは０にセットされるようになっている。

警告カウンタが０の場合、Ｓ４０２の判定はＹＥＳとなり、警告音または警告音声をスピーカ１１から音声出力させる（Ｓ４０４）。具体的には、移動体が検出されたことを表す警告音または警告音声を音声出力させる。

次に、警告カウンタのカウント値をカウントアップさせる（Ｓ４０６）。具体的には、警告カウンタのカウント値を１つ増加させる。

次に、警告カウンタのカウント値が予め定められた基準値ｍ（ｍ＞１）よりも小さいか否かを判定する（Ｓ４０８）。

警告カウンタのカウント値が基準値ｍ以上の場合、Ｓ４０８の判定はＮＯとなり、警告カウンタを０にセットし（Ｓ４１０）、本警告処理を終了する。

また、警告カウンタのカウント値が基準値ｍよりも小さい場合、Ｓ４０８の判定はＹＥＳとなり、警告カウンタを０にセットすることなく、本警告処理を終了する。

次に、図２、４、５に従って作動について説明する。まず、Ｓ１００にて広角カメラ１０によって撮影された画像を取得する。具体的には、広角カメラ１０から送出される複数フレーム分の広角カメラ１０の撮影画像をメモリに記憶する。そして、この撮影画像から地上を移動する移動体が検出されたか否かを判定する（Ｓ２０２）。

ここで、まず、移動体が検出された場合について説明する。移動体が検出された場合、移動体検出カウンタは０にセットされた後、移動体検出カウンタのカウント値はカウントアップして１となる。

このとき、移動体検出カウンタのカウント値は予め定められた基準値ｎ（ｎ＞１）よりも小さいため、Ｓ２０８の判定はＹＥＳとなり、移動体が検出されたことを示す移動体検出フラグはセットされる（Ｓ２１０）。このように、地上を移動する移動体が検出されると、即座に移動体検出フラグがセットされる。

そして、次のＳ３００では移動体が検出されたと判定され、次のＳ４０２にて警告カウンタが０であるか否かを判定が行われる。なお、本車両周辺画像表示装置１が起動した状態では、この警告カウンタは０にセットされるようになっているため、Ｓ４０２の判定はＹＥＳとなり、警告音または警告音声をスピーカ１１から音声出力させる（Ｓ４０４）。ここでは、移動体が検出されたことを表す警告音または警告音声が音声出力される。

次に、警告カウンタのカウント値はカウントアップして１となる。このとき、警告カウンタのカウント値が予め定められた基準値ｍ（ｍ＞１）よりも小さいため、Ｓ４０８の判定はＹＥＳとなり、警告カウンタはカウントアップされたままの状態となる。

図２の説明に戻り、次に、移動体検出結果を表示させる（Ｓ５０２）。具体的には、広角カメラ１０により撮影された画像の全体を表示装置１２のディスプレイに表示させる。また、広角カメラ１０により撮影された画像に含まれる移動体の位置に強調表示を加える。

図６に、歩行者が移動体として検出された場合の表示装置１２のディスプレイへの表示例を示す。図に示すように、歩行者の位置に該歩行者を囲むような枠Ｆが強調表示されている。

次に、シフトレバーがリバース（Ｒ）位置であるか否かを判定する（Ｓ６００）。ここで、シフトレバーがリバース（Ｒ）位置であると判定されると、Ｓ１００へ戻る。そして、再度、Ｓ２００の移動体検出処理にて移動体が検出されると、Ｓ２０４にて移動体検出カウンタは０にセットされ、移動体検出フラグはセットされたままの状態となる。したがって、Ｓ３００の判定はＹＥＳとなり、Ｓ４００の警告処理へ進む。この場合、警告カウンタはカウントアップされて１となっているため、Ｓ４０２の判定はＮＯとなり、Ｓ４０４の警告音または警告音声の音声出力は実施されることなく、Ｓ４０６にて警告カウンタのカウントアップが実施される。

このような処理が一定期間繰り返し実施され、警告カウンタのカウント値が基準値ｍと等しくなると、Ｓ４０８の判定はＮＯとなり、警告カウンタが０にセットされる。

したがって、更に、移動体が検出された状態が継続した場合、次回のＳ４０２の判定はＹＥＳとなり、Ｓ４０４の警告音または警告音声の出力が実施される。このように、移動体の検出時だけでなく、移動体が検出された状態が一定期間継続する度に、警告のための処理が実施される。

以下、地上を移動する移動体が検出されなくなった場合について説明する。移動体が検出されなくなると、Ｓ２０２の判定はＮＯとなり、移動体検出カウンタは０にセットされることなく、Ｓ２０６にて移動体検出カウンタがカウントアップされる。

ここで、移動体検出カウンタのカウント値が基準値ｎよりも小さい場合、Ｓ２０８の判定はＹＥＳとなり、移動体検出フラグはセットされたままの状態が継続され、Ｓ３００の判定はＹＥＳとなる。すなわち、移動体は検出されているものと判定され、Ｓ４００、Ｓ５０２、Ｓ６００の処理が実施される。

そして、Ｓ６００にてシフトレバーがリバース（Ｒ）位置であると判定されると、Ｓ１００へ戻る。そして、移動体が検出されていない状態が継続すると、Ｓ２０２の判定はＮＯとなり、移動体検出カウンタは更にカウントアップする。

ここでも、移動体検出カウンタのカウント値が基準値ｎよりも小さい場合、Ｓ２０８の判定はＹＥＳとなり、移動体検出フラグはセットされたままとなり、Ｓ３００の判定はＹＥＳとなる。

このような処理が一定期間繰り返し実施され、移動体検出のカウント値が基準値ｎと等しくなると、Ｓ２０８の判定はＮＯとなり、Ｓ２１２にて移動体検出フラグがクリアされる。

このように、移動体が検出されていない状態が予め定められた期間よりも長く継続すると、Ｓ３００の判定はＮＯとなり、移動体が検出されなくなったものと判定される。

次に、シーン画像を表示させる（Ｓ５００）。本実施形態におけるシーン画像は、広角カメラ１０の撮影画像から該撮影画像の中央の一部を抽出して拡大した画像である。

図７に、駐車シーン画像の表示例を示す。図に示すように、広角カメラ１０の撮影画像の中央の一部が拡大された画像が表示される。

そして、Ｓ６００にてリバース（Ｒ）でないと判定されると、本処理を終了する。

上記した構成によれば、車両周辺を広角度で撮影する広角カメラにより撮影された画像から地上を移動する移動体を検出し、地上を移動する移動体が検出されたと判定された場合、広角カメラにより撮影された画像の全体が表示されるので、複数のカメラを備えることなく車両周辺の移動体を広範囲で検出して表示することができる。また、地上を移動する移動体が検出されていないと判定された場合には、広角カメラの撮影画像に対して所定の処理を施した画像が表示されるので、より有益な画像表示を行うことが可能である。

また、移動体が検出された場合に直ちに移動体が検出されたと判定し、移動体が検出されない状態が予め定められた期間よりも長く継続した場合に移動体が検出されていないと判定するので、表示画像が頻繁に切り替わるような状況を防止することができる。

また、広角カメラにより撮影された画像に含まれる移動体の位置に強調表示画像が加えられるので、乗員は移動体の位置を容易に認識することが可能である。

また、移動体が検出されたことが音声出力されるので、乗員はより確実に移動体が検出されたことを認識することができる。

（第２実施形態）
本発明の第２実施形態に係る車両周辺画像表示装置の構成を図８に示す。本車両周辺画像表示装置１の構成は、図１に示した第１実施形態の車両周辺画像表示装置と比較して、舵角センサ１４を備えた点が異なる。なお、上記実施形態と同一部分には同一符号を付して説明を省略し、以下、異なる点を中心に説明する。

舵角センサ１４は、車両のステラリングホイールの回転角度（操舵角）を検出し、ステラリングホイールの回転角度に応じた信号を制御部１３へ入力する。

制御部１３は、この舵角センサ１４から入力される信号に基づいて車両が移動する領域を予測した予測軌跡線を算出する処理を行う。

図９に、本実施形態に係る制御部１３のフローチャートを示す。制御部１３は、運転者のシフトレバーの操作に応じてシフト位置センサからシフトレバーがリバース（Ｒ）位置になされたことを示す検知信号が入力されると、図９に示す処理を開始する。

まず、画像を取得し（Ｓ１００）、移動体検出処理（Ｓ２００）を実施する。本実施における移動体検出処理のフローチャートを図１０に示す。なお、上記第１実施形態における移動体検出処理では、移動体カウンタを用いて、移動体が検出された場合に即座に移動体検出フラグをセットし、移動体が検出されない状態が予め定められた期間よりも長く継続した場合に移動体検出フラグをクリアする処理を行うようにしているが、本実施形態では、移動体カウンタを用いることなく、移動体が検出された場合に即座に移動体検出フラグをセットし、移動体が検出されない場合に即座に移動体検出フラグをクリアする。

また、本実施形態では、Ｓ２００の移動体検出処理の後、歩行者検出処理を実施する（Ｓ７００）。図１１に、歩行者検出処理のフローチャートを示す。この歩行者検出処理では、まず、予測軌跡線より画像処理領域を算出する（Ｓ７０２）。具体的には、舵角センサ１４から入力される信号に基づいて、図１２に示すような車両が移動する領域を予測した予測軌跡線Ｌを算出する処理を実施する。なお、この予測軌跡線Ｌを算出する処理は周知技術である。

次に、この予測軌跡線Ｌにより囲まれる領域を検出範囲として歩行者が検出されたか否かを判定する（Ｓ７０４）。ここで、歩行者の検出は、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）と呼ばれる物体認識手法、あるいはサポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）と呼ばれるパターン認識手法を用いて実現することができる。これらの歩行者検出のための処理はいずれも処理負荷が重いため、予測軌跡線Ｌにより囲まれる領域、すなわち、２つの予測軌跡線Ｌにより挟まれる領域に検出範囲を制限して歩行者の検出を行う。

ここで、歩行者が検出された場合、Ｓ７０４の判定はＹＥＳとなり、歩行者検出フラグをセットする（Ｓ７０６）。具体的には、歩行者検出フラグを１にして、本処理を終了する。また、歩行者が検出されない場合、Ｓ７０４の判定はＮＯとなり、歩行者検出フラグをクリアする（Ｓ７０６）。具体的には、歩行者検出フラグを０にして、本処理を終了する。

図９の説明に戻り、Ｓ３００では、移動体検出フラグに基づいて移動体が検出されたか否かを判定する。また、Ｓ７１０、Ｓ７１２では、歩行者検出フラグに基づいて歩行者が検出されたか否かを判定する。

したがって、移動体と歩行者が検出され、移動体検出フラグと歩行者検出フラグがそれぞれセットされている場合、Ｓ３００の判定はＹＥＳとなり、図５に示した警告処理を実施する（Ｓ４００）。また、Ｓ７１０の判定はＹＥＳとなり、歩行者検出結果の表示とともに移動体検出結果の表示を行う（Ｓ５０８）。具体的には、広角カメラ１０により広角度で撮影された画像の全体を表示装置１２のディスプレイに表示させるとともに、広角カメラ１０により撮影された画像に含まれる移動体および歩行者の位置にそれぞれ強調表示を加える。

また、移動体が検出され、移動体検出フラグがセットされており、歩行者が検出されずに、歩行者検出フラグがクリアされている場合、Ｓ３００の判定はＹＥＳとなり、警告処理を実施する（Ｓ４００）。また、Ｓ７１０の判定はＮＯとなり、移動体検出結果の表示を行う（Ｓ５０６）。具体的には、広角カメラ１０により広角度で撮影された画像の全体を表示装置１２のディスプレイに表示させるとともに、広角カメラ１０により撮影された画像に含まれる移動体の位置に強調表示を加える。

また、移動体が検出されずに、移動体検出フラグがクリアされており、歩行者が検出され、歩行者検出フラグがセットされている場合、Ｓ３００の判定はＮＯとなり、Ｓ７１２の判定はＹＥＳとなり、図５の処理と同様に警告処理を実施する（Ｓ４５０）。ただし、ここでは、歩行者が検出されたことを警告音または警告音声を音声出力させる。

次に、歩行者検出結果の表示を行う（Ｓ５０４）。具体的には、広角カメラ１０の撮影画像から該撮影画像の中央の一部を抽出して拡大した画像を表示装置１２のディスプレイに表示させるとともに、広角カメラ１０により撮影された画像に含まれる歩行者の位置に強調表示を加える。

また、移動体と歩行者ともに検出されずに、移動体検出フラグと歩行者検出フラグがそれぞれクリアされている場合、Ｓ３００、Ｓ７１２の判定はそれぞれＮＯとなり、シーン画像を表示させる（Ｓ５００）。具体的には、広角カメラ１０の撮影画像から該撮影画像の中央の一部を抽出して拡大した画像を表示装置１２に表示させる。

そして、Ｓ６００にてリバース（Ｒ）位置でないと判定されると、本処理を終了する。

上記した構成によれば、歩行者が検出されたと判定された場合、広角カメラにより撮影された画像に含まれる歩行者の位置に強調表示画像が加えられるので、乗員は歩行者の位置を容易に認識することが可能である。

また、予測軌跡線により囲まれる領域を検出範囲として歩行者の検出が行われるので、歩行者検出のための処理負荷の低減を図ることができる。

また、歩行者が検出されたことが音声出力されるので、乗員はより確実に歩行者が検出されたことを認識することができる。

（その他の実施形態）
上記実施形態では、１８０度の水平画角を有する広角カメラを用いて車両周辺を撮影する例を示したが、１８０度の水平画角を有する広角カメラに限定されるものではない。

上記実施形態では、移動体が検出されたと判定された場合に、広角カメラ１０により広角度で撮影された画像の全体を表示装置１２に表示させる例を示したが、例えば、広角カメラ１０により広角度で撮影された画像の全体を鉛直方向から地上面を見下ろした鳥瞰図を表す鳥瞰画像に変換して表示装置１２に表示させるようにしてもよい。

また、上記実施形態では、ブロックマッチング法を用いて広角カメラ１０によって撮影された複数の画像から地上を移動する移動体を検出する例を示したが、ブロックマッチング法以外の手法を用いて地上を移動する移動体を検出するようにしてもよい。

また、上記実施形態では、ＣＮＮあるいはサポートベクターマシンと呼ばれる手法を用いて歩行者の検出を行う例を示したが、このような手法と異なる手法を用いて歩行者の検出を行うようにしてもよい。

また、上記実施形態では、移動体の位置に該移動体を囲むような枠を重ねて表示することにより強調表示画像を加えて表示する例を示したが、このような強調表示画像に限定されるものではなく、例えば、更に、枠線の色を変化させて強調表示してもよい。

また、上記実施形態では、移動体が検出されていないと判定された場合、広角カメラの撮影画像から撮影画像の一部を拡大した画像を表示装置１２に表示させる例を示したが、例えば、広角カメラの撮影画像から車両の走行状況に応じて予め設定された領域を拡大した画像を表示装置１２に表示させるようにしてもよい。例えば、広角カメラが車両前方を撮影するものでれば車両前方の死角となる左右の一部を拡大したブラインドコーナー支援画像として表示させるようにしてもよい。

なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、Ｓ２００が移動体検出手段に相当し、Ｓ３００が移動体検出判定手段に相当し、Ｓ５００、Ｓ５０２、Ｓ５０４、Ｓ５０６、Ｓ５０８が表示制御手段に相当し、表示装置１２が表示手段に相当し、スピーカ１１が音声出力手段に相当し、Ｓ７００が歩行者検出手段に相当し、Ｓ７１２、Ｓ７１０が歩行者検出判定手段に相当し、Ｓ７０２の車両が移動する領域を予測した予測軌跡線を算出する処理が走行軌跡線算出手段に相当し、Ｓ４００が第１の音声制御手段に相当し、Ｓ４５０が第２の音声制御手段に相当する。

本発明の第１実施形態に係る車両周辺画像表示装置の構成を示す図である。 本発明の第１実施形態に係る車両周辺画像表示装置の制御部のフローチャートである。 広角カメラによって撮影された画像の一例を示す図である。 本発明の第１実施形態に係る移動体検出処理のフローチャートである。 警告処理のフローチャートである。 歩行者が移動体として検出された場合の表示例を示す図である。 駐車シーン画像の表示例を示す図である。 本発明の第２実施形態に係る車両周辺画像表示装置の構成を示す図である。 本発明の第２実施形態に係る車両周辺画像表示装置の制御部のフローチャートである。 本発明の第２実施形態に係る移動体検出処理のフローチャートである。 歩行者検出処理のフローチャートである。 予測軌跡線について説明するための図である。

符号の説明

１…車両周辺画像表示装置、１０…広角カメラ、１１…スピーカ、１２…表示装置、
１３…制御部、１４…舵角センサ。

Claims (8)

1. 車両周辺を広角度で撮影する広角カメラと、
   前記広角カメラにより撮影された画像から地上を移動する移動体を検出する移動体検出手段と、
   前記移動体検出手段の検出結果から前記移動体が検出されたか否かを判定する移動体検出判定手段と、
   前記移動体検出判定手段により前記移動体が検出されたと判定された場合、前記広角カメラにより撮影された画像の全体を表示手段に表示させ、前記移動体が検出されていないと判定された場合、前記広角カメラの撮影画像に対して所定の処理を施した画像を前記表示手段に表示させる表示制御手段と、を備えたことを特徴とする車両周辺画像表示装置。
2. 前記移動体検出判定手段は、前記移動体検出手段により前記移動体が検出された場合、直ちに前記移動体が検出されたと判定し、前記移動体が検出されない状態が予め定められた期間よりも長く継続した場合、前記移動体が検出されていないと判定することを特徴とする請求項１に記載の車両周辺画像表示装置。
3. 前記表示制御手段は、前記移動体検出判定手段により前記移動体が検出されたと判定された場合、前記広角カメラにより撮影された画像に含まれる前記移動体の位置に強調表示画像を加えることを特徴とする請求項１または２に記載の車両周辺画像表示装置。
4. 前記移動体検出判定手段により前記移動体が検出されたと判定された場合、前記移動体が検出されたことを音声出力手段から音声出力させる第１の音声制御手段を備えたことを特徴とする請求項１ないし３いずれか１つに記載の車両周辺画像表示装置。
5. 前記表示制御手段は、前記移動体検出判定手段により前記移動体が検出されていないと判定された場合、前記広角カメラの撮影画像から前記撮影画像の一部を拡大した画像を前記表示手段に表示させることを特徴とする請求項１ないし４のいずれか１つに記載の車両周辺画像表示装置。
6. 前記広角カメラにより撮影された画像から歩行者を検出する歩行者検出手段と、
   前記歩行者検出手段の検出結果から前記歩行者が検出されたか否かを判定する歩行者検出判定手段と、を備え、
   前記表示制御手段は、前記歩行者検出判定手段によって前記歩行者が検出されたと判定された場合、前記広角カメラにより撮影された画像に含まれる前記歩行者の位置に強調表示画像を加えることを特徴とする請求項１ないし５のいずれか１つに記載の車両周辺画像表示装置。
7. 前記車両が移動する領域を予測した予測軌跡線を算出する走行軌跡線算出手段を備え、
   前記歩行者検出手段は、前記走行軌跡線算出手段によって算出された予測軌跡線により囲まれる前記領域を検出範囲として前記歩行者の検出を行うことを特徴とする請求項６に記載の車両周辺画像表示装置。
8. 前記歩行者検出判定手段によって前記歩行者が検出されたと判定された場合、前記歩行者が検出されたことを音声出力手段から音声出力させる第２の音声制御手段を備えたことを特徴とする請求項６または７に記載の車両周辺画像表示装置。

Images