JP2010093570A - 車両周辺監視装置 - Google Patents

Abstract

【課題】異なる画像間で同一の対象物の画像部分を探索する際の演算量を減少することができる車両周辺監視装置を提供する。
【解決手段】車両から所定距離以内の範囲に存在する対象物を監視対象とするときに、同一時点で赤外線カメラ２Ｒにより撮像された第１画像３０及び赤外線カメラ２Ｌにより撮像された第２画像３１を、所定距離において要求される距離分解能が確保される縮小率で縮小し、縮小後の第１画像４０から対象物の第１画像部分４０ａを抽出して、縮小後の第２画像４１内で第１画像部分４０ａと相関性を有する第２画像部分４１ａを抽出する対応画像抽出手段と、第１画像部分４０ａと第２画像部分４１ａとの視差に基づいて、第１画像部分４０ａ及び第２画像部分４１ａに対応する実空間上の対象物と、車両との距離を算出する距離算出手段とを備える。
【選択図】 図１

Description

本発明は、車両に搭載された撮像手段により撮像された画像に基づいて、前記車両の周辺を監視する車両周辺監視装置に関する。

従来より、車載カメラにより撮像した自車両の周辺の画像から歩行者を検出して、自車両と歩行者との接触可能性を判断し、接触可能性が高いときには運転者に警報をするようにした車両周辺監視装置が知られている。

例えば、いわゆるステレオカメラを備えて、同一の対象物についての右カメラの画像中の画像部分と左カメラの画像中の画像部分との視差を算出し、該視差を用いて対象物と車両との距離を算出する構成として、このようにして算出した対象物と車両との距離に基づいて、対象物と車両との接触可能性を判定するようにした車両周辺監視装置が提案されている（例えば、特許文献１参照）。

また、１台のカメラにより撮像された時系列画像について、同一の対象物の画像部分を探索し、連続する画像間における該画像部分の大きさの変化率に基づいて、車両が対象物に到達までの時間を推定する構成とし、該時間に基づいて対象物と車両との接触可能性を判定するようにした車両周辺監視装置が提案されている（例えば、特許文献２参照）。

そして、上記特許文献１，２に記載された車両周辺監視装置においては、いずれも、異なる画像間で、ＳＡＤ（Sum of Absolute Difference）等の相関演算を行って、同一の対象物の画像部分を抽出するため、演算量が多くなるという不都合がある。
特開２００３−２３０１３４号公報 特開２００７−２１３５６１号公報

本発明は上記背景を鑑みてなされたものであり、異なる画像間で同一の対象物の画像部分を抽出する際の演算量を減少することができる車両周辺監視装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、本発明の第１の態様は、車両に搭載されて重複した撮像範囲を有する第１の撮像手段及び第２の撮像手段により撮像された画像に基づいて、該車両の周辺を監視する車両周辺監視装置の改良に関する。

そして、前記車両から所定距離以内の範囲に存在する対象物を監視対象とするときに、同一時点で前記第１の撮像手段により撮像された第１画像及び前記第２の撮像手段により撮像された第２画像を、前記所定距離において要求される距離分解能が確保される縮小率で縮小し、縮小後の前記第１画像から対象物の第１画像部分を抽出して、縮小後の前記第２画像内で該第１画像部分と相関性を有する第２画像部分を抽出する対応画像抽出手段と、前記第１画像部分と前記第２画像部分との視差に基づいて、前記第１画像部分及び前記第２画像部分に対応する実空間上の対象物と、前記車両との距離を算出する距離算出手段とを備えたことを特徴とする。

かかる本発明によれば、前記車両と対象物との距離が近くなると、前記第１の撮像手段及び前記第２の撮像手段により撮像される前記第１画像及び前記第２画像に含まれる対象物の画像部分の情報量が多くなる。そのため、前記第１画像及び前記第２画像を縮小しても、ある程度の距離分解能を確保することができる。

そこで、前記対応画像探索手段は、前記車両から所定距離以内の範囲に存在する対象物を監視対象とするときに、同一時点で前記第１の撮像手段により撮像された第１画像及び前記第２の撮像手段により撮像された第２画像を、前記所定距離において要求される距離分解能が確保される縮小率で縮小し、縮小後の前記第１画像から対象物の第１画像部分を抽出して、縮小後の前記第２画像内で該第１画像部分と相関性を有する第２画像部分を抽出する。そして、これにより、前記距離算出手段により算出される前記車両と対象物との距離の精度を確保した上で、相関演算の演算量を減少させて効率良く対象物を監視することができる。

また、本発明の第２の態様は、車両に搭載された撮像手段により撮像された画像に基づいて、該車両の周辺を監視する車両周辺監視装置の改良に関する。

そして、前記車両から所定距離以内の範囲に存在する対象物を監視対象とするときに、前記撮像手段により間隔をもって撮像された第１画像及び第２画像を、前記所定距離において要求される距離分解能が確保される縮小率で縮小し、縮小後の前記第１画像から対象物の第１画像部分を抽出して、縮小後の前記第２画像内で該第１画像部分と相関性を有する第２画像部分を抽出する対応画像抽出手段と、前記第１画像部分と前記第２画像部分との大きさの変化率に基づいて、前記車両が前記対象物に到達するまでの時間である自車両到達時間を算出する到達時間算出手段とを備えたことを特徴とする。

かかる本発明によれば、前記車両と対象物との距離が近くなると、前記撮像手段により撮像される前記第１画像及び前記第２画像に含まれる対象物の画像部分の情報量が多くなる。そのため、前記第１画像及び前記第２画像を縮小しても、ある程度の距離分解能を確保することができる。

そこで、前記対応画像抽出手段は、前記車両から所定距離以内の範囲に存在する対象物を監視対象とするときに、前記撮像手段により間隔をもって撮像された第１画像及び第２画像を、前記所定距離において要求される距離分解能が確保される縮小率で縮小し、縮小後の前記第１画像から対象物の第１画像部分を抽出して、縮小後の前記第２画像内で該第１画像部分と相関性を有する第２画像部分を抽出する。そして、これにより、前記到達時間算出手段により算出される前記自車両到達時間の精度を確保した上で、相関演算の演算量を減少させて効率良く対象物を監視することができる。

本発明の実施の形態について、図１〜５を参照して説明する。図１は本発明の車両周囲監視装置の構成図であり、本発明の車両周囲監視装置は画像処理ユニット１により構成されている。画像処理ユニット１には、遠赤外線を検出可能な赤外線カメラ２Ｒ（本発明の第１の撮像手段に相当する），赤外線カメラ２Ｌ（本発明の第２の撮像手段に相当する）、車両のヨーレートを検出するヨーレートセンサ３、車両の走行速度を検出する車速センサ４、運転者によるブレーキの操作量を検出するブレーキセンサ５、音声により注意喚起を行うためのスピーカ６、及び、赤外線カメラ２Ｒ，２Ｌにより得られた画像を表示すると共に、接触の可能性が高い対象物を運転者に視認させる表示を行うための表示装置７が接続されている。

図２を参照して、赤外線カメラ２Ｒ，２Ｌは、車両１０の前部に、車両１０の車幅方向の中心部に対してほぼ対象な位置に配置され、２台の赤外線カメラ２Ｒ，２Ｌの光軸を互いに平行とし、各赤外線カメラ２Ｒ，２Ｌの路面からの高さを等しくして固定されている。この場合、赤外線カメラ２Ｒの視野と赤外線カメラ２Ｌの視野はほぼ同一となる。

なお、赤外線カメラ２Ｒ，２Ｌは、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。また、表示装置７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。

また、図１を参照して、画像処理ユニット１は、マイクロコンピュータ（図示しない）等により構成された電子ユニットであり、赤外線カメラ２Ｒ，２Ｌから出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、該画像メモリに取り込んだ車両前方の画像に対して該マイクロコンピュータにより各種演算処理を行う機能を有している。

そして、該マイクロコンピュータに、車両監視用プログラムを実行させることによって、該マイクロコンピュータが、赤外線カメラ２Ｒにより撮像された第１画像と赤外線カメラ２Ｌにより撮像された第２画像間で、実空間上の同一の対象物の画像部分を抽出する対応画像抽出手段２０、対応画像抽出手段２０により第１画像から抽出された対象物の第１画像部分と第２画像から抽出された対象物の第２画像部分との視差に基づいて、対象物と車両との距離を算出する距離算出手段２１、及び、対象物と車両との距離に基づいて、車両と対象物の接触可能性を判定する接触判定手段２２として機能する。

なお、到達時間算出手段２３は、１台のカメラにより撮像された時系列画像に基づいて、対象物が車両に到達するまでの時間を算出するものであり、後述する第２の実施形態で使用される。

［第１の実施形態］先ず、図３〜図４を参照して、第１の実施形態について説明する。図３（ａ）は、赤外線カメラ２Ｒ（右カメラ）により撮像された第１画像３０と、赤外線カメラ２Ｌにより撮像された第２画像３１を示したものである。第１画像３０には、歩行者の画像部分である第１画像部分３０ａが含まれており、第２画像３１には、同一の歩行者の画像部分である第２画像部分３０ｂが含まれている。

また、図３（ｂ）は、図３（ａ）に示した第１画像３０を１／２に縮小した縮小第１画像４０と、図３（ａ）に示した第２画像３１を１／２に縮小した縮小第２画像４１を示したものである。縮小第１画像４０には、第１画像部分３０ａに対応する第１画像部分４０ａが含まれており、縮小第２画像４１には、第２画像部分３１ａに対応する第２画像部分４１ａが含まれている。

次に、図４（ａ）は、赤外線カメラ２Ｒと赤外線カメラ２Ｌにより同一の対象物を撮像したときの視差Ｄx（図３（ａ）ではＤx1）と、車両と対象物との距離Ｚとの関係を、縦軸を視差Ｄxに設定し、横軸を距離Ｚに設定して示したものである。

また、図４（ｂ）は、赤外線カメラ２Ｒ，２Ｌによる距離分解能（画像から距離を算出するときの分解能）と、車両と対象物との距離Ｚとの関係を、縦軸を距離分解能に設定し、横軸を距離Ｚに設定して示したものである。図４（ｂ）中、ａは図３（ａ）に示したように縮小を行わない場合の関係を示し、ｂは図３（ｂ）に示したように１／２サイズに縮小した場合の関係を示している。

図４（ａ）、図４（ｂ）から、対象物との距離Ｚが短いと視差Ｄxが大きくなって、距離分解能が高くなることがわかる。そのため、対象物との距離Ｚが近いときには、要求される距離分解能が確保される範囲で、赤外線カメラ２Ｒ，２Ｌにより撮像された画像を縮小することができる。

例えば、距離分解能の要求が１０ｍであった場合には、車両からの距離が５０ｍ（本発明の所定距離に相当する）以下である範囲に存在する対象物の距離を算出するときに、図３（ｂ）に示したように、赤外線カメラ２Ｒ，２Ｌにより撮像された画像を１／２サイズに縮小して、視差を算出することができる。

そこで、対応画像抽出手段２０は、車両からの距離が５０ｍを越える範囲に存在する対象物を想定して、対象物との距離を算出するときは、図３（ａ）に示した縮小を行っていない第１画像３０及び第２画像３１を対象として、同一対象物の画像部分を抽出する処理を行う。

すなわち、対応画像抽出手段２０は、先ず、第１画像３０に含まれる画像部分の中から、パターンマッチングや特徴量抽出等を行って歩行者の画像部分である可能性があるものを抽出する。図３（ａ）では、第１画像部分３０ａが抽出される。次に、対応画像抽出手段２０は、第２画像３１に、第１画像３０中の第１画像部分３０ａの位置に対応する位置を含む探索範囲３２を設定する。

そして、対応画像抽出手段２０は、第２画像３１の探索範囲３２に対して、第１画像部分３０ａとのＳＡＤ（Sum of Absolute Difference）等の相関演算を行うことにより、第２画像部分３１ａを抽出する。また、距離算出手段２１は、第１画像部分３０ａと第２画像部分３０ｂとの視差Ｄx1を用いて、以下の式（１）により対象物と車両との距離Ｚを算出する。これにより、遠方に存在する対象物との距離の算出精度を高く維持することができる。

但し、Ｚ：車両と対象物との距離、Ｄ：赤外線カメラ２Ｒ，２Ｌの基線長、Ｆ：赤外線カメラ２Ｒ，２Ｌの焦点距離、Ｄx：視差、ｐ：画素ピッチ。

また、対応画像抽出手段２０は、車両からの距離が５０ｍ以下である範囲に存在する対象物の距離を算出するときには、図３（ｂ）に示した１／２サイズの縮小を行った縮小第１画像４０及び縮小第２画像４１を対象として、同一対象物の画像部分を抽出する処理を行う。

すなわち、対応画像抽出手段２０は、先ず、縮小第１画像４０に含まれる画像部分の中から、パターンマッチングや特徴量抽出等を行って歩行者の画像部分である可能性があるものを抽出する。図３（ｂ）では、第１画像部分４０ａが抽出される。次に、対応画像抽出手段２０は、縮小第２画像４１に、縮小第１画像４０中の第１画像部分４０ａの位置に対応する位置を含む探索範囲４２を設定する。

そして、対応画像抽出手段２０は、縮小第２画像４１の探索範囲４２に対して、第１画像部分４０ａとの相関演算を行うことにより、第２画像部分４１ａを抽出する。また、距離算出手段２１は、第１画像部分４０ａと第２画像部分４０ｂとの視差Ｄx2を、上記式（１）のＤxに代入して対象物と車両との距離Ｚを算出する。

このように、第１画像３０を縮小した縮小第１画像４０と、第２画像３１を縮小した縮小第２画像４１を対象として、同一の対象物の画像部分を抽出することにより、相関演算の演算量を減少させて、効率良く視差を算出することができる。

そして、接触可能性判定手段２２は、距離算出手段２１により算出された対象物と自車両との距離が、予め自車両の周囲に設定した接近判定領域内であるときに、ブザー６による注意喚起音の出力と表示装置７への注意喚起表示を行う。

［第２の実施形態］次に、図５を参照して、第２の実施形態について説明する。第２の実施形態では、画像処理処理ユニット１は、１台のカメラにより異なる時点で撮像した画像間で、相関演算を行って同一の対象物の画像部分を抽出することにより、対象物が自車両に到達するまでの想定時間である自車両到達時間を推定する到達時間算出手段２３を備える。

到達時間算出手段２３は、図５に示したように、ある時点ｔ1で撮像された第２画像５０に対して、ｔ1よりも以前のｔ2で撮像された第１画像５１から抽出した第１画像部分５１ａを拡大して相関演算を行う。

すなわち、到達時間算出手段２３は、第１画像部分５１ａ、第１画像部分５１ａを１．１５倍した拡大第１画像部分５２ａ、第１画像部分５１ａを１．２５倍拡大した拡大第１画像部分５３、第１画像部分５１ａを１．３５倍拡大した拡大第１画像部分５４について、それぞれ、第２画像５０との相関演算を行う。

そして、第１画像部分５１ａ、拡大第１画像部分５２ａ、拡大第１画像部分５３ａ、及び拡大第１画像部分５４ａのうち、最も高い相関度で、第２画像５０から第２画像部分５０ａが抽出されたものの拡大率Ｒate（本発明の変化率に相当する）から、自車両到達時間Ｔを求める。例えば、拡大第１画像部分５３ａで最も高い相関度となったときには、Ｒate＝１．２５を用いて以下の式（２）により自車両到達時間Ｔを算出する。

但し、Ｔ：自車両到達時間、ｄＴ：撮像間隔、Ｒate：拡大率。

そして、到達時間算出手段２３は、上述した第１の実施形態と同様に、要求される距離分解能が１０ｍであるときには、車両からの距離が５０ｍ以下である範囲に存在する対象物を想定して相関演算を行うときに、第１画像部分５１ａ、拡大第１画像部分５２ａ、拡大第１画像部分５３ａ、拡大第１画像部分５４ａ、及び第２画像５０を１／２サイズに縮小して、相関演算を行うことにより、相関演算の演算量を減少させて効率良く自車両到達時間Ｔを算出することができる。

そして、接触可能性判定手段２２は、到達時間算出手段２３により算出された自車両到達時間が所定時間以下となったときに、ブザー６による注意喚起音の出力と表示装置７への注意喚起表示を行う。

また、到達時間算出手段２３は、車両からの距離が５０ｍを超える範囲に存在する対象物を想定して相関演算を行うときには、第１画像部分５１ａ、拡大第１画像部分５２ａ、拡大第１画像部分５３ａ、拡大第１画像部分５４ａ、及び第２画像５０を縮小せずに相関演算を行うことにより、要求される距離分解能を確保して自車両到達時間を算出することができる。

なお、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して対象物との接触可能性を判断するようにしてもよい。

また、本実施の形態においては、本発明の撮像手段として赤外線カメラ２Ｒ，２Ｌを用いたが、可視画像を撮像する可視カメラを用いてもよい。

本発明の車両周囲監視装置の構成図。 図１に示した車両周囲監視装置の車両への取り付け態様の説明図。 同一対象物の画像部分を相関演算により抽出する処理の説明図。 車両と対象物の距離による距離分解能の変化の説明図。 ２画像間の相関演算により、対象物の画像部分の拡大率を求める処理の説明図。

符号の説明

１…画像処理ユニット、２Ｒ，２Ｌ…赤外線カメラ（撮像手段）、３…ヨーレートセンサ、４…車速センサ、５…ブレーキセンサ、６…スピーカ、７…表示装置、２０…対応画像抽出手段、２１…距離算出手段、２２…接触可能性判定手段、２３…到達時間算出手段

Claims (2)

1. 車両に搭載されて重複した撮像範囲を有する第１の撮像手段及び第２の撮像手段により撮像された画像に基づいて、該車両の周辺を監視する車両周辺監視装置であって、
   前記車両から所定距離以内の範囲に存在する対象物を監視対象とするときに、同一時点で前記第１の撮像手段により撮像された第１画像及び前記第２の撮像手段により撮像された第２画像を、前記所定距離において要求される距離分解能が確保される縮小率で縮小し、縮小後の前記第１画像から対象物の第１画像部分を抽出して、縮小後の前記第２画像内で該第１画像部分と相関性を有する第２画像部分を抽出する対応画像抽出手段と、
   前記第１画像部分と前記第２画像部分との視差に基づいて、前記第１画像部分及び前記第２画像部分に対応する実空間上の対象物と、前記車両との距離を算出する距離算出手段とを備えたことを特徴とする車両周辺監視装置。
2. 車両に搭載された撮像手段により撮像された画像に基づいて、該車両の周辺を監視する車両周辺監視装置であって、
   前記車両から所定距離以内の範囲に存在する対象物を監視対象とするときに、前記撮像手段により間隔をもって撮像された第１画像及び第２画像を、前記所定距離において要求される距離分解能が確保される縮小率で縮小し、縮小後の前記第１画像から対象物の第１画像部分を抽出して、縮小後の前記第２画像内で該第１画像部分と相関性を有する第２画像部分を抽出する対応画像抽出手段と、
   前記第１画像部分と前記第２画像部分との大きさの変化率に基づいて、前記車両が前記対象物に到達するまでの時間である自車両到達時間を算出する到達時間算出手段とを備えたことを特徴とする車両周辺監視装置。

Images