JP2007311866A - 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム - Google Patents
対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム Download PDFInfo
- Publication number
- JP2007311866A JP2007311866A JP2006136201A JP2006136201A JP2007311866A JP 2007311866 A JP2007311866 A JP 2007311866A JP 2006136201 A JP2006136201 A JP 2006136201A JP 2006136201 A JP2006136201 A JP 2006136201A JP 2007311866 A JP2007311866 A JP 2007311866A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- yaw rate
- determination
- magnitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】車両の旋回時に画像上に生じる残像の影響を低減して、車両に搭載された撮像手段により得られた車両周辺の画像から歩行者等の対象物の種類を精度良く判定することができる対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラムを提供する。
【解決手段】撮像手段2R,2Lを介して取得した画像から車両10の周辺に存在する対象物を抽出する対象物抽出手段11と、抽出された対象物の種類を判定する対象物判定手段12とを備える。車両10のヨーレートを逐次検出するヨーレート検出手段3を備える。対象物判定手段12は、ヨーレート検出手段3により検出されたヨーレートの大きさに応じて、対象物の種類を判定するために実行する判定アルゴリズムを選択的に切り替える手段を備える。
【選択図】図1
【解決手段】撮像手段2R,2Lを介して取得した画像から車両10の周辺に存在する対象物を抽出する対象物抽出手段11と、抽出された対象物の種類を判定する対象物判定手段12とを備える。車両10のヨーレートを逐次検出するヨーレート検出手段3を備える。対象物判定手段12は、ヨーレート検出手段3により検出されたヨーレートの大きさに応じて、対象物の種類を判定するために実行する判定アルゴリズムを選択的に切り替える手段を備える。
【選択図】図1
Description
本発明は、車両に搭載されたカメラ等の撮像手段を介して取得した画像から、車両の周辺に存在する歩行者等の対象物を検出する装置及び方法に関する。さらに、その装置の処理をコンピュータに実行させるためのプログラムに関する。
近年、車両にCCDカメラ等の撮像手段を搭載して周辺を撮像し、撮像された画像から車両の周辺に存在する歩行者等の対象物を検出し、車両との接触を回避すべき対象を判定して、運転者への情報の提示等を行う技術が知られている(例えば特許文献1参照)。
特許文献1の車両の周辺監視装置においては、2つの赤外線カメラにより得られた車両周辺の画像を2値化処理して対象物を抽出し、該対象物と車両との相対位置や相対速度を検出して、該対象物と車両との接触の可能性及び対象物の種類を判定する。このとき、特許文献1の車両の周辺監視装置では、車両前方の接近判定領域(対象物の車両に対する相対速度や車幅等に応じて定まる領域)に対象物が存在する場合に、該対象物の種類(歩行者、他車両、人工構造物等)を判定する。対象物の種類を判定する際には、対象物の形状、グレースケール画像上での輝度分散等の特徴が用いられる。そして、対象物が歩行者である場合に、該対象物は車両との接触を回避すべき対象であると判定される。
一方、車両の旋回時には、撮像手段の撮像性能に比べて対象物の車両に対する相対位置の時間変化が大きくなるために、車両に搭載された撮像手段から得られた道路周辺の画像上で、歩行者等の対象物の残像が生じる場合がある。例えば、車両が右方向に旋回している場合には、画像上で対象物が左側にずれるため右側に残像が生じ、車両が左方向に旋回している場合には、画像上で対象物が右側にずれるため左側に残像が生じる。そして、このように残像が生じている画像から対象物を抽出すると、残像の影響で、対象物の形状、輝度分散等の特徴が変化する。このため、例えば対象物が歩行者である場合でも、画像上での対象物の形状、輝度分散等の特徴が、残像が生じていない画像上で一般に歩行者が示す特徴と相違することとなる。
しかしながら、特許文献1の車両の周辺監視装置では、このような残像の影響は考慮されていないため、車両の旋回時には、例えば対象物が歩行者である場合でも、対象物の種類を判定する際に歩行者でないと誤判定される可能性がある。このため、車両の旋回時に、画像から抽出された対象物の種類を適切に判定して歩行者等の対象物を検出し得る技術が望まれていた。
特開2003−284057号公報
本発明は、かかる背景に鑑みてなされたものであり、車両の旋回時に画像上に生じる残像の影響を低減して、車両に搭載された撮像手段により得られた車両周辺の画像から歩行者等の対象物の種類を精度良く判定することができる対象物検出装置、車両、対象物検出方法、並びに該対象物検出装置の処理をコンピュータに実行させる対象物検出用プログラムを提供することを目的とする。
かかる目的を達成するために、本発明の対象物検出装置は、車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を抽出する対象物抽出手段と、該対象物抽出手段により抽出された対象物の種類を判定する対象物判定手段とを備えた対象物検出装置において、前記車両のヨーレートを逐次検出するヨーレート検出手段を備え、前記対象物判定手段は、前記ヨーレート検出手段により検出されたヨーレートの大きさに応じて、前記対象物の種類を判定するために実行する判定アルゴリズムを選択的に切り替える手段を備えることを特徴とする(第1発明)。
前記本発明の対象物検出装置において、前記対象物抽出手段により、前記撮像手段を介して取得した画像から、前記車両の周辺に存在する対象物が抽出される。このとき、車両の旋回時には、取得された画像上で対象物の残像が生じることがある。例えば、車両が右方向に旋回している場合には、画像上で対象物の右側に残像が生じ、車両が左方向に旋回している場合には、画像上で対象物の左側に残像が生じる。そして、このように残像が生じている画像から対象物を抽出すると、残像の画像部分が対象物の画像部分に含まれて抽出される。このため、残像の影響で、抽出された対象物の画像部分の全体的な形状、輝度分散等の特徴量が変化する。
そこで、前記対象物判定手段は、前記ヨーレート検出手段により検出されたヨーレートの大きさに応じて、前記対象物の種類(例えば歩行者、他車両、人工構造物等)を判定するために実行する判定アルゴリズムを選択的に切り替える。すなわち、前記車両のヨーレートの大きさは、前記画像上で残像が生じている可能性の度合を示す。このため、ヨーレートの大きさに応じて、前記対象物判定手段が実行する判定アルゴリズムを切り替えることにより、残像が生じている状況とそうでない状況とでそれぞれに適した判定アルゴリズムで対象物の種類を判定する処理を実行できる。例えば前者の状況(残像の生じている状況)では、後者の状況(残像の生じていない状況)よりも、より残像の影響を低減し得る判定アルゴリズムに切り替えればよい。よって、本発明によれば、車両の旋回時に、画像上に生じる残像の影響を低減して、車両周辺の画像から歩行者等の対象物の種類を精度良く判定することが可能となる。
また、前記第1発明において、前記対象物判定手段は、前記ヨーレート検出手段により検出されたヨーレートの大きさが所定閾値以上であるか否かに応じて、前記判定アルゴリズムを選択的に切り替えて実行するものであり、前記対象物判定手段が、前記画像が取得されたときの前記ヨーレートの大きさが前記所定閾値以上である場合に実行する前記判定アルゴリズムは、該画像から前記対象物抽出手段により抽出された対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量に基づいて、該対象物の種類を判定することが好ましい(第2発明)。
これによれば、前記対象物判定手段は、前記画像が取得されたときの前記ヨーレートの大きさが所定閾値以上である場合(車両が旋回してヨーレートの大きさが画像上に残像が生じる程度に十分に大きいとき)に、該画像から前記対象物抽出手段により抽出された対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量に基づいて、該対象物の種類を判定する。すなわち、前記車両の旋回方向と逆側のエッジ寄りの部分は、残像が生じていない側の画像部分であるので、この部分の特徴量は、残像の影響が排除されたものとなる。従って、前記対象物判定手段により、この部分の特徴量に基づいて前記対象物の種類を判定することで、車両の旋回時に、画像上に生じる残像の影響を低減して、車両周辺の画像から歩行者等の対象物の種類を精度良く判定することができる。
なお、前記対象物判定手段は、前記画像が取得されたときの前記ヨーレートの大きさが所定閾値未満である場合(ヨーレートの大きさが画像上に残像が生じない程度に十分に小さいとき)には、前記対象物の種類を判定するために実行する判定アルゴリズムを、少なくとも該ヨーレートの大きさが該所定閾値以上である場合に実行する判定アルゴリズムと異なる判定アルゴリズムに切り替えればよい。このとき、前記対象物判定手段が、前記画像が取得されたときの前記ヨーレートの大きさが前記所定閾値未満である場合に実行する前記判定アルゴリズムは、例えば、該画像から前記対象物抽出手段により抽出された対象物の画像部分の全体的な特徴量(該対象物の画像部分の左右の両側部分のいずれも含む画像部分全体の特徴量)や、該対象物の画像部分の左右の両側部分のうちの予め定められたいずれか一方の部分の特徴量に基づいて、該対象物の種類を判定すればよい。
さらに、前記第2発明において、前記ヨーレート検出手段により検出されたヨーレートの大きさが前記所定閾値未満である場合に、前記対象物判定手段により種類が判定された対象物の画像部分を、対象物画像として逐次記憶する対象物画像記憶手段を備え、前記対象物判定手段が、前記画像が取得されたときの前記ヨーレートの大きさが所定閾値以上である場合に実行する前記判定アルゴリズムは、該画像から前記対象物抽出手段により抽出された対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量と、該ヨーレートの大きさが該所定閾値以上に変化する直前に前記対象物画像記憶手段により記憶された対象物画像の左右の両側部分のうちの、該車両の旋回方向と逆側のエッジ寄りの部分の特徴量との類似の度合を算出する処理と、該算出された類似の度合に基づいて、該対象物の種類を判定する処理とを備えることが好ましい(第3発明)。
これによれば、前記対象物画像記憶手段は、前記ヨーレート検出手段により検出されたヨーレートの大きさが前記所定閾値未満である場合(ヨーレートの大きさが画像上に残像が生じない程度に十分に小さいとき)に、前記対象物判定手段により種類が判定された対象物の画像部分を、対象物画像として記憶する。この対象物画像は、例えば対象物が歩行者である場合には、残像が生じていない状態での歩行者の画像部分である。
ここで、前記画像が取得されたときの前記ヨーレートの大きさが所定閾値以上である場合(車両が旋回してヨーレートの大きさが画像上に残像が生じる程度に十分に大きいとき)に、該画像から前記対象物抽出手段により抽出された対象物の画像部分の特徴量と、該ヨーレートの大きさが該所定閾値以上に変化する直前に前記対象物画像記憶手段により記憶された対象物画像の特徴量(例えば歩行者であることを示す特徴量)とが、類似の度合が高ければ、該対象物の種類が判る。
そこで、前記対象物判定手段は、前記対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量と、前記対象物画像の左右の両側部分のうちの、該車両の旋回方向と逆側のエッジ寄りの部分の特徴量との類似の度合を算出する。すなわち、前記対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分は、残像が生じていない側の画像部分であるので、残像の影響が排除され、算出された前記類似の度合には、前記対象物の特徴量と前記対象物画像の特徴量との類似の度合が精度良く示される。よって、前記対象物判定手段により、前記類似の度合に基づいて前記対象物の種類を判定することで、車両の旋回時に、画像上に生じる残像の影響を低減して、車両周辺の画像から歩行者等の対象物の種類を精度良く判定することができる。
さらに、前記第3発明において、前記対象物抽出手段により抽出された対象物の、前記車両に対する距離を検出する距離検出手段を備え、前記対象物判定手段が、前記画像が取得されたときの前記ヨーレートの大きさが前記所定閾値以上である場合に実行する前記判定アルゴリズムは、該画像から前記対象物抽出手段により抽出された対象物の、前記距離検出手段により検出された距離と、該ヨーレートの大きさが該所定閾値以上に変化する直前に前記対象物画像記憶手段により記憶された対象物画像に対応する対象物の、該距離検出手段により検出された距離とに基づいて、該対象物画像の大きさを補正する処理を備え、該補正された対象物画像を用いて、前記類似の度合を算出することが好ましい(第4発明)。
すなわち、対象物の車両に対する距離が変化すると、該車両に搭載された撮像手段を介して取得された画像上で、該対象物の画像部分の大きさが該距離の変化に応じて変化する。そこで、前記対象物判定手段は、前記ヨーレートの大きさが所定閾値以上であるときに取得された画像から前記対象物抽出手段により抽出された対象物の、前記距離検出手段により算出された距離と、該ヨーレートの大きさが該所定閾値以上に変化する直前に前記対象物画像記憶手段により記憶された対象物画像に対応する対象物の、該距離検出手段により算出された距離とに基づいて、該対象物画像の大きさを補正する。すなわち、前記対象物画像の大きさが、対象物の車両に対する距離の変化の影響を低減するように補正される。
そして、前記対象物判定手段により、前記補正された対象物画像を用いて前記類似の度合が算出される。従って、算出された前記類似の度合は、対象物の車両に対する距離の変化によらずに、前記対象物の画像部分の特徴量と前記対象物画像の特徴量との類似の度合をより適切に示すものとなる。よって、前記対象物判定手段により、算出された前記類似の度合に基づいて前記対象物の種類を判定することで、車両の旋回時に、画像上に生じる残像の影響を低減して、車両周辺の画像から歩行者等の対象物の種類を精度良く判定することができる。
さらに、前記第1〜第4発明において、具体的には、前記対象物判定手段が判定する対象物の種類は、少なくとも歩行者を含む(第5発明)。これによれば、車両の旋回時に、画像上に生じる残像の影響を低減して、車両周辺の画像から歩行者を精度良く検出することができる。
次に、本発明の車両は、前記本発明の対象物検出装置を搭載したことを特徴とする(第6発明)。前記本発明の車両によれば、本発明の対象物検出装置と同等の効果を奏する車両を実現できる。
次に、本発明の対象物検出方法は、車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を抽出し、該抽出された対象物の種類を判定する対象物検出方法であって、前記車両のヨーレートを逐次検出するヨーレート検出ステップと、前記ヨーレート検出ステップで検出されたヨーレートの大きさに応じて、前記対象物の種類を判定する判定アルゴリズムを選択的に切り替え、その選択した判定アルゴリズムを実行することにより該対象物の種類を判定する対象物判定ステップとを備えたことを特徴とする(第7発明)。
前記本発明の対象物検出方法によれば、前記第1発明に関して説明したように、前記ヨーレート検出ステップで検出されたヨーレートの大きさは、前記画像上で残像が生じている可能性の度合を示す。このため、ヨーレートの大きさに応じて、前記対象物判定ステップで実行する判定アルゴリズムを選択的に切り替えることにより、残像が生じている状況とそうでない状況とでそれぞれに適した判定アルゴリズムで対象物の種類を判定する処理を実行できる。よって、本発明によれば、車両の旋回時に、画像上に生じる残像の影響を低減して、車両周辺の画像から歩行者等の対象物の種類を精度良く判定することができる。
次に、本発明の対象物検出用プログラムは、車両に搭載された撮像手段を介して取得した画像から抽出される、該車両の周辺に存在する対象物の種類を判定する処理をコンピュータに実行させる対象物検出用プログラムであって、前記車両のヨーレートの検出値を逐次取得するヨーレート取得処理と、前記ヨーレート取得処理により取得されたヨーレートの大きさに応じて、前記対象物の種類を判定するための判定アルゴリズムを選択的に切り替え、その選択した判定アルゴリズムを実行することにより該対象物の種類を判定する対象物判定処理とを前記コンピュータに実行させる機能を有するプログラムであることを特徴とする(第8発明)。
この第8発明の対象物検出用プログラムによれば、前記第1発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。
本発明の一実施形態を添付の図面を参照して説明する。図1は、本実施形態による対象物検出装置の機能ブロック図であり、図2は、図1に示した対象物検出装置の車両への取り付け態様の説明図であり、図3は、図1の対象物検出装置における対象物検出・注意喚起動作を示すフローチャートである。また、図4は、図3の対象物検出・注意喚起動作における処理画像の例示図である。
図1,2を参照して、本実施形態の対象物検出装置は、CPU(中央演算装置)を備えた電子ユニットである画像処理ユニット1を有する。画像処理ユニット1には、2つの赤外線カメラ2R,2Lが接続されると共に、自車両10の走行状態を検出するセンサとして、自車両10のヨーレートを逐次検出するヨーレートセンサ3と、自車両10の走行速度(車速)を逐次検出する車速センサ4と、自車両10のブレーキの操作を逐次検出するためのブレーキセンサ5とが接続されている。
また、画像処理ユニット1には、自車両10に搭載された、音声等による聴覚的な注意喚起情報を出力するためのスピーカ6と、赤外線カメラ2R,2Lにより撮像された画像や視覚的な注意喚起情報を表示するための表示装置7とが接続されている。表示装置7は、例えば、自車両10のフロントウィンドウに画像等の情報を表示するHUD(ヘッドアップディスプレイ)7a等を備えている。HUD7aは、自車両10のフロントウィンドウの運転者の前方視界を妨げない位置に画面が表示されるように設けられている。
赤外線カメラ2R,2Lは、遠赤外線を検出可能なカメラであり、対象物の温度が高いほど、その出力信号レベルが高くなる(輝度が増加する)特性を有している。なお、赤外線カメラ2R,2Lは、本発明の撮像手段に相当する。
図2に示すように、赤外線カメラ2R,2Lは、自車両10の前方を撮像するために、自車両10の前部に所定の間隔で取り付けられている。そして、赤外線カメラ2R,2Lは、それらの光軸が互いに平行であって、且つ、それぞれの光軸の路面からの高さが等しくなるように自車両10の前部に固定されている。
画像処理ユニット1は、詳細の図示は省略するが、A/D変換回路、CPU、RAM、ROM、画像メモリ等を含む電子回路により構成され、赤外線カメラ2R,2L、ヨーレートセンサ3、車速センサ4及びブレーキセンサ5の出力(アナログ信号)がA/D変換回路を介してデジタル信号に変換されて入力される。そして、画像処理ユニット1は、所定の演算処理周期毎に、入力されたデータを基に、歩行者等の対象物を検出する処理や、その検出した対象物に関する所定要件が満たされるか否かを判定し、該要件が満たされる場合にスピーカ6や表示装置7を介して運転者に注意喚起(対象物に対する運転者の注意の喚起)を行う処理等を実行する。これらの処理は、画像処理ユニット1のROMに予め実装されたプログラムを画像処理ユニット1により実行することにより実現され、そのプログラムは、本発明の対象物検出用プログラムを含んでいる。
より詳しくは、画像処理ユニット1は、上記プログラムにより実現される機能として、取得された画像から自車両10の周辺に存在する対象物を抽出する対象物抽出手段11と、抽出された対象物の画像部分から該対象物が歩行者であるか否かを判定する対象物判定手段12と、ヨーレートセンサ3により検出されたヨーレートの大きさが所定閾値未満である場合に対象物画像を逐次記憶する対象物画像記憶手段13と、対象物の自車両10に対する距離を検出する距離検出手段14とを備える。また、画像処理ユニット1は、その機能として、演算処理周期毎に抽出された対象物の同一性を判定する同一性判定手段16と、ヨーレートセンサ3により検出されたヨーレートの大きさが所定閾値未満である場合に同一性判定用対象物画像を逐次記憶する同一性判定用対象物画像記憶手段15とを備える。
対象物抽出手段11は、赤外線カメラ2R,2Lを介して取得された画像から、自車両10の周辺に存在する対象物を抽出する。具体的には、対象物抽出手段11は、赤外線カメラ2R,2Lを介して取得された画像のうちの所定の基準画像(本実施形態では、赤外線カメラ2Rを介して取得された画像とする)に2値化処理等を施して、さらにラベリング処理等を施し、対象物の画像部分を抽出する。
距離検出手段14は、基準画像上で対象物抽出手段11により抽出された対象物に対応する対象物を赤外線カメラ2Lを介して取得された画像上で探索し、2つの赤外線カメラ2R,2Lから得られる画像上での対象物のずれ(視差)に基づいて、対象物の自車両10に対する距離を検出する。なお、画像に基づいて対象物の距離を検出する具体的な手法としては、例えば、上述の特許文献1に記載したような手法を用いることができる。
対象物画像記憶手段13は、ヨーレートセンサ3より検出されたヨーレートの大きさが所定閾値未満である場合に、対象物判定手段12により歩行者であると判定された対象物の画像部分を、対象物画像として逐次記憶する。
対象物判定手段12は、対象物抽出手段11により抽出された対象物の画像部分から、該対象物が歩行者であるか否かを判定する。具体的には、対象物判定手段12は、ヨーレートの大きさが所定閾値以上であるときには、このとき取得された画像から抽出された対象物の画像部分の左右の両側部分のうちの、自車両10の旋回方向と逆側のエッジ寄りの部分の特徴量と、該ヨーレートの大きさが所定閾値以上に変化する直前に記憶された対象物画像の左右の両側部分のうちの、自車両10の旋回方向と逆側のエッジ寄りの部分の特徴量との類似の度合に基づいて、該対象物が歩行者であるか否かを判定する。なお、対象物判定手段12は、距離検出手段14の検出結果に基づいて対象物画像の大きさを補正し、該補正した対象物画像を用いて前記類似の度合を算出する。
また、対象物判定手段12は、ヨーレートの大きさが所定閾値未満であるときには、このとき取得された画像から抽出された対象物の画像部分の全体的な特徴量に基づいて、該対象物が歩行者であるか否かを判定する。なお、歩行者の判定に用いる対象物の画像部分の全体的な特徴量は、例えば、対象物の形状、輝度分散等である。
同一性判定用対象物画像記憶手段15は、ヨーレートセンサ3より検出されたヨーレートの大きさが所定閾値未満である場合に、対象物抽出手段11により抽出された対象物の画像部分を、同一性判定用対象物画像として逐次記憶する。
同一性判定手段16は、任意の時刻Taに取得された画像から対象物抽出手段11により抽出された第1の対象物が、該時刻Taよりも前の演算処理周期の時刻Tbに取得された画像から対象物抽出手段11により抽出された第2の対象物と同一であるか否かを判定する。具体的には、同一性判定手段16は、時刻Taにおけるヨーレートの大きさが所定閾値以上であるときに、時刻Taに取得された画像における第1の対象物の画像部分の左右の両側部分のうちの、自車両10の旋回方向と逆側のエッジ寄りの部分の特徴量と、時刻Tbに取得された画像における第2の対象物の画像部分の左右の両側部分のうちの、自車両10の旋回方向と逆側のエッジ寄りの部分の特徴量とに基づいて、第1の対象物が第2の対象物と同一であるか否かを判定する。
また、同一性判定手段16は、時刻Taにおけるヨーレートの大きさが所定閾値未満であるときは、時刻Taに取得された画像における第1の対象物の画像部分の全体的な特徴量と、時刻Tbに取得された画像における第2の対象物の画像部分の全体的な特徴量とに基づいて、第1の対象物が第2の対象物と同一であるか否かを判定する。なお、同一性の判定に用いる対象物の画像部分の全体的な特徴量は、例えば、対象物の重心位置、面積、対象物の外接四角形の縦横比等である。
次に、本実施形態の対象物検出装置の全体的な作動(対象物検出・注意喚起動作)を、図3に示したフローチャートに従って説明する。図3を参照して、画像処理ユニット1は、所定の演算処理周期毎に、STEP001〜STEP020の処理を繰り返して、対象物検出・注意喚起動作を実行する。まず、画像処理ユニット1は、赤外線カメラ2R,2Lの出力信号である赤外線画像を取得して(STEP001)、A/D変換し(STEP002)、グレースケール画像を画像メモリに格納する(STEP003)。なお、赤外線カメラ2Rにより右画像が得られ、赤外線カメラ2Lにより左画像が得られる。右画像と左画像とでは、同一の対象物の画像上での横方向(x方向)の位置がずれて表示されるので、このずれ(視差)によりその対象物までの距離を算出することができる。
次に、画像処理ユニット1は、グレースケール画像のうちの基準画像に対して、その画像信号を2値化する(STEP004)。すなわち、基準画像の画像信号の輝度値が閾値Ithより明るい領域を「1」(白)とし、暗い領域を「0」(黒)とする処理が行われる。閾値Ithは、実験的に予め決定される値である。
図4(a)に、ある演算処理周期の時刻(離散系時刻)kにおいて赤外線カメラ2Rによって得られる画像を2値化した画像を例示する。図4(a)において、ハッチングを付した領域が黒であり、太い実線で囲まれた領域が白であることを示している。太い実線で囲まれた領域は、赤外線カメラ2Rから得られる画像において、輝度レベルが高く(高温で)、画面上に白色として表示される対象物の領域である。なお、図4(a)に示した例は、自車両10の前方に歩行者が存在しており、自車両10が直進している場合の例である。
次に、画像処理ユニット1は、2値化処理で「白」となった領域(以下、2値化領域という)からランレングスデータを作成する(STEP005)。作成されるランレングスデータは、2値化領域を画像の横方向の1次元の連結画素であるラインの集合で表し、該2値化領域を構成する各ラインをその始点の座標と、始点から終点までの長さ(画素数)とで示したものである。
次に、画像処理ユニット1は、作成されたランレングスデータに基づいて、対象物のラベリングをする(STEP006)ことにより、対象物を抽出する(STEP007)。すなわち、ランレングスデータで表されたラインのうち、画像の縦方向(y方向)に重なる部分のあるラインを1つの対象物とみなしてラベル(識別子)を付すことにより、画像内の連結した領域を対象物として抽出する。
上述のSTEP005〜007の処理により、図4(a)に示す2値化領域が、図4(b)に例示するように、対象物(2値化対象物)Tkとして抽出される。このとき、例えばラベルTkの対象物は、n個のランレングスデータL1〜Lnで示される。なお、抽出される対象物(2値化対象物)には、道路周辺の歩行者以外に、例えば、他車両、電柱や自動販売機等の人工構造物が含まれる。図4(b)の例では、対象物Tkは、自車両10の前方に存在する歩行者に対応する2値化対象物である。
次に、画像処理ユニット1は、抽出された対象物の面積S、重心位置Gc、対象物の外接四角形の高さHb、幅Wb、重心位置Gb、縦横比ASPを算出する(STEP008)。具体的には、図4(b)の例では、対象物Tkの面積Skは、各ランレングスデータLi(i=1,...,n)で示されるラインの長さを、対象物Tkのn個のランレングスデータについて積算することにより算出する。また、対象物Tkの重心Gckの座標は、各ランレングスデータLiで示されるラインの長さと、各ランレングスデータLiのラインの中点の座標(x[i],y[i])とをそれぞれ掛け合わせ、更にこれを対象物T1のn個のランレングスデータについて積算したものを、面積Skで割ることにより算出する。また、対象物Tkの外接四角形の縦横比ASPkは、対象物Tkの外接四角形の高さ(縦方向の長さ)Hbkと幅(横方向の長さ)Wbkとの比Hbk/Wbkとして算出する。なお、対象物Tkの画像部分Rkは、対象物Tkを囲む外接四角形の領域全体とする。
次に、画像処理ユニット1は、ヨーレートセンサ3により検出されるヨーレートYRと、車速センサ4により検出される車速VCARとを読み込む(STEP009)。なお、このSTEP009では、ヨーレートYRを時間積分することにより、自車両10の回頭角θrの算出も行われる。
次に、画像処理ユニット1は、対象物の時刻間追跡、すなわち、画像処理ユニット1の演算処理周期毎に同一対象物を認識する処理を行う(STEP010)。同一対象物認識処理は、時刻kにおけるSTEP007の処理により対象物Tkが抽出され、次の演算処理周期の時刻k+1におけるSTEP007の処理により対象物Tk+1が抽出されたとしたとき、対象物Tk+1と対象物Tkとの同一性(対象物Tk+1が対象物Tkと同一の対象物であるか否か)を判定する処理である。そして、対象物Tkと対象物Tk+1とが同一の対象物であると判定された場合には、対象物Tk+1のラベルが対象物Tkのラベルと同じラベルに変更される。これにより、対象物Tkと対象物Tk+1とが同一の対象物であると認識されて、時刻間で追跡される。この同一対象物認識処理は、基準画像において実行される。なお、同一対象物認識処理については、詳細を後述する。
一方、画像処理ユニット1は、STEP009,010の処理に平行して、STEP011〜014の処理を実行する。STEP011〜014の処理は、対象物と自車両10との距離z(自車両10の前後方向の距離)を算出する処理である。
まず、画像処理ユニット1は、基準画像の2値化画像によって追跡される対象物の中の1つを選択して、基準画像から探索画像R1(選択した対象物を囲む外接四角形の領域全体を探索画像とする)を抽出する(STEP011)。
次に、画像処理ユニット1は、参照画像(赤外線カメラ2R,2Lから得られた右画像及び左画像のうちの基準画像でない画像)中から探索画像R1に対応する画像(以下「対応画像」という)を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する(STEP012)。具体的には、探索画像R1の各頂点座標に応じて、参照画像中に探索領域R2を設定し、探索領域R2内に、座標(x0,y0)を基点(領域の左上の頂点)とした探索画像R1と同一形状の局所領域R3を設定する。そして、基点の座標(x0,y0)を変化させて、探索領域R2内で局所領域R3を移動させながら、局所領域R3と探索画像R1との相関の度合を示す輝度値の絶対差分和(SAD,Sum of Absolute Difference)C(x0,y0)を次式(1)により算出する。
ここで、絶対差分和C(x0,y0)は、探索画像R1内の座標(m,n)の画素の輝度値IRと、探索領域R2内の座標(x0,y0)を基点とした局所領域R3内の座標(x0+m,y0+n)の画素の輝度値ILとの差の絶対値を取り、この差の絶対値の探索画像R1及び局所領域R3内の全画素(m=0,...,M-1,n=0,...,N-1)についての総和値を求めたものである。なお、絶対差分和C(x0,y0)の値が小さいほど、探索画像R1と局所領域R3との相関の度合が高いことを示す。これにより、絶対差分和C(x0,y0)が最小となる基点の座標(x0,y0)を求め、この位置の局所領域R3を対応画像R4として抽出する。なお、この相関演算は、2値化画像ではなくグレースケール画像を用いて行う。STEP011〜012の処理により、基準画像中の探索画像R1と、参照画像中の対応画像R4とが抽出される。
次に、画像処理ユニット1は、探索画像R1の重心位置と、対応画像R4の重心位置とに基づいて、視差Δd(画素数)を算出する(STEP013)。そして、画像処理ユニット1は、算出された視差Δdを用いて、次式(2)により、自車両10と対象物との距離zを算出する(STEP014)。
z=B×F/(Δd×p) …(2)
なお、Bは赤外線カメラ2R,2Lの基線長(光軸の間隔)、Fは赤外線カメラ2R,2Lの焦点距離F、pは画素間隔である。
なお、Bは赤外線カメラ2R,2Lの基線長(光軸の間隔)、Fは赤外線カメラ2R,2Lの焦点距離F、pは画素間隔である。
STEP010及びSTEP014の処理の終了後、画像処理ユニット1は、次に、画像内の座標(x,y)及び距離zを、実空間座標に変換して、各対象物の実空間上での位置(自車両10に対する相対位置)である実空間位置を算出する(STEP015)。ここで、実空間位置は、図2に示すように、赤外線カメラ2R,2Lの取り付け位置の中点(自車両10に固定された位置)を原点として設定された実空間座標系(XYZ座標系)での位置(X,Y,Z)である。実空間座標系のX方向及びY方向は、それぞれ自車両10の左右方向(車幅方向)、上下方向であり、これらのX方向及びY方向は、前記右画像および左画像のx方向(横方向)、y方向(縦方向)と同方向である。また、実空間座標系のZ方向は、自車両10の前後方向である。そして、実空間位置(X,Y,Z)は、次式(3)(4)(5)により算出される。
X=x×z×p/f …(3)
Y=y×z×p/f …(4)
Z=z …(5)
次に、画像処理ユニット1は、自車両10の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、STEP009で算出した回頭角θrを用いて、対象物の実空間位置を補正する。(STEP016)。回頭角補正は、時刻kから時刻k+1までの期間中に自車両10が例えば左方向に回頭角θrだけ回頭すると、赤外線カメラ2R,2Lによって得られる画像上では、画像の範囲がx方向にずれるので、これを補正する処理である。なお、以下の説明では、「対象物の実空間位置」は、この回頭角補正を施した対象物の実空間位置を意味する。
Y=y×z×p/f …(4)
Z=z …(5)
次に、画像処理ユニット1は、自車両10の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、STEP009で算出した回頭角θrを用いて、対象物の実空間位置を補正する。(STEP016)。回頭角補正は、時刻kから時刻k+1までの期間中に自車両10が例えば左方向に回頭角θrだけ回頭すると、赤外線カメラ2R,2Lによって得られる画像上では、画像の範囲がx方向にずれるので、これを補正する処理である。なお、以下の説明では、「対象物の実空間位置」は、この回頭角補正を施した対象物の実空間位置を意味する。
次に、画像処理ユニット1は、対象物の自車両10に対する移動ベクトルを求める(STEP017)。具体的には、同一対象物についての実空間位置の、所定期間dT(現在時刻から所定時間前までの期間)における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置(座標PvdT=(XvdT,YvdT,ZvdT))から、現在時刻における該直線上の対象物の位置(座標Pv0=(Xv0,Yv0,Zv0))に向かうベクトルを対象物の移動ベクトルとして求める。なお、近似直線の具体的な算出処理には、前記特許文献1に記載された手法を用いる。
次に、画像処理ユニット1は、検出した対象物と自車両10とが接触する可能性を判定して、該対象物が回避対象(自車両10との接触を回避すべき対象)であるか否かを判定する回避判定処理を行う(STEP018)。なお、回避判定処理については、詳細を後述する。STEP018において、検出した対象物が回避対象でないと判定された場合(STEP018の判定結果がNO)には、STEP001に戻り、上述の処理を繰り返す。また、STEP018において、検出した対象物が回避対象であると判定された場合(STEP018の判定結果がYES)、STEP019へ進む。
STEP019では、画像処理ユニット1は、対象物に対する車両10の運転者の注意を喚起すべきか否かを判定する注意喚起出力判定処理を行う。この注意喚起出力判定処理では、ブレーキセンサ5の出力BRから、運転者による自車両10のブレーキ操作がなされていることが確認され、且つ、自車両10の減速加速度(車速の減少方向の加速度を正とする)が所定の閾値(>0)よりも大きいときには、注意喚起を行わないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、自車両10の減速加速度が所定の閾値以下である場合には、注意喚起を行うべきと判定される。
そして、画像処理ユニット1は、注意喚起を行うべきと判定した場合(STEP019の判定結果がYES)には、スピーカ6と表示装置7とによる注意喚起を自車両10の運転者に対して行う注意喚起処理を実行し(STEP020)、STEP001に戻り、上述の処理を繰り返す。この注意喚起処理では、例えば表示装置7に基準画像を表示すると共に、その基準画像中の回避対象である対象物の画像を強調的に表示する。さらに、回避対象である対象物が存在することをスピーカ6から運転者に音声案内する。なお、運転者に対する注意喚起は、スピーカ6および表示装置7のいずれか一方だけで行なうようにしてもよい。
また、STEP019で注意喚起を行わないと判定した場合(全ての対象物について注意喚起を行わないと判定した場合)には、STEP019の判定結果がNOとなり、この場合には、そのままSTEP001に戻り、上述の処理を繰り返す。
以上が、本実施形態の対象物検出装置の画像処理ユニット1における対象物検出・注意喚起動作である。これにより、自車両10の周辺の赤外線画像と、自車両10の走行状態を示す信号とから、自車両10の前方の歩行者等の対象物が検出され、回避対象である対象物について運転者に注意喚起が行われる。
次に、図5に示すフローチャートを参照して、図3に示したフローチャートのSTEP010における同一対象物認識処理について詳細に説明する。以下の説明では、時刻kに、自車両10の前方に歩行者が存在して自車両10が直進している場合において、時刻k+1で、自車両10が直進を継続し、時刻k+2で、自車両10が右方向に旋回している場合を例にして説明する。なお、時刻kにおける処理画像は、図4(a)に例示したようになる。
図4(c)には、時刻k+1において、上述のSTEP004で、赤外線カメラ2Rによって得られる画像を2値化した画像が例示されている。図4(c)において、ハッチングを付した領域が黒であり、太い実線で囲まれた領域が白であることを示している。図4(c)に示す2値化領域は、上述のSTEP005〜007の処理により、図4(d)に例示するように、対象物(2値化対象物)Tk+1として抽出される。このとき、対象物Tk+1の画像部分Rk+1は、幅Wbk+1、高さHbk+1とする。
また、図4(e)には、時刻k+2において、上述のSTEP004で、赤外線カメラ2Rによって得られる画像を2値化した画像が例示されている。図4(e)において、ハッチングを付した領域が黒であり、太い実線で囲まれた領域が白であることを示している。このとき、図4(e)の例では、自車両10が右方向に旋回しているため、歩行者の画像部分の右側に残像が生じている。このため、図4(e)に示す2値化領域には、歩行者に相当する領域F1と共に、残像に相当する領域F2(点描を付した領域)が含まれている。そして、図4(e)に示す2値化領域は、上述のSTEP005〜007の処理により、図4(f)に例示するように、対象物(2値化対象物)Tk+2として抽出される。このとき、対象物Tk+2の画像部分Rk+2は、幅Wbk+2、高さHbk+2とする。
図5を参照して、同一対象物認識処理において、まず、画像処理ユニット1は、図3のSTEP009で読み込まれたヨーレートYRが所定閾値YRth以上であるか否かを判断する(STEP101)。
STEP101の判断結果がNOの場合(YR<YRth)は、自車両10のヨーレートの大きさが画像上に残像が生じない程度に十分に小さい場合であり、以下のSTEP102〜104の処理が行われ、STEP110又はSTEP111に進む。上述の図4(c)に示した時刻k+1の例がこの場合に相当しており、以下ではこの例を用いて説明する。
まず、STEP102に進み、画像処理ユニット1は、抽出された対象物Tk+1の画像部分Rk+1を、同一性判定用対象物画像として画像メモリに記憶する。なお、同一性判定用対象物画像は逐次(演算処理周期毎に)更新されて記憶される。
次に、STEP103で、画像処理ユニット1は、時刻k+1で抽出された対象物Tk+1と、時刻kで抽出された対象物Tkとの同一性の判定に用いる特徴量を算出する。なお、本実施形態では、同一性判定用の特徴量として、時刻k+1のSTEP008で算出された対象物Tk+1の重心位置Gck+1、面積Sk+1、縦横比ASPk+1と、時刻kにおいてSTEP008で算出された対象物Tkの重心位置Gck、面積Sk、縦横比ASPkとを用いている。そして、画像処理ユニット1は、それぞれの差ΔGc(=Gck+1−Gck),ΔS(=Sk+1−Sk),ΔASP(=ASPk+1−ASPk)を算出する。
次に、STEP104で、画像処理ユニット1は、ΔGc,ΔS,ΔASPが、それぞれ所定範囲内であるか否か判断する。なお、所定範囲は、ΔGc,ΔS,ΔASPのそれぞれについて、対象物Tkと対象物Tk+1とが同一であるときに採り得る値の範囲として予め定められる範囲である。
STEP104の判断結果がYES(ΔGc,ΔS,ΔASPの全てが所定範囲内である)の場合には、STEP110に進み、対象物Tkと対象物Tk+1とが同一であると判定されて、対象物Tk+1のラベルが対象物Tkのラベルと同じラベルに変更され、、同一対象物認識処理が終了される。STEP104の判断結果がNO(ΔGc,ΔS,ΔASPのうちの少なくともいずれかが所定範囲内でない)の場合には、STEP111に進み、対象物Tkと対象物Tk+1とが同一でないと判定されて、同一対象物認識処理が終了される。
一方、STEP101の判断結果がYESの場合(YR≧YRth)は、自車両10が旋回してヨーレートの大きさが画像上に残像が生じる程度に十分大きい場合であり、以下のSTEP105〜109の処理が行われ、STEP110又はSTEP111に進む。上述の図4(e)に示した時刻k+2の例がこの場合に相当しており、以下ではこの例を用いて説明する。時刻k+2で抽出された対象物Tk+2の画像部分Rk+2は、図6(b)に示したようになる。
まず、STEP105に進み、画像処理ユニット1は、時刻k+1でSTEP102において画像メモリに記憶された同一性判定用対象物画像Rk+1(ヨーレートYRが所定閾値YRth以上となる直前の同一性判定用対象物画像)を読み込む。次に、STEP106で、画像処理ユニット1は、読み込んだ同一性判定用対象物画像Rk+1の大きさ(幅Wbk+1と高さHbk+1)を補正する。具体的には、時刻k+1の対象物Tk+1の自車両10に対する距離Zv0k+1と、時刻k+2の対象物Tk+2の自車両10に対する距離Zv0k+2とを用いて、補正後の同一性判定用対象物画像Rk+1’の幅Wbk+1’=Wbk+1×Zv0k+2/Zv0k+1、高さHbk+1’=Hbk+1×Zv0k+2/Zv0k+1となるように補正する。
なお、時刻k+1の対象物Tk+1の自車両10に対する距離Zv0k+1としては、時刻k+1のSTEP014で算出された値を用いる。また、時刻k+2の対象物Tk+2の自車両10に対する距離Zv0k+2は、例えば、対象物Tk+2が対象物Tk+1と同一であると仮定して、時刻k+1における対象物Tk+1の位置及び速度とヨーレートYRと自車速VCARとに基づいて、移動軌跡を推定することにより算出する。補正された同一性判定用対象物画像Rk+1’は、図6(a)に示したようになる。
次に、STEP107で、画像処理ユニット1は、補正した同一性判定用対象物画像Rk+1’と、対象物Tk+2の画像部分Rk+2とに、それぞれ、自車両10の旋回方向の逆側寄りのエッジ部分の部分領域Ck+1,Ck+2を、図6(a)(b)に示したように設定する。なお、部分領域Ck+2は、部分領域Ck+1と同一形状とする。これにより、残像が生じていない側の画像部分に、部分領域Ck+1,Ck+2が設定される。
次に、STEP108で、画像処理ユニット1は、部分領域Ck+1と部分領域Ck+2との相関の度合を示す値である輝度値の絶対差分和を算出する。なお、本実施形態では、同一性判定用の特徴量として、部分領域Ck+1,Ck+2の輝度分布を用いており、部分領域Ck+1,Ck+2の輝度分布の類似の度合として、絶対差分和を用いている。
次に、STEP109で、画像処理ユニット1は、算出された絶対差分和に基づいて、部分領域Ck+1,Ck+2の輝度分布の類似の度合を判断する。具体的には、算出された絶対差分和が所定閾値以下(相関の度合が高い)である場合に、類似の度合が高いと判断する。
STEP109の判断結果がYES(類似の度合が高い)の場合には、STEP110に進み、対象物Tk+1と対象物Tk+2とが同一であると判定されて、対象物Tk+2のラベルが対象物Tk+1のラベルと同じラベルに変更され、同一対象物認識処理が終了される。図6に示した例では、類似の度合が高いと判断され、対象物Tk+1と対象物Tk+2とが同一であると判定される。STEP109の判定結果がNO(類似の度合が低い)の場合には、STEP111に進み、対象物Tk+1と対象物Tk+2とが同一でないと判定されて、同一対象物認識処理が終了される。これにより、自車両10の旋回時に、取得される画像上に生じる残像の影響を低減して、演算処理周期毎に抽出された対象物の同一性を精度良く判定することができる。
なお、上述の同一対象物認識処理では、同一性判定用の特徴量を算出する際に、2値化画像上での対象物の画像部分を用いたが、後述の歩行者判定処理のように、グレースケール上での対象物の画像部分を用いてもよい。
次に、図7に示すフローチャートを参照して、図3に示したフローチャートのSTEP018における回避判定処理について詳細に説明する。図7は、本実施形態の回避判定処理を示すフローチャートである。回避判定処理は、以下に示す第1接触判定処理、第2接触判定処理、進入接触判定処理、歩行者判定処理、及び人工構造物判定処理により、検出した対象物と自車両10との接触の可能性及び対象物の種類を判定して、該対象物が回避対象であるか否かを判定する処理である。
図7を参照して、まず、画像処理ユニット1は、対象物が自車両10に接触する可能性の度合を判定する処理の1つとして、第1接触判定処理を行う(STEP201)。第1接触判定処理は、対象物と自車両10との接触を自車両10の操舵やブレーキ操作によって余裕を持って回避できるか否かを判定するための処理である。具体的には、第1接触判定処理では、赤外線カメラ2R,2Lにより撮像される自車両10の前方の領域(赤外線カメラ2R,2Lの視野角内の領域)AR0のうち、自車両10からのZ方向の距離(自車両10の前後方向の距離)が、所定値以下となる領域AR1(以下、第1接触判定領域という)に対象物の現在の実空間位置が存在するか否かが判定される。
この場合、自車両10からの距離に関する所定値は、対象物毎に設定される。具体的には、対象物と自車両10とのZ方向の相対速度Vs(=(Zv0−ZvdT)/dT)を求め、この相対速度Vsに所定の時間T1(例えば2〜5秒程度)を乗じた値Vs×T1が、第1接触判定領域AR1の、Z方向の境界を規定する上記所定値として設定される。なお、相対速度Vsが自車両10から遠ざかる向きの相対速度である場合には、対象物は第1接触判定領域AR1に存在しないと判定される。
ここで、図8を参照して説明すると、図8は、自車両10の走行する道路を上方から見た図であり、自車両10の前方の領域区分が示されている。図8に示したように、領域AR0を太い実線で示す外側の三角形の領域とすると、第1接触判定領域AR1は、領域AR0内のZ1(=Vs×T1)より自車両10に近い領域となる。なお、第1衝突判定領域AR1は、上下方向では、所定の高さH(例えば自車両10の車高の2倍程度の高さ)を有する領域である。従って、対象物の現在のZ方向の座標値(距離)Zv0がVs×T1以下で、且つ、対象物の現在のY方向の座標値(高さ)Yv0がH以下である場合に、対象物が第1接触判定領域AR1に存在すると判定される。
STEP201の判定結果がNOの場合(対象物が第1接触判定領域内AR1に存在しない)には、車両10の操舵やブレーキ操作によって対象物と車両10との接触を余裕を持って回避しうる状況である。この場合には、STEP207に進み、画像処理ユニット1は、対象物が回避対象でないと判定して、回避判定処理を終了する。
STEP201の判定結果がYESの場合(対象物が第1接触判定領域AR1内に存在している)には、STEP202に進み、画像処理ユニット1は、対象物が自車両10に接触する可能性の度合を判定する処理の1つとして、第2接触判定処理を行う。第2接触判定処理は、対象物の実空間位置が現在位置に維持されたとした場合に、対象物と車両10との接触の可能性が高いか否かを判定するための処理である。具体的には、第2接触判定処理では、対象物が、図8に示したように、第1接触判定領域AR1のうちの、自車両10の車幅αの両側に余裕βを加えた幅(α+2β)を有する領域AR2(以下、第2接触判定領域という)内に存在するか否かを判定する。なお、第2接触判定領域AR2も所定高さHを有する。
STEP202の判定結果がYESの場合(対象物が第2接触判定領域AR2内に存在している)には、対象物が現在の実空間位置に留まったとした場合に、該対象物が自車両10と接触する可能性が高い。この場合には、STEP203に進み、画像処理ユニット1は、対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う。なお、歩行者判定処理については、詳細を後述する。
STEP203の判定結果がYESの場合(対象物は歩行者の可能性がある)には、STEP204に進み、更に対象物が歩行者である可能性の判定の信頼性を上げるために、画像処理ユニット1は、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う。人工構造物判定処理は、対象物の画像に、例えば予め登録された人工構造物の形状と一致する等の、歩行者ではないと考えられる特徴が検出された場合に、該対象物を人工構造物と判定し、回避対象から除外する処理である。
STEP204の判定結果がNOの場合(対象物が人工構造物でない)には、STEP206に進み、画像処理ユニット1は、対象物が回避対象であると判定して、回避判定処理を終了する。従って、対象物が第1接触判定領域内の第2接触判定領域に存在し、且つ、対象物が歩行者である可能性が高く、且つ、人工構造物でないと判定された場合には、対象物が回避対象であると判定される。
また、STEP203の判定結果がNOの場合(対象物は歩行者の可能性がない)、あるいは、STEP204の判定結果がYESの場合(対象物が人工構造物である)には、STEP207に進み、画像処理ユニット1は、対象物が回避対象でないと判定して、回避判定処理を終了する。
一方、STEP202の判定結果がNOの場合(対象物が第2接触判定領域AR2内に存在しない)には、STEP205に進み、画像処理ユニット1は、対象物が自車両10に接触する可能性の度合を判定する処理の1つとして、進入接触判定処理を行う。進入接触判定処理は、対象物が第2接触判定領域AR2内へ進入し、且つ自車両10との接触する可能性が高いか否かを判定する処理である。進入接触判定処理では、図8に示したように、第1接触判定領域AR1内で第2接触判定領域AR2よりX座標の絶対値が大きい(第2接触判定領域AR2の横方向外側の)領域AR3,AR4(以下、進入判定領域という)内にある対象物が、第2接触判定領域AR2に進入して自車両10と接触するか否かを、対象物の移動ベクトルに基づいて判定する。なお、進入判定領域AR3,AR4も所定高さHを有する。
具体的には、自車両10の前面のXY平面(自車両10の前後方向に垂直な面)と、対象物の移動ベクトルを含む直線との交点のX座標(車幅方向の位置)が、自車両10の車幅αよりも若干広い所定範囲内に存在する場合(対象物が相対的に自車両10に向かってくる場合)に、第2接触判定領域AR2に進入して接触する可能性が高いと判定される。
STEP205の判定結果がYESの場合には、対象物が将来、自車両10と衝突する可能性が高い。そこで、この場合には、STEP206に進み、画像処理ユニット1は、対象物が回避対象であると判定して、回避判定処理を終了する。また、STEP205の判定結果がNOの場合には、対象物が自車両10と接触する可能性が低いので、STEP207に進み、画像処理ユニット1は、対象物が回避対象でないと判定して、回避判定処理を終了する。
以上が、回避判定処理の詳細である。
次に、図9に示すフローチャートを参照して、図7に示したフローチャートのSTEP203における歩行者判定処理について詳細に説明する。以下の説明では、時刻kに、自車両10の前方に歩行者が存在して自車両10が直進している場合において、時刻k+1で、自車両10が直進しており、時刻k+2で、自車両10が右方向に旋回している場合を例にして説明する。なお、時刻k,k+1,k+2における処理画像は、図4(a),(c),(e)に例示したようになる。
図9を参照して、まず、画像処理ユニット1は、図3のSTEP009で検出されたヨーレートYRが所定閾値YRth以上であるか否かを判断する(STEP301)。
STEP301の判断結果がNOの場合(YR<YRth)は、自車両10のヨーレートの大きさが画像上に残像が生じない程度に十分に小さい場合であり、以下のSTEP302〜304の処理が行われ、STEP310又はSTEP311に進む。上述の図4(c)に示した時刻k+1の例がこの場合に相当しており、以下ではこの例を用いて説明する。
まず、STEP302に進み、画像処理ユニット1は、抽出された対象物Tk+1が歩行者であるか否かを判定するために用いる特徴量を算出する。具体的には、まず、画像処理ユニット1は、STEP008で算出された対象物Tk+1(2値化対象物)の面積Sk+1、重心位置Gck+1、対象物Tk+1の外接四角形の縦横比ASPk+1、高さHbk+1、幅Wbk+1、重心位置Gbk+1、面積(Hbk+1×Wbk+1)と、STEP014で算出された自車両10との距離Zv0k+1とを用いて、実空間での2値化対象物の形状特徴量を、歩行者判定用の特徴量として算出する。この実空間での2値化対象物の形状特徴量は、例えば、実空間における2値化対象物の幅ΔWb、実空間における2値化対象物の高さΔHb、実空間における2値化対象物の上端位置Yt、2値化対象物の面積と外接四角形の面積との比Rate=Sk+1/(Hbk+1×Wbk+1)、2値化対象物の重心位置と外接四角形の重心位置との実空間における距離Dis、外接四角形の縦横比ASPk+1等である。
さらに、画像処理ユニット1は、2値化画像上での対象物Tk+1の画像部分Rk+1基づいて、図10に示したように、グレースケール画像上での対象物Tk+1の画像部分AREA0k+1(高さHgk+1,幅Wgk+1)を求める。なお、図10において、2値化画像上での対象物Tk+1の領域を、太い実線で囲まれた領域で示している。また、グレースケール画像上での対象物の画像部分を算出する具体的な手法としては、例えば、前記した特許文献1の図8のS43に記載された手法を用いることができる。そして、画像処理ユニット1は、画像部分AREA0k+1内に、図10に示したように、マスク領域AREA1,AREA2,AREA3を設定し、AREA1の輝度平均値Ave_A1と、AREA2の輝度分散Var_A2と、AREA3の輝度分散Var_A3とを、歩行者判定用の特徴量として算出する。なお、AREA1は、対象物の頭部に相当する領域であり、AREA2は、対象物の腕及び胴部に相当する領域であり、AREA3は、対象物の頭部から下半身にかけての全身に相当する領域である。さらに、画像処理ユニット1は、AREA1と予め登録されている歩行者の頭部パターンを示すテンプレート画像との相関演算を行い、AREA1と頭部パターンとの類似の度合を、歩行者判定用の特徴量として算出する。
次に、STEP303で、画像処理ユニット1は、上述の各特徴量が所定範囲内であるか否か判断する。なお、前記所定範囲は、対象物が歩行者の上半身や全身であるときに採り得る値の範囲として予め定められる範囲である。
STEP303の判断結果がYES(全特徴量が所定範囲内である)の場合には、STEP304に進み、画像処理ユニット1は、対象物Tk+1のグレースケール上での画像部分AREA0k+1を対象物画像として画像メモリに記憶する。なお、対象物画像は逐次(演算処理周期毎に)更新されて記憶される。そして、STEP310に進み、対象物が歩行者であると判定され、歩行者判定処理が終了される。STEP303の判断結果がNO(特徴量の少なくともいずれかが所定範囲内でない)の場合には、STEP311に進み、対象物が歩行者でないと判定され、歩行者判定処理が終了される。なお、この歩行者を判定する手法については、上述の特許文献1に詳細に記載されている。
一方、STEP301の判断結果がYESの場合(YR≧YRth)は、自車両10が旋回してヨーレートの大きさが画像上に残像が生じる程度に十分に大きい場合であり、以下のSTEP305〜309の処理が行われ、STEP310又はSTEP311に進む。上述の図4(e)に示した時刻k+2の例がこの場合に相当しており、以下ではこの例を用いて説明する。時刻k+2で抽出された対象物Tk+2のグレースケール上での画像部分AREA0k+2(高さHgk+2,幅Wgk+2)は、図11(b)に示したようになる。なお、図11(b)において、2値化画像上での対象物Tk+1の領域を、太い実線で囲まれた領域で示している。
まず、STEP305に進み、画像処理ユニット1は、時刻k+1でSTEP304において画像メモリに記憶された対象物画像AREA0k+1(ヨーレートYRが所定閾値YRth以上となる直前の対象物画像)を読み込む。次に、STEP306で、画像処理ユニット1は、読み込んだ対象物画像AREA0k+1の大きさを補正する。具体的には、時刻k+1のSTEP014で算出された対象物Tk+1の自車両10に対する距離Zv0k+1と、時刻k+2のSTEP014で算出された対象物Tk+2の自車両10に対する距離Zv0k+2とを用いて、補正後の対象物画像AREA0k+1’の幅Wgk+1’=Wgk+1×Zv0k+2/Zv0k+1、高さHgk+1’=Hgk+1×Zv0k+2/Zv0k+1となるように補正する。補正された対象物画像AREA0k+1’は、図11(a)に示したようになる。なお、図11(a)において、2値化画像上での対象物Tk+2領域を、太い実線で囲まれた領域で示している。
次に、STEP307で、画像処理ユニット1は、補正した対象物画像AREA0k+1’と、対象物Tk+2のグレースケール画像上での画像部分AREA0k+2とに、それぞれ、自車両10の旋回方向の逆側寄りのエッジ部分の部分領域Dk+1,Dk+2を、図11(a)(b)に示したように設定する。本実施形態では、部分領域Dk+1,Dk+2は、対象物が歩行者である場合に、その頭部と肩とが含まれるように設定される。なお、部分領域Dk+2は、部分領域Dk+1と同一形状とする。これにより、残像が生じていない側の画像部分に、部分領域Dk+1,Dk+2が設定される。
次に、STEP308で、画像処理ユニット1は、部分領域Dk+1と部分領域Dk+2との相関の度合を示す値である輝度値の絶対差分和を算出する。なお、本実施形態では、歩行者判定用の特徴量として、部分領域Dk+1,Dk+2の輝度分布を用いており、部分領域Dk+1,Dk+2の輝度分布の類似の度合として、絶対差分和を用いている。
次に、STEP309で、画像処理ユニット1は、算出された絶対差分和に基づいて、部分領域Dk+1,Dk+2の輝度分布の類似の度合を判断する。具体的には、算出された絶対差分和が所定閾値以下(相関の度合が高い)である場合に、類似の度合が高いと判断する。STEP309の判断結果がYES(類似の度合が高い)の場合には、STEP310に進み、対象物Tk+2が歩行者である(歩行者の可能性がある)と判定され、歩行者判定処理が終了される。図11に示した例では、類似の度合が高いと判断され、対象物Tk+2が歩行者であると判定される。STEP309の判断結果がNO(類似の度合が低い)の場合には、STEP311に進み、対象物Tk+2が歩行者でない(歩行者の可能性がない)と判定され、歩行者判定処理が終了される。これにより、自車両10の旋回時に、取得される画像上に生じる残像の影響を低減して、抽出された対象物Tk+2が歩行者であるか否かを精度良く判定することができる。
以上の処理により、本実施形態によれば、自車両10の旋回時に、画像上に生じる残像の影響を低減して、赤外線カメラ2R,2Lにより得られた画像から、自車両10の周辺に存在する歩行者を精度良く検出することができる。これにより、自車両10の運転者に情報の提示等を適切に行うことができる。
なお、本実施形態では、前述したように、画像処理ユニット1が、その機能として、対象物抽出手段11と、対象物判定手段12と、対象物画像記憶手段13と、距離検出手段14とを含んでいる。より具体的には、図3のSTEP004〜007が対象物抽出手段11に相当し、図3のSTEP011〜014が距離検出手段14に相当し、図7のSTEP203及び図9のSTEP301〜303,STEP305〜311が対象物判定手段12に相当し、図9のSTEP304が対象物画像記憶手段13に相当する。
また、本実施形態では、前述したように、画像処理ユニット1が、その機能として、同一性判定手段16と、同一性判定用対象物画像記憶手段15とを含んでいる。より具体的には、図3のSTEP010及び図5のSTEP101,103〜111が同一性判定手段16に相当し、図5のSTEP102が同一性判定用対象物画像記憶手段15に相当する。
また、本実施形態では、対象物判定手段12は、対象物の種類として、歩行者を判定するものとしたが(歩行者判定処理(STEP103))、他の実施形態として、対象物の種類として、例えば他車両や人工構造物等を判定するものとしてもよい。具体的には、例えば、人工構造物判定処理(STEP104)において、ヨーレートYRの大きさに応じて判定アルゴリズムを切り替えて、対象物が人工構造物であるか否かを判定するものとしてもよい。このとき、ヨーレートYRが所定閾値YRth以上である場合に、例えばSTEP305〜309と同様の判定アルゴリズムを用いることができる。また、歩行者判定処理と人工構造物判定処理との両方で、ヨーレートYRの大きさに応じて判定アルゴリズムを切り替えて対象物の種類を判定するものとしてもよい。
また、本実施形態では、画像処理ユニット1がその機能として対象物画像記憶手段13を備え、画像処理ユニット1は、対象物の画像部分と対象物画像記憶手段13により記憶された対象物画像との類似の度合に基づいて、対象物が歩行者であるか否かを判定するものとがしたが、他の実施形態として、画像処理ユニット1は、対象物画像の代わりに、予め登録された歩行者の一般的なパターンを示すテンプレート画像を用いて類似の度合を算出し、対象物が歩行者であるか否かを判定してもよい。
また、本実施形態では、画像処理ユニット1は、距離Zv0k+2,Zv0k+1に基づいて対象物画像AREA0k+1の大きさを補正し、補正した対象物画像AREA0k+1’を用いて類似の度合を算出したが(STEP306〜308)、画像処理ユニット1は、演算処理周期が十分に短い場合には、時刻k+1とk+2とで、画像上での対象物の大きさの変化が少ないと想定して、補正を行わず対象物画像AREA0k+1をそのまま用いて類似の度合を算出してもよい。
また、本実施形態では、画像処理ユニット1は、歩行者判定用の特徴量を算出する際に、部分領域Dk+1,Dk+2の輝度分布を用いるものとしたが(STEP308)、他の実施形態として、例えば、歩行者判定用の特徴量を算出する際に、部分領域Dk+1,Dk+2における対象物の輪郭線の形状を用いてもよい。さらに、歩行者判定用の特徴量として、部分領域Dk+1,Dk+2の輝度分布、部分領域Dk+1,Dk+2における対象物の輪郭線の形状等の複数の特徴量を組み合わせて用いてもよい。
また、本実施形態では、画像処理ユニット1は、STEP018で回避対象であると判定された対象物について、自車両10の運転者に注意喚起を行うものとしたが、他の実施形態として、例えば、車両10が、車両のステアリング装置、ブレーキ装置、アクセル装置のいずれかをアクチュエータによって操作可能(ひいては車両10の走行挙動を操作可能)なものである場合には、STEP018で回避対象であると判定された対象物との接触を回避するように、もしくは、回避が容易になるように自車両10のステアリング装置、ブレーキ装置、アクセル装置を制御するようにしてもよい。例えば、運転者によるアクセルペダルの必要踏力が、回避対象の対象物が存在しない場合(通常の場合)よりも大きくなるようにアクセル装置を制御して、加速しにくくする。あるいは、回避対象と車両10との接触を回避するために要求されるステアリング装置の操舵方向側へのステアリングハンドルの要求回転力を、反対側へのステアリングハンドルの要求回転力よりも低くして、当該操舵方向側へのステアリングハンドルの操作を容易に行い得るようにする。あるいは、ブレーキ装置のブレーキペダルの踏み込み量に応じた車両10の制動力の増加速度を、通常の場合よりも高くする。このようにすることで、回避対象との接触を避けるための車両10の運転が容易になる。また、上記のようなステアリング装置の制御と、表示装置7もしくはスピーカ6による注意喚起とは、並行して行うようにしてもよい。
また、本実施形態では、距離検出手段14は、対象物の自車両10に対する距離を、赤外線カメラ2R,2Lを介して取得された画像に基づいて算出したが、他の実施形態として、距離検出手段14は、対象物の自車両10に対する距離を、ミリ波レーダ等の他のセンサにより検出された対象物の位置情報に基づいて算出するものとしてもよい。
また、本実施形態では、撮像手段として赤外線カメラを使用したが、例えば通常の可視光線のみ検出可能なCCDカメラ等を使用してもよい。ただし、赤外線カメラを用いることにより、歩行者や走行中の車両等の抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現可能とすることができる。
2R,2L…赤外線カメラ(撮像手段)、3…ヨーレートセンサ(ヨーレート検出手段)、10…車両、11…対象物抽出手段、12…対象物判定手段、13…対象物画像記憶手段、14…距離検出手段。
Claims (8)
- 車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を抽出する対象物抽出手段と、該対象物抽出手段により抽出された対象物の種類を判定する対象物判定手段とを備えた対象物検出装置において、
前記車両のヨーレートを逐次検出するヨーレート検出手段を備え、
前記対象物判定手段は、前記ヨーレート検出手段により検出されたヨーレートの大きさに応じて、前記対象物の種類を判定するために実行する判定アルゴリズムを選択的に切り替える手段を備えることを特徴とする対象物検出装置。 - 前記対象物判定手段は、前記ヨーレート検出手段により検出されたヨーレートの大きさが所定閾値以上であるか否かに応じて、前記判定アルゴリズムを選択的に切り替えて実行するものであり、
前記対象物判定手段が、前記画像が取得されたときの前記ヨーレートの大きさが前記所定閾値以上である場合に実行する前記判定アルゴリズムは、該画像から前記対象物抽出手段により抽出された対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量に基づいて、該対象物の種類を判定することを特徴とする請求項1記載の対象物検出装置。 - 前記ヨーレート検出手段により検出されたヨーレートの大きさが前記所定閾値未満である場合に、前記対象物判定手段により種類が判定された対象物の画像部分を、対象物画像として逐次記憶する対象物画像記憶手段を備え、
前記対象物判定手段が、前記画像が取得されたときの前記ヨーレートの大きさが所定閾値以上である場合に実行する前記判定アルゴリズムは、該画像から前記対象物抽出手段により抽出された対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量と、該ヨーレートの大きさが該所定閾値以上に変化する直前に前記対象物画像記憶手段により記憶された対象物画像の左右の両側部分のうちの、該車両の旋回方向と逆側のエッジ寄りの部分の特徴量との類似の度合を算出する処理と、該算出された類似の度合に基づいて、該対象物の種類を判定する処理とを備えることを特徴とする請求項2記載の対象物検出装置。 - 前記対象物抽出手段により抽出された対象物の、前記車両に対する距離を検出する距離検出手段を備え、
前記対象物判定手段が、前記画像が取得されたときの前記ヨーレートの大きさが前記所定閾値以上である場合に実行する前記判定アルゴリズムは、該画像から前記対象物抽出手段により抽出された対象物の、前記距離検出手段により検出された距離と、該ヨーレートの大きさが該所定閾値以上に変化する直前に前記対象物画像記憶手段により記憶された対象物画像に対応する対象物の、該距離検出手段により検出された距離とに基づいて、該対象物画像の大きさを補正する処理を備え、該補正された対象物画像を用いて、前記類似の度合を算出することを特徴とする請求項3記載の対象物検出装置。 - 前記対象物判定手段が判定する対象物の種類は、少なくとも歩行者を含むことを特徴とする請求項1〜請求項4のうちいずれか1項記載の対象物検出装置。
- 請求項1〜請求項5のうちいずれか1項記載の対象物検出装置が搭載されたことを特徴とする車両。
- 車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を抽出し、該抽出された対象物の種類を判定する対象物検出方法であって、
前記車両のヨーレートを逐次検出するヨーレート検出ステップと、
前記ヨーレート検出ステップで検出されたヨーレートの大きさに応じて、前記対象物の種類を判定する判定アルゴリズムを選択的に切り替え、その選択した判定アルゴリズムを実行することにより該対象物の種類を判定する対象物判定ステップとを備えたことを特徴とする対象物検出方法。 - 車両に搭載された撮像手段を介して取得した画像から抽出される、該車両の周辺に存在する対象物の種類を判定する処理をコンピュータに実行させる対象物検出用プログラムであって、
前記車両のヨーレートの検出値を逐次取得するヨーレート取得処理と、
前記ヨーレート取得処理により取得されたヨーレートの大きさに応じて、前記対象物の種類を判定するための判定アルゴリズムを選択的に切り替え、その選択した判定アルゴリズムを実行することにより該対象物の種類を判定する対象物判定処理とを前記コンピュータに実行させる機能を有するプログラムであることを特徴とする対象物検出用プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006136201A JP2007311866A (ja) | 2006-05-16 | 2006-05-16 | 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006136201A JP2007311866A (ja) | 2006-05-16 | 2006-05-16 | 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007311866A true JP2007311866A (ja) | 2007-11-29 |
Family
ID=38844351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006136201A Pending JP2007311866A (ja) | 2006-05-16 | 2006-05-16 | 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007311866A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019049793A (ja) * | 2017-09-08 | 2019-03-28 | パナソニックIpマネジメント株式会社 | 情報処理方法及び情報処理プログラム |
JP2019079210A (ja) * | 2017-10-24 | 2019-05-23 | アイシン・エィ・ダブリュ株式会社 | 地点検索システム及びコンピュータプログラム |
-
2006
- 2006-05-16 JP JP2006136201A patent/JP2007311866A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019049793A (ja) * | 2017-09-08 | 2019-03-28 | パナソニックIpマネジメント株式会社 | 情報処理方法及び情報処理プログラム |
JP6998521B2 (ja) | 2017-09-08 | 2022-01-18 | パナソニックIpマネジメント株式会社 | 情報処理方法及び情報処理プログラム |
JP2019079210A (ja) * | 2017-10-24 | 2019-05-23 | アイシン・エィ・ダブリュ株式会社 | 地点検索システム及びコンピュータプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4173896B2 (ja) | 車両周辺監視装置 | |
JP4470067B2 (ja) | 対象物種別判定装置、車両 | |
JP4410292B1 (ja) | 車両の周辺監視装置 | |
JP5706874B2 (ja) | 車両の周辺監視装置 | |
JP5503728B2 (ja) | 車両の周辺監視装置 | |
US9235990B2 (en) | Vehicle periphery monitoring device | |
JP4173901B2 (ja) | 車両周辺監視装置 | |
JP4267657B2 (ja) | 車両周辺監視装置 | |
JP4203512B2 (ja) | 車両周辺監視装置 | |
JP4426535B2 (ja) | 車両の周辺監視装置 | |
EP2352136B1 (en) | System for monitoring the area around a vehicle | |
JP4173902B2 (ja) | 車両周辺監視装置 | |
US20140226015A1 (en) | Apparatus for monitoring surroundings of vehicle | |
EP2639742A2 (en) | Vehicle periphery monitoring apparatus | |
JP5687702B2 (ja) | 車両周辺監視装置 | |
JP2007334511A (ja) | 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム | |
JP2007323578A (ja) | 車両周辺監視装置 | |
JP4887537B2 (ja) | 車両周辺監視装置 | |
JP5292047B2 (ja) | 車両の周辺監視装置 | |
JP5192009B2 (ja) | 車両の周辺監視装置 | |
JP4823753B2 (ja) | 車両の周辺監視装置 | |
JP2011191859A (ja) | 車両の周辺監視装置 | |
JP4627305B2 (ja) | 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視用プログラム | |
JP2007311866A (ja) | 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム | |
JP4629638B2 (ja) | 車両の周辺監視装置 |