JP2008026999A - 障害物検出システム、及び障害物検出方法 - Google Patents

Abstract

【課題】障害物の候補領域までの距離を推算する、又は既に検出された障害物をトラッキングすることにより、適切な大きさのテンプレートを用いて相関値を算出することができる障害物検出システム、及び障害物検出方法を提供する。
【解決手段】車両の周辺を撮像する複数の撮像装置で撮像した画像データを取得して画像中の障害物を検出する。複数の撮像装置で撮像された画像データをそれぞれ二値化し、二値化されたデータに基づいてそれぞれ候補領域を特定し、代表点までの距離を推算する。推算された距離に基づいて、記憶してあるテンプレートの大きさを決定し、該テンプレート及び候補領域に基づいて、それぞれ相関値を算出する。算出された相関値が所定値より大きい場合、該候補領域にて障害物を検出したと判断する。
【選択図】図４

Description

本発明は、車両の外部を撮像する複数の撮像装置が撮像した画像データに基づいて、背景画像の影響を抑制してテンプレートマッチングによる相関値を算出して、障害物を検出する障害物検出システム、及び障害物検出方法に関する。

自動車等の車両に周辺を撮像する撮像装置を搭載し、例えば車両前方の歩行者、自転車等の障害物を検出して、運転手に障害物の存在を通知する障害物検出システムが開発されている。

例えば撮像装置で撮像した画像から、所定の基準パターンとパターンマッチングすることにより障害物、例えば人間が存在すると考えられる候補領域を抽出し、ステレオ視により該候補領域までの距離及び方向を算出することにより、障害物の存在する位置を検出している。

パターンマッチングは、検出対象となる障害物に固有の標準パターンと候補領域との相関値を算出し、画像中から相関値が略一致する候補領域を検索する。画像のすべての領域に対して検索処理を実行する演算処理負荷を軽減するべく、例えば非特許文献１では、画像中から順次相関値が略所定の閾値を越えた候補領域が存在するか検索し、算出した相関値が所定の閾値を越えた候補領域が検索された時点で検索処理を終了して、視差画像中にて対応する障害物を検出したものと判断している。

また、所定の閾値を越えた候補領域が検索された場合、該候補領域が同一の障害物である保証がないことから、基準となる画像中の候補領域と、視差画像中の候補領域との間で相互に視差を算出する。すなわち基準となる画像からの視差と、視差画像からの逆視差とが略一致した場合、検索された候補領域が視差画像中で障害物に対応する領域であることを確認することができる。
「正規化相関演算の単調関数化による高速テンプレートマッチング」、電子情報通信学会論文誌 Ｄ−ＩＩ、Ｖｏｌ．Ｊ８３−Ｄ−ＩＩ、Ｎｏ．９、ｐｐ．１８６１−１８６９、２０００年９月

上述した従来の障害物検出システムの処理性能を高めるためには、検出対象となる障害物ごとに対応するテンプレートを準備する必要があり、また同一の障害物であっても大きさが相違する場合には、それに適したテンプレートを準備する又は生成する必要もあった。一方、テンプレートマッチングを実行する場合、複数のテンプレートそれぞれについて画像全体に相関値検索を実行する必要があり、テンプレートが多くなった場合には、却って演算処理負荷が大きくなる傾向にあるという問題点もあった。

また、テンプレートとして矩形領域で構成されるテンプレートを用いる場合、検出対象となる障害物以外の背景画像も含めたテンプレートとして構成される。すなわち対象物の形状によっては、矩形領域内にて背景が占める割合が大きくなる場合があり、背景を考慮したテンプレートを準備しなければ障害物検出精度を高めることができない。しかし、背景は千差万別であり、多くのテンプレートを準備する必要があることから、結局演算処理負荷が過大になるという問題点もあった。

本発明は、斯かる事情に鑑みてなされたものであり、障害物の候補領域までの距離を推算する、又は既に検出された障害物をトラッキングすることにより、適切な大きさのテンプレートを用いて相関値を算出することができる障害物検出システム、及び障害物検出方法を提供することを目的とする。

上記目的を達成するために第１発明に係る障害物検出システムは、車両の周辺を撮像する複数の撮像装置と、該複数の撮像装置で撮像した画像データを取得して画像中の障害物を検出する検出装置とを備え、複数の撮像装置で撮像された画像に基づいて障害物を検出する障害物検出システムにおいて、前記検出装置は、障害物を示すテンプレートを記憶してあり、前記複数の撮像装置で撮像された画像データをそれぞれ二値化する二値化手段と、二値化されたデータに基づいて、それぞれ障害物が存在する可能性のある領域である候補領域を特定する手段と、特定された候補領域を代表する点までの車両前端からの実際の距離を推算する手段と、推算された距離に基づいて、記憶してあるテンプレートの大きさを決定する手段と、決定された大きさのテンプレート及び前記候補領域に基づいて、それぞれ相関値を算出する相関値算出手段と、該相関値算出手段で算出された相関値が、所定値より大きいか否かを判断する手段とを備え、該手段で大きいと判断した場合、前記候補領域にて障害物を検出したと判断するようにしてあることを特徴とする。

また、第２発明に係る障害物検出システムは、車両の周辺を撮像する複数の撮像装置と、該複数の撮像装置で撮像した画像データを取得して画像中の障害物を検出する検出装置とを備え、複数の撮像装置で撮像された画像に基づいて障害物を検出する障害物検出システムにおいて、前記検出装置は、前記複数の撮像装置で撮像された直前の画像データにて障害物が検出された場合、検出された障害物に対応する領域である対象物領域をテンプレートとして設定する手段と、直前の画像データに対応する画像上で障害物が検出された座標位置近傍にて、障害物が存在する可能性のある領域である候補領域を設定する手段と、設定されたテンプレートと候補領域との相関値を算出する手段と、算出された相関値が、所定値より大きいか否かを判断する手段とを備え、該手段で大きいと判断した場合、前記候補領域にて障害物を検出したと判断するようにしてあることを特徴とする。

また、第３発明に係る障害物検出システムは、第２発明において、検出された障害物の位置情報を時系列的に記憶しておき、前記障害物の移動ベクトルを算出する手段と、算出された移動ベクトルに基づいて前記候補領域を設定する手段とを備えることを特徴とする。

また、第４発明に係る障害物検出システムは、第２又は第３発明において、車両の速度を検出する手段と、検出された車両の速度及び撮像された画像データの秒当たりのデータ数に基づいて前記候補領域の大きさを決定する手段とを備えることを特徴とする。

また、第５発明に係る障害物検出方法は、車両の周辺を撮像する複数の撮像装置で撮像した画像データを取得して画像中の障害物を検出する障害物検出方法において、障害物を示すテンプレートを記憶し、前記複数の撮像装置で撮像された画像データをそれぞれ二値化し、二値化されたデータに基づいて、それぞれ障害物が存在する可能性のある領域である候補領域を特定し、特定された候補領域を代表する点までの車両前端からの実際の距離を推算し、推算された距離に基づいて、記憶してあるテンプレートの大きさを決定し、決定された大きさのテンプレート及び前記候補領域に基づいて、それぞれ相関値を算出し、算出された相関値が、所定値より大きいか否かを判断し、大きいと判断した場合、前記候補領域にて障害物を検出したと判断することを特徴とする。

また、第６発明に係る障害物検出方法は、車両の周辺を撮像する複数の撮像装置で撮像
した画像データを取得して画像中の障害物を検出する障害物検出方法において、前記複数の撮像装置で撮像された直前の画像データにて障害物が検出された場合、検出された障害物に対応する領域である対象物領域をテンプレートとして設定し、直前の画像データに対応する画像上で障害物が検出された座標位置近傍にて、障害物が存在する可能性のある領域である候補領域を設定し、設定されたテンプレートと候補領域との相関値を算出し、算出された相関値が、所定値より大きいか否かを判断し、大きいと判断した場合、前記候補領域にて障害物を検出したと判断することを特徴とする。

第１発明、及び第５発明では、車両の周辺を撮像する複数の撮像装置で撮像した画像データを取得して画像中の障害物を検出する。障害物を示すテンプレートを記憶し、複数の撮像装置で撮像された画像データをそれぞれ二値化し、二値化されたデータに基づいて、それぞれ障害物が存在する可能性のある領域である候補領域を特定する。特定された候補領域を代表する点までの車両前端からの実際の距離を推算し、推算された距離に基づいて、記憶してあるテンプレートの大きさを決定する。決定された大きさのテンプレート及び候補領域に基づいて、それぞれ相関値を算出し、算出された相関値が、所定値より大きい場合、候補領域にて障害物を検出したと判断する。これにより、相関値を算出する基礎となるテンプレートの大きさを、障害物が存在すると推定される場所までの車両前端からの推定距離に応じて変化させることができ、相関値をより正確に算出することが可能となる。

第２発明、及び第６発明では、車両の周辺を撮像する複数の撮像装置で撮像した画像データを取得して画像中の障害物を検出する。複数の撮像装置で撮像された直前の画像データにて障害物が検出された場合、検出された障害物に対応する領域である対象物領域をテンプレートとして設定し、直前の画像データに対応する画像上で障害物が検出された座標位置近傍にて、障害物が存在する可能性のある領域である候補領域を設定する。設定されたテンプレートと候補領域との相関値を算出し、算出された相関値が、所定値より大きい場合、候補領域にて障害物を検出したと判断する。これにより、撮像装置で撮像された過去の画像データ中で既に検出されている障害物に相当する対象物領域そのものを、次の画像データ中での相関値算出のためのテンプレートとして用いることで、検出対象物の大きさと略一致しているテンプレートによる相関値を算出することができ、相関値による障害物検出精度を高く維持することが可能となる。また、背景画像による相関値算出誤差が入り込む余地が無く、より正確に相関値を算出することが可能となる。

第３発明では、検出された障害物の位置情報を時系列的に記憶しておき、障害物の移動ベクトルを算出して、算出された移動ベクトルに基づいて候補領域を設定する。このようにすることで、過去の障害物の移動遷移をトラッキングすることができ、相関値検索処理を画像全体に対して実行する必要が無く、演算処理負荷を軽減することが可能となる。

第４発明では、車両の速度を検出し、検出された車両の速度及び撮像された画像データの秒当たりのデータ数に基づいて候補領域の大きさを決定する。このようにすることで、車両の速度に応じて候補領域の大きさを変動させることができ、より精度良く相関値を算出することが可能となる。

本発明によれば、相関値を算出する基礎となるテンプレートの大きさを、障害物が存在すると推定される場所までの車両前端からの推定距離に応じて変化させることができ、相関値をより正確に算出することが可能となる。また、撮像装置で撮像された過去の画像データ中で既に検出されている障害物に相当する対象物領域そのものを、次の画像データ中での相関値算出のためのテンプレートとして用いることで、検出対象物の大きさと略一致しているテンプレートによる相関値を算出することができ、相関値による障害物検出精度
を高く維持することが可能となる。さらに、背景画像による相関値算出誤差が入り込む余地が無く、より正確に相関値を算出することが可能となる。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、以下の実施の形態では、走行中に遠赤外線撮像装置で撮像された画像に基づいて車両の前方に存在する障害物までの距離を算出する場合を例として説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る障害物検出システムの構成を示す模式図である。本実施の形態１では、走行中に周辺の画像を撮像する遠赤外線撮像装置１、１を、車両前方の中央近傍のフロントグリル内に並置している。なお、遠赤外線撮像装置１、１は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置である。遠赤外線撮像装置１、１で撮像された画像データは、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して接続してある検出装置３へ送信される。

検出装置３は、遠赤外線撮像装置１、１の他、操作部を備えた表示装置４とは、ＮＴＳＣ、ＶＧＡ、ＤＶＩ等の映像方式に対応したケーブル８を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とは、ＣＡＮに準拠した車載ＬＡＮケーブル６を介して接続されている。

図２は、本発明の実施の形態１に係る障害物検出システムの遠赤外線撮像装置１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。赤外光用の撮像素子としては、マイクロマシニング（ｍｉｃｒｏｍａｃｈｉｎｉｎｇ）技術を用いた酸化バナジウムのボロメータ型、ＢＳＴ（Ｂａｒｉｕｍ−Ｓｔｒｏｎｔｉｕｍ−Ｔｉｔａｎｉｕｍ）の焦電型等の赤外線センサを用いている。画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を信号処理部１２へ送信する。

信号処理部１２は、ＬＳＩであり、画像撮像部１１から受信した輝度信号をデジタル信号に変換し、撮像素子のばらつきを補正する処理、欠陥素子の補正処理、ゲイン制御処理等を行い、画像データとして画像メモリ１３へ記憶する。なお、画像データを画像メモリ１３へ一時記憶することは必須ではなく、映像出力部１４を介して直接検出装置３へ送信しても良いことは言うまでもない。

映像出力部１４は、ＬＳＩであり、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して検出装置３に映像データを出力する。

図３は、本発明の実施の形態１に係る障害物検出システムの検出装置３の構成を示すブロック図である。映像入力部３１ａは、遠赤外線撮像装置１、１から映像信号の入力を行う。映像入力部３１ａは、遠赤外線撮像装置１、１から入力された画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、映像出力部３１ｂは、映像ケーブル８を介して液晶ディスプレイ等の表示装置４に対して画像データを出力し、通信インタフェース部３１ｃは車載ＬＡＮケーブル６を介してブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ、ＳＤＲＡＭ等であり、映像入力部３１ａを介して遠赤外線撮像装置１、１から入力された画像データを記憶する。ＲＡＭ３３１は、演算処理の途上で生成したデータ及び推算した障害物の時系列的位置データを記憶する。

画像処理を行うＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読み出し、画像データをそれぞれ二値化することで候補領域を特定し、特定された候補領域の代表点までの距離を三角測量の原理により推算する。ＬＳＩ３３は、推算された距離に基づいて、記憶してあるテンプレートの大きさを決定し、決定された大きさのテンプレートと候補領域との相関値を算出する。算出された相関値が所定値より大きい場合に、候補領域にて障害物を検出したものと判断する。

すなわち標準的なテンプレートのみを検出対象物ごとに記憶しておき、二値化処理後のデータに基づいて特定した候補領域に相当する大きさへ拡大又は縮小する。このようにすることで、テンプレートの大きさの不適合による障害物の誤検出を回避することができる。

ＬＳＩ３３での詳細な処理について以下に説明する。図４は、本発明の実施の形態１に係る障害物検出システムの検出装置３のＬＳＩ３３の障害物検出処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出し（ステップＳ４０１）、読み出した複数の画像データごとに二値化処理を実行する（ステップＳ４０２）。二値化処理の方法は特に限定されるものではなく、公知の方法であれば何でも良い。

ＬＳＩ３３は、高輝度値を出力している画素の画像座標系での座標値に基づいて、障害物が存在する可能性が高い候補領域を特定する（ステップＳ４０３）。ＬＳＩ３３は、特定された候補領域までの実際の距離を、例えば左右に設置されている遠赤外線撮像装置１、１で撮像された画像中の候補領域の視差に基づいて推算する（ステップＳ４０４）。候補領域までの距離を推定できれば足りることから、例えば別途レーダ装置、超音波装置等を備えておき、直接障害物までの距離を測定するものであっても良い。

ＬＳＩ３３は、推算された距離に基づいて、検出すべき対象物、例えば歩行者が存在するか否かを判断するのに使用する特徴量を示す標準的なテンプレートの大きさを拡大又は縮小する（ステップＳ４０５）。例えば検出対象物が歩行者である場合、距離に応じて画像上でのテンプレートの大きさは一定範囲内に収束する。したがって、検出対象物までの距離が判明した場合、テンプレートの大きさも容易に推定することができる。

図５は、歩行者が存在するか否かを判断するのに使用する特徴量を示す標準的なテンプレートの大きさを拡大する場合の模式図である。図５（ａ）に示すように候補領域５１が設定された時点では、候補領域５１に対して過小なテンプレートとして標準的なテンプレート５２が記憶されている。

候補領域５１までの距離が推算されることにより、標準的なテンプレート５２が拡大されて、拡大テンプレート５３となる。頭部に該当する上端を一致させてテンプレートマッチングを行なうことにより、検出対象物の大きさを考慮したテンプレートマッチングを行うことができる。

ＬＳＩ３３は、拡大又は縮小されたテンプレートと候補領域とをマッチングすることにより、相関値を算出する（ステップＳ４０６）。なお、ＬＳＩ３３が、歩行者が存在するか否かを判断するのに使用する特徴量として、人間の標準的な温度分布を示すテンプレートを拡大又は縮小したテンプレートと、候補領域とをマッチングすることにより相関値Ｒを算出する場合、相関値Ｒは（数１）に基づいて算出される。

（数１）において、Ｎはマッチング処理を行う領域の総画素数を、ｋは０≦ｋ≦（Ｎ−１）の整数を、Ｆｋは人間の標準的な温度分布を示すテンプレートを拡大又は縮小したテンプレート内におけるｋ番目の画素の画素値を、Ｇｋはマッチング処理する候補領域におけるｋ番目の画素の画素値を、それぞれ示している。

なお、歩行者と認識すべき画像であるか否かを判断するのに使用する特徴量としては、人間の標準的な温度分布に限定されるものではなく、歩行者と認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。

ＬＳＩ３３は、算出された相関値に基づいて、一方の遠赤外線撮像装置１で撮像された画像データ中にて、算出された相関値が所定値より大きいか否かを判断する（ステップＳ４０７）。ＬＳＩ３３が、算出された相関値が所定値以下であると判断した場合（ステップＳ４０７：ＮＯ）、ＬＳＩ３３は、適用したテンプレートに対応する障害物が存在しないものと判断し、処理をステップＳ４０１へ戻して上述した処理を繰り返す。ＬＳＩ３３が、算出された相関値が所定値より大きいと判断した場合（ステップＳ４０７：ＹＥＳ）、ＬＳＩ３３は、該候補領域で障害物を検出した旨の情報を出力する（ステップＳ４０８）。

具体的には、ＬＳＩ３３は、歩行者等の障害物を検出した旨を示す信号を表示装置４又は警報装置５へ出力する。表示装置４では、歩行者等の障害物を検出した旨を示す表示を出力する、警告表示を点滅させる等の警告表示を出力する。警報装置５では、ブザーの鳴動等によって歩行者等の障害物の存在を運転者へ報知する。

以上のように本実施の形態１によれば、相関値を算出する基礎となるテンプレートの大きさを、障害物が存在すると推定される距離に応じて変化させることができ、相関値をより正確に算出することにより障害物の検出精度を高めることが可能となる。

（実施の形態２）
以下、本発明の実施の形態２に係る障害物検出システムについて図面を参照しながら詳細に説明する。本実施の形態２に係る障害物検出システムの構成、遠赤外線撮像装置１の構成、及び検出装置３の構成は、それぞれ実施の形態１と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態２は、過去に撮像されている画像データ、例えば直前のサンプリング時間に撮像された画像データ中で検出された障害物を示す領域である対象物領域を、そのまま相関値を算出するテンプレートとして用いる点で実施の形態１と相違する。

例えば画像処理を行うＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読み出す。ＬＳＩ３３は、前のフレームにて障害物が検出されていた場合には、障害物検出時の対象物領域の画像座標系における座標値を取得し、該対象物領域そのもの
を相関値算出のテンプレートとしてＲＡＭ３３１に記憶する。ＬＳＩ３３は、画像データそれぞれについて、該対象物領域の重心位置の近傍にて候補領域を設定し、設定された候補領域と記憶してあるテンプレートとの相関値を算出する。算出された相関値が所定値より大きい場合に、候補領域にて障害物を検出したものと判断する。また、障害物検出時には、該候補領域に関する情報を対象物領域に関する情報としてＲＡＭ３３１に記憶する。

すなわち前のフレームで障害物が検出された場合、１フレーム間に大きく位置が移動する可能性は少なく、障害物が検出された一の近傍にて、大きさが略一致する候補領域が設定される可能性が高い。したがって、前のフレームで障害物が検出された場合には、障害物検出時の対象物領域をテンプレートとして用い、検出された画像位置から相関値検索を行なうことにより演算処理負荷を軽減しつつ、精度良く障害物を検出することができる。

ＬＳＩ３３での詳細な処理について以下に説明する。図６は、本発明の実施の形態２に係る障害物検出システムの検出装置３のＬＳＩ３３の障害物検出処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出し（ステップＳ６０１）、前のフレームにて障害物が検出されたか否かを判断する（ステップＳ６０２）。前のフレームにて障害物が検出されたか否かを判断する方法は特に限定されるものではなく、例えば履歴情報としてＲＡＭ３３１に記憶しておいても良い。

ＬＳＩ３３が、前のフレームにて障害物が検出されたと判断した場合（ステップＳ６０２：ＹＥＳ）、ＬＳＩ３３は、障害物検出時の対象物領域をテンプレートとして記憶し（ステップＳ６０３）、対象物領域の画像座標系における座標値近傍にて、障害物を検出する対象となる候補領域を設定する（ステップＳ６０４）。

図７は、前のフレームにて障害物が検出された場合の対象物領域の変遷の一例を示す図である。図７に示すように、障害物が対象物領域７１で検出されてから、フレームごとに対象物領域７２、７３と検出されたものとする。この場合、次に対象物領域が検出されるのは候補領域７４となる可能性が高く、候補領域７４は、対象物領域７３と略同一の大きさ、形状等であり、座標位置も大きく離隔していない。したがって、相関値検索の始点を前のフレームでの対象物領域７３の重心位置Ｇとし、その近傍を検索することにより、大きな演算処理負荷をかけることなく候補領域７４を設定することができる。

ＬＳＩ３３は、設定された候補領域と記憶してあるテンプレートとをマッチングすることにより、相関値を算出する（ステップＳ６０５）。なお、歩行者と認識すべき画像であるか否かを判断するのに使用する特徴量としては、人間の標準的な温度分布に限定されるものではなく、歩行者と認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。

ＬＳＩ３３が、前のフレームで障害物が検出されていないと判断した場合（ステップＳ６０２：ＮＯ）、ＬＳＩ３３は、従来の方法にて相関値を算出する（ステップＳ６０６）。ＬＳＩ３３は、前のフレームで障害物が検出されていないと判断した場合（ステップＳ６０２：ＮＯ）も含めて、算出された相関値に基づいて、一方の遠赤外線撮像装置１で撮像された画像データ中にて、算出された相関値が所定値より大きいか否かを判断する（ステップＳ６０７）。ＬＳＩ３３が、算出された相関値が所定値以下であると判断した場合（ステップＳ６０７：ＮＯ）、ＬＳＩ３３は、適用したテンプレートに対応する障害物が存在しないものと判断し、処理をステップＳ６０１へ戻して上述した処理を繰り返す。

ＬＳＩ３３が、算出された相関値が所定値より大きいと判断した場合（ステップＳ６０７：ＹＥＳ）、ＬＳＩ３３は、検出した候補領域に関する情報、例えば画面座標中の座標
値等を対象物領域に関する情報としてＲＡＭ３３１に記憶し（ステップＳ６０８）、該候補領域で障害物を検出した旨の情報を出力する（ステップＳ６０９）。

具体的には、ＬＳＩ３３は、歩行者等の障害物を検出した旨を示す信号を表示装置４又は警報装置５へ出力する。表示装置４では、歩行者等の障害物を検出した旨を示す表示を出力する、警告表示を点滅させる等の警告表示を出力する。警報装置５では、ブザーの鳴動等によって歩行者等の障害物の存在を運転者へ報知する。

以上のように本実施の形態２によれば、前フレームの画像等の過去のサンプリング時間に撮像されている画像にて既に検出されている障害物に相当する対象物領域そのものを相関値算出のためのテンプレートとして用いることで、検出対象物の大きさと略一致しているテンプレートによる相関値を算出することができ、相関値による障害物検出精度を高く維持することが可能となる。また、背景画像による相関値算出誤差が入り込む余地が無く、より正確に相関値を算出することが可能となる。

なお、上述した実施の形態１及び２では、検出装置３のＬＳＩ３３が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。

本発明の実施の形態１に係る障害物検出システムの構成を示す模式図である。 本発明の実施の形態１に係る障害物検出システムの遠赤外線撮像装置の構成を示すブロック図である。 本発明の実施の形態１に係る障害物検出システムの検出装置の構成を示すブロック図である。 本発明の実施の形態１に係る障害物検出システムの検出装置のＬＳＩの障害物検出処理の手順を示すフローチャートである。 歩行者が存在するか否かを判断するのに使用する特徴量を示す標準的なテンプレートの大きさを拡大する場合の模式図である。 本発明の実施の形態２に係る障害物検出システムの検出装置のＬＳＩの障害物検出処理の手順を示すフローチャートである。 前のフレームにて障害物が検出された場合の対象物領域の変遷の一例を示す図である。

符号の説明

１ 遠赤外線撮像装置
３ 検出装置
４ 表示装置
５ 警報装置
３１ａ 映像入力部
３１ｂ 映像出力部
３１ｃ 通信インタフェース部
３２ 画像メモリ
３３ ＬＳＩ
３３１ ＲＡＭ

Claims (6)

1. 車両の周辺を撮像する複数の撮像装置と、
   該複数の撮像装置で撮像した画像データを取得して画像中の障害物を検出する検出装置と
   を備え、複数の撮像装置で撮像された画像に基づいて障害物を検出する障害物検出システムにおいて、
   前記検出装置は、
   障害物を示すテンプレートを記憶してあり、
   前記複数の撮像装置で撮像された画像データをそれぞれ二値化する二値化手段と、
   二値化されたデータに基づいて、それぞれ障害物が存在する可能性のある領域である候補領域を特定する手段と、
   特定された候補領域を代表する点までの車両前端からの実際の距離を推算する手段と、
   推算された距離に基づいて、記憶してあるテンプレートの大きさを決定する手段と、
   決定された大きさのテンプレート及び前記候補領域に基づいて、それぞれ相関値を算出する相関値算出手段と、
   該相関値算出手段で算出された相関値が、所定値より大きいか否かを判断する手段と
   を備え、
   該手段で大きいと判断した場合、前記候補領域にて障害物を検出したと判断するようにしてあることを特徴とする障害物検出システム。
2. 車両の周辺を撮像する複数の撮像装置と、
   該複数の撮像装置で撮像した画像データを取得して画像中の障害物を検出する検出装置と
   を備え、複数の撮像装置で撮像された画像に基づいて障害物を検出する障害物検出システムにおいて、
   前記検出装置は、
   前記複数の撮像装置で撮像された直前の画像データにて障害物が検出された場合、検出された障害物に対応する領域である対象物領域をテンプレートとして設定する手段と、
   直前の画像データに対応する画像上で障害物が検出された座標位置近傍にて、障害物が存在する可能性のある領域である候補領域を設定する手段と、
   設定されたテンプレートと候補領域との相関値を算出する手段と、
   算出された相関値が、所定値より大きいか否かを判断する手段と
   を備え、
   該手段で大きいと判断した場合、前記候補領域にて障害物を検出したと判断するようにしてあることを特徴とする障害物検出システム。
3. 検出された障害物の位置情報を時系列的に記憶しておき、
   前記障害物の移動ベクトルを算出する手段と、
   算出された移動ベクトルに基づいて前記候補領域を設定する手段と
   を備えることを特徴とする請求項２記載の障害物検出システム。
4. 車両の速度を検出する手段と、
   検出された車両の速度及び撮像された画像データの秒当たりのデータ数に基づいて前記候補領域の大きさを決定する手段と
   を備えることを特徴とする請求項２又は３に記載の障害物検出システム。
5. 車両の周辺を撮像する複数の撮像装置で撮像した画像データを取得して画像中の障害物を検出する障害物検出方法において、
   障害物を示すテンプレートを記憶し、
   前記複数の撮像装置で撮像された画像データをそれぞれ二値化し、
   二値化されたデータに基づいて、それぞれ障害物が存在する可能性のある領域である候補領域を特定し、
   特定された候補領域を代表する点までの車両前端からの実際の距離を推算し、
   推算された距離に基づいて、記憶してあるテンプレートの大きさを決定し、
   決定された大きさのテンプレート及び前記候補領域に基づいて、それぞれ相関値を算出し、
   算出された相関値が、所定値より大きいか否かを判断し、
   大きいと判断した場合、前記候補領域にて障害物を検出したと判断することを特徴とする障害物検出方法。
6. 車両の周辺を撮像する複数の撮像装置で撮像した画像データを取得して画像中の障害物を検出する障害物検出方法において、
   前記複数の撮像装置で撮像された直前の画像データにて障害物が検出された場合、検出された障害物に対応する領域である対象物領域をテンプレートとして設定し、
   直前の画像データに対応する画像上で障害物が検出された座標位置近傍にて、障害物が存在する可能性のある領域である候補領域を設定し、
   設定されたテンプレートと候補領域との相関値を算出し、
   算出された相関値が、所定値より大きいか否かを判断し、
   大きいと判断した場合、前記候補領域にて障害物を検出したと判断することを特徴とする障害物検出方法。

Images