JP2008028857A

JP2008028857A - 障害物検出システム、及び障害物検出方法

Info

Publication number: JP2008028857A
Application number: JP2006201094A
Authority: JP
Inventors: Masanobu Nishimura; 政信西村; Hiroaki Saito; 裕昭齋藤
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2006-07-24
Filing date: 2006-07-24
Publication date: 2008-02-07

Abstract

【課題】画像中に検出対象となる障害物が複数存在して隣接している場合、大きさが酷似している同一種類の障害物である場合等であっても、障害物の誤検出を防止できる障害物検出システム、及び障害物検出方法を提供する。
【解決手段】所定の特徴量を有する領域を候補領域として抽出し、一の画像データにて抽出された候補領域に基づいて、他の画像データ中に第１の探索範囲を特定する。第１の探索範囲内に順方向探索領域を特定し、候補領域と順方向探索領域との第１の相関値を算出する。第１の相関値が高い相関を示す順方向探索領域が存在する場合、一の画像データ中に第２の探索範囲を特定し、第２の探索範囲内に逆方向探索領域を特定し、順方向探索領域と逆方向探索領域との第２の相関値を算出する。第２の相関値が高い相関を示す逆方向探索領域が存在する場合、視差及び逆視差が略一致するときに、障害物を検出したと判断する。
【選択図】図６

Description

本発明は、車両の外部を撮像する複数の撮像装置が撮像した画像データに基づいて、検出された障害物の視差を算出して、車両との相対位置を検出する障害物検出システム、及び障害物検出方法に関する。

自動車等の車両に周辺を撮像する撮像装置を搭載し、例えば車両前方の歩行者、自転車等の障害物の存在を検出して、運転手に障害物の存在を通知する障害物検出システムが開発されている。

例えば撮像装置で撮像した画像から、所定の基準パターンとパターンマッチングすることにより障害物、例えば人間が存在すると考えられる候補領域を抽出し、ステレオ視により該候補領域までの距離及び方向を算出することにより、障害物の存在する位置を検出している。

パターンマッチングは、検出対象となる障害物に固有の標準パターンと候補領域との相関値を算出し、相関値が略一致する候補領域を検索する。画像のすべての領域に対して検索処理を実行する演算処理負荷を軽減するべく、例えば非特許文献１では、画像中から順次相関値が略所定の閾値を越えた候補領域が存在するか検索し、算出した相関値が所定の閾値を越えた候補領域が検索された時点で検索処理を終了して、画像中にて対応する障害物を検出したものと判断している。
「正規化相関演算の単調関数化による高速テンプレートマッチング」、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ８３−Ｄ−ＩＩ、Ｎｏ．９、ｐｐ．１８６１−１８６９、２０００年９月

上述した従来の障害物検出システムでは、画像中に検出対象となる障害物が少ない場合、又は複数存在している場合であっても、それらが隣接せずに離れて配置されている場合、大きさが相違している場合等には、対応する候補領域を容易に検索することができ、障害物までの距離及び方向を正確に推算することができる。しかし、画像中に検出対象となる障害物が複数存在し、隣接している場合、大きさが酷似している同一種類の障害物である場合等には、異なる候補領域を誤って検索することにより、障害物までの距離及び方向を正確に推算することができないという問題点があった。

例えば類似した歩行者が二人並んで存在する画像である場合に、右側の歩行者に相当する画像中の候補領域について視差を検索したとき、視差の検索順序によっては、左側の歩行者に相当する画像を対応する候補領域として検索する。この場合、実際に対応する障害物ではないことから検証のために算出した視差と逆視差とが相違し、先の視差算出が誤った対応付けにより得られた、又は障害物ではないものと判断される。したがって、実際に存在する障害物であるにもかかわらず、障害物までの距離を正しく算出することができない。

また、相関値に基づく検索処理による演算処理負荷を軽減した場合であっても、視差及び逆視差の算出には相当の演算処理負荷がかかる。したがって、過去の障害物の移動遷移をトラッキングしておくことにより、視差及び逆視差の検索処理範囲を限定することが可能となり、誤対応による誤った視差算出の可能性を低減させることができ、少しでも演算処理負荷を軽減することができる。

本発明は、斯かる事情に鑑みてなされたものであり、画像中に検出対象となる障害物が複数存在して隣接している場合、大きさが酷似している同一種類の障害物である場合等であっても、誤って障害物を検出することなく、障害物までの距離及び方向を正確に推算することができる障害物検出システム、及び障害物検出方法を提供することを目的とする。

上記目的を達成するために第１発明に係る障害物検出システムは、車両の周辺を撮像する複数の撮像装置と、該複数の撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置とを備え、複数の撮像装置で撮像された画像に基づいて障害物を検出する障害物検出システムにおいて、前記検出装置は、前記複数の撮像装置で撮像された画像データにて、所定の特徴量を有する領域を障害物が存在する候補領域として抽出する候補領域抽出手段と、一の画像データにて抽出された候補領域に基づいて、他の画像データ中に第１の探索範囲を特定する第１の探索範囲特定手段と、該第１の探索範囲特定手段で特定した第１の探索範囲内に、視差の大きい順に移動して前記候補領域との相関値を算出する順方向探索領域を特定する順方向探索領域特定手段と、前記候補領域と前記順方向探索領域との間の視差を算出する視差算出手段と、前記候補領域と前記順方向探索領域との第１の相関値を算出する第１の相関値算出手段と、算出された第１の相関値が第１の閾値より高い相関を示す前記順方向探索領域が存在するか否かを判断する第１の判断手段と、該第１の判断手段で第１の閾値より高い相関を示す順方向探索領域が存在すると判断した場合、前記順方向探索領域に基づいて、一の画像データ中に第２の探索範囲を特定する第２の探索範囲特定手段と、該第２の探索範囲特定手段で特定した第２の探索範囲内に、逆視差の大きい順に移動して前記順方向探索領域との相関値を算出する逆方向探索領域を特定する逆方向探索領域特定手段と、前記順方向探索領域特定手段で特定した順方向探索領域と前記逆方向探索領域との間の逆視差を算出する逆視差算出手段と、前記順方向探索領域と前記逆方向探索領域との第２の相関値を算出する第２の相関値算出手段と、算出された第２の相関値が第２の閾値（≧第１の閾値）よりも高い相関を示す前記逆方向探索領域が存在するか否かを判断する第２の判断手段と、該第２の判断手段で第２の閾値よりも高い相関を示す逆方向探索領域が存在すると判断した場合、前記候補領域と前記順方向探索領域との視差、及び前記順方向探索領域と前記逆方向探索領域との逆視差が略一致しているか否かを判断する第３の判断手段とを備え、前記第３の判断手段で略一致すると判断した場合、前記候補領域にて障害物を検出したと判断するようにしてあることを特徴とする。

また、第２発明に係る障害物検出システムは、第１発明において、前記第３の判断手段で一致しないと判断した場合、他の画像データ中にて、前記第１の判断手段で第１の閾値より高い相関を示す順方向探索領域を、順次繰り返し特定する手段と、一の画像データ中にて、前記第２の判断手段で第２の閾値（≧第１の閾値）よりも高い相関を示す逆方向探索領域を、順次繰り返し特定する手段とを備え、前記第３の判断手段で略一致すると判断するまで順次繰り返し順方向探索領域及び逆方向探索領域を特定するようにしてあることを特徴とする。

また、第３発明に係る障害物検出システムは、第１又は第２発明において、前記候補領域ごとに映像フレーム単位で算出された視差を記憶する手段と、前記候補領域抽出手段で抽出した候補領域の、前映像フレームで算出された視差を読み出す手段とを備え、読み出された視差近傍でのみ他の画像データ中にて探索範囲を特定し、前記第１の判断手段にて第１の相関値が第１の閾値より高い相関を示す順方向探索領域が存在するか否かを判断するようにしてあることを特徴とする。

また、第４発明に係る障害物検出方法は、車両の周辺を撮像する複数の撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、前記複数の撮像装置で撮像された画像データにて、所定の特徴量を有する領域を障害物が存在する候補領域として抽出し、一の画像データにて抽出された候補領域に基づいて、他の画像データ中に第１の探索範囲を特定し、特定された第１の探索範囲内に、算出された視差の大きい順に移動して前記候補領域との相関値を算出する順方向探索領域を特定し、前記候補領域と前記順方向探索領域との間の視差を算出し、前記候補領域と前記順方向探索領域との第１の相関値を算出し、算出された第１の相関値が第１の閾値より高い相関を示す前記順方向探索領域が存在するか否かを判断し、第１の閾値より高い相関を示す順方向探索領域が存在すると判断した場合、前記順方向探索領域に基づいて、一の画像データ中に第２の探索範囲を特定し、特定された第２の探索範囲内に、逆視差の大きい順に移動して前記順方向探索領域との相関値を算出する逆方向探索領域を特定し、特定された順方向探索領域と前記逆方向探索領域との間の逆視差を算出し、前記順方向探索領域と前記逆方向探索領域との第２の相関値を算出し、算出された第２の相関値が第２の閾値（≧第１の閾値）よりも高い相関を示す前記逆方向探索領域が存在するか否かを判断し、第２の閾値よりも高い相関を示す逆方向探索領域が存在すると判断した場合、前記候補領域と前記順方向探索領域との視差、及び前記順方向探索領域と前記逆方向探索領域との逆視差が略一致しているか否かを判断し、略一致すると判断した場合、前記候補領域にて障害物を検出したと判断することを特徴とする。

第１発明、及び第４発明では、車両の周辺を撮像する複数の撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する。複数の撮像装置で撮像された画像データにて、所定の特徴量を有する領域を障害物が存在する候補領域として抽出し、一の画像データにて抽出された候補領域に基づいて、他の画像データ中に第１の探索範囲を特定する。特定された第１の探索範囲内に、算出された視差の大きい順に移動して候補領域との相関値を算出する順方向探索領域を特定する。候補領域と順方向探索領域との間の視差を算出し、候補領域と順方向探索領域との第１の相関値を算出し、算出された第１の相関値が第１の閾値より高い相関を示す順方向探索領域が存在する場合、該順方向探索領域に基づいて、一の画像データ中に第２の探索範囲を特定する。特定された第２の探索範囲内に、逆視差の大きい順に移動して順方向探索領域との相関値を算出する逆方向探索領域を特定する。特定された順方向探索領域と逆方向探索領域との間の逆視差を算出し、順方向探索領域と逆方向探索領域との第２の相関値を算出し、算出された第２の相関値が第２の閾値（≧第１の閾値）よりも高い相関を示す逆方向探索領域が存在する場合、候補領域と順方向探索領域との視差、及び順方向探索領域と逆方向探索領域との逆視差が略一致しているか否かを判断する。略一致すると判断した場合、候補領域にて障害物を検出したと判断する。これにより、画像中に検出対象となる障害物が複数存在して隣接している場合、大きさが酷似している同一種類の障害物である場合等であり、視差と逆視差とが一致しない、すなわち誤った候補領域を検索したときであっても、候補領域の探索処理を継続して実行することができ、正しい候補領域が探索されるまで探索処理を行うことが可能となる。したがって、障害物の視差を正確に算出することができ、障害物までの距離及び方向を正確に推算することが可能となる。

第２発明では、視差と逆視差とが一致しないと判断した場合、他の画像データ中にて、第１の閾値より高い相関を示す順方向探索領域を、順次繰り返し特定する。また、一の画像データ中にて、第２の閾値（≧第１の閾値）よりも高い相関を示す逆方向探索領域を、順次繰り返し特定する。視差と逆視差とが略一致すると判断するまで順次繰り返し順方向探索領域及び逆方向探索領域を特定する。このようにすることで、誤った候補領域を検索したときであっても、候補領域の探索処理を継続して実行することができ、正しい候補領域が探索されるまで探索処理を行うことが可能となる。したがって、障害物の視差を正確に算出することができ、障害物までの距離及び方向を正確に推算することが可能となる。

第３発明では、候補領域ごとに映像フレーム単位で算出された視差を記憶しておき、抽出された候補領域が前フレームでも候補領域として抽出されていたか否かを、トラッキング処理等に基づいて判定する。前フレームで候補領域として抽出されていたと判定された場合、該候補領域につき前フレームで算出された視差を読み出す。読み出された視差近傍について順方向探索範囲を特定し、限定された範囲内についてのみ、第１の相関値が第１の閾値より大きい候補領域が存在するか否かを判断する。このようにすることで、画像中に検出対象となる障害物が複数存在して隣接している場合、大きさが酷似している同一種類の障害物である場合等であっても、逆視差の算出処理を行うことなく視差画像中の障害物が対応している障害物であることを担保することができ、演算処理負荷を軽減することが可能となる。

本発明によれば、画像中に検出対象となる障害物が複数存在して隣接している場合、大きさが酷似している同一種類の障害物である場合等であり、視差と逆視差とが一致しない、すなわち誤った候補領域を検索したときであっても、候補領域の探索処理を継続して実行することができ、正しい候補領域が探索されるまで探索処理を行うことが可能となる。したがって、障害物の視差を正確に算出することができ、障害物までの距離及び方向を正確に推算することが可能となる。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、以下の実施の形態では、走行中に遠赤外線撮像装置で撮像された画像に基づいて車両の前方に存在する障害物までの距離を算出する場合を例として説明する。

図１は、本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。本実施の形態では、走行中に周辺の画像を撮像する遠赤外線撮像装置１、１を、車両前方の中央近傍のフロントグリル内に並置している。なお、遠赤外線撮像装置１、１は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置である。遠赤外線撮像装置１、１で撮像された画像データは、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して接続してある検出装置３へ送信される。

検出装置３は、遠赤外線撮像装置１、１の他、操作部を備えた表示装置４とは、ＮＴＳＣ、ＶＧＡ、ＤＶＩ等の映像方式に対応したケーブル８を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とは、ＣＡＮに準拠した車載ＬＡＮケーブル６を介して接続されている。

図２は、本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。赤外光用の撮像素子としては、マイクロマシニング（ｍｉｃｒｏｍａｃｈｉｎｉｎｇ）技術を用いた酸化バナジウムのボロメータ型、ＢＳＴ（Ｂａｒｉｕｍ−Ｓｔｒｏｎｔｉｕｍ−Ｔｉｔａｎｉｕｍ）の焦電型等の赤外線センサを用いている。画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を信号処理部１２へ送信する。

信号処理部１２は、ＬＳＩであり、画像撮像部１１から受信した輝度信号をデジタル信号に変換し、撮像素子のばらつきを補正する処理、欠陥素子の補正処理、ゲイン制御処理等を行い、画像データとして画像メモリ１３へ記憶する。なお、画像データを画像メモリ１３へ一時記憶することは必須ではなく、映像出力部１４を介して直接検出装置３へ送信しても良いことは言うまでもない。

映像出力部１４は、ＬＳＩであり、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して検出装置３に映像データを出力する。

図３は、本発明の実施の形態に係る障害物検出システムの検出装置３の構成を示すブロック図である。映像入力部３１ａは、遠赤外線撮像装置１、１から映像信号の入力を行う。映像入力部３１ａは、遠赤外線撮像装置１、１から入力された画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、映像出力部３１ｂは、映像ケーブル８を介して液晶ディスプレイ等の表示装置４に対して画像データを出力し、通信インタフェース部３１ｃは車載ＬＡＮケーブル６を介してブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ、ＳＤＲＡＭ等であり、映像入力部３１ａを介して遠赤外線撮像装置１、１から入力された画像データを記憶する。ＲＡＭ３３１は、演算処理の途上で生成したデータ及び推算した障害物の時系列的位置データを記憶する。また、ＲＡＭ３３１は、検出された障害物ごとに算出された視差も、フレーム単位で時系列的に記憶しておく。

画像処理を行うＬＳＩ３３は、画像メモリ３２に記憶された画像データを映像フレーム単位で読み出し、遠赤外線撮像装置１、１から取得した画像データに基づいて、障害物に固有の標準的な特徴量を算出する。ＬＳＩ３３は、一又は複数の特徴量が所定の条件を具備している領域を候補領域として抽出し、基準となる遠赤外線撮像装置１、例えば右に設置してある遠赤外線撮像装置１から取得した画像データ中の候補領域に基づいて高い相関値が得られる視差を算出する。

一方、ＬＳＩ３３は、例えば左に設置してある遠赤外線撮像装置１から取得した画像データ中の候補領域に基づいて逆視差を算出して、両者が一致するか否かを判断する。ＬＳＩ３３が一致しないと判断した場合には、視差が誤っているものと判断し、再度視差の検索を行い、上述の処理を繰り返す。ＬＳＩ３３が一致すると判断した場合には、候補領域に障害物が存在するものと判断し、対象物までの距離及び方向を三角測量の原理に基づいて算出する。

図４は、左右に設置してある遠赤外線撮像装置１、１で撮像した画像の一例を示す図である。図４（ａ）は左に設置してある遠赤外線撮像装置１で撮像された画像の一例を、図４（ｂ）は右に設置してある遠赤外線撮像装置１で撮像された画像の一例を、それぞれ示している。図４に示すように歩行者が二人並んで撮像されている場合、候補領域間の相関値算出の順序に応じて、例えば右に設置してある遠赤外線撮像装置１で撮像された画像中の領域４１、すなわち並んで撮像されている右側の歩行者を示す領域が先に候補領域として検出される。

領域４１を基礎として、左に設置してある遠赤外線撮像装置１で撮像された画像の中から対応する領域を検索する。この場合、右に設置してある遠赤外線撮像装置１で撮像された画像中の領域４１の画像中の位置を始点とし、その周辺領域へと順次検索幅を広げていく。

したがって、従来の障害物検出システムでは、本来は左に設置してある遠赤外線撮像装置１で撮像された画像中の領域４３を対応する領域として検出するべきところ、先に領域４２（斜線部）が検出される。この場合、領域４２が検出された時点で検索処理は打ち切られ、視差及び逆視差を算出して両者を比較する。検出された領域４２は、並んで撮像されている左側の歩行者を示す領域であり、領域４１とは対応していない。したがって、領域４１に基づく視差と領域４２に基づく逆視差とは値が相違しており、障害物までの正確な距離及び方向を推算することができない。そして、相違していると判断した時点で障害物を検出していないと判断される。しかし、実際には歩行者が存在することから、安全の観点からこのような誤検出は回避する必要があった。

そこで本実施の形態では、領域４２が検出された時点での検索処理の進捗状態に関する情報、例えば画面上に表示されている画像のどの位置で領域４２が検出されたかを示す画像上の座標値を記憶しておく。そして、領域４１に基づく視差と領域４２に基づく逆視差とが相違していると判断した場合、記憶してある座標値を始点として検索処理を継続して実行する。このようにすることで、歩行者等の形状が類似しており、特に遠赤外線撮像装置１で撮像された画像上では区別することが困難である障害物が並んで存在する場合であっても、演算処理負荷を増加させること無く、視差を算出することが可能な障害物を検出することができる。

ＬＳＩ３３での詳細な処理について以下に説明する。図５及び図６は、本発明の実施の形態に係る障害物検出システムの検出装置３のＬＳＩ３３の障害物検出処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出し（ステップＳ５０１）、読み出した一方の画像データにて特徴量を抽出する（ステップＳ５０２）。抽出される特徴量は特に限定されるものではなく、例えば二値化処理、エッジ抽出、コーナ抽出等、候補領域を特定することができる特徴量であれば何でも良い。なお、一方の画像データの特徴量を抽出することに限定されるものではなく、特徴量によっては複数の画像データにて特徴量を抽出しても良い。

なお、検出する対象物が人間であると特定されている場合等には、使用する特徴量としては、人間の標準的な温度分布、歩行者と認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。

ＬＳＩ３３は、抽出された特徴量に基づいて、一方の遠赤外線撮像装置１で撮像された画像データ中にて、抽出された特徴量が所定の条件、すなわち検出すべき対象物に固有の条件を具備している領域が存在するか否かを判断する（ステップＳ５０３）。ＬＳＩ３３が、所定の条件を具備している領域が存在しないと判断した場合（ステップＳ５０３：ＮＯ）、ＬＳＩ３３は、障害物が存在しないものと判断し（ステップＳ５０４）、処理を終了する。ＬＳＩ３３が、所定の条件を具備している領域が存在すると判断した場合（ステップＳ５０３：ＹＥＳ）、ＬＳＩ３３は、該領域を他方の遠赤外線撮像装置１で撮像された画像に対する相関値検索の候補領域として設定する（ステップＳ５０５）。

ＬＳＩ３３は、設定した一の候補領域に基づいて、相関値検索する順方向探索範囲の初期位置を特定する（ステップＳ５０６）。画像のどこからどのような順序で検索するかは特に限定されるものではない。相関値検索処理の演算処理負荷を考慮した場合、一方の遠赤外線撮像装置１で撮像された画像中にて、所定の条件を具備する領域として検出された領域の画像中の座標値と同一の座標値から、他方の遠赤外線撮像装置１で撮像された画像に対する相関値検索処理を実行することが好ましい。

しかし、車両との衝突の危険性を検出するという用途を鑑みれば、より危険な状態に対して、時間的な余裕の少ない、自車両に近接している対象物から先に検索し、危険な障害物の存在が検出された場合、該障害物よりも遠方の障害物に対する検出処理を省略することも可能である。したがって、安全性を確保しつつ演算処理負荷を低減させることが可能な方法を採用することがより好ましい。

また、順方向探索範囲は、障害物の検出処理において、動作対象としたい距離区間に応じて、カメラ間距離、カメラ焦点距離、画素ピッチ等の撮像装置パラメータから、検出対象距離区間に相当する視差として導出し、画像データ上での座標範囲として設定することが好ましい。

ＬＳＩ３３は、候補領域と、該候補領域に対応する順方向探索範囲内の探索領域との相関値を算出する（ステップＳ５０７）。順方向探索範囲内で特定する探索領域は、より衝突の危険性が高い、順方向探索範囲にて最も視差が大きい座標から順に視差が小さい座標へ向かって特定することが好ましい。

なお、ＬＳＩ３３が、候補領域と順方向探索範囲内の探索領域とで相関値Ｒを算出する場合、相関値Ｒは正規化相互相関等の相関値演算手法を用いて算出される。もちろん、相関値演算手法は、正規化相互相関に限定されるものではなく、ＳＡＤ（輝度差の総和）、ＳＳＤ（輝度差の二乗和）等、相関を算出することが可能な手法であればなんでも良い。

ＬＳＩ３３は、候補領域と順方向探索範囲内の探索領域との間の相関値が第１の閾値より高い相関を示す領域が存在するか否かを判断し（ステップＳ５０８）、ＬＳＩ３３が、第１の閾値より相関が高いと判断された探索領域が存在しないと判断した場合（ステップＳ５０８：ＮＯ）、ＬＳＩ３３は、全ての順方向探索範囲につき相関値の算出が終了したか否かを判断する（ステップＳ５０９）。ＬＳＩ３３が、全ての順方向探索範囲につき相関値の算出が終了したと判断した場合（ステップＳ５０９：ＹＥＳ）、ＬＳＩ３３は、当該候補領域に対する探索処理を終了する。

ＬＳＩ３３が、未算出である探索範囲が存在すると判断した場合（ステップＳ５０９：ＮＯ）、ＬＳＩ３３は、順方向探索範囲内にて次の探索位置を設定し（ステップＳ５１０）、処理をステップＳ５０７へ戻して上述した処理を繰り返す。

ＬＳＩ３３が、第１の閾値より相関が高いと判断された探索領域が存在すると判断した場合（ステップＳ５０８：ＹＥＳ）、ＬＳＩ３３は、高い相関が得られた左に設定された遠赤外線撮像装置１上の探索領域に基づいて、右に設置された遠赤外線撮像装置１上に逆方向探索範囲を特定し、相関が高いと判断された探索領域に基づいて、相関値検索する逆方向探索範囲の初期位置を特定する（ステップＳ５１１）。なお、画像のどこからどのような順序で検索するかは特に限定されるものではない。

ＬＳＩ３３は、相関が高いと判断された探索領域と、逆方向探索範囲内に設定した探索領域との相関値を算出する（ステップＳ５１２）。ここで、逆方向探索範囲は、順方向探索範囲を特定した場合と同様、動作の対象とする距離区間に応じて特定することが好ましい。逆方向探索範囲内に設定する探索領域についても、順方向探索範囲と同様に、近距離の障害物に相当する大きい視差側から、遠距離の障害物に相当する小さい視差側へ、順に処理することが好ましい。

ＬＳＩ３３は、相関が高いと判断された探索領域と、逆方向探索範囲内の探索領域との間の相関値が第２の閾値（探索≧第１の閾値）より高い相関を示す領域が存在するか否かを判断し（ステップＳ５１３）、ＬＳＩ３３が、相関値が第２の閾値（≧第１の閾値）より高い相関を示す領域が存在すると判断した場合（ステップＳ５１３：ＹＥＳ）、ＬＳＩ３３は、順方向探索で算出する視差と、逆方向探索で算出する視差（以下、逆視差という）とが略一致するか否かを判断する（ステップＳ５１４）。

ＬＳＩ３３が、視差と逆視差とが略一致すると判断した場合（ステップＳ５１４：ＹＥＳ）、ＬＳＩ３３は、障害物を正しく検出したものと判断し、当該視差を、右に設置した遠赤外線撮像装置１の候補領域に対する視差算出履歴情報としてＲＡＭ３３１に記録し（ステップＳ５１５）、障害物を検出した旨の信号を送出する（ステップＳ５１６）。

具体的には、ＬＳＩ３３は、歩行者等の障害物の存在を検出した旨を示す信号を表示装置４又は警報装置５へ出力する。表示装置４では、歩行者等の障害物の存在を検出した旨を示す表示を出力する、警告表示を点滅させる等の警告表示を出力する。警報装置５では、ブザーの鳴動等によって歩行者等の障害物の存在を運転者へ報知する。

ＬＳＩ３３が、第２の閾値より相関が高いと判断された探索領域が存在しないと判断した場合（ステップＳ５１３：ＮＯ）、及び視差と逆視差とが略一致しないと判断した場合（ステップＳ５１４：ＮＯ）、ＬＳＩ３３は、全ての逆方向探索範囲につき相関値の算出が終了したか否かを判断する（ステップＳ５１７）。ＬＳＩ３３が、全ての逆方向探索範囲につき相関値の算出が終了したと判断した場合（ステップＳ５１７：ＹＥＳ）、ＬＳＩ３３は、処理をステップＳ５１０へ戻し、上述した処理を繰り返す。

ＬＳＩ３３が、未算出である探索範囲が存在すると判断した場合（ステップＳ５１７：ＮＯ）、ＬＳＩ３３は、逆方向探索範囲内にて次の探索位置を設定し（ステップＳ５１８）、処理をステップＳ５１２へ戻して上述した処理を繰り返す。

以上のように本実施の形態によれば、画像中に検出対象となる障害物が複数存在して隣接している場合、大きさが酷似している同一種類の障害物である場合等であり、視差と逆視差とが一致しない、すなわち誤った候補領域を検索したときであっても、領域の検索処理を継続して実行することができ、正しい候補領域が検索されるまで検索処理を行うことが可能となる。したがって、障害物の視差を正確に算出することができ、障害物までの距離及び方向を正確に推算することが可能となる。

なお、候補領域を抽出した時点で、該候補領域の移動遷移を追従する処理（いわゆるトラッキング処理）を実行することにより、遠赤外線撮像装置１、１で撮像された画像にて特徴量が所定値より大きい領域が抽出された場合、過去に算出された同一障害物と想定される候補領域が有する視差算出履歴情報を事前に取得しておくことにより、順方向探索範囲を絞り込むことができ、逆視差を算出することによる検証処理を省略することができる。

すなわち検出装置３は、検索の履歴情報として、例えば候補領域の代表点である重心座標値の移動履歴をＲＡＭ３３１にトラッキング情報として記憶する。トラッキング情報には、検出された障害物の位置、大きさ、視差等がフレーム単位で時系列的に記憶されている。図７は、トラッキング情報を用いる場合の、ＬＳＩ３３の処理手順を示すフローチャートである。

ＬＳＩ３３は、設定された候補領域に基づいて、ＲＡＭ３３１に記憶してある前フレームでの視差算出履歴情報をトラッキング情報として読み出し（ステップＳ７０１）、トラッキング情報に含まれる視差、自車両の速度等に基づいて、推定される障害物が包含されるように、相関値検索する順方向探索範囲の初期位置を特定する（ステップＳ７０２）。画像のどこからどのような順序で検索するかは特に限定されるものではない。例えばトラッキング情報に含まれる座標履歴に基づいて、現フレームでの画像における推定座標を算出して、順方向探索範囲の中心点を初期位置としても良い。

いずれにしても、過去の視差値、その他のトラッキング情報を用いて、現フレームの画像にて該障害物が撮像されていると推定される画面上の座標値を定め、該座標値の近傍にのみ探索範囲を設定している。現在の位置の推定方法については、移動ベクトルを用いて算出することが好ましいが、特に限定されるものではなく、例えば単純な直線近似等であっても良い。

ＬＳＩ３３は、候補領域と、該候補領域に対応する順方向探索範囲内の探索領域との相関値を算出する（ステップＳ７０３）。順方向探索範囲内で特定する探索領域は、より衝突の危険性が高い、探索範囲にて最も視差が大きい座標から順に視差が小さい座標へ向かって特定することが好ましい。

ＬＳＩ３３は、候補領域と順方向探索範囲内の探索領域との間の相関値が第１の閾値より高い相関を示す領域が存在するか否かを判断し（ステップＳ７０４）、ＬＳＩ３３が、第１の閾値より相関が高いと判断された探索領域が存在しないと判断した場合（ステップＳ７０４：ＮＯ）、ＬＳＩ３３は、全ての順方向探索範囲につき相関値の算出が終了したか否かを判断する（ステップＳ７０５）。ＬＳＩ３３が、全ての順方向探索範囲につき相関値の算出が終了したと判断した場合（ステップＳ７０５：ＹＥＳ）、ＬＳＩ３３は、当該候補領域に対する探索処理を終了する。

なお、トラッキング情報に基づいて設定された探索範囲は、従来の方法で設定する探索範囲よりも一般に狭いことから、対応する領域が検出できなかった場合、従来の方法により順方向の探索範囲を設定し、まだ探索していない領域についてのみ再度探索処理を行っても良い。

ＬＳＩ３３が、未算出である探索範囲が存在すると判断した場合（ステップＳ７０５：ＮＯ）、ＬＳＩ３３は、順方向探索範囲内にて次の探索位置を設定し（ステップＳ７０６）、処理をステップＳ７０３へ戻して上述した処理を繰り返す。

ＬＳＩ３３が、第１の閾値より相関が高いと判断された探索領域が存在すると判断した場合（ステップ７０４：ＹＥＳ）、ＬＳＩ３３は、当該候補領域のトラッキング情報として、高い相関を得られた領域に相当する視差をＲＡＭ３３１に記録し（ステップＳ７０７）、逆視差の算出等の確認処理を行うことなく、障害物を検出した旨の信号を送出する（ステップＳ７０８）。

具体的は、ＬＳＩ３３は、歩行者等の障害物の存在を検出した旨を示す信号を表示装置４又は警報装置５へ出力する。表示装置４では、歩行者等の障害物の存在を検出した旨を示す表示を出力する、警告表示を点滅させる等の警告表示を出力する。警報装置５では、ブザーの鳴動等によって歩行者等の障害物の存在を運転者へ報知する。

このようにすることで、過去の障害物の移動遷移をトラッキングしておくことにより、画像中に検出対象となる障害物が複数存在して隣接している場合、大きさが酷似している同一種類の障害物である場合等であっても、逆視差の算出処理を行うことなく視差画像中の障害物が対応している障害物であることを担保することができ、演算処理負荷を軽減することが可能となる。

なお、上述した実施の形態では、検出装置３のＬＳＩ３３が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。

本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置の構成を示すブロック図である。本発明の実施の形態に係る障害物検出システムの検出装置の構成を示すブロック図である。左右に設置してある遠赤外線撮像装置で撮像した画像の一例を示す図である。本発明の実施の形態に係る障害物検出システムの検出装置のＬＳＩの障害物検出処理の手順を示すフローチャートである。本発明の実施の形態に係る障害物検出システムの検出装置のＬＳＩの障害物検出処理の手順を示すフローチャートである。トラッキング情報を用いる場合の、ＬＳＩの処理手順を示すフローチャートである。

符号の説明

１遠赤外線撮像装置
３検出装置
４表示装置
５警報装置
３１ａ映像入力部
３１ｂ映像出力部
３１ｃ映像出力部
３２画像メモリ
３３ＬＳＩ
３３１ＲＡＭ

Claims

車両の周辺を撮像する複数の撮像装置と、
該複数の撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置と
を備え、複数の撮像装置で撮像された画像に基づいて障害物を検出する障害物検出システムにおいて、
前記検出装置は、
前記複数の撮像装置で撮像された画像データにて、所定の特徴量を有する領域を障害物が存在する候補領域として抽出する候補領域抽出手段と、
一の画像データにて抽出された候補領域に基づいて、他の画像データ中に第１の探索範囲を特定する第１の探索範囲特定手段と、
該第１の探索範囲特定手段で特定した第１の探索範囲内に、視差の大きい順に移動して前記候補領域との相関値を算出する順方向探索領域を特定する順方向探索領域特定手段と、
前記候補領域と前記順方向探索領域との間の視差を算出する視差算出手段と、
前記候補領域と前記順方向探索領域との第１の相関値を算出する第１の相関値算出手段と、
算出された第１の相関値が第１の閾値より高い相関を示す前記順方向探索領域が存在するか否かを判断する第１の判断手段と、
該第１の判断手段で第１の閾値より高い相関を示す順方向探索領域が存在すると判断した場合、前記順方向探索領域に基づいて、一の画像データ中に第２の探索範囲を特定する第２の探索範囲特定手段と、
該第２の探索範囲特定手段で特定した第２の探索範囲内に、逆視差の大きい順に移動して前記順方向探索領域との相関値を算出する逆方向探索領域を特定する逆方向探索領域特定手段と、
前記順方向探索領域特定手段で特定した順方向探索領域と前記逆方向探索領域との間の逆視差を算出する逆視差算出手段と、
前記順方向探索領域と前記逆方向探索領域との第２の相関値を算出する第２の相関値算出手段と、
算出された第２の相関値が第２の閾値（≧第１の閾値）よりも高い相関を示す前記逆方向探索領域が存在するか否かを判断する第２の判断手段と、
該第２の判断手段で第２の閾値よりも高い相関を示す逆方向探索領域が存在すると判断した場合、前記候補領域と前記順方向探索領域との視差、及び前記順方向探索領域と前記逆方向探索領域との逆視差が略一致しているか否かを判断する第３の判断手段と
を備え、
前記第３の判断手段で略一致すると判断した場合、前記候補領域にて障害物を検出したと判断するようにしてあることを特徴とする障害物検出システム。
前記第３の判断手段で一致しないと判断した場合、他の画像データ中にて、前記第１の判断手段で第１の閾値より高い相関を示す順方向探索領域を、順次繰り返し特定する手段と、
一の画像データ中にて、前記第２の判断手段で第２の閾値（≧第１の閾値）よりも高い相関を示す逆方向探索領域を、順次繰り返し特定する手段と
を備え、
前記第３の判断手段で略一致すると判断するまで順次繰り返し順方向探索領域及び逆方向探索領域を特定するようにしてあることを特徴とする請求項１記載の障害物検出システム。
前記候補領域ごとに映像フレーム単位で算出された視差を記憶する手段と、
前記候補領域抽出手段で抽出した候補領域の、前映像フレームで算出された視差を読み出す手段と
を備え、
読み出された視差近傍でのみ他の画像データ中にて探索範囲を特定し、
前記第１の判断手段にて第１の相関値が第１の閾値より高い相関を示す順方向探索領域が存在するか否かを判断するようにしてあることを特徴とする請求項１又は２記載の障害物検出システム。
車両の周辺を撮像する複数の撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、
前記複数の撮像装置で撮像された画像データにて、所定の特徴量を有する領域を障害物が存在する候補領域として抽出し、
一の画像データにて抽出された候補領域に基づいて、他の画像データ中に第１の探索範囲を特定し、
特定された第１の探索範囲内に、算出された視差の大きい順に移動して前記候補領域との相関値を算出する順方向探索領域を特定し、
前記候補領域と前記順方向探索領域との間の視差を算出し、
前記候補領域と前記順方向探索領域との第１の相関値を算出し、
算出された第１の相関値が第１の閾値より高い相関を示す前記順方向探索領域が存在するか否かを判断し、
第１の閾値より高い相関を示す順方向探索領域が存在すると判断した場合、前記順方向探索領域に基づいて、一の画像データ中に第２の探索範囲を特定し、
特定された第２の探索範囲内に、逆視差の大きい順に移動して前記順方向探索領域との相関値を算出する逆方向探索領域を特定し、
特定された順方向探索領域と前記逆方向探索領域との間の逆視差を算出し、
前記順方向探索領域と前記逆方向探索領域との第２の相関値を算出し、
算出された第２の相関値が第２の閾値（≧第１の閾値）よりも高い相関を示す前記逆方向探索領域が存在するか否かを判断し、
第２の閾値よりも高い相関を示す逆方向探索領域が存在すると判断した場合、前記候補領域と前記順方向探索領域との視差、及び前記順方向探索領域と前記逆方向探索領域との逆視差が略一致しているか否かを判断し、
略一致すると判断した場合、前記候補領域にて障害物を検出したと判断することを特徴とする障害物検出方法。