JP2016024602A - 物体検知装置及びそれを用いた車両制御システム - Google Patents

Abstract

【課題】立体物の陰に一部が隠れた移動体を精緻に且つ安定して検知することのできる物体検知装置及びそれを用いた車両制御システムを提供する。【解決手段】周囲を撮像する複数の撮像部で取得した複数の画像から第一視差情報を取得する第一視差情報取得部２０１と、第一視差情報に基づいて立体物を検知する立体物検知部２０２と、複数の画像の各画像について、立体物を含む第一領域画像と該第一領域画像に隣接する第二領域画像とを生成する分割領域画像生成部２０３と、各画像についての第二領域画像から第二視差情報を取得する第二視差情報取得部２０４と、異なる時間における第二視差情報から立体物とは異なる第二領域画像内の移動体を検知する移動体検知部２０５と、を備える。【選択図】図２

Description

本発明は、物体検知装置及びそれを用いた車両制御システムに関する。

従来、車両や移動可能なロボット等にステレオカメラを搭載し、当該ステレオカメラにより撮像された画像から得られた情報に基づいて周囲の状況を認識する技術が知られている。

この種の従来技術として、監視領域内に存在する立体物を抽出し、オプティカルフローを用いて立体物の三次元的な動きを算出して監視領域内の移動物体を検出する技術が特許文献１に開示されている。

特許文献１に開示されている移動物体検出装置は、監視領域を含む景色を撮像し、一対の画像を時系列的に出力するステレオカメラと、前記一対の画像に基づいて、ステレオマッチングにより距離データを算出するステレオ画像処理部と、前記距離データに基づいて、前記監視領域内に存在する立体物を認識する認識部と、前記一対の画像のうちの一方の画像を処理対象として、時系列的に並ぶ複数の画像および前記距離データに基づいてオプティカルフローを検出する検出部と、前記距離データと前記オプティカルフローとに基づいて、前記立体物の三次元移動成分フローを算出する算出部と、前記三次元移動成分フローに基づいて移動物体と静止物体とを判定する判定部とを有する装置である。

特開２００６−１３４０３５号公報

ところで、上記した移動物体検出装置等の従来技術は、例えば自動車等の車両に搭載され、走行中の車両と、前方を走行中の車両や車線変更してきた車両、急に車両前方に飛び出してきた車両や障害物、歩行者等との衝突を回避するため、自車両の前方や側方の監視領域内から車両や障害物、歩行者等を検出し、運転者に警報を発したり、自動的に自車両のブレーキを作動させて減速や停止をするシステムに利用されるが、上記した車両や障害物、歩行者等は、駐車もしくは停止した車両等の物陰から車両前方に飛び出してくる場合もある。

しかしながら、特許文献１に開示されている移動物体検出装置においては、監視領域を含む景色を撮像するステレオカメラを使用し、そのステレオカメラから時系列的に出力される一対の画像に基づき算出される距離データとオプティカルフローとに基づいて、地面に対して移動している立体物の三次元移動成分フローを算出し、その三次元移動成分フローに基づいて移動物体と静止物体とを判定するため、車両前方に飛び出してくる歩行者等の一部が物陰といった立体物の陰（後方）に隠れてしまう場合に、移動物体と静止物体との境界における距離情報が不安定となり、移動物体と静止物体とを精緻に判定し得ないといった問題が生じ得る。

本発明は、前記問題に鑑みてなされたものであって、その目的とするところは、例えば物陰といった立体物の陰（後方）に歩行者等の移動体の一部が隠れてしまう場合であっても、その移動体を精緻に且つ安定して検知することのできる物体検知装置及びそれを用いた車両制御システムを提供することである。

上記する課題を解決するために、本発明に係る物体検知装置は、周囲を撮像した画像から立体物を検知する物体検知装置であって、周囲を撮像する複数の撮像部で取得した複数の画像から第一視差情報を取得する第一視差情報取得部と、前記第一視差情報に基づいて立体物を検知する立体物検知部と、前記複数の画像の各画像について、前記立体物を含む第一領域画像と該第一領域画像に隣接する第二領域画像とを生成する分割領域画像生成部と、各画像についての前記第二領域画像から第二視差情報を取得する第二視差情報取得部と、異なる時間における前記第二視差情報から前記立体物とは異なる前記第二領域画像内の移動体を検知する移動体検知部と、を備えることを特徴とする。

また、本発明に係る車両制御システムは、前記物体検知装置と、該物体検知装置による検知結果に基づいて車両の動作状態を制御する車両制御装置と、を備えることを特徴とする。

本発明によれば、周囲を撮像する複数の撮像部で取得した複数の画像の各画像について、立体物を含む第一領域画像と該第一領域画像に隣接する第二領域画像とを生成し、各画像についての第二領域画像から第二視差情報を取得し、異なる時間における第二視差情報から立体物とは異なる第二領域画像内の移動体を検知することにより、立体物と移動体との境界における視差情報の精度を高めることができ、例えば物陰といった立体物の陰（後方）に歩行者等の移動体の一部が隠れてしまう場合であっても、その移動体を精緻に且つ安定して検知することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明に係る物体検知装置を用いた車両制御システムの実施形態１の全体構成を示す全体構成図。 図１に示す画像処理部の内部構成を示す内部構成図。 図２に示す第一視差情報取得部による処理を説明したフローチャート。 図２に示す立体物検知部による処理を説明したフローチャート。 図２に示す分割領域画像生成部による処理を説明した説明図。 図２に示す分割領域画像生成部による処理を説明したフローチャート。 図２に示す第二視差情報取得部による処理を説明したフローチャート。 図２に示す移動体検知部による処理を説明したフローチャート。 図１に示す表示装置の表示画面の一例を示す図。 本発明に係る物体検知装置を用いた車両制御システムの実施形態２の物体検知装置の内部構成を示す内部構成図。 本発明に係る物体検知装置を用いた車両制御システムの実施形態３の物体検知装置の内部構成を示す内部構成図。

以下、本発明の実施形態を図面を参照して説明する。なお、以下では、主に、物体検知装置が車両に搭載されて当該車両の周囲に存在する物体を検知し、その検知結果が車両の動作状態（走行状態）を制御する車両制御システムに利用される形態について説明するが、前記物体検知装置は、例えば移動可能なロボット等に搭載され、そのロボット等の周囲の物体を検知し、その検知結果を当該ロボット等の動作状態を制御するシステムに利用してもよいことは勿論である。

＜実施形態１＞
図１は、本発明に係る物体検知装置を用いた車両制御システムの実施形態１の全体構成を示したものであり、図２は、図１に示す画像処理部１０３の内部構成を示したものである。

図１に示すように、車両制御システム１は、主に、物体検知装置１０、信頼度算出装置１１、車両制御装置１２、ブレーキ１３、アクセル１４、警報装置１５、ステアリング１６、及び、表示装置１７を備え、それらが有線もしくは無線からなる通信回線を介して通信自在に接続されている。

物体検知装置１０は、主に、車両の前方を撮像するように当該車両に搭載された左撮像部１０１と右撮像部１０２とを有するステレオカメラ１００と、ステレオカメラ１００により撮像された各画像を処理する画像処理部１０３と、画像処理部１０３による画像処理によって検知された移動体等に関する情報を外部へ出力する外部通信部１０４と、を備えている。なお、物体検知装置１０には、ステレオカメラ１００により撮像された画像や画像処理部１０３により処理された処理結果などを記憶する記憶部としてのメモリ１０５や、当該物体検知装置１０における各種演算を行う演算部としてのＣＰＵ１０６も搭載されており、所定の処理がプログラミングされて予め定められた周期で繰り返し処理を実行するようになっている。

物体検知装置１０の画像処理部１０３は、ステレオカメラ１００により時系列的に撮像された各画像を処理して、例えば立体物（静止立体物や移動体）や路面等を検知するものであり、図２に示すように、主に、第一視差情報取得部２０１、立体物検知部２０２、分割領域画像生成部２０３、第二視差情報取得部２０４、及び、移動体（飛び出し）検知部２０５を有している。

第一視差情報取得部２０１は、ステレオカメラ１００を構成する左撮像部１０１で撮像した画像と右撮像部１０２で撮像した画像を取得し、その画像間の視差、すなわち撮像した画像に映る同じ対象物の画像間での撮像位置のズレを算出する。

具体的には、図３に示すように、まず、左画像入力処理Ｓ３０１において、左撮像部１０１で撮像した画像データを受信し、右画像入力処理Ｓ３０２において、右撮像部１０２で撮像した画像データを受信する。ここで、左画像入力処理Ｓ３０１と右画像入力処理Ｓ３０２とは並列処理として同時に行ってもよい。

次に、対応点算出処理Ｓ３０３において、左画像入力処理Ｓ３０１と右画像入力処理Ｓ３０２で取得した左右２枚の画像を比較し、同一物体を撮像している部分を特定して対応点として検出する。この対応点の検出方法としては、適宜の検出方法を適用し得るが、例えば、縦５画素・横５画素のブロックをウインドウとして設定する。左右どちらかの画像を基準画像、他方を参照画像とし、基準画像の注目画素とその周辺を基準として参照画像内を探索する。その際の相関値としては、例えばSADなどを用いる。このSADは、ブロック内における座標ごとに差分をとり、その絶対値を足し合わせたものであり、この相関値が最も小さい点を対応点とする。

次に、視差算出処理Ｓ３０４において、対応点算出処理Ｓ３０３で検出した対応点に関して、各対応点の視差（左画像と右画像における座標のズレ）を算出する。この視差を基準画像の画素ごとに計算することで、基準画像の視差画像を生成して視差情報を取得する。なお、この視差画像は、画素毎に三次元座標への変換が可能である。

次に、視差情報出力処理Ｓ３０５において、視差算出処理Ｓ３０４で取得した視差情報をメモリ１０５へ出力して保存する。

そして、Ｓ３０６において、左撮像部１０１及び右撮像部１０２から画像入力信号があるか否かを判断し、画像入力信号があると判断した場合は、左画像入力処理Ｓ３０１に戻る。一方、左撮像部１０１及び右撮像部１０２から画像入力信号がないと判断した場合は、画像入力信号が第一視差情報取得部２０１に入力されるまで待機する。

立体物検知部２０２は、前記第一視差情報取得部２０１で得られた視差情報を利用して画像中から立体物、特に静止立体物（例えば、駐車もしくは停止した車両や前方に載置された構造物等）を検知する。

具体的には、図４に示すように、まず、視差情報入力処理Ｓ４０１において、第一視差情報取得部２０１で算出した視差情報（視差画像）を受信する。

次に、視差グルーピング処理Ｓ４０２において、視差情報入力処理Ｓ４０１で得られた視差情報に基づいて、視差のグルーピングを行う。上記したように、視差は画素毎に得られているため、画像上で近傍かつ視差が近い点をグルーピングし、三次元的に近い点群を纏めて立体物の候補とする。

次に、結合・分割処理Ｓ４０３において、視差グルーピング処理Ｓ４０２で特定された立体物の候補同士の結合・分割処理を行う。詳細には、近傍にある立体物の候補同士を結合させる、あるいは、１つの立体物の候補内で視差が途切れている箇所を分割するなどの処理を行い、立体物として確定する。

次に、立体物情報算出処理Ｓ４０４において、結合・分割処理Ｓ４０３で確定された立体物の代表的な距離や速度などの情報を算出する。

そして、立体物検知結果出力処理Ｓ４０５において、立体物情報算出処理Ｓ４０４で得られた立体物情報をメモリ１０５へ出力して保存する。

分割領域画像生成部２０３は、右撮像部１０２で得られた画像と立体物検知部２０２で得られた立体物検知結果を入力とし、立体物検知部２０２によって検知されたある立体物の端点を右撮像部１０２で得られた画像上で探索し、検出した端点を含む線分を境界として、当該画像を前記立体物が存在する第一領域とその第一領域に隣接（外接）する第二領域に分割して第一領域画像と第二領域画像とを生成する（図５参照）。図５に示す例では、立体物の端点を含みかつ縦方向に延びる区画線を第一領域と第二領域とを区画する境界としているが、第一領域と第二領域とを区画する境界は適宜に設定してよいことは勿論である。

具体的には、図６に示すように、対象領域入力処理Ｓ６０１において、立体物検知部２０２で得られた立体物情報を受信し、右画像入力処理Ｓ６０２において、右撮像部１０２で撮像した画像データを受信し、視差情報入力処理Ｓ６０３において、第一視差情報取得部２０１で得られた視差情報（視差画像）を受信する。ここで、右画像入力処理Ｓ６０２において受信した右撮像部１０２からの画像上で、対象領域入力処理Ｓ６０１において受信した立体物検知部２０２で検知した立体物の存在する領域（所定の大きさを有する領域）を算出して処理対象領域としておく。ここで、対象領域入力処理Ｓ６０１と右画像入力処理Ｓ６０２と視差情報入力処理Ｓ６０３とは並列処理として同時に行ってもよい。

次に、領域分割箇所探索処理Ｓ６０４において、前記処理対象領域内での領域分割箇所を探索する。ここで、領域分割箇所とは、分割領域画像生成部２０３において算出した処理対象領域の内部で、立体物の端点である可能性の高い箇所である。

例えば、歩行者等の飛び出しが発生するシーンにおいては、処理対象領域に含まれる立体物は、駐車車両などといった大きさや形状がある程度仮定できる立体物であることが多い。そのため、例えば車両であると仮定して、幅・高さのパラメタや輪郭のテンプレートを事前に設定することで、対象とする立体物が車両であるときにその端点を精度よく検出できる。なお、この仮定は、パラメタを一種類に限定して特定の立体物であるときのみの動作を目的としてもよいし、複数種の立体物のパラメタを事前にテーブルとしてメモリ１０５等に格納しておき、画像情報から対象とする立体物の種類を識別して適切なパラメタを設定する手法でもよい。また、後述する実施形態２、３などの他の探索手法に、このような仮定を拘束条件として補助的に追加することで、立体物の端点の検索精度を高めることもできる。

次に、分割領域画像生成処理Ｓ６０５において、領域分割箇所探索処理Ｓ６０４で得られた領域分割箇所に基づいて、右画像入力処理Ｓ６０２において受信した画像から所定の大きさの領域画像を生成する。詳細には、右画像入力処理Ｓ６０２において受信した画像から、立体物検知部２０２で検知した立体物が含まれる第一領域画像（図５では、画像を縦方向で分割した左側領域の画像）と、第一領域画像に隣接するように前記端点（領域分割箇所）に設けられた第二領域画像（図５では、画像を縦方向で分割した右側領域の画像）とを生成する。

そして、分割領域情報出力処理Ｓ６０６において、分割領域画像生成処理Ｓ６０５で得られた領域画像等を含む分割領域情報をメモリ１０５へ出力して保存する。

なお、ここでは、右撮像部１０２で得られた画像に対する処理を説明したが、左撮像部１０１で得られた画像についても同様の処理を行い、その分割領域情報をメモリ１０５へ出力して保存する。

第二視差情報取得部２０４は、分割領域画像生成部２０３で分割して生成された第二領域画像内において、左撮像部１０１で撮像された画像と右撮像部１０２で撮像された画像とからその画像間の処理対象領域の視差を再度算出する。

具体的には、図７に示すように、まず、分割後左画像入力処理Ｓ７０１において、左撮像部１０１で撮像した画像データから得られた第二領域画像（すなわち、左撮像部１０１で撮像した画像データのうち分割領域画像生成部２０３で分割された第二領域内のデータ、以下では、分割後左画像という）を受信し、分割後右画像入力処理Ｓ７０２において、右撮像部１０２で撮像した画像データから得られた第二領域画像（すなわち、右撮像部１０２で撮像した画像データのうち分割領域画像生成部２０３で分割された第二領域内のデータ、以下では、分割後右画像という）を受信する。ここで、分割後左画像入力処理Ｓ７０１と分割後右画像入力処理Ｓ７０２とは並列処理として同時に行ってもよい。

次に、Ｓ７０３〜Ｓ７０６において、入力として分割後左画像及び分割後右画像を用いること以外は、図３に基づき説明したＳ３０３〜Ｓ３０６と同様の処理を行い、視差情報を取得する。

図３に基づき説明した対応点算出処理Ｓ３０３においては、立体物の端点を考慮せずにウインドウ（例えば、縦５画素・横５画素のブロック）を設定するため、そのウインドウ内部に複数の立体物が混在して、視差が不安定となる懸念があった。一方で、上記した対応点算出処理Ｓ７０３において対応点探索のために設定されるウインドウ（例えば、縦５画素・横５画素のブロック）は、立体物の端点において画像を予め分割した上でその分割後左画像及び分割後右画像に設定されるため、複数の立体物をまたぐことがなく、立体物の端点において視差の精度を高めることができる。

移動体（飛び出し）検知部２０５は、第二視差情報取得部２０４で得られた過去の視差情報と現在の視差情報、言い換えれば、分割領域画像生成部２０３で生成された第二領域画像内における過去の視差算出結果と現在の視差算出結果から、第一領域画像内の立体物と異なる移動体を検出する。

具体的には、図８に示すように、まず、分割後左画像入力処理Ｓ８０１、分割後右画像入力処理Ｓ８０２、分割領域視差情報入力処理Ｓ８０３において、それぞれ分割後左画像、分割後右画像、第二視差情報取得部２０４で算出された視差情報（視差画像）を受信する。

次に、飛び出し物体検知処理Ｓ８０４において、分割領域画像生成部２０３によって生成された第二領域画像内の飛び出し物体を検知する。詳細には、前記第二領域内の視差情報から第二領域の代表的な距離を算出する。その際、例えば、第二領域内で得られた視差情報の平均値を用いて飛び出し物体を検知する。このように、視差情報を利用することで、第二領域内に物体が存在することを精度よく検出できると共に、形状などの画像情報を使用しないことで、対象が歩行者の飛び出しに限定されず、車両などを含む任意の物体の飛び出しを検出できる。また、飛び出し検知処理Ｓ８０５において、第二領域画像内の過去の視差算出結果と現在の視差算出結果から、飛び出し物体検知処理Ｓ８０４で検知された飛び出し物体の移動方向や移動速度（飛び出し方向や飛び出し速度）を検知し、その飛び出し物体が実際に車両前方に飛び出してくるか否かを判断する。

そして、検知結果出力処理Ｓ８０６において、飛び出し検知処理Ｓ８０５で得られた飛び出し物体の検知結果をメモリ１０５に出力して保存する。また、この飛び出し物体の検知結果を外部通信部１０４を介して車両制御装置１２等へCAN情報として送信する。

これにより、物体検知装置１０では、物陰といった立体物（例えば、駐車もしくは停止した車両や前方に載置された構造物等）の陰（後方）から飛び出してくる他の立体物（例えば、車両や障害物、歩行者等）を飛び出し直後に迅速に検知することができる。

車両制御システム１の車両制御装置１２は、物体検知装置１０から飛び出し物体の検知結果等に関する情報を受信すると、ブレーキ１３やアクセル１４やステアリング１６に対する制御信号や、警報装置１５や表示装置１７に対する指令信号を生成し、生成した制御信号や指令信号を適宜の装置に送信して、車両の動作状態（走行状態）等を制御する。これにより、運転手の漫然運転などによる衝突を回避することができる。特に、上記した物体検知装置１０による検知結果を利用することにより、例えば車両等の陰から歩行者等が飛び出すシーンにおいても、その歩行者等の一部が視界に入った段階（歩行者等の一部が車両等に隠れている状態）でその歩行者等を検知して衝突回避の制御を開始することができるため、その歩行者等との衝突を確実に回避することができる。

ところで、車両の制御を行う場合、検知結果の精度に応じて車両の制御方法を変更することが望ましい。例えば、立体物との衝突がほぼ確実である場合には急ブレーキによって衝突を回避し、そうでない場合にはブレーキに与圧をかけて急ブレーキに備える、といった制御を行うことが考えられる。

そこで、当該車両制御システム１の信頼度算出装置１１は、外部通信部１０４から外部へ出力される信号に対して検知結果に関する信頼度情報を付加する。具体的には、信頼度算出装置１１は、物体検知装置１０から送信される検知結果が立体物検知部２０２による検知結果であるか、あるいは、移動体（飛び出し）検知部２０５による検知結果であるか、言い換えれば、立体物検知部２０２によって検知された立体物であるか、あるいは、移動体（飛び出し）検知部２０５によって検知された立体物（移動体）であるかを表わすフラグを、外部通信部１０４から外部へ出力される信号に付加して車両制御装置１２へ送信する。例えば、移動体（飛び出し）検知部２０５による検知結果は、ごく小さい領域のみを利用した立体物検知手法であるため、立体物検知部２０２による検知結果に比べて信頼度は低いと考えられる。そこで、外部通信部１０４から外部へ出力される信号が立体物検知部２０２による検知結果であれば、ブレーキ１３による制動を行って急ブレーキをかけ、移動体（飛び出し）検知部２０５による検知結果であれば、急ブレーキに備えてブレーキ１３に与圧をかける、または警報装置１５を作動させて運転者に対して警報を鳴らす或いは警告を表示するなど、比較的軽い制御にとどめるといったフラグを付与する。

このように、物体検知装置１０による検知結果の信頼度に応じて、例えば急ブレーキによる制動とブレーキ与圧又は運転者に対する警告とを切換えて車両の制御方法を変更することにより、誤検知によるブレーキ１３などの誤制御を抑制しつつ、例えば衝突回避性能を向上させることができる。

また、ヘッドマウントディスプレイなどの表示装置１７を利用して視覚的にユーザ（運転者等）へ警告を発する機能においても、検知結果に応じて表示形式を変化することが望ましい。そこで、例えば、立体物検知部２０２による検知結果のうち、移動体（飛び出し）検知部２０５によって立体物の近傍から別の移動体の飛び出しが検知された検知結果に対し、表示形式の変更を指示するフラグを付加して車両制御装置１２へ送信する。車両制御装置１２は表示装置１７へ指令信号を送信し、表示装置１７は、その指令信号に基づいてユーザの注意を喚起するような表示処理を行う。例えば、単に立体物のみを検知した場合には薄く枠を表示し、立体物の陰からの飛び出しを検知した場合には危険物体を示す矢印などのマークを表示し、前記した飛び出しを検知したことを示すフラグによって表示形式を変えることで、ユーザの注意を喚起するような表示形式に切り換えることができる。

より具体的には、図９に示すように、立体物検知部２０２によって立体物として車両Ｖ１と車両Ｖ２を検知し、移動体（飛び出し）検知部２０５によって車両Ｖ２の陰から歩行者Ｐが飛び出してくることを検知した場合、車両Ｖ１と車両Ｖ２に対して異なる表示信号を送信する、図示例では、飛び出しを検知した位置に矢印Ａを表示して、ユーザによる視認を促す。

このように、立体物検知部２０２によって検知された立体物のうち、立体物検知部２０２によって立体物のみが検知された場合と移動体（飛び出し）検知部２０５によって立体物と共に移動体が検知された場合とで表示装置１７の表示形式を変更することにより、飛び出し検知の検知結果の信頼度が低い段階から、ユーザに対して飛び出しの発生するリスクが高い箇所を視覚的に伝えて視認を促すことができる。特に、駐車場走行時などの飛び出しの発生する死角が多く存在するシーンにおいても、特に注意すべき箇所を迅速にユーザに伝えることができる。

このように、本実施形態１によれば、周囲を撮像する複数の撮像部で取得した複数の画像の各画像について、立体物を含む第一領域画像と該第一領域画像に隣接する第二領域画像とを生成し、各画像についての第二領域画像から第二視差情報を取得し、異なる時間における第二視差情報から立体物とは異なる第二領域画像内の移動体を検知することにより、立体物と移動体との境界における視差情報の精度を高めることができ、例えば物陰といった立体物の陰（後方）に歩行者等の移動体の一部が隠れてしまう場合であっても、その立体物の陰に一部が隠れた移動体を精緻に且つ安定して検知することができる。

＜実施形態２＞
図１０は、本発明に係る物体検知装置を用いた車両制御システムの実施形態２の物体検知装置の内部構成を示したものである。図１０に示す実施形態２の物体検知装置１０Ａは、図１〜図９に示す実施形態１の物体検知装置１０に対して、事前にサイズなどの仮定をおかない領域分割箇所の探索方法として縦方向エッジを利用し、画像中から縦方向エッジを検出して分割領域画像を生成する点が相違しており、その他の構成は実施形態１の物体検出装置１０と同様である。したがって、以下では、実施形態１の物体検出装置１０と異なる構成のみを詳述し、実施形態１と同様の構成についてはその詳細な説明は省略する。

本実施形態２の物体検知装置１０Ａの画像処理部１０３Ａは、第一視差情報取得部２０１Ａ、立体物検知部２０２Ａ、分割領域画像生成部２０３Ａ、第二視差情報取得部２０４Ａ、及び、移動体（飛び出し）検知部２０５Ａに加えて、縦方向エッジ検出部２０６Ａとヒストグラム生成部２０７Ａとを有している。

縦方向エッジ検出部２０６Ａは、左撮像部１０１や右撮像部１０２で撮像した画像、特に分割領域画像生成部２０３Ａにおいて算出した処理対象領域の内部で縦方向エッジを検出し、分割領域画像生成部２０３Ａは、縦方向エッジ検出部２０６Ａで検出される縦方向エッジが多く出現する位置（縦方向エッジの出現頻度が高い位置）を領域分割箇所とする。一般に人工物の端点は縦方向エッジが出現し易いため、ここで特定される領域分割箇所が、駐車もしくは停止した車両や前方に載置された構造物等の立体物の端点に相当する箇所となる。

縦方向エッジ検出部２０６Ａによる縦方向エッジの算出手法としては、一般に以下のゾーベルの手法が知られており、ある画素を中心とした縦３画素・横３画素のブロックにおける画素値に以下の式（１）を施し、その結果Lxが閾値以上であれば縦方向エッジとみなす。

ここで、縦方向エッジの検出手法は、画像上で横方向の輝度変化を検出可能な手法であればよく、上記したゾーベルの手法に限定されるものではない。

また、縦方向エッジの検出結果から領域分割箇所を決定するために、ヒストグラム生成部２０７Ａは、前記処理対象領域を横方向で所定の幅毎に分割して複数の縦長な矩形状の領域を生成する。そして、それぞれの領域において、縦方向エッジ検出部２０６Ａで検出された縦方向エッジの出現回数をカウントし、縦方向エッジの出現頻度に関するヒストグラムを生成する。

前記分割領域画像生成部２０３Ａは、ヒストグラム生成部２０７Ａにより生成されたヒストグラムを参照し、前記ヒストグラムのうち、最も出現頻度値の高い箇所に大きな縦方向エッジがあると判定し、その出現頻度値が所定の閾値を上回っている場合に、その縦方向エッジの箇所（位置）を、上記した第一領域画像と第二領域画像とを区画する領域分割箇所とする。

人工物の端点は縦方向エッジが出現し易いため、上記したように画像中から縦方向エッジを検出して分割領域画像を生成することにより、車両などの人工物の物陰から歩行者等が飛び出すようなシーンにおいて、簡便な構成でもってその移動体を効果的に検知することができる。

＜実施形態３＞
図１１は、本発明に係る物体検知装置を用いた車両制御システムの実施形態３の物体検知装置の内部構成を示したものである。図１１に示す実施形態３の物体検知装置１０Ｂは、図１〜図９に示す実施形態１の物体検知装置１０に対して、領域分割箇所の探索方法としてオプティカルフローを利用して分割領域画像を生成する点が相違しており、その他の構成は実施形態１の物体検出装置１０と同様である。したがって、以下では、実施形態１の物体検出装置１０と異なる構成のみを詳述し、実施形態１と同様の構成についてはその詳細な説明は省略する。

本実施形態２の物体検知装置１０Ｂの画像処理部１０３Ｂは、第一視差情報取得部２０１Ｂ、立体物検知部２０２Ｂ、分割領域画像生成部２０３Ｂ、第二視差情報取得部２０４Ｂ、及び、移動体（飛び出し）検知部２０５Ｂに加えて、オプティカルフロー算出部２０８Ｂを有している。

オプティカルフロー算出部２０８Ｂは、メモリ１０５Ｂに記憶された左撮像部１０１や右撮像部１０２で時系列的に撮像した画像の内部での各画素、特に分割領域画像生成部２０３Ｂにおいて算出した処理対象領域の内部での各画素の時系列の移動方向に関するオプティカルフローを算出し、その算出結果をグルーピングすることで、静止立体物の領域と移動体の領域を推定し、静止立体物の領域と移動体の領域との境界を検出する。例えば、ある画素に対して縦３画素・横３画素のブロックを利用し、１フレーム（１周期）前の画像におけるブロックと対応するブロックが、現在のフレームにおいてどの位置にあるかを探索することにより、オプティカルフローを算出する。ここで、画素毎に１フレーム前の画像と現在の画像の対応をとる手法は一例であり、上記したオプティカルフローの算出手法を限定するものではない。分割領域画像生成部２０３Ｂは、オプティカルフロー算出部２０８Ｂで推定された静止立体物の領域の端点を領域分割箇所とする。

上記したようにオプティカルフローを利用して分割領域画像を生成することにより、立体物、特に静止立体物の陰から移動体が飛び出すようなシーンにおいて、第一領域画像と第二領域画像とを精度良く分割して生成でき、その静止立体物とは異なる移動体を精度良く検知することができる。

なお、本発明は上記した実施形態１〜３に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態１〜３は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されてもよいし、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１ 車両制御システム
１０ 物体検知装置
１１ 信頼度算出装置
１２ 車両制御装置
１３ ブレーキ
１４ アクセル
１５ 警報装置
１６ ステアリング
１７ 表示装置
１００ ステレオカメラ
１０１ 左撮像部
１０２ 右撮像部
１０３ 画像処理部
１０４ 外部通信部
１０５ メモリ
１０６ ＣＰＵ
２０１ 第一視差情報取得部
２０２ 立体物検知部
２０３ 分割領域画像生成部
２０４ 第二視差情報取得部
２０５ 移動体（飛び出し）検知部
２０６Ａ 縦方向エッジ検出部
２０７Ａ ヒストグラム生成部
２０８Ｂ オプティカルフロー算出部

Claims (12)

1. 周囲を撮像した画像から立体物を検知する物体検知装置であって、
   周囲を撮像する複数の撮像部で取得した複数の画像から第一視差情報を取得する第一視差情報取得部と、
   前記第一視差情報に基づいて立体物を検知する立体物検知部と、
   前記複数の画像の各画像について、前記立体物を含む第一領域画像と該第一領域画像に隣接する第二領域画像とを生成する分割領域画像生成部と、
   各画像についての前記第二領域画像から第二視差情報を取得する第二視差情報取得部と、
   異なる時間における前記第二視差情報から前記立体物とは異なる前記第二領域画像内の移動体を検知する移動体検知部と、を備えることを特徴とする物体検知装置。
2. 前記分割領域画像生成部は、前記立体物の端点を含む線分を前記第一領域画像と前記第二領域画像との境界として前記第一領域画像と前記第二領域画像とを生成することを特徴とする、請求項１に記載の物体検知装置。
3. 前記物体検知装置は、前記画像中の縦方向エッジを検出する縦方向エッジ検出部を備え、
   前記分割領域画像生成部は、各画像について前記縦方向エッジ検出部で検出された縦方向エッジの位置を前記第一領域画像と前記第二領域画像との境界として前記第一領域画像と前記第二領域画像とを生成することを特徴とする、請求項１に記載の物体検知装置。
4. 前記物体検知装置は、前記縦方向エッジ検出部で検出された縦方向エッジの所定の横幅毎の出現頻度値を表すヒストグラムを生成するヒストグラム生成部を更に備え、
   前記分割領域画像生成部は、前記ヒストグラムのうち出現頻度値の最も高い位置を前記第一領域画像と前記第二領域画像との境界とすることを特徴とする、請求項３に記載の物体検知装置。
5. 前記物体検知装置は、前記画像からオプティカルフローを算出するオプティカルフロー算出部を更に備え、
   前記分割領域画像生成部は、前記オプティカルフローに基づいて前記第一領域画像と前記第二領域画像との境界を検出して前記第一領域画像と前記第二領域画像とを生成することを特徴とする、請求項１に記載の物体検知装置。
6. 請求項１に記載の物体検知装置と、該物体検知装置による検知結果に基づいて車両の動作状態を制御する車両制御装置と、を備えることを特徴とする車両制御システム。
7. 前記車両制御装置は、前記物体検知装置による検知結果の信頼度に応じて前記車両の制御方法を変更することを特徴とする、請求項６に記載の車両制御システム。
8. 前記車両制御装置は、前記信頼度に応じて、急ブレーキによる制動と、ブレーキ与圧又は運転者に対する警告とを切換えることを特徴とする、請求項７に記載の車両制御システム。
9. 前記信頼度は、前記立体物検知部による検知結果か前記移動体検知部による検知結果かに基づいて規定されることを特徴とする、請求項７に記載の車両制御システム。
10. 前記車両制御システムは、前記物体検知装置による検知結果を表示する表示装置を更に備えることを特徴とする、請求項６に記載の車両制御システム。
11. 前記表示装置は、前記物体検知装置による検知結果に応じて該表示装置の表示形式を変更することを特徴とする、請求項１０に記載の車両制御システム。
12. 前記表示装置は、前記立体物検知部によって立体物のみが検知された場合と前記移動体検知部によって立体物と共に移動体が検知された場合とで該表示装置の表示形式を変更することを特徴とする、請求項１１に記載の車両制御システム。

Images