JP2005214914A - 移動速度検出装置および移動速度検出方法 - Google Patents

Abstract

【課題】自車両前方に存在する立体物の移動速度を検出することにより、監視精度の向上を図る。
【解決手段】 ステレオカメラ１は、監視領域を含む景色を撮像することにより、一対の撮像画像を時系列的に出力する。ステレオ画像処理部６は、一対の撮像画像に基づいて、ステレオマッチングにより距離データを算出し、認識部１０は、この距離データに基づいて、監視領域内に存在する立体物を認識する。検出部１１は、一対の撮像画像のうちの一方の撮像画像を処理対象として、時系列的に並ぶ複数の撮像画像に基づいて、立体物のオプティカルフローを検出する。そして、算出部１２は、距離データとオプティカルフローとに基づいて、立体物の移動速度を算出する。
【選択図】図１

Description

本発明は、移動速度検出装置および移動速度検出方法に関する。

従来より、ステレオカメラによって監視領域内の景色を撮像し、これにより得られた情報に基づいて、監視領域内の状況を三次元的に認識する車外監視装置が注目されている。例えば、特許文献１には、ステレオカメラを用いた横断物の検出装置が開示されている。この検出装置では、ステレオカメラによって撮像された一対の画像に基づいて、監視領域内の距離分布を取得し、立体物が認識される。そして、認識された立体物の経時的な位置の推移を追跡することにより、その立体物が自車両の走行路上に飛び出してくること等が予測される。
特開平９−２２６４９０号公報

しかしながら、特許文献１のように、立体物を追跡しつつ、その立体物が自車両に対して危険か否かを判断する場合、その立体物が危険と分かる程度にまで立体物を追跡するのにある程度の時間を要する。そのため、緊急の事態に判断が遅れてしまう可能性がある。

本発明は、このような事情に鑑みてなされたものであり、その目的は、自車両前方に存在する立体物の移動速度を検出することにより、監視精度の向上を図ることである。

かかる課題を解決するために、第１の発明は、移動速度検出装置を提供する。この移動速度検出装置は、監視領域を含む景色を撮像することにより、一対の撮像画像を時系列的に出力するステレオカメラと、一対の撮像画像に基づいて、ステレオマッチングにより距離データを算出するステレオ画像処理部と、距離データに基づいて、監視領域内に存在する立体物を認識する認識部と、一対の撮像画像のうちの一方の撮像画像を処理対象として、時系列的に並ぶ複数の撮像画像に基づいて、立体物のオプティカルフローを検出する検出部と、距離データとオプティカルフローとに基づいて、立体物の移動速度を算出する算出部とを有する。

ここで、第１の発明において、算出部は、距離データにより特定される立体物の実空間上の位置と、オプティカルフローにより特定される立体物の画像上の位置的な変化量とに基づいて、立体物の移動速度を算出することが好ましい。また、算出部は、さらに、立体物に関する距離データの経時的な変化量に基づいて、立体物の移動速度を算出することが好ましい。

また、第１の発明において、移動速度検出装置は、ステレオカメラが搭載された自車両の車速を検出する車速センサと、自車両のヨーレートを検出するヨーレートセンサとをさらに有していてもよい。この場合、算出部は、距離データとオプティカルフローとに基づいて、画像をベースとした立体物の見かけ上の移動速度を算出するとともに、見かけ上の移動速度と、自車両の車速と、自車両のヨーレートとに基づいて、立体物の移動速度を算出することが好ましい。

また、第１の発明において、算出部は、撮像画像の一部を構成する所定面積の画素ブロックを算出単位として、立体物の移動速度を算出することが好ましい。この場合、算出部は、撮像画像において、立体物に属する画素ブロックについて算出された移動速度の分布を示す移動速度マップを生成するマップ生成部と、移動速度マップに基づいて、同一立体物に属する画素ブロック群のうち、移動速度の差が所定のしきい値よりも大きな画素ブロックを、異なる立体物として分割する分割部とをさらに有することが好ましい。

さらに、第１の発明において、移動速度検出装置は、立体物の移動速度に基づいて、監視領域内に存在している立体物のうち、静止物体を特定するとともに、静止物体に関するオプティカルフローと、静止物体に関する距離データとに基づいて、自車両の車速を算出する走行速度算出部と、走行速度算出部により算出された車速に基づいて、車速センサによって検出された自車両の車速を補正する走行速度補正部とをさらに有することが好ましい。

第２の発明は、監視領域を含む景色をステレオカメラによって時系列的に撮像することにより、ステレオカメラから出力される一対の撮像画像に基づいて、監視領域内に存在する立体物の移動速度を検出する方法を提供する。この移動速度検出方法は、一対の撮像画像に基づいて、ステレオマッチングにより距離データを算出する第１のステップと、距離データに基づいて、監視領域内に存在する立体物を認識する第２のステップと、一対の撮像画像のうちの一方の撮像画像を処理対象として、時系列的に並ぶ複数の撮像画像に基づいて、立体物のオプティカルフローを検出する第３のステップと、距離データとオプティカルフローとに基づいて、立体物の移動速度を算出する第４のステップとを有する。

ここで、第２の発明において、第４のステップは、距離データにより特定される立体物の実空間上の位置と、オプティカルフローにより特定される立体物の画像上の位置的な変化量とに基づいて、立体物の移動速度を算出することが好ましい。また、第４のステップは、さらに、立体物に関する距離データの経時的な変化量に基づいて、立体物の移動速度を算出することが好ましい。

また、第２の発明において、第４のステップは、距離データとオプティカルフローとに基づいて、画像をベースとした立体物の見かけ上の移動速度を算出するとともに、見かけ上の移動速度と、ステレオカメラが搭載された自車両に設けられた車速センサによって検出された自車両の車速と、自車両に設けられたヨーレートセンサによって検出された自車両のヨーレートとに基づいて、立体物の移動速度を算出することが好ましい。

また、第２の発明において、第４のステップは、撮像画像の一部を構成する所定面積の画素ブロックを算出単位として、立体物の移動速度を算出していることが望ましい。この場合、第４のステップは、撮像画像において、立体物に属する画素ブロックについて算出された移動速度の分布を示す移動速度マップを生成するステップと、移動速度マップに基づいて、同一立体物に属する画素ブロック群のうち、移動速度の差が所定のしきい値よりも大きな画素ブロックを、異なる立体物として分割するステップとをさらに有することが好ましい。

さらに、第２の発明において、移動速度検出方法は、立体物の移動速度に基づいて、監視領域内に存在している立体物のうち、静止物体を特定するとともに、静止物体に関するオプティカルフローと、静止物体に関する距離データとに基づいて、自車両の車速を算出する第５のステップと、走行速度算出部により算出された車速に基づいて、車速センサによって検出された自車両の車速を補正する第６のステップとをさらに有することが好ましい。

本発明によれば、ステレオカメラから時系列的に出力される一対の撮像画像に基づいて、距離データが算出され、この距離データを用いて立体物の認識が行われる。また、この一対の撮像画像のうちの一方の撮像画像を処理対象として、立体物のオプティカルフローが検出される。そして、距離データとオプティカルフローとを用いて立体物の移動速度が算出される。距離データを用いて立体物の認識を行うことにより、画像に写し出される面積が小さな立体物であっても精度良く認識することができ、また、影などを立体物と誤認識する可能性が低いので、認識精度の向上を図ることができる。また、オプティカルフローは、最小で２フレーム分の画像データにより検出可能であるため、このオプティカルフロートと距離データとを用いることにより、立体物の移動速度を素早く算出することができる。これにより、自車両前方に飛び出す歩行者なような立体物であっても、その移動速度を有効に検出することができるので、監視精度の向上を図ることができる。

（第１の実施形態）
図１は、第１の実施形態にかかる移動速度検出装置のブロック構成図である。この移動速度検出装置は、車両に搭載され、前方の走行環境を監視するための装置である。車両前方に設定された監視領域を含む景色を撮像するステレオカメラ１は、例えば、ルームミラー近傍に取付けられている。このステレオカメラ１は一対のカメラ２ａ，２ｂで構成されており、それぞれのカメラ２ａ，２ｂには、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）が内蔵されている。メインカメラ２ａは、ステレオ画像処理を行う際に必要な基準画像を撮像し、サブカメラ２ｂは、比較画像を撮像する。互いの同期が取れている状態において、カメラ２ａ，２ｂから時系列的に出力される各アナログ画像（ステレオ画像）は、Ａ／Ｄコンバータ３，４により、所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像に変換される。

デジタル化された一対の画像データは、画像補正部５において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２ａ，２ｂの取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。

このような画像処理を経て、メインカメラ２ａより基準画像データが得られ、サブカメラ２ｂより比較画像データが得られる。これらの画像データは、各画素の輝度値（0〜255）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。一フレーム相当のステレオ画像データは、後段のステレオ画像処理部６に出力されるとともに、画像データメモリ８に格納される。後述するように、時系列的に並んだ複数の撮像画像に基づいてオプティカルフローを検出する関係上、画像データメモリ８は、少なくとも２フレーム分のステレオ画像データを格納可能な記憶容量を有する。

ステレオ画像処理部６は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関する距離データを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差ｄの集合であり、個々の視差ｄは画像平面における位置（ｉ，ｊ）と対応付けられている。それぞれの視差ｄは、基準画像の一部を構成する所定面積（例えば、4×4画素）の画素ブロック毎に１つ算出される。

例えば、基準画像が512×200画素で構成されている場合、一フレーム相当の撮像画像から、画素ブロックＰＢijの個数相当（128×50個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢijに関する水平方向のずれ量であり、画素ブロックＰＢijに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢij内に写し出されている対象物がカメラ２ａ，２ｂに近いほど、この画素ブロックＰＢijの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは0になる）。

ある画素ブロックＰＢij（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢijの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２ａ，２ｂから対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰＢijのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部６は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢijの視差ｄとする。

２つの画素ブロックＰＢijの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ijは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ijは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ij，ｐ２ijの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。

基本的に、エピポーラライン上に存在する画素ブロックＰＢij毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックＰＢijが相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部６のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データ、すなわち、画像上の位置（ｉ，ｊ）と対応付けられた視差ｄの集合は、距離データメモリ７に格納される。後述するように、フレーム間における画素ブロックＰＢijの三次元座標における移動速度を算出する関係上、距離データメモリ７は、少なくとも２フレーム相当のステレオ画像に対応する距離データを格納可能な記憶容量を有する。

マイクロコンピュータ９は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されている。このマイクロコンピュータ９には、現在の車両の状態を示す車両パラメータを特定するために、センサ１３ａ，１３ｂから得られた信号が入力されている。車速センサ１３ａは自車両の車速Ｕを検出し、ヨーレートセンサ１３ｂは自車両のヨーレートωを検出する。

マイクロコンピュータ９は、これを機能的に捉えた場合、認識部１０、検出部１１および算出部１２を有する。認識部１０は、ステレオ画像処理部６により算出された距離データＤに基づいて、監視領域内に存在する立体物Ｏnを認識する。検出部１１は、時系列的に並ぶ複数の撮像画像に基づいて、認識された立体物Ｏnのオプティカルフローを検出する。算出部１２は、距離データＤとオプティカルフローとに基づいて、立体物Ｏnの移動速度Ｖoを算出する。そして、マイクロコンピュータ９は、立体物Ｏnの移動速度Ｖoに基づいて、認識された立体物Ｏoが自車両にとって危険である判断した場合には、必要に応じてモニタやスピーカー等の警報装置を作動させて、ドライバーに注意を促す。また、必要に応じて制御装置を制御することにより、シフトダウン、或いは、ブレーキの作動といった制御を実行する。

図２は、立体物Ｏnの移動速度Ｖoの算出手順を示したフローチャートである。このフローチャートに示したルーチンは、所定間隔毎に呼び出され、マイクロコンピュータ９によって実行される。なお、本明細書では、認識された立体物Ｏnのうち、移動する立体物と静止している立体物とを区別する場合には、前者を「移動物体」といい、後者を「静止物体」という。

ステップ１において、認識部１０は、立体物Ｏnの認識を行う前提として、まず、自車両前方の道路形状を認識する。この道路形状は、例えば、道路モデルを算出することにより、認識可能である。道路モデルは、実空間を規定する三次元座標系において、水平方向および垂直方向における直線式で表現され、この直線式のパラメータを実際の道路形状に合致するような値に設定することにより、算出される。例えば、路面に描かれた車線を規定する白線（または黄線）は、道路形状を認識する上で有効である。そこで、路面における白線の実空間上の位置を三次元的に認識し、この位置を連結することにより、道路モデルが算出される。実空間の三次元座標系は、車両を基準に設定されており、ステレオカメラ１の中央真下の道路面を原点として、車幅方向（横方向）をＸ軸、車高方向（高さ方向）をＹ軸、車長方向（距離方向）をＺ軸とする。

ステップ２において、監視領域内に存在する立体物Ｏnが認識される。まず、距離データＤに基づいて、監視領域内の実空間上の位置（三次元データ）が算出される。算出された三次元データは、道路モデルに基づいて、横方向および距離方向において位置的に対応する道路面の高さと比較される。三次元データが道路面より上にある場合には、このデータが立体物データとして抽出される。つぎに、立体物データを処理対象として、横方向および距離方向の位置が接近している立体物データが同一のグループにまとめられる。そして、各グループについて、データの並び方向がチェックされ、この並び方向が大きく変化する部分でグループが適宜分割される。これにより、個々のグループを構成する三次元データ群が実空間をベースとした立体物Ｏnとして認識可能となり、これらのデータ群に対応する画像平面の領域が画像をベースとした立体物Ｏnとして認識可能となる。

図３は、認識された立体物Ｏnの説明図であり、３つの立体物Ｏ1〜Ｏ3が例示されている。認識された立体物Ｏnには、画像平面における立体物Ｏnの左端のｉ座標ｉnLと、右端のｉ座標ｉnRとが対応付けられる。例えば、同図に示す例において、第１の立体物Ｏ1には、画像平面における左端のｉ座標ｉ1Lおよび右端のｉ座標ｉ1Rが対応付けられる。また、第１の立体物Ｏ1と同様に、第２の立体物Ｏ2について、左右端のｉ座標ｉ2L，ｉ2Rが対応付けられ、第３の立体物Ｏ3についても、左右端のｉ座標ｉ3L，ｉ3Rが対応付けられる。また、認識された立体物Ｏnには、グループを代表する視差ｄn（例えば、平均値、最頻値など）がさらに対応付けられる。なお、道路形状および立体物の認識に関する具体的な手法については、特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開平１０−２８３４６１号公報、特開平１０−２８３４７７号公報、特開平１１−２１３１３８号公報、特開２００１−９２９７０号公報などに開示されているので必要ならば参照されたい。

ステップ３において、検出部１１は、時系列的に並んだ複数の撮像画像（本実施形態では、２フレーム分の基準画像）に基づいて、オプティカルフローを検出する。まず、画像データメモリ８より、基準画像データＰn（以下、単に「画像データ」という）と、この画像データＰnよりも時系列的に前の撮像タイミングにおいて撮像された基準画像データＰn-1（以下、適宜「前画像データ」という）とが読み込まれる。なお、タイミング的に前後する画像データＰn，Ｐn-1とは、必ずしも時系列的に連続している必要はない。

つぎに、画像データＰnを構成する画素ブロックＰＢij毎に、画素ブロックＰＢij（相関元）の輝度特性と相関を有する領域（相関先）が前画像データＰn-1において特定される。オプティカルフローを検出する場合、上述したステレオマッチング処理とは異なり、相関元となる画素ブロックＰＢijを前画像データＰn-1の全域に亘り水平／垂直方向に一画素ずつオフセットさせながら、最も高い相関を有する相関先を特定する（二次元マッチング）。相関元と相関先との相関は、シティブロック距離を算出することにより、評価可能である。この二次元マッチングにより、それぞれの画素ブロックＰＢijについて、垂直方向における位置的な変化量（Δｊ）および水平方向における位置的な変化量（Δｉ）がオプティカルフローとして検出される。各画素ブロックＰＢijについて検出されたオプティカルフローは、画像平面の位置（ｉ，ｊ）と対応付けられる。なお、オプティカルフローは、時系列的に撮像される画像において、画素の流れをベクトルで表現したものであり、一般に、撮像タイミングが前の画像からそれよりも後の画像への画素の流れを示す。そのため、本実施形態のように、撮像タイミングが後の画像（画像データＰn）から前の画像（前画像データＰn-1）に対してオプティカルフローを算出する場合には、そのベクトルを反転させる必要がある。

ステップ４において、算出部１２は、認識された立体物Ｏnの移動速度Ｖoを算出する。図４は、移動速度Ｖoの詳細な算出手順を示すフローチャートである。まず、ステップ４０において、画像データＰnを構成する各画素ブロックＰＢijの中から、処理対象となる最初の画素ブロックＰＢijが選択される。初期的に選択する画素ブロックＰＢijとしては、例えば、画像平面における左下隅の画素ブロックＰＢijを用いることができる。

ステップ４１において、処理対象となる画素ブロックＰＢijに写し出された立体物Ｏn、すなわち、画素ブロックＰＢijが属する立体物Ｏnが、認識された立体物Ｏnの中から特定される。画素ブロックＰＢijが立体物Ｏnに属している場合、この画素ブロックＰＢijのｉ座標ｉbhは、立体物Ｏnの左端のｉ座標ｉnLより大きく、かつ、右端のｉ座標ｉnRより小さくなる（ｉnL＜ｉbh＜ｉnR）。そこで、画素ブロックＰＢijのｉ座標ｉbhと、認識された立体物Ｏnの左右端のｉ座標ｉnL，ｉnRとを比較することにより、その画素ブロックＰＢijが属する立体物Ｏnを特定する。

ただし、水平方向、すなわち、ｉ座標の比較を行う上記手法では、同一の垂直ライン上に複数の立体物Ｏnが認識されているようなケースにおいて、特定すべき立体物Ｏnが複数存在するという事態が生じ得る。例えば、図３において、ハッチングで示す画素ブロックＰＢijの場合、この画素ブロックＰＢijが属する立体物Ｏnは、第１の立体物Ｏ1および第２の立体物Ｏ2と特定されるといった如くである。そこで、このようなケースでは、複数の立体物Ｏnの中から、視差ｄをベースに、さらに立体物Ｏnの絞り込みを行う。具体的には、画素ブロックＰＢijの視差ｄと、立体物Ｏnの視差ｄnとの比較を行い、両視差ｄ，ｄnが値的に最も近く、かつ、それらの差が所定のしきい値以内であることを条件に、画素ブロックＰＢijが属する立体物Ｏnを特定する。

ステップ４２では、画素ブロックＰＢijが属する立体物Ｏnがあるか否かが判定される。先のステップ４１において、画素ブロックＰＢijが属する立体物が特定されている場合には、このステップ４２において肯定判定され、ステップ４３に進む。一方、画素ブロックＰＢijが属する立体物がない場合には、このステップ４２において否定判定され、ステップ４３および４４をスキップし、ステップ４５に進む。

ステップ４３において、画素ブロックＰＢijを算出単位として、この画素ブロックＰＢijが属する立体物Ｏnの移動速度Ｖbが算出される。図５は、画素ブロックＰＢijの移動速度Ｖbの説明図である。同図には、画素ブロックＰＢijが属する立体物Ｏnの実空間上の位置が黒点で示されている。移動速度Ｖbは、以下に示す数式２に基づいて、一義的に算出される。

同数式において、ωはヨーレートセンサ１３ｂにより検出される自車両のヨーレート、Ｕは車速センサ１３ａにより検出される車速、ｉは画素ブロックＰＢijの画像平面におけるｉ座標である（ただし、ｉ座標は画像平面内の車両前方の無限遠点を原点とする）。また、Δｉは処理対象となる画素ブロックＰＢijについて検出されたオプティカルフローの水平方向変化量であり、Δｔは画像データＰnと前画像データＰn-1との撮像タイミングの間隔である。ｚはＺ軸における立体物Ｏnの位置であり、ｘはＸ軸における立体物Ｏnまでの位置である。Ｗiはｉ方向の撮像素子ピッチ、ｆは焦点距離である。

同数式は、画像をベースとした立体物Ｏnの見かけ上の速度（Ｙ軸方向成分）に、自車両のヨーレートωと車速Ｕとを加味することにより、自車両の進行方向に直交する方向（Ｙ軸方向）の立体物Ｏnの移動速度Ｖbを算出する。ここで、画像ベースの立体物Ｏnの見かけ上の速度は、距離データＤにより特定される立体物Ｏnの実空間上の位置と、オプティカルフローにより特定される画像上の立体物Ｏnの位置的な変化量とに基づき、算出することができる。

ステップ４４において、算出された移動速度Ｖbに基づいて、現在処理対象となっている画素ブロックＰＢijが属する立体物Ｏnの移動速度Ｖbの合計値が更新される。これとともに、この立体物Ｏnについて移動速度Ｖbが算出された画素ブロックＰＢijのカウント値も更新される。

ステップ４５では、基準画像における全ての画素ブロックＰＢijが選択されたか否かが判定される。このステップ４５で否定判定された場合、すなわち、全ての画素ブロックＰＢijが選択されていない場合には、ステップ４６に進む。このステップ４６では、未だ選択されていない画素ブロックＰＢijが新たに選択され、ステップ４１に戻る。一方、ステップ４５で肯定判定された場合、すなわち、基準画像における全ての画素ブロックＰＢijが選択された場合には、ステップ４７に進む。

ステップ４７において、認識された立体物Ｏnの移動速度Ｖoが算出される。立体物Ｏnの移動速度Ｖoは、その立体物Ｏnに属する画素ブロックＰＢijの移動速度Ｖbの合計値を、その立体物Ｏnに属する画素ブロックＰＢijの個数（カウント値）で割ることにより、一義的に算出される。

このように、本実施形態によれば、距離データＤを用いて立体物Ｏnの認識を行った上で、距離データＤとオプティカルフローとを用いて立体物Ｏnの移動速度Ｖoが算出される。距離データＤを用いて立体物の認識を行うことにより、画像に写し出される面積が小さな立体物Ｏn（例えば、遠方に存在する立体物Ｏn）を精度良く認識することができ、また、影などを立体物Ｏnと誤認識する可能性が低くなるので、認識精度の向上を図ることができる。また、立体物Ｏnのオプティカルフローは、最小で２フレーム分の画像データＰにより、可能であるため、このオプティカルフローと距離データとを用いることにより、立体物Ｏnの移動速度Ｖoを素早く算出することができる。距離データＤとオプティカルフローとを両立させることにより、信頼性よく立体物Ｏnを認識し、かつ、この立体物Ｏnに対する移動速度Ｖoを素早く算出することができる。これにより、自車両前方に飛び出す歩行者なような立体物Ｏnであっても、それに対する危険判定を有効に行うことができるので、監視精度の向上を図ることができる。

なお、本実施形態では、基準画像を構成する各画素ブロックＰＢijについてオプティカルフローを算出している。しかしながら、本発明はこれに限定されず、認識部１０によって認識された立体物Ｏnに属する画素ブロックＰＢijのみを処理対象として、オプティカルフローを算出してもよい。また、小領域内の輝度変化が大きな画素ブロックＰＢijは、二次元マッチングを高精度に行いやすいとの知得に基づき、これらの画素ブロックＰＢijを処理対象として、オプティカルフローを算出してもよい。このように、オプティカルフローを算出する領域を画像平面の一部分に限定することにより、演算量の低減を図ることができる。

また、本実施形態では、画素ブロック単位の移動速度Ｖbを数式２に基づいて算出する例について説明したが、本発明はこれに限定されない。上記数式２は、演算量の低減を図るといった観点から、便宜的に、距離方向（Ｚ軸方向）の立体物Ｏnの速度を実質的に０と見なし、移動速度Ｖbを算出している。しかしながら、距離方向の立体物Ｏnの速度を考慮し、移動速度Ｖbを算出することもできる。この場合、移動速度Ｖbは、自車両と立体物Ｏnとの間における距離の経時的な変化量、すなわち、視差ｄの経時的な変化量Δｄを考慮した下式に基づき、一義的に算出することができる。

ここで、同数式に示す視差ｄの変化量Δｄは、下記の手法１または手法２を用いることにより算出することができる。

（手法１）
まず、処理対象として選択されている画素ブロックＰＢij（相関元）の輝度特性と相関を有する領域（相関先）を、前画像データＰn-1において特定する（図６参照）。前画像データＰn-1における相関先は、画像データＰnにおける相関元の位置と、この相関元の画素ブロックＰＢijについて算出されたオプティカルフローに基づいて、一義的に特定することができる。ただし、撮像タイミング的に前後する画像データＰn，Ｐn-1を用いた場合、前画像データＰn-1における相関先は、複数の画素ブロックＰＢijに跨る位置に存在することがある（最大で４つの画素ブロックＰＢij）。このケースでは、以下に示す数式４のように、相関先に含まれる各画素ブロックＰＢijの視差ｄの積和演算により、前画像データＰn-1における視差ｄprevが算出される。

ここで、同数式において、Ａは画素ブロックＰＢijの面積である。また、ｄpn（n＝1〜ｍ：ｍは最大で4）は相関先に含まれる各画素ブロックＰＢijの視差ｄであり、Ａn（n＝1〜ｍ：ｍは最大で4）は前画像データＰn-1の相関先に含まれる各画素ブロックＰＢijの面積である。

そして、画像データＰnにおける画素ブロックＰＢijの視差ｄから、前画像データＰn-1において対応する画素ブロックＰＢijの視差ｄprevを引くことにより、視差の変化量Δｄが算出される（Δｄ＝ｄ−ｄprev）。

（手法２）
この手法では、視差の変化量Δｄが、以下に示す３つのパラメータより特定される。
１．処理対象として選択されている画素ブロックＰＢijの視差ｄ
２．画素ブロックＰＢijのオプティカルフローΔｉ，Δｊ
３．比較画像における画素ブロックＰＢijの相関先のオプティカルフローΔｉL，ΔｊL
これらのパラメータに基づき、比較画像におけるオプティカルフローの水平方向成分ΔｉLから、基準画像におけるオプティカルフローの水平方向成分Δｉを差し引くことにより、視差の変化量Δｄが算出される（Δｄ＝ΔｉL−Δｉ）。

ここで、比較画像における相関先は、相関元である基準画像の画素ブロックＰＢijの位置と、この相関元の画素ブロックＰＢijについて算出された視差ｄとに基づいて、一義的に特定することができる。そして、基準画像におけるオプティカルフローの算出方法と同様に、時系列的に並んだ複数の比較画像に基づき、垂直方向における位置的な変化量（ΔｊL）および水平方向における位置的な変化量（ΔｉL）が算出される。

（第２の実施形態）
図７は、第２の実施形態にかかる算出部１２のブロック構成図である。第２の実施形態の特徴の一つは、一つの立体物Ｏnとして認識される複数の立体物Ｏnを、それぞれ個別の立体物Ｏnに分割するとともに、分割されたそれぞれの立体物Ｏnについて移動速度Ｖoを算出することである。このような分割が必要となる状況としては、例えば、停止車両のすぐ手前を歩く歩行者のように、画像平面において近接する立体物の距離（視差ｄ）が近似しているような状況が挙げられる。また、撮像するタイミングによって、立体物が見え隠れしたり、認識できる部位が変化したりするといったように、立体物の全体像が時系列的に認識できないような状況もこれに該当する。本実施形態では、算出部１２が、２つの移動速度算出部１４，１７と、マップ生成部１５と、分割部１６とで構成されている。

図８は、第２の実施形態にかかる移動速度Ｖoの算出処理の詳細な手順を示すフローチャートである。まず、ステップ５において、第１の移動速度算出部１４は、図２に示す算出手順に従い、立体物Ｏnを認識した上で、画素ブロックＰＢijをベースに、立体物Ｏnの移動速度Ｖbを算出する。このステップ５では、後述する立体物番号マップＭoを生成することを前提に、認識された立体物Ｏnに対して、それぞれが異なる認識用の番号が採番される。

ステップ６において、マップ生成部１５は、画素ブロックＰＢijが属する立体物Ｏnの番号の分布を示す立体物番号マップＭoと、画素ブロックＰＢijについて算出された移動速度Ｖbの分布を示す移動速度マップＭvとを生成する。図９（ａ）は、立体物番号マップＭoの説明図である。立体物番号マップＭoは、基準画像を構成する画素ブロックＰＢijと同数のメモリ領域（ブロックＢij）を有し、各ブロックＢijは、画素ブロックＰＢijと位置的に対応するように、マトリクス状（128×50）に配列されている。各ブロックＢijには、位置的に対応する画素ブロックＰＢijが属する立体物Ｏnに採番された番号が書き込まれる。例えば、同図に示すように、マップＭo上のブロックＢijには、その立体物Ｏnの番号（例えば、「１」や「２」）が適宜書き込まれる。また、認識された立体物Ｏnのいずれにも属さない画素ブロックＰＢijに対応するブロックＢijには、属する立体物Ｏnがないことを示す番号として、例えば、「０」が書き込まれる。

図９（ｂ）は移動速度マップＭvの説明図である。移動速度マップＭvは、立体物番号マップＭoと同様に、基準画像を構成する画素ブロックＰＢijと同数のメモリ領域（ブロックＢij）を有し、各ブロックＢijは、マトリクス状（128×50）に配列されている。各ブロックＢijには、位置的に対応する画素ブロックＰＢijについて算出された移動速度Ｖbが書き込まれる。なお、同図に示す「Ｖ1」および「Ｖ2」は、ブロックＢijが属する立体物Ｏnの番号を添字として示したものであり、それぞれの値はブロックＢij毎に算出された移動速度Ｖbが書き込まれる。

ステップ７において、分割部１６は、２つのマップＭo，Ｍvに基づいて、分割処理を行う。以下、図１０を参照し、２つの立体物（例えば、駐車車両とその手前に存在する歩行者）が１つの立体物Ｏnとして認識されているケースでの分割処理を説明する。

図１１は、ステップ７における立体物Ｏnの分割処理の詳細な手順を示すフローチャートである。まず、ステップ７０では、立体物番号マップＭoにおいて、同一の立体物Ｏnに属する複数のブロックＢijが、垂直方向に延在する列単位のブロック（或いは、ブロック群）に分割される。例えば、図１０（ａ）に示すケースでは、立体物Ｏnが８つのブロック列Ｒ1〜Ｒ8に分割される。

ステップ７１において、それぞれのブロック列Ｒの移動速度Ｖrが算出される。ブロック列Ｒの移動速度Ｖrは、移動速度マップＭvを参照した上で、その列Ｒに属するブロックＢijの移動速度Ｖbの平均値として算出される。例えば、図１０（ａ）に示す立体物Ｏnの場合、８つのブロック列Ｒ1〜Ｒ8のそれぞれについて、移動速度Ｖr1〜Ｖr8が算出される（図１０（ｂ）参照）。

ステップ７２において、隣接するブロック列Ｒの移動速度Ｖrが近似するブロック列Ｒ同士がグループにまとめられる（グループ化）。このグループ化処理では、まず、隣接するブロック列Ｒの間で移動速度Ｖrが比較される。この比較により、移動速度Ｖrの差が所定のしきい値以下となるブロック列Ｒは、同一のグループにまとめられ、その差が所定のしきい値よりも大きいブロック列Ｒは、互いに異なるグループにされる。例えば、図１０（ｂ）のケースでは、移動速度Ｖbの比較により、８つのブロック列Ｒ1〜Ｒ8が３つのグループＧ1〜Ｇ3にまとめられる。具体的には、ブロック列Ｒ1，Ｒ2は第１のグループＧ1に、ブロック列Ｒ3が第２のグループＧ2に、ブロック列Ｒ4〜Ｒ8が第３のグループＧ3にまとめられる。

ステップ７３において、それぞれのグループＧの移動速度Ｖgが算出される。グループＧの移動速度Ｖgは、そのグループＧに属するブロック列Ｒの移動速度Ｖrの平均値として算出される。つぎに、グループ間の移動速度Ｖgが近似するグループ同士が、同一の立体物Ｏnとして判定される（ステップ７４）。この処理では、グループ同士の移動速度Ｖgを比較し、移動速度Ｖgの差が所定のしきい値以下となるグループがまとめられる。図１０（ｂ）に示すように、第１のグループＧ1の移動速度Ｖg1と第３のグループＧ3の移動速度Ｖg3との差がしきい値以内である場合、これらのグループＧ1，Ｇ3は第１のグループＧ1として再度グループ化される。一方、この第１のグループＧ1の移動速度Ｖg1と、第２のグループＧ2の移動速度Ｖg2との差がしきい値より大きい場合には、グループＧ2は新しい立体物Ｏnewとして分割される。

ステップ７４に続くステップ７５では、分割された立体物Ｏnewに基づき、これと位置的に対応する画像平面の領域を新たな立体物として認識するとともに、この立体物Ｏnewに新たな番号が採番される。換言すれば、同一立体物に属する画素ブロック群のうち、移動速度Ｖbの差が所定のしきい値よりも大きな画素ブロックＰＢij（画素ブロック単体、或いは、画素ブロック群）が、異なる立体物Ｏnewとして分割されることなる。そして、新たな立体物Ｏnewについて、その視差ｄnと、左右端のｉ座標ｉnL，ｉnRとがこれに対応付けられる。

ステップ８において、第２の移動速度算出部１７は、図４に示した立体物Ｏnの移動速度Ｖoの算出ステップと同様に、新しく認識された立体物Ｏnewを含む立体物Ｏnの移動速度Ｖoを算出する。

このように、本実施形態によれば、上述した第１の実施形態と同様の効果を奏する以外にも、視差ｄだけでは分離することができず、認識することができなかった立体物を認識することができる。例えば、駐車車両の前方にいる歩行者のように、２つの立体物Ｏnを分離して移動速度Ｖoを取り扱う必要がある場合、それぞれの立体物Ｏnの移動速度Ｖoを算出することができるので、監視精度の向上を図ることができる。

（第３の実施形態）
図１２は、第３の実施形態にかかる移動物体検出装置のブロック構成図である。第３の実施形態の特徴の一つは、静止物体と自車両との間の相対速度に基づいて、車速センサ１３ａによる車速Ｕを補正するとともに、補正された車速Ｕ’に基づいて立体物Ｏnの移動速度Ｖoを算出することである。本実施形態にかかる移動物体検出装置において、マイクロコンピュータ９は、上述した機能ブロック１０〜１２に加え、静止物体マップ生成部１８と、走行速度算出部１９と、走行速度補正部２０とをさらに有する。なお、本実施形態において、認識部１０は、距離データＤに基づいて、単位時間あたりの立体物Ｏnの距離変化を算出し、Ｚ軸方向における立体物Ｏnの移動速度Ｖozを算出している。したがって、本実施形態において、認識された立体物Ｏnのそれぞれには、左端のｉ座標ｉnL、右端のｉ座標ｉnR、視差ｄnおよび移動速度Ｖozが対応付けられている。

図１３は、第３の実施形態にかかる移動速度Ｖoの算出処理の詳細な手順を示すフローチャートである。ステップ９において、算出部１２は、画素ブロックＰＢij毎の移動速度Ｖbを算出する。なお、このステップ９では、図８に示すステップ５およびステップ６における処理を行い、立体物番号マップＭoおよび移動速度マップＭvが生成される。なお、本実施形態では、移動速度マップＭvを構成する各ブロックＢijのうち立体物Ｏnに属するブロックＢijには、その立体物ＯnのＺ軸方向の移動速度Ｖozがさらに格納されている。したがって、移動速度マップＭvを構成する各ブロックＢijには、Ｚ軸方向の移動速度Ｖozと、Ｘ軸方向の移動速度Ｖbとが格納される。

ステップ１０において、静止物体マップ生成部１８は、静止物体マップＭsを生成する。図１４は、静止物体マップＭsの説明図である。この静止物体マップＭsは、基準画像を構成する画素ブロックＰＢijと同数のメモリ領域（ブロックＢij）を有し、各ブロックＢijは、画素ブロックＰＢijと位置的に対応するように、マトリクス状（128×50）に配列されている。この静止物体マップＭsには、ブロックＢijと位置的に対応する画素ブロックＰＢijが属する対象物の種別が格納されており、図９に示す立体物番号マップＭoおよび移動速度マップＭvに基づいて、生成される。本実施形態において、この静止物体マップＭsには、以下に示す３つの種別が設定されている。

（１）立体物なし
この種別は、ブロックＢijと位置的に対応する画素ブロックＰＢijが、立体物Ｏn（移動物体および静止物体）以外の対象物（路面等）を示している場合に設定される。すなわち、立体物番号マップＭoにおいて「０」が採番されているブロックＢijには、「立体物なし」の設定が行われる。図１４に示す静止物体マップＭsでは、「立体物なし」の種別に対応するブロックＢijには、その識別子として「ａ」が示されている。

（２）静止物体
この種別は、ブロックＢijと位置的に対応する画素ブロックＰＢijが、立体物Ｏnのうち、静止物体を示している場合に設定される。すなわち、立体物番号マップＭoにおいて「1」以上の値が採番され、かつ、移動速度マップＭvにおける移動速度Ｖb，Ｖozが所定のしきい値以下である場合に設定される（すなわち、Ｖb，Ｖoz≒0km／h）。「静止物体」の種別に対応するブロックＢijには、その識別子として「ｂ」が示されている。

（３）移動物体
この種別は、ブロックＢijと位置的に対応する画素ブロックＰＢijが、立体物Ｏnのうち、移動物体を示している場合に設定される。すなわち、立体物番号マップＭoにおいて「1」以上の値が採番され、かつ、移動速度マップＭvにおける移動速度Ｖb，Ｖozが所定のしきい値よりも大きな場合に設定される。「移動物体」の種別に対応するブロックＢijには、その識別子として「ｃ」が示されている。

ステップ１１において、走行速度算出部１９は、静止物体に対応する画素ブロックＰＢij、すなわち、静止物体マップＭsにおいて「ｂ」が格納されているブロックＢijと位置的に対応する画素ブロックＰＢijに基づいて、自車両の車速Ｕbを算出する。具体的には、以下に示す数式５に基づいて、静止物体に対応する画素ブロックＰＢij毎に、車速Ｕbが算出される。そして、自車両の車速Ｕcが、画素ブロックＰＢij毎に算出された車速Ｕbの平均値として算出される。

ステップ１２において、走行速度補正部２０は、算出された車速Ｕcを用いて、車速センサ１３ａによって検出された車速Ｕを補正する。具体的には、まず、車速センサ１３ａによる車速Ｕと、算出された車速Ｕcとの差分値が算出される。つぎに、算出された差分値に関して、リミッタ処理やフィルタ処理などを施し、外乱等の影響を除去する。そして、外乱の除去が行われた差分値が、車速センサ１３ａの車速Ｕに加算される。このような補正処理によって補正された車速Ｕ'は算出部１２に出力される。

ステップ１３において、算出部１２は、補正された車速Ｕ'に基づいて、立体物Ｏnの移動速度Ｖoを算出する。

このように、本実施形態によれば、上述した第１の実施形態と同様の効果を奏する以外にも、静止物体に関して算出された車速Ｕcに基づいて自車両の車速Ｕが補正される。そのため、補正された車速Ｕ'を用いて立体物Ｏnの移動速度Ｖoを算出することで、立体物Ｏnの移動速度Ｖoを信頼性を一層高めることができる。

第１の実施形態にかかる移動物体検出装置のブロック構成図 移動物体の移動速度の算出手順を示したフローチャート 認識された立体物の座標値の説明図 移動速度の詳細な算出手順を示すフローチャート 画素ブロックの移動速度の説明図 第２のフレームにおける視差の説明図 第２の実施形態にかかる算出部のブロック構成図 第２の実施形態にかかる移動速度の算出処理の詳細な手順を示すフローチャート 立体物番号マップおよび移動速度マップの説明図 立体物の分割の説明図 立体物の分割処理の詳細な手順を示すフローチャート 第３の実施形態にかかる移動物体検出装置のブロック構成図 第３の実施形態にかかる移動速度の算出処理の詳細な手順を示すフローチャート 静止物体マップの説明図

符号の説明

１ ステレオカメラ
２ａ メインカメラ
２ｂ サブカメラ
３，４ Ａ／Ｄコンバータ
５ 画像補正部
６ ステレオ画像処理部
７ 距離データメモリ
８ 画像データメモリ
９ マイクロコンピュータ
１０ 認識部
１１ 検出部
１２ 算出部
１３ａ 車速センサ
１３ｂ ヨーレートセンサ
１４ 第１の移動速度算出部
１５ マップ生成部
１６ 分割部
１７ 第２の移動速度算出部
１８ 静止物体マップ生成部
１９ 走行速度算出部
２０ 走行速度補正部

Claims (12)

1. 移動速度検出装置において、
   監視領域を含む景色を撮像することにより、一対の撮像画像を時系列的に出力するステレオカメラと、
   前記一対の撮像画像に基づいて、ステレオマッチングにより距離データを算出するステレオ画像処理部と、
   前記距離データに基づいて、前記監視領域内に存在する立体物を認識する認識部と、
   前記一対の撮像画像のうちの一方の撮像画像を処理対象として、時系列的に並ぶ複数の撮像画像に基づいて、前記立体物のオプティカルフローを検出する検出部と、
   前記距離データと前記オプティカルフローとに基づいて、前記立体物の移動速度を算出する算出部と
   を有することを特徴とする移動速度検出装置。
2. 前記算出部は、前記距離データにより特定される前記立体物の実空間上の位置と、前記オプティカルフローにより特定される前記立体物の画像上の位置的な変化量とに基づいて、前記立体物の移動速度を算出することを特徴とする請求項１に記載された移動速度検出装置。
3. 前記算出部は、さらに、前記立体物に関する前記距離データの経時的な変化量に基づいて、前記立体物の移動速度を算出することを特徴とする請求項２に記載された移動速度検出装置。
4. 前記ステレオカメラが搭載された自車両の車速を検出する車速センサと、
   前記自車両のヨーレートを検出するヨーレートセンサとをさらに有し、
   前記算出部は、前記距離データと前記オプティカルフローとに基づいて、画像をベースとした前記立体物の見かけ上の移動速度を算出するとともに、当該見かけ上の移動速度と、前記自車両の車速と、前記自車両のヨーレートとに基づいて、前記立体物の移動速度を算出することを特徴とする請求項１から３のいずれかに記載された移動速度検出装置。
5. 前記算出部は、前記撮像画像の一部を構成する所定面積の画素ブロックを算出単位として、前記立体物の移動速度を算出しており、
   前記算出部は、
   前記撮像画像において、前記立体物に属する前記画素ブロックについて算出された前記移動速度の分布を示す移動速度マップを生成するマップ生成部と、
   前記移動速度マップに基づいて、同一立体物に属する画素ブロック群のうち、前記移動速度の差が所定のしきい値よりも大きな画素ブロックを、異なる立体物として分割する分割部と
   をさらに有することを特徴とする請求項１から４のいずれかに記載された移動速度検出装置。
6. 前記立体物の移動速度に基づいて、前記監視領域内に存在している立体物のうち、静止物体を特定するとともに、前記静止物体に関する前記オプティカルフローと、前記静止物体に関する前記距離データとに基づいて、前記自車両の車速を算出する走行速度算出部と、
   前記走行速度算出部により算出された車速に基づいて、前記車速センサによって検出された前記自車両の車速を補正する走行速度補正部と
   をさらに有することを特徴とする請求項４に記載された移動速度検出装置。
7. 監視領域を含む景色をステレオカメラによって時系列的に撮像することにより、前記ステレオカメラから出力される一対の撮像画像に基づいて、前記監視領域内に存在する立体物の移動速度を検出する方法において、
   前記一対の撮像画像に基づいて、ステレオマッチングにより距離データを算出する第１のステップと、
   前記距離データに基づいて、前記監視領域内に存在する立体物を認識する第２のステップと、
   前記一対の撮像画像のうちの一方の撮像画像を処理対象として、時系列的に並ぶ複数の撮像画像に基づいて、前記立体物のオプティカルフローを検出する第３のステップと、
   前記距離データと前記オプティカルフローとに基づいて、前記立体物の移動速度を算出する第４のステップと
   を有することを特徴とする移動速度検出方法。
8. 前記第４のステップは、前記距離データにより特定される前記立体物の実空間上の位置と、前記オプティカルフローにより特定される前記立体物の画像上の位置的な変化量とに基づいて、前記立体物の移動速度を算出することを特徴とする請求項７に記載された移動速度検出方法。
9. 前記第４のステップは、さらに、前記立体物に関する前記距離データの経時的な変化量に基づいて、前記立体物の移動速度を算出することを特徴とする請求項８に記載された移動速度検出方法。
10. 前記第４のステップは、前記距離データと前記オプティカルフローとに基づいて、画像をベースとした前記立体物の見かけ上の移動速度を算出するとともに、前記見かけ上の移動速度と、前記ステレオカメラが搭載された自車両に設けられた車速センサによって検出された前記自車両の車速と、前記自車両に設けられたヨーレートセンサによって検出された前記自車両のヨーレートとに基づいて、前記立体物の移動速度を算出することを特徴とする請求項７から９のいずれかに記載された移動速度検出方法。
11. 前記第４のステップは、前記撮像画像の一部を構成する所定面積の画素ブロックを算出単位として、前記立体物の移動速度を算出しており、
    前記第４のステップは、
    前記撮像画像において、前記立体物に属する前記画素ブロックについて算出された前記移動速度の分布を示す移動速度マップを生成するステップと、
    前記移動速度マップに基づいて、同一立体物に属する画素ブロック群のうち、前記移動速度の差が所定のしきい値よりも大きな画素ブロックを、異なる立体物として分割するステップと
    をさらに有することを特徴とする請求項７から１０のいずれかに記載された移動速度検出方法。
12. 前記立体物の移動速度に基づいて、前記監視領域内に存在している立体物のうち、静止物体を特定するとともに、前記静止物体に関する前記オプティカルフローと、前記静止物体に関する前記距離データとに基づいて、前記自車両の車速を算出する第５のステップと、
    前記走行速度算出部により算出された車速に基づいて、前記車速センサによって検出された前記自車両の車速を補正する第６のステップと
    をさらに有することを特徴とする請求項１０に記載された移動速度検出方法。

Images