JP2006072480A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】遠景や近景といった画像に写し出された景色に左右されず、無限遠におけるオプティカルフローを推定する。
【解決手段】ステレオカメラ（カメラ２，３）は、移動体に搭載されており、移動体周囲の景色を撮像することにより、一対の画像データを時系列的に出力する。ステレオ画像処理部７は、一対の画像データを処理対象とした二次元マッチングに基づいて、視差ｄを算出し、これにより、距離データＤを出力する。認識部１１は、距離データＤに基づいて、複数の立体物Ｏnを認識し、立体物Ｏnのそれぞれの三次元位置を特定。検出部１２は、一対の画像データのうちの一方の画像データにおいて、時系列的な前後関係にある一対の画像データを処理対象とした二次元マッチングに基づいて、立体物のそれぞれのオプティカルフローＯＦを検出する。そして、演算部１３は、複数の立体物Ｏnの並びと、それぞれの立体物Ｏnの視差ｄとオプティカルフローＯＦとに基づいて、無限遠におけるオプティカルフローＯＦinfを推定する。
【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に係り、ステレオ画像処理を併用した、オプティカルフローの検出手法に関する。

自車両に搭載されたカメラにより、前方の景色を撮像し、これにより得られた情報に基づいて、監視領域内の走行状況を監視する監視装置が広く知られている。この類の監視装置では、ステレオ画像処理、オプティカルフローといった周知の画像処理手法を用いて、走行状況の認識が行われる。また、車外監視装置において、認識精度の向上を図るといった観点から、画像情報のみならず、車両のヨーレート（角速度）等も参照される。車両に生じている角速度は、通常、センサ等を用いて直接的に検出される。しかしながら、センサ検出の場合、応答遅れ等により、認識精度が低下するといった不都合があるため、画像情報に基づいて、角速度を検出する手法も用いられている。例えば、特許文献１に開示された手法では、遠景が写し出された領域を便宜的に無限遠（無限に遠い点）と仮定し、無限遠のオプティカルフローに基づいて、角速度が算出される。
特開平１１−５１６５０号公報

しかしながら、撮像画像に写し出される景色には、必ずしも遠方の景色が含まれていない可能性もあり、このケースでは、無限遠におけるオプティカルフローの特定が困難になるという不都合がある。

本発明は、このような事情に鑑みてなされたものであり、その目的は、遠景や近景といった画像に写し出された景色に左右されず、無限遠におけるオプティカルフローを推定することである。

かかる課題を解決するために、第１の発明は、画像処理装置を提供する。この画像処理装置は、移動体に搭載されており、移動体周囲の景色を撮像することにより、一対の画像データを時系列的に出力するステレオカメラと、一対の画像データを処理対象とした二次元マッチングに基づいて、視差を算出するとともに、１フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の位置とが対応付けられた距離データを出力するステレオ画像処理部と、距離データに基づいて、複数の立体物を認識し、立体物のそれぞれの三次元位置を特定する認識部と、一対の画像データのうちの一方の画像データにおいて、時系列的な前後関係にある一対の画像データを処理対象とした二次元マッチングに基づいて、立体物のそれぞれのオプティカルフローを検出する検出部と、複数の立体物の並びと、立体物のそれぞれの視差と、立体物のそれぞれのオプティカルフローとに基づいて、無限遠におけるオプティカルフローを推定する演算部とを有する。

ここで、第１の発明において、演算部は、複数の立体物を投票対象として、一方の軸を視差、他方の軸をオプティカルフローとする二次元ヒストグラムを生成するとともに、複数の立体物の並びが直線状であることを拘束条件として、二次元ヒストグラムにおける投票パターンの傾向に基づき、無限遠におけるオプティカルフローを推定することが好ましい。

また、第１の発明において、演算部は、投票パターンを曲線で近似し、近似結果に基づいて、無限遠におけるオプティカルフローを推定してもよい。また、演算部は、投票パターンの重み付け平均値を算出し、算出結果に基づいて、無限遠におけるオプティカルフローを推定してよい。

さらに、第１の発明において、演算部は、無限遠におけるオプティカルフローに基づいて、移動体の角速度を算出することが好ましい。

第２の発明は、移動体に搭載され、移動体周囲の景色を撮像するステレオカメラから時系列的に出力される一対の画像データを処理対象とした画像処理方法を提供する。この画像処理方法は、一対の画像データを処理対象とした二次元マッチングに基づいて、視差を算出するとともに、１フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の位置とが対応付けられた距離データを出力する第１のステップと、距離データに基づいて、複数の立体物を認識し、立体物のそれぞれの三次元位置を特定する第２のステップと、一対の画像データのうちの一方の画像データにおいて、時系列的な前後関係にある一対の画像データを処理対象とした二次元マッチングに基づいて、立体物のそれぞれのオプティカルフローを検出する第３のステップと、複数の立体物の並びと、立体物のそれぞれの視差と、立体物のそれぞれのオプティカルフローとに基づいて、無限遠におけるオプティカルフローを推定する第４のステップとを有する。

ここで、第２の発明において、第４のステップは、複数の立体物を投票対象として、一方の軸を視差、他方の軸をオプティカルフローとする二次元ヒストグラムを生成するステップと、複数の立体物の並びが直線状であることを拘束条件として、二次元ヒストグラムにおける投票パターンの傾向に基づき、無限遠におけるオプティカルフローを推定するステップとを含むことが好ましい。

本発明によれば、ステレオカメラから時系列的に出力される一対の撮像画像に基づいて、距離データが算出され、この距離データを用いて立体物の認識が行われる。また、この一対の撮像画像のうちの一方の撮像画像を処理対象として、立体物のオプティカルフローが検出される。そして、認識された立体部の並びと、立体物の視差と、立体物のオプティカルフローとを条件として、無限遠におけるオプティカルフローが推定される。そのため、これらの３つの条件を備えることにより、遠景が写し出されていないよう画像を用いる場合であっても、無限遠におけるオプティカルフローを推定することができる。これにより、遠景や近景といった画像に写し出された景色に左右されず、無限遠におけるオプティカルフローを推定することができる。

（第１の実施形態）
図１は、本実施形態にかかる画像処理装置を適用した角速度演算機能付き監視装置のブロック構成図である。監視装置１は、車両（移動体）に搭載されており、画像認識により、前方の走行状況を監視する。また、この監視装置１は、撮像画像に基づいて、オプティカルフローＯＦを検出し、走行状況の認識において必要となる車両の角速度ωを算出する。

監視領域を含む景色を撮像するステレオカメラは、例えば、ルームミラー近傍に取付けられている。このステレオカメラは一対のカメラ２，３で構成されており、それぞれのカメラ２，３には、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）が内蔵されている。メインカメラ２は、ステレオ画像処理を行う際に必要な基準画像を撮像し、サブカメラ３は、比較画像を撮像する。互いの同期が取れている状態において、カメラ２，３から時系列的に出力される各アナログ画像（ステレオ画像）は、Ａ／Ｄコンバータ４，５により、所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像に変換される。

デジタル化された一対の画像データは、画像補正部６において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２，３の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。

このような画像処理を経て、メインカメラ２より基準画像データが得られ、サブカメラ３より比較画像データが得られる。これらの画像データは、各画素の輝度値（0〜255）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、例えば、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。一フレーム相当のステレオ画像データは、後段のステレオ画像処理部７に出力されるとともに、画像データメモリ８に格納される。後述するように、時系列的な前後関係にある一対の画像データに基づいてオプティカルフローＯＦを検出する関係上、画像データメモリ８は、少なくとも２フレーム分のステレオ画像データを格納可能な記憶容量を有する。

ステレオ画像処理部７は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関する距離データＤを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差ｄの集合であり、個々の視差ｄは画像平面における位置（ｉ，ｊ）と対応付けられている。それぞれの視差ｄは、基準画像の一部を構成する所定面積（例えば、4×4画素）の画素ブロック毎に１つ算出される。

図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が512×200画素で構成されている場合、一フレーム相当の撮像画像から、画素ブロックＰＢijの個数相当（128×50個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢijに関する水平方向のずれ量であり、画素ブロックＰＢijに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢij内に写し出されている対象物がカメラ２，３に近いほど、この画素ブロックＰＢijの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合（無限遠）、視差ｄは0になる）。

ある画素ブロックＰＢij（相関元）に関する視差ｄを算出する場合、基準画像と比較画像とを処理対象とした二次元マッチングに基づいて、この画素ブロックＰＢijの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２，３から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰＢijのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部７は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢijの視差ｄとする。

２つの画素ブロックＰＢijの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ijは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ijは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ij，ｐ２ijの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。

基本的に、エピポーラライン上に存在する画素ブロックＰＢij毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックＰＢijが相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部７のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データＤ、すなわち、画像上の位置（ｉ，ｊ）と対応付けられた視差ｄの集合は、距離データメモリ９に格納される。

マイクロコンピュータ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されており、これを機能的に捉えた場合、認識部１１、検出部１２および演算部１３を有する。認識部１１は、距離データＤに基づいて、それぞれの立体物Ｏnの三次元位置を特定する。検出部１２は、時系列的に前後関係にある一対の基準画像データを対象とした二次元マッチングに基づいて、立体物Ｏnに関するオプティカルフローＯＦを検出する。演算部１３は、距離データＤと、複数の立体物Ｏnの実空間における並びと、検出されたオプティカルフローＯＦとに基づいて、無限遠におけるオプティカルフローＯＦinfを推定する。そして、演算部１３は、この推定されたオプティカルフローＯＦinfに基づいて、ステレオカメラ、すなわち、このステレオカメラが搭載された車両の角速度ωを算出する。

このマイクロコンピュータ１０は、自車両の角速度ωが算出されると、この角速度ωを考慮した上で、例えば、立体物Ｏnの移動速度を算出し、これにより前方の走行状況を認識する。そして、前方の立体物Ｏnが自車両にとって危険である判断した場合には、モニタやスピーカー等の警報装置（図示せず）を作動させて、ドライバーに注意を促す。また、必要に応じて制御装置（図示せず）を制御することにより、シフトダウン、或いは、ブレーキの作動といった制御を実行する。

図３は、本実施形態にかかる角速度ωの算出手順を示したフローチャートである。このフローチャートに示したルーチンは、所定間隔毎に呼び出され、マイクロコンピュータ１０によって実行される。以下、角速度ωとして、車両の鉛直軸周りの角速度（以下「ヨーイング角速度」という）ωyを算出する手法について説明する。まず、ステップ１において、距離データメモリ９より、距離データＤが読み込まれるとともに、画像データメモリ８より、直近の撮像タイミングにおいて撮像された基準画像データ（以下単に「画像データＰn」という））が読み込まれる。

ステップ２において、自車両前方の道路形状が認識される。この道路形状は、例えば、道路モデルを算出することにより、認識可能である。道路モデルは、実空間を規定する三次元座標系において、水平方向および垂直方向における直線式で表現され、この直線式のパラメータを実際の道路形状に合致するような値に設定することにより、算出される。例えば、路面に描かれた車線を規定する白線（または黄線）は、道路形状を認識する上で有効である。そこで、距離データＤおよび画像データＰnを参照して、白線の実空間上の位置を認識し、この位置を連結することにより、道路モデルが算出される。実空間を規定する座標系は、車両を基準に設定されており、ステレオカメラの中央真下の道路面を原点として、車幅方向をｙ軸、車高方向をｚ軸、車長方向をｘ軸とする。

ステップ３において、立体物Ｏnの認識が行われる。立体物Ｏnの認識では、まず、三次元データが算出される。この三次元データは、監視領域内の三次元位置（実空間上の位置）を示すデータであり、周知の座標変換式を参照することで、距離データＤに基づいて、一義的に算出される。算出された三次元データは、道路モデルと比較され、道路面より上にあるデータが立体物Ｏnとして抽出される。なお、道路形状および立体物の認識に関する具体的な手法については、特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開平１０−２８３４６１号公報、特開平１０−２８３４７７号公報、特開平１１−２１３１３８号公報、特開２００１−９２９７０号公報などに開示されているので必要ならば参照されたい。

ステップ４において、時系列的な前後関係にある一対の画像データを用いて、オプティカルフローＯＦが検出される。オプティカルフローＯＦは、時系列的に撮像された画像において、フレーム間の画素の流れ（移動量）をベクトルで表現したものであり、一般に、撮像タイミングが前の画像からそれよりも後の画像への画素の流れを示す。そこで、まず、先のステップ１において読み込まれた画像データＰnよりもタイミング的に前に撮像された基準画像データＰn-1（以下、適宜「前画像データ」という）が、画像データメモリ８より読み込まれる。そして、時系列的な前後関係にある一対の画像データＰn，Ｐn-1を処理対象として、オプティカルフローＯＦが検出される。後述するように、本実施形態では、立体物Ｏnに関する視差ｄと、その立体物Ｏnに関するオプティカルフローＯＦとに基づいて、無限遠におけるオプティカルフローＯＦinfが推定される。そのため、煩雑な演算処理は省略するという観点から、オプティカルフローＯＦの検出は、視差ｄの算出単位である画素ブロックＰＢijをベースとして行われる。換言すれば、このオプティカルフローＯＦは、画像データＰnを構成する各画素ブロックＰＢijに関する、前画像データＰn-1からの移動量を示す。

具体的には、各画素ブロックＰＢijを処理対象として、この画素ブロックＰＢij（相関元）の輝度特性と相関を有する領域（相関先）が前画像データＰn-1において特定される。オプティカルフローＯＦを検出する場合、上述したステレオマッチング処理とは異なり、相関元となる画素ブロックＰＢijを前画像データＰn-1の全域に亘り水平／垂直方向に一画素ずつオフセットさせながら、最も高い相関を有する相関先を特定する（二次元マッチング）。そして、相関元と相関先の座標位置（ｉ，ｊ）を比較し、前画像データＰn-1から画像データＰnへの垂直方向（ｊ軸方向）における位置的なずれ量Δｊと、水平方向（ｉ軸方向）における位置的なずれ量Δｉとが、その画素ブロックＰＢijに関するオプティカルフローＯＦとなる。そして、検出されたオプティカルフローＯＦ（水平成分Δｉ，垂直成分Δｊ）は、画像平面の位置（ｉ，ｊ）と対応付けられる。なお、オプティカルフローＯＦの算出対象となる基準画像データＰn，Ｐn-1は、撮像タイミングが時系列的に前後していればよく、それらの撮像タイミングが連続している必要はない。また、オプティカルフローＯＦの検出領域は、画像平面の全域である必要はなく、少なくとも認識された立体物Ｏnに関するオプティカルフローＯＦが検出されていればよい。

図４は、二次元ヒストグラムの説明図である。ステップ５において、各画素ブロックＰＢijに関して算出された視差ｄと、オプティカルフローＯＦの水平成分Δｉとの頻度分布を示す二次元ヒストグラムが生成される。このステップ４では、まず、一方の軸を視差ｄ、他方の軸をオプティカルフローＯＦの水平成分Δｉとする投票空間が用意される。そして、各画素ブロックＰＢijは、自己に関する視差ｄと、オプティカルフローＯＦの水平成分Δｉとに基づいて、該当する投票空間へ順次投票される。この投票処理が全ての画素ブロックＰＢijについて行われると、ステップ５に進む。

ステップ６では、生成された二次元ヒストグラムに基づいて、無限遠におけるオプティカルフローＯＦinf（本実施形態では、オプティカルフローＯＦの水平成分Δｉinf）が推定される。具体的には、まず、二次元ヒストグラムに基づいて、各画素ブロックＰＢijに関する投票パターンが曲線（本実施形態では、二次式）で近似される。二次式への近似手法としては、ハフ変換を用いることができる。ハフ変換は、直線、或いは任意の形状を有する対象物を画像から検出する周知の画像処理手法である。ハフ変換を用いて曲線を抽出する場合、まず、二次元ヒストグラムを度数に応じて二値化する。そして、二値化されたパターンに、ハフ変換を施すことにより、投票パターンに応じた二次曲線が抽出される。なお、二次式への近似は、ハフ変換以外にも、最小二乗法などを用いることができる。

図５は、抽出された二次曲線の説明図である。同図には、ハフ変換により抽出された４つの二次曲線が示されており、各々の二次曲線は下式で表現することができる。ここで、同数式において、Ｐn，Ｑn，Δｉinfは、二次曲線における係数（曲線パラメータ）である。

そして、この抽出された二次曲線における０次項、すなわち、定数項Δｉinfが、無限遠におけるオプティカルフローＯＦinfの水平成分となる。なお、同図に示すように、複数の二次曲線が抽出されている場合（ｎ＝１〜４）、この水平成分Δｉinfは、各二次曲線における定数項Δｉinfの傾向を反映するような特性値（平均値、最頻値など）として算出される。

そして、ステップ７では、推定されたオプティカルフローＯＦinf（水平成分Δｉinf）に基づいて、ヨーイング角速度ωyが算出される（下式参照）。

ここで、Ｗiは、カメラ２，３における撮像素子の一画素あたりの水平幅であり、ｆは、カメラ２，３の焦点距離である。また、Δｔは、前画像データＰn-1の撮像タイミングと、画像データＰnの撮像タイミングとの撮像間隔である。

図６は、無限遠におけるオプティカルフローＯＦinfの推定概念の説明図である。同図は、カメラ２，３から観測される立体物Ｏnを黒点で示している。これらの立体物Ｏnを、旋回する車両（前進方向の速度（以下「前進速度」という）ｕ、右方向を正とした横方向への速度（以下「横進速度」という）ｖ、ヨーイング角速度ωy）から観測した場合、ある時刻ｔ0の撮像タイミングにおいて、立体物Ｏnは位置Ｐ（ｔ0）に存在する。この時刻ｔ0から所定時間経過すると（その時刻ｔ1＝ｔ0＋Δｔ）、車両の旋回にともない、対象物Ｏnは位置Ｐ（ｔ1）に移動する。同図には、時刻ｔ0から時刻ｔ1における立体物Ｏnの移動量が矢印で示されており、この立体物Ｏnの移動量は、時刻ｔ0，ｔ1を撮像タイミングとするフレーム間のオプティカルフローＯＦに相当する。

車両が旋回している場合、検出される立体物ＯnのオプティカルフローＯＦには、車両の速度成分（前進速度ｕ、横進速度ｖ）に起因した画素の流れと、車両の回転成分（ヨーイング角速度ωy）に起因した画素の流れとが作用する。ところで、自車両と立体物Ｏnとが位置的に近い場合、画素の流れの主要因は、車両の速度成分と見なすことができる。これに対して、自車両と立体物Ｏnとが位置的に離れている場合には、その距離が遠ければ遠いほど、画素の流れに占める車両の速度成分の影響はほぼ０と見なすことができる。そのため、画像平面におけるオプティカルフローＯＦのうち、遠景を写し出した領域のオプティカルフローＯＦは、近景を写し出した領域のオプティカルフローＯＦと比較して、速度成分に起因した画素の流れが抑制され、回転成分に起因した画素の流れが顕著となる。すなわち、無限遠のオプティカルフローＯＦinfには、速度成分に起因した画素の流れは作用せず、カメラ２，３（或いは、カメラ２，３が搭載された移動体）の回転に起因した画素の流れが作用する（それ故に、ヨーイング角速度ωyが算出可能となる）。この場合、近景から遠景に亘り、ある直線上に並ぶ立体物Ｏn（或いは、複数の立体物群）に関しては、そのオプティカルフローＯＦに、速度成分の画素の抑制傾向が規則的に現れる。そこで、このようなオプティカルフローＯＦの規則性を特定することで、画像上に無限遠の景色が写し出されていないケースであっても、立体物Ｏnの並びを拘束条件として、無限遠のオプティカルフローＯＦinfを推定することが可能となる。

もっとも、車外監視において認識される立体物Ｏnには、先行車や障害物といった立体物Ｏnも存在するが、これ以外にも、ガードレールや側壁といった直線状に並ぶ立体物Ｏnも存在する。車両を基準とした三次元座標系において、立体物Ｏnがなす直線は、下式で表現できる。同数式において、Ｇn，Ｈnは、直線パラメータ（一次式の係数）であり、添え字ｎによりｎ個の直線群を表現することができる。

これらの直線群を構成する立体物Ｏnを、画像の水平座標ｉと、視差ｄとで構成される二次元平面上で観測すると、上記のｎ個の直線は、下式で表現される。下式において、Ｌは、ステレオカメラにおけるカメラ基線長である。

この直線上に並ぶ立体物ＯnのオプティカルフローＯＦを、前進速度ｕ、右横進速度ｖ、ヨーイング角速度ωyで運動するカメラ２，３から観測する。この場合、この対象物Ｏnの視差ｄと、オプティカルフローＯＦの水平成分Δｉとは、以下に示す２次式で表現される。

本実施形態では、このような概念を踏まえ、直線状に並ぶ立体物Ｏnがカメラ２，３から観測されるという前提のもと（拘束条件）、二次元ヒストグラムが生成される。そして、このヒストグラムにおける投票パターンから、数式６（すなわち、数式２）の曲線パラメータを同定する。これにより、無限遠（ｄ＝０）におけるオプティカルフローＯＦinfを推定することができる。換言すれば、立体物Ｏnの視差ｄ（二次元ヒストグラムの一方の軸）と、この立体物のオプティカルフローＯＦ（二次元ヒストグラムの他方の軸）と、立体物の並びとに基づいて、無限遠におけるオプティカルフローＯＦinfを推定することができる。これにより、遠景が写し出されていないよう画像を用いる場合であっても、無限遠におけるオプティカルフローＯＦinfを推定することができる。また、無限遠におけるオプティカルフローＯＦinfを推定することにより、車両、すなわち、カメラ２，３が搭載された移動体のヨーイング角速度ωyを算出することができる。

（第２の実施形態）
第１の実施形態の特徴の一つは、投票パターンを曲線で近似し、この近似結果に基づいて、無限遠におけるオプティカルフローＯＦinfを推定することにある。これに対して、第２の実施形態の特徴の一つは、第１の実施形態よりも簡単な構成を用いて無限遠におけるオプティカルフローＯＦinfを推定する点にある。具体的には、第２の実施形態では、上述した二次元ヒストグラムに基づいて、投票パターンの重み付け平均値を算出し（下式参照）、この算出結果に基づいて、無限遠におけるオプティカルフローＯＦinfが推定される。

第１の実施形態で示すように、二次元ヒストグラムにおいて、直線状に並ぶ立体物Ｏnの投票パターンは、無限遠におけるオプティカルフローＯＦinfに収束する傾向にある。そこで、同数式は、重みｗ（ｄ）を用い、遠景のデータ程重みを増やし、これにより、近景のデータの影響を抑制し、遠景のデータに基づいて、無限遠におけるオプティカルフローＯＦinfを推定する。この重みｗ（ｄ）は、例えば、下式に示す如く設定することができる。下式において、Ｄ１は、遠景と中近景との境界を示す第１の視差の値であり、Ｄ２は、中近景と近景との境界を示す第２の視差であり、二次元ヒストグラムにおける投票総数などを考慮した上で、予め設定されている。

このように、投票パターンの重み付け平均値（正確には、オプティカルフローＯＦの重み付け平均値）に基づいて、無限遠（視差ｄ＝０）におけるオプティカルフローＯＦinfが推定される。この手法によれば、第１の実施形態と同様に、無限遠におけるオプティカルフローＯＦinfを推定することができるとともに、二次式への近似処理を省略することができるので、その処理を簡素化することができる。これにより、コンピュータによる処理負荷を軽減することができる。

なお、第１および第２の実施形態では、角速度としてはヨーレート角速度ωyを算出する手法について説明した。しかしながら、本発明は、これに限定されず、無限遠におけるオプティカルフローＯＦinfに基づいて、車両の横軸周り、すなわち、ピッチング方向の角速度（以下「ピッチング角速度」という）を算出することもできる。上述した実施形態では、ヨーイング角速度ωyを検出する前提として、二次元ヒストグラムの一方の軸を、回転成分（ヨーイング成分）の画素の流れ、すなわち、オプティカルフローＯＦの水平成分Δｉに設定した。しかしながら、ピッチング角速度を算出する場合には、この軸を、回転成分（ピッチング成分）の画素の流れ、すなわち、オプティカルフローＯＦの垂直成分Δｊに設定する。そして、この二次元ヒストグラムにおいて、投票パターンを二次式で近似し、無限遠におけるオプティカルフローＯＦinfの垂直成分が推定される。そのため、この推定されたオプティカルフローＯＦの垂直成分に基づいて、ピッチング角速度を一義的に算出することが可能となる。

また、数式６に示すように、二次元ヒストグラムに基づいて、投票パターンを二次式で近似することにより、各次数の係数もそれぞれ同定される。これにより、その係数のうちの未知数、例えば、前進速度ｕや、横進速度ｖをも推定することが可能となる。

なお、上述した各実施形態では、車外を監視する監視装置を前提とした関係上、無限遠におけるオプティカルフローＯＦinfに基づいて、車両の角速度を算出したが、本発明はこれに限定されない。すなわち、カメラ２，３が搭載されるケースとしては、車両に限定されるものではなく、飛行体などを含め種々の移動体に搭載され、この角速度算出に広く適用することができる。また、無限遠におけるオプティカルフローＯＦinfは、カメラの回転成分を有効に抽出することができるので、本発明にかかる画像処理装置は、動画像や静止画像の撮影における、カメラの手ぶれ補正機能として適用することができる。すなわち、本発明において、カメラ２，３が搭載される移動体は、カメラ２，３にぶれを生じさせる要素を広く含むこととする。

本実施形態にかかる画像処理装置を適用した角速度演算機能付き車外監視装置のブロック構成図 基準画像に設定される画素ブロックの説明図 角速度の算出手順を示したフローチャート 二次元ヒストグラムの説明図 抽出された二次曲線の説明図 無限遠におけるオプティカルフローＯＦinfの推定概念の説明図

符号の説明

１ 監視装置
２ メインカメラ
３ サブカメラ
４，５ Ａ／Ｄコンバータ
６ 画像補正部
７ ステレオ画像処理部
８ 画像データメモリ
９ 距離データメモリ
１０ マイクロコンピュータ
１１ 認識部
１２ 検出部
１３ 演算部
ＯＦ オプティカルフロー
Δｉ 水平成分
Δｊ 垂直成分
Ｄ 距離データ
ｕ 前進速度
ｖ 横進速度

Claims (7)

1. 画像処理装置において、
   移動体に搭載されており、前記移動体周囲の景色を撮像することにより、一対の画像データを時系列的に出力するステレオカメラと、
   前記一対の画像データを処理対象とした二次元マッチングに基づいて、視差を算出するとともに、１フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の位置とが対応付けられた距離データを出力するステレオ画像処理部と、
   前記距離データに基づいて、複数の立体物を認識し、前記立体物のそれぞれの三次元位置を特定する認識部と、
   前記一対の画像データのうちの一方の画像データにおいて、時系列的な前後関係にある一対の画像データを処理対象とした二次元マッチングに基づいて、前記立体物のそれぞれのオプティカルフローを検出する検出部と、
   前記複数の立体物の並びと、前記立体物のそれぞれの視差と、前記立体物のそれぞれのオプティカルフローとに基づいて、無限遠におけるオプティカルフローを推定する演算部と
   を有することを特徴とする画像処理装置。
2. 前記演算部は、前記複数の立体物を投票対象として、一方の軸を視差、他方の軸をオプティカルフローとする二次元ヒストグラムを生成するとともに、前記複数の立体物の並びが直線状であることを拘束条件として、当該二次元ヒストグラムにおける投票パターンの傾向に基づき、前記無限遠におけるオプティカルフローを推定することを特徴とする請求項１に記載された画像処理装置。
3. 前記演算部は、前記投票パターンを曲線で近似し、当該近似結果に基づいて、前記無限遠におけるオプティカルフローを推定することを特徴とする請求項２に記載された画像処理装置。
4. 前記演算部は、前記投票パターンの重み付け平均値を算出し、当該算出結果に基づいて、前記無限遠におけるオプティカルフローを推定することを特徴とする請求項２に記載された画像処理装置。
5. 前記演算部は、前記無限遠におけるオプティカルフローに基づいて、前記移動体の角速度を算出することを特徴とする請求項１から４のいずれかに記載された画像処理装置。
6. 移動体に搭載され、前記移動体周囲の景色を撮像するステレオカメラから時系列的に出力される一対の画像データを処理対象とした画像処理方法において、
   前記一対の画像データを処理対象とした二次元マッチングに基づいて、視差を算出するとともに、１フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の位置とが対応付けられた距離データを出力する第１のステップと、
   前記距離データに基づいて、複数の立体物を認識し、前記立体物のそれぞれの三次元位置を特定する第２のステップと、
   前記一対の画像データのうちの一方の画像データにおいて、時系列的な前後関係にある一対の画像データを処理対象とした二次元マッチングに基づいて、前記立体物のそれぞれのオプティカルフローを検出する第３のステップと、
   前記複数の立体物の並びと、前記立体物のそれぞれの視差と、前記立体物のそれぞれのオプティカルフローとに基づいて、無限遠におけるオプティカルフローを推定する第４のステップと
   を有することを特徴とする画像処理方法。
7. 前記第４のステップは、
   前記複数の立体物を投票対象として、一方の軸を視差、他方の軸をオプティカルフローとする二次元ヒストグラムを生成するステップと、
   前記複数の立体物の並びが直線状であることを拘束条件として、当該二次元ヒストグラムにおける投票パターンの傾向に基づき、前記無限遠におけるオプティカルフローを推定するステップとを含むことを特徴とする請求項６に記載された画像処理方法。

Images