JP2011081613A - 画像処理装置 - Google Patents

Abstract

【課題】ＦＯＥ座標の位置を高精度に求めること。
【解決手段】ＦＯＥ座標Ｆから特徴点座標Ｐｉへ向かう線分と、当該特徴点ＰｉのオプティカルフローＶｉとがなす角度θｉを誤差として、各特徴点Ｐｉの誤差の総和を評価する評価関数Ｅを算出する。その際に、ＦＯＥ座標Ｆから特徴点座標Ｐｉへ向かう線分と特徴点ＰｉのオプティカルフローＶｉとがなす角度θｉが大きくなるほど、評価関数Ｅに対する当該特徴点Ｐｉの誤差の影響度合を低減する重み係数Ｗｉを用いて、各特徴点Ｐｉの誤差から評価関数Ｅを算出し、このようにして算出された評価関数Ｅを用いて、誤差の総和が小さくなるようにＦＯＥ座標Ｆを定める。
【選択図】図３

Description

本発明は、移動体に搭載されたビデオカメラなどの撮像装置が撮影した画像を処理する画像処理装置に関する。

例えば自動車などの移動体にビデオカメラを搭載し、そのビデオカメラからの時々刻々と変化する画像を処理することにより、その画像中における移動物体を検出する装置が種々提案されている。

例えば特許文献１に記載の装置では、まず、直進運動を行なう観測系が持つＴＶカメラ画像の時間変化を解析することにより、局所領域単位の動きであるオプティカルフローを抽出する。このオプティカルフローを直線の方程式に変換し、これらを連立して解くことにより、観測系の直進運動の方向の投影点であるＦＯＥ（拡張焦点：Focus of Expansion）位置を求め、記憶する。そして、記憶されているＦＯＥ位置に対する、現時点のＦＯＥ位置との時間的位置変化を解析して、この時間的位置変化が所定の変化量以上のときに、移動物体が存在すると判断する。

特開平８−１９４８２２号公報

上述した特許文献１の装置では、記憶しているＦＯＥ位置の算出時には移動物体が存在しないことを前提としている。しかしながら、例えば自動車などの移動体にビデオカメラを搭載した場合には、必ずしも移動物体が存在しない状況が出現するとは限らない。

ここで、特許文献１の装置では、単に、画像の局所領域単位の動きであるオプティカルフローをそれぞれ抽出して、それらオプティカルフローの交点であるＦＯＥ位置をＬＵ分解法、特異点分解法等の計算手法により求めているだけである。このため、画像中に移動物体が含まれていたり、一部の静止物体に関して、静止物体ではあっても抽出されるオプティカルフローの誤差が大きかったりする場合には、精度良くＦＯＥ位置を求めることができない。移動物体の検出精度は、ＦＯＥ位置の精度に依存するため、ＦＯＥ位置精度が十分ではないと、移動物体の検出精度も低下することになる。

本発明は、上述した点に鑑みてなされたものであり、ＦＯＥの位置を高精度に求めることが可能な画像処理装置を提供することを目的とする。

上記目的を達成するために、請求項１に記載の画像処理装置は、
移動体に搭載され、定期的に画像を撮像して出力する画像出力手段と、
画像出力手段により撮像された画像における、特徴点を複数抽出する特徴点抽出部と、
画像出力手段から時系列に出力された複数の画像における、同一特徴点の変化から、複数の特徴点のオプティカルフローをそれぞれ算出するオプティカルフロー算出部と、
オプティカルフロー算出部によって算出された複数のオプティカルフローを延長した交点である拡張焦点を算出する拡張焦点算出部と、
前記拡張焦点算出部によって算出された拡張焦点を用いて、前記特徴点が移動点であるか静止点であるかを判定する判定部と、を備え、
拡張焦点算出部は、複数の特徴点に関して、拡張焦点から特徴点の座標へ向かう線分と、当該特徴点のオプティカルフローとがなす角度を誤差として、各特徴点の誤差の総和を評価する評価関数を算出し、当該評価関数を用いて、誤差の総和が小さくなるように拡張焦点を定めるものであり、各特徴点の誤差から評価関数を算出する際に、拡張焦点から特徴点の座標へ向かう線分と特徴点のオプティカルフローとがなす角度が大きくなるほど、評価関数に対する当該特徴点の誤差の影響度合を低減する重み係数を用いることを特徴とする。

上述したように、請求項１に記載の画像処理装置では、拡張焦点から特徴点の座標へ向かう線分と特徴点のオプティカルフローとがなす角度が大きくなるほど、評価関数に対する当該特徴点の誤差の影響度合を低減する重み係数を用いて、各特徴点の誤差から評価関数を算出し、このようにして算出された評価関数を用いて、誤差の総和が小さくなるように拡張焦点を定める。

移動点のオプティカルフローや、静止点のオプティカルフローであっても誤差が大きい場合には、そのオプティカルフローと、拡張焦点から各特徴点へ向かう線分とがなす角度は相対的に大きくなる。このようなオプティカルフローを持った特徴点に関しては、上述した重み係数により、評価関数を算出する際に、その特徴点の誤差の影響度合が低減される。換言すれば、重み係数を用いつつ評価関数を算出することにより、拡張焦点から特徴点へ向かう線分との角度差が小さいオプティカルフローを有する特徴点の誤差をより重視して、誤差の総和を評価する評価関数を算出することができる。

従って、画像中に移動点のオプティカルフローが含まれていたり、一部の静止点のオプティカルフローの誤差が大きかったりしても、それらの影響を低減して、主に、精度良く算出された静止点のオプティカルフローから拡張焦点の位置を定めることができる。この結果、拡張焦点の位置を高精度に求めることができる。

請求項２に記載したように、拡張焦点算出部は、判定部によって各特徴点が移動点であるか静止点であるかが判定されている場合、静止点と判定された特徴点のみを用いて、各特徴点の誤差の総和を評価する評価関数を算出するようにしても良い。このように、特徴点として、静止点のみを対象として評価関数を算出することにより、相対的に小さい誤差のみを用い、さらにその中でもより小さい誤差を重視して評価関数を算出することができる。従って、この評価関数を用いて、より精度良く拡張焦点の位置を定めることができる。

請求項３に記載したように、拡張焦点算出部は、以下の数式１によって表される評価関数Ｅを用い、この評価関数Ｅが最小となる拡張焦点Ｆを最小二乗法により求めることができる。

数式１において、｜Ｖｉ∧（Ｐｉ−Ｆ）｜は、オプティカルフローＶｉと、拡張焦点Ｆから特徴点Ｐｉへ向かう線分（Ｐｉ−Ｆ）との外積の値を示している。外積の値は、オプティカルフローＶｉと拡張焦点Ｆから特徴点Ｐｉへ向かう線分（Ｐｉ−Ｆ）とのなす角度が大きくなるほど、大きくなる。従って、重み係数Ｗｉを用いて、角度の小さい外積の値を重視しつつ評価関数Ｅを算出し、この評価関数Ｅが最小値となるように拡張焦点Ｆの位置を定めることにより、各静止点のオプティカルフローに合致した拡張焦点Ｆの位置を求めることができる。

請求項４に記載したように、拡張焦点算出部は、各特徴点Ｐｉの重み係数Ｗｉの初期値を、過去に算出された拡張焦点Ｆｐｒｅｖを用いて算出される外積値Ｒｉを利用して、以下の数式２のように定め、重み係数Ｗｉの初期値を用いて評価関数Ｅが最小となる拡張焦点Ｆが求められたら、外積値Ｒｉにおける過去に算出された拡張焦点Ｆｐｒｅｖを、求めた拡張焦点Ｆで置換することにより、各特徴点の重み係数Ｗｉを更新し、更新した重み係数Ｗｉを用いて評価関数Ｅが最小となる拡張焦点Ｆを求めるとの手順を繰り返すことで、拡張焦点Ｆの変動が所定範囲に収まるようになると、そのときの拡張焦点Ｆを今回の拡張焦点Ｆと定めることが好ましい。

今回の拡張焦点の位置は、過去（前回）に算出した拡張焦点Ｆｐｒｅｖの近傍に存在すると仮定することができる。そこで、重み係数Ｗｉの初期値を、オプティカルフローＶｉと、過去に算出された拡張焦点Ｆｐｒｅｖから特徴点Ｐｉへ向かう線分（Ｐｉ−Ｆｐｒｅｖ）との外積値Ｒｉを利用して定める。なお、Ｒｏは、予め実験等により定める定数である。これにより、誤差の大きい特徴点Ｐｉほど、重みが小さくなるように、重み係数Ｗｉを定めることができる。逆に、誤差が小さい特徴点Ｐｉほど、１を上限として重みが大きくなるように、重み係数Ｗｉを定めることができる。すなわち、上述した数式２によって重み係数Ｗｉを算出した場合、重み係数Ｗｉは、誤差がゼロであって外積値Ｒｉがゼロとなるときの１を最大値として、誤差が大きくなるにつれて単調減少する。従って、各特徴点Ｐｉの誤差の大きさに適切に対応した重み係数Ｗｉを算出することができる。

さらに、数式２を用いて重み係数Ｗｉを算出することにより、拡張焦点Ｆから各特徴点Ｐｉまでの距離差の影響が、評価関数Ｅに反映されることを抑制することができる。つまり、評価関数Ｅを算出する際の、オプティカルフローＶｉと、拡張焦点Ｆから特徴点Ｐｉへ向かう線分（Ｐｉ−Ｆ）との外積値は、それらがなす角度のみによらず、オプティカルフローＶｉの長さや、拡張焦点Ｆから特徴点Ｐｉへ向かう線分（Ｐｉ−Ｆ）の長さの影響を受ける。オプティカルフローＶｉの長さや、拡張焦点Ｆから特徴点Ｐｉへ向かう線分（Ｐｉ−Ｆ）の長さは、各特徴点と拡張焦点との距離など応じて相違する。従って、重み係数Ｗｉの初期値を、オプティカルフローＶｉと、過去に算出された拡張焦点Ｆｐｒｅｖから特徴点Ｐｉへ向かう線分（Ｐｉ−Ｆ）との外積値Ｒｉを利用して数式２のように定めることにより、各特徴点Ｐｉについて、オプティカルフローＶｉと、拡張焦点Ｆから特徴点Ｐｉに向かう線分（Ｐｉ−Ｆ）とがなす角度θｉを誤差として、誤差の総和を評価する評価関数Ｅを算出する際に、各特徴点Ｐｉと拡張焦点Ｆとの距離差の影響を低減することができる。

そして、重み係数Ｗｉの初期値を用いて評価関数Ｅが最小となる拡張焦点Ｆが求められたら、重み係数Ｗｉを算出するための外積値Ｒｉにおける過去に算出された拡張焦点Ｆｐｒｅｖを、求めた拡張焦点Ｆで置換することにより、各特徴点の重み係数Ｗｉを更新する。さらに、更新した重み係数Ｗｉを用いて評価関数Ｅが最小となる拡張焦点Ｆを求めるとの手順を、拡張焦点Ｆの変動が所定範囲に収まるようになるまで繰り返す。これにより、拡張焦点の位置をより高精度に求めることができる。

なお、重み係数Ｗｉは、上述した数式２に従って算出されるものに限られず、例えば、請求項５に記載したように、以下の数式３に従って算出されても良い。

数式３によれば、重み係数Ｗｉの初期値が、オプティカルフローＶｉと、過去に算出された拡張焦点Ｆｐｒｅｖから特徴点Ｐｉへ向かう線分（Ｐｉ−Ｆｐｒｅｖ）との外積の逆数として定められる。そして、数式２の場合と同様に、重み係数Ｗｉの初期値を用いて評価関数Ｅが最小となる拡張焦点Ｆが求められたら、数式３の重み係数Ｗｉにおける過去に算出された拡張焦点Ｆｐｒｅｖを、求めた拡張焦点Ｆで置換することにより、各特徴点の重み係数Ｗｉを更新する。さらに、更新した重み係数Ｗｉを用いて評価関数Ｅが最小となる拡張焦点Ｆを求めるとの手順を、拡張焦点Ｆの変動が所定範囲に収まるようになるまで繰り返す。

上記の数式３に従って重み係数Ｗｉを算出した場合も、誤差の大きい特徴点ほど、重みが小さくなるように、重み係数Ｗｉを定めることができる。ただし、誤差が極めて小さくなったときに、重み係数Ｗｉが極大化するので、求めるべき拡張焦点位置の不安定化を招きやすいとのデメリットはあるが、数式２に比較して、重み係数Ｗｉを算出するための演算を簡略化することができる。

なお、数式３に従って重み係数Ｗｉを算出する場合、求めるべき拡張焦点位置の不安定化を抑制するために、請求項６に記載したように、重み係数Ｗｉが、所定の上限値以上の大きさとなったとき、その上限値を重み係数Ｗｉとして用いることが好ましい。これにより、誤差が極めて小さくなったとき、重み係数Ｗｉが過剰に大きくなることを防止することができる。

請求項７に記載したように、判定部は、拡張焦点から特徴点の座標へ向かう線分と、当該特徴点のオプティカルフローとがなす角度が第１判定角度以下である場合に、その特徴点を静止点であると判定することができる。静止点のオプティカルフローは、拡張焦点位置に投影されるものであるため、精度の高い拡張焦点位置を求めることができれば、拡張焦点から特徴点の座標へ向かう線分と、当該特徴点のオプティカルフローとがなす角度が第１判定角度以下との簡単な判定処理により、静止点であることを判定できる。

ただし、請求項８に記載したように、判定部は、拡張焦点算出部によって拡張焦点が算出されるごとに、拡張焦点から特徴点の座標へ向かう線分と、当該特徴点のオプティカルフローとがなす角度と第１判定角度との比較を行い、その角度が第１判定角度以下との判定が複数回連続して成立した場合に、その特徴点を静止点と判定するようにしても良い。これにより、静止点に関する判定精度を高めることができる。

また、請求項９に記載したように、判定部は、拡張焦点から特徴点の座標へ向かう線分と、当該特徴点のオプティカルフローとがなす角度が第２判定角度より大きい場合に、その特徴点を移動点であると判定することができる。拡張焦点から特徴点の座標へ向かう線分の向きとは異なるオプティカルフローを示すのは、移動点に限られ、精度の高い拡張焦点位置を求めることができれば、拡張焦点から特徴点の座標へ向かう線分と、当該特徴点のオプティカルフローとがなす角度が第２判定角度以上との簡単な判定処理により、移動点であることを判定できる。

請求項１０に記載したように、判定部は、拡張焦点算出部によって拡張焦点が算出されるごとに、拡張焦点から特徴点の座標へ向かう線分と、当該特徴点のオプティカルフローとがなす角度と第２判定角度との比較を行い、その角度が第２判定角度より大きいとの判定が複数回連続して成立した場合に、その特徴点を移動点と判定するようにしても良い。これにより、移動点に関する判定精度を高めることができる。

請求項１１に記載したように、拡張焦点算出部は、今回算出された拡張焦点と過去に算出された拡張焦点とを平均処理して、最終的な拡張焦点を求めても良い。これにより、拡張焦点の位置の変動を抑えて、安定化された拡張焦点位置を求めることができる。

本発明の実施形態による画像処理装置の構成を示す構成図である。 画像処理装置において実行される各種の機能を説明するためのフロー図である。 本実施形態による画像処理装置において、移動物体の検出手法の概要を説明するための説明図である。 Ｒｉ／Ｒｏの変化に対する重み係数Ｗｉの変化を示したグラフである。 本実施形態による画像処理装置において算出されるＦＯＥ位置の誤差と、本実施形態における重み係数Ｗｉを用いずに算出したＦＯＥ位置の誤差とを対比して示すグラフである。

以下、本発明の実施形態による画像処理装置について、図面に基づいて詳細に説明する。本実施形態による画像処理装置は、移動体に搭載され、移動体とともに移動する撮像装置が撮影した画像を処理することにより、画像に移動物体が含まれているか否かを判定して移動物体の検知を行なうものである。なお、本実施形態では、画像処理装置が、自動車に搭載された例について説明する。

図１に示すように、画像処理装置１００は、撮像装置としてのビデオカメラ１０、及びこのビデオカメラ１０によって撮影された画像を処理する画像処理ＥＣＵ２０とを備えている。

ビデオカメラ１０は、例えば、ＣＣＤカメラによって構成され、自動車の前方を撮影するように、自動車の運転席近傍の天井付近に設置される。なお、ビデオカメラ１０を、車両の後方を撮影するように車室内に取り付けて、自動車が後退するときに、自動車の後方画像を撮影するようにしても良い。このビデオカメラ１０は、定期的に画像を撮影して、その撮影した画像を画像処理ＥＣＵ２０に出力する。

画像処理ＥＣＵ２０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等からなるマイクロコンピュータの他、ビデオカメラ１０から出力された画像をデジタル画像に変換するためのＡ／Ｄ変換器や、変換されたデジタル画像を保存する画像メモリ等を備えている。なお、画像メモリは、複数の画像を保存可能な記憶容量を有している。

この画像処理ＥＣＵ２０は、予め記憶されているプログラムに従って、各種の機能を実行する。例えば、ビデオカメラ１０から時系列に出力される複数の画像における、同一特徴点の変化から、画像に含まれる各々の特徴点のオプティカルフローを算出し、算出された複数のオプティカルフローに基づいて、ＦＯＥ位置を算出する。そして、算出されたＦＯＥ位置を用いて、各特徴点が移動点であるか静止点であるかを判定する。このようにして、画像処理ＥＣＵ２０は、移動物体の検知を行い、その検知結果を制御装置３０に出力する。

制御装置３０は、画像処理ＥＣＵ２０による移動物体の検知結果に基づいて、例えば、車両の前方に移動物体が存在することを運転者に報知したりするものである。

次に、図２のフロー図に基づいて、画像処理ＥＣＵ２０において実行される各種の機能について詳しく説明する。なお、図２では、基本的に、画像処理ＥＣＵ２０において実行される各種機能を機能ブロックとして表している。ただし、画像処理ＥＣＵ２０では、ビデオカメラ２０によって画像の出力が開始されたとき、その時系列に出力される画像に応じて、実行する機能が変化する。そのため、図２では、画像処理ＥＣＵ２０において実行される機能ブロックの経時的な変化も併せて示している。具体的には、同一の機能ブロックには同一の参照番号を付与しつつ、その同一の機能ブロックが異なる時間帯に動作する場合には、参照番号に異なるアルファベットを添付している。

まず、図２における、各種の機能ブロックについて説明する。画像処理ＥＣＵ２０は、特徴点算出部４１を有する。この特徴点算出部４１は、コーナー点抽出部４２と、近傍点削除部４３とから構成される。コーナー点抽出部４２は、画像メモリ４０に新たなデジタル画像が保存されると、そのデジタル画像を取り込んで、そのデジタル画像における特徴点として、エッジや、物体の角等を抽出する。また、近傍点削除部４３は、コーナー点抽出部４２が抽出したエッジや物体の角などの特徴点の中で、既に抽出されている特徴点の座標近傍に存在する特徴点を削除する。既に抽出されている特徴点の座標近傍に存在する特徴点は、抽出済みの特徴点が移動したものである可能性が高い。このため、近傍点削除部４３によって、そのような特徴点を削除することにより、特徴点算出部４１は、新たにデジタル画像に出現した、新規の特徴点のみを算出することになる。そして、特徴点算出部４１によって算出された新規の特徴点は、第１オプティカルフロー算出部４４に与えられる。

本実施形態では、特徴点のオプティカルフローを算出するオプティカルフロー算出部として、第１〜第３オプティカルフロー算出部４４〜４６を有している。

第１オプティカルフロー算出部４４は、上述したように、特徴点算出部４１によって算出された新規の特徴点に基づき、既に抽出され、静止点候補もしくは移動点候補として判定済みの特徴点以外の、新規な特徴点についてのオプティカルフローを算出する。このため、第１オプティカルフロー算出部４４は、異なるタイミングで画像メモリ４０に保存された２つのデジタル画像において、特徴点算出部４１によって算出された特徴点を対応付けることにより、その特徴点の動きベクトルに相当するオプティカルフローを算出する。

第２のオプティカルフロー算出部４５は、静止点候補として判定済みの特徴点のオプティカルフローを算出する。また、第３のオプティカルフロー算出部４６は、移動点候補として判定済みの特徴点のオプティカルフローを算出するものである。第２及び第３のオプティカルフロー算出部４５，４６におけるオプティカルフローの算出手法は、第１のオプティカルフロー算出部と同様である。

なお、上述した例では、特徴点算出部４１が、エッジや物体の角等の特徴点を算出するものであったが、他の手法によって特徴点を算出することも可能である。例えば、一つのデジタル画像を小領域に分割し、その小領域のうち明るさ分布に特徴があるものを特徴点とすることができる。この場合、もう一つのデジタル画像において、小領域に対応する窓を設定し、その窓をすこしずつずらしながら、小領域の明るさ分布と最も相関の高い位置を探索する。このようにしても、特徴点のオプティカルフローを算出することができる。

ＦＯＥ算出部４７は、静止点候補となる特徴点が判定済みであり、第２オプティカルフロー算出部４５によって、静止点候補の特徴点のオプティカルフローが算出されている場合には、そのオプティカルフローに基づいてＦＯＥ座標を算出する。第２オプティカルフロー算出部４５によって静止点候補のオプティカルフローが算出されていない場合には、第１オプティカルフロー算出部４４によって算出された、新規な特徴点のオプティカルフローに基づいてＦＯＥ座標を算出する。

なお、ＦＯＥ算出部４７は、第１〜第３オプティカルフロー算出部４４〜４６によって算出された全てのオプティカルフローに基づいてＦＯＥ座標を算出しても良いし、第２オプティカルフロー算出部４５によって算出されたオプティカルフローに、第１もしくは第３オプティカルフロー算出部４４，４６によって算出されたオプティカルフローを組み合わせてＦＯＥ座標を算出しても良い。本実施形態では、後述するように、各特徴点のオプティカルフローの誤差の総和を評価する評価関数を算出して、その誤差の総和が最も小さくなるようにＦＯＥ座標を定める。その評価関数の算出に際して、重み係数Ｗｉを用い、誤差の大きいオプティカルフローに対しては、小さな重み係数Ｗｉを設定する。このため、ＦＯＥ座標を求めるためのオプティカルフローに、移動点のオプティカルフローが含まれていたりしても、精度良くＦＯＥ座標を求めることができる。

ここで、ＦＯＥ算出部４７における、ＦＯＥ座標Ｆの算出方法について説明する。本実施形態では、図３に示すように、ＦＯＥ座標Ｆから各特徴点Ｐｉの座標へ向かう線分（Ｐｉ−Ｆ）と、当該特徴点ＰｉのオプティカルフローＶｉとがなす角度θｉを誤差として、各特徴点Ｐｉの誤差の総和を評価する評価関数Ｅを以下の数式４のように定める。すると、画像上のＦＯＥ座標Ｆは、評価関数Ｅで定められる重みつき最小二乗問題の解として求めることができる。

数式４において、｜Ｖｉ∧（Ｐｉ−Ｆ）｜は、オプティカルフローＶｉと、ＦＯＥ座標Ｆから特徴点の座標Ｐｉへ向かう線分（Ｐｉ−Ｆ）との外積の値を示している。外積の値は、オプティカルフローＶｉとＦＯＥ座標Ｆから特徴点座標Ｐｉへ向かう線分（Ｐｉ−Ｆ）とのなす角度θｉが大きくなるほど、大きくなる。

ここで、特徴点が静止点である場合には、通常、ＦＯＥ座標Ｆから特徴点座標Ｐｉへ向かう線分と特徴点のオプティカルフローＶｉとがなす角度θｉは、ゼロもしくはゼロに近い値となる。従って、オプティカルフローＶｉとＦＯＥ座標Ｆから特徴点座標Ｐｉへ向かう線分（Ｐｉ−Ｆ）とのなす角度θｉが大きくなるのは、特徴点が移動点である場合や、静止点であっても、算出されたオプティカルフローＶｉの誤差が大きい場合である。（ただし、現実問題として、移動点と静止点とを完全に分離することは困難である。）そして、このような移動点のオプティカルフローＶｉや誤差が大きい静止点のオプティカルフローＶｉの影響を極力排除して、ＦＯＥ座標Ｆを求めるようにすれば、ＦＯＥ位置の精度向上につながる。

そこで、本実施形態では、移動点のオプティカルフローＶｉや、誤差が大きい静止点のオプティカルフローＶｉに対しては、後述するように、重み係数Ｗｉが小さくなるように設定する。これにより、評価関数Ｅを算出する際に、移動点のオプティカルフローＶｉや、誤差が大きい静止点のオプティカルフローＶｉの影響度合が低減される。換言すれば、重み係数Ｗｉを用いつつ評価関数Ｅを算出することにより、ＦＯＥ座標Ｆから特徴点座標Ｐｉへ向かう線分との角度θｉが小さいオプティカルフローＶｉを有する特徴点Ｐｉの誤差をより重視して、誤差の総和を評価する評価関数Ｅを算出することができる。

従って、画像中に移動点のオプティカルフローＶｉが含まれていたり、一部の静止点のオプティカルフローＶｉの誤差が大きく算出されたりしても、それらの影響を実質的に受けることなく、主に、精度良く算出された静止点のオプティカルフローＶｉからＦＯＥ座標Ｆを高精度に求めることができる。

重み係数Ｗｉは、オプティカルフローＶｉとＦＯＥ座標Ｆから特徴点座標Ｐｉへ向かう線分（Ｐｉ−Ｆ）とのなす角度θｉが大きいほど、小さい値となるように設定される。具体的には、下記の数式５のように設定することができる。

今回のＦＯＥ座標Ｆの位置は、過去（前回）に算出したＦＯＥ座標Ｆｐｒｅｖの近傍に存在すると仮定することができる。そこで、重み係数Ｗｉの初期値を、オプティカルフローＶｉと、過去に算出されたＦＯＥ座標Ｆｐｒｅｖから特徴点Ｐｉへ向かう線分（Ｐｉ−Ｆｐｒｅｖ）との外積値Ｒｉを利用して定める。

具体的には、外積値Ｒｉを、予め実験等により定めた定数Ｒｏにより除算した値の二乗値に１を加え、その平方根の逆数を重み係数Ｗｉとする。図４は、Ｒｉ／Ｒｏを横軸にとり、Ｒｉ／Ｒｏの変化に対する重み係数Ｗｉの変化を示したグラフである。Ｒｏは定数であるため、重み係数Ｗｉは、外積値Ｒｉの増加に対して、単調減少する単調減少関数となっている。

そして、Ｒｉ>>Ｒ０となる特徴点Ｐｉのデータは、近似的にＲｉ／Ｒｏの逆数となる相対的に小さな重みがかかることになり、評価関数Ｅにおける最小二乗法の解に与える影響を小さく抑えることができる。一方、Ｒｉ<<Ｒ０となる特徴点Ｐｉのデータに対しては、重みが１−０．５(Ｒｉ／Ｒｏ)^２で漸近近似され、Ｒｉ／Ｒｏがゼロに近づくほど１を上限として大きな重みがかかることになる。このように、誤差の極めて小さい特徴点Ｐｉのデータは、通常の重みのない最小二乗法の解法と（近似的に）同等の扱われ方をされる。

なお、定数Ｒｏがあまりに小さければ解が統計的に安定でなくなり、あまりに大きければ解がノイズの影響を受けやすくなる。よって、定数Ｒｏはあらかじめ、使用環境に近い環境で実験をして適切な値に定められる。

このように、数式５に従って重み係数Ｗｉを算出することにより、誤差の大きい特徴点Ｐｉのデータほど重みが小さくなり、逆に、誤差が小さい特徴点Ｐｉのデータほど、１を上限として重みが大きくなるように、重み係数Ｗｉを定めることができる。従って、各特徴点Ｐｉの誤差の大きさに適切に対応した重み係数Ｗｉを算出することができる。

さらに、上述した重み係数Ｗｉを用いることにより、ＦＯＥ座標Ｆから各特徴点Ｐｉまでの距離差の影響が、評価関数Ｅに反映されることを抑制することができる。つまり、評価関数Ｅを算出する際の、オプティカルフローＶｉと、ＦＯＥ座標Ｆから特徴点Ｐｉへ向かう線分（Ｐｉ−Ｆ）との外積値は、それらがなす角度θｉのみによらず、オプティカルフローＶｉの長さや、ＦＯＥ座標Ｆから特徴点Ｐｉへ向かう線分（Ｐｉ−Ｆ）の長さの影響を受ける。オプティカルフローＶｉの長さや、ＦＯＥ座標Ｆから特徴点Ｐｉへ向かう線分（Ｐｉ−Ｆ）の長さは、各特徴点とＦＯＥ座標Ｆとの距離などによって相違する。

本実施形態では、重み係数Ｗｉの初期値を、オプティカルフローＶｉと、過去に算出されたＦＯＥ座標Ｆｐｒｅｖから特徴点Ｐｉへ向かう線分（Ｐｉ−Ｆ）との外積値Ｒｉを含む項の逆数としている。このため、重み係数Ｗｉの初期値は、オプティカルフローＶｉや線分（Ｐｉ−Ｆ）の変化に応じて、その変化を相殺するように変化する。これにより、誤差の総和を評価する評価関数Ｅを算出する際に、各特徴点ＰｉとＦＯＥ座標Ｆとの距離差の影響を低減することができる。

そして、下記の数式６に示すように、ＦＯＥ座標Ｆの算出と、重み係数Ｗｉの更新を繰り返し実行する。

つまり、重み係数Ｗｉの初期値を用いて評価関数Ｅが最小となるＦＯＥ座標Ｆ^（ｔ）が求められたら、外積値Ｒｉにおける過去に算出されたＦＯＥ座標Ｆｐｒｅｖを、求めたＦＯＥ座標Ｆ^（ｔ）で置換することにより、各特徴点Ｐｉに関しての外積値Ｒｉを更新する（Ｒｉ^（ｔ）→Ｒｉ^{（ｔ＋１）}）。そして、更新した外積値Ｒｉ^{（ｔ＋１）}を用いて、重み係数Ｗｉを更新する（Ｗｉ^(ｔ)→Ｗｉ^{（ｔ+１）}）。さらに、更新した重み係数Ｗｉ^{（ｔ+１）}を用いて評価関数Ｅが最小となるＦＯＥ座標Ｆ^{（ｔ+１）}を求める。このような手順を、ＦＯＥ座標Ｆの変動が所定範囲に収まるようになるまで繰り返す。これにより、ＦＯＥ座標Ｆの位置をより高い精度で求めることができる。

図５に、上述した手法により求めたＦＯＥ座標Ｆの精度を、全く重みを用いないでＦＯＥ座標を求めた場合と対比して示す。なお、図５に示すグラフでは、重みのみ変更しただけで、ＦＯＥ座標を求める手法は本実施形態の手法と同じにしている。すなわち、図５は、重みありの場合となしの場合とでそれぞれＦＯＥ座標を求めたシミュレーション結果であり、ＦＯＥ座標Ｆの真値は分かっている。シミュレーションにおいては、特徴点Ｐｉのオプティカルフローに、ランダムに生成された誤差を付加したシミュレーションデータを用意し、それぞれ、最小二乗法によりＦＯＥ座標Ｆの位置を求めた。このシミュレーションによる試行は２０回繰り返し、重みありの場合となしの場合における、ＦＯＥの計算値と真値とのずれの平均も算出した。なお、重み係数Ｗｉを用いた計算では、重み係数Ｗｉの更新は５回行った。

図５に示すように、本実施形態による手法で求めたＦＯＥ座標と真値とのずれの平均は、重み係数Ｗｉを用いない場合よりも小さくなっており、本実施形態により、真値に近いＦＯＥ座標を求めることができることが分かる。

以上のようにして、ＦＯＥ算出部４７によってＦＯＥ座標Ｆが算出されると、そのＦＯＥ座標Ｆが、図２に示す判定部４８に与えられる。判定部４８は、θ算出部４９、θ判定部５０、静止点候補判定部５１、及び移動点候補判定部５２と、を有する。

θ算出部４９は、第１〜第３オプティカルフロー算出部４４〜４６によってそれぞれ算出されオプティカルフローＶｉと、ＦＯＥ算出部４７によって算出されたＦＯＥ座標Ｆから各特徴点Ｐｉを結んだ線分とのなす角度θを、次の数式７に従って、各特徴点ごとに算出する。

θ判定部５０は、θ算出部４９によって各特徴点ごとに算出された角度θを、所定の基準角度θｔｈと比較する。そして、角度θが所定の基準角度θｔｈ以下である場合には、その特徴点のデータを静止点候補判定部５１に与える。一方、角度θが所定の基準角度θｔｈより大きい場合には、その特徴点のデータを移動点候補判定部５２に与える。なお、θ判定部５０は、静止点候補の判定と移動点候補の判定とに用いる基準角度を異ならせても良い。この場合、静止点候補判定基準角度は、移動点候補判定基準角度よりも小さく設定される。そして、静止点候補判定基準角度と移動点候補判定基準角度との間の角度を有する特徴点については、いずれかの基準角度を越えるまで、静止点か移動点かの判断が保留される。この判断が保留された特徴点のオプティカルフローは、別途設ける第４のオプティカルフロー算出部において算出される。

このように本実施形態では、図３に示すように、ＦＯＥ座標Ｆから特徴点Ｐｉの座標へ向かう線分と、当該特徴点ＰｉのオプティカルフローＶｉとがなす角度θが所定の基準角度θｔｈよりも大きいか否かによって、特徴点が移動点であるか静止点であるかを判定することができる。これは、本実施形態により、高精度なＦＯＥ座標Ｆを求めることができるためである。

なお、従来、移動点と静止点とを分離するために、ＲＡＮＳＡＣ法や、クラスタリング法などの処理手法を用いることが知られているが、それらの手法は、通常、演算量が膨大となる。それに対して、本実施形態では、最小二乗法を数回程度繰り返すことで、高精度なＦＯＥ座標Ｆを求めることができ、そのような高精度なＦＯＥ座標Ｆを利用することで、移動点と静止点との分離は、単なる角度の判定処理のみで足りる。従って、従来の手法に比較して少ない演算量で、ノイズに対して頑健なＦＯＥ座標Ｆの算出と、移動点、静止点の分離が可能となる。

静止点候補判定部５１は、θ判定部５０から与えられた特徴点を静止点候補として判定し、移動点候補判定部５２は、θ判定部５０から与えられた特徴点を移動点候補として判定する。そして、静止点候補判定部５１は、静止点候補として判定した特徴点のデータを座標更新部５３に与え、移動点候補判定部５２は、移動点候補として判定した特徴点のデータを座標更新部５４に与える。

座標更新部５３，５４は、与えられた特徴点のデータに含まれる各々のオプティカルフローＶｉを用いて、静止点候補及び移動点候補の座標を更新する。そして、更新した座標を近傍点削除部４３に与える。これにより、近傍点削除部４３は、上述したように、コーナー点抽出部４２が抽出したエッジや物体の角などの特徴点の中で、既に抽出されている特徴点の座標近傍に存在する特徴点を削除することができる。

さらに、座標更新部５３は、座標を更新した静止点候補となる特徴点のデータを、次フレームの画像が画像メモリ４０に保存されたときに、静止点候補の特徴点のオプティカルフローＶｉを算出する第２オプティカルフロー算出部４５に与える。また、座標更新部５４は、座標を更新した移動点候補となる特徴点のデータを、第３オプティカルフロー算出部４６に与える。

次に、図２に基づき、画像処理ＥＣＵ２０において実行される機能ブロックの経時的な変化に関して説明する。

図２では、時刻Ｔ１のタイミングで画像メモリ４０ａに最初の第１フレームの画像が保存されたことを前提としている。この時点では、画像処理ＥＣＵ２０では、一枚分の画像データしか得ていない。このため、特徴点算出部４１ａ以外の機能を実行することができない。特徴点算出部４１ａは、画像の特徴点を算出するものであるため、画像が画像メモリ４０ａに保存された時点で実行される。従って、画像処理ＥＣＵ２０は、次フレームの画像が画像メモリ４０ｂに保存されるまで、特徴点算出部４１ａ以外の機能を実行することなく待機する。

時刻Ｔ２のタイミングで、第２フレームの画像が画像メモリ４０ｂに保存されると、その画像が第１オプティカルフロー算出部４４ｂに与えられる。これにより、第１オプティカルフロー算出部４４は、２枚分の画像を得て、特徴点の動きベクトルであるオプティカルフローＶｉを算出可能となる。ただし、この時点においても、特徴点に関して静止点判定及び移動点判定は行なわれていないので、第２及び第３オプティカルフロー算出部４５ｂ、４６ｂにてオプティカルフローＶｉの算出は行なわれない。

また、第２オプティカルフロー算出部４５ｂにて静止点のオプティカルフローが算出されていないので、ＦＯＥ算出部４７ｂは、第１オプティカル算出部４４ｂが算出したオプティカルフローに基づいて、ＦＯＥ座標Ｆを算出する。

時刻Ｔ３のタイミングで、さらに第３フレームの画像が画像メモリ４０ｃに保存されると、その画像が、第１〜第３オプティカルフロー算出部４４ｃ〜４６ｃに与えられる。この時点では、時刻Ｔ１と時刻Ｔ２とで取得された２枚分の画像から抽出された特徴点について、静止点判定、あるいは移動点判定がなされているためである。そして、これ以後は、新たな画像が画像メモリ４０に保存されるごとに、時刻Ｔ３のケースと同様に、第１〜第３オプティカルフロー算出部４４〜４６にて、それぞれ新規の特徴点、静止点候補、及び移動点候補のオプティカルフローが算出される。

以上、本発明の好ましい実施形態について説明したが、本発明は、上述した実施形態になんら制限されることなく、本発明の主旨を逸脱しない範囲において、種々の変形が可能である。

例えば、上述した実施形態では、ＦＯＥ座標Ｆから特徴点Ｐｉの座標へ向かう線分（Ｐｉ−Ｆ）と、当該特徴点のオプティカルフローＶｉとがなす角度θｉと所定の基準角度θｔｈとの１回の比較結果に応じて、特徴点Ｐｉが静止点候補、あるいは移動点候補であるかを判定した。

しかしながら、ＦＯＥ算出部４７によってＦＯＥ座標Ｆが算出されるごとに、ＦＯＥ座標Ｆから特徴点Ｐｉへ向かう線分（Ｐｉ−Ｆ）と、当該特徴点のオプティカルフローＶｉとがなす角度θｉと基準角度θｔｈとの比較を行い、その角度θｉが基準角度θｔｈ以下との判定が複数回連続して成立した場合に、その特徴点Ｐｉを静止点と判定したり、その角度θｉが基準角度θｔｈより大きいとの判定が複数回連続して成立した場合に、その特徴点Ｐｉを移動点と判定したりしても良い。これにより、静止点及び移動点に関する判定精度を高めることができる。

また、ＦＯＥ算出部４７は、新たなフレームの画像が画像メモリ４０に保存されるごとに、ＦＯＥ座標Ｆを算出するが、今回算出されたＦＯＥ座標Ｆと過去に算出された１つ以上のＦＯＥ座標Ｆとを所定の重みづけで平均処理して、最終的なＦＯＥ座標を求めても良い。これにより、ＦＯＥ座標の位置の変動を抑えて、安定化されたＦＯＥ座標位置を求めることができる。

また、上述した実施形態では、オプティカルフローＶｉと、ＦＯＥ座標Ｆから特徴点座標Ｐｉへ向かう線分（Ｐｉ−Ｆ）との外積を用いて、評価関数Ｅを定義した。しかしながら、オプティカルフローＶｉとＦＯＥ座標Ｆから特徴点座標Ｐｉへ向かう線分（Ｐｉ−Ｆ）とのなす角度θｉを誤差として、その誤差を評価できるものであれば、評価関数として採用することができる。

さらに、上述した実施形態では、数式５に従って重み係数Ｗｉを算出したが、重み係数Ｗｉの算出式は、これに限られない。例えば、重み係数Ｗｉの算出式を、下記の数式８に示すように、より簡略化しても良い。

数式８によれば、重み係数Ｗｉの初期値が、オプティカルフローＶｉと、過去に算出された拡張焦点Ｆｐｒｅｖから特徴点Ｐｉへ向かう線分（Ｐｉ−Ｆｐｒｅｖ）との外積の逆数として定められる。そして、数式５の場合と同様に、重み係数Ｗｉの初期値を用いて評価関数Ｅが最小となる拡張焦点Ｆが求められたら、数式８の重み係数Ｗｉにおける過去に算出された拡張焦点Ｆｐｒｅｖを、求めた拡張焦点Ｆで置換することにより、各特徴点Ｐｉの重み係数Ｗｉを更新する。さらに、更新した重み係数Ｗｉを用いて評価関数Ｅが最小となるＦＯＥ座標Ｆを求めるとの手順を、ＦＯＥ座標Ｆの変動が所定範囲に収まるようになるまで繰り返す。

上記の数式３に従って重み係数Ｗｉを算出した場合も、オプティカルフローＶｉと、ＦＯＥ座標Ｆから特徴点座標Ｐｉへ向かう線分（Ｐｉ−Ｆ）との角度が大きく、従って誤差が大きい特徴点のデータほど、重みが小さくなるように、重み係数Ｗｉを定めることができる。さらに、数式８に従って算出される重み係数Ｗｉを用いた場合も、ＦＯＥ座標Ｆから各特徴点Ｐｉまでの距離差の影響が、評価関数Ｅに反映されることを抑制することができる。

ただし、オプティカルフローＶｉと、ＦＯＥ座標Ｆから特徴点座標Ｐｉへ向かう線分（Ｐｉ−Ｆ）との角度（誤差）が極めて小さくなったとき、数式８によって算出される重み係数Ｗｉは極大化することになる。重み係数Ｗｉが極大化すると、求めるべきＦＯＥ座標が不安定化しやすいとのデメリットが生じる。

このため、数式８に従って重み係数Ｗｉを算出する場合、重み係数Ｗｉが、所定の上限値以上の大きさとなったとき、その上限値を重み係数Ｗｉとして用いることが好ましい。これにより、誤差が極めて小さくなったとき、重み係数Ｗｉが過剰に大きくなることを防止することができる。ただし、この場合、上限値に対応する誤差よりも小さい誤差を持つ特徴点の重み係数Ｗｉは、すべて上限値に統一されてしまうので、数式５に従って重み係数Ｗｉを算出した場合に比較して、ＦＯＥ座標Ｆの精度が若干低下する。

さらに、重み係数Ｗｉの算出式として、数式５や数式８に示すような外積を用いずに、さらに簡略化することもできる。例えば、下記の数式９に従って、重み係数Ｗｉを算出するようにしても良い。

この場合にも、誤差としての、オプティカルフローＶｉと、ＦＯＥ座標Ｆから特徴点座標Ｐｉへ向かう線分（Ｐｉ−Ｆ）との角度θｉが大きくなるほど、小さくなるように重み係数Ｗｉを算出することができる。

１０ ビデオカメラ、２０ 画像処理ＥＣＵ、４０ 画像メモリ、４１ 特徴点算出部、４４ 第１オプティカルフロー算出部、４５ 第２オプティカルフロー算出部、４６ 第３オプティカルフロー算出部、４７ ＦＯＥ算出部、４８ 判定部、５３，５４ 座標更新部、１００ 画像処理装置

Claims (11)

1. 移動体に搭載され、定期的に画像を撮像して出力する画像出力手段と、
   前記画像出力手段により撮像された画像における、特徴点を複数抽出する特徴点抽出部と、
   前記画像出力手段から時系列に出力された複数の画像における、同一特徴点の変化から、複数の特徴点のオプティカルフローをそれぞれ算出するオプティカルフロー算出部と、
   前記オプティカルフロー算出部によって算出された複数のオプティカルフローを延長した交点である拡張焦点を算出する拡張焦点算出部と、
   前記拡張焦点算出部によって算出された拡張焦点を用いて、前記特徴点が移動点であるか静止点であるかを判定する判定部と、を備え、
   前記拡張焦点算出部は、複数の特徴点に関して、拡張焦点から特徴点の座標へ向かう線分と、当該特徴点のオプティカルフローとがなす角度を誤差として、各特徴点の誤差の総和を評価する評価関数を算出し、当該評価関数を用いて、前記誤差の総和が小さくなるように拡張焦点を定めるものであり、各特徴点の誤差から前記評価関数を算出する際に、拡張焦点から特徴点の座標へ向かう線分とその特徴点のオプティカルフローとがなす角度が大きくなるほど、前記評価関数に対する当該特徴点の誤差の影響度合を低減する重み係数を用いることを特徴とする画像処理装置。
2. 前記拡張焦点算出部は、前記判定部によって各特徴点が移動点であるか静止点であるかを判定されている場合、静止点と判定された特徴点のみを用いて、各特徴点の誤差の総和を評価する評価関数を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記拡張焦点算出部は、以下の数式１によって表される評価関数Ｅを用い、この評価関数Ｅが最小となる拡張焦点Ｆを最小二乗法により求めることを特徴とする請求項１または請求項２に記載の画像処理装置。
   

   
4. 前記拡張焦点算出部は、各特徴点の重み係数Ｗｉの初期値を、過去に算出された拡張焦点Ｆｐｒｅｖを用いて算出される外積値Ｒｉを利用して、以下の数式２のように定め、重み係数Ｗｉの初期値を用いて評価関数Ｅが最小となる拡張焦点Ｆが求められたら、外積値Ｒｉにおける過去に算出された拡張焦点Ｆｐｒｅｖを、求めた拡張焦点Ｆで置換することにより、各特徴点の外積値Ｒｉ及び重み係数Ｗｉを更新し、更新した重み係数Ｗｉを用いて評価関数Ｅが最小となる拡張焦点Ｆを求めるとの手順を繰り返すことで、拡張焦点Ｆの変動が所定範囲に収まるようになると、そのときの拡張焦点Ｆを今回の拡張焦点Ｆと定めることを特徴とする請求項３に記載の画像処理装置。
   

   
5. 前記拡張焦点算出部は、各特徴点の重み係数Ｗｉの初期値を、過去に算出された拡張焦点Ｆｐｒｅｖを用いて以下の数式３のように定め、重み係数Ｗｉの初期値を用いて前記評価関数Ｅが最小となる拡張焦点Ｆが求められたら、重み係数Ｗｉにおける過去に算出された拡張焦点Ｆｐｒｅｖを、求めた拡張焦点Ｆで置換することにより、各特徴点の重み係数Ｗｉを更新し、更新した重み係数Ｗｉを用いて前記評価関数Ｅが最小となる拡張焦点Ｆを求めるとの手順を繰り返すことで、拡張焦点Ｆの変動が所定範囲に収まるようになると、そのときの拡張焦点を今回の拡張焦点と定めることを特徴とする請求項３に記載の画像処理装置。
   

   
6. 前記重み係数Ｗｉが、所定の上限値以上の大きさとなったとき、その上限値を重み係数Ｗｉとして用いることを特徴とする請求項５に記載の画像処理装置。
7. 前記判定部は、前記拡張焦点から特徴点の座標へ向かう線分と、当該特徴点のオプティカルフローとがなす角度が第１判定角度以下である場合に、その特徴点を静止点であると判定することを特徴とする請求項１乃至請求項６のいずれか記載の画像処理装置。
8. 前記判定部は、前記拡張焦点算出部によって拡張焦点が算出されるごとに、前記拡張焦点から特徴点の座標へ向かう線分と、当該特徴点のオプティカルフローとがなす角度と前記第１判定角度との比較を行い、前記角度が前記第１判定角度以下との判定が複数回連続して成立した場合に、その特徴点を静止点と判定することを特徴とする請求項７に記載の画像処理装置。
9. 前記判定部は、前記拡張焦点から特徴点の座標へ向かう線分と、当該特徴点のオプティカルフローとがなす角度が第２判定角度より大きい場合に、その特徴点を移動点であると判定することを特徴とする請求項１乃至請求項６のいずれかに記載の画像処理装置。
10. 前記判定部は、前記拡張焦点算出部によって拡張焦点が算出されるごとに、前記拡張焦点から特徴点の座標へ向かう線分と、当該特徴点のオプティカルフローとがなす角度と前記第２判定角度との比較を行い、前記角度が前記第２判定角度より大きいとの判定が複数回連続して成立した場合に、その特徴点を移動点と判定することを特徴とする請求項９に記載の画像処理装置。
11. 前記拡張焦点算出部は、今回算出された拡張焦点と過去に算出された拡張焦点とを平均処理して、最終的な拡張焦点を求めることを特徴とする請求項１乃至請求項１０のいずれかに記載の画像処理装置。

Images