JP2020013562A - ビジュアルオドメトリ方法、装置及びコンピュータ読み取り可能な記憶媒体 - Google Patents

Abstract

【課題】本発明はビジュアルオドメトリ方法、装置、コンピュータ読み取り可能な記憶媒体を提供する。【解決手段】ビジュアルオドメトリ方法は、撮像装置により撮像された立体映像におけるフレーム画像を用いて、当該フレーム画像の特徴点及び対応する視差マップを取得し、視差マップに基づいてU視差マップとV視差マップを算出し、U視差マップとV視差マップに基づいて、第１の移動対象領域を特定し、特定された第１の移動対象領域に基づいて、第1の移動対象領域内の特徴点をフレーム画像の特徴点から除去し、フレーム画像に残った特徴点を用いて位置姿勢の推定を行う。【選択図】図１

Description

本発明は画像処理の分野に属し、特にビジュアルオドメトリ方法、装置及びコンピュータ読み取り可能な記憶媒体に関する。

ビジュアルオドメトリ（ｖｉｓｕａｌ ｏｄｏｍｅｔｒｙ）方法は、ロボットやカーナビゲーションの分野、例えばスマート自動車や無人機などに広く適用されている。この方法は、運動の距離や方向を視覚情報に基づいて計算することにより、従来の走行距離算出方法における車輪のスリップによる車輪走行距離方式の測定の誤差を回避し、測定精度を向上させることができる。

現在一般に使用されているビジュアルオドメトリ方法では、取得された画像内の全ての特徴点について、位置姿勢推定のために検出、マッチングを行う場合が多い。しかしながら、実際の場合に、位置姿勢推定の対象に対して相対運動が発生すると、特徴点のマッチングエラーや位置姿勢推定ミスの問題が生じる。

このため、正確なビジュアルオドメトリ方法が求められている。

上記問題を解決するために、本発明の１つの態様では、撮像装置により撮像された立体映像におけるフレーム画像を用いて、当該フレーム画像の特徴点及び対応する視差マップを取得するステップと、前記視差マップに基づいてU視差マップとV視差マップを算出するステップと、前記U視差マップと前記V視差マップに基づいて、第１の移動対象領域を特定するステップと、特定された第１の移動対象領域に基づいて、前記第１の移動対象領域内の特徴点を、前記フレーム画像の特徴点から除去するステップと、前記フレーム画像に残った特徴点を用いて位置姿勢の推定を行うステップと、を含むビジュアルオドメトリ方法を提供する。

また、本発明のもう１つの態様では、撮像装置により撮像された立体映像におけるフレーム画像を用いて、当該フレーム画像の特徴点及び対応する視差マップを取得する取得手段と、前記視差マップに基づいてU視差マップとV視差マップを算出する視差算出手段と、前記U視差マップと前記V視差マップに基づいて、第１の移動対象領域を特定する第１の移動対象領域特定手段と、特定された第１の移動対象領域に基づいて、前記第１の移動対象領域内の特徴点を、前記フレーム画像の特徴点から除去する特徴点除去手段と、前記フレーム画像に残った特徴点を用いて位置姿勢の推定を行う位置姿勢推定手段と、を含むビジュアルオドメトリ装置を提供する。

更に、本発明のもう１つの態様では、プロセッサと、コンピュータプログラム指令が記憶されるメモリを含むビジュアルオドメトリ装置であって、前記プロセッサが前記コンピュータプログラム指令を実行することにより、撮像装置により撮像された立体映像におけるフレーム画像を用いて、当該フレーム画像の特徴点及び対応する視差マップを取得し、前記視差マップに基づいてU視差マップとV視差マップを算出し、前記U視差マップと前記V視差マップに基づいて、第１の移動対象領域を特定し、特定された第１の移動対象領域に基づいて、前記第１の移動対象領域内の特徴点を、前記フレーム画像の特徴点から除去し、前記フレーム画像に残った特徴点を用いて位置姿勢の推定を行うステップが実現されるビジュアルオドメトリ装置を提供する。

最後に、本発明のもう１つの態様では、コンピュータプログラム指令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム指令がプロセッサに実行されることにより、撮像装置により撮像された立体映像におけるフレーム画像を用いて、当該フレーム画像の特徴点及び対応する視差マップを取得し、前記視差マップに基づいてU視差マップとV視差マップを算出し、前記U視差マップと前記V視差マップに基づいて、第１の移動対象領域を特定し、特定された第１の移動対象領域に基づいて、前記第１の移動対象領域内の特徴点を、前記フレーム画像の特徴点から除去し、前記フレーム画像に残った特徴点を用いて位置姿勢の推定を行うステップが実現される記憶媒体を提供する。

上記した本発明のビジュアルオドメトリ方法、装置、コンピュータ読み取り可能な記憶媒体によれば、撮像されるフレーム画像中の視差マップに基づいて第1の移動対象領域を特定し、特定される第1の移動対象領域に基づいて、前記フレーム画像の特徴点から前記第1の移動対象領域上の特徴点を除去して位置姿勢推定を行う。これにより、本発明のビジュアルオドメトリ方法、装置、コンピュータ読み取り可能な記憶媒体により行われる位置姿勢推定は、撮像されるフレーム画像から特定の位置上の特徴点を除去することにより、位置姿勢推定の精度が向上し、正確且つ安定なビジュアルオドメトリが実現される。

本発明の上記及び他の目的、特徴、利点は、以下に添付する図面を用いて実施例を詳細に説明することにより明らかになる。
本発明の一実施形態にかかるビジュアルオドメトリ方法のフローチャートを示す図である。 本発明の一実施形態にかかるU視差マップ、V視差マップ、及びこれらに対応する奥行きマップを示す図である。 本発明の一実施形態に係るエッジ特徴点の比較および更新例を示す図である。 本発明の一実施形態に係るフレーム画像上の第1の移動対象領域における特徴点の概略図である。 本発明の一実施形態に係るビジュアルオドメトリ装置の構成を示すブロック図である。 本発明の一実施形態に係るビジュアルオドメトリ装置の構成を示すブロック図を示す。

以下、図面を参照して、本発明の実施形態に係るビジュアルオドメトリ方法、装置及びコンピュータ読み取り可能な記録媒体について説明する。図面において、同一の記号は同一の要素を示す。以下に記載される実施形態は単に例示であり、本発明の範囲を限定するではない。

まず、図1を参照して、本発明の実施形態に係るビジュアルオドメトリ方法100について説明する。図1はビジュアルオドメトリ方法100のフローチャートを示す。

図1に示すように、ステップS101では、撮像装置により撮像される立体映像におけるフレーム画像を用いて、当該フレーム画像の特徴点及び対応する視差マップを取得する。

本ステップでは、立体映像を撮像する撮像装置を介して立体映像におけるフレーム画像を取得する。

フレーム画像が取得されると、フレーム画像の特徴点を得るために、フレーム画像に対して特徴点検出を行う。特徴点の検出方式は、一例では、例えばSIFT特性、SURF特徴、Harrisコーナーなど様々な特徴点検出方法を含む。特徴点が検出されると、検出された特徴点について記述を行う。記述方法としては、例えばグレースケール特徴、勾配特徴、視差情報などの特徴を記述する様々な方法を含む。

また、立体映像を撮像した後に、立体映像におけるフレーム画像に対応する視差マップを取得する。視差マップ（disparity map）は、任意の画像を基準画像として、サイズがその基準画像のサイズに準じ、視差値を要素値とする画像である。視差マップはシーンの距離情報を含む。視差マップは、立体映像における一フレームの左画像と右画像とを同時に用いて計算して得られる。

ステップS102では、視差マップに基づいてU視差マップとV視差マップを生成する。

本ステップにおいて、U視差マップは視差マップの上面図とみなし、V視差マップは視差マップの側面図とみなしてよい。U視差マップおよびV視差マップは視差マップから算出される。具体的には、一般的な2次元視差マップにおいて点を(u,v,d)で表す。ここで、uは横座標であり、vは縦座標であり、dはu,vで定義される点の視差を表す。すると、U視差マップにおける任意の点(u,d)のグレースケール値は、視差マップの横座標がuである列において視差値がdである点の数に対応する。U視差マップにおけるUは、(u,v)画像座標系における水平座標uに対応する。視差マップにおける点(u,v,d)に対しては、U視差マップにおいて、点(u,d)に投影される。同様に、V視差マップにおける任意の点(d,v)のグレースケール値は、視差マップにおいて縦座標がvである行において視差値がdである点の数に対応する。V視差マップにおけるVは、(u,v)画像座標系における縦座標vに対応する。視差マップにおける点(u,v,d)に対して、V視差マップにおいて点(v,d)に投影される。

ステップS103では、U視差マップとV視差マップに基づいて第1の移動対象領域を特定する。

実際には、予め立体映像におけるフレーム画像のすべての特徴点の位置姿勢を算出した結果を初歩的な判定を行うことにより、U視差マップ及びV視差マップに基づいて第1の移動対象領域を確定する必要があるか否かを判定する。具体的には、フレーム画像の特徴点と、該フレーム画像に隣接するフレーム画像又は該フレーム画像から少なくとも１つのフレームを隔てたフレーム画像の特徴点とを用いて姿勢推定を行い；姿勢推定の結果を、撮像装置を搭載する第2の移動対象(例えば、撮像装置を搭載する車両)の移動情報(例えば、速度、yawrate（ヨーレート）等)と比較し；比較の結果が所定の推定閾値を超える場合に、U視差マップ及びV視差マップに基づいて第1の移動対象領域を形成する必要があると確定する。本例では、具体的な姿勢推定の方法は、フレーム画像の特徴点と、そのフレーム画像に隣接するフレーム画像又はそのフレーム画像から少なくとも１つのフレームを隔てたフレーム画像の特徴点とにより形成される特徴点マッチングペア（マッチング対）に基づいて、移動推定行列を算出して、第2の移動対象の回転と変位を算出する。ここで使用される移動推定行列は、回転行列Rと変位行列Tとを含む。移動推定方法は、四元数、RANSACの移動推定方法に基づいてもよく、一般的に使用される他の様々な移動推定方法であってもよい。また、上記フレーム画像の特徴点と、そのフレーム画像に隣接するフレーム画像又はそのフレーム画像から少なくとも１つのフレームを隔てたフレーム画像の特徴点とを用いた位置姿勢推定の方法は一例であり、例えば、実際においては、本発明の実施例にかかる位置姿勢推定方法は、フレーム画像と該フレーム画像に隣接するフレーム画像とを用いて位置姿勢推定を行ってもよく、フレーム画像と、そのフレーム画像から1以上のフレームの間隔を隔てたフレーム画像を用いても良い。間隔としてのフレーム数は特に限定されない。

フレーム画像におけるすべての特徴点に基づいて行われた第2の移動対象の位置姿勢推定結果と、例えばセンサ/オドメータにより取得される第2の移動対象の移動情報とを比較した結果として、差が大きいことは、フレーム画像において第2の移動対象に対して相対的な速度が大きい物体(即ち第1の移動対象)の特徴点が存在することを意味する。これらの特徴点を用いて特徴点マッチングを行い、第2の移動対象に対して位置姿勢推定を行うことにより、第2の移動対象の位置姿勢推定の結果に大きな偏差を生じさせ、結果的に精度が悪くなる。例えば、フレーム画像の特徴点マッチングペアを用いて第2の移動対象の位置姿勢推定を行う時に、通常、画像内に存在する他の基準対象(例えば、道路、樹木など)が静止することをデフォルトとするが、実際の場合には、第2の移動対象の隣または対向する側に移動車両などは静止せず、第2の移動対象に対して相対速度が大きい場合がある。このため、推定を行う際に、相対速度の大きい車両などを含む特徴点が十分な数だけ採用された場合には、実際の位置姿勢推定結果が大きく影響される。これを鑑みて、本発明の実施形態では、このような第1の移動対象領域の特徴点をフレーム画像の特徴点から除去することにより、第2の移動対象の位置姿勢推定が精度良く行われる。

具体的には、本発明の一実施形態によれば、前記U視差マップ及びV視差マップにおいて検出された物体の幅、高さ、アスペクト比のうち少なくとも一つに基づいて、前記物体が位置する領域が第1の移動対象領域であるか否かを判定する。一例では、第1の移動対象は第2の移動対象の近傍で移動する車両とする。この場合には、予め取得された車両サイズに対応するU視差マップ及びV視差マップにおける幅、高さ、高さ比のうちの少なくとも一つを用いて、当該物体が車両であるか否かを判定する。判定の結果として、車両である場合には、その物体が位置する領域が第1の移動対象領域であることを確定する。また、例えば、前記フレーム画像に対応する視差マップ及び/又は対応する奥行きマップに基づいて、奥行き情報とともに前記物体の幅及び/又は高さの真正値を判定し、より正確に物体の属性、即ち、第1の移動物体であるか否かを判定してもよい。さらに別の例として、フレーム画像及び/又はそれに対応する視差マップ(又はU視差マップ、V視差マップ等を更に含む)に基づいてフレーム画像内の道路領域を識別し、物体と道路領域の相対的な位置関係に基づいて物体の属性を特定する。好ましくは、物体が道路領域内にある場合、またはさらに幅、高さ、および/またはアスペクト比が一定の値を満たす場合に、物体が第1の移動対象であると判断し、物体が道路領域の外側にある場合、物体が第1の移動対象ではないと判断する。一例では、U視差マップの列毎に所定のグレースケール値を有する画素点を選択して線分に適合し、物体の幅を取得する。同様に、V視差マップの行毎に、所定のグレースケール値を有する画素点を選択して線分に適合し、物体の高さを取得する。前記取得された物体の幅と高さとの比は、アスペクト比とする。実際には、前記の特定グレースケール値は閾値よりも小さいグレースケール値である。

一例では、前記フレーム画像に、前記V視差マップにおいて遮られる被遮蔽物を有するか否かを、前記U視差マップに基づいて判定し；前記フレーム画像に前記被遮蔽物がある場合に、当該被遮蔽物の幅、高さ、アスペクト比のうちの少なくとも一つに基づいて、該被遮蔽物が位置する領域が第1の移動対象領域であるか否かを判定する。図2に本発明の一実施形態に係るU視差マップ、V視差マップ、および対応する奥行きマップを示す。図2に示すように、U視差マップおよびV視差マップにおいて1と2はそれぞれ一つの物体を表す。V視差マップにおいては、物体1は高さにおいて完全に物体2によって遮られている。このため、物体1の存在は、V視差マップ上では知られていない。一方、U視差マップにおいては、画像に独立する２つの物体の存在が明らかである。これにより、前記フレーム画像にV視差マップ上で遮られる被遮蔽物を有するかどうかを、U視差マップから判定される。被遮蔽物が存在すると判断される場合に、例えばU視差マップから前記被遮蔽物の幅と正確な位置が得られる。その後、前記奥行きマップ(又は視差マップ)において同一の領域で繰り返し探索することにより、前記被遮蔽物の高さが得られる。物体の幅および高さを得た後、これまでの方法(例えば幅、高さ、および/またはアスペクト比、若しくは奥行き情報、道路領域などの要素)を用いて、前記被遮蔽物の属性をさらに判定することができる。

また、好ましくは、得された第1の移動対象領域を最適化する。具体的には、第1の移動対象領域のエッジにある一つ以上のエッジ特徴点と、第1の移動対象領域上で当該エッジ特徴点に隣接する一つ以上の特徴点に対して、グレースケール値及び/又は奥行き値の比較を行い；比較の結果が所定の比較閾値を満足する場合に、比較された前記エッジ特徴点に隣接する特徴点を新しいエッジ特徴点として更新し、更新されたエッジ特徴点に基づいて第1の移動対象領域を最適化する。図3は、本発明の一実施形態に係るエッジ特徴点の比較および更新の一例を示す図である。図3において2箇所の矢印交差は、それぞれ2のエッジ特徴点の位置を示している。これら2箇所のエッジ特徴点をそれぞれ第1の移動対象領域上で隣接する淡色の特徴点とグレースケール値について比較し、比較結果としてグレースケールの変化が小さい場合には、比較された淡色の特徴点を新たなエッジ特徴点に更新し、新たなエッジ特徴点により限定される領域を第1の移動対象の領域とする。上記の例では、比較結果が満たす所定の比較閾値は、グレースケール値または奥行き値について予め設定された範囲であってよく、例えば、比較結果のグレースケール値の差が30未満または50未満であってよい。更に、新たなエッジ特徴点に対して同様の比較操作を行い、比較結果に応じて第1の移動対象領域を続けて更新する。例えば、矢印方向に示す淡色の特徴点に対して再び同様の比較操作を行い、図3の下部の黒色領域までに繰り返して更新を行う。そして、ここで上述した所定のグレースケール値の比較閾値が満たされないと判断されると、最終的に黒色領域を第1の移動対象領域として、これ以上に更新を止める。第1の移動物体領域が決定されると、第1の移動対象領域内の特徴点を除去することにより、後続のステップで位置姿勢推定精度が向上する。図4は、本発明の一実施形態に係るフレーム画像における第1の移動対象領域内の特徴点を示す図である。図4に示すように、高速に移動する車両が位置するこの第1の移動対象領域において複数の特徴点が配置されている。ここで、エッジ特徴点の比較は、例えば、第1の動体領域の右上から開始し、領域中心、即ち車両が位置する場所へ移動するようにエッジ特徴点を逐一に更新していく。更新は、更新されたエッジ特徴点が図4に示す車両の境界線に近づいて、比較結果は所定の比較閾値を満たさないまで行う。この場合、第1の移動対象領域を車両エッジ領域内に最終的に確定することにより、より正確な第1の移動対象領域の検出結果が得られる。なお、上述したエッジ特徴点とそれに隣接する特徴点との比較の方法は一例である。実際には、エッジ特徴点とその周囲一定範囲内の特徴点とを比較してもよく、隣接する特徴点との比較に限定されるものではない。

ステップS104では、特定された第1の移動対象領域に基づいて、第1の移動対象領域上の特徴点を、フレーム画像の特徴点から除去する。

本ステップでは、第1の移動対象領域内の特徴点による第2の移動対象の位置姿勢推定への影響をできるだけなくすために、フレーム画像の特徴点から、第1の移動対象領域内の特徴点を除去する。例えば、図4に示す高速に移動する車両が存在する領域の特徴点を全て除去し、フレーム画像において車両外側の特徴点のみを保持する。

ステップS105では、フレーム画像に残される特徴点を用いて位置姿勢推定を行う。

本ステップでは、第1の移動対象領域内の特徴点が除去された後に、フレーム画像に残される特徴点のみを用いて位置姿勢推定を行うことにより、位置姿勢推定の精度が向上する。具体的には、フレーム画像と、そのフレーム画像に隣接するフレーム画像またはそのフレーム画像から少なくとも１つのフレームを隔てたフレーム画像の特徴点からなるマッチングペアに基づいて、回転行列と変位行列を含む移動推定行列を計算する。なお、上述したように、フレーム画像の特徴点とその隣接するフレーム画像またはそれから少なくとも１つのフレームを隔てたフレーム画像の特徴点を用いた位置姿勢推定の方式は一例である。本発明の実施形態にかかる位置姿勢推定方法は、フレーム画像とその隣接フレームを利用することに限らず、フレーム画像と、そのフレーム画像から１フレーム以上の間隔を隔てたフレーム画像を用いて位置姿勢推定を行ってもよく、特に限定しない。また、ここで使用する移動推定行列は、回転行列R及び変位行列T等を含む。例えば、移動情報に基づいて推定される回転行列及び変位行列(R,T)は、6つの自由度(Degree of Freedom, DOF): rx, ry, rz, tx, ty, tzを含む。ここで、rx、ry、rzはそれぞれx、y、z周り方向の3つの回転自由度を示し、tx、ty、tzはそれぞれx、y、zに平行する方向の3つの平行自由度を示す。本発明の実施例にかかる移動推定方法は、4元数、RANSACの移動推定方法に基づくものであってもよく、一般に用いられる他の様々な移動推定方法であってもよい。

本発明の一実施例では、フレーム画像において、第1の移動対象領域内の特徴点を除去して残される特徴点を用いる位置姿勢推定は、特徴点マッチングの後に行うことができる。すなわち、この例では、前記立体映像画像におけるフレーム画像の特徴点および対応する視差マップの取得は、前記フレーム画像の特徴点と、そのフレーム画像に隣接するフレーム画像またはそのフレーム画像から少なくとも１つのフレームを隔てたフレーム画像の特徴点とを用いて特徴点マッチングを行い、少なくとも一つの特徴点マッチングペアを形成することを含む。これにより、フレーム画像の特徴点の全てに対して隣接するフレーム(または1フレーム以上の間隔を隔てたフレーム)とのフレーム画像マッチングにより特徴点マッチングペアが得られた後に、フレーム画像に残される特徴点を用いて位置姿勢推定を行うことは、当該フレーム画像に残される特徴点に対応する特徴点マッチングペアを用いて、前記位置姿勢推定を行うことを含む。これにより、第1の移動対象領域内の全ての特徴点を除去すると共に、これら全ての特徴点マッチングペアを除去することができ、残される特徴点に対応する特徴点マッチングペアのみを用いて位置姿勢推定を行うことにより、位置姿勢推定の精度が向上する。

また、本発明の別の例では、第1の移動対象領域内の特徴点をフレーム画像から除去した後に、特徴点マッチングおよび位置姿勢推定を行う。具体的には、フレーム画像に残される特徴点を用いた位置姿勢推定は、フレーム画像に残される特徴点と、そのフレーム画像に隣接するフレーム画像またはそのフレーム画像から少なくとも１つのフレームを隔てたフレーム画像の特徴点とを用いて特徴点マッチングを行い、マッチングにより得られた少なくとも一つの特徴点マッチングペアを用いて位置姿勢推定を行うことを含む。この例では、第1の移動対象領域内の特徴点を先に除去する。これにより、フレーム画像におけるすべての特徴点に対して特徴点マッチングを行わずに、特徴点除去後に、残される特徴点を用いて特徴点マッチングを行うことにより、計算効率が向上し、計算資源を節約することができる。

本発明のビジュアルオドメトリ方法によれば、撮像されたフレーム画像における視差マップから第1の移動対象領域を取得し、取得された第1の移動対象領域に基づいて、当該第1の移動対象領域内の特徴点をフレーム画像から除去して位置姿勢推定を行う。上述した本発明の方法に従って行われる位置姿勢推定は、撮像される画像から特定の位置上の特徴点を除去することにより、位置姿勢推定の正確さを高め、正確でロバストなビジュアルオドメトリを実現することができる。

以下、図5を参照して、本発明の実施形態に係るビジュアルオドメトリ装置を説明する。図5は、本発明の一実施形態に係るビジュアルオドメトリ装置500の構成を示すブロック図である。図5に示すように、ビジュアルオドメトリ装置500は、取得部510と、視差算出部520と、第1の移動対象領域特定部530と、特徴点除去部540と、位置姿勢推定部550と、を備えている。なお、ビジュアルオドメトリ装置500は、これらの構成要素以外にも他の構成要素を含んでもよいが、これら他の構成要素は本発明の実施形態の内容に関係するものではないので、ここでは図示および説明を省略する。また、本発明の実施形態に係るビジュアルオドメトリ装置500による以下の操作の詳細は、図1〜図4を参照して上述したものと同様であるので、ここでは重複を避けるために同じ説明は省略する。

図5のビジュアルオドメトリ装置500の取得部510は、撮像装置により撮像される立体映像におけるフレーム画像を用いて、当該フレーム画像の特徴点及び対応する視差マップを取得するように構成される。

取得部510は、立体映像を取り込むことが可能な撮像装置により立体映像におけるフレーム画像を取得することができる。例えば、両眼カメラにより撮像される立体映像における一フレームの左画像又は右画像をそれぞれ取得してフレーム画像とする。一例では、フレーム画像は左画像である。

取得部510は、フレーム画像が取得されると、フレーム画像の特徴点を得るために、フレーム画像に対して特徴点検出を行う。特徴点の検出方式は、一例では、例えばSIFT特性、SURF特徴、Harrisコーナーなど様々な特徴点検出方法を含む。特徴点が検出されると、検出された特徴点について記述を行う。記述方法としては、例えばグレースケール特徴、勾配特徴、視差情報などの特徴を記述する様々な方法を含む。

また、立体映像を撮像した後に、立体映像におけるフレーム画像に対応する視差マップを取得する。視差マップ（disparity map）は、任意の画像を基準画像として、サイズがその基準画像のサイズに準じ、視差値を要素値とする画像である。視差マップはシーンの距離情報を含む。視差マップは、立体映像における一フレームの左画像と右画像とを同時に用いて計算して得られる。

視差算出部520は、視差マップに基づいてU視差マップとV視差マップを生成する。

視差算出部520より取得されるU視差マップは視差マップの上面図とみなし、V視差マップは視差マップの側面図とみなしてよい。U視差マップおよびV視差マップは視差マップから算出される。具体的には、一般的な2次元視差マップにおいて点を(u,v,d)で表す。ここで、uは横座標であり、vは縦座標であり、dはu,vで定義される点の視差を表す。すると、U視差マップにおける任意の点(u,d)のグレースケール値は、視差マップの横座標がuである列において視差値がdである点の数に対応する。U視差マップにおけるUは、(u,v)画像座標系における水平座標uに対応する。視差マップにおける点(u,v,d)に対しては、U視差マップにおいて、点(u,d)に投影される。同様に、V視差マップにおける任意の点(d,v)のグレースケール値は、視差マップにおいて縦座標がvである行において視差値がdである点の数に対応する。V視差マップにおけるVは、(u,v)画像座標系における縦座標vに対応する。視差マップにおける点(u,v,d)に対して、V視差マップにおいて点(v,d)に投影される。

第1の移動対象領域特定部530は、U視差マップとV視差マップに基づいて第1の移動対象領域を特定する。

実際には、予め立体映像におけるフレーム画像のすべての特徴点の位置姿勢を算出した結果を初歩的な判定を行うことにより、U視差マップ及びV視差マップに基づいて第1の移動対象領域を求める必要があるか否かを判定する。具体的には、フレーム画像の特徴点と、隣接するフレーム画像又は少なくとも１つのフレームを隔てたフレーム画像の特徴点とを用いて位置姿勢推定を行い；位置姿勢推定の結果を撮像装置を搭載する第2の移動対象(例えば、撮像装置を搭載する車両)の移動情報(例えば、速度、yawrate（ヨーレート）等)とを比較し；比較の結果が所定の推定閾値を超える場合に、U視差マップ及びV視差マップに基づいて第1の移動対象領域を確定する必要があると判断する。本例では、具体的な位置姿勢推定の方法は、フレーム画像の特徴点と、隣接するフレーム画像又は少なくとも１つのフレームを隔てたフレーム画像の特徴点とにより形成される特徴点マッチングペアに基づいて、移動推定行列を算出して、第2の移動対象の回転と変位を算出する。ここで使用される移動推定行列は、回転行列Rと変位行列Tとを含む。移動推定方法は、四元数、RANSACの移動推定方法に基づいてもよく、一般的に使用される他の様々な移動推定方法であってもよい。また、上記フレーム画像の特徴点と、隣接するフレーム画像又は少なくとも１つのフレームを隔てたフレーム画像の特徴点とを用いた位置姿勢推定の方法は一例であり、例えば、実際においては、本発明の実施例にかかる位置姿勢推定方法は、フレーム画像と隣接するフレーム画像とを用いて位置姿勢推定を行ってもよく、フレーム画像と、そのフレーム画像から１つ又は複数のフレームを隔てたフレーム画像を用いても良い。間隔としてのフレーム数は特に限定されない。

第1の移動対象領域特定部530によりフレーム画像におけるすべての特徴点に基づいて行われた第2の移動対象の位置姿勢推定結果と、例えばセンサ/オドメータにより取得される第2の移動対象の移動情報とを比較した結果として、差が大きいことは、フレーム画像において第2の移動対象に対して相対的な速度が大きい物体(即ち第1の移動対象)の特徴点が存在することを意味する。これらの特徴点を用いて特徴点マッチングを行い、第2の移動対象に対して位置姿勢推定を行うことにより、第2の移動対象の位置姿勢推定の結果に大きな偏差を生じさせ、結果的に精度が悪くなる。例えば、フレーム画像の特徴点マッチングペアを用いて第2の移動対象の位置姿勢推定を行う時に、通常、画像内に存在する他の基準対象(例えば、道路、樹木など)が静止することをデフォルトとするが、実際の場合には、第2の移動対象の隣または対向する側に移動車両などは静止せず、第2の移動対象に対して相対速度が大きい場合がある。このため、推定を行う際に、相対速度の大きい車両などを含む特徴点が十分な数だけ採用された場合には、実際の位置姿勢推定結果が大きく影響される。これを鑑みて、本発明の実施形態では、このような第1の移動対象領域の特徴点をフレーム画像の特徴点から除去することにより、第2の移動対象の位置姿勢推定が精度良く行われる。

具体的には、本発明の一実施形態によれば、前記U視差マップ及びV視差マップにおいて検出された物体の幅、高さ、アスペクト比のうち少なくとも一つに基づいて、前記物体が位置する領域が第1の移動対象領域であるか否かを判定する。一例では、第1の移動対象は第2の移動対象の近傍で移動する車両とする。この場合には、予め取得された車両サイズに対応するU視差マップ及びV視差マップにおける幅、高さ、高さ比のうちの少なくとも一つを用いて、当該物体が車両であるか否かを判定する。判定の結果として、車両である場合には、その物体が位置する領域が第1の移動対象領域であることを確定する。また、例えば、前記フレーム画像に対応する視差マップ及び/又は対応する奥行きマップに基づいて、奥行き情報とともに前記物体の幅及び/又は高さの真正値を判定し、より正確に物体の属性、即ち、第1の移動物体であるか否かを判定してもよい。さらに別の例として、フレーム画像及び/又はそれに対応する視差マップ(又はU視差マップ、V視差マップ等を更に含む)に基づいてフレーム画像内の道路領域を識別し、物体と道路領域の相対的な位置関係に基づいて物体の属性を特定する。好ましくは、物体が道路領域内にある場合、またはさらに幅、高さ、および/またはアスペクト比が一定の値を満たす場合に、物体が第1の移動対象であると判断し、物体が道路領域の外側にある場合、物体が第1の移動対象ではないと判断する。一例では、U視差マップの列毎に所定のグレースケール値を有する画素点を選択して線分に適合し、物体の幅を取得する。同様に、V視差マップの行毎に、所定のグレースケール値を有する画素点を選択して線分に適合し、物体の高さを取得する。前記取得された物体の幅と高さとの比は、アスペクト比とする。実際には、前記の特定グレースケール値は閾値よりも小さいグレースケール値である。

一例では、前記フレーム画像に、前記V視差マップにおいて遮られる被遮蔽物を有するか否かを、前記U視差マップに基づいて判定する。前記フレーム画像に前記被遮蔽物がある場合に、当該被遮蔽物の幅、高さ、アスペクト比のうちの少なくとも一つに基づいて、該被遮蔽物が位置する領域が第1の移動対象領域であるか否かを判定する。図2に本発明の一実施形態に係るU視差マップ、V視差マップ、および対応する奥行きマップを示す。図2に示すように、U視差マップおよびV視差マップにおいて1と2はそれぞれ一つの物体を表す。V視差マップにおいては、物体1は高さにおいて完全に物体2によって遮られている。このため、物体1の存在は、V視差マップ上では知られていない。一方、U視差マップにおいては、画像に独立する２つの物体の存在が明らかである。これにより、前記フレーム画像にV視差マップ上で遮られる被遮蔽物を有するかどうかを、U視差マップから判定される。被遮蔽物が存在すると判断される場合に、例えばU視差マップから前記被遮蔽物の幅と正確な位置が得られる。その後、前記奥行きマップ(又は視差マップ)において同一の領域で繰り返し探索することにより、前記被遮蔽物の高さが得られる。物体の幅および高さを得た後、これまでの方法(例えば幅、高さ、および/またはアスペクト比、若しくは奥行き情報、道路領域などの要素)を用いて、前記被遮蔽物の属性をさらに判定することができる。

また、好ましくは、U視差マップ及びV視差マップにより第1の移動対象領域が取得される場合には、最初に取得された第1の移動対象領域を最適化する。具体的には、第1の移動対象領域エッジにある一つ以上のエッジ特徴点と、第1の移動対象領域上でそれに隣接する一つ以上の特徴点に対して、グレースケール値及び/又は奥行き値の比較を行い；比較の結果が所定の比較閾値を満足する場合に、比較された前記エッジ特徴点に隣接する特徴点を新しいエッジ特徴点として更新し、更新されたエッジ特徴点に基づいて第1の移動対象領域を最適化する。図3は、本発明の一実施形態に係るエッジ特徴点の比較および更新の一例を示す図である。図3において2箇所の矢印交差は、それぞれ2のエッジ特徴点の位置を示している。これら2箇所のエッジ特徴点をそれぞれ第1の移動対象領域上で隣接する淡色の特徴点とグレースケール値について比較し、比較結果としてグレースケールの変化が小さい場合には、比較された淡色の特徴点を新たなエッジ特徴点に更新し、新たなエッジ特徴点により限定される領域を第1の移動対象の領域とする。上記の例では、比較結果が満たす所定の比較閾値は、グレースケール値または奥行き値について予め設定された範囲であってよく、例えば、比較結果のグレースケール値の差が30未満または50未満であってよい。更に、新たなエッジ特徴点に対して同様の比較操作を行い、比較結果に応じて第1の移動対象領域を続けて更新する。例えば、矢印方向に示す淡色の特徴点に対して再び同様の比較操作を行い、図3の下部の黒色領域までに繰り返して更新を行う。そして、ここで上述した所定のグレースケール値の比較閾値が満たされないと判断されると、最終的に黒色領域を第1の移動対象領域として、これ以上に更新を止める。第1の移動物体領域が決定されると、第1の移動対象領域内の特徴点を除去することにより、後続のステップで位置姿勢推定精度が向上する。図4は、本発明の一実施形態に係るフレーム画像における第1の移動対象領域内の特徴点を示す図である。図4に示すように、高速に移動する車両が位置するこの第1の移動対象領域において複数の特徴点が配置されている。ここで、エッジ特徴点の比較は、例えば、第1の動体領域の右上から開始し、領域中心、即ち車両が位置する場所へ移動するようにエッジ特徴点を逐一に更新していく。更新は、更新されたエッジ特徴点が図4に示す車両の境界線に近づいて、比較結果は所定の比較閾値を満たさないまで行う。この場合、第1の移動対象領域を車両エッジ領域内に最終的に確定することにより、より正確な第1の移動対象領域の検出結果が得られる。なお、上述したエッジ特徴点とそれに隣接する特徴点との比較の方法は一例である。実際には、エッジ特徴点とその周囲一定範囲内の特徴点とを比較してもよく、隣接する特徴点との比較に限定されるものではない。

特徴点除去部540は、取得された第1の移動対象領域に基づいて、第1の移動対象領域上の特徴点を、フレーム画像の特徴点から除去する。

特徴点除去部540は、第1の移動対象領域内の特徴点による第2の移動対象の位置姿勢推定への影響をできるだけなくすために、フレーム画像の特徴点から、第1の移動対象領域内の特徴点を除去する。例えば、図4に示す高速に移動する車両が存在する領域の特徴点を全て除去し、フレーム画像において車両外側の特徴点のみを保持する。

位置姿勢推定部550はフレーム画像に残される特徴点を用いて位置姿勢推定を行う。

また、位置姿勢推定部550は、第1の移動対象領域内の特徴点が除去された後に、フレーム画像に残される特徴点のみを用いて位置姿勢推定を行うことにより、位置姿勢推定の精度が向上する。具体的には、フレーム画像と、そのフレーム画像に隣接するフレーム画像またはそのフレーム画像から少なくとも１つのフレームを隔てたフレーム画像の特徴点からなるマッチングペアに基づいて、回転行列と変位行列を含む移動推定行列を計算する。なお、上述したように、フレーム画像の特徴点とその隣接するフレーム画像または少なくとも１つのフレームを隔てたフレーム画像の特徴点を用いた位置姿勢推定の方式は一例である。本発明の実施形態にかかる位置姿勢推定方法は、フレーム画像とその隣接フレームを利用することに限らず、フレーム画像と、そのフレーム画像から1フレーム以上の間隔を隔てたフレーム画像を用いて位置姿勢推定を行ってもよく、特に限定しない。また、ここで使用する移動推定行列は、回転行列R及び変位行列T等を含む。例えば、移動情報に基づいて推定される回転行列及び変位行列(R,T)は、6つの自由度(Degree of Freedom, DOF): rx, ry, rz, tx, ty, tzを含む。ここで、rx、ry、rzはそれぞれx、y、z周り方向の3つの回転自由度を示し、tx、ty、tzはそれぞれx、y、zに平行する方向の3つの平行自由度を示す。本発明の実施例にかかる移動推定方法は、4元数、RANSACの移動推定方法に基づくものであってもよく、一般に用いられる他の様々な移動推定方法であってもよい。

本発明の一実施例では、フレーム画像において、第1の移動対象領域内の特徴点を除去して残される特徴点を用いる位置姿勢推定は、特徴点マッチングの後に行うことができる。すなわち、この例では、取得部510は、前記フレーム画像の特徴点と、そのフレーム画像に隣接するフレーム画像またはそのフレーム画像から少なくとも１つのフレームを隔てたフレーム画像の特徴点とを用いて特徴点マッチングを行い、少なくとも一つの特徴点マッチングペアを形成する。これにより、取得部510は、フレーム画像の特徴点の全てに対して隣接するフレーム(または1フレーム以上の間隔を隔てたフレーム)とのフレーム画像マッチングにより特徴点マッチングペアが得られた後に、フレーム画像に残される特徴点を用いて位置姿勢推定を行うことは、当該フレーム画像に残される特徴点に対応する特徴点マッチングペアを用いて、前記位置姿勢推定を行う。これにより、第1の移動対象領域内の全ての特徴点を除去すると共に、これら全ての特徴点マッチングペアを除去することができ、残される特徴点に対応する特徴点マッチングペアのみを用いて位置姿勢推定を行うことにより、位置姿勢推定の精度が向上する。

また、本発明の別の例では、第1の移動対象領域内の特徴点をフレーム画像から除去した後に、特徴点マッチングおよび位置姿勢推定を行う。具体的には、位置姿勢推定部550は、フレーム画像に残される特徴点と、そのフレーム画像に隣接するフレーム画像またはそのフレーム画像から少なくとも１つのフレームを隔てたフレーム画像の特徴点とを用いて特徴点マッチングを行い、マッチングにより得られた少なくとも一つの特徴点マッチングペアを用いて位置姿勢推定を行う。この例では、第1の移動対象領域内の特徴点を先に除去する。これにより、フレーム画像におけるすべての特徴点に対して特徴点マッチングを行わずに、特徴点除去後に、残される特徴点を用いて特徴点マッチングを行うことにより、計算効率が向上し、計算資源を節約することができる。

本発明のビジュアルオドメトリ装置によれば、撮像されたフレーム画像における視差マップから第1の移動対象領域を取得し、取得された第1の移動対象領域に基づいて、当該第1の移動対象領域内の特徴点をフレーム画像から除去して位置姿勢推定を行う。上述した本発明の方法に従って行われる位置姿勢推定は、撮像される画像から特定の位置上の特徴点を除去することにより、位置姿勢推定の正確さを高め、正確でロバストなビジュアルオドメトリを実現することができる。

以下、図6を参照して、本発明の実施形態に係るビジュアルオドメトリ装置を説明する。図6は、本発明の一実施形態に係るビジュアルオドメトリ装置600の構成を示すブロック図である。図6に示すように、装置600はコンピュータまたはサーバである。

図6に示すように、ビジュアルオドメトリ装置600は一つ以上のプロセッサ610とメモリ620を備える。これら以外に、ビジュアルオドメトリ装置600は、入力装置や出力装置（図示せず）などを有しても良い。これらの要素はパスシステム及び/または他の接続機構を介して互いに接続される。なお、図6に示すビジュアルオドメトリ装置600の要素および構成は一例であり、限定されるものではない。ビジュアルオドメトリ装置600は必要に応じてその他の要素または構成を備えても良い。

プロセッサ610は、CPU（中央処理ユニット）またはデータ処理能及び/または実行能力を備える別形式の処理ユニットであり、メモリ620に記憶されるコンピュータプログラム指令を実行することにより、所望の機能が実現される。所望の機能は、撮像装置により撮像される立体映像におけるフレーム画像を用いて、当該フレーム画像の特徴点及び対応する視差マップを取得し；視差マップに基づいてU視差マップとV視差マップを生成し；U視差マップとV視差マップに基づいて第1の移動対象領域を特定し；特定された第1の移動対象領域に基づいて、第1の移動対象領域上の特徴点を、フレーム画像の特徴点から除去し；フレーム画像に残される特徴点を用いて位置姿勢推定を行うことを含む。

メモリ620は一以上のコンピュータプログラム製品により構成される。前記コンピュータプログラム製品は様々な形式のコンピュータ読み取り可能な記憶媒体、例えば、揮発性メモリ及び/または非揮発性メモリである。前記コンピュータ読み取り可能な記憶媒体に一以上のコンピュータプログラム指令が記憶される。これらのコンピュータプログラム指令がプロセッサ610に実行されることにより、前記本発明の実施例にかかるビジュアルオドメトリ装置の機能及び/又はその他の所望の機能を実現し、本発明の実施例にかかるビジュアルオドメトリ方法を実現することができる。なお、前記コンピュータ読み取り可能な記憶媒体に各種のアプリケーションプログラムやデータを記憶しても良い。

以下、本発明の実施例にかかるコンピュータ読み取り可能な記憶媒体を説明する。前記コンピュータ読み取り可能な記憶媒体はコンピュータプログラム指令を記憶し、このコンピュータプログラム指令がプロセッサに実行されることにより、撮像装置により撮像される立体映像におけるフレーム画像を用いて、当該フレーム画像の特徴点及び対応する視差マップを取得し；視差マップに基づいてU視差マップとV視差マップを生成し；U視差マップとV視差マップに基づいて第1の移動対象領域を特定し；特定された第1の移動対象領域に基づいて、第1の移動対象領域上の特徴点を、フレーム画像の特徴点から除去し；フレーム画像に残される特徴点を用いて位置姿勢推定を行うステップが実現される。

上述した実施例は例に過ぎず、限定するものではない。当業者は本発明の基本思想に基づいて、上記別々で述べた各実施例のステップまたは装置を併合又は組み合わせによって本発明の効果を実現することができる。このような併合又は組み合わせも本発明に含まれるため、ここで詳細な説明を省略する。

なお、上記した本発明の優れた点、メリット、効果などは例示的なものであり、本発明を限定するものではない。これらの優れた点、メリット、効果などは各実施例にとって必須に備えるものではない。また、上記した発明の詳細は例であり本発明を理解するためのものであって、限定ではない。上記した詳細は本発明がこれらの詳細を適用することを限定しない。

本発明に係るデバイス、装置、設備、システムのブロック図は、例示的なものであり、ブロック図に示された方法で接続され、配置され、構成される必要はない。当業者には理解されるように、これらのデバイス、装置、設備、システムは、任意の方法で接続され、配置され、構成されてもよい。また、「含む」、「有する」、「具備する」」「備える」などの語は、「含むが、これらに限定されない」という用語であり、互換的に使用されることができる。更に、「または」、「および」は、文脈から明らかにそうでないことが示されない限り、「および/または」を意味し、互換的に使用されることができる。また、「例えば、」は、「限定されない」を意味し、互換的に使用されることができる。

本発明におけるステップのフローチャートおよび上記方法の記載は、例示的なものであり、提示された順序で各実施形態のステップを実施することを要求または示唆することを意図したものではない。当業者には理解されるように、上記の実施形態におけるステップの順序は、任意の順序でよい。また、「その後」、「次に」などの単語は、ステップの順序を制限することを意図するものではなく、これらの方法の説明を理解するために使用される。さらに、単数形の要素に対する冠詞「一」、「一つ」、または「該」の使用は、その要素を限定するものとして解釈されるべきではない。

なお、上記した各実施例中のステップおよび装置は、特定の実施例に限定されるものではない。実際には、本発明の概念に基づいて各実施例にかかる一部のステップおよび手段により新規の実施例を企画し得る。但し、このような新規の実施例は本発明の範疇に属する。

上述した方法の各操作は、相応する機能を実行することができれば、任意の適切な手段によって行ってもよい。この手段は、回路、特定用途向け集積回路(ASIC)、またはプロセッサを含むがこれらに限定されない、様々なハードウェアおよび/またはソフトウェアコンポーネントおよび/またはモジュールを含むことができる。

上記した実施例を実現する論理ブロック、モジュール、及び回路は、以上で説明される機能を実行するように設計された汎用プロセッサ、デジタル信号プロセッサ(DSP)、ASIC、フィールドプログラマブルゲートアレイ信号(FPGA)、又は他のプログラマブル論理デバイス(PLD)、離散ゲート又はトランジスタ論理、離散ハードウェアコンポーネント、又はそれらの任意の組み合わせを用いて実装してもよい。汎用プロセッサはマイクロプロセッサであってもよいが、代替として、任意の商業的に入手可能なプロセッサ、コントローラ、マイクロコントローラ、または状態マシンであってもよい。プロセッサは、コンピューティングデバイスの組合せとして、例えば、DSPとマイクロプロセッサの組み合わせとして、複数のマイクロプロセッサと、DSPコアと協働する一つまたは複数のマイクロプロセッサまたはその他の任意の構成との組合せとして実装することもできる。

上記した方法またはアルゴリズムのステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、またはこれら2の組み合わせの内部に直接埋め込むことができる。ソフトウェアモジュールは、任意の形態の有形記憶媒体に存在することができる。使用可能な記憶媒体の例としては、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、フラッシュメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM等がある。記憶媒体は、プロセッサが記憶媒体から情報を読み出し、記憶媒体に情報を書き込むことができるように、プロセッサに接続される。また、記憶媒体は、プロセッサと一体に構成されてもよい。ソフトウェアモジュールは、単一の命令であってもよいし、多数の命令であってもよく、且つ複数の異なるコードセグメント上、異なるプログラム間、および複数の記憶媒体にわたって分散されてもよい。

本発明の方法は、上述した方法を実施するための一つ以上の動作を含む。方法および/または動作は、請求項の範囲から逸脱することなく、交換することができる。換言すると、特定の動作の順序および/または使用は、動作の具体的な順序が指定されていない限り、請求項の範囲から逸脱することなく修正されてもよい。

上記した機能はハードウェア、ソフトウェア、ファームウェア、ファームウェア、またはそれらの任意の組み合わせにより実現される。ソフトウェアで実現される場合、機能が一つまたは複数の命令として格納されるコンピュータ読み取り可能な媒体である。記憶媒体は、コンピュータによってアクセス可能な任意の利用可能な媒体であってもよい。限定ではなく例として、このようなコンピュータ読み取り可能な媒体は、RAM、ROM、EEPROM、CD-ROMまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶装置、若しくは指令またはデータの構造形態を有する所望のプログラムコードが保持・記憶され且つコンピュータがアクセス可能な他の任意の有形媒体を含む。使用されるディスク（disk）およびディスク(disc)は、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フロッピー(登録商標)ディスク、およびブルーレイディスクを含む。ディスク（disk）は、典型的には磁気的にデータを再生し、ディスク(disc)は、レーザを使用してデータを光学的に再生する。

これにより、コンピュータプログラム製品は、上記した操作を行うことができる。このようなコンピュータプログラム製品は、例えば、プログラム指令が記憶（及び/又は符号化）されているコンピュータ読み取り可能な有形の媒体である。前記プログラム指令が一つまたは複数のプロセッサによって実行される。なお、コンピュータプログラム製品は、パッケージされた材料を含む。

また、ソフトウェアまたは指令は伝送媒体を介して伝送されてもよい。例えば、ソフトウェアは、軸ケーブル、光ファイバケーブル、ツイストペア線、デジタル加入者線(DSL)、または赤外線、無線またはマイクロ波などの無線技術のような伝送媒体を使用して、ウェブサイト、サーバまたは他の遠隔ソースから送信されてもよい。

さらに、上記した方法および装置を実行するためのモジュールおよび/または他の適切な手段は、適切な場合に、ユーザ端末および/または基地局によってダウンロードおよび/または他の方法で取得することができる。例えば、そのような装置は、上記した方法を実行するための手段への送信を容易にするために、サーバに接続され得る。あるいは、上記した各方法は、ユーザ端末および/または基地局が、デバイスに接続された、またはデバイスに記憶手段を提供するときに様々な方法を取得することができるように、記憶手段(例えばRAM、ROM、CDまたはディスケットなどの物理記憶媒体)を介して提供される。なお、上記した方法および技術を装置に提供するための任意の他の適切な技術を利用することができる。

他の実施例及び実現方法は、本発明範疇及び趣旨内にある。例えば、ソフトウェアの性質上、上述した機能は、プロセッサ、ハードウェア、ファームウェア、ハードワイヤード、またはこれらの任意の組み合わせによって実行されるソフトウェアを使用して実装することができる。機能を実現する特徴は、機能の一部が異なる物理的場所で実行されるように配信されることを含む、様々な場所に物理的に配置されてもよい。なお、上記使用した「少なくとも一つ」で始まる項目の例示的に使用される「または」は、例えば、「A、BまたはCのうちの少なくとも一つ」とは、AまたはBまたはC、またはABもしくはACまたはBC、またはABC（すなわちAおよびB、ならびにC)を意味するように、単離された列挙を意味する。さらに、「例示的な」という表現は、例示された例が好ましい例又はよりよい例を意味するものではない。

上記した技術に対して様々な変更、置換、および変更は、本発明の範疇から逸脱することなく実施することができる。また、本発明の範囲は、上述した処理、機械、製造、イベントの組成、手段、方法および動作の具体的な形態に限定されない。上記した形態と実質的に同じ機能を利用するか、または実質的に同じ結果を達成することができる現在存在する、または今後開発される処理、機械、製造、イベントの組成、手段、方法、または動作を利用することができる。したがって、本発明の範囲は、その範囲内にある処理、機械、製造、事象の組成、手段、または動作を含む。

以上、当業者が本発明を実施できるように、各実施形態を説明した。これらの実施形態に対する様々な修正は、当業者には明らかであり、ここで定義した一般的な原理は、本発明の範囲から逸脱することなく、他の態様に適用することができる。このため、本発明は、上記した実施態様に限定されることなく、むしろ本発明の原理および新規な特徴と一致する最も広い範囲である。

以上、例示および理解ために説明した。なお、この説明は、本発明の実施形態を本発明の形態に限定することを意図するものではない。複数の例示および実施形態を上述したが、当業者は、これらに基づいて変形、修正、変更、追加、および組み合わせが容易に想到する。

Claims (11)

1. 撮像装置により撮像された立体映像におけるフレーム画像を用いて、当該フレーム画像の特徴点及び対応する視差マップを取得するステップと、
   前記視差マップに基づいてU視差マップとV視差マップを算出するステップと、
   前記U視差マップと前記V視差マップに基づいて、第１の移動対象領域を特定するステップと、
   特定された第１の移動対象領域に基づいて、前記第１の移動対象領域内の特徴点を、前記フレーム画像の特徴点から除去するステップと、
   前記フレーム画像に残った特徴点を用いて位置姿勢の推定を行うステップと、を含むビジュアルオドメトリ方法。
2. 前記U視差マップと前記V視差マップに基づいて第１の移動対象領域を特定するステップは、
   前記フレーム画像の特徴点と、該フレーム画像に隣接するフレーム画像又は該フレーム画像から少なくとも１つのフレームを隔てたフレーム画像の特徴点とを用いて位置姿勢推定を行うステップと、
   前記位置姿勢推定の結果と前記撮像装置の所在する第２の移動対象の移動情報とを比較するステップと、
   前記比較の結果が所定の推定閾値を超えた場合に、前記U視差マップ及び前記V視差マップに基づいて第１の移動対象領域を特定するステップと、を含む請求項１に記載のビジュアルオドメトリ方法。
3. 前記フレーム画像の特徴点及び対応する視差マップを取得するステップは、前記フレーム画像の特徴点と、該フレーム画像に隣接するフレーム画像又は該フレーム画像から少なくとも１つのフレームを隔てたフレーム画像の特徴点とを用いて特徴点マッチングを行い、少なくとも一つの特徴点マッチングペアを取得することを含み、
   前記フレーム画像に残った特徴点を用いて位置姿勢の推定を行うステップは、前記フレーム画像に残った特徴点に対応する特徴点マッチングペアを用いて前記位置姿勢の推定を行うことを含む請求項１に記載のビジュアルオドメトリ方法。
4. 前記フレーム画像に残った特徴点を用いて位置姿勢の推定を行うステップは、前記フレーム画像に残った特徴点と、当該フレーム画像に隣接するフレーム画像又は当該フレーム画像から少なくとも１つのフレームを隔てたフレーム画像の特徴点を用いて特徴点マッチングを行い、取得された少なくとも一つの特徴マッチングペアを用いて前記位置姿勢の推定を行うことを含む請求項１に記載のビジュアルオドメトリ方法。
5. 前記U視差マップと前記V視差マップに基づいて第１の移動対象領域を特定するステップは、前記U視差マップ及び前記V視差マップにおいて検出された物体の幅、高さ、及びアスペクト比のうち少なくとも一つに基づいて、前記物体の所在する領域が第１の移動対象領域であるか否かを判定することを含む請求項１に記載のビジュアルオドメトリ方法。
6. 前記U視差マップと前記V視差マップに基づいて第１の移動対象領域を特定するステップは、
   前記フレーム画像に、前記V視差マップにおいて遮られる被遮蔽物が存在するか否かを、前記U視差マップに基づいて判定ことと、
   前記フレーム画像に前記被遮蔽物が存在する場合に、当該被遮蔽物の幅、高さ、及びアスペクト比のうちの少なくとも一つに基づいて、該被遮蔽物の所在する領域が前記第１の移動対象領域であるか否かを判定することと、を含む請求項１に記載のビジュアルオドメトリ方法。
7. 前記U視差マップと前記V視差マップに基づいて第１の移動対象領域を特定するステップは、
   前記第１の移動対象領域のエッジにある一つ以上のエッジ特徴点と、前記第１の移動対象領域内に位置し、且つ当該エッジ特徴点に隣接する一つ以上の特徴点に対して、グレースケール値及び／又は奥行き値の比較を行うことと、
   前記比較の結果が所定の比較閾値を満足する場合に、比較された前記エッジ特徴点に隣接する特徴点を新しいエッジ特徴点として更新し、更新されたエッジ特徴点に基づいて第１の移動対象領域を最適化することと、を含む請求項１に記載のビジュアルオドメトリ方法。
8. 前記フレーム画像に残った特徴点を用いて位置姿勢の推定を行うステップは、前記フレーム画像の特徴点と、当該フレーム画像に隣接するフレーム画像又は当該フレーム画像から少なくとも１つのフレームを隔てたフレーム画像の特徴点の特徴点マッチングペアに基づいて、回転行列と変位行列を含む移動推定行列を計算することを含む請求項1に記載のビジュアルオドメトリ方法。
9. 撮像装置により撮像された立体映像におけるフレーム画像を用いて、当該フレーム画像の特徴点及び対応する視差マップを取得する取得手段と、
   前記視差マップに基づいてU視差マップとV視差マップを算出する視差算出手段と、
   前記U視差マップと前記V視差マップに基づいて、第１の移動対象領域を特定する第１の移動対象領域特定手段と、
   特定された第１の移動対象領域に基づいて、前記第１の移動対象領域内の特徴点を、前記フレーム画像の特徴点から除去する特徴点除去手段と、
   前記フレーム画像に残った特徴点を用いて位置姿勢の推定を行う位置姿勢推定手段と、を含むビジュアルオドメトリ装置。
10. プロセッサと、コンピュータプログラム指令が記憶されるメモリを含むビジュアルオドメトリ装置であって、
    前記プロセッサが前記コンピュータプログラム指令を実行することにより、
    撮像装置により撮像された立体映像におけるフレーム画像を用いて、当該フレーム画像の特徴点及び対応する視差マップを取得し、
    前記視差マップに基づいてU視差マップとV視差マップを算出し、
    前記U視差マップと前記V視差マップに基づいて、第１の移動対象領域を特定し、
    特定された第１の移動対象領域に基づいて、前記第１の移動対象領域内の特徴点を、前記フレーム画像の特徴点から除去し、
    前記フレーム画像に残った特徴点を用いて位置姿勢の推定を行うステップが実現されるビジュアルオドメトリ装置。
11. コンピュータプログラム指令が記憶されているコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータプログラム指令がプロセッサに実行されることにより、
    撮像装置により撮像された立体映像におけるフレーム画像を用いて、当該フレーム画像の特徴点及び対応する視差マップを取得し、
    前記視差マップに基づいてU視差マップとV視差マップを算出し、
    前記U視差マップと前記V視差マップに基づいて、第１の移動対象領域を特定し、
    特定された第１の移動対象領域に基づいて、前記第１の移動対象領域内の特徴点を、前記フレーム画像の特徴点から除去し、
    前記フレーム画像に残った特徴点を用いて位置姿勢の推定を行うステップが実現される記憶媒体。