JP2019522288A - Ｒｇｂ−ｄカメラに基づく追跡システム及びその方法 - Google Patents

Abstract

視覚的ＳＬＡＭシステムは、キーフレームと、現在のキーフレームと、以前のキーフレームとを含む複数のキーフレームと、複数のキーフレームのうちの２つのキーフレームの間でのペアワイズ変換推定を提供するように構成されたデュアル高密度視覚オドメトリと、キーフレームグラフを作成するように構成されたフレーム生成器と、受信したキーフレームグラフに制約を加えるように構成されたループ制約評価器と、軌跡を有する地図を生成するように構成されたグラフ最適化器とを含む。

Description

関連出願の相互参照
本出願は、２０１６年６月２４日に出願された米国仮特許出願第６２／３５４２５１号明細書（U.S. provisional patent application Ser. No. 62/354,251）の優先権を主張するものであり、同明細書の内容は、参照により本明細書に完全に包含されるように本明細書に組み込まれる。

技術分野
本開示は、概して追跡システムに関し、より詳細には、ＲＧＢ−Ｄカメラに基づく追跡システム及びその方法に関する。

背景
本明細書中において別段の指示がない限り、本セクションに記載する題材は、本出願の特許請求の範囲の先行技術ではなく、本セクションに含められることによって先行技術であると認められることはない。

概要
本明細書で開示される特定の実施形態の概要を以下に示す。それらの態様は、単にそれらの特定の実施形態の簡潔な概要を読者に提供するために提示されたものに過ぎず、それらの態様が、本開示の範囲を限定することを意図したものではないことを理解すべきである。実際に、本開示は、以下で説明されない可能性がある種々の態様を包含し得る。

本開示の実施形態は、視覚的同時位置推定及び地図作成（ＳＬＡＭ：Simultaneous localization and Mapping）を計算するための方法に関する。本方法は、視覚オドメトリモジュールによってローカルオドメトリ推定値を生成することと、キーフレーム生成器によってキーフレームを生成することと、キーフレームグラフを作成することと、ループ制約評価器を使用してキーフレームグラフに制約を加えることと、軌跡を有するキーフレームグラフを最適化することとを含む。本方法は、ローカルオドメトリ推定値を生成する前に、キーフレームと現在のフレームとの間に新しいキーフレームを生成することをさらに含む。ループ制約評価器を使用してキーフレームグラフに制約を加える方法は、ループクロージャに基づいており、ループクロージャは、以前に訪問した場所へのリターンである。本方法は、最適化の後に、キーフレームグラフにおける種々の制約のエッジ高さに基づいて姿勢グラフを調整することをさらに含む。

本開示の別の態様によれば、高密度視覚オドメトリのための確率的センサモデルを適用する方法は、キーフレーム生成器によってキーフレームを生成することと、キーフレームグラフを作成することと、ループ制約評価器を使用してキーフレームグラフに制約を加えることと、軌跡を有するキーフレームグラフを最適化することとを含む。本方法は、ローカルオドメトリ推定値を生成する前に、キーフレームと現在のフレームとの間に新しいキーフレームを生成することをさらに含む。ループ制約評価器を使用してキーフレームグラフに制約を加える方法は、ループクロージャに基づいており、ループクロージャは、以前に訪問した場所へのリターンである。本方法は、最適化の後に、キーフレームグラフにおける種々の制約のエッジ高さに基づいて姿勢グラフを調整することをさらに含む。

本開示の別の態様によれば、測光誤差のためのｔ分布及び幾何学誤差のための確率的センサモデルの方法は、

を含む。

本開示の別の態様によれば、視覚的ＳＬＡＭシステムにおいて、キーフレームと、現在のキーフレームと、以前のキーフレームとを含む複数のキーフレームと、複数のキーフレームのうちの２つのキーフレームの間でのペアワイズ変換推定を提供するように構成されたデュアル高密度視覚オドメトリと、キーフレームグラフを作成するように構成されたフレーム生成器と、受信したキーフレームグラフに制約を加えるように構成されたループ制約評価器と、軌跡を有する地図を生成するように構成されたグラフ最適化器とを含む。

図面の簡単な説明
本開示の上記の特徴、態様及び利点、並びに、他の特徴、態様及び利点は、添付の図面を参照しながら以下の特定の例示的な実施形態の詳細な説明を読むことにより、より良好に理解されるであろう。なお、添付の図面では、各図を通して同様の参照符号が同様のものを表している。

視覚的ＳＬＡＭシステムを示すブロック図である。 例示的なキーフレームグラフ及びループ制約評価器の構造を示すブロック図である。 ＲＧＢ−Ｄカメラセンサモデルを示す図である。 不確実性の伝搬を示すブロック図である。 σ−ＤＶＯ ＳＬＡＭシステムによって生成された地図の例を示す図である。

詳細な説明
以下の説明は、記載された実施形態を当業者が実現及び使用することを可能にするために提示されており、特定の用途及びその要件の文脈において提供されている。記載された実施形態に対する種々の修正は、当業者には容易に理解可能であり、本明細書で規定される一般的な原理を、記載された実施形態の精神及び範囲から逸脱することなく他の実施形態及び用途に適用することができる。従って、記載された実施形態は、示された実施形態に限定されているわけではなく、記載された実施形態には、本明細書で開示される原理及び特徴に一致する最も広い範囲が認容されるべきである。

種々のオペレーションを、特許請求の範囲に記載された主題を理解する上で最も有用な手法で、複数の個々の行為又はオペレーションとして順々に記載することができる。しかしながら、記載された順序は、これらのオペレーションが必ずこの順序に基づいているということを示唆すると解釈されるべきではない。特に、これらのオペレーションは、提示された順序で実施されないこともある。記載されたオペレーションを、記載された実施形態とは異なる順序で実施してもよい。追加的な実施形態において、種々の追加的なオペレーションを実施することができ、及び／又は、記載されたオペレーションを省略することができる。

図１は、フロントエンド１００ａとバックエンド１００ｂとに分割された、視覚的同時位置推定及び地図作成（Simultaneous Localization and Mapping：ＳＬＡＭ）システム１００を示すブロック図である。フロントエンド１００ａにおいて、システム１００は、ＲＧＢ−Ｄカメラからの全てのピクセル情報を最大限に利用することにより、視覚オドメトリ手法を使用して、ローカル変換推定値１１２を生成する。換言すれば、高密度視覚オドメトリ１０８又は１１０は、２つの画像フレーム１０２，１０４，１０６の間でのペアワイズ変換推定を提供する。図示のように、高密度視覚オドメトリ１０８を使用して、キーフレーム１０２と現在のフレーム１０４との間でのペアワイズ変換推定が実施される。高密度視覚オドメトリ１１０を使用して、現在のフレーム１０４と以前のフレーム１０６との間での第２のペアワイズ変換推定が実施される。キーフレーム生成器１１４は、オドメトリ推定値の品質に基づいてキーフレームＶ_ｋを生成するために使用される。システム１００のバックエンド１００ｂにおいて、キーフレーム生成器１１４を使用するキーフレームグラフＧ⊂｛Ｖ_ｋ｝１１６が作成される。ループ制約評価器１１８において、以前に訪問した場所へのリターン、例えばループクロージャに基づく制約がキーフレームグラフに加えられ、その連結性が改善される。次いで、グラフ最適化器１２０は、制約によって最終的なグラフを最適化して、軌跡を有する最適化された地図１２２を生成する。キーフレームグラフ１１６及びループ制約評価器１１８の詳細については後述する。フロントエンド１００ａにおいて確率的センサモデルが使用され、キーフレーム生成１１４を実施し、バックエンド１００ｂにおいてループ制約検出１１８及びグラフ最適化１２０を実施する。

図２は、例示的なキーフレームグラフ２００の構造を示すブロック図であり、このキーフレームグラフ２００は、バックエンドグラフ最適化２０２及びローカル近傍２０４を含む。バックエンドグラフ最適化２０２では、Ｉ_{Ｋ＿ｉ，Ｋ＿ｊ}によって重み付けされたオドメトリ制約と組み合わされたループ制約Ｌ_{Ｋｉ，Ｋｊ}が最適化される。ローカル近傍２０４には、最近のキーフレームＫ_１と、Ｋ_１に関して追跡されたフレーム（ｆ_１，．．．，ｆ_ｎ）とが含まれている。キーフレームＫ_１と、追跡されたフレーム（ｆ_１，．．．，ｆ_ｎ）とは、エントロピー比Ｈ_{Ｋ１，ｆ１}／Ｈ_{Ｋ１，ｆｎ}に基づいて決定される。現在のフレームが、新しいフレームを追跡するために十分な情報を含んでいない場合には、カメラ姿勢推定のエントロピーを使用して新しいキーフレームが生成される。カメラ姿勢推定は、キーフレームと現在のフレームとの間の推定されたエントリが、ローカル近傍２０４における最大推定エントロピーによって正規化された閾値を下回ったときに新しいキーフレームを生成する。最大推定エントロピーは、キーフレームと最初のフレームとの間のエントロピーであると仮定される。カメラ軌跡の曲線推定に基づく追加的なキーフレーム生成戦略が提案される。フレームｉとｋとの間の曲線推定値ρ_ｉ，ｋは、キーフレームと最新のフレームとの間の平行移動（δ_ｉ，ｋ）に対する、ローカル近傍Ｎ内のフレーム間の平行移動（δ_{ｉ，ｉ−１}）の合計の比として定義される。

図２に示すように、以前に訪問した場所へのリターンは、ループ制約評価器１１８においてループクロージャと呼ばれるグラフに対する追加的な制約を識別することを支援する。最適化の後、グラフにおける種々の制約のエッジ重みに基づいて姿勢グラフが調整される。間違ったループ制約によって最終的な軌跡の最適化が不十分になることが時々ある。誤ったループ制約の影響を低減するために、以前のループ制約生成方法を拡張して、２つの追加的な技術を使用することができる。第一に、ループクロージャ制約が、ループクロージャを形成するキーフレーム間のメトリック距離の逆二乗に基づいて重み付けされる。このことは、遠方のフレーム間のループ制約は、相互に近接したフレームよりも大きな誤差を生じさせやすいという直感に基づいている。第二に、誤ったループクロージャ制約を除去するためにオクルージョンフィルタリングが実施される。深度画像は、ジオメトリ情報を提供し、このジオメトリ情報を、２つのキーフレーム間のオクルージョンフィルタリングを実施するために使用することができる。深度点のセンサモデル不確実性の標準偏差は、以下の式の最大可能深度シフトに対する拘束を提供する。

この仮定に反する全ての点は、オクルージョンであるとみなされる。

新しいキーフレームの生成時には、以前のキーフレーム情報によってバックエンドグラフが更新され、ダブルウィンドウグラフ構造２００が作成される。バックエンドにおける姿勢グラフは、例えばオープンソースライブラリｇ２ｏを使用して最適化される。視覚オドメトリの終了に関する最終的な最適化が実施され、最適化されたカメラ軌跡推定値が生成される。

一般に、ＲＧＢ−Ｄカメラは、赤外線パターンを投影し、小さな視差を有する２つの画像ビュー間の対応関係から深度を回復する。このプロセスの間、視差がサブピクセルに量子化される。このことは、深度測定に量子化誤差を導入する。深度測定における量子化誤差に起因したノイズは、

として定義される。

なお、ｑ_ｐｉｘは装置のサブピクセル解像度であり、ｂはベースラインであり、ｆは焦点距離である。この誤差は、範囲Ｚ_ｉで２次的に増加し、これによって遠方の物体からの深度観察の使用を防止する。ＲＧＢ−Ｄカメラの３Ｄセンサノイズを、ゼロ平均多変量ガウス分布によってモデル化することができ、このゼロ平均多変量ガウス分布の共分散行列は、対角成分として以下を有する。

なお、

方向は、光線に沿っており、

は、ｘ方向及びｙ方向における角度分解能を表している。

図３は、ＲＧＢ−Ｄカメラセンサモデルを示す。カメラは、原点に位置しており、ｚ方向に見上げている。１，２，及び３メートルのそれぞれの範囲につき８０個の点がサンプリングされており、それらの不確実性が楕円体で表現されている。光線方向における誤差は、二次的に増加する。

図４は、不確実性の伝搬を示すブロック図である。図４のそれぞれの３Ｄ点

は、ガウス分布に関連付けられており、このガウス分布の共分散行列は、

であり、それぞれ、

である。

なお、

である。

は、光線座標とカメラ座標との間の回転行列を表している。

不確実性を残差に伝搬させるために線形化方法が使用され、尤度関数をガウス分布として、即ち、

として表現することができる。

なお、

である。

ここで、

は、図４に示すように、現在のカメラ座標のｚ軸における逆投影された点

の分散を表している。最尤推定値は、

である。

個々の精度行列は、２つの平方根

として分割され、

のように、重み付けされた残差

の単精度行列を適用することによってこれを正規化する。

測光誤差及び幾何学誤差は、例えば、

として定義することができる。

なお、

であり、［・］ｚは、ベクトルのｚ成分を表している。

測光誤差及び幾何学誤差を最小化する相対的なカメラ姿勢を見つけ出すために、エネルギー関数は、

のような、重み付けされた二乗誤差の合計である。

なお、ｎは有効画素の総数であり、

は、種々の誤差に対する重みを表している。

エネルギー関数は、相対的なカメラ姿勢ζに関して非線形であるので、数値的に最適解を見つけ出すために、通常、ガウス・ニュートンアルゴリズムが適用され、ここで、式（１４）が以下のようにして更新される。

なお、

は、クロネッカー積、即ち、

を表しており、ヤコビ行列は、

として定義される。

式（１４）は、最尤推定と等価であり、この最尤推定では、それぞれの残差が独立しており、同一のガウス分布に、即ち、

に従っている。

なお、

である。これは、式（１４）における

の場合に対応することに留意されたい。式（１７）は、以下のように書き換えることができる。

なお、

である。これは、式（１４）における

の場合に対応することに留意されたい。

測光誤差のためのＴ分布は、式（１１）と式（１８）とを組み合わせることによって幾何学誤差のガウス分布のセンサモデルを伝播し、今度はσ−高密度視覚オドメトリ（σ−ＤＶＯ：σ-dense visual odometry）として定義する。

なお、重み行列

であり、

である。

このσ−ＤＶＯアルゴリズムは、スマートフォン、タブレット、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、及び、任意のデバイスのような任意の適切なクライアントデバイスに実装することができる。図１に戻ると、統合されたσ−ＤＶＯアルゴリズムを有するＳＬＡＭシステム１００は、より少ない数のキーフレームを使用し、システムにおける減少したドリフトに基づいている。キーフレームの数が減少すると、システムのバックエンドでの所要計算量が少なくなる。

図５は、σ−ＤＶＯ ＳＬＡＭシステム１００によって生成された地図の例を示す。見て取れるように、σ−ＤＶＯ ＳＬＡＭシステム１００を使用して、一貫した軌跡が生成されている。

上述した実施形態は、例として示されたものであり、これらの実施形態が、種々の修正形態及び代替形態の影響を受けやすいことを理解すべきである。特許請求の範囲は、開示された特定の形態に限定されることを意図したものではなく、本開示の精神及び範囲に含まれる全ての修正形態、等価形態、及び、代替形態を網羅するものであることをさらに理解すべきである。

本開示の範囲内の各実施形態は、コンピュータ実行可能命令又は内部に記憶されたデータ構造を担持又は保持するための、非一時的なコンピュータ可読記憶媒体又は機械可読媒体を含むこともできる。そのような非一時的なコンピュータ可読記憶媒体又は機械可読媒体は、汎用又は専用のコンピュータによってアクセス可能な任意の利用可能な媒体であってもよい。限定ではなく例として、このような非一時的なコンピュータ可読記憶媒体又は機械可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、又は、他の光学的なディスク記憶装置、磁気的なディスク記憶装置、又は、他の磁気的な記憶装置、又は、所望のプログラムコード手段をコンピュータ実行可能命令又はデータ構造の形態で担持又は記憶するために使用することができる任意の他の媒体を含むことができる。上記の組み合わせも、非一時的なコンピュータ可読記憶媒体又は機械可読媒体の範囲内に含めるべきである。

各実施形態は、通信ネットワークを介して（有線リンク、無線リンク、又は、それらの組み合わせのいずれかによって）リンクされたローカル及びリモートの処理装置によってタスクが実行される分散コンピューティング環境においても実施され得る。

コンピュータ実行可能命令は、例えば、汎用のコンピュータ、専用のコンピュータ、又は、専用の処理装置に特定の機能若しくは機能群を実行させる命令及びデータを含む。コンピュータ実行可能命令は、スタンドアローン環境又はネットワーク環境においてコンピュータによって実行されるプログラムモジュールも含む。一般に、プログラムモジュールは、特定のタスクを実行し、又は、特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、及び、データ構造等を含む。コンピュータ実行可能命令、関連するデータ構造、及び、プログラムモジュールは、本明細書で開示される方法のステップを実行するためのプログラムコード手段の例を表している。そのような実行可能命令又は関連するデータ構造の特定のシーケンスは、そのようなステップで記載された機能を実現するための対応する動作の例を表している。

本特許について種々の実施形態を参照しながら説明してきたが、これらの実施形態が例示的なものであり、本開示の範囲がこれらの実施形態に限定されていないことが理解されよう。多数の変形、修正、追加、及び改良が可能である。より一般的には、本特許に従った実施形態を、文脈又は特定の実施形態において説明してきた。各機能を、本開示の種々の実施形態において種々異なるように分離すること、又は、種々異なるようにブロックに結合すること、又は、種々異なる技術用語で記述することができる。これら及び他の変形、修正、追加、及び、改良を、以下の特許請求の範囲において規定される本開示の範囲内に含めることができる。

Claims (10)

1. 視覚的同時位置推定及び地図作成（ＳＬＡＭ）を計算するための方法において、
   視覚オドメトリモジュールによってローカルオドメトリ推定値を生成することと、
   キーフレーム生成器によってキーフレームを生成することと、
   キーフレームグラフを作成することと、
   ループ制約評価器を使用して前記キーフレームグラフに制約を加えることと、
   軌跡を有する前記キーフレームグラフを最適化することと、
   を含む、方法。
2. ローカルオドメトリ推定値を生成する前に、キーフレームと現在のフレームとの間に新しいキーフレームを生成することをさらに含む、
   請求項１に記載の方法。
3. ループ制約評価器を使用して前記キーフレームグラフに制約を加えることは、ループクロージャに基づいており、
   前記ループクロージャは、以前に訪問した場所へのリターンである、
   請求項２に記載の方法。
4. 最適化の後に、前記キーフレームグラフにおける種々の制約のエッジ高さに基づいて姿勢グラフを調整することをさらに含む、
   請求項３に記載の方法。
5. 高密度視覚オドメトリのための確率的センサモデルを適用する方法において、
   キーフレーム生成器によってキーフレームを生成することと、
   キーフレームグラフを作成することと、
   ループ制約評価器を使用して前記キーフレームグラフに制約を加えることと、
   軌跡を有する前記キーフレームグラフを最適化することと、
   を含む、方法。
6. ローカルオドメトリ推定値を生成する前に、キーフレームと現在のフレームとの間に新しいキーフレームを生成することをさらに含む、
   請求項５に記載の方法。
7. ループ制約評価器を使用して前記キーフレームグラフに制約を加えることは、ループクロージャに基づいており、
   前記ループクロージャは、以前に訪問した場所へのリターンである、
   請求項６に記載の方法。
8. 最適化の後に、前記キーフレームグラフにおける種々の制約のエッジ高さに基づいて姿勢グラフを調整することをさらに含む、
   請求項７に記載の方法。
9. 測光誤差のためのｔ分布及び幾何学誤差のための確率的センサモデルの方法において、
   

   

   を含む、方法。
10. 視覚的ＳＬＡＭシステムにおいて、
    キーフレームと、現在のキーフレームと、以前のキーフレームとを含む複数のキーフレームと、
    前記複数のキーフレームのうちの２つのキーフレームの間でのペアワイズ変換推定を提供するように構成されたデュアル高密度視覚オドメトリと、
    キーフレームグラフを作成するように構成されたフレーム生成器と、
    受信した前記キーフレームグラフに制約を加えるループ制約評価器と、
    軌跡を有する地図を生成するように構成されたグラフ最適化器と、
    を含む、視覚的ＳＬＡＭシステム。

Images