JP2016525842A - カメラ動き予測及び修正のための方法 - Google Patents

Abstract

動き予測及び修正システム及び方法が示され、これらは、ある時間に渡って画像フレームをスキャンすることにより、画像を取得するように構成された画像取得デバイスと、その時間中に、画像取得デバイスの位置、方向、動きの少なくとも１つを測定し、検出された動きの指標を出力するように構成された慣性測定ユニットと、慣性測定ユニットと、画像取得デバイスとに動作可能に結合され、位置、方向、動きの少なくとも１つに基づいて、画像取得デバイスの位置と方向の少なくとも１つに関係した状態を予測するように構成された状態予測モジュールと、を備える。一例では、システムと方法は、画像取得デバイスと共に、慣性測定ユニットを用いることを含む。一例では、画像取得デバイスは、ロールシャッタカメラを含む。【選択図】図４

Description

この発明は、画像をモニタし、修正するデバイス及び方法に関する。一例では、この発明は、スキャンされた画像をモニタし、修正することに関する。

本発明の一例に従った、位置特定実験の間の方向誤差を示すグラフを図示する。 本発明の一例に従った、実験中の位置誤差を示すグラフを図示する。 本発明の一例に従った、速度予測における誤差を示すグラフを図示する。 本発明の一例に従った、システムのブロック図を図示する。

様々な例においては、加速度計、磁気計、ジャイロスコープ、及び／あるいは、他の適切な装置のいくつか、または全てを含むような、慣性測定ユニット（IMU)を装備されたデバイスと、スキャンカメラ、あるいは、ロールシャッタカメラのような、フレーム全体に渡ってスキャンを行うことにより、画像を取得する他の画像取得システムの姿勢（つまり、位置及び方向）が、予測されるだろう。このために、拡張カルマンフィルタ、反復最小化法（iterative-minimization method）、スライディングウィンドウバンドル調整（sliding-window bundle adjustment）あるいは、他の予測処理であるような、またはそれらを含むような、IMU及びカメラの測定を処理する状態予測器が、開発されてきた。状態予測器は、様々な例において、スキャンカメラの画像における特徴の観測に関連して用いられることが出来る。

グローバルシャッタカメラとは異なり、スキャンカメラは、順次、画像行を捕捉し、結果として、画像全体は、画像の読み出し時間と呼ばれる、非ゼロ間隔の時間間隔に渡って捕捉されることが出来る。スマートフォンなどの、消費者向けデバイスにおいて見られる典型的なカメラについては、読み出し時間は、数十ミリ秒のオーダであり、潜在的にかなりの視覚的歪みを発生させるのに十分である。ロールシャッタの効果が無視されるならば、予測精度は、かなり劣化し得る。

スキャンカメラからの単一の画像におけるシーンの特徴の観測は、単一のカメラの姿勢には依存しないだろう。一例において、基準時刻ｔは、画像読み出し時間の間に選択される。基準時刻ｔは、例えば、画像の最初の、最後の、あるいは、中間の行が捕捉される時刻として、選択されることが出来る。特徴（例えば、「角」の点の特徴）が、この「基準」行からｎ行離れた画像行において検出されるなら、その測定は、以下のように記述されることが出来る：
ここで、ｈは、カメラモデルを記述する測定関数（例えば、パースペクティブ関数（perspective function））、ｔ_ｒは、２つの連続した画像行の捕捉の間の時間、ｎは、測定ノイズ、^Cｐ_ｆ（ｔ＋ｎｔ_ｒ）は、時間ｔ＋ｎｔ_ｒにおけるカメラフレームに対する特徴の位置である。この位置ベクトルは、以下の式で与えられる：
ここで、^C _GR（ｔ＋ｎｔ_ｒ）は、カメラフレームと時間ｔ＋ｎｔ_ｒにおける基準グローバルフレームとの間の回転行列、^Gｐ_C（ｔ＋ｎｔ_ｒ）は、ｔ＋ｎｔ_ｒにおけるカメラ位置、^Gｐ_ｆは、グローバルフレームにおける特徴の位置である。従って、異なる画像行における特徴測定は、カメラの異なる姿勢に依存するだろう。様々な例において、状態予測のためにこれらの測定を処理するために、予測器の状態ベクトルは、画像行毎のカメラの姿勢を含むことが出来る。これは、しかし、各画像に状態ベクトルに含まれるべき数百の姿勢を利用することになり、これは、比較的短い軌跡を別にして、すべてについて、比較的計算量が多くなるだろう。

スキャンカメラを用いた状態予測のある方法は、カメラの軌跡の何らかの近似を用いることが出来る。例えば、ある視覚限定の方法は、画像が記録される時刻間のカメラの動きについての仮定を用いる。あるケースでは、カメラの動きは、線形的に変化すると仮定され、他のケースでは、その動きに対し高次のモデルが用いられることが出来る。様々な例においては、良性能のために、カメラ画像は、画像捕捉時間の間のカメラの動きの変化が比較的小さくなるように、比較的高いフレームレートで処理される。

様々な例において、画像読み出し時間の間の一定の線形及び回転速度の仮定が用いられた。画像が用いられる期間より、読み出し時間は、かなり短くすることが出来るので、これは、ゆるい仮定であるだろう。しかし、読み出し時間の間、カメラの動きプロファイルがかなり変化する場合（例えば、デバイスが手で持たれ、人が急いで歩いている場合、あるいは、デバイスが、平坦でない地形を高速で移動しているロボットに搭載されている場合）、仮定は成り立たないだろう。

様々な例においては、カメラの動きは、時間的基底関数定式を用いることによりモデル化されることが出来る。このアプローチは、複雑な動きを記述することが出来るが、これは、計算量の増大という代償を払って可能になるものである。高速で変化する動きをモデル化するために、軌跡を記述する状態ベクトルは、大きな次元を有するだろう（つまり、大きな次元の時間的関数基底を用いなくてはならない）。これは、リアルタイムな適用を難しくし、時間的基底定式を用いる他のアプローチは、オフラインバッチ予測を用いるだろう。

様々な場合と違い、IMU測定は、画像読み取り時間の間のカメラの軌跡を計算するのに用いることができ、カメラの動き自体のモデルを用いるのとは異なり、パラメータモデルを、それらの動き予測における誤差をモデル化するのに用いることが出来る。様々な例において、画像読み出し時間の間のIMU位置は、以下のようにモデル化される：
ここで、予測
は、基準姿勢から始まるIMU測定を積分することにより計算され、誤差
は、ｍ個の基底関数を用いて、以下のようにパラメータ化される：
ここで、ｃ_ｉは、未知のパラメータベクトル、ｆ_ｉ（τ）は、自由に選択する基底関数である。位置と同様に、ジャイロスコープ測定に基づいた伝搬が、読み出し時間の間のＩＭＵ方向の予測を計算するのに用いられることが出来る。それらの予測の誤差は、３×１誤差ベクトル
によって記述されることが出来、それは、以下の通り、ｋ個の基底関数を用いて、パラメータ化されることが出来る：
ここで、ｄ_ｉは、未知のパラメータベクトルである。このアプローチは、軌跡の形態については仮定を設けておらず、従って、ＩＭＵセンサの帯域内であれば、任意に複雑な動きを記述することが出来る。同時に、動きの誤差は、基底関数の数を選択することなどにより、任意の様々なレベルの所望の精度で、モデル化されることが出来る。基底関数の種類と数は、近似誤差が予め予測できるように、選択されることが出来る。様々な例においては、項が比較的少ない場合でも、誤差は、十分な精度でモデル化されることが出来る。

様々な例においては、線形化を用いる任意の予測器において（拡張カルマンフィルタ、あるいは、反復最小化ベースの予測器）、予測器方程式は、測定残差に対して記述することができ（カルマンフィルタベースの予測器の場合、「観測残差（innovation）」と呼ばれる）、測定誤差は、実際の特徴の測定値と状態予測に基づいて見込まれる測定値との間の差
として定義される。それらの残差は、状態予測の誤差
を含む線形化式によって近似されることが出来る：
ここで、Ｈは、状態に対する測定関数のヤコビ行列である。
は、必ずしも同一のパラメータ化方法を有しなくても良い（例えば、方向状態予測は、典型的には、３×３回転行列あるいは、４×１単位４元数で表されるが、方向誤差は、典型的には、最小な、３×１パラメータ化方法によって表される）。

式（２）は、ＩＭＵ姿勢に関して以下のように書き直されることが出来る：
ここで、^Ｃ _ＩＲと^Ｃｐ_Ｉは、カメラに対するＩＭＵの方向と位置であり、^Ｉ _ＧＲ（ｔ＋ｎｔ_ｒ）と^Ｃｐ_Ｉ（ｔ＋ｎｔ_ｒ）は、ｔ＋ｎｔ_ｒにおける、グローバルフレームにおけるＩＭＵの方向と位置を定義する。見込まれる測定値を計算するために用いられる特徴の位置の予測は、
とすることができ、ここで、
は、予測器における量の予測値を表す。ｔ＋ｎｔ_ｒにおけるＩＭＵ姿勢の予測は、読み出し時間の間のＩＭＵ測定と、時刻ｔにおけるＩＭＵ状態の予測（「基準姿勢」の予測）とを用いて計算されることができる。特に、ｔ＋ｎｔ_ｒにおける予測ＩＭＵ位置は、以下の通り計算されることができる：
ここで、
は、ＩＭＵ速度であり、
は、ＩＭＵの予測加速度であり、加速度計測定値を用いて計算される（重力と、バイアス、スケールファクタなどの任意のシステマチック誤差を補償した後）。単位４元数が、ＩＭＵ方向を表すのに用いられる場合（われわれの実装のように）、時間ｔ＋ｎｔ_ｒにおける方向は、時間間隔［ｔ，ｔ＋ｎｔ_ｒ］における以下の微分方程式を積分することにより、計算されることが出来る：
ここで、
は、ＩＭＵの予測回転速度である（つまり、バイアス、スケールファクタなどの任意のシステマチック誤差が補償された、ジャイロによって測定された速度）。

式（９）と（１０）によって計算されたＩＭＵ姿勢の予測を用いて、特徴の測定の残差は：
となる。
を線形化する。
ここで、Ｈ_θとＨ_ｐは、時刻ｔ＋ｎｔ_ｒにおける、カメラの位置及び方向についての測定関数のヤコビアンであり、ｘ_ａは、カメラ−ＩＭＵ較正、特徴位置、及び、潜在的には、測定関数に現れる任意の追加的変数（例えば、カメラ固有パラメータ）の誤差を含み、Ｈ_ａは、対応するヤコビアンである。式（３）及び（４）を用いて、上記は、以下のように書ける：

結果として、予測器の誤差−状態ベクトルにすべての画像行に対応する時刻のＩＭＵ姿勢の誤差を含めるのではなく、ベクトルｃ_ｉ，ｉ＝０、・・・、ｍ−１及び、ｄ_ｉ，ｉ＝０、・・・、ｋ−１が含められる場合がある。それらのベクトルの数は、ＩＭＵ姿勢誤差よりかなり少なく選択されることが出来るので、比較的計算量を抑えることを実現することが出来る。

基底ベクトルの選択
誤差表現における項の適切な種類及び数は、計算量の抑制への相対的な改善、及び／あるいは、最終結果の全体的な精度を提供することが出来る。関数
を、時間的な基底とすることができ、
を生成する。

様々な例においては、ある誤差特性が、上記表現において維持すべき項数を決定するのに利用されることが出来る。一例においては、最初の２項のみが維持される場合は、式（１２）は、以下を生成する：
ここで、ｎ＝０に対し、右辺は、
すなわち、基準姿勢の位置誤差に等しい。上記線形関数によって、関数
を近似する（実際的に、１次スプライン近似）ことによって発生する誤差は、以下によって、３つの座標軸のそれぞれに沿って上限が定められる：
ここで、
は、各軸に沿った、位置誤差の二階の導関数の最大絶対値、つまり、加速度誤差の最大絶対値である。

一例では、（様々な例において、非現実的なほど大きい）２ｍ／秒^２という最悪な場合の加速度誤差と、１／３０秒の読み出し時間を仮定すると、近似誤差の上限は、「基準姿勢」が、画像読み出し間隔の中間点でのカメラ姿勢として選択された場合には、各軸に沿って、６．９×１０^−５ｍである。解像度４８０×６４０ピクセル、６０度の視界で、約５００ピクセルに等しい焦点距離のカメラにおいて、１ｍの最小深度で、物体を画像化すると、この大きさのモデル化されていない位置誤差は、約０．１５ピクセルの特徴の投影における、最悪の場合のモデル化されていない誤差となるだろう。２ｍの深度で、１ｍ／秒^２の加速度誤差限界の特徴については、特徴の投影の最悪の場合のモデル化されていない誤差は、０．０２ピクセルであろう。

同様な処理が、方向の誤差をモデル化するための項数を決定するために利用されることが出来る。様々な例において、表現に単一の項のみが用いられたとしても、モデル化されていない誤差は、小さく留まる：
最初の（ゼロ次の）項の後で切り捨てられたテイラー級数展開として、これを見ると、
のパラメータ化における最悪な場合の誤差は、
で与えられるだろう。一例では、２度／秒の回転速度予測における最悪の場合の誤差を仮定すると、パラメータ化の不正確さは、０．０３３度より小さく制限される。１０ピクセル／度の解像度の例示的カメラにおいては、これは、０．３３ピクセルの最悪の場合のモデル化されていない特徴投影誤差に対応することになる。

様々な例において、式（１１）の特徴測定の残差は、以下によって近似されることが出来る：
同様に、これは、予測器の誤差状態が、変数
を含んでいるならば、スキャンカメラの測定は、最小の近似で処理できることを示す。一例においては、グローバルシャッタカメラに対しては、位置と方向の誤差
のみを含んでおり、従って、スキャンカメラの使用は、ある比較的大きな計算コストを発生するだろう。しかし、このオーバヘッドは、相対的に最小で（例えば、画像当たり１つの追加的３×１ベクトルのみ）あり、それは、軌跡の複雑さとは独立したものであろう。

様々な例においては、スキャンカメラの測定を処理する方法は、予測誤差の特性に適合することが出来る。例えば、ある状況において、加速度あるいは回転速度測定における誤差が大きい場合、より多くの項が、誤差の時間的基底関数表現に含められることが出来る。同様に、速度予測における誤差が非常に小さい場合、位置誤差の表現における単一の項が維持され（式（１２）参照）、しかし、相対的に最小の不正確さを引き起こす（その場合の近似誤差の限度は、
によって与えられ、
は、各軸に沿った速度誤差の最大絶対値である）。一例では、表現に維持される項の数を変更することにより、精度は、計算効率とトレードオフすることが出来る。

例示的シミュレーション
ＩＭＵの支援でスキャンカメラからの特徴の測定を処理する方法は、複数の例示的状態予測器に適用可能である。この方法の性能を示すために、ロールシャッタが画像に存在することを説明しないアプローチと比較して、ここに開示の方法は、ハイブリッド予測器と併用して適用される。ＥＫＦ不整合を防ぐため、ヤコビアンが計算されるとき、ある規定が設けられることが出来る。

ここに提示される結果について、われわれは、歩行者によってハンドヘルドモバイルデバイスで収集された、実世界のデータセットのシミュレーションを用いる。全軌跡長は、１６分の歩行でカバーされる１．１ｋｍである。平均で、２００個の点特徴が、各画像で追跡され、それらの世界位置と追跡長は、現実のデータセットにおいて追跡される特徴の世界位置および追跡長と照合するために生成される。ＩＭＵは、２００Ｈｚでの測定を提供するが、カメラ画像は、１０Ｈｚで取得できる。

図１は、カメラをグローバルシャッタカメラとして扱うことによる予測誤差（黒の一点鎖線）と共に、前述のセクションで記述した方法によって計算されたＩＭＵ方向に対する予測誤差（赤線）を示す。更に、フィルタの報告された共分散行列を用いて計算された±３標準偏差包絡線が、青色の破線で示されている。画像共分散行列の相対的に著しい膨張が利用された。例示的場合において、ロールシャッタ歪みは、ノイズとして効果的に処理された。しかし、ロールシャッタの効果が明示的にモデル化された場合、相対的に著しく高い精度が得られ、共分散行列と同程度の誤差が、フィルタによって報告された。

図２は、同一実験の間の位置誤差を示し、図３は、速度予測における誤差を示す。方向誤差の場合に観測されたものと同様に、ロールシャッタをモデル化することは、予測性能を改善する結果となることだろう。

特に、図１について、図１は、位置特定実験の間の方向誤差を図示する。データを生成するために、予測器は、方向について、単位４元数表現を用いるが、プロットするために、誤差は、ロール、ピッチ、及び、ヨーで表現される。赤線は、ここに記載の方法による方向誤差を表し、黒の一点鎖線は、カメラをグローバルシャッタカメラとして扱うことによる誤差を示し、青の破線は、予測器から報告された、±３倍の対応する標準偏差として計算された不確定性包絡線を示す。

特に、図２について、図２は、位置特定実験の間の３つの座標軸に沿った位置誤差を図示する。赤線は、ここに記載された方法による方向誤差を表し、黒の一点鎖線は、カメラをグローバルシャッタカメラとして扱うことによる誤差を示し、青の破線は、予測器から報告された、±３倍の対応する標準偏差として計算された不確定性包絡線を示す。

特に、図３について、図３は、位置特定実験の間の３つの座標軸に沿った速度誤差を図示する。赤線は、ここに記載した方法による方向誤差を表し、黒の一点鎖線は、カメラをグローバルシャッタカメラとして扱うことによる誤差を示し、青の破線は、予測器によって報告された、±３倍の対応する標準偏差として計算された、不確定性包絡線を示す。

システム図
図４は、例示的システム４００のブロック図である。システム４００は、慣性測定ユニット４０４と画像取得デバイス４０２を含む。状態予測回路４１０は、更に、画像取得デバイス４０２と慣性測定ユニット４０４に結合されているのが示されている。図４の例の状態予測回路４１０は、更に、プロセッサ４１２とメモリモジュール４１４を含む。一例において、図４に示されるように、システム４００は、更に、ユーザインタフェース４０６と修正モジュール４０８を含む。ブロック図のコンポーネントは、ここに開示されるようなコンポーネントに対応し、ここに開示される動作と計算を実行するように構成されるということが留意され、強調される。図４に図示されたシステムは、様々なコンポーネントを含むが、様々な例において、そのようなコンポーネントは、任意であり、適切にまたは所望のとおりに含まれても含まれなくてもよいことに留意されたい。

図示されているように、システムは、画像取得システムと慣性測定ユニットを含む。図示されているように、慣性測定ユニットは、画像取得システムに取り付けられる。しかし、様々な例においては、慣性測定ユニットは、画像取得システムのコンポーネントであり、あるいは、画像取得システムと慣性測定ユニットは、セルラ電話、タブレットコンピュータ、あるいは、他の消費者向け電子デバイスなどのより大きいデバイスのコンポーネントである。

図示されるように、システムは、更に、状態予測モジュールあるいは状態予測回路を含む。状態予測モジュールは、従来のコンピュータメモリ及び／あるいは、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、ハードディスク、及び／あるいは、当分野で知られている他の電子格納技術などの他の電子格納技術を含むような、プロセッサとメモリモジュールを含む。プロセッサは、マイクロプロセッサ、マイクロコントローラ、コントローラ、あるいは、当分野で知られている他の処理技術として含まれる、あるいは、実装されることが出来る。状態予測モジュールは、プロセッサベースではなくて、ここに開示されるような予測を実行するように構成された専用回路に基づくことが出来る。

状態予測モジュールは、ディスプレイのためのユーザインタフェースに伝送され、あるいは、他の場合、図１〜３に図示されるように、例えば、生のデータの形態で、あるいは、グラフとして、ユーザに伝達されることが出来る出力を生成することが出来る。システムは、更に、オプションとして、歪み修正モジュールを含む。歪み修正モジュールは、画像取得システムによって生成された画像に対して、状態予測モジュールによって生成される予測を利用しての画像への修正を適用し、画像の歪みを補償することが出来る。しかし、様々な例においては、事後の歪み修正は、上述したように、画像を取得する間に、歪みをモデル化し、補償する上記方法を利用することにより、不要であろう。

ここに開示された動き予測及び修正システム及び関連方法をより良く例示するために、非限定的な例のリストがここに提供される：

例１においては、システムは、ある時間に渡って画像フレームをスキャンすることによって、画像を取得するように構成された画像取得デバイスと、その時間の間に画像取得デバイスの位置、方向、及び、動きの少なくとも１つを測定し、検出された動きの指標を出力するように構成された慣性測定ユニットと、慣性測定ユニットと画像取得デバイスに動作可能なように結合され、位置、方向、及び、動きの少なくとも１つに基づいて、画像取得デバイスの位置及び方向の少なくとも１つに関連した状態を予測するように構成された状態予測モジュールと、を含む。

例２においては、例１のシステムは、状態予測モジュールが、予測された状態を出力するように構成されるように、更に、状態予測モジュールから出力されたその状態を表示するように構成されたユーザインタフェースを備えるように、任意選択で構成される。

例３において、例１〜２のいずれか１つ、あるいは、その任意の組み合わせのシステムは、慣性測定ユニットが、画像取得デバイスに堅固に接続されるように、任意選択で構成される。

例４において、例１〜３のいずれか１つ、あるいは、その任意の組み合わせのシステムは、画像取得デバイスが、ロールシャッタカメラであるように、任意選択で構成される。

例５において、例１〜４のいずれか１つ、あるいは、その任意の組み合わせのシステムは、状態予測モジュールが、状態を予測するために、動きに、パラメータモデルを適用するように構成されるプロセッサを備えるように、任意選択で構成される。

例６において、例１〜５のいずれか１つ、あるいは、その任意の組み合わせのシステムは、測定ユニットが、加速度計、ジャイロスコープ、及び、磁気計の少なくとも１つを含むように、任意選択で構成される。

例７において、例１〜６のいずれか１つ、あるいは、その任意の組み合わせのシステムは、状態予測モジュールが、予測された状態を出力するように構成されるように、更に、状態予測モジュールに動作可能なように結合され、状態予測モジュールから出力されたその状態に従って、画像を修正するように構成された状態修正モジュールを備えるように、任意選択で構成される。

例８において、例１〜７のいずれか１つ、あるいは、その任意の組み合わせのシステムは、状態予測モジュールが、状態の更新の計算を実行するために、状態予測における誤差のパラメータモデルを用いるように構成されるように、任意選択で構成される。

例９において、例１〜８のいずれか１つ、あるいは、その任意の組み合わせのシステムは、状態予測モジュールが、時間的関数に基づいて構成されたパラメータモデルを用いるように構成されるように、任意選択で構成される。

例１０において、状態予測回路は、ある時間の間に、慣性測定ユニットの出力に基づいて計算された、画像取得デバイスの動きの記述を格納するように構成されたメモリモジュールと、画像取得デバイスの位置と方向の少なくとも１つに関連する状態を予測するように構成されたプロセッサとを含み、画像取得デバイスは、その時間に渡って画像フレームをスキャンすることによって、画像を取得するように構成されている。

例１１においては、請求項１０の状態予測回路は、状態予測回路が、予測された状態をユーザインタフェースに出力するように構成され、そのユーザインタフェースが、出力されたその状態を表示するように構成されるように、任意選択で構成される。

例１２において、例１０〜１１のいずれか１つ、あるいは、その任意の組み合わせの状態予測回路は、画像取得デバイスがロールシャッタカメラであるように、任意選択で構成される。

例１３において、例１０〜１２のいずれか１つ、あるいは、その任意の組み合わせの状態予測回路は、慣性測定ユニットが、加速度計、ジャイロスコープ、及び、磁気計の少なくとも１つを含むように、任意選択で構成される。

例１４において、例１０〜１３のいずれか１つ、あるいは、その任意の組み合わせの状態予測回路は、状態に従って、画像を修正するように、任意選択で更に構成される。

例１５において、例１０〜１４のいずれか１つ、あるいは、その任意の組み合わせの状態予測回路は、プロセッサが、状態予測の更新のために、測定残差を計算するために、ある時間の間、画像取得デバイスの動きをモデル化するように構成されるように、任意選択で構成される。

例１６において、例１０〜１５のいずれか１つ、あるいは、その任意の組み合わせの状態予測回路は、プロセッサが、状態の更新の計算を実行するために、状態予測における１以上の誤差のパラメータモデルを適用するように構成されるように、任意選択で構成される。

例１７において、例１０〜１６のいずれか１つ、あるいは、その任意の組み合わせの状態予測回路は、プロセッサが、時間的関数に基づいて構成されたパラメータモデルを適用するように構成されるように、任意選択で構成される。

例１８においては、方法は、ある時間に渡って画像フレームをスキャンすることによって、画像取得デバイスから画像を取得し、その時間の間、画像取得デバイスの位置、方向、及び、動きの少なくとも１つを取得するために、慣性測定ユニットを使用し、状態予測モジュールによって、画像取得デバイスに関連した状態を予測する、ことを含む。

例１９においては、例１８の方法は、ユーザインタフェース上に、状態予測モジュールにより予測された状態を表示することを任意選択で更に含む。

例２０において、例１８〜１９のいずれか１つ、あるいは、その任意の組み合わせの方法は、更に、慣性測定ユニットを用いることが、画像取得デバイスに堅固に接続された慣性測定ユニットを用いることを含む、ことを含む。

例２１において、例１８〜２０のいずれか１つ、あるいは、その任意の組み合わせの方法は、画像取得デバイスから画像を取得することが、ロールシャッタカメラから画像を取得することを含む、ことを含む。

例２２において、例１８〜２１のいずれか１つ、あるいは、その任意の組み合わせの方法は、画像取得デバイスに関連した状態を予測することが、状態を予測するために、動きにパラメータモデルを適用するように構成されたプロセッサを利用することを含む、ことを含む。

例２３において、例１８〜２２のいずれか１つ、あるいは、その任意の組み合わせの方法は、慣性測定ユニットを用いることが、加速度計、ジャイロスコープ、及び、磁気計の少なくとも１つを用いることを含む、ことを含む。

例２４において、例１８〜２３のいずれか１つ、あるいは、その任意の組み合わせの方法は、更に、状態予測モジュールから出力された状態に従って、画像を修正するために、状態修正モジュールを用いることを含む。

例２５において、例１８〜２４のいずれか１つ、あるいは、その任意の組み合わせの方法は、状態を予測することが、状態予測を更新するために測定残差を計算するために、ある時間の間、画像取得デバイスの動きをモデル化するために、慣性測定を用いることを含む、ことを含む。

例２６において、例１８〜２５のいずれか１つ、あるいは、その任意の組み合わせの方法は、状態を予測することは、状態更新の計算を実行するために、状態予測の１以上の誤差のパラメータモデルを用いることを含む、ことを含む。

例２７において、例１８〜２６のいずれか１つ、あるいは、その任意の組み合わせの方法は、状態を予測することが、時間的関数に基づいて構成されたパラメータモデルを用いることを含む、ことを含む。

本動き予測及び修正システムの、それら、及び、他の例及び特徴、及び、関連した方法が、上述した詳細な説明において部分的に述べられた。この概要は、本主題の非限定的な例を提供することを意図しており、それは、排他的、あるいは、網羅的説明を提供することを意図していない。

ここに記載した実施形態の多くの利点が上記にリストアップされたが、リストは、網羅的ではない。上述した実施形態の他の利点は、本開示を読んだ当業者には明確であろう。特定の実施形態が、ここに例示され、記述されたが、当業者によれば、同一の目的を達成するために予想されるいかなる配置も、例示された特定の実施形態と置き換えることが出来ることは理解されるだろう。この出願は、本発明の任意の適合あるいは変形もカバーすることを意図している。上記記述は、例示的なものを意図しており、限定的なことは意図していないことは理解されるべきである。上記実施形態の組み合わせ、及び、他の実施形態は、上記記述を吟味したなら、当業者には明確であろう。本発明の範囲は、上記構造及び製造方法を用いるいかなる他の適用も含む。本発明の範囲は、請求項が権利を有する均等の全範囲と共に、添付の請求項を参照して決定されるべきである。

Claims (27)

1. ある時間に渡って、画像フレームをスキャンすることによって、画像を取得するように構成された画像取得デバイスと、
   前記ある時間の間、前記画像取得デバイスの位置、方向、及び、動きの少なくとも1つを測定し、検出された前記動きの指標を出力するように構成された慣性測定ユニットと、
   前記慣性測定ユニットと前記画像取得デバイスとに動作可能なように結合され、前記位置、前記方向、及び、前記動きの前記少なくとも１つに基づいて、前記画像取得デバイスの位置、及び、方向の少なくとも１つに関連した状態を予測するように構成された状態予測モジュールと、
   を含むシステム。
2. 前記状態予測モジュールは、予測された前記状態を出力するように構成され、更に、前記状態予測モジュールから出力された前記状態を表示するように構成されたユーザインタフェースを含む、請求項１に記載のシステム。
3. 前記慣性測定ユニットは、前記画像取得デバイスに堅固に接続されている、請求項１に記載のシステム。
4. 前記画像取得デバイスは、ロールシャッタカメラである、請求項１に記載のシステム。
5. 前記状態予測モジュールは、前記状態を予測するために、前記動きにパラメータモデルを適用するように構成されたプロセッサを含む、請求項１に記載のシステム。
6. 前記慣性測定ユニットは、加速度計、ジャイロスコープ、及び、磁気計の少なくとも１つを含む、請求項１に記載のシステム。
7. 前記状態予測モジュールは、予測された前記状態を出力するように構成され、更に、前記状態予測モジュールに動作可能に結合され、前記状態予測モジュールから出力した前記状態に従って、前記画像を修正するように構成された状態修正モジュールを含む、請求項１に記載のシステム。
8. 前記状態予測モジュールは、前記状態の更新の計算を実行するために、前記状態の予測において、誤差のパラメータモデルを用いるように構成される、請求項１に記載のシステム。
9. 前記状態予測モジュールは、時間的関数に基づいて構成されたパラメータモデルを用いるように構成される、請求項８に記載のシステム。
10. ある時間の間、慣性測定ユニットの出力に基づいて計算された、画像取得デバイスの動きの記述を格納するように構成されたメモリモジュールと、
    前記画像取得デバイスの位置、及び、方向の少なくとも１つと関連した状態を予測するように構成されたプロセッサと、を含み、
    前記画像取得デバイスは、前記ある時間に渡って、画像フレームをスキャンすることによって、前記画像を取得するように構成される、状態予測回路。
11. 前記状態予測回路は、予測された前記状態をユーザインタフェースに出力するように構成され、前記ユーザインタフェースは、出力された前記状態を表示するように構成される、請求項１０に記載の状態予測回路。
12. 前記画像取得デバイスは、ロールシャッタカメラである、請求項１０に記載の状態予測回路。
13. 前記慣性測定ユニットは、加速度計、ジャイロスコープ、及び、磁気計の少なくとも１つを含む、請求項１０に記載の状態予測回路。
14. 更に、前記状態に従って、前記画像を修正するように構成される、請求項１０に記載の状態予測回路。
15. 前記プロセッサは、状態予測を更新するために測定残差を計算するために、前記ある時間の間、前記画像取得デバイスの動きをモデル化するように構成される、請求項１０に記載の状態予測回路。
16. 前記プロセッサは、状態更新の計算を実行するために、状態予測における１以上の誤差のパラメータモデルを適用するように構成されている、請求項１０に記載の状態予測回路。
17. 前記プロセッサは、時間的関数に基づいて構成されたパラメータモデルを適用するように構成される、請求項１６に記載の状態予測回路。
18. ある時間に渡って、画像フレームをスキャンすることによって、画像取得デバイスから画像を取得することと、
    前記ある時間の間、前記画像取得デバイスの位置、方向、及び、動きの少なくとも１つを取得するために、慣性測定ユニットを使用することと、
    状態予測モジュールによって、前記画像取得デバイスに関連した状態を予測することと、
    を含む方法。
19. ユーザインタフェース上に、前記状態予測モジュールからの、予測された前記状態を表示すること、を更に含む、請求項１８に記載の方法。
20. 前記慣性測定ユニットを使用することは、前記画像取得デバイスに堅固に接続された慣性測定ユニットを用いることを含む、請求項１８に記載の方法。
21. 画像取得デバイスから前記画像を取得することは、ロールシャッタカメラから画像を取得することを含む、請求項１８に記載の方法。
22. 前記画像取得デバイスに関連した前記状態を予測することは、前記状態を予測するために、前記動きにパラメータモデルを適用するように構成されたプロセッサを使用することを含む、請求項１８に記載の方法。
23. 前記慣性測定ユニットを使用することは、加速度計、ジャイロスコープ、及び、磁気計の少なくとも１つを使用することを含む、請求項１８に記載の方法。
24. 更に、前記状態予測モジュールから出力された前記状態に従って、前記画像を修正するための状態修正モジュールを使用することを含む、請求項１８に記載の方法。
25. 状態を予測することは、状態予測を更新するために測定残差を計算するために、前記ある時間の間、前記画像取得デバイスの動きをモデル化するために、慣性測定を使用することを含む、請求項１８に記載の方法。
26. 状態を予測することは、状態更新の計算を実行するために、状態予測における１以上の誤差のパラメータモデルを使用することを含む、請求項１８に記載の方法。
27. 状態を予測することは、時間的関数に基づいて構成されたパラメータモデルを使用することを含む、請求項２６に記載の方法。