JP2016502210A - 別個のコンピュータ視覚ベース姿勢および慣性センサベース姿勢の表示 - Google Patents

Abstract

モバイルデバイスは、カメラによってキャプチャされる画像を使用して視覚ベース姿勢を判断し、加速度計およびジャイロスコープなどの慣性センサからのデータを使用してセンサベース姿勢を判断する。視覚ベース姿勢とセンサベース姿勢とは、視覚化アプリケーション中で別個に使用され、視覚化アプリケーションは、異なる姿勢のための別個のグラフィックスを表示する。たとえば、視覚化アプリケーションは、慣性センサを較正するために使用され得、視覚化アプリケーションは、視覚ベース姿勢に基づいてグラフィックを表示し、センサベース姿勢に基づいてグラフィックを表示し、慣性センサの較正の収束を加速するために表示されたグラフィックスを用いて特定の方向にモバイルデバイスを移動するようにユーザに促す。代替的に、視覚化アプリケーションは、視覚ベース姿勢とセンサベース姿勢とを使用して別個のグラフィックスを表示する動きベースゲームまたは写真アプリケーションであり得る。

Description

関連出願の相互参照
本出願は、本出願の譲受人に譲渡され、参照により本明細書に組み込まれる、2012年12月21日に出願された「Display of Separate Computer Vision Based Pose and Inertial Sensor Based Pose」と題する米国出願第13/725,175号の利益ならびにこれに対する優先権を主張するものである。

本明細書で説明する主題の実施形態は、一般に、視覚化アプリケーション中でコンピュータ視覚ベース姿勢と慣性センサベース姿勢とを別個に使用することに関し、より詳細には、モバイルデバイスの移動についてユーザに促すためにコンピュータ視覚ベース姿勢と慣性センサベース姿勢とのための別個のグラフィックスを表示することに関する。

カメラに加えて様々なタイプの慣性センサを含む、スマートフォン、タブレットコンピュータ、カメラなどのモバイルデバイスの数が増加している。加速度計およびジャイロスコープなどの慣性センサは、高サンプリングレートで加速度および角速度を測定するそれらの能力によりモバイルデバイスの移動を追跡するために有用である。拡張現実、屋内ナビゲーションなどの多くのアプリケーションは、モバイルデバイスの姿勢(位置および方向)および追跡を判断するために慣性センサとコンピュータ視覚の組合せを使用する。

慣性センサを正確な位置判断のために使用するために、特に、コンピュータ視覚技法と組み合わせるとき、慣性センサの正確な較正が必要となる。慣性センサの較正は、カメラに対する慣性センサのアライメントならびに慣性センサのスケールおよび非直交パラメータの較正を含む。ただし、慣性センサの較正は、現在、時間がかかる工場プロセスであり、慣性センサの較正は、個々のモバイルデバイスごとに必要とされる。慣性センサの工場較正中に、モバイルデバイスの一連の正確な移動が実行され、慣性センサの応答に相関される。ユーザの動きを用いたセンサの較正のためのいくつかの手法が存在するが、そのような手法のパフォーマンスは、品質の点で工場動きと同様であるユーザ動きを与えることに非常に依存する。複雑、かつさらに高度に正確な動きを行うようにユーザに命令することは困難である。しかしながら、これらのリッチな動きがなければ、コストの増加を伴う工場較正が、正確な較正パラメータを確実に得る唯一の方法となる。

モバイルデバイスは、カメラによってキャプチャされる画像を使用して視覚ベース姿勢を判断し、加速度計およびジャイロスコープなどの慣性センサからのデータを使用してセンサベース姿勢を判断する。視覚ベース姿勢とセンサベース姿勢とは、視覚化アプリケーション中で別個に使用され、視覚化アプリケーションは、異なる姿勢のための別個のグラフィックスを表示する。たとえば、視覚化アプリケーションは、慣性センサを較正するために使用され得、視覚化アプリケーションは、視覚ベース姿勢に基づいてグラフィックを表示し、センサベース姿勢に基づいてグラフィックを表示し、慣性センサの較正の収束を加速するために表示されたグラフィックスを用いて特定の方向にモバイルデバイスを移動するようにユーザに促す。代替的に、視覚化アプリケーションは、視覚ベース姿勢とセンサベース姿勢とを使用して別個のグラフィックスを表示する動きベースゲームまたは写真アプリケーションであり得る。

一実装形態では、方法は、キャプチャされた画像を使用してモバイルデバイスの視覚ベース姿勢を判断するステップと、慣性センサを使用してモバイルデバイスのセンサベース姿勢を判断するステップと、視覚化アプリケーション中で視覚ベース姿勢とセンサベース姿勢とを別個に使用するステップとを含む。

一実装形態では、モバイルデバイスは、環境の画像をキャプチャするカメラと、モバイルデバイスの移動に応答してデータを生成する慣性センサと、ディスプレイに結合され、環境のキャプチャされた画像を受信するためにカメラに結合され、かつモバイルデバイスの移動に応答してデータを受信するために慣性センサに結合されたプロセッサであって、プロセッサが、キャプチャされた画像を使用してモバイルデバイスの視覚ベース姿勢を判断することと、慣性センサからのデータを使用してモバイルデバイスのセンサベース姿勢を判断することと、ディスプレイに、視覚ベース姿勢に基づいて第1のグラフィックを示すことと、センサベース姿勢に基づいて第2のグラフィックを示すこととを行わせることとを行うように構成された、プロセッサとを含む。

一実装形態では、モバイルデバイスは、キャプチャされた画像を使用してモバイルデバイスの視覚ベース姿勢を判断するための手段と、慣性センサを使用してモバイルデバイスのセンサベース姿勢を判断するための手段と、視覚化アプリケーション中で視覚ベース姿勢とセンサベース姿勢とを別個に使用するための手段とを含む。

一実装形態では、プログラムコードを記憶した記憶媒体は、キャプチャされた画像を使用してモバイルデバイスの視覚ベース姿勢を判断するためのプログラムコードと、慣性センサを使用してモバイルデバイスのセンサベース姿勢を判断するためのプログラムコードと、視覚化アプリケーション中で視覚ベース姿勢とセンサベース姿勢とを別個に使用するためのプログラムコードとを含む。

キャプチャされた画像から視覚ベース姿勢を判断し、慣性センサからセンサベース姿勢を判断することと、視覚化アプリケーション中で視覚ベース姿勢とセンサベース姿勢とを別個に使用することとを行うことが可能なモバイルデバイスを示す図である。 視覚化アプリケーション中でモバイルデバイスによって使用され得るグラフィックスの1つの可能な実装形態を示す図である。 視覚化アプリケーション中でモバイルデバイスによって使用され得るグラフィックスの別の可能な実装形態を示す図である。 視覚化アプリケーション中でモバイルデバイスによって使用され得るグラフィックスの別の可能な実装形態を示す図である。 視覚化アプリケーション中で視覚ベースグラフィックとセンサベースグラフィックとを別個に使用するプロセスを示すフローチャートである。 視覚化アプリケーション中で視覚ベースグラフィックと、センサベースグラフィックと、ハイブリッドグラフィックとを使用するプロセスを示すフローチャートである。 慣性センサを較正するための視覚化アプリケーションの特定の実施形態を示すフローチャートである。 視覚ベース姿勢とセンサベース姿勢とを判断することと、視覚化アプリケーション中で視覚ベースグラフィックとセンサベースグラフィックとを別個に使用することとを行うことが可能なモバイルデバイスのブロック図である。

図1に、キャプチャされた画像から視覚ベース姿勢を判断し、慣性センサからセンサベース姿勢を判断することと、視覚化アプリケーション中で視覚ベース姿勢とセンサベース姿勢とを別個に使用することとを行うことが可能なモバイルデバイス100を示す。視覚化アプリケーションは、本明細書では時に、それぞれ視覚ベースグラフィックとセンサベースグラフィックと呼ぶ、視覚ベース姿勢とセンサベース姿勢とのための別個のグラフィックスを表示する。視覚化アプリケーションは、例として、慣性センサ、ゲーム、写真などを較正するために使用され得る。慣性センサは、たとえば、表示されたグラフィックスに応答したモバイルデバイスのユーザ操作に基づいて較正され得る。モバイルデバイス100は、ディスプレイ102を含むものとして示されているが、ディスプレイ102は、必ずしもそうであるとは限らないが、タッチスクリーンディスプレイであり得る。モバイルデバイス100は、ディスプレイ102上に表示されるものとして示されているターゲット101などの環境を撮像する前方を向いたカメラ108を含む。モバイルデバイス100はまた、加速度計、ジャイロスコープなどの慣性センサ110を含む。モバイルデバイス100はまた、たとえば、モバイルデバイス100がセルラー電話である場合、スピーカ104、マイクロフォン106など、本開示に関連のない他の特徴を含み得る。

本明細書で使用する「モバイルデバイス」は、キャプチャされた画像またはビデオストリームからの視覚ベース位置検出および追跡が可能な、慣性センサを含む任意のポータブル電子デバイスを指し、たとえば、セルラーまたは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、またはカメラ、ワイヤレス通信デバイス、コンピュータ、ラップトップ、タブレットコンピュータなどを含む他の好適なモバイルデバイスを含み得る。モバイルデバイスは、必ずしもそうである必要はないが、ナビゲーション測位信号など、ワイヤレス通信および/またはナビゲーション信号を受信することが可能であり得る。「モバイルデバイス」という用語はまた、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、パーソナルナビゲーションデバイス(PND)において行われるかにかかわらず、短距離ワイヤレス、赤外線、有線接続、または他の接続などによって、PNDと通信するデバイスを含むものである。

モバイルデバイス100は、視覚ベース姿勢を生成するためにカメラ108によってキャプチャされた画像、たとえば、カメラ108によって生成された一連のビデオフレームを使用する視覚姿勢モジュール112を含む。視覚ベース姿勢は、コンピュータ視覚技法を使用して判断されるモバイルデバイスの位置および方向である。カメラ108が画像および/またはビデオフレームをキャプチャし得、本明細書では画像およびフレームの用語が互換的に使用されることを理解されたい。モバイルデバイス100は、センサベース姿勢を生成するために慣性センサ110の出力を使用する慣性知覚システム(INS)114をさらに含む。視覚ベース姿勢とセンサベース姿勢との一方または両方は、他方に基づいて初期化され得、さもなければ、本明細書では、視覚ベース姿勢はセンサベース姿勢から独立しており、センサベース姿勢は、視覚ベース姿勢から独立していることを理解されたい。したがって、現在の時点において、視覚ベース姿勢とセンサベース姿勢とは、現在のセットのオーグメンテーション(augmentation)をレンダリングするときに独立しているが、それらは、過去の時点において融合していることがある。

モバイルデバイス100は、キャプチャされた画像から生成された視覚ベース姿勢と慣性センサデータから生成されたセンサベース姿勢とに基づいてディスプレイ102上に別個のグラフィックスを表示する視覚化アプリケーションを使用する。たとえば、図1に示すように、モバイルデバイス100は、視覚姿勢モジュール112によって生成された視覚ベース姿勢に基づいて第1のグラフィック120をレンダリングし、INS114によって生成されたセンサベース姿勢に基づいて第2のグラフィック122をレンダリングし得る。所望される場合、視覚ベースグラフィック120とセンサベースグラフィック122とは、同じレンダリングされたオブジェクトの異なるカラーチャネルであり得、またはそれらは異なるオブジェクトであり得る。図1に、グラフィックス120および122をボールとして示すが、任意のタイプのグラフィックスが使用され得ることを理解されたい。さらに、所望される場合、視覚ベース姿勢のために複数のグラフィックスが使用され得、センサベース姿勢のために複数のグラフィックスが使用され得る。たとえば、以下で説明するように、1つまたは複数の水平バーと1つまたは複数の垂直バーとは、視覚ベース姿勢に基づいてレンダリングされ得、同様に、水平バーと垂直バーとは、センサベース姿勢に基づいてレンダリングされ得る。所望される場合、レンダリングされたグラフィックスは、より複雑になることも、アニメーション化されることもあり得、たとえば、視覚ベース姿勢に基づいてネコがレンダリングされ、センサベース姿勢に基づいてネズミがレンダリングされ得、ネコは、ユーザの動きに基づいてネズミを捕まえるように制御される。

視覚化アプリケーションは、モバイルデバイスの移動をユーザに促すために視覚ベースグラフィックとセンサベースグラフィックとを別個に表示する。たとえば、視覚化アプリケーションは、エンターテインメント、たとえば、ゲームであり得る。別のアプリケーションは写真に関係し得る。たとえば、単一のカメラを使用して3次元画像を生成するために、モバイルデバイスは、撮像された被写体をディスプレイの中心に位置するように維持する間に異なるパースペクティブに移動される。したがって、センサベースグラフィックの移動の間に、視覚ベースグラフィックが被写体に対して固定して表示され得ることが、視覚ベースグラフィックとセンサベースグラフィックとのアライメントを維持するためにモバイルデバイスを異なるパースペクティブに移動するようにユーザに促す。別の例では、パノラマを生成するために、カメラをパンする間にカメラの位置を維持することが望ましい。したがって、視覚ベースグラフィックの移動の間に、センサベースグラフィックがディスプレイ中に固定しているように表示され得ることが、視覚ベースグラフィックとセンサベースグラフィックとのアライメントを維持するために位置を固定して保持する間にモバイルデバイスを回転するようにユーザに促す。

視覚化アプリケーションの別の例は、慣性センサ110の較正のためのものである。アライメントの較正ならびに慣性センサ110とカメラ108とのスケールおよび非直交性は、外部測定として視覚ベース姿勢を使用し得る。さらに、ユーザは、視覚ベースグラフィックとセンサベースグラフィックとの表示に基づいて較正のために所望の軌跡でモバイルデバイス100を移動するように促される。したがって、ユーザは、較正アルゴリズムに供給され得る良品質のデータを収集するために所望の軌跡に沿ってモバイルデバイスを移動するように推奨される。

モバイルデバイス100は、視覚ベース姿勢を生成するために使用される画像をキャプチャする間にモバイルデバイス100の移動に応答して生成されるデータを慣性センサ110から収集する。視覚ベース姿勢とセンサデータとは、慣性センサの較正のために使用され得る。視覚ベースグラフィック120とセンサベースグラフィック122とは、モバイルデバイスを移動すること、ならびに較正精度および較正パラメータに対する信頼性など、慣性センサの較正のステータスに関してユーザにフィードバックすることを行うようにユーザに促すためにレンダリングされ得る。したがって、モバイルデバイス100は、ユーザが、慣性センサ較正精度を視覚化し、較正パラメータ推定値に対する信頼性に基づいてモバイルデバイスとのユーザ対話を適応的に変更することを可能にするために視覚化アプリケーションを使用し得る。

図2に、例として、慣性センサを較正するときに視覚化アプリケーション中でモバイルデバイスによって使用され得るグラフィックスの1つの可能な実装形態を示す。図1に示すモバイルデバイス100の姿勢に比較してわかるように、図2中のモバイルデバイス100は、ターゲット101に対して回転されるものとして示されている。モバイルデバイス100の回転により、センサベースグラフィック122は、視覚ベースグラフィック120とのより近いアライメントに移動した。グラフィックスを配置するためにモバイルデバイス100を手動で移動するプロセスは、カメラ108に対して慣性センサ110を較正するためにフィードバックを与え得る。さらに、別個のグラフィックス120および122の視覚表示は、カメラ108への慣性センサ110の較正のステータスについてユーザにフィードバックを与え得る。さらに、図2中のテキスト124によって示されるように、アライメントのステータスを示すためにユーザにスコアが与えられ得る。水平バー126Hおよび垂直バー126Vなど、他のフィードバックまたは追加のフィードバックもユーザに与えられ得、水平バー126Hおよび垂直バー126Vは、それぞれ水平軸および垂直軸に沿ったアライメントのステータスを示し得る。さらに、回転のために3つと並進のために3つの6つの次元があるので、6つの別個のグラフィックス、たとえば、バーなど、またはサブセット、したがって、たとえば、2つ以上が表示され得る。グラフィックス120および122は、慣性センサの較正の収束を加速するために特定の方向にモバイルデバイスを移動するようにユーザを奨励するゲームの一部としてレンダリングされ得る。言い換えれば、較正プロシージャは、わずらわしい管理プロセスではなく、エンターテインメントのためにプレーされるべきゲームとしてユーザに提示され得る。たとえば、較正ゲームでは、視覚ベースグラフィック120の表示位置は周期的に移動され、ユーザは、センサベースグラフィック122を視覚ベースグラフィック120に再配置するためにモバイルデバイス100の位置および方向を操作する必要があり得る。したがって、ユーザは、1つまたは複数の軸に沿ってモバイルデバイス100を回転および/また移動するように促され得、モバイルデバイス100の得られた動きが較正のために使用され得る。さらにより良い較正を用いて、慣性センサによって推定された動きは、コンピュータ視覚に基づいて解明された動きにより近く一致するようになる。システムの雑音レベルに基づき得る、慣性センサによって推定された動きとコンピュータ視覚に基づいて解明された動きとの間の差が、しきい値内で一致したとき、較正は、許容可能であると判断され得る。

アライメントと非直交性とは、電話機の寿命にわたって非常に緩やかに変化することが予想される。したがって、アライメントと非直交性とを較正することがまれに実行され得る。ただし、スケールは温度に依存する。スケールは継続的にバイアス付きで推定され得るが、アライメント、非直交性、スケール、およびバイアスをジョイント推定すると全体的な較正パラメータの精度が減少する可能性がある。したがって、モバイルデバイス100のユーザ較正は、周期的に実行されるか、またはモバイルデバイス100に対する機械的ストレスがあった場合に実行され得る。

図3に、慣性センサを較正するときに視覚化アプリケーション中でモバイルデバイスによって使用され得るグラフィックスの別の可能な実装形態を示す。表示されたグラフィック132は、コンピュータ視覚姿勢に基づき得、別個のグラフィック134は、センサベース姿勢に基づき得る。図3に示すように、視覚ベースグラフィック132は迷路であり得、センサベースグラフィック134は、モバイルデバイス100のユーザによって生成された動きによって迷路を通って移動されるべきオブジェクトであり得る。したがって、図3でわかるように、ユーザは、視覚ベースグラフィック132を通してセンサベースグラフィック134を移動するために水平および垂直にモバイルデバイス100を回転または移動するように促されることになる。モバイルデバイス100の動きは、慣性センサ110を較正するために使用され得る。

図4に、慣性センサを較正するときに視覚化アプリケーション中でモバイルデバイスによって使用され得るグラフィックスの別の可能な実装形態を示す。表示されたグラフィック142は、コンピュータ視覚姿勢に基づき得、別個のグラフィック144は、センサベース姿勢に基づき得る。視覚ベースグラフィック142とセンサベースグラフィック144とは、たとえば、ディスプレイ102に垂直に延びるZ軸に沿って、たとえば、モバイルデバイス100を回転するようにユーザに促すために使用され得る。さらに、ユーザは、グラフィックス142、144のサイズが同様になるまでグラフィックスのうちの1つまたは複数のサイズを改変するために、モバイルデバイス100を前後に移動する、たとえば、ディスプレイ102に垂直に延びる軸に沿ってZ軸に沿ってモバイルデバイスを並進させるように促され得る。同様に、ユーザは、グラフィックス142、144を配置するためにX軸およびY軸に沿ってモバイルデバイス100を移動する(並進させる)ように促され得、グラフィックス142、144の外観に基づいてX軸およびY軸を軸としてモバイルデバイス100を回転するように促され得る。したがって、6つの自由度でモバイルデバイスを移動するようにユーザが促され得ることがわかる。

図5は、視覚化アプリケーション中で視覚ベースグラフィックとセンサベースグラフィックとを別個に使用するプロセスを示すフローチャートである。モバイルデバイスの視覚ベース姿勢が、キャプチャされた画像を使用して判断される(202)。モバイルデバイスの視覚ベース姿勢は、従来のコンピュータ視覚技法を使用して生成され得る。たとえば、新しい画像ごとに、FAST(Features from Accelerated Segment Test)コーナー検出器、スケール不変特徴変換(SIFT:Scale Invariant Feature Transform)、SURF(Speeded-up Robust Features)、または任意の他の所望の方法を使用して特徴が抽出され得る。現在の画像のための抽出された特徴は、知られているかまたは学習されたターゲットの前の画像またはモデルであり得る参照画像からの特徴と比較され得る。参照画像に、現在の画像中の抽出された特徴の位置をマッピングするホモグラフィは、6つの自由度で環境に対してモバイルデバイスの姿勢を与え得る。

また、慣性センサを使用してモバイルデバイスのセンサベース姿勢が判断される(204)。よく知られているように、センサベース姿勢は、積分時間にわたってモバイルデバイスの姿勢の変化を判断するために、時間にわたって、たとえば、加速度計またはジャイロスコープからの慣性センサデータを積分することによって判断され得る。したがって、カメラを用いて環境の参照画像をキャプチャするのと同時に慣性センサの積分を開始することによって、モバイルデバイスのセンサベース姿勢が、視覚ベース姿勢を判断するのと並行して判断され得る。慣性センサからのデータが姿勢の相対的変化をもたらすことを理解されたい。姿勢の変化は、センサベース姿勢として使用され得る。代替的に、たとえば、コンピュータ視覚技法または他の初期化技法を使用して、最初の姿勢が与えられ得、センサベース姿勢は、最初の姿勢からの変化として阻止され得る。たとえば、センサベース姿勢は、一定の間隔で、たとえば、5フレームごとに、視覚ベース姿勢で初期化され得る。それらの初期化フレーム間に、センサからの姿勢の変化がセンサベース姿勢として使用される。

視覚ベース姿勢とセンサベース姿勢とが視覚化アプリケーション中で別個に使用される(206)。言い換えれば、視覚ベース姿勢とセンサベース姿勢とは、同じ視覚化アプリケーションによって同時に使用され得るが、それらが別個に使用されるように組み合わされない。たとえば、視覚化アプリケーション中に、視覚ベース姿勢に基づいた第1のグラフィックとセンサベース姿勢に基づいた第2のグラフィックとが表示され得る。所望される場合、視覚ベース姿勢とセンサベース姿勢とが、異なるカラーチャネルを用いて単一のオーグメンテーション性質(single augmentation character)をレンダリングすることによって視覚化アプリケーション中で使用され得る。したがって、第1のグラフィックは、単一のオーグメンテーション性質のための第1のカラーチャネルであり得、第2のグラフィックは、単一のオーグメンテーション性質のための第2のカラーチャネルであり得る。

上記で説明したように、視覚化アプリケーションは、キャプチャされた画像を使用して慣性センサの較正を実行し得、第1のグラフィックと第2のグラフィックとは、慣性センサの較正に基づいて互いに対話するようにレンダリングされる。たとえば、ユーザは、慣性センサの較正のステータスに基づいて第1のグラフィックと第2のグラフィックとのうちの少なくとも1つを移動することによって特定の方向にモバイルデバイスを移動するように促され得、特定の方向へのモバイルデバイスの移動は、慣性センサの較正の収束を加速する。たとえば、1つの較正パラメータ、たとえば、X軸の較正の完了後に、Y軸に沿ってモバイルデバイスを移動するようにユーザに促すために、第1のグラフィックおよび/または第2のグラフィックが移動され得る。Z軸は、同様に較正され、ならびに様々な軸を軸とした回転であり得る。追加または代替として、慣性センサの較正のステータスは、たとえば、較正精度、較正パラメータに対する信頼性、誤差共分散または誤差共分散の変動であり得る。誤差共分散または信頼性の例は、較正手順のために使用され得る拡張カルマンフィルタからの結果である。別の例は、推定値の信頼性を推定する別のアルゴリズムからのものであり得る。特定の方向にモバイルデバイスを移動するようにユーザに促すことは、慣性センサの較正の収束を加速するために視覚化アプリケーションへのフィードバックとして慣性センサの較正の品質を使用する。

しかしながら、視覚化アプリケーションは、較正以外のプロセスのためのものであり得る。たとえば、視覚化アプリケーションは、視覚ベース姿勢に基づいて第1のグラフィックを表示し、センサベース姿勢に基づいて第2のグラフィックを表示するモバイルデバイスのための動きベースゲームまたは写真アプリケーションであり得る。

所望される場合、モバイルデバイス100中に視覚化アプリケーションによって追加情報が表示され得る。たとえば、図6は、図5に示したフローチャートと同様だが、視覚化アプリケーションによって使用される追加情報を含むフローチャートである。したがって、わかるように、視覚ベース姿勢とセンサベース姿勢とが判断される(202、204)。さらに、キャプチャされた画像と慣性センサとを一緒に使用してモバイルデバイスのハイブリッドベース姿勢が判断される(212)。たとえば、所望される場合、ハイブリッドベース姿勢を形成するために、視覚ベース姿勢とセンサベース姿勢とが組み合わされ得るか、または慣性センサからのデータとカメラからのデータとが組み合わされ得る。視覚化アプリケーションは、たとえば、各姿勢を表す別個のグラフィックスを表示することによって、視覚ベース姿勢と、センサベース姿勢と、ハイブリッドベース姿勢とを別個に使用する(214)。視覚ベース姿勢またはセンサベース姿勢に基づいて表示されるグラフィックスの一方または両方が較正中に常に表示される必要はなく、たとえば、視覚ベース姿勢の追跡が失われた場合、視覚ベース姿勢のために表示されるグラフィックが除去され得るが、センサベース姿勢のために表示されるグラフィックは依然として表示されることを理解されたい。

図7は、慣性センサのための較正アプリケーションの形態で視覚化アプリケーションの特定の実施形態を示すフローチャートである。わかるように、較正プロセスが開始される(302)。較正アプリケーションは、工場較正の代わりのもの、またはそれに加えられるものであり得、モバイルデバイス100上にプレインストールされ得る。慣性センサの使用を許可するより前に較正アプリケーションを自動的に開始することが望ましいことがあるか、または、代替的に、ユーザは必要に応じてアプリケーションを開始し得る。ユーザは、正確なコンピュータ視覚姿勢推定値を生成するのに適切である特徴リッチターゲット(feature rich target)を発見すべき場所に関する情報など、命令を備え得る。モバイルデバイス100は、モバイルデバイスの姿勢を初期化するために、特定の位置、たとえば、水平面上で上向きに配置され得る(304)。モバイルデバイス100は、たとえば、音を発することによって、初期化が完了したときをユーザに示し得る。モバイルデバイス100は、センサベース姿勢と別個の視覚ベース姿勢とを判断する(306)。たとえば、モバイルデバイス100は、追跡のためにも使用される慣性センサに基づいて姿勢を判断することをも行う間に、コンピュータ視覚を使用して姿勢を判断し、追跡を収集するために参照ターゲットの画像またはビデオフレームをキャプチャする。センサベース姿勢と視覚ベース姿勢とに関係する別個のグラフィックスを表示することによってモバイルデバイスを移動するための命令がユーザに与えられる(308)。ユーザが、較正を改善するためにモバイルデバイスを移動する間に、センサベース姿勢と視覚ベース姿勢とが個々に追跡される(310)。

モバイルデバイスを移動するための命令は、各姿勢推定値の信頼性に基づいて生成され、信頼性は、拡張カルマンフィルタからのまたは他のアルゴリズムからの誤差共分散から導出され得る。たとえば、Z軸を軸とする回転をジャイロスコープが測定することによって生成された姿勢についての信頼性が低い場合、信頼性のしきい値に達するまで参照ターゲットの画像をキャプチャし続ける間に、ユーザは、Z軸を軸としてモバイルデバイスを回転するように命令され得る。信頼性しきい値は、推定値の信頼性を高めるために特定の動き行うようにユーザを奨励するために、スコアまたは表示されたグラフィックスの変化の点で表され得る。ユーザにスコアおよび/または課題を与えることは、ゲームでゲームプレーヤのスコアを上げるかまたは課題を完了するためにゲームプレーヤがプレーする一般的な挙動に影響を及ぼす。較正パラメータのうちの1つの較正が完了するたびに、すなわち、信頼性レベルがしきい値を越えて増すたびに、ユーザはポイントを与えられる。ユーザが完了するのにかかる時間もスコア中に含まれ得る。したがって、ユーザは、較正プロセスについての入力データを与えるためにモバイルデバイスを操作するように推奨される。したがって、モバイルデバイスとのユーザ対話が較正のために使用され得、それによって、慣性センサの費用のかかる工場較正の必要をなくす。

図8は、視覚ベース姿勢とセンサベース姿勢とを判断することと、視覚化アプリケーション中で視覚ベースグラフィックとセンサベースグラフィックとを別個に使用することとを行うことが可能なモバイルデバイス100のブロック図である。モバイルデバイス100は、カメラ108ならびに加速度計、ジャイロスコープなどの慣性センサ110を含む。モバイルデバイス100は、ディスプレイ102、ならびにキーパッド152またはユーザが情報をモバイルデバイス100に入力することのできる他の入力デバイスを含む、ユーザインタフェース150をさらに含む。所望される場合、キーパッド152は、タッチセンサ(またはジェスチャー制御)を備えた仮想キーパッドをディスプレイ102内に統合することによって除去され得る。たとえば、モバイルデバイス100がセルラー電話などである場合、ユーザインタフェース150はまた、マイクロフォン106およびスピーカ104を含み得る。もちろん、モバイルデバイス100は、本開示に無関係の他の要素を含み得る。

モバイルデバイス100はまた、カメラ108、慣性センサ110、ならびにディスプレイ102を含むユーザインタフェース150に接続され、それらと通信する制御ユニット105を含む。制御ユニット105は、バス105b、プロセッサ105pおよび関連するメモリ105m、ハードウェア105h、ファームウェア105f、ならびにソフトウェア105sによって提供され得る。制御ユニット105は、上記で説明したように、カメラによってキャプチャされた画像ならびに慣性センサ110から取得されたデータを受信し、処理する。制御ユニット105は、さらに、コンピュータ視覚技法を使用して視覚ベース姿勢を生成するためにカメラ108によってキャプチャされた画像を使用する視覚姿勢モジュール112を含むものとして示されている。モバイルデバイス100は、センサベース姿勢を生成するために慣性センサ110の出力を使用するINS114をさらに含む。レンダリングモジュール116は、視覚ベースグラフィックとセンサベースグラフィックと、ディスプレイ102上に示される、ユーザに与えられるべき任意の他のグラフィカルデータとを生成する。さらに、視覚化アプリケーションモジュール118は、視覚ベース姿勢とセンサベース姿勢とを使用し、レンダリングモジュール116からのグラフィックスを表示させる。たとえば、視覚化アプリケーションモジュール118は、上記で説明したように、視覚ベース姿勢とセンサベース姿勢とに基づいて慣性センサ110を較正する較正モジュールであり得、または、代替的に、動きベースゲーム、または写真アプリケーションなどの他の適切なタイプのアプリケーションであり得る。ハイブリッド姿勢モジュール119は、視覚ベース姿勢とセンサベース姿勢との組合せに基づいてモバイルデバイスの姿勢を判断するために含まれ得、または場合によってはキャプチャされた画像と慣性センサデータとに基づいて判断され得る。

視覚姿勢モジュール112、INS114、レンダリングモジュール116、視覚化アプリケーションモジュール118、およびハイブリッド姿勢モジュール119は、明快のためにプロセッサ105pとは別個に示されているが、プロセッサ105pの一部であるか、またはプロセッサ105p中で実行されるソフトウェア105s中の命令に基づいてプロセッサ中に実装され得る。本明細書で使用する場合、プロセッサ105pは、1つまたは複数のマイクロプロセッサ、埋め込み式プロセッサ、コントローラ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)などを含み得るが、必ずしもそれらを含む必要がないことが理解されよう。プロセッサという用語は、特定のハードウェアではなく、システムによって実施される機能について説明するものである。さらに、本明細書で使用する場合、「メモリ」という用語は、モバイルデバイスに関連する長期メモリ、短期メモリ、または他のメモリを含む、任意のタイプのコンピュータ記憶媒体を指し、任意の特定のタイプのメモリもしくは任意の特定の数のメモリ、またはメモリが記憶される媒体のタイプに限定されない。

本明細書に記載された方法論は、アプリケーションに依存する様々な手段によって実施され得る。たとえば、これらの方法は、ハードウェア105h、ファームウェア105f、ソフトウェア105s、またはそれらの任意の組合せで実装され得る。ハードウェア実装形態の場合、処理ユニットは、本明細書で説明する機能を実行するように設計された、1つもしくは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、他の電子ユニット、またはそれらの組合せ内で実装され得る。

ファームウェアおよび/またはソフトウェア実装形態の場合、これらの方法論は、本明細書に記載された機能を実行するモジュール(たとえば、手順、機能等)で実施され得る。命令を有形に具現化するいずれの機械可読媒体も、本明細書で説明する方法を実装する際に使用され得る。たとえば、ソフトウェアコードは、メモリ105m内に記憶され、プロセッサ105pによって実行され得る。メモリ105mは、プロセッサ105p内に実装されるか、またはプロセッサ105pの外部に実装され得る。機能は、ファームウェアおよび/またはソフトウェアに実装される場合、コンピュータ可読である記憶媒体上に1つまたは複数の命令またはコードとして記憶され得、その記憶媒体は、過渡的な伝播信号を含まない。例としては、データ構造を用いて符号化された記憶媒体、およびコンピュータプログラムを用いて符号化されたストレージがある。記憶媒体としては、物理的なコンピュータ記憶媒体がある。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく、例として、そのような記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、または所望のプログラムコードを命令もしくはデータ構造の形で記憶するのに使用することができ、かつコンピュータからアクセスすることができる任意の他の媒体を含むことができ、本明細書で使用するディスク(diskおよびdisc)には、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびブルーレイディスク(disc)が含まれ、ディスク(disk)は通常、データを磁気的に再生するが、ディスク(disc)はデータをレーザによって光学的に再生する。上記の組合せも、記憶媒体の範囲内に含めるべきである。

したがって、モバイルデバイス100は、キャプチャされた画像を使用してモバイルデバイスの視覚ベース姿勢を判断するための手段を含み、その手段は、たとえば、カメラ108ならびに視覚姿勢モジュール112を含み得る。慣性センサを使用してモバイルデバイスのセンサベース姿勢を判断するための手段は、たとえば、慣性センサ110とINS114とを含み得る。視覚化アプリケーション中で視覚ベース姿勢とセンサベース姿勢とを別個に使用するための手段は、たとえば、較正モジュール、動きベースゲーム、または写真アプリケーションであり得る、たとえば、視覚化アプリケーションモジュール118を含み得る。キャプチャされた画像と慣性センサとを使用してモバイルデバイスのハイブリッドベース姿勢を判断するための手段は、ハイブリッド姿勢モジュール119であり得、ハイブリッド姿勢モジュール119は、視覚ベース姿勢とセンサベース姿勢とを組み合わせるか、または場合によってはキャプチャされた画像と慣性センサデータとに基づいて姿勢を判断し得る。

説明のために本発明を特定の実施形態に関連して示したが、本発明はそれらの実施形態に限定されない。本発明の範囲から逸脱することなく様々な適合および改変が行われ得る。したがって、添付の特許請求の範囲の趣旨および範囲は、上記の説明に限定されるべきではない。

100 モバイルデバイス
101 ターゲット
102 ディスプレイ
104 スピーカ
105 制御ユニット
105b バス
105f ファームウェア
105h ハードウェア
105m メモリ
105p プロセッサ
105s ソフトウェア
106 マイクロフォン
108 カメラ
110 慣性センサ
112 視覚姿勢モジュール
114 慣性知覚システム(INS)
116 レンダリングモジュール
118 視覚化アプリケーションモジュール
119 ハイブリッド姿勢モジュール
120 第1のグラフィック、視覚ベースグラフィック、グラフィックス
122 第2のグラフィック、センサベースグラフィック、グラフィックス
124 テキスト
126H 水平バー
126V 垂直バー
132 グラフィック、視覚ベースグラフィック
134 グラフィック、センサベースグラフィック
142 グラフィック、視覚ベースグラフィック
144 グラフィック、センサベースグラフィック
150 ユーザインタフェース
152 キーパッド

Claims (27)

1. キャプチャされた画像を使用してモバイルデバイスの視覚ベース姿勢を判断するステップと、
   慣性センサを使用して前記モバイルデバイスのセンサベース姿勢を判断するステップと、
   視覚化アプリケーション中で前記視覚ベース姿勢と前記センサベース姿勢とを別個に使用するステップと
   を含む方法。
2. 前記キャプチャされた画像と前記慣性センサとを使用して前記モバイルデバイスのハイブリッドベース姿勢を判断するステップと、前記視覚化アプリケーション中で前記ハイブリッドベース姿勢を使用するステップとをさらに含む、請求項1に記載の方法。
3. 前記視覚化アプリケーション中で前記視覚ベース姿勢と前記センサベース姿勢とを別個に使用するステップが、前記視覚ベース姿勢に基づいて第1のグラフィックを表示し、前記センサベース姿勢に基づいて第2のグラフィックを表示するステップを含む、請求項1に記載の方法。
4. 前記視覚化アプリケーション中で前記視覚ベース姿勢と前記センサベース姿勢とを使用するステップが、単一のオーグメンテーション性質をレンダリングするステップを含み、前記第1のグラフィックが、前記単一のオーグメンテーション性質のための第1のカラーチャネルであり、前記第2のグラフィックが、前記単一のオーグメンテーション性質のための第2のカラーチャネルである、請求項3に記載の方法。
5. 前記視覚化アプリケーション中で前記視覚ベース姿勢と前記センサベース姿勢とを別個に使用するステップが、前記キャプチャされた画像を使用して前記慣性センサの較正を実行するステップを含み、前記第1のグラフィックと前記第2のグラフィックとが、前記慣性センサの前記較正に基づいてレンダリングされる、請求項3に記載の方法。
6. 前記第1のグラフィックと前記第2のグラフィックとが、前記慣性センサの前記較正の品質に基づいてレンダリングされ、前記慣性センサの前記較正の前記品質が、較正精度と、較正パラメータに対する信頼性と、誤差共分散と、前記誤差共分散の変動とからなるグループから選択される、請求項5に記載の方法。
7. 前記視覚化アプリケーション中で前記視覚ベース姿勢と前記センサベース姿勢とを別個に使用するステップが、
   前記第1のグラフィックと前記第2のグラフィックとを用いて特定の方向に前記モバイルデバイスを移動するようにユーザに促すステップを含み、前記特定の方向への前記モバイルデバイスの移動が、前記慣性センサの前記較正の収束を加速する、請求項5に記載の方法。
8. 前記視覚化アプリケーションが、前記視覚ベース姿勢と前記センサベース姿勢とに基づいて前記モバイルデバイス上にグラフィックスを表示する前記モバイルデバイスのための動きベースゲームと写真アプリケーションとのうちの1つである、請求項1に記載の方法。
9. モバイルデバイスであって、
   環境の画像をキャプチャするカメラと、
   前記モバイルデバイスの移動に応答してデータを生成する慣性センサと、
   ディスプレイと、
   前記ディスプレイに結合され、前記環境のキャプチャされた画像を受信するために前記カメラに結合され、かつ前記モバイルデバイスの前記移動に応答して前記データを受信するために前記慣性センサに結合されたプロセッサであって、前記プロセッサが、前記キャプチャされた画像を使用して前記モバイルデバイスの視覚ベース姿勢を判断することと、前記慣性センサからの前記データを使用して前記モバイルデバイスのセンサベース姿勢を判断することと、前記ディスプレイに、前記視覚ベース姿勢に基づいて第1のグラフィックを示すことと、前記センサベース姿勢に基づいて第2のグラフィックを示すこととを行わせることとを行うように構成された、プロセッサと
   を含むモバイルデバイス。
10. 前記プロセッサが、前記キャプチャされた画像と前記慣性センサとを使用して前記モバイルデバイスのハイブリッドベース姿勢を判断することと、前記ディスプレイに、前記ハイブリッドベース姿勢に基づいて第3のグラフィックを示すことを行わせることとを行うようにさらに構成された、請求項9に記載のモバイルデバイス。
11. 前記プロセッサが、前記ディスプレイに、単一のオーグメンテーション性質を示すことを行わせるように構成されることによって、前記ディスプレイに、前記視覚ベース姿勢に基づいて前記第1のグラフィックを示すことと、前記センサベース姿勢に基づいて前記第2のグラフィックを示すこととを行わせるように構成され、前記第1のグラフィックが、前記単一のオーグメンテーション性質の第1のカラーチャネルであり、前記第2のグラフィックが、前記単一のオーグメンテーション性質の第2のカラーチャネルである、請求項9に記載のモバイルデバイス。
12. 前記プロセッサが、前記視覚ベース姿勢と前記センサベース姿勢とを使用して前記慣性センサを較正するようにさらに構成され、前記プロセッサが、前記ディスプレイに、前記慣性センサの前記較正に基づいて前記第1のグラフィックと前記第2のグラフィックとを示すことを行わせるように構成された、請求項9に記載のモバイルデバイス。
13. 前記プロセッサが、前記慣性センサの前記較正の品質に基づいて前記第1のグラフィックと前記第2のグラフィックとをレンダリングするように構成され、前記慣性センサの前記較正の前記品質が、較正精度と、較正パラメータに対する信頼性と、誤差共分散と、前記誤差共分散の変動とからなるグループから選択される、請求項12に記載のモバイルデバイス。
14. 前記プロセッサが、前記第1のグラフィックと前記第2のグラフィックとを用いて特定の方向に前記モバイルデバイスを移動するようにユーザに促すことを行うようにさらに構成され、前記特定の方向への前記モバイルデバイスの前記移動が、前記慣性センサの前記較正の収束を加速する、請求項12に記載のモバイルデバイス。
15. 前記プロセッサが、前記ディスプレイに、前記モバイルデバイスのための動きベースゲームと写真アプリケーションとのうちの1つに応答して前記第1のグラフィックと前記第2のグラフィックとを示すことを行うように構成された、請求項9に記載のモバイルデバイス。
16. モバイルデバイスであって、
    キャプチャされた画像を使用して前記モバイルデバイスの視覚ベース姿勢を判断するための手段と、
    慣性センサを使用して前記モバイルデバイスのセンサベース姿勢を判断するための手段と、
    視覚化アプリケーション中で前記視覚ベース姿勢と前記センサベース姿勢とを別個に使用するための手段と
    を含むモバイルデバイス。
17. 前記キャプチャされた画像と前記慣性センサとを使用して前記モバイルデバイスのハイブリッドベース姿勢を判断するための手段をさらに含み、前記視覚化アプリケーション中で前記視覚ベース姿勢と前記センサベース姿勢とを別個に使用するための前記手段が、前記ハイブリッドベース姿勢をさらに使用する、請求項16に記載のモバイルデバイス。
18. 前記視覚化アプリケーション中で前記視覚ベース姿勢と前記センサベース姿勢とを別個に使用するための前記手段が、前記視覚ベース姿勢に基づいて第1のグラフィックを表示し、前記センサベース姿勢に基づいて第2のグラフィックを表示する、請求項16に記載のモバイルデバイス。
19. 前記視覚化アプリケーション中で前記視覚ベース姿勢と前記センサベース姿勢とを使用するための前記手段が、単一のオーグメンテーション性質をレンダリングし、前記第1のグラフィックが、前記単一のオーグメンテーション性質のための第1のカラーチャネルであり、前記第2のグラフィックが、前記単一のオーグメンテーション性質のための第2のカラーチャネルである、請求項18に記載のモバイルデバイス。
20. 前記視覚化アプリケーション中で前記視覚ベース姿勢と前記センサベース姿勢とを使用するための前記手段が、前記キャプチャされた画像を使用して前記慣性センサの較正を実行し、前記第1のグラフィックと前記第2のグラフィックとが、前記慣性センサの前記較正に基づいてレンダリングされる、請求項18に記載のモバイルデバイス。
21. 前記視覚化アプリケーション中で前記視覚ベース姿勢と前記センサベース姿勢とを別個に使用するための前記手段が、前記第1のグラフィックと前記第2のグラフィックとを用いて特定の方向に前記モバイルデバイスを移動するようにユーザに促し、前記特定の方向への前記モバイルデバイスの移動が、前記慣性センサの前記較正の収束を加速する、請求項20に記載のモバイルデバイス。
22. 前記視覚化アプリケーションが、動きベースゲームと写真アプリケーションとのうちの1つである、請求項16に記載のモバイルデバイス。
23. プログラムコードを記憶した記憶媒体であって、
    キャプチャされた画像を使用してモバイルデバイスの視覚ベース姿勢を判断するためのプログラムコードと、
    慣性センサを使用して前記モバイルデバイスのセンサベース姿勢を判断するためのプログラムコードと、
    視覚化アプリケーション中で前記視覚ベース姿勢と前記センサベース姿勢とを別個に使用するためのプログラムコードと
    を含む記憶媒体。
24. 前記視覚化アプリケーション中で前記視覚ベース姿勢と前記センサベース姿勢とを別個に使用するための前記プログラムコードが、前記視覚ベース姿勢に基づいて第1のグラフィックを表示し、前記センサベース姿勢に基づいて第2のグラフィックを表示するためのプログラムコードを含む、請求項23に記載の記憶媒体。
25. 前記視覚化アプリケーション中で前記視覚ベース姿勢と前記センサベース姿勢とを別個に使用するための前記プログラムコードが、前記キャプチャされた画像を使用して前記慣性センサの較正を実行するためのプログラムコードを含み、前記第1のグラフィックと前記第2のグラフィックとが、前記慣性センサの前記較正に基づいてレンダリングされる、請求項24に記載の記憶媒体。
26. 前記視覚化アプリケーション中で前記視覚ベース姿勢と前記センサベース姿勢とを別個に使用するための前記プログラムコードが、
    前記第1のグラフィックと前記第2のグラフィックとを用いて特定の方向に前記モバイルデバイスを移動するようにユーザに促すためのプログラムコードを含み、前記特定の方向への前記モバイルデバイスの移動が、前記慣性センサの前記較正の収束を加速する、請求項25に記載の記憶媒体。
27. 前記視覚化アプリケーションが、前記視覚ベース姿勢と前記センサベース姿勢とに基づいて前記モバイルデバイス上にグラフィックスを表示する前記モバイルデバイスのための動きベースゲームと写真アプリケーションとのうちの1つである、請求項23に記載の記憶媒体。

Images