JP2014503923A

JP2014503923A - コンテキストアウェアな拡張相互作用

Info

Publication number: JP2014503923A
Application number: JP2013551432A
Authority: JP
Inventors: ロイ・ローレンス・アショク・イニゴ
Original assignee: クアルコム，インコーポレイテッド
Priority date: 2011-01-31
Filing date: 2012-01-31
Publication date: 2014-02-13
Anticipated expiration: 2032-01-31
Also published as: CN103443743B; KR20130116355A; EP2671188B1; US8509483B2; KR101554797B1; JP5640161B2; CN103443743A; WO2012106366A3; US20120195460A1; WO2012106366A2; EP2671188A2

Abstract

モバイルプラットフォームは、現実世界のオブジェクト間の近接度および/または相対位置などの空間的関係に基づいて、様々な拡張現実のオブジェクトをレンダリングする。モバイルプラットフォームは、1つまたは複数の取得画像内の第1のオブジェクトおよび第2のオブジェクトを検出および追跡する。モバイルプラットフォームは、たとえばオブジェクト間の近接度もしくは距離、および/または、オブジェクト間の相対位置などの、オブジェクトの空間的関係を決定する。近接度は、オブジェクトが同じ画像内に現れるかどうか、またはオブジェクト間の距離に基づく可能性がある。たとえばデータベースを探索することにより、オブジェクトの空間的関係に基づいて、レンダリングされるべき拡張オブジェクトが決定される。選択された拡張オブジェクトは、レンダリングおよび表示される。

Description

本開示は、コンテキストアウェアな拡張相互作用に関する。

拡張現実(AR)のアプリケーションでは、現実世界のオブジェクトが撮像され、画像情報またはテキスト情報などのコンピュータ生成情報とともにスクリーン上に表示される。ARは、建築物または製品など、現実世界のオブジェクトについて、グラフィカルな、またはテキストの情報を与えるために使用され得る。典型的には、表示されるARオブジェクトは、撮像される現実世界のオブジェクトに依存する。しかしながら、ARオブジェクトをレンダリングするとき、たとえば位置または他の周囲のオブジェクトなど、その現実世界のオブジェクトのコンテキストは考慮されない。しかしながら、物理的環境または他の製品への近接度に対するコンテキストを有するARコンテンツを表示することができるのが望ましい。

モバイルプラットフォームは、現実世界のオブジェクト間の近接度および/または相対位置などの空間的関係に基づいて、様々な拡張現実のオブジェクトをレンダリングする。オブジェクトの近接度またはオブジェクトの相対位置であってもよい空間的関係は、現実世界のオブジェクトのコンテキストを与える。モバイルプラットフォームは、1つまたは複数の取得画像内の第1のオブジェクトおよび第2のオブジェクトを検出および追跡する。次いで、モバイルプラットフォームは、オブジェクト間の近接度(もしくは距離)および/または相対位置などの、オブジェクトの空間的関係を決定する。近接度は、オブジェクトが同じ画像内に現れるかどうか、または、たとえば姿勢情報に基づいて、もしくは画像処理を通して決定される、オブジェクト間の定量的距離に基づく可能性がある。たとえばデータベースを探索することにより、オブジェクトの空間的関係に基づいて、レンダリングされるべき拡張オブジェクトが決定される。選択された拡張オブジェクトは、レンダリングおよび表示される。

現実世界のオブジェクトの空間的関係に基づく拡張現実のアプリケーションを与えることができるモバイルプラットフォームの前面部を示す図である。現実世界のオブジェクトの空間的関係に基づく拡張現実のアプリケーションを与えることができるモバイルプラットフォームの背面部を示す図である。 2つの現実世界のオブジェクト、および現実世界のオブジェクト間の空間的関係に基づいてレンダリングされた拡張オブジェクトの取得された画像を表示するモバイルプラットフォームの前面部を示す図である。現実世界のオブジェクトの空間的関係に基づく拡張現実のアプリケーションを与えるフローチャートである。 3つの現実世界のオブジェクト、および現実世界のオブジェクト間の空間的関係に基づいてレンダリングされた異なる拡張オブジェクトの取得された画像を表示するモバイルプラットフォームの前面部を示す図である。現実世界のオブジェクトを別個に撮像するモバイルプラットフォーム100の平面図である。現実世界のオブジェクトを別個に撮像するモバイルプラットフォーム100の平面図である。図5Aのオブジェクトを別個に撮像するとき、モバイルプラットフォームにより表示される画像を示す図である。図5Bのオブジェクトを別個に撮像するとき、モバイルプラットフォームにより表示される画像を示す図である。現実世界のオブジェクトの空間的関係に基づく拡張現実のアプリケーションを与えることができるモバイルプラットフォームのブロック図である。

図1Aおよび図1Bはそれぞれ、現実世界のオブジェクトの空間的関係に基づく拡張現実のアプリケーションを与えることができるモバイルプラットフォーム100の前面部および背面部を示す。図1Aおよび図1Bにおけるモバイルプラットフォーム100は、ハウジング101と、タッチスクリーンディスプレイでもよいディスプレイ102とを含むように示されている。また、モバイルプラットフォーム100は、たとえば携帯電話である場合には、スピーカ104およびマイクロフォン106を含み得る。さらに、モバイルプラットフォーム100は、ディスプレイ102に表示される周囲の物を撮像する前方カメラ108を含む。さらに、モバイルプラットフォーム100は、加速度計、ジャイロスコープなどのモーションセンサ110を含むことができ、このモーションセンサ110は、モバイルプラットフォーム100の姿勢を決定する際の補助に用いられてもよく、または同様の意味合いで、モーションセンサ110に対する、既知の/キャリブレーションされた位置関係を有し得るカメラ108の姿勢を決定する際の補助に用いられてもよい。モバイルプラットフォーム100の姿勢は、視覚ベースの追跡技術を用いて付加的または代替的に求められてもよい。モバイルプラットフォーム100は、携帯電話もしくは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、カメラ、または、拡張現実(AR)に対応可能な他の好適なモバイルデバイスなどの、任意のポータブル電子デバイスであってもよいことを理解されたい。

図2は、ランドスケープモードにあるモバイルプラットフォーム100の前面部を示す。ディスプレイ102は、2つの現実世界のオブジェクト、すなわちオブジェクトA120およびオブジェクトB122の取得された画像を表示するように示されている。例として、オブジェクトA120およびオブジェクトB122は、食料品棚124上の互いに近接するシリアルの箱などの製品であってもよい。また、ディスプレイ102は、矢印の形態の、コンピュータレンダリングされたARオブジェクト126を表示するように示されている。現実世界のオブジェクト120、122の取得された画像は、カメラ108によって生成されるが、ARオブジェクト126は、コンピュータレンダリングされたオブジェクト(または情報)である。取得された画像は、たとえば写真などの単一の画像、または、カメラ108によって生成された、1つまたは複数のビデオフレームであってもよいことを理解されたい。

モバイルプラットフォーム100によってレンダリングおよび表示されるARオブジェクト126は、撮像された現実世界のオブジェクトにだけでなく、撮像されたオブジェクトの空間的関係にも依存する。例として、空間的関係は、他の撮像されたオブジェクトの近接度であってもよい。したがって、あるタイプのARオブジェクトは、現実世界のオブジェクトが別の相補的な現実世界のオブジェクトに近接するとき、レンダリングされ得るが、異なるARオブジェクトまたはARオブジェクトの異なる挙動は、オブジェクトが近接していないか、または適合しない現実世界のオブジェクトが近接しているとき、レンダリングされ得る。たとえば、あるタイプのARオブジェクトは、朝食製品が互いに近接して配置されるとき、レンダリングされ得るが、異なるARオブジェクトまたはARオブジェクトの異なる挙動は、朝食製品がアルコール飲料のボトルに近接して配置されるとき、レンダリングされ得る。現実世界のオブジェクトの空間的関係は、オブジェクトの相対位置などの他の要因、および時刻または地理的位置などの他の要因を含み得る。

図3は、現実世界のオブジェクトの空間的関係に基づく拡張現実のアプリケーションを与えるフローチャートである。図示するように、モバイルプラットフォームのカメラによって取得された画像内の第1のオブジェクトが検出および追跡される(202)。オブジェクトが検出されると、オブジェクトは、たとえば、オンボードデータベースを参照するか、またはリモートサーバにアクセスすることによって、識別され得る。オブジェクトの追跡は、オブジェクトに対する、モバイルプラットフォームの位置および方位(姿勢)情報を与える。オブジェクトは、2次元または3次元のオブジェクトであってもよい。例として、図2のモバイルプラットフォーム100によって撮像されたオブジェクトA120が検出および追跡される。

また、カメラによって取得された画像内の第2のオブジェクトが検出および追跡される(204)。ここでもまた、第2のオブジェクトは、検出されると、たとえば、オンボードデータベースを参照するか、またはリモートサーバにアクセスすることによって、識別され得る。例として、図2のモバイルプラットフォーム100によって撮像されたオブジェクトB122が検出および追跡される。第2のオブジェクトは、同じ画像フレームに近接して、および同じ画像フレーム内、すなわち第1のオブジェクトと同じ取得画像内に配置されるアイテムであってもよい。さらに、第2のオブジェクトは、別個の画像フレーム内にあるアイテムとすることができ、すなわち、第2のオブジェクトは、第1のオブジェクトと異なる取得画像内に現れる。したがって、たとえば、第1のオブジェクトは、撮像、検出、および追跡され得る。その場合、モバイルプラットフォームは、検出および追跡される第2のオブジェクトの画像を取得するために移動し得る。

次いで、オブジェクトのコンテキストを与えるために、オブジェクトの空間的関係が決定される(206)。必要に応じて、オブジェクトの空間的関係は、オブジェクトが、たとえばオンボードまたは外部のデータベースにアクセスすることによって決定され得る、関連のコンテキスト的に依存する拡張現実のオブジェクトを有するオブジェクトとして識別される場合のみ、決定され得る。空間的関係は、撮像されたオブジェクトの近接度であってもよい。第1のオブジェクトおよび第2のオブジェクトは、両オブジェクトの少なくとも一部分が同時にカメラの視野内にある場合、近接していると見なされ得る。そうでない場合、近接度は、第1のオブジェクトと第2のオブジェクトとの間の定量的な距離として決定され得る。たとえば、距離は、オブジェクト間の距離をオブジェクトのサイズと比較するか、または第1のオブジェクトおよび第2のオブジェクトの追跡からの姿勢情報を用いることによって、決定され得る。距離は、オブジェクトが近接していると見なされるかどうかを決定するために、1つまたは複数の閾値と比較され得る。さらに、第1のオブジェクトおよび第2のオブジェクトが同じ画像内に現れない場合、オブジェクトの近接度は、追跡情報と、モバイルプラットフォーム100内のモーションセンサ110からのデータとを用いて決定される、オブジェクト間の距離に基づいて決定され得る。付加的または代替的に、空間的関係は、たとえば第1のオブジェクトが第2のオブジェクトの前または上にあるかどうかなどの、第1のオブジェクトと第2のオブジェクトとの相対位置であってもよい。また、1つまたは複数の追加の現実世界のオブジェクトの存在(または不在)、時刻、周辺光、モバイルプラットフォームの地理的位置などの、追加のコンテキスト情報を用いることができる。

識別された第1のオブジェクトと識別された第2のオブジェクトとの間の、決定された空間的関係を用いて、レンダリングされるべきARオブジェクトが決定され得る(208)。たとえば、ARオブジェクトのデータベースは、特定の現実世界のオブジェクトの異なる空間的関係に関して維持され得る。現実世界のオブジェクトの空間的関係が決定されると、データベースは、レンダリングされるべきARオブジェクトを決定するためにアクセスされ得る。次いで、ARオブジェクトは、モバイルプラットフォーム100によってレンダリングおよび表示され得る(210)。

例として、図2は、識別されたオブジェクトA120と識別されたオブジェクトB122との空間的関係に基づいてレンダリングおよび表示されるARオブジェクト126を示す。ARオブジェクト126は、たとえばオブジェクトA120がオブジェクトB122と適合することを示す矢印の形態である。他方では、図4は、第3のオブジェクトが識別され、オブジェクトC123が検出および追跡されオブジェクトB122に近接することが決定されることを除いて、図2に示す画像と同様の画像を生成するモバイルプラットフォーム100を示す。貫通する線とともに矢印を含む、異なるARオブジェクト128は、たとえばオブジェクトB122と、適合しないオブジェクトC123との近接度などの、空間的関係に基づいてレンダリングされる。必要に応じて、ARオブジェクトは、アニメーション化され、アニメーション化されたARオブジェクトの挙動は、現実世界のオブジェクトの空間的関係に基づいて変化する可能性がある。さらに、必要に応じて、追加の現実世界のオブジェクトは、検出および追跡され、レンダリングされるべきARオブジェクトを決定するために用いられる可能性がある。

図5Aおよび図5Bはそれぞれ、オブジェクトA120とオブジェクトB122とを別個に撮像するモバイルプラットフォーム100の平面図を示す。図6Aおよび図6Bはそれぞれ、図5Aおよび図5Bに示すように、モバイルプラットフォーム100がオブジェクトA120とオブジェクトB122とを別個に撮像するとき、モバイルプラットフォーム100のディスプレイ102に表示される画像を示す。図5Aおよび図6Aに示すように、モバイルプラットフォーム100は、現実世界のオブジェクトA120を撮像および表示する。図3のステップ202で上述したように、オブジェクトA120が検出および追跡される。オブジェクト122は、図5Aのカメラの視野109の外側にあるので、図6Aに表示されない。図5Bに示すように、現実世界のオブジェクトB122を視野109内に配置するためにモバイルプラットフォーム100を移動させた後、オブジェクトB122は、図6Bに示すように、撮像および表示される。図3のステップ204で上述したように、オブジェクトB122が検出および追跡される。図5Bに示すように、オブジェクトA120とオブジェクトB122との空間的関係は、オブジェクトの近接度を決定することによって決定される(図3のステップ206)。たとえば、近接度は、破線矢印130によって示される、オブジェクトA120とオブジェクトB122との間の距離として、および/または、破線矢印132によって示される、オブジェクト120と122との間の角変位により、決定され得る。距離130および/または角変位132は、追跡情報と、モバイルプラットフォーム上のモーションセンサ110からのデータとを用いて決定され得る。所望のARオブジェクトは、決定された空間的関係、すなわちオブジェクトの近接度に基づいて決定され(図3のステップ208)、次いで、レンダリングおよび表示される(図3のステップ210)。たとえば、図6Bに示すように、オブジェクトA120のレンダリング画像およびオブジェクトA120の方向を指す矢印を含むARオブジェクト129が表示される。

図7は、現実世界のオブジェクトの空間的関係に基づく拡張現実のアプリケーションを与えることができるモバイルプラットフォーム100のブロック図である。モバイルプラットフォーム100は、カメラ108などの、現実世界のオブジェクトの画像を取得するための手段と、加速度計、ジャイロスコープ、電子コンパス、または他の同様のモーション検知素子などのモーションセンサ110とを含む。モバイルプラットフォーム100は、「コンピュータビジョン」技術を用いるオブジェクト認識などの、他の位置決定方法を含み得る。さらに、モバイルプラットフォームは、ディスプレイ102などの、取得された画像およびレンダリングされたARオブジェクトを表示するための手段を含むユーザインターフェース150を含む。また、ユーザインターフェース150は、キーパッド152、または、ユーザが情報をモバイルプラットフォーム100に入力することができる他の入力デバイスを含み得る。必要に応じて、キーパッド152は、タッチセンサを有するディスプレイ102に仮想キーパッドを組み込むことによって省かれてもよい。また、ユーザインターフェース150は、たとえばモバイルプラットフォームが携帯電話である場合、マイクロフォン106とスピーカ104を含み得る。もちろん、モバイルプラットフォーム100は、ワイヤレストランシーバなどの、本開示に関係しない他の要素を含み得る。

また、モバイルプラットフォーム100は、カメラ108、モーションセンサ110、およびユーザインターフェース150に接続され、それらと通信する制御ユニット160を含む。制御ユニット160は、カメラ108およびモーションセンサ110からデータを受けて処理し、それに応じてディスプレイ102を制御する。制御ユニット160は、プロセッサ161および関連するメモリ164、ハードウェア162、ソフトウェア165、ならびにファームウェア163によって与えられ得る。制御ユニット160は、現実世界のオブジェクトを検出するために、カメラ108からの画像を処理するための画像プロセッサ166を含み得る。また、制御ユニットは、たとえば、モーションセンサ110から受け取られたデータに基づいて、および/または、カメラ108によって取得された追加の画像を用いた、視覚ベースの追跡技術に基づいて、現実世界のオブジェクトに対するモバイルプラットフォーム100の姿勢を決定および追跡するための位置プロセッサ167を含み得る。また、位置プロセッサ167は、現実世界のオブジェクトの近接度と、オブジェクトの空間的関係とを決定し得る。さらに、制御ユニット160は、現実世界のオブジェクトの位置および空間的関係に対して所望のARオブジェクトをレンダリングするために、たとえばゲームエンジンなどでもよいグラフィックスエンジン168を含み得る。グラフィックスエンジン168は、オブジェクトの近接度および/または相対位置などの、現実世界のオブジェクトの空間的関係、ならびに、(クロック170に基づいて決定されてもよい)時刻および(任意の衛星位置システム(SPS)受信機172からのデータに基づいて決定されてもよい)地理的位置などの、任意の他の所望の要因に基づいて、メモリ164内にあってもよいデータベース169からARオブジェクトを検索し得る。画像プロセッサ166、位置プロセッサ167、およびグラフィックスエンジンは、説明を簡単にするためにプロセッサ161とは別に示されているが、これらはプロセッサ161の一部でもよく、または、プロセッサ161の中で動作するソフトウェア165の命令に基づいてプロセッサの中で実施されてもよい。本明細書に使用するように、プロセッサ161は、1つまたは複数のマイクロプロセッサ、組込み型プロセッサ、コントローラ
、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)などを含み得るが、必ずしもそれらを含む必要はないことが理解されよう。プロセッサという用語は、特定のハードウェアではなく、システムによって実施される機能について説明することを意図する。さらに、本明細書に使用するように、「メモリ」という用語は、長期メモリ、短期メモリ、またはモバイルプラットフォームに関連する他のメモリを含む任意のタイプのコンピュータ記憶媒体を指し、いかなる特定のタイプのメモリ、もしくはメモリの数、またはメモリが記憶される媒体のタイプに限定されない。

本デバイスは、画像プロセッサ166、位置プロセッサ167、ならびに、必要に応じてモーションセンサ110を含み得る、1つまたは複数の画像内の第1のオブジェクトおよび第2のオブジェクトを検出および追跡するための手段を含む。さらに、本デバイスは、位置プロセッサ167を含み得る、第1のオブジェクトと第2のオブジェクトとの間の空間的関係を決定するための手段を含む。第1のオブジェクトと第2のオブジェクトとの間の空間的関係に基づいてレンダリングする拡張オブジェクトを決定するための手段は、データベース169にアクセスする、グラフィックスエンジン168を含み得る。さらに、本デバイスは、位置プロセッサ167およびモーションセンサ110を含み得る、異なるオブジェクトに関連付けられた姿勢(モバイルプラットフォームの位置および方位)を決定するための手段を含み得る。本デバイスは、画像プロセッサ166であってもよい、オブジェクト間の距離を決定するためにオブジェクトのサイズをオブジェクト間の間隔と比較するための手段を含み得る。

本明細書で説明される方法は、用途に応じて様々な手段によって実施されてもよい。たとえば、これらの方法は、ハードウェア162、ファームウェア163、ソフトウェア165、またはそれらの任意の組合せで実施されてもよい。ハードウェアの実装形態の場合、処理ユニットは、本明細書で説明された機能を実行するように設計された、1つもしくは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号プロセッシングデバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、他の電子ユニット、またはそれらの組合せ内で実装されてもよい。

ファームウェアおよび/またはソフトウェアの実装形態の場合、これらの方法は、本明細書で説明された機能を実行するモジュール(たとえば、プロシージャ、関数など)によって実装されてもよい。本明細書で説明された方法を実施するとき、命令を有形に具現化する任意の機械可読媒体が用いられてもよい。たとえば、ソフトウェアコードがメモリ164に記憶され、プロセッサ161によって実行されてもよい。メモリは、プロセッサ161の内部に実装されてもよく、または、プロセッサ161の外部に実装されてもよい。

機能は、ファームウェアおよび/またはソフトウェアに実装される場合、コンピュータ可読媒体上に1つもしくは複数の命令またはコードとして記憶されてもよい。例には、データ構造で符号化された非一時的なコンピュータ可読媒体、およびコンピュータプログラムで符号化されたコンピュータ可読媒体を含める。たとえば、内部に記憶されたプログラムコードを含むコンピュータ可読媒体は、ディスプレイ上に第1のオブジェクトおよび第2のオブジェクトの画像を表示するためのプログラムコードと、第1のオブジェクトを検出および追跡し、第2のオブジェクトを検出および追跡するためのプログラムコードと、第1のオブジェクトと第2のオブジェクトとの間の空間的関係を決定するためのプログラムコードと、第1のオブジェクトと第2のオブジェクトとの間の空間的関係に基づいてレンダリングする拡張オブジェクトを決定するためのプログラムコードと、ディスプレイ上に拡張オブジェクトを表示するためのプログラムコードとを含み得る。さらに、コンピュータ可読媒体は、第1のオブジェクトに関する第1の姿勢および第2のオブジェクトに関する第2の姿勢を決定するためのプログラムコードを含んでもよく、第1のオブジェクトと第2のオブジェクトとの間の距離を決定するためのプログラムコードは、距離を決定するために第1の姿勢および第2の姿勢を用いる。さらに、コンピュータ可読媒体は、第1のオブジェクトと第2のオブジェクトとの間の距離を決定するために、第1のオブジェクトおよび第2のオブジェクトのうちの少なくとも1つのサイズを、第1のオブジェクトと第2のオブジェクトとの間の間隔と比較するためのプログラムコードを含み得る。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体でもよい。限定ではなく、例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、または、所望のプログラムコードを命令もしくはデータ構造の形で記憶するのに用いることができ、コンピュータによってアクセスすることができる任意の他の媒体を含むことができ、本明細書で使用するディスク(diskおよびdisc)には、コンパクトディスク
(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フレキシブルディスク(disk)、およびブルーレイディスク(disc)が含まれ、ディスク(disk)は通常、データを磁気的に再生するが、ディスク(disc)はデータをレーザによって光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。

たとえば、内部に記憶されたプログラムコードを含むコンピュータ可読媒体は、カメラによって取得された、3Dオブジェクトを伴う2D面の画像を表示するためのプログラムコードと、その画像の2D面を検出および追跡するためのプログラムコードと、2D面に関心領域として割り当てられた領域のオクルージョンを検出するためのプログラムコードと、3Dオブジェクトの形状を決定するためのプログラムコードと、3Dオブジェクトの形状に対してレンダリングされる、2D面上の関心領域の位置を基準にしたグラフィカルオブジェクトをレンダリングおよび表示するためのプログラムコードとを含み得る。

説明のために本発明を特定の実施形態に関連して示したが、本発明はそれらに限定されない。本発明の範囲から逸脱することなく様々な適合および改変がなされてもよい。したがって、添付の特許請求の範囲の趣旨および範囲は、上記の説明に限定されるべきではない。

100 モバイルプラットフォーム
101 ハウジング
102 ディスプレイ
104 スピーカ
106 マイクロフォン
108 カメラ
109 視野
110 モーションセンサ
120 現実世界のオブジェクトA
122 現実世界のオブジェクトB
123 現実世界のオブジェクトC
126 ARオブジェクト
128 ARオブジェクト
129 ARオブジェクト
130 現実世界のオブジェクト間の距離
132 現実世界のオブジェクト間の角変位
150 ユーザインターフェース
152 キーパッド
160 制御ユニット
161 プロセッサ
162 ハードウェア
163 ファームウェア
164 メモリ
165 ソフトウェア
166 画像プロセッサ
167 位置プロセッサ
168 グラフィックスエンジン
169 データベース
170 クロック
172 SPS受信機

説明のために本発明を特定の実施形態に関連して示したが、本発明はそれらに限定されない。本発明の範囲から逸脱することなく様々な適合および改変がなされてもよい。

Claims

第1のオブジェクトおよび第2のオブジェクトの画像を取得および表示するステップと、
前記第1のオブジェクトを検出および追跡するステップと、
前記第2のオブジェクトを検出および追跡するステップと、
前記第1のオブジェクトと前記第2のオブジェクトとの間の空間的関係を決定するステップと、
前記第1のオブジェクトと前記第2のオブジェクトとの間の前記空間的関係に基づいてレンダリングする拡張オブジェクトを決定するステップと、
前記拡張オブジェクトを表示するステップと
を含む、方法。
前記第1のオブジェクトと前記第2のオブジェクトとの間の前記空間的関係は、前記第1のオブジェクトと前記第2のオブジェクトとの近接度に基づいている、請求項1に記載の方法。
前記第1のオブジェクトと前記第2のオブジェクトとの前記近接度は、互いに前記画像内にある、前記第1のオブジェクトおよび前記第2のオブジェクトのうちの少なくとも一部に基づいている、請求項2に記載の方法。
前記第1のオブジェクトと前記第2のオブジェクトとの前記近接度は、前記第1のオブジェクトと前記第2のオブジェクトとの間の距離に基づいている、請求項2に記載の方法。
前記第1のオブジェクトと前記第2のオブジェクトとの前記近接度は、前記距離を閾値と比較することによって決定される、請求項4に記載の方法。
前記第1のオブジェクトに関する第1の姿勢および前記第2のオブジェクトに関する第2の姿勢を決定するステップと、前記距離を決定するために前記第1の姿勢および前記第2の姿勢を用いるステップとをさらに含む、請求項4に記載の方法。
前記距離を決定するために、前記第1のオブジェクトおよび前記第2のオブジェクトのうちの少なくとも1つのサイズを、前記第1のオブジェクトと前記第2のオブジェクトとの間の間隔と比較するステップをさらに含む、請求項4に記載の方法。
前記第1のオブジェクトと前記第2のオブジェクトとの間の前記空間的関係は、前記第1のオブジェクトと前記第2のオブジェクトとの相対位置に基づいている、請求項1に記載の方法。
前記第1のオブジェクトおよび前記第2のオブジェクトの前記画像を取得および表示するステップは、前記第1のオブジェクトの第1の画像を取得および表示するステップと、前記第2のオブジェクトの第2の画像を取得および表示するステップとを含み、前記第1のオブジェクトおよび前記第2のオブジェクトは、互いにカメラの視野内に現れない、請求項1に記載の方法。
第3のオブジェクトの画像を取得および表示するステップと、
前記第3のオブジェクトを検出および追跡するステップと、
前記第1のオブジェクトと前記第3のオブジェクトとの間の空間的関係を決定するステップと、
前記第1のオブジェクトと前記第3のオブジェクトとの間の前記空間的関係に基づいてレンダリングする、異なる拡張オブジェクトを決定するステップと、
前記異なる拡張オブジェクトを表示するステップと
をさらに含む、請求項1に記載の方法。
カメラと、
前記カメラに接続されたプロセッサと、
前記プロセッサに接続されたメモリと、
前記メモリに接続されたディスプレイと、
前記プロセッサに、前記ディスプレイ上に前記カメラによって取得された第1のオブジェクトおよび第2のオブジェクトの画像を表示させ、前記第1のオブジェクトを検出および追跡させ、前記第2のオブジェクトを検出および追跡させ、前記第1のオブジェクトと前記第2のオブジェクトとの間の空間的関係を決定させ、前記第1のオブジェクトと前記第2のオブジェクトとの間の前記空間的関係に基づいてレンダリングする拡張オブジェクトを決定させ、前記ディスプレイ上に前記拡張オブジェクトを表示させるために、前記メモリ内に保持され、前記プロセッサ内で実行されるソフトウェアと
を含む、モバイルプラットフォーム。
前記第1のオブジェクトと前記第2のオブジェクトとの間の前記空間的関係は、前記第1のオブジェクトと前記第2のオブジェクトとの近接度に基づいている、請求項11に記載のモバイルプラットフォーム。
前記第1のオブジェクトと前記第2のオブジェクトとの前記近接度は、互いに前記カメラの視野内にある、前記第1のオブジェクトおよび前記第2のオブジェクトのうちの少なくとも一部に基づいている、請求項12に記載のモバイルプラットフォーム。
前記プロセッサ内で実行される前記ソフトウェアは、前記第1のオブジェクトと前記第2のオブジェクトとの前記近接度を決定するために、前記プロセッサに、前記第1のオブジェクトと前記第2のオブジェクトとの間の距離を決定させる、請求項12に記載のモバイルプラットフォーム。
前記プロセッサ内で実行される前記ソフトウェアは、前記第1のオブジェクトと前記第2のオブジェクトとの前記近接度を決定するために、前記プロセッサに、前記距離を閾値と比較させる、請求項14に記載のモバイルプラットフォーム。
前記プロセッサ内で実行される前記ソフトウェアは、前記プロセッサに、前記第1のオブジェクトに関する第1の姿勢および前記第2のオブジェクトに関する第2の姿勢を決定させ、前記第1のオブジェクトと前記第2のオブジェクトとの間の前記距離を決定するために前記第1の姿勢および前記第2の姿勢を使用させる、請求項14に記載のモバイルプラットフォーム。
前記プロセッサ内で実行される前記ソフトウェアは、前記第1のオブジェクトと前記第2のオブジェクトとの間の前記距離を決定するために、前記プロセッサに、前記第1のオブジェクトおよび前記第2のオブジェクトのうちの少なくとも1つのサイズを、前記第1のオブジェクトと前記第2のオブジェクトとの間の間隔と比較させる、請求項14に記載のモバイルプラットフォーム。
前記第1のオブジェクトと前記第2のオブジェクトとの間の前記空間的関係は、前記第1のオブジェクトと前記第2のオブジェクトとの相対位置に基づいている、請求項11に記載のモバイルプラットフォーム。
前記プロセッサ内で実行される前記ソフトウェアは、前記プロセッサに、前記ディスプレイ上に前記第1のオブジェクトの第1の画像を表示させ、前記ディスプレイ上に前記第2のオブジェクトの第2の画像を表示させ、前記第1のオブジェクトおよび前記第2のオブジェクトは、互いに前記カメラの視野内に現れない、請求項11に記載のモバイルプラットフォーム。
前記プロセッサ内で実行される前記ソフトウェアは、前記プロセッサに、前記ディスプレイ上に第3のオブジェクトの画像を表示させ、前記第3のオブジェクトを検出および追跡させ、前記第1のオブジェクトと前記第3のオブジェクトとの間の空間的関係を決定させ、前記第1のオブジェクトと前記第3のオブジェクトとの間の前記空間的関係に基づいてレンダリングする異なる拡張オブジェクトを決定させ、前記ディスプレイ上に前記異なる拡張オブジェクトを表示させる、請求項11に記載のモバイルプラットフォーム。
前記プロセッサ内で実行される前記ソフトウェアは、モーションセンサからのデータを用いて、前記プロセッサに、前記第1のオブジェクトを検出および追跡させ、前記第2のオブジェクトを検出および追跡させる、モーションセンサをさらに含む、請求項11に記載のモバイルプラットフォーム。
前記プロセッサ内で実行される前記ソフトウェアは、前記カメラによって取得された画像を用いて、前記プロセッサに、前記第1のオブジェクトを検出および追跡させ、前記第2のオブジェクトを検出および追跡させる、請求項11に記載のモバイルプラットフォーム。
第1のオブジェクトおよび第2のオブジェクトの画像を取得するための手段と、
前記第1のオブジェクトおよび前記第2のオブジェクトを検出および追跡するための手段と、
前記第1のオブジェクトと前記第2のオブジェクトとの間の空間的関係を決定するための手段と、
前記第1のオブジェクトと前記第2のオブジェクトとの間の前記空間的関係に基づいてレンダリングする拡張オブジェクトを決定するための手段と、
前記拡張オブジェクトと、前記第1のオブジェクトおよび前記第2のオブジェクトの前記画像とを表示するための手段と
を含む、デバイス。
前記第1のオブジェクトと前記第2のオブジェクトとの間の前記空間的関係は、前記第1のオブジェクトと前記第2のオブジェクトとの近接度に基づいている、請求項23に記載のデバイス。
前記第1のオブジェクトと前記第2のオブジェクトとの前記近接度は、互いに前記画像内にある、前記第1のオブジェクトおよび前記第2のオブジェクトのうちの少なくとも一部に基づいている、請求項24に記載のデバイス。
前記第1のオブジェクトと前記第2のオブジェクトとの前記近接度は、前記第1のオブジェクトと前記第2のオブジェクトとの間の距離に基づいている、請求項24に記載のデバイス。
前記第1のオブジェクトと前記第2のオブジェクトとの間の前記空間的関係を決定するための前記手段は、前記距離を閾値と比較する、請求項26に記載のデバイス。
前記第1のオブジェクトに関する第1の姿勢および前記第2のオブジェクトに関する第2の姿勢を決定するための手段であって、前記第1の姿勢および前記第2の姿勢は、前記距離を決定するために用いられる、手段をさらに含む、請求項26に記載のデバイス。
前記距離を決定するために、前記第1のオブジェクトおよび前記第2のオブジェクトのうちの少なくとも1つのサイズを、前記第1のオブジェクトと前記第2のオブジェクトとの間の間隔と比較するための手段をさらに含む、請求項26に記載のデバイス。
前記第1のオブジェクトと前記第2のオブジェクトとの間の前記空間的関係は、前記第1のオブジェクトと前記第2のオブジェクトとの相対位置に基づいている、請求項23に記載のデバイス。
プロセッサにより実行可能なプログラムコードを記録するコンピュータ可読記録媒体であって、
ディスプレイ上に第1のオブジェクトおよび第2のオブジェクトの画像を表示するためのプログラムコードと、
前記第1のオブジェクトを検出および追跡し、前記第2のオブジェクトを検出および追跡するためのプログラムコードと、
前記第1のオブジェクトと前記第2のオブジェクトとの間の空間的関係を決定するためのプログラムコードと、
前記第1のオブジェクトと前記第2のオブジェクトとの間の前記空間的関係に基づいてレンダリングする拡張オブジェクトを決定するためのプログラムコードと、
前記ディスプレイ上に前記拡張オブジェクトを表示するためのプログラムコードと
を含む、コンピュータ可読記録媒体。
前記第1のオブジェクトと前記第2のオブジェクトとの間の前記空間的関係は、前記第1のオブジェクトと前記第2のオブジェクトとの近接度に基づいている、請求項31に記載のコンピュータ可読記録媒体。
前記第1のオブジェクトと前記第2のオブジェクトとの前記近接度は、互いに前記画像内にある、前記第1のオブジェクトおよび前記第2のオブジェクトのうちの少なくとも一部に基づいている、請求項32に記載のコンピュータ可読記録媒体。
前記第1のオブジェクトと前記第2のオブジェクトとの前記近接度を決定するための前記プログラムコードは、前記第1のオブジェクトと前記第2のオブジェクトとの間の距離を決定するためのプログラムコードを含む、請求項32に記載のコンピュータ可読記録媒体。
前記第1のオブジェクトと前記第2のオブジェクトとの前記近接度を決定するための前記プログラムコードは、前記第1のオブジェクトと前記第2のオブジェクトとの前記近接度を決定するために、前記距離を閾値と比較する、請求項34に記載のコンピュータ可読記録媒体。
前記第1のオブジェクトに関する第1の姿勢および前記第2のオブジェクトに関する第2の姿勢を決定するためのプログラムコードであって、前記第1のオブジェクトと前記第2のオブジェクトとの間の前記距離を決定するための前記プログラムコードは、前記距離を決定するために前記第1の姿勢および前記第2の姿勢を用いる、プログラムコードをさらに含む、請求項34に記載のコンピュータ可読記録媒体。
前記第1のオブジェクトと前記第2のオブジェクトとの間の前記距離を決定するための前記プログラムコードは、前記第1のオブジェクトと前記第2のオブジェクトとの間の前記距離を決定するために、前記第1のオブジェクトおよび前記第2のオブジェクトのうちの少なくとも1つのサイズを、前記第1のオブジェクトと前記第2のオブジェクトとの間の間隔と比較する、請求項34に記載のコンピュータ可読記録媒体。
前記第1のオブジェクトと前記第2のオブジェクトとの間の前記空間的関係は、前記第1のオブジェクトと前記第2のオブジェクトとの相対位置に基づいている、請求項31に記載のコンピュータ可読記録媒体。