JP2015506033A - モバイル・デバイスにおける完全な３ｄ対話 - Google Patents

Abstract

３次元（３Ｄ）環境をモバイル・デバイスの画面上に表示し、モバイル・デバイス背後の領域とのユーザ対話を識別するためのシステム及び方法が提供される。加えて、３Ｄ環境を、第１のユーザ対話に少なくとも部分的に基づいて修正することができる。さらに、３Ｄ環境は、モバイル・デバイスの動き並びにユーザ対話に基づいて修正されることもあり、これによりユーザは、モバイル／ハンドヘルド・デバイスを移動させることによって、仮想３Ｄ環境をナビゲートすることが可能になる。

Description

実施形態は、一般にモバイル・デバイスの対話性に関する。より具体的に、実施形態は、モバイル・デバイスの対話性を強化するための３次元（３Ｄ）環境の使用に関する。

従来のスマートフォンは、画面上に表示されているコンテンツと比較して小さい画面（例えばディスプレイ）を有することがある。例えば典型的なデスクトップ環境は、典型的なスマートフォン上で見ることが困難な可能性がある、いくつかのウィンドウを含むことができる。

比較的小さな画面サイズに適応するためにいくつかのソリューションが開発されてきている可能性があるが、依然としてかなりの改良の余地が残されている。例えば表示された画像を横切ってパン（panning）するための従来の技法は、ユーザがその部分で指を「スワイプ」させる必要があり、この場合、ユーザの指が画面上のコンテンツを塞ぐ可能性がある。同様に、画像の拡大縮小には、指による「ピンチ（pinch）」が必要な可能性があり、これもユーザがコンテンツの少なくとも一部を見るのを妨げる。

実施形態は、画面を介して３次元（３Ｄ）環境を表示するための画面及びロジックを有するモバイル・デバイスを含み得る。ロジックは、モバイル・デバイス背後の領域との第１のユーザ対話を識別し、第１のユーザ対話に少なくとも部分的に基づいて３Ｄ環境を修正することもできる。

実施形態は、モバイル・デバイスの画面を介して３Ｄ環境を表示し、モバイル・デバイス背後の領域との第１のユーザ対話を識別するロジックを有する装置も含むことができる。ロジックは、第１のユーザ対話に少なくとも部分的に基づいて３Ｄ環境を修正するようにも構成され得る。

加えて、実施形態は、プロセッサによって実行されると、モバイル・デバイスに、該モバイル・デバイスの画面を介して３Ｄ環境を表示させ、モバイル・デバイス背後の領域との第１のユーザ対話を識別させる、命令セットを有する、持続性コンピュータ読取可能記憶媒体を含むことができる。命令は、モバイル・デバイスに、第１のユーザ対話に少なくとも部分的に基づいて３Ｄ環境を修正させることも可能である。

他の実施形態は、モバイル・デバイスの画面を介して３Ｄ環境を表示する、コンピュータ実装方法を含み得る。方法は、モバイル・デバイス背後の領域との第１のユーザ対話を識別することと、第１のユーザ対話に少なくとも部分的に基づいて３Ｄ環境を修正することとを提供することもできる。

本発明の実施形態の様々な利点は、本明細書の下記及び添付の特許請求の範囲を読むこと、及び以下の図面を参照することにより、当業者に明らかとなろう。

一実施形態に従った、モバイル・デバイスの画面を介して表示される３次元（３Ｄ）仮想デスクトップ環境の例を示す透視図である。 一実施形態に従った、モバイル・デバイスの画面を介して表示される代替の３Ｄ仮想環境の例を示す透視図である。 一実施形態に従った、ユーザがモバイル・デバイスと対話できるようにするために３Ｄ仮想環境を使用する方法の例を示すフローチャートである。 一実施形態に従った、モバイル・デバイスの例を示すブロック図である。

図１に進むと、モバイル・デバイス１０が示されている。モバイル・デバイス１０は、ユーザ１４が見ることのできる画面１２（例えば液晶ディスプレイ／ＬＣＤ、タッチ・スクリーン、立体ディスプレイ等）を有する。モバイル・デバイス１０は、例えばスマートフォン、モバイル・インターフェース・デバイス（ＭＩＤ）、ノート型コンピュータ又は画面１２のサイズが比較的小さい他の同様のデバイスとすることができる。図示された例において、３Ｄ環境１６は、モバイル・デバイス１０の前から見たときにモバイル・デバイス１０背後のある程度の距離に配置されているように見えるように、画面１２上に表示される。３Ｄ環境１６は、例えば複数のウィンドウ１８（１８ａ、１８ｂ）が画面１２よりもかなり大きく見える、仮想デスクトップ環境を含んでもよい。ウィンドウ１８の位置は、「空中（in-air）」にある（例えば浮いている）か、物理デスクトップや壁等のモバイル・デバイス１０背後の何らかの外部表面に「固定（pinned）」されることが可能である。

一般に、ユーザ１４は、モバイル・デバイス１０を一方の手に保持し、もう一方の「空いている手」２０で、３Ｄ環境１６と対話することがある。３Ｄ環境１６とのユーザ対話は、例えばカーソル移動操作、クリック操作、ドラッグ・アンド・ドロップ操作、ピンチ操作、選択操作、オブジェクト回転操作等に関連する、アクティビティを含むことが可能であり、操作を実行するモードは環境に応じて変化することがある。例えば３Ｄ環境１６が物理デスクトップなどの外部表面に固定される場合、ユーザ１４は、空いている手２０の人差し指（又は他の指）を用いて外部表面をタップすることによって、ウィンドウ１８を選択する可能性がある。こうしたケースでは、モバイル・デバイス１０は、タッピング（例えばユーザ対話）を検出し、３Ｄ環境１６において適切なクリック及び／又は選択操作を実行するための、後方画像センサ及び／又はマイクロフォン（図示せず）を含むことがある。例えば後方画像センサは、パターン／オブジェクト認識技法を使用して、タッピング対話に対応する様々な手の形状及び／又は動きを識別する可能性がある。同様に、マイクロフォンは、タッピング対話に対応する音声周波数コンテンツを識別することが可能な場合がある。ドラッグ・アンド・ドロップ動作及びピンチ動作のような他のユーザ対話を、後方画像センサ及び／又はマイクロフォンを使用して識別してもよい。

したがって、図示されたウィンドウ１８ｂが現在（例えば環境の最前部にある）アクティブ・ウィンドウであり、空いている手２０の人差し指が他のウィンドウ１８ａに対応する位置で外部表面をタップする場合、モバイル・デバイス１０は、他のウィンドウ１８ａをアクティブ・ウィンドウにすること（例えば環境の最前部に移動すること）によって、応答することができる。特に注目すべきことは、こうした手法によって、外部表面がユーザ１４に触覚フィードバックを提供できる場合があることである。以下でより詳細に説明するように、３Ｄ環境１６が空中環境である（例えば外部表面に固定されていない）場合、触覚フィードバックは、ユーザ対話の検出に応答して、空いている手２０に空気をひと吹きするように構成されるデバイス上の空気ノズルのような、別の構成要素によって提供されることもある。

ユーザ１４は、空いている手２０の人差し指を所望の位置まで移動させ、モバイル・デバイス１０を保持している手を使用して、３Ｄ環境１６内で１つ又は複数の操作をトリガするボタン２２のようなモバイル・デバイス１０のユーザ・インターフェース（ＵＩ）と対話することも可能である。したがって、ユーザ１４の空いている手２０をマウスの位置調整機構として機能させながら、ボタン２２はマウスの左及び／又は右クリック・ボタンとして、有効に機能することができる。例えばボタン２２は、ウィンドウ１８をクリックするか又は他の方法で選択するために、外部表面をタップするための代替として使用される可能性もある。したがって、ユーザ１４は、単に空いている手２０を移動させて３Ｄ環境１６内の所望の位置へポイントし、他方の手を使用してボタン２２を押し、クリック／選択操作を開始してもよい。加えてボタン２２は、ドラッグ・アンド・ドロップ又はピンチ操作のような、１つ又は複数の複雑な操作を実行するために使用されてもよい。

すでに述べたように、別の方法として、３Ｄ環境１６は特定の外部表面に固定されない空中環境として実装されてもよい。こうしたケースでは、空いている手２０の動きを、３Ｄ環境１６内のウィンドウ１８及び他のオブジェクトに対応する空中の位置に関連させることができる。モバイル・デバイス１０は、３Ｄ環境１６とのユーザ対話に応答して触覚フィードバックを提供する、空気ノズル（図示せず）も備えてもよい。

図示されたモバイル・デバイス１０は、パン及びズーム操作に固有の手法の実装も可能にすることができる。特に、ユーザ１４は、単に空いている手２０をシーンの縁部まで所望の方向に移動することによって、３Ｄ環境１６にわたってパン（例えば左、右、上又は下のスクロール）することが可能であり、この場合、後方画像センサが、空いている手２０のモーションを検出してもよい。パンの他の手法は、ユーザ１４が、モバイル・デバイス１０を関心のある方向へ傾斜／移動させることとしてよく、この場合、モバイル・デバイス１０は、モバイル・デバイス１０の動きをパン操作に変換するために後方画像センサと連動して働くことが可能な、モーション・センサ及び／又は前方画像センサ（図示せず）を備えることも可能である。いずれの手法も、画面１２を介して表示される仮想環境が、画面１２よりもかなり大きく見えるようにすることができる。

さらに、モーション・センサ及び／又は前方画像センサは、モバイル・デバイス１０の動きをズーム操作に変換するために後方画像センサと連動して働くことがある。特に、前方画像センサは、モバイル・デバイス１０とユーザ１４の顔との間の距離を決定することが可能であり、後方画像センサは、モバイル・デバイス１０とユーザ１４の空いている手２０及び／又は外部表面との間の距離を決定することが可能であり、この場合、これらの距離の変化をズーム操作に変換することができる。したがって、ユーザ１４は、モバイル・デバイス１０をユーザ１４の顔から遠くへ、３Ｄ環境内の関心領域の方へ移動させることによって、（拡大鏡を用いるように）３Ｄ環境１６の特定の領域にズームインすることができる。同様にユーザ１４は、モバイル・デバイスをユーザ１４の顔に向かって、問題の領域から遠くへ移動させることによって、３Ｄ環境１６の特定の領域をズームアウトすることができる。ズーム操作を実行するためのこうした手法により、比較的大きい仮想環境が画面１２を介して表示されることも更に可能になる。さらに、例示された手法は、３Ｄ環境の修正がモバイル・デバイス１０の背後で発生するユーザ対話に基づいていることによって、空いている手２０の指がユーザ対話中に表示されるコンテンツを塞ぐことに対するいかなる懸念をも取り除く。

図２は、１つ又は複数の３Ｄオブジェクト２６（２６ａ〜２６ｆ）がモバイル・デバイス１０の画面１２を介して表示される、別の３Ｄ環境２４を示す。図示された例では、ユーザの空いている手２０は、モバイル・デバイス１０の背後の領域と対話することによって、オブジェクト２６を選択、回転及び他の方法で操作することができる。ゲーム環境、ワークフロー環境等のような多様な仮想環境を、示された様式でレンダリングし、修正してもよい。

次に図３に移ると、ユーザがモバイル・デバイスと対話できるようにするために３Ｄ環境を使用する方法３０が示されている。方法３０は、モバイル・プラットフォームのようなモバイル・デバイス１０（図１及び図２）内で、機械又はコンピュータ読取可能記憶媒体内に記憶されるロジックの命令セットとして実装され得る。機械又はコンピュータ読取可能記憶媒体は、例えば特定用途向け集積回路（ＡＳＩＣ）、相補型金属酸化膜半導体（ＣＭＯＳ）又はトランジスタ・トランジスタ論理（ＴＴＬ）技術、あるいはこれらの組み合わせのような回路技術を使用する固定機能性論理ハードウェア内の、例えばプログラマブル論理アレイ（ＰＬＡ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、複合プログラマブル論理デバイス（ＣＰＬＤ）のような構成可能ロジックにおける、ランダム・アクセス・メモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、ファームウェア、フラッシュ・メモリ等である。例えば方法３０に示された動作を実施するためのコンピュータ・プログラム・コードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、並びに「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１つ又は複数のプログラミング言語の任意の組み合わせで書かれることがある。

一般に、方法３０のデバイス部分３２は、デバイスの動きに基づいて３Ｄ環境をレンダリング及び修正することを含み、方法３０の対話部分３４は、ユーザ対話に基づいて３Ｄ環境をレンダリング及び修正することを含むことが可能である。図示される処理ブロック３６は、フレーム・バッファを獲得することを提示する。ここで、フレーム・バッファ・データを、モバイル・デバイス１０の画面を介して３Ｄ環境の１つ又は複数の画像／ビデオ・フレームをレンダリングするのに使用されるピクセル・データに関連付けることができる。外部表面の位置及び配向は、ブロック３８において決定することができる。あるいは、仮想環境は空中位置でレンダリングされてもよく、この場合、ブロック３８での決定はバイパスされ得る。

ブロック４０は、外部表面の配向に一致するようにフレーム・バッファ・データの遠近感及び位置を調整することを提示することができる。したがって、例えば外部表面がユーザに対してある角度（例えば４５°）に配置された物理デスクトップである場合、フレーム・バッファ・データも同じ／同様の角度で傾斜させてよい。モバイル・デバイスの動き及び／又は再配向はブロック４２で検出され得る。ここで、動きの検出は、すでに論じたようなモバイル・デバイスのモーション・センサ、後方画像センサ、前方画像センサ等からの１つ又は複数の信号を使用することにより達成され得る。図示されたブロック４４は、デバイスの動き／再配向に基づいてフレーム・バッファを更新する。したがって更新は、左右のパン、ズームイン／アウト、外部表面の配向に対する適切な遠近感の維持等を含むことがある。

方法１０の対話部分３４において、ブロック４６は手／指の位置（例えば空中、デバイス上、外部表面上）を検出することを提示することができ、ブロック４８において、手／指の位置に基づいてカーソル移動操作を実行することができる。加えて、後方画像センサ、マイクロフォン及び／又はモバイル・デバイス（例えばＵＩ、ボタン等）からの１つ又は複数の信号を使用して、ブロック５０において、ユーザの一部での１つ又は複数の指のジェスチャを識別することができる。ブロック５２において、ジェスチャが検出されたと決定された場合、図示されたブロック５４において、３Ｄ環境内で適切なアクションを実行する。したがってブロック５４は、クリック操作、ドラッグ・アンド・ドロップ操作、ピンチ操作、選択操作及びオブジェクト回転操作等を実行することを含むことができる。ブロック５６は、仮想環境対話プロセスの終了が要求されたかどうかを決定することを提示する。終了が要求されていないか、又はいかなるジェスチャも検出されない場合、図示された方法３０は、デバイスの動き及び手の動きを追跡するために反復され、それに応じて３Ｄ環境を更新する。

図４は、モバイル・デバイス６０を示す。モバイル・デバイス６０は、コンピューティング機能（例えば携帯情報端末／ＰＤＡ、ラップトップ、スマート・タブレット）、通信機能（例えばワイヤレス・スマートフォン）、イメージング機能、メディア再生機能（例えばスマート・テレビジョン／ＴＶ）、又はそれらの任意の組み合わせ（例えばモバイル・インターネット・デバイス／ＭＩＤ）を有する、プラットフォームの一部とすることができる。モバイル・デバイス６０は、すでに論じたようなモバイル・デバイス１０（図１及び図２）に容易に置き換え可能である。図示された例では、デバイス６０は、システム・メモリ６６と通信可能な統合型メモリ・コントローラ（ＩＭＣ）６４を有するプロセッサ６２を含む。例えばシステム・メモリ６６は、例えばデュアル・インライン・メモリ・モジュール（ＤＩＭＭ）、スモール・アウトラインＤＩＭＭ（ＳＯＤＩＭＭ）等のような１つ又は複数のメモリ・モジュールとして構成される、動的ランダム・アクセス・メモリ（ＤＲＡＭ）を含むことがある。

図示されたデバイス６０は、ホスト・デバイスとして機能し、例えば前方画像センサ７０、後方画像センサ７２、空気ノズル７４、マイクロフォン７６、画面７８、モーション・センサ７９及び大容量ストレージ８０（例えばハード・ディスク・ドライブ／ＨＤＤ、光ディスク、フラッシュ・メモリ等）と通信可能な、チップセットのサウスブリッジとも呼ばれることがある、プラットフォーム・コントローラ・ハブ（ＰＣＨ）６８も含む。図示されたプロセッサ６２は、画面７８を介して３Ｄ環境を表示し、モバイル・デバイス６０の背後の領域とのユーザ対話を識別し、ユーザ対話に少なくとも部分的に基づいて３Ｄ環境を修正するように構成された、ロジック８２を実行することができる。３Ｄ環境は、モバイル・デバイス６０の動きに基づいて修正されることもあり、この場合、前方画像センサ７０、後方画像センサ７２、マイクロフォン７６及び／又はモーション・センサ７９からの１つ又は複数の信号を使用して、ユーザ対話及び／又はモバイル・デバイスの動きを識別することができる。加えて、モバイル・デバイス６０とのユーザ対話は、すでに論じたように、画面７８（例えばタッチ・スクリーン）を介して実装されるＵＩから、又はボタン２２（図１）のような他の適切なインターフェースからの１つ又は複数の信号に基づいて識別され得る。さらに、ロジック８２は、ノズル７４を使用して、ユーザ対話に応答して触覚フィードバックをユーザに提供することがある。

したがって、本明細書で説明される技法は、スマートフォンのような小型フォーム・ファクタ・モバイル・デバイスを使用して、完全なデスクトップ・コンピュータ体験を可能にすることができる。３Ｄ表示技術及び／又は３Ｄレンダリング機構を使用することによって、ユーザが、デバイスの画面の上、背後、下、及び横のスペースと対話しながら、モバイル・デバイスを介して対話すること、その画面に目を向けることを可能にすることができる。加えて画面は、画面に直接目を向けている個人に対してのみ見えるので、（例えばラップトップ・ディスプレイ用に設計され得るプライバシー・フィルタと同様に）ユーザ対話に関するプライバシーを向上させる。

本発明の実施形態は、すべてのタイプの半導体集積回路（「ＩＣ」）チップとともに使用するように適用可能である。これらのＩＣチップの例は、プロセッサ、コントローラ、チップセット構成要素、プログラマブル論理アレイ（ＰＬＡ）、メモリ・チップ、ネットワーク・チップ、システム・オン・チップ（ＳｏＣ）及びＳＳＤ／ＮＡＮＤコントローラＡＳＩＣ等を含むが、これらには限定されない。加えて、図面の一部では、信号導体線が線で表されている。いくつかは、主要な情報フローの方向を示すために、異なること、より多くの構成信号経路を示すこと、番号ラベルを有すること、複数の構成信号経路を示すこと、並びに／あるいは１つ又は複数の端部に矢印を有することがある。しかしながらこれは、限定的に解釈されるべきではない。むしろこうした追加の詳細は、回路をより容易に理解できるようにするために、１つ又は複数の例示の実施形態に関して使用することができる。表された全ての信号線は実際には、追加の情報を有するか否かにかかわらず、複数の方向に進行可能であり、例えば差動ペアとともに実装されるデジタル又はアナログ線、光ファイバ線及び／又はシングル・エンド線等の、任意の適切なタイプの信号スキーマで実装され得る、１つ又は複数の信号を備えてよい。

例示のサイズ／モデル／値／領域を所与のものとしていることがあるが、本発明はこれらに限定されない。製造技術（例えばフォトリソグラフィ）は経時的に成長するため、より小さなサイズのデバイスが製造可能となることが予測される。加えて、ＩＣチップ及び他の構成要素への周知の電気／接地接続は、図面及び議論をより単純にするため、及び本発明の実施形態の特定の態様を不明瞭にしないようにするために図面内に示されていても、示さなくてもよい。さらに、配置構成がブロック図の形で示されることがあるが、これは、本発明の実施形態を不明瞭にすることを避けるためであり、また、こうしたブロック図の配置構成の実装を伴う細部が、実施形態が実装されることになるプラットフォームに大幅に依存している、すなわちこうした細部が当業者の周知の範囲内にある、という事実に鑑みたものでもある。本発明の例示の実施形態を説明するために特定の細部（例えば回路）が示される場合、当業者であれば、本発明の実施形態がこれらの特定の細部を用いずに又はそれらの変形を用いて、実施可能であることが明らかとなろう。したがって本説明は、限定的ではなく例示的なものとみなされるべきである。

「結合される」という用語は、本明細書では、問題となっている構成要素間の直接又は間接的な任意のタイプの関係を指すのに使用されることがあり、電気、機械、流体、光、電磁、電気機械又は他の接続に適用してよい。加えて、本明細書において「第１」、「第２」等の用語は、議論を容易にするために使用されており、特に指示されていない限り、特定の時間的又は経時的な意味を伝えるものではない。

当業者であれば、上記の説明から、本発明の実施形態の広義な技法が様々な形で実装可能であることを理解されよう。したがって、本発明の実施形態は、その特定の例に関連して説明されているが、図面、明細書及び以下の特許請求の範囲を検討することで他の修正が当業者に明らかになることから、本発明の実施形態の真の範囲はそれらに限定されるべきではない。

Claims (35)

1. 画面と、
   ロジックと、
   を備える、モバイル・デバイスであって、
   前記ロジックは、
   前記画面を介して３次元（３Ｄ）環境を表示し、
   前記モバイル・デバイス背後の領域との第１のユーザ対話を識別し、
   前記第１のユーザ対話に少なくとも部分的に基づいて前記３Ｄ環境を修正する、
   モバイル・デバイス。
2. 前記第１のユーザ対話は、前記３Ｄ環境内の仮想オブジェクトに関連付けられた空中位置及び外部表面のうちの少なくとも１つに対する手の動きを含む、請求項１に記載のモバイル・デバイス。
3. 空気ノズルを更に含み、前記ロジックは、前記第１のユーザ対話が空中位置に対する手の動きである場合、前記空気ノズルを使用して触覚フィードバックを提供するものである、請求項１に記載のモバイル・デバイス。
4. 後方画像センサを更に含み、前記ロジックは、前記後方画像センサからの１つ又は複数の信号を使用して前記第１のユーザ対話を識別するものである、請求項１に記載のモバイル・デバイス。
5. マイクロフォンを更に含み、前記ロジックは、前記マイクロフォンからの１つ又は複数の信号を使用して前記第１のユーザ対話を識別するものである、請求項１に記載のモバイル・デバイス。
6. 前記ロジックは、前記第１のユーザ対話に少なくとも部分的に基づいて前記３Ｄ環境を修正するために、カーソル移動操作、クリック操作、ドラッグ・アンド・ドロップ操作、ピンチ操作、選択操作及びオブジェクト回転操作のうちの１つ又は複数を実行するものである、請求項１に記載のモバイル・デバイス。
7. モーション・センサを更に含み、前記ロジックは、前記モーション・センサからの１つ又は複数の信号を使用して前記モバイル・デバイスの動きを識別するものである、請求項１に記載のモバイル・デバイス。
8. モーション・センサを更に含み、前記ロジックは、前記前方画像センサからの１つ又は複数の信号を使用して前記モバイル・デバイスの動きを識別するものである、請求項１に記載のモバイル・デバイス。
9. 前記３Ｄ環境は、前記モバイル・デバイスの前記画面より概して大きい仮想デスクトップ・コンピュータ環境を含む、請求項１に記載のモバイル・デバイス。
10. 前記ロジックは、
    前記モバイル・デバイスのユーザ・インターフェースからの１つ又は複数の信号を使用して前記モバイル・デバイスとの第２のユーザ対話を識別し、
    前記第２のユーザ対話に少なくとも部分的に基づいて、クリック操作、ドラッグ・アンド・ドロップ操作及びピンチ操作のうちの少なくとも１つを用いて前記３Ｄ環境を修正する、
    請求項１に記載のモバイル・デバイス。
11. ロジックを備える装置であって、
    前記ロジックは、
    モバイル・デバイスの画面を介して３次元（３Ｄ）環境を表示し、
    前記モバイル・デバイス背後の領域との第１のユーザ対話を識別し、
    前記第１のユーザ対話に少なくとも部分的に基づいて前記３Ｄ環境を修正する、
    装置。
12. 前記第１のユーザ対話は、前記３Ｄ環境内の仮想オブジェクトに関連付けられる空中位置及び外部表面のうちの少なくとも１つに対する手の動きを含む、請求項１１に記載の装置。
13. 前記ロジックは、前記モバイル・デバイスの後方画像センサ及びマイクロフォンのうちの少なくとも１つからの１つ又は複数の信号を使用して前記第１のユーザ対話を識別するものである、請求項１１に記載の装置。
14. 前記ロジックは、前記第１のユーザ対話が空中位置に対する手の動きである場合、前記モバイル・デバイスの空気ノズルを使用して触覚フィードバックを提供するものである、請求項１１に記載の装置。
15. 前記ロジックは、前記第１のユーザ対話に少なくとも部分的に基づいて前記３Ｄ環境を修正するために、カーソル移動操作、クリック操作、ドラッグ・アンド・ドロップ操作、ピンチ操作、選択操作及びオブジェクト回転操作のうちの１つ又は複数を実行するものである、請求項１１に記載の装置。
16. 前記ロジックは、
    前記モバイル・デバイスのモーション・センサ及び前方画像センサのうちの少なくとも１つからの１つ又は複数の信号を使用して前記モバイル・デバイスの動きを識別し、
    前記モバイル・デバイスの前記動きに少なくとも部分的に基づいて、パン操作及びズーム操作のうちの少なくとも１つを用いて前記３Ｄ環境を修正する、
    請求項１１に記載の装置。
17. 前記３Ｄ環境は、前記モバイル・デバイスの前記画面より概して大きい仮想デスクトップ・コンピュータ環境を含む、請求項１１に記載の装置。
18. 前記ロジックは、
    前記モバイル・デバイスのユーザ・インターフェースからの１つ又は複数の信号を使用して、前記モバイル・デバイスとの第２のユーザ対話を識別し、
    前記第２のユーザ対話に少なくとも部分的に基づいて、クリック操作、ドラッグ・アンド・ドロップ操作及びピンチ操作のうちの少なくとも１つを用いて前記３Ｄ環境を修正する、
    請求項１１に記載の装置。
19. 前記クリック操作が、コンピュータ・マウスのクリック操作を含む、請求項１８に記載の装置。
20. プロセッサによって実行されると、モバイル・デバイスに、
    前記モバイル・デバイスの画面を介して３次元（３Ｄ）環境を表示することと、
    前記モバイル・デバイス背後の領域との第１のユーザ対話を識別することと、
    前記第１のユーザ対話に少なくとも部分的に基づいて前記３Ｄ環境を修正することと、
    を実行させる命令のセットを備える、持続性コンピュータ読取可能記憶媒体。
21. 前記第１のユーザ対話は、前記３Ｄ環境内の仮想オブジェクトに関連付けられた空中位置及び外部表面のうちの少なくとも１つに対する手の動きを含む、請求項２０に記載の媒体。
22. 前記命令は、実行されると、前記モバイル・デバイスに、前記モバイル・デバイスの後方画像センサ及びマイクロフォンのうちの少なくとも１つからの１つ又は複数の信号を使用して前記第１のユーザ対話を識別させる、請求項２０に記載の媒体。
23. 前記命令は、実行されると、前記モバイル・デバイスに、前記第１のユーザ対話が空中位置に対する手の動きである場合、前記モバイル・デバイスの空気ノズルを使用して触覚フィードバックを提供させる、請求項２０に記載の媒体。
24. 前記命令は、実行されると、前記モバイル・デバイスに、前記第１のユーザ対話に少なくとも部分的に基づいて前記３Ｄ環境を修正するために、カーソル移動操作、クリック操作、ドラッグ・アンド・ドロップ操作、ピンチ操作、選択操作及びオブジェクト回転操作のうちの１つ又は複数を実行させる、請求項２０に記載の媒体。
25. 前記命令は、実行されると、前記モバイル・デバイスに、
    前記モバイル・デバイスのモーション・センサ及び前方画像センサのうちの少なくとも１つからの１つ又は複数の信号を使用して前記モバイル・デバイスの動きを識別することと、
    前記モバイル・デバイスの前記動きに少なくとも部分的に基づいて、パン操作及びズーム操作のうちの少なくとも１つを用いて前記３Ｄ環境を修正することと、
    を実行させる、請求項２０に記載の媒体。
26. 前記３Ｄ環境は、前記モバイル・デバイスの前記画面より概して大きい仮想デスクトップ・コンピュータ環境を含む、請求項２０に記載の媒体。
27. 前記命令は、実行されると、前記モバイル・デバイスに、
    前記モバイル・デバイスのユーザ・インターフェースからの１つ又は複数の信号を使用して前記モバイル・デバイスとの第２のユーザ対話を識別することと、
    前記第２のユーザ対話に少なくとも部分的に基づいて、クリック操作、ドラッグ・アンド・ドロップ操作及びピンチ操作のうちの少なくとも１つを用いて前記３Ｄ環境を修正することと、
    を実行させる、請求項２０に記載の媒体。
28. モバイル・デバイスの画面を介して３次元（３Ｄ）環境を表示することと、
    前記モバイル・デバイス背後の領域との第１のユーザ対話を識別することと、
    前記第１のユーザ対話に少なくとも部分的に基づいて前記３Ｄ環境を修正することと
    を含む、コンピュータで実施される方法。
29. 前記第１のユーザ対話は、前記３Ｄ環境内の仮想オブジェクトに関連付けられた空中位置及び外部表面のうちの少なくとも１つに対する手の動きを含む、請求項２８に記載の方法。
30. 前記モバイル・デバイスの後方画像センサ及びマイクロフォンのうちの少なくとも１つからの１つ又は複数の信号を使用して前記第１のユーザ対話を識別することと、
    前記第１のユーザ対話が空中位置に対する手の動きである場合、前記モバイル・デバイスの空気ノズルを使用して触覚フィードバックを提供することと、
    を更に含む、請求項２８に記載の方法。
31. 前記モバイル・デバイスの後方画像センサ及びマイクロフォンのうちの少なくとも１つからの１つ又は複数の信号を使用して前記第１のユーザ対話を識別することと、
    前記第１のユーザ対話が空中位置に対する手の動きである場合、前記モバイル・デバイスの空気ノズルを使用して触覚フィードバックを提供することと、
    を更に含む、請求２８に記載の方法。
32. 前記３Ｄ環境を修正することは、カーソル移動操作、クリック操作、ドラッグ・アンド・ドロップ操作、ピンチ操作、選択操作及びオブジェクト回転操作のうちの１つ又は複数を実行することを含む、請求項２８に記載の方法。
33. 前記モバイル・デバイスのモーション・センサ及び前方画像センサのうちの少なくとも１つからの１つ又は複数の信号を使用して前記モバイル・デバイスの動きを識別することと、
    前記モバイル・デバイスの前記動きに少なくとも部分的に基づいて、パン操作及びズーム操作のうちの少なくとも１つを用いて前記３Ｄ環境を修正することと、
    を更に含む、請求項２８に記載の方法。
34. 前記３Ｄ環境は、前記モバイル・デバイスの前記画面より概して大きい仮想デスクトップ・コンピュータ環境を含む、請求項２８に記載の方法。
35. 前記モバイル・デバイスのユーザ・インターフェースからの１つ又は複数の信号を使用して前記モバイル・デバイスとの第２のユーザ対話を識別することと、
    前記第２のユーザ対話に少なくとも部分的に基づいて、クリック操作、ドラッグ・アンド・ドロップ操作及びピンチ操作のうちの少なくとも１つを用いて前記３Ｄ環境を修正することと
    を更に含む、請求項２８に記載の方法。

Images