JP2013535724A

JP2013535724A - 投影されたユーザインターフェースと対話するための方法およびシステム

Info

Publication number: JP2013535724A
Application number: JP2013519680A
Authority: JP
Inventors: ジョン・リアム・マーク
Original assignee: クアルコム，インコーポレイテッド
Priority date: 2010-07-16
Filing date: 2011-04-27
Publication date: 2013-09-12
Anticipated expiration: 2031-04-27
Also published as: KR101601657B1; US9134799B2; JP5689963B2; US20120017147A1; WO2012009039A1; CN102985896A; EP2593848B1; BR112013001019A2; CN102985896B; KR20130069730A; KR20150013934A; EP2593848A1

Abstract

態様の方法およびシステムは、モバイルデバイス上で実行されるユーザの入力ジェスチャーを通じて、投影されたユーザインターフェースとの対話を可能にする。モバイルデバイスは、ピコプロジェクタなどから、外表面にユーザインターフェースの像を投影し、ユーザが実行するユーザの入力ジェスチャーを検出することができる。モバイルデバイスは、検出されたユーザの入力ジェスチャーを解釈し、解釈されたユーザの入力ジェスチャーに応答して、投影されたユーザインターフェースの像を変更することができる。ユーザの入力ジェスチャーは、モバイルデバイスのタッチスクリーン上で実行されるタッチジェスチャーの形態であってもよく、かつ/または、モバイルデバイスを転回させ、回転させ、および/もしくは望むことによって実行される、手のジェスチャーの形態であってもよい。

Description

本出願は全般にコンピューティングデバイスのユーザインターフェースに関し、より具体的には、投影された像を操作するための手持ち型コンピューティングデバイスのユーザインターフェースに関する。

ワイヤレス通信技術は、過去数年の間に爆発的な発展をとげてきた。この発展は、移動する公衆に移動の自由を与え有線通信システムへの束縛をなくす、ワイヤレスサービスによって加速されてきた。モバイルデバイスのアプリケーションの能力が向上し続ける結果として、モバイルデバイスの人気は上がり続けることが予想される。モバイルデバイスがより強力になりより多くの機能を実行するようになるに従って、これらのデバイスの向上する機能をサポートするために、より大型でより対話型の表示画面に対する需要が高まっている。同時に、ユーザは、さらに軽くより持ち運びやすいモバイルデバイスを要求する。

様々な態様は、モバイルデバイスの投影されたユーザインターフェースのための方法およびシステムを提供する。ある態様では、モバイルデバイスのユーザインターフェースを提供するための方法は、ユーザインターフェースの像を投影するステップと、ユーザの入力ジェスチャーを検出するステップと、検出されたユーザの入力ジェスチャーと関連付けられる機能を特定するステップと、解釈されたジェスチャーに基づいて、投影されたユーザインターフェースの像を変更するステップとを、含む。そのような方法では、ユーザの入力ジェスチャーを検出するステップは、タッチスクリーンディスプレイからタッチイベントを受け取るステップと、受け取られたタッチイベントを特定のタッチジェスチャーと相関付けるステップとを含み得る。ユーザの入力ジェスチャーを検出するステップは、モバイルデバイス内の方向センサから信号を受け取るステップと、受け取られたセンサ信号を手のジェスチャーと相関付けるステップとを含み得る。方向センサは、1つまたは複数の加速度計を含み得る。受け取られたセンサ信号を手のジェスチャーと相関付けるステップは、手のジェスチャーを、モバイルデバイスの傾き、モバイルデバイスの転回、モバイルデバイスの回転、モバイルデバイスの高速な動きのうちの1つとして認識するステップを含み得る。ある態様では、この方法はさらに、相関付けられた手のジェスチャーに対応する機能を特定するステップと、特定された機能を実施するステップとを含んでよく、投影されたユーザインターフェースの像を解釈されたジェスチャーに基づいて変更するステップは、実施される機能に基づいてユーザインターフェースの像を変更するステップを含む。特定された機能を実施するステップは、リストをスクロールするステップ、像のオブジェクトを動かすステップ、投影されたユーザインターフェースの像の中に表示される像のオブジェクトに適用される拡大率を変更するステップ、投影されたユーザインターフェースの像の中のオブジェクトを選択するステップ、投影されたユーザインターフェースの像の中に表示されるオブジェクトをコピーするステップ、投影されたユーザインターフェースの像の中に表示されるオブジェクトを削除するステップ、投影されたユーザインターフェースの像の中に表示されるオブジェクトと関連付けられるアプリケーションを実行するステップ、および、ユーザインターフェースの像の中に表示される指示アイコンの移動のうちの、1つを完遂するステップを含み得る。ユーザインターフェースの像を投影するステップは、特別な3D眼鏡で見た時に3次元に見える像を投影するステップを含み得る。投影される像は、像のオブジェクトが球体の表面の付近に位置するように見えるように構成されてよく、投影されたユーザインターフェースの像を解釈されたジェスチャーに基づいて変更するステップは、球体が1つまたは2つの軸を中心に回転して前面の位置に種々の像のオブジェクトが配置されるように見えるように、投影されたユーザインターフェースの像を変更するステップを含む。ある態様では、この方法はさらに、投影されたユーザインターフェースの像の中心に位置する像のオブジェクトを協調するステップと、ユーザ入力に応答して、強調された像のオブジェクトを選択するステップとを含み得る。ある態様では、この方法はさらに、第2のモバイルデバイスとの通信リンクを確立するステップと、解釈されたジェスチャーに基づくユーザインターフェースの像への変更に関する情報を含むメッセージを、第2のモバイルデバイスから受け取るステップと、ユーザインターフェースの像への変更に関する、第2のモバイルデバイスから受け取った情報に基づいて、ユーザインターフェースの像を変更するステップとを含み得る。ある態様では、この方法はさらに、投影されたユーザインターフェースの像の角度を調整して、制限された角度の傾きまたは転回の範囲内で、投影された像をほぼ安定に保つステップを含み得る。ある態様では、この方法はさらに、投影されたユーザインターフェースの像を変更して、像が投影される外表面に対してほぼ一定の位置に、像のオブジェクトを保つステップを含み得る。

さらなる態様では、モバイルデバイスは、プロセッサに結合された、ピコプロジェクタのようなプロジェクタを含んでよく、プロセッサは、ユーザインターフェースの像を投影するステップと、ユーザの入力ジェスチャーを検出するステップと、検出されたユーザの入力ジェスチャーと関連付けられる機能を特定するステップと、投影されたユーザインターフェースの像を解釈されたジェスチャーに基づいて変更するステップとを含む動作を実行するための、プロセッサ実行可能命令によって構成される。ある態様では、モバイルデバイスはさらに、プロセッサに結合される方向センサを含んでもよく、プロセッサは、上で説明された方法の他の動作の一部またはすべてをも実行するための、プロセッサ実行可能命令によって構成されてよい。

さらなる態様では、モバイルデバイスは、ユーザインターフェースの像を投影するための手段と、ユーザの入力ジェスチャーを検出するための手段と、検出されたユーザの入力ジェスチャーと関連付けられる機能を特定するための手段と、投影されたユーザインターフェースの像を解釈されたジェスチャーに基づいて変更するための手段とを、含み得る。ある態様では、モバイルデバイスはまた、上で説明された方法の他の動作の一部またはすべてを実行するための手段を含み得る。

さらなる態様では、非一時的プロセッサ可読記憶媒体は、ユーザインターフェースの像を投影するステップと、ユーザの入力ジェスチャーを検出するステップと、検出されたユーザの入力ジェスチャーと関連付けられる機能を特定するステップと、投影されたユーザインターフェースの像を解釈されたジェスチャーに基づいて変更するステップとを含む動作を、モバイルデバイスのプロセッサに実行させるように構成された、プロセッサ実行可能命令を記憶していてよい。ある態様では、非一時的プロセッサ可読記憶媒体はまた、上で説明された方法の他の動作の一部またはすべてを、モバイルデバイスのプロセッサに実行させるように構成された、プロセッサ実行可能命令を記憶していてよい。

本明細書に組み込まれ、本明細書の一部をなす添付の図面は、本発明の例示的な態様を示し、上記の全般的な説明および下記の発明を実施するための形態とともに、本発明の特徴を説明するのに役立つ。

モバイルデバイスのユーザインターフェースを投影するモバイルデバイスを示す図である。タッチジェスチャーを用いた、投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。タッチジェスチャーを用いた、投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。タッチジェスチャーを用いた、投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。タッチジェスチャーを用いた、投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。タッチジェスチャーを用いた、投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。タッチジェスチャーを用いた、投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。手のジェスチャーを用いた、投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。手のジェスチャーを用いた、投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。手のジェスチャーを用いた、投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。手のジェスチャーを用いた、投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。手のジェスチャーを用いた、投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。手のジェスチャーを用いた、投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。手のジェスチャーを用いた、投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。手のジェスチャーを用いた、投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。手のジェスチャーを用いた、投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。手のジェスチャーを用いた、投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。手のジェスチャーを用いた、投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。手のジェスチャーを用いた、3Dの投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。手のジェスチャーを用いた、3Dの投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。手のジェスチャーを用いた、3Dの投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。手のジェスチャーを用いた、3Dの投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。手のジェスチャーを用いた、第2のモバイルデバイスから投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。手のジェスチャーを用いた、第2のモバイルデバイスから投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。コンテンツを選択するために手のジェスチャーを用いた、投影されたユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。コンテンツを選択するために手のジェスチャーを用いた、投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。コンテンツを選択するために手のジェスチャーを用いた、投影されたモバイルデバイスのユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。コンテンツを選択するためにタッチジェスチャーを用いた、投影されたユーザインターフェースを介したモバイルデバイスとのユーザ対話を示す図である。投影されたモバイルデバイスのユーザインターフェースと対話するための、ある態様の方法の処理流れ図である。投影されたモバイルデバイスのユーザインターフェースのコンテンツを選択するための、ある態様の方法の処理流れ図である。手のジェスチャーを用いて投影されたコンテンツを選択するための、ある実施形態の方法の処理流れ図である。 1つのモバイルデバイスを用いて、別のモバイルデバイスの投影されたモバイルデバイスのユーザインターフェースと対話するための、ある態様の方法の処理流れ図である。様々な態様とともに用いるのに適した、モバイルデバイスのコンポーネントブロック図である。様々な態様とともに用いるのに適した、モバイルデバイスのコンポーネントブロック図である。ある態様による、モバイルデバイスによって実装され得る、操作可能な投影組立体の断面図である。

様々な態様が、添付の図面を参照して詳細に説明される。可能な場合はいつでも、図面全体にわたって、同じまたは同様の部分を指すのに同じ参照番号が使用される。具体的な例および実装形態への言及は、説明を目的とし、本発明の範囲または本特許請求の範囲を限定するものではない。

「例示的な」という言葉は、「一例、実例または例として」を意味するように本明細書で使用される。本明細書に「例示的」と記載されるいかなる実装形態も、必ずしも他の実装形態よりも好ましいまたは有利であると解釈されるべきではない。

本明細書では、「モバイルデバイス」および「コンピューティングデバイス」という用語は、ポータブルコンピューティングデバイス、個人用モバイルテレビジョン受信機、携帯電話、携帯情報端末(PDA)、パームトップコンピュータ、ワイヤレス電子メール受信機(たとえば、Blackberry(登録商標)およびTreo(登録商標)デバイス)、マルチメディアインターネット対応携帯電話(たとえば、Blackberry Storm(登録商標))、ならびに、プログラム可能なプロセッサとメモリ、および像を表面に投影するためのプロジェクタを含む同様の個人向け電子デバイスの、任意の1つまたはすべてを指すように、交換可能に用いられる。

モバイルデバイスがますます強力になり、ますます洗練された機能を実行するようになるに従い、アプリケーションのオプションの複雑さと、モバイルデバイスに記憶され得るファイルの数の増加によって、そのような機能をサポートするための、より大型でより対話型のディスプレイに対する需要が生まれている。同時に、持ち運びが容易であることをユーザが好むので、モバイルデバイスの製造業者は、より小型で軽いデバイスを制作するようになっている。モバイルデバイスが小型になるということは、表示画面のために利用可能な空間が限られることを意味する。

より多くの機能を有するより小型のデバイスに対するこれらの相反する要求に対処するために、様々な態様は、組み込まれたピコプロジェクタなどによって、ユーザインターフェース表示を外表面に投影し、ユーザが、直感的なジェスチャーを用いて、投影された像に結合されたユーザインターフェースを通じてモバイルデバイスと対話できるようにするための、方法およびシステムを提供する。ユーザインターフェース表示を外表面に投影することで、モバイルデバイスは、モバイルデバイスの小型の画面で表示が可能なコンテンツよりも多くのコンテンツを表示できるようにする、より大型の表示フィールドを提供することができる。様々な態様において、モバイルデバイスは、ユーザインターフェース表示を外表面に投影し、ユーザの指および/または手のジェスチャーを検出して解釈することができ、結果として起きる対話が、投影されたユーザインターフェースの像に表示される。様々な態様において、投影されたユーザインターフェース表示は、モバイルデバイスの物理的な表示画面に提示されるコンテンツと同じコンテンツを含んでもよく、または、モバイルデバイスの表示画面に提示されるコンテンツよりも多くのコンテンツを含んでもよい。

様々な直感的なユーザインターフェースジェスチャーが、投影されたユーザインターフェースによってサポートされ得る。いくつかの態様または実装形態では、ボタン(たとえば矢印キー)を押すこと、またはデバイスのタッチスクリーン画面をタッチすること(本明細書では「タッチジェスチャー」と呼ばれる)のような、モバイルデバイスとのユーザの対話が、投影されたユーザインターフェース表示に反映されるユーザ入力として扱われ得る。そのような能力によって、モバイルデバイス、モバイルデバイスのアプリケーション、および記憶されたファイルとの新たな形態の対話が可能になり得る。たとえば、スクロールのタッチジェスチャーは、モバイルデバイスの小型の表示画面において可能なものよりも多くのファイルにスクロールが及ぶように構成され得る。別の例として、タッチスクリーンの表面へのタッチによって、モバイルデバイスが、仮想的なレーザー点のような点を、投影された像の上に投影してもよい。

いくつかの態様または実装形態では、モバイルデバイスの動きは、ユーザインターフェースのジェスチャー(本明細書では「手のジェスチャー」と呼ばれる)として解釈され得る。たとえば、左から右へのモバイルデバイスの高速な方向転換は、デバイス内の加速度計によって検出され、表示される像を左または右にシフトするための、またはリストをスクロールするための命令として、解釈され得る。別の例として、長軸に沿ったモバイルデバイスの高速な回転は、リストをスクロールまたはインクリメントするための命令、ファイルを選択するための命令、拡大率を向上させるための命令などとして解釈され得る。モバイルデバイスは、3つの軸の加速度計を備えてよく、これらの加速度計は、重力傾斜を、したがってモバイルデバイスの空間的な方向を感知でき、方向(たとえば傾きの角度または回転の角度)の変化を、たとえば、左または右または上または下へリストをスクロールする(傾きまたは回転の角度に応じて)ため、拡大率を向上または低減するため、表示領域内でファイルを配置するためなどの、ユーザ入力命令として解釈できる。そのような能力はまた、記憶されたコンテンツのための、アプリケーションとの新たな形態のユーザ対話を可能にし得る。たとえば、ファイルのリストは、モバイルデバイスを(たとえば、左または右または上または下に)傾けることによって、仮想空間でボールが回転しているかのように垂直軸または水平軸を中心に回転し得る、仮想的な球面上に整理され得る。

いくつかの態様では、投影されたユーザインターフェースの像は、デバイスの方向の変化に対して調整されない。別の態様では、投影されたユーザインターフェースの像は、デバイスが移動または操作される時に、特定の方向または表示されるコンテンツを保つように調整され得る。ある態様では、ピコプロジェクタのレンズは、ユーザが手のジェスチャーを実行する時に、投影される像を外表面上で安定に保つために、たとえば機械的なマニピュレータによって、操作され得る。別の態様では、表示される像は、像の中のオブジェクトが表面上に現れ安定したままになるように、(たとえば、外表面上での表示の動きと反対の方向に、像の中のオブジェクトを動かすことによって)調整される。このようにして、表示されるオブジェクトは、モバイルデバイスの動きに応じて投影の枠が表面上で動く時に、外表面に対して固定されるように見え得る。

さらなる態様では、複数のモバイルデバイスが、モバイルデバイスの1つによって投影されるユーザインターフェース表示と対話することができる。こうして、矢印キーもしくはタッチスクリーンへのタッチまたはモバイルデバイスを操作することによって実行される手のジェスチャーのような、ユーザの入力ジェスチャーによって、投影するモバイルデバイスが調整した投影された像が、他のモバイルデバイスからのユーザ入力を反映するようになり得る。この能力は、携帯電話を使って、投影される像に仮想的なレーザー点を生成すること、または、表示される像を制御しまたはそれに影響を与えるために、携帯電話を操作すること(たとえば、傾け、回転させ、振り、または他の方式で電話を動かすこと)のような、投影された像との新たな形態のユーザ対話を可能にし得る。

様々な態様には、ユーザインターフェースのリストの選択、および外表面に投影された像のオブジェクトとの対話という、以下の例以外に、多くの有用な適用例がある。たとえば、様々な態様の投影されたユーザインターフェースは、外表面にウェブブラウザの像を投影することによって、かつ、ハイパーリンクを選択し、本明細書で説明される様々な技法を介してインターネットのウェブページの繋がりを他の方式で見進むためのユーザ入力を受け取ることによって、ユーザが「ウェブをサーフィンする」ことを可能にし得る。モバイルデバイスの物理的なディスプレイと比較して、投影システムによって可能な表示のサイズが大きいことで、ユーザは、通常のモバイルデバイスの物理的なディスプレイでは不可能である、読みやすいフォントのサイズでウェブページの全体を見られるようになり得る。別の有用な適用例は、投影されるユーザインターフェースの機能を利用して、プロジェクタによって生成されるより大型の像を活用した、映像会議の呼び出しをサポートする。

ユーザインターフェース表示を投影するある態様のモバイルデバイス100の例が、図1に示される。モバイルデバイス100は、ユーザインターフェースシステムに結合されたピコプロジェクタ102を含み得る。ピコプロジェクタ102は、像のオブジェクト118(たとえば、この例示的な説明で示されるような連絡先リスト)を含む、投影された枠120の形態で、外表面(たとえば壁)に像(点線122によって示される)を投影する。モバイルデバイス100はまた、像のオブジェクト118を含む従来のユーザインターフェースの像103をモバイルデバイス100が表示できる、表示画面103を含み得る。投影される像ははるかに大きくできるので、外表面への距離に応じて、投影された枠120内の投影されたユーザインターフェースの像は、モバイルデバイスのディスプレイ103内に含めることができる像のオブジェクトよりも多くのオブジェクト118を、包含することができる。たとえば、図1に示される例では、モバイルデバイスのディスプレイ103の大きさが限定されていることで、表示できる連絡先の像の項目118の数は6個に制限されるが、投影された枠120は、12個の像のオブジェクト118を表示するのに十分な空間を含む。投影されたユーザインターフェースによって可能になる追加の像のオブジェクト118が、点線124によって示される。モバイルデバイスの従来のディスプレイ103でこれらのさらなる連絡先の像のオブジェクト118を見るには、ユーザは、タッチスクリーン上でフリックジェスチャーを行うことなどによって、連絡先リストをスクロールしなければならない。したがって、ユーザインターフェース表示を外表面に投影することで、多くのモバイルデバイスで可能なものよりも多くのコンテンツを、表示に含めることが可能になる。

ユーザインターフェースの像が外表面に投影されると、モバイルデバイスとインターフェースをとるための新たな方法が可能になる。たとえば、図2A、図2B、および図2Cは、ユーザが、タッチスクリーン103を操作することによってリスト型のアプリケーション(たとえば、一連の写真のサムネイル、連絡の履歴など)と対話し、表示されたコンテンツの、投影された枠120内での位置を変更させることを示す。図2A、図2B、および図2Cには示されないが、ユーザは、矢印キーまたはデバイス上の他の物理キーを押すことによって、モバイルデバイスと同様に対話することができる。オブジェクトのリストが長い場合には、投影された枠120は、リストのコンテンツの一部よりも多くを表示するのに十分大きくないことがある。たとえば、図2Aは、項目5、6、および7しか見えない像のオブジェクト118のリストを示し、別の像のオブジェクト8は、投影された枠120の下に位置するので見えない。投影された枠120の境界の外の他の像のオブジェクト118を見るために、ユーザは、モバイルデバイス100のタッチスクリーンディスプレイ103に指202を置くことによって、指のジェスチャー208を開始することができる。

投影されたユーザインターフェースを用いてモバイルデバイスと対話するために、様々な異なるタイプのタッチジェスチャーが用いられ得る。図2Aは、タッチスクリーン103の表面にわたる単純な指のドラッグ208が、リストのスクロール、たとえば、点線の矢印204で示される垂直方向に像のオブジェクト118を動かすことを示すものとして、モバイルデバイスのユーザインターフェースによって解釈される、例示的なタッチジェスチャーを示す。同様に、上方向または下方向の矢印キーを押すことが、リストのスクロールを示し得る。

図2Aに示す例示的なタッチジェスチャーの結果が、図2Bに示される。ユーザが、タッチスクリーン103上で、指202によって上方向のタッチジェスチャーを行うと、モバイルデバイス100は、タッチイベントを検出し、タッチジェスチャーを解釈し、対応する機能を実施し、投影されたユーザインターフェース表示を修正して変化を反映するように構成され得る。示される例では、タッチジェスチャーは上方向に行われるので、像のオブジェクト118は、投影された枠120の上側の境界に向かって上方向に動く。像のオブジェクト6が投影された枠120の外に出ると、次の像のオブジェクト9が、投影された枠120に下側の境界から入る。図2Cは、タッチジェスチャーの最終段階における結果を示す。

ある態様では、投影された枠120内での像のオブジェクト118の動きは、タッチジェスチャーの動きに対応するので、ユーザは投影された像からフィードバックを受け取る。したがって、ユーザがタッチジェスチャーの方向を逆転させる場合には、像のオブジェクト118の動きも同様に逆転する。このことを実現するために、モバイルデバイス100は、投影された枠120上での像のオブジェクト118の動きの速さおよび方向が、ユーザのタッチジェスチャーの速さおよび方向に対応するような方式で、タッチジェスチャーを認識し実装するように構成され得る。さらなる態様では、投影されたユーザインターフェース表示上での像のオブジェクトの動きの速さは、ユーザ選好によって決定される、ジェスチャーの速さの倍数または分数であってよく、アプリケーションにおいて制御される表示パラメータであってよく、またはモバイルデバイスのオペレーティングシステムによって決定されるパラメータであってよい。

モバイルデバイス100はさらに、タッチジェスチャーのパラメータを変化させることに基づいて、様々な機能を実施するように構成され得る。たとえば、ユーザがタッチジェスチャーを行う速さが、モバイルデバイス100によって実施され得るスクロール機能のタイプを決定し得る。モバイルデバイス100は、高速なタッチジェスチャー(たとえばフリック)を、表示されるコンテンツを高速に自動スクロールできる高速スクロールを意味するものとして解釈するように、構成され得る。さらなる態様では、ユーザは、自動スクロールを停止するためには、タッチ感知式画面をタッチしなければならない可能性がある。

図3A、図3B、および図3Cは、ある態様による、投影されたユーザインターフェースとともにタッチジェスチャーを用いて、リストの項目と対話するための、別のタッチジェスチャーを示す。図3Aに示される例では、モバイルデバイス100のタッチスクリーンディスプレイ103の幅にわたって、ユーザの指202がタッチジェスチャー308を行うことで、像のオブジェクト118のリストは、矢印304によって示されるように横方向にスクロールする。

図3Bに示されるように、ユーザの指がタッチスクリーンディスプレイ103にわたってスライドすると、投影される像のオブジェクト118は、調整された方式で(たとえば左から右に)動き、次の像118を表示する。したがって、ユーザの指がタッチスクリーンディスプレイ103の途中にある場合、像のオブジェクト4と5の両方の一部が表示される。このようにして、ユーザは、投影されたユーザインターフェースの像において、タッチジェスチャーの結果を見ることができる。例示的なタッチジェスチャー機能の完了が図3Cに示され、図3Cは右へのスクロールが完了したのを示す。

様々な態様で実施され得る、別の形態のユーザの入力ジェスチャーは、モバイルデバイス自体を動かし、デバイス内の加速度計または他のセンサによって感知できる方式で、行われる。市場で現在入手可能なスマートフォンの多くのモデルは、GPS受信機とともに、1次元または2次元でデバイスの方向を感知できる加速度計を含む。たとえば、スマートフォンのいくつかのモデルは、表示される像を縦長モードから横長モードにプロセッサが適宜変換できるように、垂直に持たれているか水平に持たれているかをデバイスが認識できるようにする、加速度計を含む。3つの加速度計を含むことで、完全な3個の軸方向の情報を求めることができる。そのような3軸の方向情報を、GPS受信機が提供する3軸の位置情報と組み合わせることで、真の6軸の位置検出能力および動き検出能力をモバイルデバイスに与えることができる。そのような6軸の位置/方向情報は、モバイルデバイスの方向または動きと関連付けられるユーザの入力ジェスチャーを認識するために、様々な態様によって利用され得る。

図4Aから図4Dは、投影された枠120の中のユーザインターフェースの像において表示される項目のリストと対話するのに適切な、ある態様の手のジェスチャーを示す。タッチジェスチャーと同様に、手のジェスチャーは、ユーザが、投影されたユーザインターフェースを介して、モバイルデバイス上のアプリケーションまたはファイルと対話できるようにする。そのような態様では、ユーザは、モバイルデバイス100を、ユーザ入力として認識され得るような方式で動かす。たとえば、投影される像が表示され得る外表面にモバイルデバイス100を向ける時、ユーザは、図4A、図4B(または図4C)、および図4Dに示されるように、投影されたコンテンツをスクロールするために、モバイルデバイス100を左右に動かすことができる。別の例として、ユーザは、図5A、図5B、および図5Cに示されるように、コンテンツの垂直方向のリストをスクロールするために、モバイルデバイスを上または下に傾けることができる。別の例として、ユーザは、表示されるコンテンツに影響を与えるために、たとえば、図6A〜図6Dに示されるように拡大の設定を調整するために、または、図7A〜図8Bに示されるようにリストまたはデータベースをスクロールするために、モバイルデバイスを回転させることができる。

モバイルデバイスがそのような手のジェスチャーを認識できるようにするために、モバイルデバイスは、そのような動きを感知および測定できる加速度計およびデジタルコンパスのようなセンサを備えてよく、かつそのようなセンサによって構成されてよい。たとえば、モバイルデバイスは3つの加速度計を含んでよく、1つ目は「X」軸に沿った加速度を検出するためのもの、2つ目は垂直な「Y」軸に沿った加速度を検出するためのもの、3つ目は垂直な「Z」軸に沿った加速度を検出するためのものである。モバイルデバイス100が水平に配置されている時、加速度計は、3個の垂直な加速度計によって測定される相対的な加速度に基づいて、重力ベクトルを検出することができる。たとえば、モバイルデバイスが静止状態に保持され、地表に対して水平方向にある時、「Z」軸の加速度計のみが加速度を感知することができ、他の加速度計はほとんどまたは全く加速度を感知しない。次いでモバイルデバイスが水平方向の面から傾けられると、このことは、「X」軸の加速度計と「Y」軸の加速度計の1つまたは両方によって感知される加速度の上昇、および、「Z」加速度計によって感知される加速度の減少によって、検出され得る。また、任意の方向へのモバイルデバイスの高速な動きは、3個の加速度計の任意の1つまたはすべてによって、瞬間的な加速度として感知され得る。加速度計の信号に基づいてデバイスの方向および動きを検出するための方法は既知であり、様々な態様の一部として、モバイルデバイスプロセッサ内で実施され得る。

ユーザインターフェースの像が外表面に投影される間、モバイルデバイスプロセッサは、センサ(たとえば加速度計および/またはデジタルコンパス)から受け取られる信号を監視し、デバイスの動きを検出することができる。この処理の一部として、モバイルデバイスプロセッサは、その休止方向を決定することができ、休止方向は、手のジェスチャーを検出し解釈するための開始点となり得る。休止位置を決定することで、モバイルデバイス100は、手のジェスチャーを検出して実装し、投影されるコンテンツに影響を与えることができ得る。任意の所与の位置において、モバイルデバイス100の加速度計は、重力に基づいて、モバイルデバイス100の位置を検出できてよい。

デジタルコンパスのような他のセンサも、モバイルデバイス100の休止方向および動きを検出するために使われ得る。たとえば、モバイルデバイス100が向いている方向の変化を判定するために、コンパスが用いられ得る。

様々な態様において、投影されるユーザインターフェースの像は、動きの検出に応じて調整され得る。いくつかの態様では、投影されるユーザインターフェースの像は、モバイルデバイスに対して固定されるように保たれ得るので、ユーザがモバイルデバイスを操作すると、それとともに外表面への投影が動く。他の態様では、投影されるユーザインターフェースの像は、たとえば、投影レンズに結合され、外表面に対して投影を安定させるためにレンズを操作するように構成される、アクチュエータによって、外表面に対して固定されるように保たれ得る。さらに他の態様では、モバイルデバイス内のプロセッサは、投影された枠が動くと像のオブジェクトが外表面に対して固定されているように見えるように、投影された像を調整するように構成され得る。

投影された像がモバイルデバイスの動きに対して調整されない態様では、投影および像は、懐中電灯の光線が懐中電灯の動きに応じて動く時と同じように、ユーザが予想するように動く。

モバイルデバイスが操作される時に投影された像が外表面上でほぼ安定に保たれる態様は、図18に示され以下でより詳細に説明されるような、操作可能なピコプロジェクタ(すなわち、位置決めサーボなどによって操作できるプロジェクタ)または操作可能な光学装置と組み合わされたピコプロジェクタを利用することができる。そのような態様では、モバイルデバイスプロセッサは、ユーザインターフェースの像を外表面に投影する時に、デバイスの動きまたは方向の変化を感知し、そのような動きを補償しようとして、投影された像を操作することができる。したがって、ユーザがモバイルデバイスを右に向けると、操作可能な光学装置は、投影が外表面上である程度安定したままになるように、投影を左に動かすことができる。図4A〜図4Cは、2つ以上のプロジェクタを備えたモバイルデバイス100を用いた、態様の方法を示す。

図4Aを参照すると、ユーザは、モバイルデバイス100を、たとえば点線矢印408で示されるように右に転回することなどによって、水平方向のリストをスクロールするための、手のジェスチャーを実行することができる。図4Bに示されるように、加速度計および/またはコンパスからの信号を処理するデバイスプロセッサは、モバイルデバイス100の方向の変化を検出し、外表面上での位置を一定に保つために、投影レンズを操作して投影された枠120を方向転換することができる。投影レンズの操作を含まない代替的な態様では、ユーザインターフェースの像は、投影の光線が動いてもオブジェクトが外表面上で動かないままになるように、像のオブジェクトの位置および表示を調整するように処理され得る。この代替形態は図4Cに示され、図4Cは、投影の枠120が右に動いた時に、オブジェクト4、5、および6を含む像のオブジェクトが、表面上で動かないままに見えるようにどのように調整されるかを示す。したがって、投影の枠120が図4Cに示されるように動かされると、像のオブジェクト4は見えなくなり、像のオブジェクト5はとどまるので見えるとしても一部であり、像のオブジェクト6は完全に見える。

投影された枠120を操作する(図4Bに示されるように)こと、または投影の中で像のオブジェクトを再配置する(図4Cに示されるように)ことに加えて、プロセッサはまた、像のオブジェクト118の表示されるリストをスクロールするための命令として、デバイスの動きを解釈することができる。したがって、図4Bに示されるように、投影された枠120の中の像のオブジェクト118は右にスクロールし得るので、像のオブジェクト5は、投影された枠120からスクロールして右側に出て、像のオブジェクト4が投影された枠120に左側から入る。像のオブジェクト118のスクロールは、ユーザがモバイルデバイスを右に(または左に)向け続ける限り、続いてよい。スクロールを停止するために、ユーザは、たとえば、点線および矢印407に沿ってモバイルデバイス100を戻すことによって、モバイルデバイス100を元の方向に戻すことができる。このようにして、モバイルデバイス100が最初の方向に戻る時、スクロールは、図4Cに示されるように、現在表示されている像のオブジェクト118において停止し得る。同様の方式で、ユーザは、デバイスを反対方向に転回することによって、反対方向にリストをスクロールすることができる。また、リストの同様のスクロールは、表示された像のオブジェクトを上または下にスクロールするようにデバイスに命令するために、モバイルデバイスを上または下に傾けるとともに、投影の枠120の位置を外表面上で安定に保つことによって、垂直方向に行われ得る。さらなる態様では、スクロールが起きる速さは、モバイルデバイスが最初の構成から転回した角度に応じてよく、たとえば、転回の角度が大きいほどスクロールが速くなる。

投影が動いても像のオブジェクトが外表面上で安定している態様では、デバイスのプロセッサは、モバイルデバイスの検出された動きに応答して、投影された像を調整するように構成され得る。具体的には、像のオブジェクトが、外表面上に投影された枠の動きと同じ大きさで反対の方向に、投影された枠の中で動くように、プロセッサは、像のオブジェクトを投影された像の中で再配置することができる。したがって、タペストリーを照らす照明のように、モバイルデバイスの動きによって、投影されたフレームは、最初の位置の上または横にある像のオブジェクトを見せるように、外表面上で動き得る。そのような態様は、ユーザが、モバイルデバイスを操作することによって像のオブジェクトのリストおよび列を調べ、ユーザがオブジェクトをスクロールするのを必要とせずにそうしたリストおよび列を見せるのを可能にする、ユーザインターフェースを可能にし得る。図5A〜図5Dは、1つのプロジェクタを備えたモバイルデバイス100を用いた、態様の方法を示す。

図5Aは、像のオブジェクト118の垂直方向のリスト(すなわち、像のオブジェクト5から9)が、投影された枠120の領域を超えて延びる例を示す。図5Aに示される最初の方向では、投影された枠120は、像のオブジェクト5、6、7を含み、一方像のオブジェクト8および9は、投影された枠120が包含する領域の下のリストに現れる。現在投影されている枠120に存在する像のオブジェクトの下にある像のオブジェクトを見るために、ユーザは、挿入図502において断面図で示されるように、モバイルデバイス100を傾けることができる。最初の方向(挿入図502において100aと示される)から新たな方向(挿入図502において100bと示される)へのそのような下方向の傾きの結果が図5Bに示され、図5Bは、投影された枠120と、外表面上での新たなより下側の位置を示す。この新たな方向では、像のオブジェクト7、8、および9が投影された枠120に含まれ、像のオブジェクト5および6は、リストの表示されている部分の上に(仮想的に)あるものとして、見えなくなっている。ユーザが投影された枠120をパンして、像のオブジェクト118のリストの所望の部分を見せると、ユーザは、ボタン(たとえば矢印キー)を押すこと、またはタッチスクリーンをタップして投影されたユーザインターフェースの像をロックすることのような、別の命令を実行することができるので、投影された枠120は、表示された像のオブジェクトのさらなる動きを伴わずに、外表面を再配置することができる。このことが図5Cに示され、図5Cは、ユーザが、図5Aおよび図5Bに示された下方向に傾ける手のジェスチャーを実行することによって像のオブジェクト7、8、および9を選択し、新たなリストの位置で投影をロックし、モバイルデバイス100を動かして外表面上で投影された枠120を再配置した、最後の状態を示す。代替的には、投影されたユーザインターフェースの像のロックは、ユーザがモバイルデバイス100を元の方向100aに戻し始めた時に、起こり得る。したがって、この例示的な態様では、下方向に傾けることによって、リストが垂直方向にスクロールし、ユーザがモバイルデバイスを元の位置に戻した時に停止する。リストを反対方向(たとえば下方向)にスクロールするために、ユーザは、モバイルデバイス100を少しの角度傾ける
ことができる。図5A〜図5Cは、垂直方向(すなわち上または下)へ傾けることを伴う手のジェスチャーを示すが、同様の機能は、モバイルデバイスの左または右への転回によるものであってもよい。さらなる態様では、垂直方向のスクロールの速さは、傾きの角度に依存してよく、たとえば、傾きが大きいほどスクロールは速くなる。

他の手のジェスチャーはまた、投影されたユーザインターフェース表示と対話する時に、リストのスクロール以外の機能を実装するために用いられ得る。図6A〜図6Dに示される例示的な態様では、回転する手のジェスチャーが、投影されたユーザインターフェースの像の拡大率を制御するのに用いられ得るように、モバイルデバイスは構成され得る。図6Aおよび図6Bに示されるように、ユーザは、モバイルデバイス100を、図6Aに示される最初の方向から、線および矢印608の方向に(たとえば)右側に、図6Bに示される第2の方向まで回転させることによって、拡大の手のジェスチャーを実行することができる。この手のジェスチャーに応答して、投影された枠120内の表示される像のオブジェクト118は、図6Bに示されるように、拡大率が大きくなる。この態様では、モバイルデバイス100は、加速度計から受け取られた信号などに基づいて、モバイルデバイスの回転の角度を検出し、新たな方向の角度を求め、求められた角度に基づいて、投影された像に適用する拡大率または拡大の上昇/低下の大きさを決定し、決定された拡大率を投影された像に適用することによって、投影されたユーザインターフェース表示を調整することができる。したがって、図6Cに示されるように、回転の角度が大きくなると(または、回転が長く維持されると)、像に適用される拡大率は大きくなり、像は大きく見えるようになる。所望の像の拡大率または像のサイズが実現すると、図6Dに示されるように、ユーザは、たとえば、ボタン(たとえば矢印キー)もしくはタッチスクリーンをタッチすることによって、または、モバイルデバイスを元の方向(たとえば水平方向)に戻すように回転させることによって、現在の拡大率を固定することができる。拡大に適用された変化を戻す(すなわち縮小する)ために、ユーザは、モバイルデバイスを反対方向に回転させる(たとえば、モバイルデバイスを左に回転させる)ことができ、これによって、モバイルデバイスプロセッサが、同様の方式で拡大率を適用する。

様々な態様において、音声命令のような他のユーザ入力も、投影されたユーザインターフェースと対話するために用いられてよい。たとえば、モバイルデバイス100は、投影された像を拡大するための命令として、ユーザが「拡大」と発言するのを認識するように構成されてよく、この命令は次いで、投影されたユーザインターフェースの像に反映される。

様々な態様によって可能になる新たな能力で、モバイルデバイス上で実行するファイルおよびアプリケーションとの新しいタイプの対話が可能になり得る。図7Aおよび図7Bは、モバイルデバイス100が、3次元(3D)像を外表面に投影し、モバイルデバイス上で実行される手のジェスチャーを用いて、3D像とユーザが対話できるようにする、新たなユーザインターフェース表示の例を示す。

3D像の作成および投影は今ではよく知られており、ユーザは、特別な3D眼鏡702をかけることによって、投影された像を3Dで見ることができる。そのような真の3D像の生成に加えて、擬似的な3D像も様々な態様で用いられ得る。最近映画「アバター」の公開で実演されたような、3D投影を生成するための方法がよく知られている。また、擬似的な3D像を表示画面上に生成するのに用いられる技法は、ピコプロジェクタによってレンダリングされる、投影された像を生成するために用いられ得る。1つの方法では、左目と右目を対象とする2つの別個の像が生成され、一方の像は左目が対象であり、もう一方の像は右目が対象であり、2つの像が交互に短時間投影される。3D眼鏡702は、投影と同期して各々の目を交互に遮蔽する、電子的な光フィルタを備える。知覚される結果は、投影される像が3次元に見えるというものである。したがって、この態様では、モバイルデバイス100のプロセッサは、2つのバージョンの投影されたユーザインターフェースの像を生成し、一方は、左目向けの投影枠内に位置する像のオブジェクトであり、もう一方は、右目向けの投影枠内に位置する像のオブジェクトと位置し、前面のオブジェクトの位置が、背景の像のオブジェクトよりも多くの回数、左の画像と右の画像との間で切り替わる。2つの像の生成は、モバイルデバイスのプロセッサまたは画像レンダリング回路の中の、2つの表示バッファ(たとえば左側像バッファおよび右側像バッファ)を設けることによって容易にすることができるので、2つの像は単に、左側像バッファおよび右側像バッファから交互に取り出すことによって、交互に投影され得る。さらなる態様では、モバイルデバイスは、2つのピコプロジェクタを備えてよく、一方は、左目向けの像を投影するのに用いられ、もう一方は、右目向けの像を投影するのに用いられる。そのような構成では、ピコプロジェクタは、3D眼鏡702が動作するのと同様の方式で電気的に動作する光フィルタなどによって、交互にエネルギーを与えられ、または交互に覆われ得る。さらなる態様では、モバイルデバイス100のプロセッサは、たとえば、Bluetooth（登録商標）、WiFi、Zigbee（登録商標）、NFC、または他のワイヤレスデータリンクなどを介して、3D眼鏡702と通信して、各レンズ中のアクティブ
な光フィルタを、モバイルデバイスのプロジェクタと同期させるように構成され得る。

3Dの投影されたユーザインターフェースの像では、像のオブジェクト118の列が示されてよく、現在選択されている像のオブジェクト(像のオブジェクト3として示される)は前面に配置され、像のオブジェクト118の残りは背景の中の様々な距離にある。この態様、すなわち、回転する手のジェスチャー708に応答した像のオブジェクト118のスクロール(矢印704によって示される)は、像が中心に向かって前進し、次いで中心から離れて後退するように見え得る。したがって、1個分のスクロールの後で、投影されたユーザインターフェースの像は、図7Bに示されるように見え得る。

様々な態様の能力によって可能になる別の新たなユーザインターフェースは、平面的なリストまたは2次元の列ではなく、図8Aおよび図8Bに示されるような、データの球体状の列である。この態様では、モバイルデバイス100は、3D眼鏡702の助けによって球体または球802の形状に見える、3Dのユーザインターフェースの像を外表面に投影することができる。図8Aに示されるように、モバイルデバイス100は、3D眼鏡702で見ると大きな仮想的な球802の表面に接着されたような球状の配置に見える、データベース中のオブジェクトのような多くの像のオブジェクト118でできている、ユーザインターフェースの像を投影することができる。そのような投影されたユーザインターフェースの像では、中心の像のオブジェクト(A)が現在選択されていてもよく、または選択可能なオブジェクトであってもよい。アクセスされたデータベースの他のオブジェクトを見るために、または選択するために、ユーザは、選択されたオブジェクトまたは選択可能なオブジェクトとして回転の方向にある次の像のオブジェクト(B)を表示するために、モバイルデバイスのプロセッサが所望の方向に球体を回転させるための命令として用いる、回転(808)または傾動(810)などによって、モバイルデバイス100を操作することができる。

この態様では、ユーザは、垂直軸804(点線の矢印806によって示されるような)を中心に、水平軸805(点線の矢印807によって示されるような)を中心に、または、モバイルデバイスを適切に振動および旋回させることによって同時に両方の軸を中心に、仮想的な球802を回転させることによって、大きなデータベースを迅速に見進めることができる。地球およびボウリングのボールなどの、丸い表面にユーザは馴染みがあるので、様々な態様によって可能になるこのユーザインターフェースは、大量のデータベース内でオブジェクトを見つけるのに、直感的に使いやすく効率的であることが分かり得る。こうして、ユーザは、データのリストを「スクロール」するのではなく、データベースを「転がす」ことができる。仮想的な球体上へのオブジェクトの配置は、地球上で、都市が国の中に位置し、国が大陸の中に位置するのと同じように、データの関係による編成と結びついていてよい。さらに、球802の仮想的な大きさは、表面上にすべての像を格納するのに必要な大きさに調整され得る。したがって、表面上に12個の像のオブジェクトを表示する球は、表面上に10000個の像のオブジェクトを表示する球よりもはるかに小さい。あるいは、像のオブジェクトの大きさおよび/または間隔は、球の表面上に選択されたデータベースのすべての項目が入るように、調整されてもよい。この代替形態では、12個の像のデータベースの表示と10000個の像のデータベースの表示に、同じ大きさの球を用いることができる。

球状の3Dのユーザインターフェースの投影で表示されるコンテンツと、ユーザが効率的に対話できるようにするために、モバイルデバイス100はまた、タッチジェスチャーを認識するように構成され得る。タッチジェスチャーの場合、ユーザは指を使って、球体を異なる方向へ指で押し出せるように見えるような方式で、モバイルデバイス100のタッチスクリーンディスプレイ上でタッチジェスチャーを行うことによって、データベースの球802と対話することができる。

さらなる態様では、ユーザは、目の動きを追跡できるセンサ820を備えた3D眼鏡702を用いることによって、3Dの像と対話することができる。この態様では、モバイルデバイス100は、3D眼鏡702の目追跡センサ820によって検出される目の動きのデータを受け取り、目の動きを、投影された表示と対話するための命令として解釈するように、構成され得る。たとえば、ユーザが球体上に投影されたある特定の像のオブジェクトを見ると、ユーザの目の位置は、目追跡センサ820によって判定され、モバイルデバイス100に伝えられてよく、モバイルデバイス100は、ユーザ入力命令として目の位置を解釈し、投影されたコンテンツを回転させ、その特定の像のオブジェクトを投影された像の中心に持ってくることができる。モバイルデバイス100は次いで、投影されたユーザインターフェースの像を調整することによってこの命令を実行し、ユーザが焦点を合わせる項目が投影された像の中心に来るまで、球の回転のアニメーションを生成することができる。ある態様では、像のオブジェクトが投影された像の中で動くと、ユーザの目はその像のオブジェクトを追うので、ユーザの目の位置の感知は、像の動きに対する閉ループ制御システムを提供し得る。たとえば、投影されたユーザインターフェースの像のアニメーションの速さは、正面に対するユーザの視線の角度と相関付けられ得る。このようにして、ユーザが投影された像の周縁に近い(たとえば、データベースの球802の端の)像のオブジェクトを見ると、投影された像は高速に回転することができ、関心のある像のオブジェクトが回転して中心(すなわち3D眼鏡702を通じた正面)に近づくに従って、遅く回転するようになり得る。したがって、この実施形態は、使うのに実質的に全く訓練を必要としない、非常に直感的なユーザインターフェースを実現することができる。

図9Aおよび図9Bに示されるさらなる態様では、2つ以上のモバイルデバイス100が、投影されたユーザインターフェースと対話するように構成され得る。この態様では、第1のモバイルデバイス100aが、ユーザインターフェース表示を外表面に投影することができる。この投影されたユーザインターフェースの像は、投影の枠120の中で、2Dまたは3Dで表示され得る。第2のモバイルデバイス100bは、Bluetooth（登録商標）通信リンクなどのような、第1のモバイルデバイス100aと通信できるワイヤレスデータリンクを備え得る。このようにして、第2のモバイルデバイス100bのユーザは、モバイルデバイスの回転(矢印908によって示されるような)のようなユーザインターフェースのジェスチャーを実施することができ、その結果のユーザインターフェース命令が、投影されたユーザインターフェース表示において変化を反映できるように、第1のモバイルデバイス100aに渡される。3Dの投影された像の場合、両方のモバイルデバイスのユーザが、3D眼鏡702a、702bをかけ、3Dユーザインターフェースの利益を受けることができる。たとえば、図9Aにおいて、第2のモバイルデバイス100bは、矢印908によって示されるように右に回転する。このユーザ入力は、第1のモバイルデバイス100aに伝えられ、このことによって、表示される3Dリストが図9Bに示されるようにスクロールする。

様々な態様の投影されたユーザインターフェースに対応するユーザインターフェースのジェスチャーを伝える能力を備えた複数のモバイルデバイスによって、様々なユーザ対話が可能になり得る。一例として、ユーザは、第2のモバイルデバイス100bのタッチスクリーンにわたって指をドラッグすることができ、これによって、タッチスクリーン上でのユーザのタッチの位置が第1のモバイルデバイス100aに伝わり、次いで第1のモバイルデバイス100aが、第2のモバイルデバイス上でのタッチの場所に対応する位置に、投影された枠120内で明るい光を投影する。そのような明るい光は、仮想的なレーザーポインタとして機能することができ、第2のモバイルデバイスのユーザが、第1のモバイルデバイスによって投影された表示に参加できるようにする。多くのモバイルデバイスがそのようなシステムで協働することができ、各デバイスは、異なる色の仮想的なレーザー点と関連付けられる。タッチスクリーンを備えないモバイルデバイスも、矢印キーの押下のようなボタンの押下を介して受け取られたユーザ入力を伝えることによって、同様の方式で協働し、仮想的なレーザーポインタを制御することができる。

別の態様では、第2のモバイルデバイスは、投影されたユーザインターフェースの像のデジタル写真を撮影できる、カメラ(図17参照)を備え得る。他のモバイルデバイスによる、投影されたユーザインターフェースの撮像を可能にすることで、モバイルデバイスとユーザとの間の、全く新しい形態の対話が可能になり得る。

ユーザが手のジェスチャーを利用して投影されたコンテンツと対話できるようにする場合、モバイルデバイス100は、ユーザが、投影された表示のコンテンツを見進め、特定の項目、オブジェクト、またはファイルを選択できるように構成され得る。手のジェスチャーを用いて投影されたユーザインターフェースを見進める時の、項目の選択は、様々な方法を用いて実行され得る。たとえば、2段階の手法が、手のジェスチャーを用いて項目を選択する時に用いられ得る。そのような2段階の手法では、モバイルデバイス100は、前面にスクロールすることなどによって項目を強調することができ、ユーザは、別のユーザジェスチャー(たとえば、ボタンを押すこと、タッチスクリーンディスプレイをタップすること、デバイスを振ることなど)を実行することによって、強調された項目を選択することができる。

図10に示される態様では、モバイルデバイス100は、投影されたユーザインターフェースの像の特定の部分(たとえば中心)に見える投影されたコンテンツを、自動的に強調するように構成され得る。たとえば、モバイルデバイス100は、投影された枠120の中心に表示される任意の像のオブジェクト118を、自動的に強調するように構成され得る。したがって、モバイルデバイス100は、ユーザが投影された像のオブジェクト118の列をスクロールアップまたはスクロールダウンすると、中心の像のオブジェクト118を強調するように構成され得る。強調されたオブジェクトを選択するために、ユーザは、第2の命令を実行することができ、すなわち、タッチスクリーンディスプレイ103上でタッチジェスチャーを実行し、モバイルデバイス100上で機能ボタン1002を押し、または、モバイルデバイス100上で手のジェスチャーを実行することができる。たとえば、像のオブジェクト8が強調され投影されたユーザインターフェースの像である場合、ユーザは、タッチスクリーンディスプレイ103をタップして、選択を確定または確認することができる。

図11Aおよび図11Bに示されるさらなる態様では、モバイルデバイス100は、ユーザの手のジェスチャーに基づいて、(投影されたフィールドの中心ではなく)投影されたフィールド120の任意の場所のコンテンツを強調し、ユーザが強調されたコンテンツを選択できるように構成され得る。この態様では、モバイルデバイス100は、モバイルデバイス100が指している方向に対する、モバイルデバイス100の動きに基づいて、投影されたコンテンツを自動的に強調することができる。投影された項目が強調されると、ユーザは、タッチジェスチャーの実行、手のジェスチャーの実行、または機能キーの押下によって、その項目を選択することができる。たとえば、モバイルデバイス100は、投影フィールド120内で、外表面上に像のオブジェクト118を投影することができる。モバイルデバイス100の角度に基づいて、モバイルデバイス100は、投影された像のコンテンツの特定の部分を強調するように構成され得る。図11Aに示されるように、モバイルデバイス100は、投影フィールド120内で、外表面上にコンテンツを投影することができる。モバイルデバイス100は、モバイルデバイス100が指している方向に基づいて、像のオブジェクト8を強調することができる。モバイルデバイス100が指している方向が変化すると、モバイルデバイス100は、強調されるコンテンツを変えることができる。図11Bに示されるように、モバイルデバイス100が、図11Aに示される最初の方向より上方向を指すように傾けられると、モバイルデバイス100は、表示されるリスト中で像のオブジェクト8の上に位置する像のオブジェクト7を、強調することができる。モバイルデバイス100の第1の方向および第2の方向は、強調図1104において示される。

さらなる態様では、モバイルデバイス100は、モバイルデバイス100が手の動きの間に移動する距離に基づき、様々なタッチジェスチャーまたは手のジェスチャーに応答して、たとえば、強調から見進み(たとえばスクロール)またはその逆のように、実行される機能を変えるように構成され得る。ある態様では、モバイルデバイス100は、センサデータに基づいて、モバイルデバイス100が手のジェスチャーの間に一方向に移動する距離を求めるように構成され得る。ユーザがモバイルデバイス100を一方向に動かすと、モバイルデバイス100は、投影されたフィールド120内で、異なる投影された項目を強調することができる。異なる投影されたコンテンツの強調は、手のジェスチャーの間にモバイルデバイス100が所定の距離移動するまで続き得る。所定の距離を超えるモバイルデバイス100の動きはすべて、スクロール機能または拡大機能を実施するための命令のような見進み命令として、モバイルデバイス100によって解釈され得る。機能の変更が実施されるこの所定の距離は、投影されたフィールド120の大きさ、ユーザの選好、アプリケーション開発者の設定、または、他の設定可能なパラメータに基づき得る。たとえば、投影されたフィールドのサイズが大きいと、選択機能からスクロール機能に動作を切り替えるまでにモバイルデバイス100が移動し得る所定の距離が大きくなり得る。

図12に示されるさらなる態様では、モバイルデバイス100は、タッチジェスチャーを用いることによって、投影されたコンテンツをユーザが選択できるようにするように構成され得る。たとえば、モバイルデバイス100は、タッチスクリーンディスプレイ103上でのユーザのタッチイベントに応答して、マウスの矢印1202または他の適切なポインタを投影するように構成され得る。ユーザは、タッチスクリーン上で指を動かすことによって矢印を動かし、項目上にマウスの矢印1202を置きタッチスクリーンディスプレイ103上でのダブルタップまたは機能キー1002の押下のような第2の動作を実行することによって、項目を選択することができる。

投影されたユーザインターフェースと対話するための様々な態様を示す、概略的な方法1300が図13に示される。方法1300ではブロック1302において、モバイルデバイスプロセッサが、ユーザインターフェースの像を生成し、ブロック1304において、像を外表面に投影することができる。モバイルデバイスプロセッサは、ブロック1306において、ユーザが実行するユーザの入力ジェスチャー(たとえばタッチジェスチャーまたは手のジェスチャー)を検出し、ブロック1308において、ジェスチャーを解釈するように、ソフトウェアによって構成され得る。ブロック1310において、モバイルデバイスプロセッサは、たとえば上で説明された表示されるコンテンツの変更のいずれかを実施するために、解釈されたジェスチャーに基づいてユーザインターフェースの像を変えることができる。次いで、この変更されたユーザインターフェースの像はブロック1304において投影され、ユーザに連続的かつ視覚的なフィードバックを与える。モバイルデバイスプロセッサは、ユーザ入力を検出して解釈し、それに従って連続的な処理において、投影されるユーザインターフェースの像を変えながら、ユーザインターフェースを投影し続けることができる。

投影されたユーザインターフェース(UI)を実装して、投影された像のオブジェクトをタッチジェスチャーを用いてユーザが選択できるようにするための、ある態様の方法1400のさらなる詳細が、図14に示される。方法1400ではブロック1302において、モバイルデバイスプロセッサが、ユーザインターフェースの像を生成し、ブロック1304において、像を外表面に投影することができる。モバイルデバイスプロセッサは、ブロック1402において、デバイスのタッチスクリーンディスプレイ103上のタッチイベントを検出し、ブロック1404において、タッチイベントのパラメータを測定するように、ソフトウェアによって構成され得る。タッチイベントのパラメータは、位置、動きの速さ、動きの方向、およびタッチイベントの圧力を含み得る。判定ブロック1406において、プロセッサは、たとえば、測定されたタッチイベントのパラメータを、様々なタッチジェスチャーと関連付けられた事前に定義されたパラメータと比較して、一致するかどうか判定することによって、検出されたタッチイベントがタッチジェスチャーと関連付けられるかどうか判定する。タッチイベントがタッチジェスチャーであるとプロセッサが判定すると(すなわち、判定ブロック1406=「はい」)、モバイルデバイスプロセッサは、ブロック1308において、タッチジェスチャーと関連付けられる機能を決定し、ブロック1310において、決定されたタッチジェスチャーの機能に基づいてユーザインターフェースを変更し、ブロック1304に戻ることによって、変更されたユーザインターフェースの像を投影することができる。

タッチイベントがタッチジェスチャーではないとプロセッサが判定すると(すなわち、判定ブロック1406=「いいえ」)、モバイルデバイスプロセッサは、ブロック1410において、第2の入力としてタッチイベントを処理し、マウスの矢印1202のような選択アイコンを含むように、投影されたユーザインターフェースの像を変更することができる。ブロック1412において、モバイルデバイスは、変更された投影されるユーザインターフェースの像を投影し、選択アイコンが外表面に投影される時に、ユーザが選択アイコンの位置を見てその動きを追えるようにすることができる。いくつかの場合には、選択機能によって、ユーザは、オブジェクトを選択する前に、投影されたユーザインターフェースの像の上で選択アイコンを動かし回すことができるようになり得る。よって、判定ブロック1414において、プロセッサは、次のユーザ入力が像のオブジェクトのユーザ選択を示すかどうかを、判定することができる。たとえば、ユーザ選択入力は、タッチスクリーンのタップもしくはダブルタップ、特定の軌跡のパターン、またはボタンの押下の形態であってよい。ユーザが所望のオブジェクト上に選択アイコンを置いた時、またはユーザが項目を選択せずにタッチスクリーンディスプレイから指を離した時に起こり得るように、最新の増分のユーザ入力がユーザ選択ではないとプロセッサが判定すると(すなわち、判定ブロック1414=「いいえ」)、プロセッサは、判定ブロック1415において、ユーザの指はまだタッチスクリーンディスプレイをタッチしており、したがってタッチイベントがまだ進行中であるかどうかを、判定することができる。ユーザの指がタッチスクリーンから離れており選択が行われていない(すなわち、判定ブロック1415=「いいえ」)場合、プロセッサはブロック1304に戻り、ユーザのタッチを示すものを伴わずに(たとえば選択アイコンを伴わずに)、ユーザインターフェースの像を投影することができる。ユーザの指がまだタッチスクリーンにタッチしており選択が行われていない(すなわち、判定ブロック1415=「はい」)場合、プロセッサは変更の処理を続けることができ、ユーザインターフェースの像の投影は、ブロック1410に戻ることによって続き得る。モバイルデバイスプロセッサがユーザ選択の入力を検出した場合(すなわち
、判定ブロック1414=「はい」)、プロセッサは、ブロック1416において、選択された機能を実施し、またはオブジェクトを選択することができ、ブロック1418において、選択機能についてユーザインターフェースの像を変更することができる。モバイルデバイスプロセッサは、ブロック1304に戻ることによって、変更されたユーザインターフェースを投影することができる。

図15は、手のジェスチャーを用いてユーザが項目を選択できるようにする、投影されたユーザインターフェースのための、ある実施形態の方法1500を示す。ブロック1302において、モバイルデバイス100は、ユーザインターフェースの像を生成し、ブロック1304において、像を外表面に投影することができる。ブロック1502において、モバイルデバイスプロセッサは、ユーザがいつ手のジェスチャーを実施したかを認識するために、センサ入力を処理することができる。上で論じられたように、ジェスチャーは、デバイスの動き、回転、または傾きを反映する、加速度計および/またはコンパスセンサから受け取られる入力に基づいて、認識され得る。特定の手のジェスチャーは、受け取られたセンサ入力を、特定の入力ジェスチャーに対応するセンサ信号の所定のパターンと比較することによって、右の最上部であり得る。判定ブロック1504において、プロセッサは、受け取られたセンサ信号を比較して、信号が意図されるユーザの入力ジェスチャーに適合するかどうかを判定することができる。たとえば、受け取られた信号は、感知された動きの量が動きのジェスチャーとして解釈されるのに十分であるかどうかを判定するために、閾値と比較され得る。別の例として、センサ信号のパターンを、特定のユーザ入力のジェスチャーに対応する事前に定義されたパターンと比較して、一致するかどうか判定することができる。受け取られた信号が手のジェスチャーと関連付けられないとプロセッサが判定すると(すなわち、判定ブロック1504=「いいえ」)、モバイルデバイス100は、ブロック1502に戻ることによって、受け取られたセンサ信号を処理し続けることができる。

ユーザの入力ジェスチャーが認識される場合(すなわち、判定ブロック1504=「はい」)、プロセッサは、認識されるジェスチャーと関連付けられる機能(たとえば、スクロール命令)を決定することができ、プロセッサは、判定ブロック1506において、認識されたジェスチャーと関連付けられる機能が、移動(たとえば、スクロール命令または投影された像の中でのポインタアイコンの動き)に関わるか、ファイル選択ジェスチャー(たとえば、ボタンの押下、タッチスクリーンのダブルタップなど)に関わるかを、判定することができる。認識されるジェスチャーが移動機能と関連付けられるとプロセッサが判定する場合(すなわち、判定ブロック1506=「移動」)、プロセッサは、ブロック1508において、判定された機能を実施し、それに従ってユーザインターフェースの像を変更することができる。ブロック1510において、モバイルデバイスプロセッサは、ユーザインターフェースの像が変更された後に、投影された枠の中心(または投影された枠の何らかの他の部分)に位置するコンテンツを決定することができる。モバイルデバイスプロセッサはさらに、ブロック1512において、中心に位置するコンテンツを強調するようにユーザインターフェースの像を変更し、ブロック1304に戻ることによって、ユーザインターフェースの像を投影することができる。

認識されるジェスチャーが選択機能と関連付けられるとプロセッサが判定する場合(すなわち、判定ブロック1506=「選択」)、プロセッサは、ブロック1504において、投影されたユーザインターフェースの像において強調されるコンテンツを特定することができる。ブロック1516において、プロセッサは、認識されたユーザの入力ジェスチャーに対応する、選択機能を実装することができる。たとえば、様々な態様において実施され得る可能な選択機能をいくつか挙げると、選択機能は、次の動作のためのファイルもしくはオブジェクトの単純な選択、選択されたオブジェクトもしくはファイルを別の位置に貼り付けるためのオブジェクトもしくはファイルのコピー、選択されたオブジェクトもしくはファイルの削除もしくは切り取り、または選択されたアプリケーションの起動であってよい。ブロック1518において、プロセッサは、たとえば、選択されたファイルの論理を強調もしくは削除するために、または、起動されたアプリケーションと関連付けられる新たな表示の像を実装するために、選択機能に基づいてユーザインターフェースの像を変更することができる。次いでモバイルデバイスプロセッサは、ブロック1304に戻ることによって、変更されたユーザインターフェースの像を投影することができる。

上で論じられたように、いくつかの態様では、複数のモバイルデバイスは、投影されたユーザインターフェースとの協調的な対話を可能にするために、互いに対話することができる。第1のモバイルデバイス100aによって投影されるユーザインターフェースと第2のモバイルデバイス100bが対話できるようにするための、ある態様の方法1600が図16に示される。ブロック1302において、第1のモバイルデバイス100aのプロセッサは、ユーザインターフェースの像を生成し、ブロック1304において、外表面にユーザインターフェースを投影することができる。第2のモバイルデバイス100bのプロセッサは、ブロック1602において、投影されたユーザインターフェースとの対話を要求する、ユーザ入力を受け取ることができる。ブロック1606において、第2のモバイルデバイス100bのプロセッサは、ユーザインターフェースの像を投影している第1のモバイルデバイス100aとの通信リンクを、第1のモバイルデバイスプロセッサに通信の要求を送ることによって、確立することができる。第1のモバイルデバイス100aは、ブロック1608において、第2のモバイルデバイスプロセッサから通信の要求を受け取り、ブロック1610および1612において、第2のモバイルデバイスプロセッサとの通信リンクをネゴシエーションすることができる。様々な態様において用いられ得るワイヤレス通信技術は、ワイヤレス通信分野においてよく知られている、Bluetooth（登録商標）技術または近距離通信(NFC)通信技術を含む。ブロック1614において、第2のモバイルデバイスプロセッサは、上で説明されたような、タッチスクリーン上でのタッチイベント、ボタンの押下(たとえば矢印キー)、またはモバイルデバイスの動きのような、ユーザ入力を検出し、ブロック1616において、受け取られたユーザ入力のパラメータを決定することができる。第2のモバイルデバイスプロセッサは、ブロック1620において、受け取られたユーザ入力のパラメータ(たとえば、タッチジェスチャーの速さおよび方向、デバイスの角度または加速度など)を使って、意図されたユーザジェスチャーを認識することができる。ブロック1620において、第2のモバイルデバイスプロセッサは、認識されたユーザの入力ジェスチャー、たとえば、オブジェクト
の強調、アイコンの移動、リストのスクロールなどに応答して、投影されたユーザインターフェースの像に対して行われるべき適切な変更を決定することができる。第2のモバイルデバイスプロセッサは、ブロック1622において、投影されたユーザインターフェースの像に対して行われるべき決定された適切な変更を伝えるメッセージを、第1のモバイルデバイスに送ることができる。ブロック1624において、第1のモバイルデバイスプロセッサはこのメッセージを受け取り、ブロック1626において、受け取られたメッセージを使ってユーザインターフェースの像を変更し、ブロック1304に戻ることによって、変更されたユーザインターフェースの像を投影することができる。このようにして、第1のモバイルデバイス100aによって投影された、投影されたユーザインターフェースの像は、第2のモバイルデバイス100bにおいて実行されたユーザの入力ジェスチャーを反映する。図16は2つのモバイルデバイスが関与する処理を示すが、方法1600またはその変形を実施することによって、任意の数のモバイルデバイスが、投影するモバイルデバイス100aと対話することができる。

さらなる態様では、プロジェクタは、ユーザしか投影された像を見られないように、ユーザのプライバシーを提供する方式で、ユーザインターフェース表示を投影するように構成され得る。この態様では、モバイルデバイス内のプロジェクタは、3D眼鏡と同様または同一であり得る、特別な眼鏡をかけている人しか見られない像を投影するように、構成され得る。たとえば、プロジェクタは、全白の像またはダミーの像の投影の期間と期間の間に散在する、短い実体としてユーザインターフェース表示を投影してよく、白い像またはダミーの像を遮蔽し、ユーザインターフェースの像の実体のみを見せるように構成された眼鏡を、ユーザは装着する。この例では、ユーザは、投影されたユーザインターフェースの像を見ることができるが、そのような眼鏡をかけていないユーザは、白い像またはダミーの像しか見えない。そのような眼鏡のための、時間が制御された視覚技術は、3Dディスプレイ技術から借りることができる。さらなる例では、上で論じられた2つのプロジェクタおよび3D眼鏡を用いて3D像を作成するのに用いられる技術と同じ技術を用いて、一方のプロジェクタが一方の目またはもう一方の目に対するユーザインターフェース表示を投影している時に、もう一方のプロジェクタで白い画面を投影することによって、非公開の投影されたユーザインターフェース表示を作成することができる。この態様では、ユーザのモバイルデバイスと同期した3D眼鏡をかけていないユーザは、白い画面または非常に色あせた投影された像を見ることになる。

様々な実施形態での使用に好適な典型的なモバイルデバイス1700は、図17Aに示される構成要素を共通に有する。モバイルデバイス1700は、電子部品の回路基板1780を含んでよく、電子部品の一部またはすべては、メモリ1702に結合された制御プロセッサ1701を含む、オンチップシステムに集積され得る。制御プロセッサ1701はさらに、やはり一緒に結合され得る、デジタルシグナルプロセッサ1711および/またはアナログシグナルプロセッサ1721に結合され得る。いくつかの実施形態では、制御プロセッサ1701およびデジタルシグナルプロセッサ1711は、同じ構成要素であってよく、または同じプロセッサチップに集積されてよい。ディスプレイコントローラ1733およびタッチスクリーンコントローラ1743は、制御プロセッサ1701に結合されてよく、かつ、モバイルデバイス1700内の、もしくはそれに接続された、ディスプレイまたはタッチスクリーンディスプレイ1703に結合されてよい。

制御プロセッサ1701はまた、取り外し可能メモリ1722(たとえば、モバイルコンピューティングデバイスの場合には、SDメモリまたはSIMカード)に、かつ/または、ディスクドライブ、CDドライブ、およびDVDドライブの1つまたは複数のような外部メモリ1704に、結合され得る。制御プロセッサ1701はまた、USBポート1714に結合するUniversal Serial Bus (USB)コントローラ1712に、結合され得る。また、電源1770は、USBコントローラ1712を通じて、または、様々な電子部品に電力(たとえば直流電力)を供給する様々な電気接続を通じて、回路基板1780に結合され得る。

制御プロセッサ1701はまた、ビデオエンコーダ1734、たとえば位相反転線(PAL)エンコーダ、sequential couleur a memoire(SECAM)エンコーダ、または全国テレビジョン方式委員会(NTSC)エンコーダにも結合され得る。さらに、ビデオエンコーダ1734は、ビデオエンコーダ1734およびディスプレイまたはタッチスクリーンディスプレイ1703に結合され得る、ビデオ増幅器1736に結合され得る。また、ビデオポート1738は、モバイルデバイス1700を外部のモニタ、テレビ、または他のディスプレイ(図示せず)に接続できるようにするための、ビデオ増幅器1736に結合され得る。

いくつかの実施形態の、特定のモバイルコンピューティングデバイスでは、制御プロセッサ1701は、たとえばアナログシグナルプロセッサ1721を介して、高周波(RF)送受信機1705に結合され得る。RF送受信機1705は、RF信号を送受信するための、RFアンテナ1704に結合され得る。RF送受信機1705は、たとえば、携帯電話(たとえばG-3、UMTS、CDMAなど)、WiFi、WiMax、およびBluetooth（登録商標）を含む、1つまたは複数の異なるワイヤレス通信プロトコルの通信信号を、送信および受信するように構成され得る。

制御プロセッサ1701はさらに、ネットワークコネクタ1716および/またはRF送受信機1705に結合され得るネットワークカード1706に結合され、外部ネットワーク(たとえば、ローカルエリアネットワーク、インターネット、イントラネット、WiFiネットワーク、Bluetooth（登録商標）ネットワーク、パーソナルエリアネットワーク(PAN)など)を介した通信を可能にするように構成され得る。ネットワークカード1706は、別個のチップまたはカードの形態であってよく、または完全な通信チップとして、制御プロセッサ1701またはRF送受信機1705(またはこれら両方)の一部として実装されてよい。

多数のアナログデバイスが、図17に示されるようなキーパッド1708のようなアナログシグナルプロセッサ1721を介して、制御プロセッサ1701に結合され得る。他の実装形態では、キーパッドまたはキーボードは、制御プロセッサ1701とのインターフェースが、直接接続(図示せず)を介したもの、ネットワーク接続を介したもの(たとえばネットワークカードを介したもの)、またはUSBポート1714を介したものになり得るように、固有のプロセッサを含み得る。

いくつかの実装形態では、デジタルカメラ1748が、制御プロセッサ1701に結合され得る。例示的な態様では、デジタルカメラ1748は、電荷結合デバイス(CCD)カメラまたは相補型金属酸化物半導体(CMOS)カメラであってよい。デジタルカメラ1748は、モバイルデバイス1700に組み込まれてもよく、または外部ケーブルによってデバイスに結合されてもよい。

いくつかの実装形態では、オーディオコーデック1750(たとえばステレオコーデック)が、アナログシグナルプロセッサ1721に結合されてよく、オーディオ増幅器1752を介して1つまたは複数のスピーカ1754に音声信号を送るように構成されてよい。オーディオコーデック1750はまた、マイクロフォン1758に結合され得る(たとえば、マイクロフォンジャックを介して)、マイクロフォン増幅器1756に結合され得る。ヘッドフォンジャック1759も、音声をヘッドフォンに出力するために、オーディオコーデック1750に結合され得る。

いくつかの実装形態では、モバイルデバイス1700は、ブロードキャストされたワイヤレス通信信号を受信するためのアンテナ1762に結合され得る、別個のRF受信機回路1760を含み得る。受信機回路1760は、放送されたテレビジョン信号(たとえば、FLO TV放送)を受信し、受信された信号を処理のためにDSP 1711に与えるように構成され得る。いくつかの実装形態では、受信機回路1760は、FMラジオ信号を受信するように構成されてもよく、その場合、受信された信号は処理のためにオーディオコーデック1750に渡され得る。

様々な態様のモバイルデバイス1700は、ビデオ増幅器1736およびビデオエンコーダ1734などを介して制御プロセッサ1701に結合される、ピコプロジェクタのようなプロジェクタ1726も含み得る。上で論じられたように、プロジェクタ1726は、プロセッサによって生成される像を投影するように構成され得る。

モバイルデバイス1700はまた、制御プロセッサ1701に結合される、3つの加速度計1713a、1713b、1713cを含み得る。加速度計1713a、1713b、1713cは、デバイスの3つの垂直軸に沿った方向に向いていてよく、重力傾斜(すなわち下方向のベクトル)とともに、モバイルデバイスの他の加速度(たとえば手のジェスチャーによる)を検出するように構成されてよい。制御プロセッサ1701は、加速度計1713a、1713b、1713cの各々からの信号に基づいて、地球に対するモバイルデバイスの空間的な方向(たとえば、傾きの角度または回転の角度)を求めるように構成され得る。加速度計1713a、1713b、1713cは、(図17Aに示されるような)3つの別個の構成要素として、または、(図17Bに示されるような)単一の加速度計チップ1713として実装され得る。モバイルデバイス1700はまた、制御プロセッサ1701に結合され地球の磁場に対して向いている方向を検出するように構成される、デジタルコンパス1724を含み得る。

上で説明された様々な構成要素は、図17Bで示されるようなモバイルデバイスの構成で、実装され得る。

ある態様では、上で説明された方法の動作の1つまたは複数を実行するためのプロセッサ実行可能命令が、内部メモリ1702、取り外し可能メモリ1722、および/または非揮発性メモリ1704(たとえば、ハードドライブ、CDドライブ、またはネットワークを介してアクセス可能な他の記憶装置)に記憶され得る。そのようなプロセッサ実行可能命令は、本明細書で説明された方法を実行するために、制御プロセッサ1701によって実行され得る。

図17Bは、モバイルコンピューティングデバイスを例示するが、パーソナルコンピュータおよびラップトップコンピュータを含む他の形態のコンピューティングデバイスも通常、内部メモリ1702に結合されたプロセッサ1701と、プロジェクタ1726とを含む。したがって、図17Bは、特許請求の範囲を、特定の図示されるフォームファクタのモバイルコンピューティングデバイスに限定するものではない。

プロセッサ1701は、本明細書で説明した様々な実施形態の機能を含む、様々な機能を実行するようにソフトウェア命令(アプリケーション)によって構成され得る、任意のプログラマブルマイクロプロセッサ、マイクロコンピュータ、または1つもしくは複数の多重プロセッサチップであり得る。いくつかのモバイルデバイスでは、1つのプロセッサをワイヤレス通信機能専用とし、1つのプロセッサを他のアプリケーションの実行専用とするなど、複数のプロセッサ1701を設けることができる。一般に、ソフトウェアアプリケーションは、アクセスされ、プロセッサ1701にロードされる前に、内部メモリ1702に記憶され得る。いくつかのモバイルデバイスでは、プロセッサ1701は、アプリケーションソフトウェア命令を記憶するのに十分な内部メモリを含み得る。一部のモバイルデバイスでは、セキュアなメモリが、プロセッサ1701に結合された別個のメモリチップ中にあり得る。多くのモバイルデバイス1700では、内部メモリ1702は、揮発性メモリ、またはフラッシュメモリなどの不揮発性メモリ、または両方の混合であり得る。本明細書では、メモリへの一般的な言及は、内部メモリ1702と、モバイルデバイスに接続されるリムーバブルメモリと、プロセッサ1701自体の中のメモリとを含む、プロセッサ1701によってアクセス可能なすべてのメモリを指す。

プロセッサ1701は、本明細書で説明した様々な態様の機能を含む、様々な機能を実行するようにソフトウェア命令(アプリケーション)によって構成され得る、任意のプログラマブルマイクロプロセッサ、マイクロコンピュータ、または1つもしくは複数の多重プロセッサチップであり得る。いくつかのモバイルデバイスでは、1つのプロセッサをワイヤレス通信機能専用とし、1つのプロセッサを他のアプリケーションの実行専用とするなど、複数のプロセッサ1701を設けることができる。一般に、ソフトウェアアプリケーションは、アクセスされ、プロセッサ1701にロードされる前に、内部メモリ1702に記憶され得る。いくつかのモバイルデバイスでは、プロセッサ1701は、アプリケーションソフトウェア命令を記憶するのに十分な内部メモリを含み得る。いくつかのモバイルデバイスでは、追加のメモリチップ(たとえば、Secure Data (SD)カード)がデバイス1700に接続され、プロセッサ1701に結合され得る。多くのモバイルデバイスでは、内部メモリ1702は、揮発性メモリ、またはフラッシュメモリなどの不揮発性メモリ、または両方の混合であり得る。本明細書では、メモリへの一般的な言及は、内部メモリ1702と、モバイルデバイスに接続されるリムーバブルメモリと、プロセッサ1701自体の中のメモリとを含み、セキュアなメモリ(図示せず)を含む、プロセッサ1701によってアクセス可能なすべてのメモリを指す。

様々な態様は、モバイルデバイスが手のジェスチャーを行うために転回または傾斜された時に、外表面上の投影された表示を概ね安定に保つための、操作可能な光学装置を利用することができる。図18は、操作可能な投影システム1800の例を示す。そのような操作可能な投影システム1800は、アクチュエータ1806、1808に結合されたレンズフレーム1804の中に配置された、集束/方向転換レンズ1802を含み得る。アクチュエータ1806、1808は、モバイルデバイスプロセッサ1701(図17参照)に結合され得る。集束/方向転換レンズ1802は、投影された光が集束/方向転換レンズ1802を通るように、ピコプロジェクタ1810の前に配置され得る。アクチュエータ1806、1808は、プロセッサ1701から受け取られた信号に応答して、伸びまたは縮むように構成され得る。1つのアクチュエータ(たとえばアクチュエータ1806)を伸ばしながら反対側のアクチュエータ(たとえばアクチュエータ1808)を縮ませることで、アクチュエータは、ピコプロジェクタ1810によって組み込まれる投影された像を操作するような方式で、レンズ1802を傾けることができる。ある実装形態では、モバイルデバイスプロセッサが、加速度計および/またはコンパスセンサから受け取られた情報に基づいて、デバイスの動きを認識すると、プロセッサは、検出されたデバイスの動きを補償するために、アクチュエータ1806、1808に制御信号を送信し、投影を操作することができる。投影が操作され得る程度は、光学装置と、アクチュエータ1806、1808が実現可能な移動とによって、必然的に制限される。図18に示される操作可能な投影システム1800は、投影される像を操作するのに用いられ得る像操作機構の一例に過ぎず、他の機構が特許請求の範囲内で実装され得る。

上記の方法の説明および処理流れ図は、単に説明のための例として提供したものであり、様々な態様のステップを提示された順序で実行しなければならないことを要求または暗示するものではない。当業者が諒解するように、上記の態様におけるステップの順序は、どのような順序で実行されてもよい。「その後」、「次いで」、「次に」などの単語は、ステップの順序を限定するものではなく、これらの単語は、単に、方法の説明において読者を案内するために使用される。さらに、たとえば、冠詞「1つの(a、an)」または「その(the)」などの使用による単数形での請求要素への言及は、その要素を単数に限定するものとして解釈されるべきではない。

本明細書で開示した態様に関して説明した、様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、ブロック、モジュール、回路、およびステップとしての様々な例示的な構成要素が、上記では概してそれらの機能に関して説明した。そのような機能をハードウェアとして実装するか、ソフトウェアとして実装するかは、具体的な適用例およびシステム全体に課される設計制約に依存する。当業者は、説明した機能を具体的な適用例ごとに様々な方法で実装することができるが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈すべきではない。

本明細書で開示される態様に関して記載される、様々な例示的論理、論理ブロック、モジュールおよび回路を実装するために使用されるハードウェアは、汎用プロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別ゲート回路もしくはトランジスタ論理回路、個別ハードウェア構成要素、または、本明細書に記載の機能を実行するように設計されたそれらの任意の組合せで実装または実行され得る。汎用プロセッサは、マイクロプロセッサでもよいが、代替として、そのプロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械でもよい。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、または任意の他のそのような構成として実装され得る。代替的に、いくつかのステップまたは方法が、所与の機能に固有の回路によって実行され得る。

1つまたは複数の例示的な態様では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せで実装することができる。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されてもよく、またはコンピュータ可読媒体を介して送信されてもよい。本明細書で開示した方法またはアルゴリズムのステップは、有形なまたは非一時的なコンピュータ可読記憶媒体上に常駐し得る、実行されるプロセッサ実行可能なソフトウェアモジュールにおいて具現化され得る。コンピュータ可読記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であってよい。限定ではなく、例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または、命令もしくはデータ構造の形態の所望のプログラムコードを搬送もしくは記憶するために使用され、コンピュータによってアクセスされ得る、任意の他の媒体を含み得る。本明細書で使用する場合、ディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク(DVD)、フロッピー（登録商標）ディスク、およびブルーレイディスクを含み、ディスク(disk)は、通常、磁気的にデータを再生し、ディスク(disc)は、レーザーで光学的にデータを再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれ得る。さらに、方法またはアルゴリズムの動作は、コンピュータプログラム製品に組み込まれ得る、機械可読媒体および/またはコンピュータ可読媒体上のコードおよび/または命令の1つまたは任意の組合せ、もしくはそのセットとして常駐し得る。

開示した態様の上記の説明は、当業者が本発明を製作または使用できるように提供したものである。これらの態様への様々な修正が当業者には容易に明らかであり、本明細書で定義する一般的な原理は、本発明の趣旨や範囲を逸脱することなく他の態様に適用され得る。したがって、本発明は、本明細書で示された態様に限定されるものではなく、以下の特許請求の範囲ならびに本明細書で開示された原理および新規の特徴に合致する、最も広い範囲を与えられるべきである。

100 モバイルデバイス
102 ピコプロジェクタ
103 ユーザインターフェースの像
118 像のオブジェクト
120 投影された枠
702 3D眼鏡
802 球
1700 モバイルデバイス
1701 制御プロセッサ
1702 メモリ
1703 ディスプレイまたはタッチスクリーンディスプレイ
1711 デジタルシグナルプロセッサ
1713a 加速度計
1721 アナログシグナルプロセッサ
1724 コンパス

Claims

ユーザインターフェースの像を投影するステップと、
ユーザの入力ジェスチャーを検出するステップと、
前記検出されたユーザの入力ジェスチャーと関連付けられる機能を特定するステップと、
前記解釈されたジェスチャーに基づいて、前記投影されたユーザインターフェースの像を変更するステップと
を含む、モバイルデバイスのユーザインターフェースを提供するための方法。
ユーザの入力ジェスチャーを検出するステップが、
タッチスクリーンディスプレイからタッチイベントを受け取るステップと、
前記受け取られたタッチイベントを特定のタッチジェスチャーと相関付けるステップと
を含む、請求項1に記載の方法。
ユーザインターフェースの像を投影するステップが、3D眼鏡で見た時に3次元に見える像を投影するステップを含む、請求項1に記載の方法。
前記投影される像が、像のオブジェクトが球体の表面の付近に位置するように見えるように構成され、前記解釈されたジェスチャーに基づいて前記投影されたユーザインターフェースの像を変更するステップが、前記球体が1つまたは2つの軸を中心に回転して前面の位置に種々の像のオブジェクトが配置されるように見えるように、前記投影されたユーザインターフェースの像を変更するステップを含む、請求項1に記載の方法。
前記投影されたユーザインターフェースの像の中心に位置する像のオブジェクトを強調するステップと、
ユーザ入力に応答して、前記強調された像のオブジェクトを選択するステップと
をさらに含む、請求項1に記載の方法。
第2のモバイルデバイスとの通信リンクを確立するステップと、
前記解釈されたジェスチャーに基づく、前記ユーザインターフェースの像への変更に関する情報を含むメッセージを、前記第2のモバイルデバイスから受け取るステップと、
前記ユーザインターフェースの像への変更に関する、前記第2のモバイルデバイスから受け取られた前記情報に基づいて、前記ユーザインターフェースの像を変更するステップと
をさらに含む、請求項1に記載の方法。
ユーザの入力ジェスチャーを検出するステップが、
前記モバイルデバイス内の方向センサから信号を受け取るステップと、
前記受け取られたセンサ信号を手のジェスチャーと相関付けるステップと
を含む、請求項1に記載の方法。
前記相関付けられた手のジェスチャーに対応する機能を特定するステップと、
前記特定された機能を実施するステップと
をさらに含み、
前記解釈されたジェスチャーに基づいて前記投影されたユーザインターフェースの像を変更するステップが、前記実施される機能に基づいて前記ユーザインターフェースの像を変更するステップを含む、請求項7に記載の方法。
前記投影されたユーザインターフェースの像の角度を調整して、制限された角度の傾きまたは転回の範囲内で、前記投影された像をほぼ安定に保つステップをさらに含む、請求項7に記載の方法。
前記投影されたユーザインターフェースの像を変更して、前記像が投影される外表面に対してほぼ一定の位置に、像のオブジェクトを保つステップをさらに含む、請求項7に記載の方法。
前記方向センサが1つまたは複数の加速度計を含む、請求項7に記載の方法。
前記受け取られたセンサ信号を手のジェスチャーと相関付けるステップが、前記手のジェスチャーを、前記モバイルデバイスの傾き、前記モバイルデバイスの転回、前記モバイルデバイスの回転、前記モバイルデバイスの高速な動きのうちの1つとして認識するステップを含む、請求項11に記載の方法。
前記特定された機能を実施するステップが、リストをスクロールするステップ、像のオブジェクトを動かすステップ、前記投影されたユーザインターフェースの像の中に表示される像のオブジェクトに適用される拡大率を変更するステップ、前記投影されたユーザインターフェースの像の中のオブジェクトを選択するステップ、前記投影されたユーザインターフェースの像の中に表示されるオブジェクトをコピーするステップ、前記投影されたユーザインターフェースの像の中に表示されるオブジェクトを削除するステップ、前記投影されたユーザインターフェースの像の中に表示されるオブジェクトと関連付けられるアプリケーションを実行するステップ、および、前記ユーザインターフェースの像の中に表示される指示アイコンの移動のうちの1つを実行するステップを含む、請求項11に記載の方法。
プロジェクタと、
前記プロジェクタに結合されるプロセッサと
を含むモバイルデバイスであって、前記プロセッサが、
ユーザインターフェースの像を投影するステップと、
ユーザの入力ジェスチャーを検出するステップと、
前記検出されたユーザの入力ジェスチャーと関連付けられる機能を特定するステップと、
前記解釈されたジェスチャーに基づいて、前記投影されたユーザインターフェースの像を変更するステップと
を含む動作を実行するための、プロセッサ実行可能命令によって構成される、モバイルデバイス。
ユーザの入力ジェスチャーを検出するステップが、
タッチスクリーンディスプレイからタッチイベントを受け取るステップと、
前記受け取られたタッチイベントを特定のタッチジェスチャーと相関付けるステップと
を含むように、動作を実行するためのプロセッサ実行可能命令によって、前記プロセッサが構成される、請求項14に記載のモバイルデバイス。
ユーザインターフェースの像を投影するステップが、3D眼鏡で見た時に3次元に見える像を投影するステップを含むように、動作を実行するためのプロセッサ実行可能命令によって、前記プロセッサが構成される、請求項14に記載のモバイルデバイス。
像のオブジェクトが球体の表面の付近に位置するように見えるように、前記投影された像が構成され、
前記解釈されたジェスチャーに基づいて前記投影されたユーザインターフェースの像を変更するステップが、前記球体が1つまたは2つの軸を中心に回転して前面の位置に種々の像のオブジェクトが配置されるように見えるように、前記投影されたユーザインターフェースの像を変更するステップを含む
ように、動作を実行するためのプロセッサ実行可能命令によって、前記プロセッサが構成される、請求項14に記載のモバイルデバイス。
前記投影されたユーザインターフェースの像の中心に位置する像のオブジェクトを強調するステップと、
ユーザ入力に応答して、前記強調された像のオブジェクトを選択するステップと
をさらに含む動作を実行するための、プロセッサ実行可能命令によって、前記プロセッサが構成される、請求項14に記載のモバイルデバイス。
第2のモバイルデバイスとの通信リンクを確立するステップと、
前記解釈されたジェスチャーに基づく、前記ユーザインターフェースの像への変更に関する情報を含むメッセージを、前記第2のモバイルデバイスから受け取るステップと、
前記ユーザインターフェースの像への変更に関する、前記第2のモバイルデバイスから受け取られた前記情報に基づいて、前記ユーザインターフェースの像を変更するステップと
をさらに含む動作を実行するための、プロセッサ実行可能命令によって、前記プロセッサが構成される、請求項14に記載のモバイルデバイス。
方向センサをさらに含む、請求項14に記載のモバイルデバイスであって、ユーザの入力ジェスチャーを検出するステップが、
前記方向センサから信号を受け取るステップと、
前記受け取られたセンサ信号を手のジェスチャーと相関付けるステップと
を含むように、動作を実行するためのプロセッサ実行可能命令によって、前記プロセッサが構成される、請求項14に記載のモバイルデバイス。
前記相関付けられた手のジェスチャーに対応する機能を特定するステップと、
前記特定された機能を実施するステップと
をさらに含む動作を実行するための、プロセッサ実行可能命令によって、前記プロセッサが構成され、
前記解釈されたジェスチャーに基づいて前記投影されたユーザインターフェースの像を変更するステップが、前記実施される機能に基づいて前記ユーザインターフェースの像を変更するステップを含む、請求項20に記載のモバイルデバイス。
前記投影されたユーザインターフェースの像の角度を調整して、制限された角度の傾きまたは転回の範囲内で、前記投影された像をほぼ安定に保つステップをさらに含む動作を実行するためのプロセッサ実行可能命令によって、前記プロセッサが構成される、請求項20に記載のモバイルデバイス。
前記投影されたユーザインターフェースの像を変更して、前記像が投影される外表面に対してほぼ一定の位置に、像のオブジェクトを保つステップをさらに含む動作を実行するためのプロセッサ実行可能命令によって、前記プロセッサが構成される、請求項20に記載のモバイルデバイス。
前記方向センサが1つまたは複数の加速度計を含む、請求項20に記載のモバイルデバイス。
前記受け取られたセンサ信号を手のジェスチャーと相関付けるステップが、前記手のジェスチャーを、前記モバイルデバイスの傾き、前記モバイルデバイスの転回、前記モバイルデバイスの回転、前記モバイルデバイスの高速な動きのうちの1つとして認識するステップを含むように、動作を実行するためのプロセッサ実行可能命令によって、前記プロセッサが構成される、請求項24に記載のモバイルデバイス。
前記特定された機能を実施するステップが、リストをスクロールするステップ、像のオブジェクトを動かすステップ、前記投影されたユーザインターフェースの像の中に表示される像のオブジェクトに適用される拡大率を変更するステップ、前記投影されたユーザインターフェースの像の中のオブジェクトを選択するステップ、前記投影されたユーザインターフェースの像の中に表示されるオブジェクトをコピーするステップ、前記投影されたユーザインターフェースの像の中に表示されるオブジェクトを削除するステップ、前記投影されたユーザインターフェースの像の中に表示されるオブジェクトと関連付けられるアプリケーションを実行するステップ、および、前記ユーザインターフェースの像の中に表示される指示アイコンの移動のうちの1つを実行するステップを含むように、動作を実行するためのプロセッサ実行可能命令によって、前記プロセッサが構成される、請求項24に記載のモバイルデバイス。
ユーザインターフェースの像を投影するための手段と、
ユーザの入力ジェスチャーを検出するための手段と、
前記検出されたユーザの入力ジェスチャーと関連付けられる機能を特定するための手段と、
前記解釈されたジェスチャーに基づいて、前記投影されたユーザインターフェースの像を変更するための手段と
を含む、モバイルデバイス。
ユーザの入力ジェスチャーを検出するための手段が、
タッチスクリーンディスプレイからタッチイベントを受け取るための手段と、
前記受け取られたタッチイベントを特定のタッチジェスチャーと相関付けるための手段と
を含む、請求項27に記載のモバイルデバイス。
ユーザインターフェースの像を投影するための手段が、3D眼鏡で見た時に3次元に見える像を投影するための手段を含む、請求項27に記載のモバイルデバイス。
ユーザインターフェースの像を投影するための手段が、像のオブジェクトが球体の表面の付近に位置するように見えるように、像を投影するための手段を含み、
前記解釈されたジェスチャーに基づいて前記投影されたユーザインターフェースの像を変更するための手段が、前記球体が1つまたは2つの軸を中心に回転して前面の位置に種々の像のオブジェクトが配置されるように見えるように、前記投影されたユーザインターフェースの像を変更するための手段を含む、請求項27に記載のモバイルデバイス。
前記投影されたユーザインターフェースの像の中心に位置する像のオブジェクトを強調するための手段と、
ユーザ入力に応答して、前記強調された像のオブジェクトを選択するための手段と
をさらに含む、請求項27に記載のモバイルデバイス。
第2のモバイルデバイスとの通信リンクを確立するための手段と、
前記解釈されたジェスチャーに基づく、前記ユーザインターフェースの像への変更に関する情報を含むメッセージを、前記第2のモバイルデバイスから受け取るための手段と、
前記ユーザインターフェースの像への変更に関する、前記第2のモバイルデバイスから受け取られた前記情報に基づいて、前記ユーザインターフェースの像を変更するための手段と
をさらに含む、請求項27に記載のモバイルデバイス。
ユーザの入力ジェスチャーを検出するための手段が、
前記モバイルデバイスの方向を感知するための手段と、
前記モバイルデバイスの前記感知された方向を、手のジェスチャーと相関付けるための手段と
を含む、請求項27に記載のモバイルデバイス。
前記相関付けられた手のジェスチャーに対応する機能を特定するための手段と、
前記特定された機能を実施するための手段と
をさらに含み、
前記解釈されたジェスチャーに基づいて前記投影されたユーザインターフェースの像を変更するための手段が、前記実施される機能に基づいて前記ユーザインターフェースの像を変更するための手段を含む、請求項33に記載のモバイルデバイス。
前記投影されたユーザインターフェースの像の角度を調整して、制限された角度の傾きまたは転回の範囲内で、前記投影された像をほぼ安定に保つための手段をさらに含む、請求項33に記載のモバイルデバイス。
前記投影されたユーザインターフェースの像を変更して、前記像が投影される外表面に対してほぼ一定の位置に、像のオブジェクトを保つための手段をさらに含む、請求項33に記載のモバイルデバイス。
前記モバイルデバイスの方向を感知するための手段が、1つまたは複数の加速度計を含む、請求項33に記載のモバイルデバイス。
前記受け取られたセンサ信号を手のジェスチャーと相関付けるための手段が、前記手のジェスチャーを、前記モバイルデバイスの傾き、前記モバイルデバイスの転回、前記モバイルデバイスの回転、前記モバイルデバイスの高速な動きのうちの1つとして認識するための手段を含む、請求項37に記載のモバイルデバイス。
前記特定された機能を実施するための手段が、リストをスクロールするステップ、像のオブジェクトを動かすステップ、前記投影されたユーザインターフェースの像の中に表示される像のオブジェクトに適用される拡大率を変更するステップ、前記投影されたユーザインターフェースの像の中のオブジェクトを選択するステップ、前記投影されたユーザインターフェースの像の中に表示されるオブジェクトをコピーするステップ、前記投影されたユーザインターフェースの像の中に表示されるオブジェクトを削除するステップ、前記投影されたユーザインターフェースの像の中に表示されるオブジェクトと関連付けられるアプリケーションを実行するステップ、および、前記ユーザインターフェースの像の中に表示される指示アイコンの移動のうちの1つを実行するための手段を含む、請求項37に記載のモバイルデバイス。
モバイルデバイスのプロセッサに動作を実行させるように構成されるプロセッサ実行可能命令を記憶した、非一時的プロセッサ可読記憶媒体であって、
プロジェクタと、
前記プロジェクタに結合されるプロセッサと
を含み、前記プロセッサが、
ユーザインターフェースの像を投影するステップと、
ユーザの入力ジェスチャーを検出するステップと、
前記検出されたユーザの入力ジェスチャーと関連付けられる機能を特定するステップと、
前記解釈されたジェスチャーに基づいて、前記投影されたユーザインターフェースの像を変更するステップと
を含む動作を実行するためのプロセッサ実行可能命令によって構成される、非一時的プロセッサ可読記憶媒体。
ユーザの入力ジェスチャーを検出するステップが、
タッチスクリーンディスプレイからタッチイベントを受け取るステップと、
前記受け取られたタッチイベントを特定のタッチジェスチャーと相関付けるステップと
を含むように、モバイルデバイスのプロセッサに動作を実行させるように、前記記憶されたプロセッサ実行可能命令が構成される、請求項40に記載の非一時的プロセッサ可読記憶媒体。
ユーザインターフェースの像を投影するステップが、特別な3D眼鏡で見た時に3次元に見える像を投影するステップを含むように、モバイルデバイスのプロセッサに動作を実行させるように、前記記憶されたプロセッサ実行可能命令が構成される、請求項40に記載の非一時的プロセッサ可読記憶媒体。
像のオブジェクトが球体の表面の付近に位置するように見えるように、前記投影された像が構成され、
前記解釈されたジェスチャーに基づいて前記投影されたユーザインターフェースの像を変更するステップが、前記球体が1つまたは2つの軸を中心に回転して前面の位置に種々の像のオブジェクトが配置されるように見えるように、前記投影されたユーザインターフェースの像を変更するステップを含む
ように、モバイルデバイスのプロセッサに動作を実行させるように、前記記憶されたプロセッサ実行可能命令が構成される、請求項40に記載の非一時的プロセッサ可読記憶媒体。
前記投影されたユーザインターフェースの像の中心に位置する像のオブジェクトを強調するステップと、
ユーザ入力に応答して、前記強調された像のオブジェクトを選択するステップと
をさらに含む動作を、モバイルデバイスのプロセッサに実行させるように、前記記憶されたプロセッサ実行可能命令が構成される、請求項40に記載の非一時的プロセッサ可読記憶媒体。
第2のモバイルデバイスとの通信リンクを確立するステップと、
前記解釈されたジェスチャーに基づく、前記ユーザインターフェースの像への変更に関する情報を含むメッセージを、前記第2のモバイルデバイスから受け取るステップと、
前記ユーザインターフェースの像への変更に関する、前記第2のモバイルデバイスから受け取られた前記情報に基づいて、前記ユーザインターフェースの像を変更するステップと
をさらに含む動作を、モバイルデバイスのプロセッサに実行させるように、前記記憶されたプロセッサ実行可能命令が構成される、請求項40に記載の非一時的プロセッサ可読記憶媒体。
ユーザの入力ジェスチャーを検出するステップが、
前記モバイルデバイス内の方向センサから信号を受け取るステップと、
前記受け取られたセンサ信号を手のジェスチャーと相関付けるステップと
を含むように、モバイルデバイスのプロセッサに動作を実行させるように、前記記憶されたプロセッサ実行可能命令が構成される、請求項40に記載の非一時的プロセッサ可読記憶媒体。
前記相関付けられた手のジェスチャーに対応する機能を特定するステップと、
前記特定された機能を実施するステップと
をさらに含む動作を、モバイルデバイスのプロセッサに実行させるように、前記記憶されたプロセッサ実行可能命令が構成され、
前記解釈されたジェスチャーに基づいて前記投影されたユーザインターフェースの像を変更するステップが、前記実施される機能に基づいて前記ユーザインターフェースの像を変更するステップを含む、請求項46に記載の非一時的プロセッサ可読記憶媒体。
前記投影されたユーザインターフェースの像の角度を調整して、制限された角度の傾きまたは転回の範囲内で、前記投影された像をほぼ安定に保つステップをさらに含む動作を、モバイルデバイスのプロセッサに実行させるように、前記記憶されたプロセッサ実行可能命令が構成される、請求項46に記載の非一時的プロセッサ可読記憶媒体。
前記投影されたユーザインターフェースの像を変更して、前記像が投影される外表面に対してほぼ一定の位置に、像のオブジェクトを保つステップをさらに含む動作を、モバイルデバイスのプロセッサに実行させるように、前記記憶されたプロセッサ実行可能命令が構成される、請求項46に記載の非一時的プロセッサ可読記憶媒体。
前記方向センサが1つまたは複数の加速度計を含む、請求項46に記載の非一時的プロセッサ可読記憶媒体。
前記受け取られたセンサ信号を手のジェスチャーと相関付けるステップが、前記手のジェスチャーを、前記モバイルデバイスの傾き、前記モバイルデバイスの転回、前記モバイルデバイスの回転、前記モバイルデバイスの高速な動きのうちの1つとして認識するステップを含むように、モバイルデバイスのプロセッサに動作を実行させるように、前記記憶されたプロセッサ実行可能命令が構成される、請求項50に記載の非一時的プロセッサ可読記憶媒体。
前記特定された機能を実施するステップが、リストをスクロールするステップ、像のオブジェクトを動かすステップ、前記投影されたユーザインターフェースの像の中に表示される像のオブジェクトに適用される拡大率を変更するステップ、前記投影されたユーザインターフェースの像の中のオブジェクトを選択するステップ、前記投影されたユーザインターフェースの像の中に表示されるオブジェクトをコピーするステップ、前記投影されたユーザインターフェースの像の中に表示されるオブジェクトを削除するステップ、前記投影されたユーザインターフェースの像の中に表示されるオブジェクトと関連付けられるアプリケーションを実行するステップ、および、前記ユーザインターフェースの像の中に表示される指示アイコンの移動のうちの1つを実行するステップを含むように、モバイルデバイスのプロセッサに動作を実行させるように、前記記憶されたプロセッサ実行可能命令が構成される、請求項50に記載の非一時的プロセッサ可読記憶媒体。