JP2014531688A

JP2014531688A - 全方向ジェスチャー入力

Info

Publication number: JP2014531688A
Application number: JP2014533452A
Authority: JP
Inventors: ホーヴィッツ，エリック; ヒンクリー，ケネス・ピー; ベンコ，フルヴォイェ; タン，デスニー・エス
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2011-09-30
Filing date: 2012-09-30
Publication date: 2014-11-27
Anticipated expiration: 2032-09-30
Also published as: KR101981822B1; CN102929388A; US9423876B2; EP2761402A1; JP6046729B2; KR20140082760A; EP2761402A4; CN102929388B; US20130082978A1; WO2013049753A1

Abstract

本発明の実施形態は、ハンドヘルドデバイスのようなデバイスの拡張された相互作用空間内のユーザー入力を検出するためのシステム、方法、およびコンピューター記憶媒体に関する。方法およびシステムは、ユーザーの非デバイス接触ジェスチャーのような第１の入力を検出するために、デバイスの正のｚ軸空間内で感知するデバイスの第１のセンサーを利用することを可能にする。方法およびシステムは、また、第２の入力を検出するために、デバイスの負のｚ軸空間内で感知するデバイスの第２のセンサーを利用することを考える。加えて、方法およびシステムは、正のｚ軸空間内での第１のセンサーによる第１の入力の検出、および、負のｚ軸空間内での第２のセンサーによる第２の入力の検出に応答して、ディスプレイ上に提示されるユーザーインターフェースを更新することを考える。

Description

[0001]従来、ユーザーは、限られた空間の体積内で、通常はデバイスのディスプレイ表面上で、ハンドヘルドデバイスと相互作用する。例えば、接触感知ディスプレイを有するスマートフォンは、ユーザーが、表示画面に直接隣接する空間の体積内で、デバイスおよびユーザーインターフェースと相互作用することを可能にする。ユーザーインターフェースおよびユーザー間のほぼ平坦な領域にユーザー相互作用を限定することは、ユーザーに利用可能な相互作用のタイプを限定し、ユーザーインターフェースの閉塞のような、ユーザービリティの問題をもたらす可能性がある。したがって、比較的二次元の範囲にユーザー相互作用の領域を限定することは、ユーザーが、ユーザーインターフェースに提示されたオブジェクトを自然にかつ直感的に操作することを妨げる。

[0002]本発明の実施形態は、デバイスの周囲の空間内のユーザージェスチャーを検出するためのシステム、方法、およびコンピューター記憶媒体に関する。具体的には、態様は、ハンドヘルドデバイスの前方のユーザージェスチャーを、第１のセンサーで検出する工程と、また、ハンドヘルドデバイスの背後のユーザージェスチャーを、第２のセンサーで検出する工程とを含むことができる。非デバイス接触ジェスチャーであってよいジェスチャーの検出の結果として、ユーザーインターフェースは、ジェスチャーに基づいて、入力を反映するように更新されてよい。

[0003]この概要は、詳細な説明で以下にさらに説明される簡略化した形式で概念の選択を紹介するために提供される。この概要は、特許請求された主題の主要な特徴または本質的な特徴を示すことを意図されず、特許請求された主題の範囲を決定する助けとして使用されることも意図されない。

[0004]本発明の例示的な実施形態が、参照により本明細書に組み込まれる添付図面を参照して、以下に詳細に説明される。

[0005]本発明の実施形態を実施するのに適した例示的なコンピューティングシステムを示す図である。 [0006]本発明の実施形態による、デバイスに対する正のｚ軸空間と負のｚ軸空間の両方での入力を感知することができる例示的なデバイスを示す図である。 [0007]本発明の実施形態によるデバイスの正面斜視図を示す図である。 [0008]本発明の実施形態による、図２で論じたデバイスの背面斜視図である。 [0009]本発明の実施形態によるデバイスの側面形状を示す図である。 [0010]本発明の実施形態によるデバイスの様々な使用中の向きを示す図である。本発明の実施形態によるデバイスの様々な使用中の向きを示す図である。本発明の実施形態によるデバイスの様々な使用中の向きを示す図である。本発明の実施形態によるデバイスの様々な使用中の向きを示す図である。本発明の実施形態によるデバイスの様々な使用中の向きを示す図である。 [0011]本発明の実施形態による、デバイスの正のｚ軸空間と負のｚ軸空間の両方でのユーザー入力を検出するための方法を示すブロック図である。 [0012]本発明の実施形態による、デバイスの正のｚ軸空間と負のｚ軸空間の両方でのユーザー入力を検出するための追加の方法を示すブロック図である。

[0013]本発明の実施形態の主題は、法的要件を満たすために、本明細書に具体的に説明される。しかしながら、説明自体は、本発明の範囲を限定することを意図されない。むしろ、本発明者らは、特許請求された主題は、他の現在のまたは将来の技術と組み合わせた、本文書に記載されたものと同様の工程または工程の組み合わせを含む、他の方法で実施されてもよいと考えた。

[0014]本発明の実施形態は、デバイスを取り囲むが常には接触しない領域を含むように、物理的デバイスを超えた空間内のユーザージェスチャーを検出するためのシステム、方法、およびコンピューター記憶媒体に関する。例えば、態様は、ハンドヘルドデバイスの前方のユーザージェスチャーを第１のセンサーで検出する工程と、また、ハンドヘルドデバイスの背後のユーザージェスチャーを第２のセンサーで検出する工程とを含むことができる。非デバイス接触ジェスチャーであってよいジェスチャーの検出の結果として、ユーザーインターフェースは、ジェスチャーに基づいて、入力を反映するように更新されてよい。

[0015]したがって、一態様では、本発明は、プロセッサーおよびメモリーを利用するコンピューティング環境で、デバイスの正のｚ軸空間と負のｚ軸空間の両方でのユーザー入力を検出するための方法を提供する。方法は、第１の入力を検出するために、デバイスの正のｚ軸空間で感知するデバイスの第１のセンサーを利用する工程を含む。第１の入力は、非デバイス接触ジェスチャーである。方法は、また、第２の入力を検出するために、デバイスの負のｚ軸空間で感知するデバイスの第２のセンサーを利用する工程を含む。さらに、方法は、正のｚ軸空間での第１のセンサーによる第１の入力の検出、および、負のｚ軸空間での第２のセンサーによる第２の入力の検出に応答して、ディスプレイ上に提示されたユーザーインターフェースを更新する工程を含む。

[0016]別の態様では、本発明は、デバイスの正のｚ軸空間と負のｚ軸空間の両方でのユーザー入力を検出するためのデバイスを提供する。デバイスは、前側および反対の後側を有するデバイス本体で構成される。前側は、正のｚ軸空間の方に向けられ、後側は、負のｚ軸空間の方に向けられる。デバイスは、デバイス本体に結合された、デバイスの正のｚ軸空間内の非デバイス接触ユーザージェスチャーを検出するための第１のセンサーからも構成される。センサーの結合は、デバイスの１つまたは複数の部分（例えば、ディスプレイ）へのセンサーの組み込みを含むことができる。デバイスはさらに、デバイス本体に結合された、デバイスの負のｚ軸空間内の非デバイス接触ユーザージェスチャーを検出するための第２のセンサーで構成される。加えて、デバイスは、デバイス本体に結合された、デバイスの正のｚ軸空間内の非デバイス接触ユーザージェスチャーを感知する第１のセンサーからの第１の入力を処理し、デバイスの負のｚ軸空間内の非デバイス接触ユーザージェスチャーを感知する第２のセンサーからの第２の入力を処理するためのプロセッサーで構成される。プロセッサーは、デバイスの回路ボードまたは他の構成要素へ組み込まれることによって、プロセッサーが、デバイス本体に効果的に結合されるように、本体に間接的に結合されてよい。

[0017]本発明の第３の態様は、コンピューター実行可能命令が埋め込まれたコンピューター記憶媒体を提供し、コンピューター実行可能命令は、プロセッサーおよびメモリーを有するコンピューティングシステムによって実行されると、コンピューティングシステムに方法を実行させる。方法は、第１の光学系センサーを利用して、デバイスの正のｚ軸空間内の非デバイス接触ユーザージェスチャーを検出する工程で構成される。方法は、さらに、第２の光学系センサーを利用して、デバイスの負のｚ軸空間内の非デバイス接触ユーザージェスチャーを検出する工程で構成される。方法は、加えて、正のｚ軸空間内で第１のセンサーにより検出された非デバイス接触ユーザージェスチャー、および負のｚ軸空間内で第２のセンサーにより検出された非デバイス接触ユーザージェスチャーが第１の入力であることを、プロセッサーにより判定する工程で構成される。方法は、また、正のｚ軸空間内および負のｚ軸空間内の非デバイス接触ジェスチャーが、第１の入力であるということの判定に応答して、ディスプレイ上のユーザーインターフェースを調整する工程で構成される。

[0018]したがって、本発明の態様は、デバイスを取り囲む空間の体積内のユーザーの相互作用（例えば、非接触ジェスチャー）を検出することを考えた。例えば、デバイスから外側に延びる球状領域は、ユーザーがデバイスと相互作用することができるが、依然としてデバイスを越えて相互作用する空間を定義することができる。以下で論じられるように、デバイスを取り囲む空間は、デバイス内／上の点のような点から正と負の両方向に延びるように、少なくとも部分的に定義されてよい。このように、本明細書で提供されるいくつかの態様は、正の空間および負の空間（例えば、正のｚ軸および負のｚ軸）内の相互作用を感知することに言及し、これは、デバイスを取り囲む空間の体積内のデバイスとの相互作用を検出する概念を包含する。

[0019]本発明の実施形態の概要を簡単に説明し、本明細書の実施形態を実施するのに適した例示的な動作環境が、以下で説明される。
[0020]全体的に図面を、具体的には最初に図１を参照し、本発明の実施形態を実施するのに適した例示的な動作環境が、コンピューティングデバイス１００として全体的に示され、指定される。コンピューティングデバイス１００は、適切なコンピューティング環境の一例に過ぎず、本発明の使用または機能の範囲についていかなる限定を示唆することも意図されない。また、コンピューティングデバイス１００は、図示されたモジュール／構成要素のいずれかまたは組み合わせに関するいかなる依存性または要件を有すると解釈されるべきではない。

[0021]実施形態は、パーソナルデーターアシスタントまたは他のハンドヘルドデバイスのようなコンピューターまたは他のマシンによって実行される、プログラムモジュールのようなコンピューター実行可能命令を含む、コンピューターコードまたは機械使用可能な命令の一般的な文脈で説明され得る。一般に、ルーチン、プログラム、オブジェクト、モジュール、データー構造、などを含むプログラムモジュールは、特定のタスクを実行する、または、特定の抽象データー型を実装するコードを指す。実施形態は、ハンドヘルドデバイス、民生用電子機器、汎用コンピューター、特殊コンピューティングデバイス、などを含む、様々なシステム構成で実施されてよい。実施形態は、通信ネットワークを介してリンクされるリモート処理デバイスによってタスクが実行される、分散コンピューティング環境で実施されてもよい。

[0022]引き続き図１を参照し、コンピューティングデバイス１００は、以下のデバイス、すなわち、メモリー１１２、１つまたは複数のプロセッサー１１４、１つまたは複数のプレゼンテーションモジュール１１６、入力／出力（Ｉ／Ｏ）ポート１１８、Ｉ／Ｏモジュール１２０、および説明的な電源１２２を、直接または間接的に結合するバス１１０を含む。バス１１０は、（アドレスバス、データーバス、またはこれらの組み合わせのような）１つまたは複数のバスであってよいものを表す。図１の様々なブロックは、明瞭にする目的のため、線で示されるが、様々なモジュールの輪郭を描くことは、それほど明確ではなく、比喩的に、線は、より正確には、グレーでファジーである。例えば、表示装置のようなプレゼンテーションモジュールを、Ｉ／Ｏモジュールであるように考えることができる。また、プロセッサーは、メモリーを有する。本発明者らは、それが技術の性質であることを認識し、図１の図が、１つまたは複数の実施形態に関連して使用され得る例示的なコンピューティングデバイスの単なる例示であると、反復して述べる。すべては、図１の範囲内で、「コンピューター」または「コンピューティングデバイス」への参照と考えられるため、「ワークステーション」、「サーバー」、「ラップトップ」、「ハンドヘルドデバイス」、などのようなカテゴリ間で区別は行われない。

[0023]コンピューティングデバイス１００は、典型的に、様々なコンピューター可読媒体を含む。例として、限定ではなく、コンピューター可読媒体は、ランダムアクセスメモリー（ＲＡＭ）、読み取り専用メモリー（ＲＯＭ）、電子的に消去可能な読み取り専用メモリー（ＥＥＰＲＯＭ）、フラッシュメモリーもしくは他のメモリー技術、ＣＤＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光もしくはホログラフィック媒体、磁気カセット、磁気テープ、磁気ディスクストレージもしくは他の磁気記憶装置、または、所望の情報を符号化するために使用可能で、コンピューティングデバイス１００によってアクセス可能な、任意の他の媒体を含むことができる。

[0024]メモリー１１２は、揮発性および／または不揮発性メモリーの形態の、非一時的コンピューター記憶媒体を含む。メモリーは、リムーバブル、非リムーバブル、またはこれらの組み合わせであってよい。例示的なハードウェアデバイスは、固体メモリー、ハードドライブ、光ディスクドライブ、などを含む。コンピューティングデバイス１００は、メモリー１１２またはＩ／Ｏモジュール１２０のような様々な実体からデーターを読み取る１つまたは複数のプロセッサーを含む。プレゼンテーションモジュール（複数可）１１６は、ユーザーまたは他のデバイスにデーター表示を提示する。例示的なプレゼンテーションモジュールは、表示装置、スピーカ、印刷モジュール、振動モジュール、などを含む。Ｉ／Ｏポート１１８は、コンピューティングデバイス１００が、そのいくつかが組み込まれてよいＩ／Ｏモジュール１２０を含む他のデバイスに論理的に結合されることを可能にする。例示的なモジュールは、マイクロホン、ジョイスティック、ゲームパッド、サテライトディッシュ、スキャナー、プリンター、無線デバイス、などを含む。

[0025]図２は、本発明の実施形態による、正のｚ軸空間と負のｚ軸空間の両方でデバイスの周囲の入力を感知することができる例示的なデバイス２００を示す。デバイス２００は、例示的な実施形態では、携帯電話、コントローラー、ゲームデバイス、および／または他の電子デバイスのようなハンドヘルドデバイスである。例えば、デバイス２００は、少なくとも部分的に、無線通信ネットワーク（例えば、Ｗｉ−Ｆｉ、ＣＤＭＡ、ＧＳＭ（登録商標）、ＰＣＳ、およびＵＭＴＳ）を利用して通信することができるモバイル通信デバイスであると考えられる。加えて、デバイス２００は、例示的な実施形態では、１つまたは複数の追加のコンピューティングデバイス（例えば、ビデオゲームコンソール、パーソナルコンピューター、セットトップボックス、別のハンドヘルドデバイス）のための入力デバイスであると考えられる。したがって、デバイス２００は、正のｚ軸空間内と負のｚ軸空間内の両方での検出可能な入力を利用することができる（図１に関連して上述したような）任意のコンピューティングデバイスであってよい。

[0026]図２のデバイス２００は、デバイス２００に対する空間の体積を定義するために使用可能な例示的なデカルト軸を示す。具体的には、ｘ軸２０８、ｙ軸２１０、およびｚ軸２０２が、デバイス２００に対して示される。しかしながら、本明細書で説明されるように、軸（例えば、ｚ軸）は、デバイスの周囲の任意の空間でジェスチャーの検出を可能にするために、デバイスに対して任意の場所および任意の向きで配置されてよいと考えられる。したがって、ジェスチャー入力は、任意の（および、すべての）面の３６０度で検出されてよく、結果として、デバイスの周囲の全方向ジェスチャー検出をもたらすと考えられる。図２に示すようなデバイス２００は、ｙ軸２１０と実質的に平行な垂直側面２１８を有する。また、図２に示すようなデバイス２００は、ｘ軸２０８と実質的に平行な水平上面２１６を有する。デバイス２００は、また、前面２１２および背面２１４で構成される。前面２１２は、例示的な実施形態では、ディスプレイのようなユーザーインターフェース（「ＵＩ」）にアクセスするための面である。加えて、前面２１２は、（接触活性化型ディスプレイおよび／またはディスプレイとは独立した物理的ボタンとしてＵＩが組み込まれた）１つまたは複数のボタンで構成されてよい。さらにまた、前面２１２は、１つもしくは複数のオーディオ出力構成要素（例えば、スピーカ）、および／または、１つもしくは複数のオーディオ入力構成要素（例えば、マイクロホン）で構成されてよいと考えられる。

[0027]図２は、正のｚ軸２０４および負のｚ軸２０６を有するデバイス２００を示す。正のｚ軸は、原点２０１から、デバイス２００の前面２１２側でｘ軸２０８およびｙ軸２１０によって画定される平面に対して垂直に延びる。逆に、負のｚ軸は、原点２０１から、デバイス２００の背面２１４上のｘ軸２０８およびｙ軸２１０によって画定される平面に対して垂直に延びる。正のｚ軸２０４方向に、ｘ軸２０８およびｙ軸２１０によって画定される平面から外側に延びる空間の体積は、本明細書では、正のｚ軸空間と呼ばれる。同様に、負のｚ軸２０６方向に、ｘ軸２０８およびｙ軸２１０によって画定される平面から外側に延びる空間の体積は、本明細書では、負のｚ軸空間と呼ばれる。結果として球状領域のような空間の体積は、ユーザーが（例えば、非接触ジェスチャーを使用して、および／または、接触ジェスチャーを使用して）デバイスと相互作用することができる領域を確定するように、デバイスから外向きに延びることができる。

[0028]一般に、ｚ軸は、デバイス２００に対して任意の向きおよび任意の場所で配向されてよい。例えば、前面２１２から延びるとのは対照的に、正のｚ軸空間は、代わりに、側面２１８または上面２１６から延びることができる。以下の一貫した議論を容易にするために、図２に示す様々な軸の全体的な向きは、維持されることになる。しかしながら、様々な軸の配向は、デバイス（例えば、デバイス２００）に対する様々な場所および向きで考えられ、したがって、本発明の実施形態に適合することが理解される。結果として、ｚ軸という用語が、本明細書で使用されるが、ｚ軸は、デバイスの任意の軸を表すことができることが理解され、したがって、デバイスに対する特定の方向とは独立した、デバイスの周囲の任意の広げられた相互作用空間で、ジェスチャーを最終的に検出するために、デバイスの第１の側およびデバイスの第２の側でジェスチャーを検出することが考えられる。

[0029]図３は、本発明の実施形態によるデバイス３００の正面斜視図を示す。デバイス３００は、上述した図２のデバイス２００と同様であってよい。デバイス３００は、上端３０２、左側面３０４、右側面３０６、および下端３０８で構成されてよい。デバイス３００は、実質的に矩形の幾何学的形状で示されるが、任意の幾何学的形状が実現されてよいことが理解される。例えば、デバイス３００は、改善された人間的要素、感触、市場性、などのために、１つまたは複数の有機的幾何学的形状を組み込むことができる。例えば、ゲーミングコンピューターコンソールと通信するゲームコントローラーは、デバイスの予想される意図される使用シナリオ（例えば、可搬性、保管、ユーザーの一次的接触）に少なくとも部分的に基づいて、スマートフォンと異なる幾何学的形状を有することができる。

[0030]デバイス３００は、さらに、ディスプレイ３１０で構成される。ディスプレイ３１０は、ＵＩの１つまたは複数の要素を表示することができる。例えば、スマートフォンの例では、ＵＩは、スマートフォンのオペレーティングシステムによって生成される１つまたは複数のグラフィカル要素を含むことができる。加えて、ディスプレイ３１０は、接触応答性スクリーンであることが考えられる。例えば、ディスプレイ３１０は、ユーザーの接触を登録するために、１つまたは複数の接触ベースの入力検出機構（または、スタイラスのような他の入力デバイス）を含むことができる。例は、容量性タッチスクリーン、抵抗性タッチスクリーン、および／または、スクリーンでユーザーが提供する入力を検出することができる同様のものを利用することを含むことができる。追加の例示的な実施形態では、ディスプレイ３１０は、単に、追加の機能的応答性なしに、情報の１つまたは複数の部分を提示することができる。

[0031]本発明の例示的な実施形態では、ディスプレイ３１０は、デバイス３００の正のｚ軸空間（または、負のｚ軸空間）内の１つまたは複数のユーザージェスチャーを少なくとも部分的に検出するために機能すると考えられる。例えば、ディスプレイ３１０は、様々な技術を利用して、非接触ユーザージェスチャーを検出することができる。例示的な技術は、表示面（例えば、正のｚ軸空間内に漂うユーザの手）に提示されるような画像を、ディスプレイの１つまたは複数のエッジに転写する制御された屈折光学入力機構を含むことができる。この概念は、例示的な実施形態では、ワシントン州レドモンドのマイクロソフトコーポレーションによって展開される「ウェッジ（Ｗｅｄｇｅ（登録商標））」を利用して達成されてよい。しかしながら、追加の技術が同様に考えられる（例えば、非接触ジェスチャーに対して感度がよい容量性スクリーン）。

[0032]デバイス３００は、さらに、１つまたは複数のジェスチャーセンサーで構成される。ジェスチャーセンサーは、ユーザー入力としてジェスチャーを少なくとも部分的に検出することができる感知構成要素である。４つのジェスチャーセンサーが、図３のデバイス３００の前面に示される。しかしながら、無しを含む任意の数が実装されてよいことが理解される。例えば、ジェスチャーセンサーは、既存の構成要素（例えば、ディスプレイ３１０、オーディオ入力デバイスおよびオーディオ出力デバイス、デバイス３００の本体）に組み込まれてよい。ジェスチャーセンサー３１２、３１４、３１６、および３１８は、デバイス３００の周縁部に隣接して配置されているように示される。しかしながら、ジェスチャーセンサーは、デバイス３００の任意の場所に配置されてよいことが理解される。例示的な実施形態では、正のｚ軸空間内のユーザージェスチャーを検出するための単一のジェスチャーセンサーが、デバイス３００に組み込まれてよい。この例では、ジェスチャーセンサーは、カメラのような光学デバイスであると考えられる。例えば、モバイル通信デバイスに慣例的であるように、静止画または動画を撮影することができるカメラが、さらにユーザージェスチャーを取り込むように適合されてよい。

[0033]加えて、ジェスチャーセンサーは、深さ情報の１つまたは複数の部分を取り込むことができると考えられる。例えば、深度カメラ（例えば、ワシントン州レドモンドのマイクロソフトコーポレーションから利用可能なキネクト（Ｋｉｎｅｃｔ（登録商標））に関連して使用されるカメラ）が、意図された入力としてユーザージェスチャーを検出するために利用されてよい。さらにまた、ジェスチャーセンサーは、既存の感知技術（例えば、デバイスに内蔵されたカメラ）を利用することができる。例えば、カメラによって撮影され得る「画素」を、所望の空間（例えば、正の軸および／または負の軸方向にデバイスから外側に延びる半球状体積）を取り込むパターンに分散させるために、１つまたは複数の導波路が、デバイスに組み込まれてよいと考えられる。１つまたは複数の技術が、取り込まれる領域を、カメラの意図される範囲を越えて広げることができるため、所望の解像度を提供するために、画素を時間多重化することが利用されてよいと考えられる。

[0034]したがって、ジェスチャーセンサーは、光学ベースの技術（例えば、カメラ）、容量ベースの技術、抵抗ベースの技術、温度ベースの技術、超音波ベースの技術、圧力ベースの技術、などであってよい。技術（および、同様の技術）の様々な組み合わせが、組み合わせで実装されてよい。例えば、近接感知技術（例えば、容量性）が、ｚ軸の第１の方向のジェスチャーのために使用されてよく、第２の技術（例えば、光学的）が、ｚ軸の第２の方向で利用されてよいと考えられる。さらに、様々な感知技術が、意図された入力としてジェスチャーを検出するために、共通のｚ軸空間（例えば、正、負）で利用されてよいと考えられる。

[0035]図４は、本発明の実施形態によるデバイス３００の背面斜視図を示す。負のｚ軸空間が、図４の背面斜視図の結果として示されてよい。複数のジェスチャーセンサーが、図４に示される。例えば、ジェスチャーセンサー４０２、４０４、４０６、４０８、および４１０が示される。図３に関連して上述したように、ジェスチャーセンサーの数、位置、および向きは、単に、本質的に例示であるように提供され、限定ではない。したがって、ジェスチャーセンサーは、デバイス３００の負のｚ軸空間内のジェスチャーを感知するのに適した任意の場所でデバイス３００に結合されてよいと考えられる。例えば、別のデバイスの独立したセンサー（例えば、リモートカメラ、リモートセンサー）のようなジェスチャーセンサーが、デバイス３００にリモートで結合されてよい。加えて、図３に関連して説明したように、任意の組み合わせの任意のタイプのジェスチャーセンサーが、利用されてよいと考えられる。さらに、図３および４のジェスチャーセンサーは、カメラタイプのセンサーとして示されるが、ジェスチャーセンサーは、任意のサイズ、形状、および外観のものであってよいと考えられる。したがって、ジェスチャーセンサーは、視覚的に識別可能である別個の構成要素でさえなくてもよいが、代わりに、デバイスの１つまたは複数の構成要素（例えば、既存の構成要素、デバイス本体）に一体化されてもよい。

[0036]ジェスチャーセンサー（複数可）の場所は、予想されるユーザーモードに依存してよい。例えば、ユーザーが、右手でデバイスの正および負のｚ軸空間内でジェスチャーの大部分を実行すると予想される場合、ジェスチャーセンサーは、ジェスチャーに近いデバイスのエッジの方へのジェスチャー活動を検出することに有利な場所に配置されてよい。しかしながら、デバイスのジェスチャーセンサーの可能な場所を決定する際、デバイスの向き（例えば、縦、横）も、考慮されてよい。

[0037]ジェスチャーセンサーは、非接触ジェスチャー、接触ジェスチャーを検出することができるセンサー、および、デバイスの内部姿勢／向きを検出することができるセンサーを含むことができる。例えば、非接触ジェスチャーセンサーは、適合されたレンズを利用するカメラを含むことができる。例示的な態様では、適合されたレンズは、魚眼レンズのような、分散された角度の視野を提供することができる。

[0038]実装され得る追加の感知技術は、少なくとも部分的に、例えば、デバイスのエッジに沿って配置されてよい近接赤外線センサーを含む（近接ＩＲ感知技術は、その全体が参照により本明細書に組み込まれる米国特許出願第１１／９４８，８０２号でさらに論じられる）。実装され得る追加の感知技術は、少なくとも部分的に、以下でより詳細に論じられる光導波路または光学くさびを含む。さらに、非接触ジェスチャーを検出することができる容量性センサーが実装されてよいと考えられる。さらに、１つまたは複数の構成要素（例えば、スピーカー、マイクロホン）を使用する、人間の耳によって聞くことができない音の感知は、様々な実施形態では、同様に、近接感知を提供することができると考えられる。

[0039]図５は、本発明の実施形態によるデバイス５００の側面形状を示す。デバイス５００は、上面５０２、底面５０４、前面５０６、および背面５０８で構成される。使用中、ユーザーは、典型的に、デバイス５００のディスプレイを見るために、前面５０６と相互作用する。前面５０６は、前面５１０と一致し、平行である前額面(frontal plane)５１０を画定することができる。例示的なｚ軸が前額面５１０と交差する点は、正のｚ軸５１２および負のｚ軸５１４が互いから離れる基準原点を提供する。例えば、正のｚ軸空間は、この例では、背面５０８を通過することなく、デバイス５００から離れて広がる。原点、ならびに、したがって、正および負のｚ軸が互いから離れる点は、ｚ軸に沿った任意の点に配置されてよいと考えられる。

[0040]本発明の例示的な実施形態では、デバイス５００は、正のｚ軸空間内のジェスチャーを感知する機能の第１のジェスチャーセンサーで構成される。加えて、本発明の例示的な実施形態では、デバイス５００は、負のｚ軸空間内のジェスチャーを感知する機能の第２のジェスチャーセンサーで構成される。追加の例示的な実施形態では、第１のジェスチャーセンサーは、負のｚ軸空間内のジェスチャーを検出するための機能ではない。同様に、例示的な実施形態では、第２のジェスチャーセンサーは、正のｚ軸空間内のジェスチャーを検出するための機能ではない。言い換えれば、第１のジェスチャーセンサーおよび第２のジェスチャーセンサーは、この例示的な実施形態では、正のｚ軸と負のｚ軸の両空間でのジェスチャーを検出するために、組み合わせて使用されなければならない。

[0041]図６は、本発明の実施形態による、使用中の向き６００でのデバイス６０１を示す。図６は、第１の手６０８（例えば、右手）および第２の手６１０（例えば、左手）でデバイス６０１を操作するユーザーを示す。第１の手６０８は、デバイス６０１のｙ軸６０４の周りを回転して表示される。例えば、回転方向インジケーター６２４は、ｙ軸６０４の周りで第１の手６０８によって行われる回転運動を示すために示される。ｙ軸６０４に垂直なｘ軸６０２も、デバイス６０１のディスプレイ６０６を横切って水平に示される。

[0042]第１の手６０８は、第１指６１２および親指６１４で構成される。第２の手は、第１指６１８および親指６１６で構成される。図６の例示的な向きに示されるように、第２の手６１０は、第１指６１８を使用して第１の点６２２で、および、親指６１６を使用して第２の点６２０で、第１の側に沿ってデバイス６０１と接触している。後述するように、デバイス６０１は、意図されるジェスチャー、デバイス６０１の向き、および／または、ジェスチャーの予想されるタイプを決定するのを助けるために、接触の場所を検出するための１つまたは複数の接触センサー（または、任意のタイプのセンサー）を含むことができる。第１の手６０８は、デバイス６０１の上方に配向され、第１指６１２および親指６１４は、互いに分離され、捻るタイプのジェスチャーでｙ軸６０４の周りを回転させるために動作可能である。

[0043]ｙ軸６０４の周りの第１の手６０８の回転は、手の部分（例えば、第１指６１２、親指６１４）を、正のｚ軸空間から負のｚ軸空間に（または、その逆に）移行させる。例えば、第１の手６０８は、「蓋」の中心が、ほぼｙ軸に配置されるように、瓶の蓋を、締め付けるのと同様のジェスチャーを行うことができる。このジェスチャーを成し遂げるために、第１指６１２および親指６１４は、正のｚ軸空間および負のｚ軸空間内で蓋を「掴み」、物理的な蓋を掴むときに指／親指の組み合わせが進むことになる経路をまねるように、回転ジェスチャーを開始する。

[0044]代わりに、第２の手６１０が、ｙ軸６０４の周りでデバイス６０１を回転させながら、第１の手６０８は、実質的に静止状態に保持されてよいと考えられる。１つまたは複数のジェスチャーセンサーは、デバイス６０１の移動または第１の手６０８の移動の間の違いを認識することができないが、他の感知技術が、差別化を助けることができる。例えば、デバイス６０１は、回転運動の見かけを生成するために、デバイス６０１が移動しているかどうか、または、第１の手６０８が移動しているかどうかを検出することができる１つまたは複数の加速度計を組み込むことができる。加えて、ジェスチャーセンサー自体が（プロセッサーとの組み合わせで）、デバイス６０１または第１の手６０８が動く物体であるかどうかを決定することもできる。例えば、ジェスチャーセンサーが光学的である場合、ジェスチャーが検出されている間、背景の風景が実質的に一定のままである場合、第１の手６０８が移動していることを示すことができるという推論が行われてよい。代わりに、背景の風景が、検出された動きと実質的に同様に動いているように見える場合、デバイス６０１は、操作されていることを示すことができる。

[0045]いずれかの手が、デバイス６０１を保持するために使用されてよく、別の手が、１つまたは複数のジェスチャーを提供するために利用されてよいと考えられる。同様に、追加のジェスチャーが、図示の例示的構成で考えられる。例えば、第１指６１２および親指６１４は、正と負の両方のｚ軸空間（デバイス６０１の前面と背面の両方）の空間を組み込む、挟むようなジェスチャー（例えば、第１指６１２および親指６１４間の距離を減少させる）を実行することができる。

[0046]前述のように、デバイス６０１は、１つまたは複数の追加のセンサーを組み込むことができる。例えば、感知技術は、接触入力を検出するために利用されてよい。接触ジェスチャーは、デバイスおよび入力機構（例えば、スタイラス、指）の物理的接触を結果としてもたらすジェスチャーである。非デバイス接触ジェスチャーは、入力／ジェスチャーを受信するデバイスに物理的に接触しないものである。例えば、非デバイス接触ジェスチャーは、例えば、デバイスの表面から１ｍｍまたはさらに離れた距離で、ユーザーによって実行されてよい。他の距離（より大きいまたはより小さい）は、非デバイス接触ジェスチャーの定義の範囲内にあると考えられる。利用され得る追加のセンサーは、加速度計、磁力計、ジャイロセンサー、全地球測位システム（例えば、ＧＰＳ）、電磁センサー、などを含むことができる。

[0047]接触入力を検出するための第３のセンサーを利用する例示的な態様に戻る。第３のセンサーは、上述した任意のタイプのセンサーであってよい。例えば、容量性タッチセンサーが、接触の場所が決定され得るように、デバイスの１つまたは複数の部分に組み込まれてよい。したがって、ユーザーが、デバイスを保持するために（または、入力を提供するために）デバイスに接触する場合、デバイスは、接触ジェスチャーが提供されたこと、および、それが提供された場所を決定することができてよい。

[0048]例えば、１つまたは複数のセンサーが、デバイスの周囲（または側面）に沿って（例えば、図６の近接点６２２および点６２０）、デバイスと結合されてよい。接触センサーは、次に、デバイスが、１つまたは複数のセンサーに対応するこれらの場所で接触されていることを識別することができる。したがって、ユーザーが、デバイスに対してどのように配向されるかについて、推論が行われてよい。例えば、接触が、点６２２と６２０の両方に登録される場合、同じ手の別の指が、反対側でデバイスと接触することができる場所と比較して、親指が、慣例的には側面に沿ってより低い点でデバイス６０１と接触することができるように、左手がデバイス６０１を掴んでいることの決定がなされてよい。加えて、特定のユーザーが、経時的にどのようにデバイスと相互作用するのかを学習するために、学習アルゴリズムが導入されてよいと考えられる。さらに、ユーザーがデバイスを保持／操作する特定の方法を識別するために、１つまたは複数の追加のセンサー（例えば、加速度計、深度カメラ、カメラ）が、単独または組み合わせて利用されてもよい。

[0049]したがって、ジェスチャーセンサーが、１つまたは複数の接触センサー（および、内部姿勢／配向センサーのような、デバイスの１つまたは複数の追加のセンサー）が組み合わされる場合、デバイスは、例示的な実施形態では、検出される非デバイス接触ジェスチャーが、意図される入力である場合を推論することができる。例えば、接触センサーは、ジェスチャーセンサーによって検出されるジェスチャーが、意図される入力であり、単に検出されたノイズではないという推論を活性化するような、モード選択機構であってよい。同様に、デバイスは、例示的な実施形態では、ジェスチャーセンサー（例えば、非デバイス接触ジェスチャーを検出するように機能するセンサー）および／またはデバイスの追加のセンサーによって感知される情報に基づいて、接触入力が、意図された入力である場合を推論する機能のものである。実際には、デバイスは、入力／ジェスチャーの意図について決定を行う場合、１つまたは複数のプロセッサーを利用する。

[0050]図７は、本発明の実施形態による、使用中の向き７００でのデバイス７０１を示す。図７は、第１の手７０８（例えば、右手）および第２の手７１０（例えば、左手）でデバイス７０１を操作するユーザーを示す。第１の手７０８は、デバイス７０１のｘ軸７０２の周りを回転して示される。例えば、回転方向インジケーター７２４は、ｘ軸７０２の周りで第１の手７０８によって行われる回転運動を示すために示される。ｘ軸７０２に垂直なｙ軸７０４も、デバイス７０１のディスプレイ７０６を横切って垂直に示される。

[0051]第１の手７０８は、ｘ軸７０２の周りの回転の非デバイス接触ジェスチャーを実行する過程にある親指７１４および指７１２で構成される。第１の手７０８（および、取り付けられた親指７１４および指７１２）の回転は、正のｚ軸空間（例えば、デバイスの前面側）と負のｚ軸空間（例えば、デバイスの背面側）の両方を横切る。したがって、デバイスの前面の慣例的な相互作用空間、ならびに、デバイスの背後の空間の両方を横切る３次元ジェスチャーが取り込まれることが可能であり、これは、以前には利用できない方法で、ユーザーがデバイスと相互作用する能力を提供する。

[0052]第２の手７１０は、この例では、親指７１６が、点７２０でデバイス７０１と接触しているように、デバイス７０１と接触している。加えて、指７１８は、点７２２でデバイス７０１と接触している。例示的な態様では、デバイス７０１は、点７２０での接触を検出するために機能するセンサー、および、点７１８での接触を検出するために機能するセンサーで構成される。前述したように、これらの点での接触の検出は、第２の手７１０が、デバイス７０１を保持しており、第１の手７０８が、１つまたは複数の非デバイス接触ジェスチャーを提供するために動作可能であることを推論するために使用可能であってよい。したがって、デバイス７０１は、一般的に手７０８によるもののような、検出されたジェスチャーが、デバイス７０１の１つまたは複数の態様（例えば、ディスプレイ７０６に提示されるＵＩ）を操作するための意図された入力であることを推論することができる。

[0053]デバイス７０１、第１の手７０８、第２の手７１０、および／または他の部材（例えば、スタイラス、ポインター）の追加の向きが考慮される。さらに、追加のセンサー、センサーの場所、感知技術、および上記の組み合わせが、本発明の範囲内で考慮される。

[0054]上記で論じたように、本発明の態様は、向き、ジェスチャー、ならびに／または、デバイスおよび／もしくはユーザーの意図を識別するために、非接触センサー（例えば、深度カメラ、可視光カメラ、ＩＲカメラ、容量、超音波、など）、接触センサー、および／または、デバイス姿勢／配向センサー（例えば、加速度計、磁力計、ジャイロ、ＧＰＳ、電磁センサー、など）を、任意の組み合わせで使用することを考慮する。例えば、接触センサー、非接触センサー、および、内部姿勢／配向センサーは、ユーザーのどの手がデバイスを保持しているか、デバイスが移動しているかどうか、ユーザーがジェスチャーを提供しているかどうか、などを識別することができる。

[0055]図８は、本発明の実施形態による、使用中の向き８００でのデバイス８０１を示す。図８は、第１の手８１０（例えば、右手）および第２の手８１２（例えば、左手）でデバイス８０１を操作するユーザーを示す。さらに、ｘ軸は、デバイス８０１に沿って水平に横切っているように示される。ｚ軸は、ｘ軸８０２に対して垂直に垂直方向に延びるように示される。一般に、図８に示されるユーザーは、正のｚ軸空間８０６と負のｚ軸空間８０８の両方で様々なジェスチャーを提供している。様々なジェスチャーは、正および負のｚ軸空間内で移動する第１の手８１０および第２の手８１２の１つまたは複数の部分を含む。しかしながら、１つの非デバイス接触ジェスチャーのみが、正のｚ軸空間および負のｚ軸空間の各々で１つの手の１つの部分によって実行されると考えられる。しかし、本発明の実施形態は、デバイス８０１に対する様々な場所で生じる様々なジェスチャーを考える。

[0056]第１の手８１０は、親指８１４が、正のｚ軸空間内に配置され、指８１６が、負のｚ軸空間内に配置されるように配置される。同様に、第２の手８１２の親指８２０は、正のｚ軸空間８０６内に配置され、第２の手８１２の指８２２は、デバイス８０１の負のｚ軸空間８０８内に配置される。さらに、この例では、第１の手のひら部分８１８が、場所８２６でデバイス８０１と接触している。第２の手のひら部分８２４も、デバイス８０１と接触しているが、第２の手のひら部分８２４は、デバイス８０１上の場所８２８でデバイス８０１と接触している。この例では、親指８１４および８２０、ならびに指８１６および８２２によるジェスチャーは、デバイス８０１が、この例では、８２６および８２８に近い位置で接触を検出する場合、意図された入力として推測されてよい。場所８２６および８２８は、本質的に例示的であり、１つまたは複数の非デバイス接触ジェスチャーが意図されたジェスチャーであるという推論を提供するために、追加の接触領域が使用されてよい。

[0057]図８に示される例示的な使用中の向きを続けて、ユーザーは、正のｚ軸空間８０６と負のｚ軸空間８０８の一方または両方での非デバイス接触ジェスチャーで、１つまたは複数の手の１つまたは複数の部分を操作することができる。例えば、親指８１４および指８１６は、共通の時間に、共通の方向に移動することができると考えられる。逆に、親指８１４および指８１６は、共通の時間中に、異なる方向に移動することができると考えられる。例えば、親指８１４は、デバイス８０１の方に（すなわち、下向きに）移動することができ、指８１６は、同時に、デバイス８０１の方でもある反対方向に（すなわち、上向きに）移動すると考えられる。別の例は、親指８１４が、デバイス８０１のディスプレイ表面８０３によって画定される平面と実質的に平行な平面内で移動する間、ｚ軸８０４と実質的に平行な方向に移動する指８１６を含むことができる。別の例は、仮想物体の一部が、負のｚ軸空間内に知覚され、仮想物体の別の部分が、正のｚ軸空間内に知覚されるように、ｘ、ｙ、および／またはｚ軸方向に仮想物体を移動させる意図で、仮想物体を親指８１４および指８１６間に挟むことを含む。手の任意の部分は、正および／または負のｚ軸空間の任意の部分内で、任意の時間に、任意の方向に移動することができると考えられる。

[0058]第１の手８１０と同様に、第２の手８１２は、任意の組み合わせで、任意の時間に、正および／または負のｚ軸空間の任意の部分を操作することができる。さらに、第１の手８１０および第２の手８１２は、調和して作業すると考えられる。例えば、負のｚ軸空間と正のｚ軸空間の両方の一部であるとしてユーザーによって知覚される仮想物体が、第１の手８１０および／または第２の手８１２の部分によって、摘まれ、引き伸ばされ、圧縮され、掴まれ、および別な方法で操作されてよい。

[0059]例示的な実施形態では、ディスプレイ８０３は、３次元ＵＩとしてユーザーによって知覚されるＵＩを提供する機能のものであると考えられる。例えば、ディスプレイは、ディスプレイ８０３およびユーザーの目（複数可）間に配置される１つまたは複数のレンズと組み合わされてよい。ディスプレイおよびレンズの組み合わせは、当該技術分野で既知の３次元パースペクティブを提供することができる。３次元視覚的体験を提供するための他の技術（例えば、ホログラム、裸眼３次元ディスプレイ、３次元視野のための適合された視覚的出力を有するウェッジ）が考えられる。

[0060]前述のように、正のｚ軸空間８０６内で感知する少なくとも第１のジェスチャーセンサー、および、負のｚ軸空間８０８内で感知する少なくとも第２のジェスチャーセンサーと組み合わせて、追加のセンサーが使用されてよい。例えば、１つまたは複数の場所（例えば、場所８２６、場所８２８、およびディスプレイ８０３）での接触を検出するために、デバイス８０１に結合された１つまたは複数の接触センサー。非デバイス接触ジェスチャーを検出するため、および、検出されたジェスチャーの意図を決定する際に支援するために使用されてよい追加のセンサーは、ビデオカメラ、スチルカメラ、加速度計、などを含むことができる。

[0061]さらに、図８は、第１の手８１０および第２の手８１２間に縦方向の向きに配置されたデバイス８０１を示すが、デバイス８０１は、任意の代わりの向き（例えば、横方向）であってよいと考えられる。

[0062]図９は、本発明の実施形態による、使用中の側面形状の向き９００でのデバイス９０１を示す。図９は、第１の手９１０（例えば、右手）および第２の手９１２（例えば、左手）でデバイス９０１を操作するユーザーを示す。図９は、ｚ軸９０４に対して垂直なｘ軸９０２も示す。ｚ軸９０４は、示された向きでデバイス９０１から上方に離れてｘ軸から延びる正のｚ軸空間９０６を画定する。同様に、ｚ軸９０４は、示された向きでデバイス９０１から下方に離れてｘ軸から延びる負のｚ軸空間９０８を画定するために利用可能である。

[0063]第２の手９１２は、デバイス９０１と接触するように示され、第１の手９１０は、正のｚ軸空間９０６と負のｚ軸空間９０８の両方で１つまたは複数の非デバイス接触ジェスチャーを提供するように示される。再び、上述したように、デバイス９０１は、正のｚ軸空間９０６内の非デバイス接触ジェスチャーを感知する第１のセンサー、負のｚ軸空間９０８内の非デバイス接触ジェスチャーを感知する第２のセンサー、場所９２０でデバイス９０１と接触する指９２２を感知する第３のセンサーで構成されてよい。少なくとも、場所９２０（および、併せて追加の場所が考えられる）でデバイス９０１と接触する指９２２を感知することに基づいて、ユーザーがデバイス９０１をどのように操作（例えば、相互作用、保持）しているかについての推論が行われてよい。デバイス９０１がどのように操作されているかについての決定に基づいて、第１のセンサーおよび／または第２のセンサーによって検出されたジェスチャーが、入力として使用されるように意図されたジェスチャーであるかどうかについての推論が行われてよい。

[0064]親指９１４および指９１６の様々な運動が考えられる。例えば、上述したように、それらは、互いに協調して、または、協調せずに移動することができる。同様に、手の第２の部分が、ＵＩの要素を操作しながら、手の第１の部分（例えば、親指、指）が、特定のジェスチャー、場所、またはジェスチャーの欠如に基づいて、モードセレクターとして機能することができると考えられる。

[0065]図１０は、本発明の実施形態による、使用中の向き１０００でのデバイス１００１を示す。図１０は、ディスプレイ１００２を覆う第１の手１００４（例えば、右手）、および、デバイス１００１の背面に配置された第２の手１００６（例えば、左手）でデバイス１００１を操作するユーザーを示す。ｘ軸１０１０、および、直交するｙ軸１００８も示される。正のｚ軸空間は、第１の手１００４の手のひら領域に向かってデバイス１００１から外向きに延びる。負のｚ軸空間は、第２の手１００６の手のひら領域に向かってデバイス１００１から後向きに延びる。

[0066]図１０の向きは、デバイス１００１の周囲を、接触することなく、掴んでいる第１の手１００４を示す例示的な状況である。例えば、デバイス１００１の正のｚ軸空間内の非デバイス接触ジェスチャーを感知する第１のセンサーは、第１の手１００４およびデバイス１００１間のｚ軸距離を閉じる第１の手１００４を取り込むことができる。結果として、デバイス１００１は、第１の手１００４の１つまたは複数の部分が、負のｚ軸空間を通過することを予想することができる。したがって、負のｚ軸空間内のジェスチャーを検出するために機能する第２の非デバイス接触センサーからの入力が、意図された入力として推測されてよい。さらに、正のｚ軸空間で検出された入力と、負のｚ軸空間で検出された入力の両方を利用することが、正または負の軸方向の一方からの入力のみを利用することに比較して、低い誤りの正の入力、および、低い誤りの負の入力を提供するために、組み合わせて用いられてよい。

[0067]図１１は、本発明の実施形態による、デバイスの正のｚ軸空間と負のｚ軸空間の両方でのユーザー入力を検出するための方法１１００を示すブロック図である。ブロック１１０２では、第１のセンサーが、正のｚ軸空間内の非デバイス接触ジェスチャーを感知するために利用される。例えば、デバイスの正のｚ軸空間内のジェスチャーを検出することができる１つまたは複数のセンサーが、一体型カメラのようなデバイスに結合されると考えられる。第１のセンサーによるジェスチャーの検出は、次に、デバイスのための入力として解釈されてよい。上述したように、非デバイス接触ジェスチャーは、手のジェスチャーが、入力を提供するために、実際のデバイスと接触しないように、デバイスを超える空間の体積内で行われる手のジェスチャーを含むことができる。

[0068]ブロック１１０４では、第２のセンサーが、デバイスの負のｚ軸空間内である第２の入力を検出するために利用される。例示的な実施形態では、第２の入力は、非デバイス接触ジェスチャーである。しかしながら、第２の入力は、第１の入力が、意図された入力であると推論するために、デバイスによって使用可能な接触ジェスチャーであってよい。さらに、第１の入力および第２の入力は、ｘ軸またはｙ軸（または、正と負の両方のｚ軸空間での入力になる任意のライン）の周りの手の回転のような、連続的なジェスチャーから結果として生じると考えられる。第１の入力および第２の入力を生成する一様なジェスチャーの別の例は、上記で図６〜１０に関連して説明したそれらのジェスチャーを含む。

[0069]例示的な実施形態では、第１のセンサーは、正のｚ軸空間内の入力を感知するためにのみ有効である。同様に、例示的な実施形態では、第２のセンサーは、負のｚ軸空間内の入力を感知するためにのみ有効である。例えば、カメラの開口部が、デバイスの前面と実質的に平行な平面内にあるようにデバイスに結合されたカメラは、上記構成を有するデバイスの裏側での入力を検出することができない可能性がある。したがって、負のｚ軸空間内で生じるジェスチャーを取り込むために、第２のセンサーが利用されてよい。

[0070]ブロック１１０６では、ＵＩは、正のｚ軸空間内のジェスチャー／入力を感知／検出する第１のセンサーに応じて、および、負のｚ軸空間内のジェスチャー／入力を感知／検出する第２のセンサーに応じて更新される。例えば、ＵＩの更新は、第１の入力および／または第２の入力に基づいて、１つまたは複数のオブジェクトの変化を反映するために、ＵＩによって提示される画像をリフレッシュすることを含むことができる。ＵＩの更新は、感知すべき正のｚ軸空間からの第１の入力と負のｚ軸空間からの第２の入力の両方が完了されることを必要とすることができる。

[0071]上述したように、方法１１００の追加のステップは、第３の入力を検出することを含むことが考えられる。第３の入力は、第３のセンサーで検出されてよい。第３のセンサーは、（例えば、容量性技術ベースの）接触を感知するための機能であってよい。例えば、第３のセンサーは、デバイスを保持する第２の手を検出することができ、第１および第２のセンサーは、デバイスの正および負のｚ軸空間内で生じる非デバイス接触ジェスチャーを検出することができる。したがって、例示的な実施形態では、第３の入力を検出する第３のセンサーに基づいて、第１の入力および第２の入力が意図された入力であることを判定するために、プロセッサーが利用される。さらにまた、第３のセンサーは、マルチタッチディスプレイのように、複数の入力を検出することができることが考えられる。したがって、第３のセンサーは、他の手による接触のような、第４の入力を検出することができる。この例では、デバイスは、デバイスが１つまたは複数の手によって保持されていることを意味する接触入力である第３の入力および第４の入力を検出することができ、第１および第２の入力は、次に、３次元ジェスチャーからの意図的な入力として推論されてよい。

[0072]追加のステップが、方法１１００に関連して実行されてよいと考えられる。加えて、（ブロックによって示されるが、図１１に示されない）１つまたは複数のステップが、任意の順序およびシーケンスで実行されてよいことが考えられる。

[0073]図１２は、本発明の実施形態による、デバイスの正のｚ軸空間と負のｚ軸空間の両方でのユーザー入力を検出するための例示的な方法１２００のブロック図を示す。ブロック１２０２は、第１の光学ベースのセンサーを利用して、デバイスの正のｚ軸空間内の非デバイス接触ユーザージェスチャーを検出するステップを示す。例えば、深度カメラのようなカメラが、ディスプレイおよびユーザー間のような、デバイスの前面で生じるユーザーの手のジェスチャーを検出するために機能的であることが考えられる。

[0074]ブロック１２０４では、第２の光学ベースのセンサーで、デバイスの負のｚ軸空間内の同じ非デバイス接触ジェスチャーを検出するためのステップが示される。例えば、正と負の両方のｚ軸空間で実行される同じジェスチャーは、図６〜１０に関連して上述したもの（例えば、つまむ、回転させる）のいずれかを含むことができる。例えば、ジェスチャーが、仮想物体を操作しているかのように、ユーザーの単一の手によって実行されるジェスチャーは、正のｚ軸空間と負のｚ軸空間の両方で生じる共通のジェスチャーの例である。

[0075]ブロック１２０６では、第１および第２の光学ベースのセンサーで検出された非デバイス接触ジェスチャーが、デバイスへの第１の入力であることを判定するためのステップが示される。例えば、正のｚ軸空間内の運動と共に負のｚ軸空間内の運動の組み合わせは、共通の（しかし、依然として潜在的に複合的な）入力として解されてよい。入力は、デバイスのディスプレイによって、またはさらに外部のディスプレイ（例えば、テレビジョン、モニター）によって提示されるオブジェクトを操作するために意図されてよい。さらに、第１のジェスチャーおよび第２のジェスチャーの組み合わせが、意図された入力である高い可能性を有することの判定が実行されると考えられる。このような判定は、学習プロセス、第３の入力の追加、などを介して行われてよい。

[0076]ブロック１２０８は、正のｚ軸空間および負のｚ軸空間内の非デバイス接触ジェスチャーが、第１の入力であることの判定に応じて、ディスプレイ上のＵＩを調整するためのステップを示す。例えば、デバイスは、外部ディスプレイによって表示される１つまたは複数のオブジェクトに影響を与えるために、ユーザーによって操作されるビデオゲームコンソールであってよい。第１の入力（例えば、回転、つまむ、引き伸ばすジェスチャー）に基づいて、ＵＩのオブジェクトは、適切な変形（例えば、オブジェクトを回転させる、オブジェクトを圧縮する、オブジェクトを引き伸ばす）によって操作されてよい。追加の例示的な実施形態では、ＵＩは、モバイル通信デバイス（例えば、携帯電話）を備えるなどのデバイス自体の一部として提供されてよいと考えられる。したがって、３次元非デバイス接触ジェスチャーでの提示されたオブジェクトの操作は、オブジェクトが、入力に応じて調整されることを可能にすることができる。

[0077]図示された様々な構成要素の多くの異なる配置、ならびに図示されない構成要素は、本発明の要旨および範囲から逸脱することなく、可能である。本発明の実施形態は、限定的ではなく例示的であることを意図して説明されている。その範囲から逸脱しない代わりの実施形態は、当業者には明らかになるであろう。当業者は、本発明の範囲から逸脱することなく、上記の改善を実現する代わりの手段を開発することができる。

[0078]特定の特徴および部分的組み合わせは、有用であり、他の特徴および部分的組み合わせへの参照なしに用いられてよく、特許請求の範囲内であると考えられることが理解されるであろう。様々な図面に記載されたすべてのステップが、記載された特定の順序で実行される必要はない。

Claims

プロセッサーおよびメモリーを利用するコンピューティング環境で、デバイスの正のｚ軸空間と負のｚ軸空間の両方でのユーザー入力を検出するための方法であって、
非デバイス接触ジェスチャーである第１の入力を検出するために、前記デバイスの前記正のｚ軸空間内で感知する前記デバイスの第１のセンサーを利用する工程と、
第２の入力を検出するために、前記デバイスの前記負のｚ軸空間内で感知する前記デバイスの第２のセンサーを利用する工程と、
前記正のｚ軸空間内の前記第１のセンサーによる前記第１の入力の検出、および、前記負のｚ軸空間内の前記第２のセンサーによる前記第２の入力の検出に応答して、ディスプレイ上に提示されるユーザーインターフェースを更新する工程と
を含む、方法。
前記第１の入力および前記第２の入力が、前記正のｚ軸空間と前記負のｚ軸空間の両方で提供される共通のジェスチャーである、請求項１に記載の方法。
前記第１の入力および前記第２の入力が、前記デバイスのｙ軸と実質的に平行な軸のほぼ周りの回転ジェスチャーから結果として生じる、請求項１に記載の方法。
前記第１の入力および前記第２の入力が、前記デバイスのｘ軸と実質的に平行な軸のほぼ周りの回転ジェスチャーから結果として生じる、請求項１に記載の方法。
デバイスの正のｚ軸空間と負のｚ軸空間の両方でのユーザー入力を検出するためのデバイスであって、
前面側および反対の背面側を有するデバイス本体であって、前記前面側が、前記正のｚ軸空間に向かって配向され、前記背面側が、前記負のｚ軸空間に向かって配向される、デバイス本体と、
前記デバイス本体に結合された、前記デバイスの前記正のｚ軸空間内の非デバイス接触ユーザージェスチャーを感知するための第１のセンサーと、
前記デバイス本体に結合された、前記デバイスの前記負のｚ軸空間内の前記非デバイス接触ユーザージェスチャーを感知するための第２のセンサーと、
前記デバイス本体に結合された、前記デバイスの前記正のｚ軸空間内の前記非デバイス接触ユーザージェスチャーを感知する前記第１のセンサーからの第１の入力を処理し、前記デバイスの前記負のｚ軸空間内の前記非デバイス接触ユーザージェスチャーを感知する前記第２のセンサーからの第２の入力を処理するためのプロセッサーと
を備える、デバイス。
前記第１のセンサーが、カメラで構成される、請求項５に記載のデバイス。
前記第１のセンサーが、近接センサーで構成される、請求項５に記載のデバイス。
前記第１のセンサーおよび前記第２のセンサーが、類似の感知技術を利用する、請求項５に記載のデバイス。
ユーザーインターフェースを表示するためのディスプレイをさらに備え、前記ユーザーインターフェースが、前記第１のセンサーおよび前記第２のセンサーによる前記非デバイス接触ユーザージェスチャーの感知に応答して更新可能である、請求項５に記載のデバイス。
コンピューター実行可能命令を具体化した１つまたは複数のコンピューター記憶媒体であって、前記コンピューター実行可能命令が、プロセッサーおよびメモリーを有するコンピューティングシステムによって実行されると、前記コンピューティングシステムに方法を実行させ、前記方法が、
第１の光学ベースのセンサーを利用して、前記デバイスの正のｚ軸空間内の非デバイス接触ユーザージェスチャーを検出する工程と、
第２の光学ベースのセンサーを利用して、前記デバイスの負のｚ軸空間内の前記非デバイス接触ユーザージェスチャーを検出する工程と、
前記正のｚ軸空間内で前記第１のセンサーによって検出された前記非デバイス接触ユーザージェスチャー、および、前記負のｚ軸空間内で前記第２のセンサーによって検出された前記非デバイス接触ユーザージェスチャーが第１の入力であることを、プロセッサーを用いて判定する工程と、
前記正のｚ軸空間および前記負のｚ軸空間内の前記非デバイス接触ジェスチャーが前記第１の入力であることの判定に応答して、ディスプレイ上のユーザーインターフェースを調整する工程と
を含む、コンピューター記憶媒体。