JP2017507416A - ジェスチャ制御のためのシステムおよび方法 - Google Patents

Abstract

本開示は、ヒューマンデバイスインターフェース、特に、３次元（３Ｄ）ジェスチャ検出に関する。処理システムと、処理システム内に統合され、処理システムと結合される、入力デバイスと、処理システムと統合され、入力デバイスの上方の面積を監視するように構成される、センサ配列と、センサ配列と結合され、所定の入力アクションを検出する、コントローラとを伴い、コントローラは、処理システムと結合され、所定の入力アクションは、入力デバイスからの入力と組み合わせられる、システム。

Description

（関連出願の相互参照）
本願は、２０１４年３月３日に出願された米国仮出願第６１／９４７，１１２号の利益を主張するものであり、該仮出願の全体は、参照により本明細書中に援用される。

本開示は、ヒューマンデバイスインターフェース、特に、３次元（３Ｄ）ジェスチャ検出に関する。

パーソナルコンピュータ等の処理デバイス、特に、ラップトップコンピュータ、タブレットコンピュータ等のモバイルコンピュータは、通常、キーボード、タッチスクリーン、トラックパッド、マウス等の種々の入力デバイスを提供する。これらの入力デバイスは、概して、タッチおよび／または手動動作を要求する、２次元入力デバイスを提供する。

既存の入力デバイスの機能性を向上させることが可能である、改良された入力デバイスの必要性がある。

ある実施形態によると、システムは、処理システムと、処理システム内に統合され、処理システムと結合される、入力デバイスと、処理システムと統合され、該入力デバイスの上方の面積を監視するように構成される、センサ配列と、センサ配列と結合され、所定の入力アクションを検出する、コントローラとを備え、コントローラは、処理システムと結合され、所定の入力アクションは、該入力デバイスからの入力と組み合わせられる。

さらなる実施形態によると、センサ配列は、電極が入力デバイスを囲繞するように配列される複数の電極を備える、電極配列であることができる。さらなる実施形態によると、センサ配列は、赤外線センサを備えてもよい。さらなる実施形態によると、センサ配列は、超音波センサを備えてもよい。さらなる実施形態によると、入力デバイスは、容量式センサ要素のマトリクスを備える、タッチセンサであることができ、１つの動作では、容量式センサ要素のマトリクスは、タッチセンサとして動作し、第２の動作モードでは、所定のセットのセンサ要素が、組み合わせられ、個々の伸長センサ要素を形成することができ、第２の動作モードでは、入力デバイスの個々の伸長センサ要素は、入力デバイスの上方の面積を監視するためのセンサ配列を形成する。さらなる実施形態によると、電極配列は、電極配列の上方の３Ｄ空間内で行われるジェスチャを検出するように構成されることができ、電極配列は、準静電場を発生させるための伝送電極と、該入力デバイスの周囲に配列される複数の受信電極とを備える。さらなる実施形態によると、電極配列は、配列されたタッチセンサとして動作するように構成され得る、該入力デバイスの周囲の複数の電極センサを備えてもよい。さらなる実施形態によると、該入力デバイスの周囲の電極センサは、第１の動作モードでは、非タッチジェスチャ検出センサとして、第２の動作モードでは、タッチセンサとして動作するように構成されることができる。さらなる実施形態によると、動作モードは、時間多重化されてもよい。さらなる実施形態によると、入力アクションは、該入力デバイスをブロックまたはブロック解除するために使用されることができる。さらなる実施形態によると、入力アクションは、処理システムの所定の機能を行うために使用されることができる。さらなる実施形態によると、入力アクションは、入力アクションのシーケンスから成ってもよい。さらなる実施形態によると、シーケンスは、複数の同じ入力アクションを備えてもよい。さらなる実施形態によると、同じ入力アクションは、入力デバイスを横断して手を垂直に２回移動させることであってもよい。さらなる実施形態によると、第１の所定の機能は、コピー機能であって、第２の所定の機能は、ペースト機能である。さらなる実施形態によると、該入力デバイス上の入力と組み合わせられた入力アクションは、処理システムの所定の機能を行ってもよい。さらなる実施形態によると、入力デバイスは、タッチパッドであることができ、入力アクションは、該電極配列の電極上のタッチ検出であって、該入力デバイスからの入力は、該タッチパッド上で行われるタッチ移動である。さらなる実施形態によると、電極配列は、複数の電極を備えてもよく、タッチされた電極は、水平スクロール、垂直スクロール、およびズームから成る群から選択される、所定の機能を定義する。

別の実施形態によると、システムは、処理システムと、処理システム内に統合され、処理システムと結合される、入力デバイスと、処理システムと統合され、該入力デバイスの周囲の面積を監視するように構成される、センサ配列と、センサ配列と結合され、所定の非タッチ入力アクションを検出する、コントローラとを備えてもよく、コントローラは、処理システムと結合され、非タッチ入力アクションの検出のために、ジェスチャの所定のシーケンスが、非タッチ入力アクションと該入力デバイスの周囲の面積内の非意図的移動を区別するために要求される。

前述のシステムのさらなる実施形態によると、センサ配列は、電極が入力デバイスを囲繞するように配列される複数の電極を備える、電極配列であって、電極配列は、電極配列の上方の３Ｄ空間内で行われるジェスチャを検出するように構成され、電極配列は、準静電場を発生させるための伝送電極と、該入力デバイスの周囲に配列される複数の受信電極とを備える。前述のシステムのさらなる実施形態によると、センサ配列は、赤外線センサまたは超音波センサを備えてもよい。前述のシステムのさらなる実施形態によると、入力アクションは、処理システムの所定の機能を行うために使用されることができる。前述のシステムのさらなる実施形態によると、ジェスチャのシーケンスは、複数の同じ入力アクションを備えてもよい。前述のシステムのさらなる実施形態によると、同じ入力アクションは、入力デバイスを横断して手を垂直に２回移動させることであってもよい。前述のシステムのさらなる実施形態によると、入力デバイスは、容量式センサ要素のマトリクスを備える、タッチセンサであることができ、１つの動作では、容量式センサ要素のマトリクスは、タッチセンサとして動作し、第２の動作モードでは、所定のセットのセンサ要素が、組み合わせられ、個々の伸長センサ要素を形成することができ、第２の動作モードでは、入力デバイスは、入力デバイスの上方の面積を監視するためのセンサ配列を形成する。

別の実施形態によると、データ処理デバイスを動作させるための方法であって、データ処理デバイスは、処理システム内に統合される入力デバイスを備え、方法は、該入力デバイスを囲繞する面積がセンサ配列によって監視されるように、センサ配列をデータ処理デバイス内に統合するステップと、電極配列と結合されるコントローラによって、所定の入力アクションを検出するステップと、所定の入力アクションと該入力デバイスによって生成される入力を組み合わせるステップとを含んでもよい。

前述の方法のさらなる実施形態によると、センサ配列は、電極が入力デバイスを囲繞するように配列される複数の電極を備える、電極配列であることができる。前述の方法のさらなる実施形態によると、センサ配列は、赤外線センサを備えてもよい。前述の方法のさらなる実施形態によると、センサ配列は、超音波センサを備えてもよい。前述の方法のさらなる実施形態によると、電極配列は、電極配列の上方の３Ｄ空間内で行われる非タッチジェスチャを検出するように構成されてもよく、電極配列は、準静電場を発生させるための伝送電極と、該入力デバイスの周囲に配列される複数の受信電極とを備える。前述の方法のさらなる実施形態によると、電極配列は、該入力デバイスの周囲の複数の電極センサを備えてもよく、本方法は、電極センサをタッチセンサとして動作するように構成するステップを含んでもよい。前述の方法のさらなる実施形態によると、本方法は、該入力デバイスの周囲の電極センサを、第１の動作モードでは、非タッチジェスチャ検出センサとして、第２の動作モードでは、タッチセンサとして動作するように構成するステップを含んでもよい。前述の方法のさらなる実施形態によると、動作モードは、時間多重化されてもよい。前述の方法のさらなる実施形態によると、入力アクションは、該入力デバイスをブロックまたはブロック解除するために使用されてもよい。前述の方法のさらなる実施形態によると、入力アクションは、処理システムの所定の機能を行うために使用されてもよい。前述の方法のさらなる実施形態によると、入力アクションは、入力アクションのシーケンスから成ってもよい。前述の方法のさらなる実施形態によると、シーケンスは、複数の同じ入力アクションを備えてもよい。前述の方法のさらなる実施形態によると、同じ入力アクションは、入力デバイスを横断して手を垂直に２回移動させることであることができる。前述の方法のさらなる実施形態によると、入力アクションは、入力アクションのシーケンスから成ってもよい。前述の方法のさらなる実施形態によると、シーケンスは、複数の同じ入力アクションを備えてもよい。前述の方法のさらなる実施形態によると、第１の所定の機能は、コピー機能であることができ、第２の所定の機能は、ペースト機能である。前述の方法のさらなる実施形態によると、該入力デバイス上の入力と組み合わせられた入力アクションは、処理システムの所定の機能を行ってもよい。前述の方法のさらなる実施形態によると、入力デバイスは、タッチパッドであってもよく、入力アクションは、該電極配列の電極上のタッチ検出であってもよく、該入力デバイスからの入力は、該タッチパッド上で行われるタッチ移動である。前述の方法のさらなる実施形態によると、電極配列は、複数の電極を備えてもよく、タッチされた電極は、水平スクロール、垂直スクロール、およびズームから成る群から選択される、所定の機能を定義する。

図１は、センサ配列の実施形態を示す。 図２は、トラックパッドと組み合わせられた図１の実施形態を示す。 図３は、ディスプレイと組み合わせられた図１の実施形態を示す。 図４は、キーボードと組み合わせられた図１の実施形態を示す。 図５は、図１−４の実施形態と組み合わせられた回路のブロック図を示す。 図６および７は、異なるタイプのジェスチャ検出システムを伴う、実施形態を示す。 図６および７は、異なるタイプのジェスチャ検出システムを伴う、実施形態を示す。 図８−１２は、図１による入力デバイスおよび付加的センサ配列のタッチおよびジェスチャの種々の組み合わせの可能性として考えられる実装を示す。 図８−１２は、図１による入力デバイスおよび付加的センサ配列のタッチおよびジェスチャの種々の組み合わせの可能性として考えられる実装を示す。 図８−１２は、図１による入力デバイスおよび付加的センサ配列のタッチおよびジェスチャの種々の組み合わせの可能性として考えられる実装を示す。 図８−１２は、図１による入力デバイスおよび付加的センサ配列のタッチおよびジェスチャの種々の組み合わせの可能性として考えられる実装を示す。 図８−１２は、図１による入力デバイスおよび付加的センサ配列のタッチおよびジェスチャの種々の組み合わせの可能性として考えられる実装を示す。 図１３は、既存の容量式タッチセンサ面積内に形成される仮想センサ配列の別の実施形態を示す。

種々の例示的実施形態によると、付加的センサ入力デバイスが、既存の従来の入力デバイスと組み合わせられることができ、改良された動作方法が、これらの入力デバイスの機能性を向上させるために提供されることができる。例えば、３Ｄ検出システムまたは付加的タッチ検出システム、もしくは任意の他のタイプの入力センサが、処理システムの入力デバイス内に統合され得る。ある実施形態によると、ノートブックまたはラップトップコンピュータ内における３Ｄジェスチャ検出センサ、例えば、電場、すなわち、「ｅ場」センサ、または付加的タッチもしくはセンサ検出システムのための良好な統合スポットは、有益となり得、特に、直感的ジェスチャが、現在のユーザインターフェースを改良し得る。

例えば、一実施形態によると、ｅ場タイプの３Ｄ検出システムの場合、感知面積全体を網羅する送信機電極を使用しない電極設計を有することは、付加的センサの容易な統合を可能にする。図１に示される電極設計は、例えば、入力デバイス、いくつかの実施形態によると、例えば、タッチパッドの周縁の周囲に電極を位置させるレイアウトを提供し、したがって、すでに既存のノートブック／ラップトップ構造設計は、これらの電極を収容するために有意な変更または改善を必要としない。本種類の設計は、ユーザがタッチパッド制御のためにその手を有する空間の中にセンサを持って来る。また、電極入力信号をタッチパッド入力信号で多重化させる必要を回避することも可能である。種々の実施形態によると、ジェスチャ統合は、例えば、所与の瞬間に便宜的ではない場合がある、ユーザ相互作用（例えば、キーショットカット）の代用となるために行われることができる。

したがって、既存の入力デバイスを囲繞する、多重センサ配列（例えば、タッチおよび／または３Ｄ感知）が、種々の実施形態によると、提案される。電極配列は、典型的には、キーパッド、非タッチディスプレイ、タッチディスプレイ、単一タッチタッチパッド、および多重タッチタッチパッドのような機械的入力デバイスを包囲／囲繞するように設計されることができる。電極センサ配列は、単一タッチ、多重タッチ、および／または経時的３Ｄ手移動を伴う、拡張されたユーザインターフェースソリューションを可能にするように設計されることができる。

既存の入力デバイスを囲繞する、付加的入力デバイスは、種々の実施形態によると、３次元ジェスチャ検出を提供してもよい。そのようなより高度なセンサ配列は、例えば、任意のタッチを要求しない、３次元ジェスチャ検出システムである。いくつかの実施形態によると、本出願人によって紹介される３次元電場センサコントローラは、例えば、伝送電極にフィードされる１００ｋＨｚ信号を使用して、専用センサ配列を通して、準静電場を発生させる。そのような電場は、電場を発生させるセンサ配列から１０ｃｍを上回って垂直に延在し得る。ユーザは、例えば、手を用いて、デバイスにタッチせずに、本電場に進入することができ、ユーザによって行われるジェスチャは、電場を歪曲させるであろう。そのような歪曲は、次いで、例えば、受信電極を使用して、測定されることができ、配列によって判定される動的および静的特性は、どのタイプのジェスチャ／入力コマンドが行われたかを結論付けるために使用されることができる。デバイスはさらに、タッチセンサとして動作するようにも制御されることができる。特に、時間多重化が使用されるとき、そのようなセンサシステムは、非タッチジェスチャ検出およびタッチ検出の両方を行うことができる。

図１は、前述のような３Ｄジェスチャ検出システムおよび／または付加的タッチ検出システムの両方のために使用され得る、電極配列１００を示す。そのような付加的入力システムは、処理システムの別の統合された入力デバイスと組み合わせられることができる。電極配列は、処理システムの別の入力デバイス（例えば、タッチパッド、トラックボール、キーボード、タッチスクリーン、ジョイスティック等）が配列され得る、「開放」面積１１０を含むように設計される。そのような配列を可能にするために、送信機電極１２０は、長方形フレームの形態で実装され得る。種々の代替実施形態によると、そのような「フレーム」は、必ずしも、長方形である必要はなく、楕円形、円形、または任意の他のフレーム状形状を有し得る。種々の受信機電極１３０ａ、ｂ、ｃ、ｄは、送信機電極が、図１に示されるように、ある実施形態に従って配列される、送信機平面の上方に配列されることができる。しかしながら、より多くの空間が利用可能である場合、これらの電極はまた、例えば、周囲フレーム１２０と同一平面に配列されることができる。いくつかの実施形態によると、図１に示されるような積層配列は、占有面積をほとんど要求しないため、ある用途において特に有益であり得、これは、例えば、デバイスが面積１１０内に配列される既存の入力デバイスに追加または組み込まれる場合、重要となり得る。

他の例示的実施形態によると、タッチ検出のための多重センサ配列が、図１に示される３Ｄ検出電極配列の代わりに、使用され得る。例えば、そのような多重センサ配列は、図１に示される配列に類似し得るが、伝送電極１２０を伴わない。しかしながら、他の実施形態によると、伝送電極１２０は、容量式タッチ検出配列の一部として使用され、例えば、タッチ電極１３０ａ、ｂ、ｃ、ｄのための対向電極を形成し得る。他のタッチ検出電極配列も、当然ながら、可能性として考えられる。さらに、光学または音響センサ配列も、他の実施形態によると、可能性として考えられる。

図２−４は、そのような長方形センサ配列を伴う、種々の可能性として考えられる配列を示す。図２では、センサ配列は、特に、ラップトップコンピュータから知られるような従来のタッチパッド２１０を囲繞するように設計され、したがって、タッチパッド２１０を収容することができる、面積１１０を提供する。タッチパッド２１０は、例えば、コンピュータマウス上の左および右ボタンに類似し得る、選択機能のための１つまたはそれを上回るハードウェアボタンを含んでもよい（図２には図示せず）。

図３は、タッチセンサ式ディスプレイ３１０が中心面積１１０内に配置される、別の実施形態を示す。そのようなディスプレイは、タブレットコンピュータ、ＰＤＡ、スマートフォン等において一般的に使用されている。

図４は、中心面積内に配列されるキーボード４１０を伴う、実施例を示す。図４は、具体的数のキーを示すが、キーの数およびキー配列は、用途に応じて、変動してもよい。加えて、他の入力デバイスも、種々の実施形態によると、使用されてもよい。

３Ｄセンサ配列内の送信機電極１２０はまた、１つを上回る電極に分裂されることができる。さらに、個々の信号を提供する、受信電極１３０ａ、ｂ、ｃ、ｄの数は、４つに限定されない。例えば、他の用途は、より多い数の受信電極を利用し得、さらに他の用途は、より少ない受信電極を利用し得る。送信機電極１２０は、準静的交流近距離場を発生させるために使用され、受信電極１３０ａ、ｂ、ｃ、ｄは、そのような電場における擾乱を検出するために使用される。電極配列は、図１−５に示されるように、層内に配列されるとき、非伝導性基板を備え、その上に、受信電極１３０ａ、ｂ、ｃ、ｄが配列されてもよい。伝送電極１２０は、そのような基板の底部側に配列されてもよい。例えば、両面印刷回路基板が、使用されてもよい。しかしながら、他の基板も、多重層または単一層配列から独立して使用されてもよい。電極は、上部または底部層内に形成される必要はなく、多重層基板の中間層のうちの１つ内に形成されてもよい。全電極は、印刷回路基板に典型的である、銅層等の伝導性層によって形成されることができる。したがって、受信電極は、そのような銅層内のエッチングされた構造によって形成されることができる一方、底部銅層または内側層全体は、図１に示されるように、伝送電極１２０を形成してもよい。しかしながら、印刷回路基板上に実装される場合、上部および／または底部側のある面積は、集積回路デバイス等の個別のコントローラ構成要素、および／またはエッチングされた回路経路、ビア等を介して、電極と直接接続され得る、他の必要構成要素を設置するために使用されてもよい。

３Ｄ検出システム内で使用されるべきそのような電極構造１００−４００に接続され得る、集積回路デバイスの実施例は、本出願人によって製造されたＧｅｓｔＩＣ（登録商標）とも呼ばれる、ジェスチャ評価コントローラＭＧＣ３１３０であって、そのデータシートは、本出願人から利用可能であって、参照することによって本明細書に組み込まれる。達成可能範囲は、電気近距離場感知およびＧｅｓｔＩＣ（登録商標）３次元ジェスチャ認識、特に、追跡技術において重要な要因である。図５は、そのような組み合わせられたシステムのブロック図を示す。再び、３Ｄセンサ構造５００は、図１−４に示されるものに類似する。囲繞される入力デバイスは、概して、入力ユニット５１０として描写される。プロセッサ、例えば、マイクロコントローラ５２０が、提供され、ヒューマンインターフェースデバイス（ＨＩＤ）インターフェースコントローラ５３０およびジェスチャコントローラ５４０、例えば、前述のＭＧＣ３１３０と結合される。ＨＩＤインターフェースコントローラは、入力デバイス５１０と接続され、ジェスチャコントローラ５４０は、伝送および受信電極１２０、１３０ａ、ｂ、ｃ、ｄと結合される。代替として、いくつかの実施形態によると、ＨＩＤコントローラ５３０とジェスチャコントローラ５４０との間の点線接続によって示されるように、ジェスチャコントローラ５２０は、プロセッサと直接接続されず、ＨＩＤコントローラ５３０とのみ接続されてもよい。プロセッサ５２０は、そのような実施形態では、ＨＩＤコントローラ５３０を通して、ジェスチャコントローラ５４０を制御する。

図１−５に示されるように、電極センサ１３０ａ、ｂ、ｃ、ｄは、ユーザの手の接近を検出するために使用される。センサ情報は、ジェスチャ認識、３Ｄ手位置、および種々のタッチとタップの組み合わせのために使用されることができる。本実施形態による電極配列は、タッチパッドの周囲に嵌合するような長方形配列である（図１）。しかしながら、他の形状も、前述のように、可能性として考えられる。電極配列形態は、したがって、他の入力デバイスに関しては異なることができる（例えば、丸形の入力デバイスに関しては円形）。センサの中央のタッチパッド２１０は、同時に機能することができる。また、タッチパッド入力情報と拡張センサ配列の組み合わせは、イベントをトリガするために使用されることができる。キーボードからタッチパッドの下側縁に向かって２回行われる手の移動のようなジェスチャの組み合わせの使用（多くのラップトップコンピュータに典型的であるように、タッチパッドがキーボードの下方に配列される場合）は、イベントをトリガするために意図されない典型的手の移動が、センサにとって、イベントをトリガするために意図されるものと同一に見え得るため、単一の行われるジェスチャと比較して、ジェスチャ入力をより確実にするであろう。

図１−５に示されるような３Ｄセンサ配列では、入力センサ電極１３０ａ、ｂ、ｃ、ｄは、経時的にユーザの手の位置を判定するために使用されてもよい。入力デバイス５１０は、以下であり得る。
−光学（例えば、カメラ（飛行時間、立体視）、ＩＲセンサ、および送信機
−音響（超音波）
−容量／ｅ場測定（例えば、マトリクス内に配列される電極の相互自己測定）、または
−機械的入力デバイス（例えば、キーボード、トラックボール等）等の任意の他の好適な入力デバイス。

図１−５に示されるような３Ｄセンサ配列１００、２００、３００、４００、５００は、経時的にユーザの手の位置を判定するために使用されてもよい。種々の他の実施形態によると、センサ配列は、異なるタイプのセンサを有してもよく、以下であり得る。
−光学（例えば、カメラ（飛行時間、立体視）、ＩＲセンサ、および送信機
−音響（超音波）

これらの実施形態では、センサは、図１−５における電極とともに示されるものと類似方式において配列されてもよい。しかしながら、カメラを使用するセンサ等のいくつかの技術では、実際のセンサは、入力デバイスの周囲に配列されず、センサが入力デバイスの上方の面積または空間を監視することを可能にする位置に設置されてもよい。例えば、図６は、上図に、ラップトップデバイス６００に統合されたトラックパッド６１０と、トラックパッド６３０の周囲に配列される３つの赤外線センサ６２０、６３０、および６４０との第１の実施例を示す。図６の下図は、統合されたトラックパッド６６０と、トラックパッド６６０の上縁の上方かつそれに沿って配列される３つの赤外線センサ６７０、６８０、および６９０とを伴う、ラップトップデバイス６５０の別の実施例を示す。赤外線センサのための他の配列も、適用されてもよい。

図７は、それぞれ、統合されたトラックパッド７１０および７６０を伴う、ラップトップデバイス７００および７５０の２つの実施例を示す。第１の実施形態７００は、カメラ７２０を使用して、トラックパッド７１０の上方の面積を検出する。第２の実施形態７５０は、実施形態６００におけるものと類似方式において、トラックパッド７６０の周囲に配列される３つの超音波センサ７７０、７８０、および７９０を使用する。再び、センサのための他の場所も、トラックパッド７１０、７６０または任意の他の好適な入力デバイスの上方の面積を監視するために適用されてもよい。

図１−５に示されるように、容量／ｅ場入力デバイスの具体的実施形態は、２つの垂直に整合された電極（センサ電極１３０ａ、ｂ）と、２つの水平に整合された電極（センサ電極１３０ｃ、ｄ）とを含む、４つの個々の受信電極のセットを備えてもよい。ジェスチャコントローラ５４０、例えば、本開示の譲受人によって製造されたＧｅｓｔＩＣコントローラを使用するとき、４つの受信電極１３０は、１つの伝送電極構造１２０と組み合わせて使用されてもよい（積層されて、または１つの層内において）。前述のように、容量式自己測定システムでは、４つのＲＸおよび１つのＴＸ電極１２０、１３０ａ、ｂ、ｃ、ｄが、別個のタッチ検出電極として使用されてもよい。

センサ電極１３０ａ、ｂ、ｃ、ｄを用いる場合、測定は、ユーザの手の移動によって生成されるにつれて、未加工信号（すなわち、前述のセンサの）から、振幅、センサからの距離、位置、および経時的導関数（例えば、１次、２次、およびより高次）等を抽出するために使用されてもよい。

分類子（例えば、隠れマルコフモデル、動的タイムラッピング、ニューラルネットワーク、ベクトルマシン等）および確定的分類子（例えば、一般的状態マシン）の入力としてのそのような導出された特徴の使用は、手の動きを所定の（訓練）セットのジェスチャに分類する。

図１−５に示されるように、容量／ｅ場入力デバイスの具体的実施形態は、２つの垂直に整合された電極（センサ電極１３０ａ、ｂ）と、２つの水平に整合された電極（センサ電極１３０ｃ、ｄ）とを含む、４つの個々の受信電極のセットを備えてもよい。ＧｅｓｔＩＣジェスチャコントローラ５４０を使用するとき、４つの受信電極１３０は、１つの伝送電極構造１２０と組み合わせて使用されてもよい（積層されて、または１つの層内において）。前述のように、容量式自己測定システムでは、４つのＲＸおよび１つのＴＸ電極１２０、１３０ａ、ｂ、ｃ、ｄが、別個のタッチ検出電極として使用されてもよい。

センサシステム１２０、１３０ａ、ｂ、ｃ、ｄは、タッチパッド２１０または他の入力デバイス３１０、４１０、５１０の全外側におけるユーザの手／掌のタッチ／近接性を検出する。多重センサ情報は、例えば、キーボードタイプの間、カーソルジャンプを回避するために、タッチパッド２１０または他の入力デバイス３１０、４１０、５１０をブロックするために使用されることができる。

多重電極センサ配列１２０、１３０ａ、ｂ、ｃ、ｄの近接性は、いったんユーザがタッチパッドに接近すると／接近しつつあるとき、ノートブック／ラップトップコンピュータ等の処理デバイスをウェークアップするために使用されることができる。定義されたジェスチャもまた、デバイスウェークアップのために使用され得る。例えば、これは、ウェークアップ機能性のために必要とされ得る、低電力モードで行われ得る。ユーザの手の接近に伴う、本種類のウェークアップを使用することによって、ユーザがそれにタッチする前に、入力デバイス２１０がフル作業モードに戻るように切り替わることができるため、ユーザは、デバイスが機能性低下を伴う低電力モードであったことに全く気付かなくなり得る。

多重センサ配列１２０、１３０ａ、ｂ、ｃ、ｄは、１つの動作モードによると、タッチ、タップ、または定義された手の動きを行うことによって、メニュー（例えば、Ｆ１−Ｆ１２等の機能キー制御のためのメニュー）を開く／起動するために使用されることができる。

他の動作モードによると、多重センサ配列１２０、１３０ａ、ｂ、ｃ、ｄはまた、タッチの組み合わせまたはタッチパッドの上方で行われるジェスチャによって、ショートカットキーの組み合わせまたはさらに単一キー機能に代用するために使用されることができる。例えば、ユーザは、タッチパッドの上方からキーボードに向かって移動させる手の移動を２回行い、コンテンツのコピー等のタスクを行い、同様に、キーボードの上方からタッチパッドに向かって移動させる（すなわち、キーボードから離れる）別の手の移動を２回行い、コピーされたコンテンツのペースト等の別のタスクを行い得る。

加えて、特殊キー、例えば、「ＣＴＲＬ」、「ＡＬＴ」、「ＤＥＬ」等は、時として、異なる位置に設置され、多くの場合、異なるラップトップモデル間で異なる。そのような場合、ユーザは、所望の特殊キーを探す必要があり得る。しかしながら、前述のようなショートカットの直感的ジェスチャ／タッチ代用を用いる場合、ユーザは、そのようなキーをもはや探す必要がなくなり得る。

種々の実施形態または動作モードによる他の実施例もまた、可能性として考えられる。例えば、左／右／左手の移動は、削除機能のために使用され得る、またはキーボードからタッチパッドに向かう両手の移動は、アプリケーションを閉じるために使用され得る。概して、任意のデバイス機能をユーザ入力ジェスチャ／タッチ／ボタン／キー押下等のある組み合わせにリンクさせることも可能性として考えられる。そのようなセンサ配列およびデコード方法は、既存のユーザ入力デバイスの使用を簡略化し、デバイスを制御する新しい方法を生成し得る。

例えば、入力デバイスと周囲センサデバイスの組み合わせは、付加的機能性を提供するために使用されることができる。例えば、単一指／多重指タッチパッド上のタッチおよび周囲センサ配列の電極上のタッチは、例えば、スクロール機能性をトリガするために使用されることができる。本実施例では、第２の指が周囲電極のうちの１つ上にある間のタッチパッド上の指の移動は、水平および／または垂直スクロールのために使用されることができる。別の機能性によると、単一指／多重指タッチパッド上のタッチおよび周囲電極配列の電極のうちの１つ上のタッチは、ズーム機能性をトリガするために使用されることができる。ここでは、第２の指で周囲電極配列の外側電極のうちの１つ上にタッチしながらのタッチパッド上の指の移動は、ズーム機能を生じさせる。当然ながら、他の組み合わせおよび関連付けられた機能も、種々の他の実施形態によると、実装されることができる。

図８は、例えば、キーボード使用の間、有用であり得る、例えば、入力デバイスロック機能の可能性として考えられる実装を示す。ここでは、周囲電極１３０ａ−ｄから得られたタッチ近接性情報は、本機能性を提供するために使用されてもよい。１つまたはそれを上回るセンサ１３０ａ、ｂ、ｃ、ｄにおけるタッチ／接近が検出される場合、入力デバイス５１０、例えば、タッチパッド２１０は、電極１３０ａと電極１３０ｃまたは電極１３０ｄのいずれかとが同時にタッチされる度に、ロックされ、例えば、カーソルジャンプを回避してもよい。本種類のタッチ／接近パターンは、ユーザが１０本の指によるタイプ法を使用しており、周囲電極を伴うタッチパッドがキーボードの下方にあるときに生じる可能性が高い。左掌は、電極１３０ａと１３０ｃにおいてタッチ／接近を生成し、および／または右掌は、電極１３０ａと１３０ｄにおいてタッチ／接近を生成する。当然ながら、センサ電極の他の組み合わせも、使用されてもよい。

ジェスチャのシーケンスが、入力アクションとして見なされてもよい。ジェスチャのシーケンスは、デバイス２１０、３１０、および４１０と相互作用するための手の動きと、入力情報として意図されるジェスチャを区別するのに役立つ。ジェスチャのシーケンスは、単一ジェスチャの反復または異なるジェスチャのシーケンスであることができる。ジェスチャ間の時間、したがって、シーケンスのための時間は、一意の相互作用を生成するように、適宜、調節されてもよい。例えば、ジェスチャ間の時間は、所定の最小限界および／または所定の最大限界に設定されることができる。また、ジェスチャ自体のための時間も、ジェスチャ自体が持続時間を有する場合、調節されることができる。

図９Ａおよび９Ｂは、コピーおよびペースト機能を行うためのジェスチャシーケンス解釈の可能性として考えられる実装を示す。ここでは、図９Ａに示されるように、センサ１３０ｂにわたって開始しセンサ１３０ａまで行われる２重の非タッチ手移動は、コピーまたはＣｔｒｌ＋「ｃ」機能として解釈されるであろう。同様に、図９Ｂに示されるように、センサ１３０ａからセンサ１３０ｂへと行われる２重の非タッチ手移動は、ペーストまたはＣｔｒｌ＋「ｖ」機能を開始するであろう。

図１０Ａおよび９Ｂは、音量および輝度制御メニュー等のコンテキストメニューを開くことを開始するための可能性として考えられるジェスチャの組み合わせを示す。図１０Ａに示されるように、センサ１３０ｂ上のタッチとセンサ１３０ａ上へのダブルタップは、そのような機能を開始し得る。代替として、または加えて、図１０Ｂに示されるように、タッチパッド上への円形８１０によって示されるタッチ、またはセンサ電極１３０ｄのうちの１つ上へのタッチ、タップ、もしくはダブルタップと組み合わせられた入力デバイス５１０上でのアクションは、そのような機能性を開始し得る。再び、他の組み合わせも、使用されてもよい。さらに、タッチ８１０のある近接性と組み合わせられた電極タッチが、いくつかの実施形態によると、要求されてもよい。

図１１Ａおよび１１Ｂは、前述のスクロール機能をより詳細に示す。ここでは、電極１３０ａ−ｄのうちの１つ、例えば、電極１３０ｄのタッチと、タッチパッド２１０上への別のまたは複数の指の移動９１０の組み合わせが、図１１Ａに示されるように、スクロール機能のために使用され得る、または図１１Ｂに示されるように、移動９２０が、別の電極、例えば、電極１３０ａと組み合わせられる場合、ズーム機能が、行われるであろう。再び、他の組み合わせも、種々の実施形態によると、使用されてもよい。

図１２は、スタンバイ／スリープ／スクリーンセーバーモードからのウェークアップを行うためのさらに別の可能性として考えられる実装を示す。例えば、１つまたはそれを上回る電極１３０ａ−ｄから得られた近接性データが、具体的移動／ジェスチャが行われる場合、デバイスをウェークアップするために使用されることができる。別の機能によると、キーボードのバックライトが、具体的タッチジェスチャまたは非タッチジェスチャが電極１３０ａ−ｄを使用して行われる場合、起動されてもよい。

なおもさらなる実施形態によると、既存のハードウェアが、図１−５に示されるものに類似する電極Ａ、Ｂ、Ｃ、Ｄのいわゆる仮想形成を可能にするように、使用および制御されることができる。したがって、これらの実施形態では、電極Ａ、Ｂ、Ｃ、Ｄは、既存の入力デバイスの周囲の別個のハードウェアとして形成されない。

例えば、図１３に示される実施形態では、タッチパッド１１１０は、例えば、容量式タッチコントローラ１１２０を使用して、自己および相互容量測定を可能にする、電極のマトリクスを提供する。図５に示される実施形態と同様に、容量式タッチコントローラは、プロセッサ１１３０と結合される。タッチコントローラ１１２０およびプロセッサ１１３０は、マイクロコントローラ内に統合されてもよく、または、例えば、ラップトップもしくはタブレットコンピュータ等の処理デバイスのチップ上のシステムもしくは任意の他の好適なサブシステムの一部であってもよい。タッチパッド１１１０は、例えば、外側縁に隣接する容量式電極のみ、測定に使用されるように制御されることができる。言い換えると、タッチセンサ式表面を形成する電極は、センサの個々の面積が、起動される、例えば、切り替えられ、ともに具体的面積を形成するように、別個に制御されることができる。これは、いくつかの実施形態によると、シミュレートされる電極Ａ、Ｂ、Ｃ、Ｄ毎に、時間多重化モードで行われてもよい。図１３に示されるようなマトリクス構造を有する容量式タッチパッドに関して、自己または相互容量測定が、電極Ａ、Ｂ、Ｃ、Ｄをシミュレートするために使用されてもよい。例えば、上行は、仮想電極Ａとして選択されることができる。同様に、下行は、電極Ｂのために、最外左列は、電極Ｃのために、最外右列は、電極Ｄのために使用されることができる。他の選択も、仮想電極Ａ、Ｂ、Ｃ、Ｄを形成するための測定原理に応じて、行われることができ、それらは、必ずしも、図８に示されるような形状を有していなくてもよい。

仮想電極Ａ、Ｂ、Ｃ、Ｄは、前述のものと同一原理を可能にしてもよい。したがって、タッチコントローラ６２０の容量測定の感度に応じて、それらは、例えば、マトリクス下に配列される共通電極によって発生される電場を使用して、３Ｄ測定のために使用されてもよい。代替として、それらは、タッチセンサとして使用されることができる。入力デバイスの指定された機能は、仮想電極Ａ、Ｂ、Ｃ、Ｄによって提供される本付加的センサ機能で多重化されてもよい。したがって、前述のものと同一機能性が、そのようなデバイスによって提供されることができる。

他の入力デバイスはまた、図１−５に示されるような周囲センサデバイスをシミュレートすることが可能であってもよい。したがって、図１３に関して論じられるように構成されるような原理を使用するさらなる実施形態は、タッチパッドに限定されず、２または３次元センサ検出を可能にする、他の好適な入力デバイス、例えば、限定ではないが、光学および音響センサデバイスに拡張され得る。

Claims (46)

1. システムであって、
   処理システムと、
   前記処理システム内に統合され、前記処理システムと結合される、入力デバイスと、
   前記処理システムと統合され、前記入力デバイスの上方の面積を監視するように構成される、センサ配列と、
   前記センサ配列と結合され、所定の入力アクションを検出する、コントローラと
   を備え、
   前記コントローラは、前記処理システムと結合され、前記所定の入力アクションは、前記入力デバイスからの入力と組み合わせられる、システム。
2. 前記センサ配列は、電極が前記入力デバイスを囲繞するように配列される複数の電極を備える、電極配列である、請求項１に記載のシステム。
3. 前記センサ配列は、赤外線センサを備える、請求項１に記載のシステム。
4. 前記センサ配列は、超音波センサを備える、請求項１に記載のシステム。
5. 前記入力デバイスは、容量式センサ要素のマトリクスを備える、タッチセンサであり、１つの動作では、前記容量式センサ要素のマトリクスは、タッチセンサとして動作し、第２の動作モードでは、所定のセットのセンサ要素が、組み合わせられ、個々の伸長センサ要素を形成することができ、前記第２の動作モードでは、前記入力デバイスの個々の伸長センサ要素は、前記入力デバイスの上方の面積を監視するためのセンサ配列を形成する、請求項１に記載のシステム。
6. 前記電極配列は、前記電極配列の上方の３Ｄ空間内で行われるジェスチャを検出するように構成され、前記電極配列は、準静電場を発生させるための伝送電極と、前記入力デバイスの周囲に配列される複数の受信電極とを備える、請求項２に記載のシステム。
7. 前記電極配列は、配列されたタッチセンサとして動作するように構成され得る、前記入力デバイスの周囲の複数の電極センサを備える、請求項２に記載のシステム。
8. 前記入力デバイスの周囲の電極センサは、第１の動作モードでは、非タッチジェスチャ検出センサとして、第２の動作モードでは、タッチセンサとして動作するように構成されることができる、請求項６に記載のシステム。
9. 前記動作モードは、時間多重化される、請求項８に記載のシステム。
10. 前記入力アクションは、前記入力デバイスをブロックまたはブロック解除するために使用される、請求項１に記載のシステム。
11. 前記入力アクションは、前記処理システムの所定の機能を行うために使用される、請求項１に記載のシステム。
12. 前記入力アクションは、入力アクションのシーケンスから成る、請求項１０に記載のシステム。
13. シーケンスは、複数の同じ入力アクションを備える、請求項１２に記載のシステム。
14. 前記同じ入力アクションは、前記入力デバイスを横断して手を垂直に２回移動させることである、請求項１３に記載のシステム。
15. 前記入力アクションは、入力アクションのシーケンスから成る、請求項８に記載のシステム。
16. シーケンスは、複数の同じ入力アクションから成る、請求項１５に記載のシステム。
17. 第１の所定の機能は、コピー機能であり、第２の所定の機能は、ペースト機能である、請求項１６に記載のシステム。
18. 前記入力デバイス上の入力と組み合わせられた入力アクションは、前記処理システムの所定の機能を行う、請求項１に記載のシステム。
19. 前記入力デバイスは、タッチパッドであり、前記入力アクションは、前記電極配列の電極上のタッチ検出であり、前記入力デバイスからの入力は、前記タッチパッド上で行われるタッチ移動である、請求項２に記載のシステム。
20. 前記電極配列は、複数の電極を備え、前記タッチされた電極は、水平スクロール、垂直スクロール、およびズームから成る群から選択される、所定の機能を定義する、請求項１９に記載のシステム。
21. システムであって、
    処理システムと、
    前記処理システム内に統合され、前記処理システムと結合される、入力デバイスと、
    前記処理システムと統合され、前記入力デバイスの周囲の面積を監視するように構成される、センサ配列と、
    前記センサ配列と結合され、所定の非タッチ入力アクションを検出する、コントローラと
    を備え、
    前記コントローラは、前記処理システムと結合され、非タッチ入力アクションの検出のために、ジェスチャの所定のシーケンスが、非タッチ入力アクションと前記入力デバイスの周囲の面積内の非意図的移動を区別するために要求される、システム。
22. 前記センサ配列は、電極が前記入力デバイスを囲繞するように配列される複数の電極を備える、電極配列であり、前記電極配列は、前記電極配列の上方の３Ｄ空間内で行われるジェスチャを検出するように構成され、前記電極配列は、準静電場を発生させるための伝送電極と、前記入力デバイスの周囲に配列される複数の受信電極とを備える、請求項２１に記載のシステム。
23. 前記センサ配列は、赤外線センサまたは超音波センサを備える、請求項２１に記載のシステム。
24. 前記入力アクションは、前記処理システムの所定の機能を行うために使用される、請求項２１に記載のシステム。
25. 前記ジェスチャのシーケンスは、複数の同じ入力アクションを備える、請求項２１に記載のシステム。
26. 前記同じ入力アクションは、前記入力デバイスを横断して手を垂直に２回移動させることである、請求項２５に記載のシステム。
27. 前記入力デバイスは、容量式センサ要素のマトリクスを備える、タッチセンサであり、１つの動作では、前記容量式センサ要素のマトリクスは、タッチセンサとして動作し、第２の動作モードでは、所定のセットのセンサ要素が、組み合わせられ、個々の伸長センサ要素を形成することができ、前記第２の動作モードでは、前記入力デバイスは、前記入力デバイスの上方の面積を監視するためのセンサ配列を形成する、請求項２１に記載のシステム。
28. データ処理デバイスを動作させるための方法であって、前記データ処理デバイスは、処理システム内に統合される入力デバイスを備え、
    前記入力デバイスを囲繞する面積がセンサ配列によって監視されるように、センサ配列を前記データ処理デバイス内に統合するステップと、
    前記電極配列と結合されるコントローラによって、所定の入力アクションを検出するステップと、
    前記所定の入力アクションと前記入力デバイスによって生成される入力を組み合わせるステップと、
    を含む、方法。
29. 前記センサ配列は、電極が前記入力デバイスを囲繞するように配列される複数の電極を備える、電極配列である、請求項２８に記載の方法。
30. 前記センサ配列は、赤外線センサを備える、請求項２８に記載の方法。
31. 前記センサ配列は、超音波センサを備える、請求項２８に記載の方法。
32. 前記電極配列は、前記電極配列の上方の３Ｄ空間内で行われる非タッチジェスチャを検出するように構成され、前記電極配列は、準静電場を発生させるための伝送電極と、前記入力デバイスの周囲に配列される複数の受信電極とを備える、請求項２９に記載の方法。
33. 前記電極配列は、前記入力デバイスの周囲の複数の電極センサを備え、前記方法は、前記電極センサをタッチセンサとして動作するように構成するステップを含む、請求項２９に記載の方法。
34. 前記入力デバイスの周囲の電極センサを、第１の動作モードでは、非タッチジェスチャ検出センサとして、第２の動作モードでは、タッチセンサとして動作するように構成するステップをさらに含む、請求項３２に記載の方法。
35. 前記動作モードは、時間多重化される、請求項３４に記載の方法。
36. 前記入力アクションは、前記入力デバイスをブロックまたはブロック解除するために使用される、請求項２８に記載の方法。
37. 前記入力アクションは、前記処理システムの所定の機能を行うために使用される、請求項２８に記載の方法。
38. 前記入力アクションは、入力アクションのシーケンスから成る、請求項３６に記載の方法。
39. シーケンスは、複数の同じ入力アクションを備える、請求項３８に記載の方法。
40. 前記同じ入力アクションは、前記入力デバイスを横断して手を垂直に２回移動させることである、請求項３９に記載の方法。
41. 前記入力アクションは、入力アクションのシーケンスから成る、請求項３７に記載の方法。
42. シーケンスは、複数の同じ入力アクションを備える、請求項４１に記載の方法。
43. 第１の所定の機能は、コピー機能であり、第２の所定の機能は、ペースト機能である、請求項４２に記載の方法。
44. 前記入力デバイス上の入力と組み合わせられた入力アクションは、前記処理システムの所定の機能を行う、請求項２８に記載の方法。
45. 前記入力デバイスは、タッチパッドであり、前記入力アクションは、前記電極配列の電極上のタッチ検出であり、前記入力デバイスからの入力は、前記タッチパッド上で行われるタッチ移動である、請求項２９に記載の方法。
46. 前記電極配列は、複数の電極を備え、前記タッチされた電極は、水平スクロール、垂直スクロール、およびズームから成る群から選択される、所定の機能を定義する、請求項４５に記載の方法。