JP2009525538A - マルチポイント感知装置を用いたジェスチャリング - Google Patents

Abstract

感知装置でジェスチャを実行するための方法及びシステムを開示する。より具体的には、マルチポイント感知装置によるジェスチャリングに関する方法及びシステムを開示する。
【選択図】図１

Description

〔関連出願との相互参照〕
本願は、２００６年１月３０日に出願された「マルチポイント感知装置によるジェスチャリング」という名称の米国仮出願特許第６０／７６３，６０５号の優先利益を主張するものであり、該特許は引用により本明細書に組み入れられる。

本願はまた、以下の特許出願にも関連し、これらの各々は引用により本明細書に組み入れられる。

２００４年７月３０日に出願された「タッチセンシティブ入力装置のためのジェスチャ」という名称の米国特許出願第１０／９０３，９６４号。

１９９８年１月２６日に出願された米国仮出願特許第６０／０７２，５０９号に対する優先権を主張する、２００１年１１月２７日に交付された米国特許第６，３２３，８４６号に対する優先権を主張する、２００４年１２月１７日に出願された「手動入力を組み入れるための方法及び装置」という名称の米国特許出願第１１／０１５，４３４号。

２００３年９月２日に出願された「両手用マウス」という名称の米国特許出願第１０／６５４，１０８号。

２００４年２月２７日に出願された「形状検知入力装置」という名称の米国特許出願第１０／７８９，６７６号。

２００４年５月６日に出願された「マルチポイントタッチスクリーン」という名称の米国特許出願第１０／８４０，８６２号。

２００５年４月２６日に出願された「複数のタッチ感知装置を備えたハンドヘルド型電子装置」という名称の米国特許出願第１１／１１５，５３９号。

２００４年７月３０日に出願された「ハンドヘルド型装置における近接検知器」という名称の米国特許出願第１１／２４１，８３９号。

２００５年３月４日に出願された「多機能ハンドヘルド型装置」という名称の米国仮出願特許第６０／６５８，７７７号。

２００４年７月３０日に出願された「タッチセンシティブ入力装置のためのジェスチャ」という名称の米国特許出願第１０／９０３，９６４号。

２００５年１月１８日に出願された「タッチセンシティブ入力装置のためのモードベースグラフィカルユーザインターフェース」という名称の米国特許出願第１１／０３８，５９０号。

２００５年１月３１日に出願された「タッチセンシティブ入力装置のためのジェスチャ」という名称の米国特許出願第１１／０４８，２６４号。

２００５年９月１６日に出願された「タッチスクリーン仮想キーボードの仮想キーの起動」という名称の米国特許出願第１１／２２８，７３７号。

２００５年９月１６日に出願された「タッチスクリーンユーザインターフェース上の仮想入力装置の配置」という名称の米国特許出願第１１／２２８，７５８号。

２００５年９月１６日に出願された「タッチスクリーンインターフェースを用いたコンピュータ操作」という名称の米国特許出願第１１／２２８，７００号。

２００４年８月２６日に出願された「視覚エクスパンダ」という名称の米国特許出願第１０／９２７，９２５号。

２００４年８月２５日に出願された「ポータブルコンピュータ上のワイドタッチパッド」という名称の米国特許出願第１０／９２７，５７５号。

２００７年１月３日に出願された「マルチタッチジェスチャ辞書」という名称の米国特許出願第１１／６１９，５５３号。

２００７年１月３日に出願された「マルチタッチジェスチャ辞書」という名称の米国特許出願第１１／６１９，５７１号。

本発明は、一般に、マルチポイント感知装置に関連づけられたジェスチャリングに関する。

今日、コンピュータシステムにおいて操作を行うための多くの種類の入力装置が存在する。この操作は、一般的に、カーソルを動かすこと及びディスプレイ画面上で選択を行うことに対応する。この操作はまた、ページング、スクローリング、パニング、ズーミングなどを含むこともできる。例として、入力装置は、ボタン、スイッチ、キーボード、マウス、トラックボール、タッチパッド、ジョイスティック、タッチスクリーンなどを含むことができる。これらの装置の各々には、コンピュータシステムの設計時に考慮に入れられる利点及び欠点がある。

タッチパッドでは、指がタッチパッド表面に沿って動かされるときに、入力ポインタの動きがユーザの指（又はスタイラス）の相対的な動きに対応する。他方、タッチスクリーンは、タッチセンシティブな透明パネルがスクリーンを覆うタイプのディスプレイスクリーンである。タッチスクリーンを使用する場合、ユーザは、スクリーン上のＧＵＩオブジェクトを（通常、スタイラス又は指によって）直接指し示すことによりディスプレイスクリーン上で選択を行う。一般に、タッチ装置がタッチ及びタッチの位置を認識し、コンピュータシステムがこのタッチを解釈し、その後タッチイベントに基づいて動作を行う。

さらに機能を提供するために、これらの入力装置のいくつかを用いてジェスチャが実行されてきた。例として、タッチパッドでは、タッチパッド表面で１又はそれ以上のタップを検知した時に選択を行うことができる。タッチパッドの任意の部分をタップできる場合もあれば、タッチパッドの専用部分をタップできる場合もある。選択に加えて、タッチパッドの端で指の動きを使用することによりスクローリングが開始される。

残念ながら、感知面上に複数のオブジェクトを配置した場合でも、ほとんどのタッチ技術は１つのポイントしか報告できないという事実により、ジェスチャリングは厳しく制限される。すなわち、ほとんどのタッチ技術には、複数の接触ポイントを同時に追跡する能力がない。抵抗性及び容量性技術では、同時に発生するタッチポイント全ての平均値が決定され、タッチポイント間のどこかに収まる１つのポイントが報告されることになる。表面波及び赤外線技術では、マスキングが生じるため、同じ水平又は垂直線上に収まる複数のタッチポイントの正確な位置を識別することは不可能である。いずれの場合にも、不完全な結果が生じることになる。

米国仮出願特許第６０／７６３，６０５号 米国特許出願第１０／９０３，９６４号 米国仮出願特許第６０／０７２，５０９号 米国特許第６，３２３，８４６号 米国特許出願第１１／０１５，４３４号 米国特許出願第１０／６５４，１０８号 米国特許出願第１０／７８９，６７６号 米国特許出願第１０／８４０，８６２号 米国特許出願第１１／１１５，５３９号 米国特許出願第１１／２４１，８３９号 米国仮出願特許第６０／６５８，７７７号 米国特許出願第１０／９０３，９６４号 米国特許出願第１１／０３８，５９０号 米国特許出願第１１／０４８，２６４号 米国特許出願第１１／２２８，７３７号 米国特許出願第１１／２２８，７５８号 米国特許出願第１１／２２８，７００号 米国特許出願第１０／９２７，９２５号 米国特許出願第１０／９２７，５７５号 米国特許出願第１１／６１９，５５３号 米国特許出願第１１／６１９，５７１号

上記に基づいて、マルチポイント感知装置と、マルチポイント感知装置を用いてジェスチャを行う方法とに対するニーズが存在する。

１つの実施形態では、本発明は電子システムに関する。この電子システムはマルチポイント感知装置を含み、該装置は、１又はそれ以上のオブジェクトから入力を受け取るためのマルチポイント感知エリアを備える。この電子システムはまた、マルチポイント感知装置のマルチポイント感知エリアが受け取った所定の入力構成のためにジェスチャセットを決定し、該ジェスチャセットに含まれる１又はそれ以上のジェスチャイベントに対応する所定の入力構成をモニタし、ジェスチャイベントが入力構成と共に行われる場合、このジェスチャイベントに関連する入力動作を開始するように構成されたジェスチャモジュールを含む。入力構成は例えば、指及び／又はその他の手の部分の構成とすることができる。

別の実施形態では、本発明はジェスチャによる制御方法に関する。この方法は、感知エリア内の複数のポイントを同時に検知するステップを含む。この方法はまた、感知エリア内で１又はそれ以上のポイントが検知された場合にコードを決定するステップも含む。コードは、感知エリア内のポイントの特定の配列である。この方法は、命令を１又はそれ以上のジェスチャイベントに関連づけるジェスチャセットを決定するステップをさらに含む。この方法は、ジェスチャイベントのためのポイントをモニタするステップを追加として含む。さらに、この方法は、ジェスチャイベントが認識された場合、該ジェスチャイベントに関連づけられた命令を実行するステップを含む。

別の実施形態では、本発明は制御動作に関する。この制御動作は、タッチ又はタッチに近い状態を検知するステップを含む。制御動作はまた、タッチに関するジェスチャセットを決定するステップも含む。ジェスチャセットは、命令を呼び出すため、又は開始するための１又はそれ以上のジェスチャイベントを含む。動作は、ジェスチャイベントのためのタッチをモニタするステップをさらに含む。動作は、ジェスチャセットに関連づけられたジェスチャイベントが行われた場合に命令を開始するステップを追加として含む。

別の実施形態では、本発明はジェスチャ動作に関する。この動作は、タッチの動きをモニタするステップを含む。この動作はまた、第１の状態と第２の状態との間のタッチの動きを区別するステップも含む。この動作は、タッチの動きが第１の状態に関連づけられた場合に第１の動作を行うステップをさらに含む。この動作は、動きが第２の状態に関連づけられた場合に第２の動作を行うステップを追加として含む。

別の実施形態では、本発明は制御動作に関する。この制御動作は、第１の入力装置と、第１の入力装置とは異なる第２の入力装置を提供するステップを含む。第１の入力装置は、入力イベントを提供するためのタッチ感知装置などのオブジェクト感知装置を含む。動作は、入力イベントに対して第１の入力装置をモニタするステップを含む。動作は、入力イベントに対して同時に第２の入力装置をモニタするステップをさらに含む。動作は、第１の入力装置に関連づけられた入力イベントに従って入力動作を行うステップを追加として含む。さらに、この方法は、第２の入力装置に関連づけられた入力イベントに従って入力動作を同時に行うステップを含む。

別の実施形態では、本発明は制御動作に関する。この制御動作は、入力機能のリストを提供する。入力機能は、命令と、命令にリンクされたジェスチャイベントとを有する。命令は、入力機能に関連するものである。動作は、入力機能をコードに割り当てるステップを含む。動作は、コードが認識された場合に入力機能をコードにリンクするステップを追加として含む。

別の実施形態では、本発明は制御パネルに関する。この制御パネルは、入力機能のメニューを表示するステップを含む。この制御パネルはまた、選択された入力機能に関連づけられた命令と、該命令に割り当てられたジェスチャイベントとを示すジェスチャセットを表示するステップを含む。制御動作は、コードのリストを表示するステップをさらに含む。ジェスチャマップを設定するために、ユーザは、要求される入力機能を入力機能のリストから選択し、要求されるコードをコードのリストから選択する。

別の実施形態では、本発明はジェスチャ設計プロセスに関する。この設計プロセスは、コードのリストを提供するステップと、最も簡単なものから最も難しいものまでコードをランク付けするステップを含む。設計プロセスはまた、最も頻度の高いものから最も頻度の低いものまで動作の頻度をランク付けするステップも含む。設計プロセスは、最も容易なコードを最も頻度の高い動作にマッチングさせるステップと、最も難しいコードを最も頻度の低い動作にマッチングさせるステップとをさらに含む。設計プロセスは、コード／動作のグループ分けを微調整するステップを追加として含むことができる。

別の実施形態では、本発明はジェスチャ動作に関する。このジェスチャ動作は、第１の指を検知するステップを含む。このジェスチャ動作はまた、指の状態を決定するステップも含む。指の状態は、例えば移動中又は静止であってもよい。ジェスチャ動作は、１又はそれ以上の追加の指を検知するステップをさらに含む。例えば、第２の指を検知することができる。ジェスチャ動作は、追加の指の状態を判定するステップを追加として含む。追加の指の状態は、例えば存在するもの、又は存在しないものであってもよい。さらに、この方法は、第１の指と追加の指との互いの状態のタイミングに基づいて異なる入力モードを実行するステップを含む。異なるモードとは、例えばポインティングモード、ドラッギングモード、などであってもよい。

本発明は、同じ参照数字が同じ構造的な要素を示す添付の図面と共に以下の詳細な説明を行うことにより容易に理解されるであろう。

ジェスチャ、及び感知装置を用いてジェスチャを実行する方法を開示する。特に、ジェスチャ、及びマルチポイント感知装置を用いてジェスチャを実行する方法を開示する。マルチポイント感知装置は、複数のオブジェクト（指）を同時に又はほぼ同時に識別できるという点で従来のシングルポイント装置よりも多くの利点を有し、大抵の場合、マルチポイント感知装置及びこのような装置を利用するシステムは、タッチ又はタッチに近いイベントに関して表面をモニタする。このようなイベントが発生した場合、このマルチポイント感知装置は、異なる（単複の）接触エリアを特定し、その幾何学的特徴及び幾何学的構成を通じてイベントの性質を識別することができる。識別が行われると、このタッチ又はタッチに近いイベントがモニタされ、様々なジェスチャイベントに対応するものであるかどうかが判定される。

ジェスチャイベントは、１又はそれ以上の特定のコンピュータの動作に対応付けられた感知面との定形化された対話であると定義することができる。ジェスチャイベントは、様々な手、より具体的には指、動き、タップ、圧迫、静止、及び／又は同様のものを通じて行うことができる。この表面はマルチポイント技術に基づくものであるため、任意の数の指又は手のその他の接触部分を用いて複雑なジェスチャリングを行うことができる。この理由により、実際手話に似たラージジェスチャ言語を開発することもできる。ジェスチャ言語（又はマップ）は、例えば、（コードなどの）接触の構成を認識し、（動きなどの）ジェスチャイベントの発生を認識し、１又はそれ以上のソフトウェアエージェントに、ジェスチャイベント及び／又はこのジェスチャイベントに応答して取るべき（単複の）動作を通知する命令セットを含むことができる。例えば、米国特許出願第１０／９０３，９６４号、第１１／０３８，５９０号、及び第１１／０１５，４３４号にマルチポイントジェスチャリングの実施例を見つけることができ、これらの特許全ては引用により本明細書に組み入れられる。

マルチポイント感知装置を用いて様々な異なるジェスチャを利用することができる。例えば、ジェスチャは、シングルポイントジェスチャ又はマルチポイントジェスチャ、静的な又は動的なジェスチャ、連続した又はセグメント化されたジェスチャ、及び／又は同様のものであってもよい。シングルポイントジェスチャとは、１つ接触ポイントで行われるジェスチャのことであり、このジェスチャは、例えば一本の指、手のひら又はスタイラスなどから得られる単一のタッチによって行われる。マルチポイントジェスチャとは、複数のポイントを伴って行われるジェスチャのことであり、このジェスチャは、例えば複数の指、指及び手のひら、指及びスタイラス、複数のスタイラス及び／又はこれらの任意の組み合わせなどから得られる複数のタッチによって行うことができる。静的なジェスチャとは、（コードなどの）ジェスチャイベントを実質的に含まないジェスチャのことであると考えられ、動的なジェスチャとは、（動き、タップなどの）実質的なジェスチャイベントを含むジェスチャのことであると考えられる。連続したジェスチャとは、一工程で行われるジェスチャのことであると考えられ、セグメント化されたジェスチャとは、一連の異なるステップ又は工程において行われるジェスチャのことであると考えられる。本明細書ではいくつかの実施例を示しているが、これらは例示を目的としたものであり、本発明を限定するためのものではないということを理解されたい。

マルチポイント感知装置は、以下に限定されるわけではないが、標準サイズのタッチパッド、大型の拡張パームパッド、タッチスクリーン、タッチセンシティブハウジングなどを含む様々な形で実現することができる。さらに、以下に限定されるわけではないが、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、及びメディアプレーヤー、ＰＤＡ、携帯電話、などのハンドヘルド型コンピュータ装置を含む多くのフォームファクタ上にマルチポイント感知装置を位置付けることができる。タッチスクリーンモニタ、キーボード、ナビゲーションパッド、タブレット、マウスなどの専用入力装置上にマルチポイント感知装置を見出すこともできる。米国特許出願第１０／８４０，８６２号、１０／９２７，５７５号にマルチポイント感知装置の実施例を見いだすことができ、これらの特許全ては引用により本明細書に組み入れられる。

図１〜図５４を参照しながら、いくつかの実施形態について以下に説明する。しかしながら、これらの図面に関して本明細書に示す詳細な説明は説明を目的としたものであり、当業者であれば、本発明がこれらの限定された実施形態を越えて拡大するものであるということを容易に理解するであろう。

図１は、本発明の１つの実施形態による例示的なジェスチャ制御動作１０を示す図である。動作１０はブロック１２から開始することができ、このブロック１２においてマルチポイント感知装置が提供される。マルチポイント感知装置は、複数の接触ポイント又は接触に近い状態を同時に検出することができる。マルチポイント感知装置は、例えば複数のオブジェクトを同時に検出できるマルチタッチ感知面をそのタッチ面上に含むことができる。或いは、又は加えて、マルチポイント感知装置は、表面にタッチするのではなく表面に近接近してオブジェクトを感知するための機能（例えば、近接感知）を含むことができる。タッチスクリーン、タッチパッド、タッチセンシングパームレスト、タッチセンシティブハウジング及び／又は同様のものとしてマルチポイント感知装置を実装することができる。

ブロック１２に続き、この動作はブロック１４へ進むことができ、ここでマルチポイント感知装置によりタッチ又はタッチに近い状態が検知されたかどうかに関して判定が行われる。タッチが検知されなければ、動作は待機することができる。タッチが検知されれば、動作はブロック１６へ進むことができ、ここでタッチに関連づけられたコードが決定される。コードは、ある入力機能に割り当てることのできる接触又は接触に近い状態についての特定の構成であってもよい。一般に、オブジェクトがタッチ感知面の近く又はこの上に置かれた場合、接触パッチが作成され、識別され得るパターンをこれらの接触パッチが形成する。このパターンは、例えばスタイラス及びシグネット、及び／又は、指、親指、手のひら、指関節などの１又はそれ以上の手の部分などの機械的な特徴を含むオブジェクトの任意の組み合わせにより作成することができる。

タッチ面のサイズ、タッチ面がタッチスクリーンであるか、又はタッチパッドであるかなどを含む多くの要素に応じてコードを広く変更することができ、またコードはこれら多くの要素に依存することができる。さらにコードは、未知の接触回数、又は既知の接触の特定の構成に基づくことができる。コードは、接触が接近しているか、中間位置にあるか、或いはバラバラに拡がっているかにさらに基づくことができる。コードは、接触が互いに近接しているか、或いは補い合っているかどうかにさらに基づくことができる。コードは、接触が左手及び／又は右手のどちらから行われるかにさらに基づくことができる。

コードを決定するステップは、タッチ（タッチ面に触れるか、或いはタッチに近い状態のオブジェクトによって作成されたイメージ）を分析するステップと、特定の接触の構成を認識するステップとを含むことができる。より具体的には、この決定は、各接触の幾何学的な特徴並びに幾何学的な接触の構成を通じて接触を分類又は識別するステップと、その後、（ジェスチャマップなどの）予想されるコードのデータベースを参照するステップとを含むことができる。接触の構成が予想されるコードに一致した場合、この接触の構成は予想されるコードであると推測される。これらのステップはまた、フィルタリングを含むこともできる。例えば、いくつかの接触を実際にコードの一部とすることはできない。例えば、タッチパームパッドの場合、手のひらによって生じた接触は手の指のための支持基盤として働くため、それらを無視することができる（例えば、通常より長い時間、タッチ面上に手のひらを保持することは非常に不自然である）。タッチスクリーンを備えたタブレットＰＣの場合、少なくとも片手の親指によって生じた接触は主にタブレットＰＣを保持するのに使用されるため、それらを無視することができる。

片手コードの実施例を以下の表１に示す。表１は、全てを含むリストではなく、実施例として示すものあり、本発明を限定するものではないことを理解されたい。例えば、手のひらを接触としてカウントし、表１に示す組み合わせのいずれかに加えて、より多くのコードを作成することができる。表１のリストを反対側の手から得られる同じリストと組み合わせることにより、より多くのコードの組み合わせを作成できる点にさらに留意されたい。多くの組み合わせが存在するが、コードのなかには、使い易さ、人間工学、直感などを含む種々の理由のために実現できないものもある点に留意されたい。

コードが決定されたら、動作はブロック１８へ進むことができ、ここで動作を１又はそれ以上のジェスチャイベントに関連づけるジェスチャセットが決定される。ジェスチャセットは、動作をジェスチャイベントにリンクするマップであると考えてもよい。ジェスチャセットは決定されたコードに依存するが、コードの位置、開いたアプリケーション、アプリケーションの状態又はモード、別のタッチの特性などを含むその他の要素にも依存することができる。基本的に、コードは、各チャンネルがそのコードに関連づけられた異なるジェスチャセットを有している状態の入力チャンネルを選択する。場合によっては、組織に関する目的及び使い易さのために、チャンネルは、ナビゲーティング動作、ファイル動作、編集動作、ビューイング動作、フォーマッティング動作、ツール動作、ウェブブラウジング動作などの特定の入力機能に関連づけられる。これらの入力機能の各々は、ジェスチャイベントに関連する命令セットを有することができる。

動作は、状態命令又は操作命令の場合がある。状態命令とは単一の実行命令のことである。状態命令の実施例として、「新規」、「開く」、「閉じる」、「削除」、「リネーム」、「全選択」、「カット」、「コピー」、「ペースト」、「取り消し」、「やり直し」、「グループ化」／「グループ化解除」、「イタリック体」、「太字」、「下線」、「前」／「次」、「再生」／「一時停止」、「消音」などが含まれる。その他の状態命令の他の実施例として、「特定のプログラムを起動する」、「プログラムの特定のモードを起動する」、「ウェブサイトを起動する」、「ツールバーを開く」、「メニューを開く」、「矢印」、「バックスペース」、「スペース」、「改行」、「タブ」、「キャプスロック」、「ファンクション」、「ズーミング」、「拡大」／「縮小」、「ページング」、「音量」などが含まれる。操作命令とは、選択されたオブジェクトを連続して操作する命令のことである。操作命令の実施例として、ポインティング、トラッキング、ドラッギング、スクローリング、パニング、ズーミング、サイジング、ストレッチング、ページング、ボリュームなどが含まれる。これらの実施例は本発明を限定するものではなく、別の命令を使用することもできると理解されたい。

上述のように、ジェスチャイベントとは、タッチ面上又はこの上方で行うことができる任意の定形化した物理的動作であると考えることができる。ジェスチャイベントの実施例として、例えば、動き、タップ、圧力の変化、静止などを含むことができる。ある場合は、コードによってジェスチャイベントを実行することができる。その他の場合は、コードのサブセットによってジェスチャイベントを実行することができる。その他の場合は、初期コードに加えた新しい接触、又は初期コードとは別の新しい接触によってジェスチャイベントを実行することができる。ジェスチャイベントについて、以下にさらに詳細に説明する。

ブロック２０で、ジェスチャイベントに関してタッチがモニタされ、ブロック２２においてジェスチャイベントが認識されたかどうかについての判定が行われる。ジェスチャイベントを認識するステップは、接触（コードに関連づけられた接触及び／又は新しい接触）についてのタッチの特性を分析するステップと、特定のパターンを識別するステップと、ジェスチャセット及び予想されるジェスチャイベントのリストを参照するステップとを含むことができる。パターンが、予想されるジェスチャイベントに一致した場合、このパターンは、予想されるジェスチャイベントであると推測される。タッチの特性として、例えば、動き、タッピング、圧迫の変化、静止などの第一次検討事項と、速度（絶対又は相対）、方向（絶対又は相対）、向き（絶対又は相対）、大きさ（絶対又は相対）、継続時間（絶対又は相対）、形状（絶対又は相対）、長さ（絶対又は相対）、及び／又は同様のものなどの第二次検討事項を含むことができる。

１つの実施形態では、ジェスチャイベントを他のジェスチャイベントと区別できるように設計又は選択して、ジェスチャイベントを認識する際の混信又は誤ちを防ぐことができる（例えば、通常、ジェスチャイベントは他のジェスチャイベントと容易に区別できるものであることが望ましい）。

かさねて、ジェスチャイベントは、動き、タッピング、圧迫、静止などとして分類することができる。動きの場合、あらゆる方向へのスライディング、右、左、上、及び下へのゆっくりとした直線的なスワイプ、右、左、上、及び下への素早い直線的なフリック、時計回り又は反時計回りのゆっくりとした回転、時計回り又は反時計回りの素早い回転、（接触間の距離感覚を拡げたり、及び閉じたりすることなどの）２又はそれ以上の接触による縮小又は拡大としてジェスチャイベントを例示することができる。タップの場合、１／２タップ、完全なタップ、複数回のタップ、素早いタップ、ゆっくりしたタップなどとしてジェスチャイベントを例示することができる。圧迫の場合、軽い押圧又は強い押圧としてジェスチャイベントをさらに例示することができる。静止の場合、長く静止した一時停止又は短く静止した一時停止としてジェスチャイベントをさらに例示することができる。このリストは本発明を限定するものではなく、別の方法及び方向付けでジェスチャイベントを分類することができると理解されたい。例えば、直線的なモーションジェスチャは、右、左、上、及び下に限定されず、上−右、上−左、下−右、下−左をさらに含むことができる。

ジェスチャイベントは、基本的なもの又は高度なものであってもよい。基本ジェスチャは、例えば右への直線的なスワイプのように１つの動作によるジェスチャであってもよい。高度なジェスチャは、タップ又は右への直線的なスワイプを後に伴う右への直線的なスワイプ、長い一時停止、左への直線的なスワイプ、又は圧力を加えたり、或いは減少させたりしながらのＣＣＷ回転などの複数動作を伴うジェスチャであってもよい。高度なジェスチャは任意の数の動作を含むことができる。使い易さ及び処理の複雑さという理由で基本ジェスチャを使用することもできる。

ジェスチャイベントが認識された場合、（単複の）動作はブロック２４へ進むことができ、ここでジェスチャイベントに関連づけられた動作が行われる。ブロック２４は、ジェスチャセットを参照するステップと、認識されたジェスチャイベントに関連づけられた（単複の）動作を位置付けるステップとを含むことができる。位置付けられると、（単複の）動作を開始することができる。動作が状態命令である場合、ジェスチャイベントが行われる毎に命令を開始することができる（例えば、ジェスチャイベントはボタンのように動作する）。場合によっては、反復状態命令を作成するようにジェスチャイベントを設計することができる。例えば、ユーザがジェスチャイベントを拡張又は継続した場合、複数の状態命令を開始することができる。これは、ゲームモードで連射を行う場合、又は編集モードで作業を取り消す場合、或いはブラウズモードでページをパラパラめくる場合に役立つことがある。例として、右への素早い直線的なスワイプにより単一の取り消し命令が開始される場合、（タッチ中に）一連のモーションの形でゆっくりとした直線的なスワイプを後に伴う素早い直線的なスワイプにより繰り返しの取り消し命令が開始される。この実施例では、ゆっくりとした直線的なスワイプにより取り消し命令を繰り返し開始することができる（例えば、取り消し命令は、ゆっくりとした直線スワイプが行われている間１００ミリ秒毎に発せられる）。動作が操作命令である場合、ジェスチャイベント中に命令を連続して生成することができる（例えば、命令とジェスチャイベントとの間を１対１で対応させる）。例えば、命令がスクローリングである場合、ジェスチャイベントが行われ、それが（速度、方向などの）ジェスチャイベントプロパティに従っている限りスクローリングを実行することができる。

ブロック２４に続いて、動作はブロック２６へ進むことができ、ここでスイッチングイベントが行われたかどうかに関して判定が行われる。スイッチングイベントとは、動作をリセットするか、或いはコード変更を開始するイベントを意味するものである。多種多様な方法でスイッチングイベントを実現することができる。例えば、所定の長さの時間の間、全ての接触を取り除く（例えば、タッチ面から手を持ち上げる）ことによりスイッチングイベントを実行することができる。タッチ中にベースコードを変更する（例えば接触を追加する／取り除く）ことによってもスイッチングイベントを実現することができる。反対側の手から接触を追加する／取り除く（例えば、片方の手でタッチしたままもう片方の手の１本又はそれ以上の指を降ろす）ことによりスイッチングイベントを実行することができる。（事前に設定した時間の間、接触が静止したままである場合などの）一時停止によってもスイッチングイベントを実行することができる。標準的なキーボード又はマウスからのキー入力又はボタンクリックによってもスイッチングイベントを実行することができる。ジェスチャイベントを介してもスイッチングイベントを実行することができる。スイッチングイベントが発生すると、動作はブロック１２へ戻る。スイッチングイベントが発生しなければ、動作はブロック２０へ戻る。
表１−片手のコード例
未知の接触−標準構成（手のひらは未使用又は無視）
任意の１本の指
任意の２本の指
任意の３本の指
任意の４本の指
親指＋任意の指
親指＋任意の２本の指
親指＋任意の３本の指
親指＋４本の指
未知の接触−変形構成（手のひらは未使用又は無視）
２本の隣接する指
２本の隣接しない指
２本の隣接する指＋１本の隣接しない指
親指＋２本の隣接する指
親指＋２本の隣接しない指
親指＋２本の隣接する指＋１本の隣接しない指
任意の閉じた２本の隣接する指
任意の拡げた２本の隣接する指
任意の閉じた３本の隣接する指
任意の拡げた３本の隣接する指
閉じた４本の隣接する指
広げた４本の隣接する指
親指＋閉じた２本の隣接する指
親指＋拡げた２本の隣接する指
親指＋閉じた３本の隣接する指
親指＋拡げた３本の隣接する指
親指＋閉じた４本の隣接する指
親指＋拡げた４本の隣接する指
既知の接触（手のひらは未使用又は無視）
人差し指
中指
薬指
小指
人差し指＋中指
人差し指＋薬指
人差し指＋小指
中指＋薬指
中指＋小指
薬指＋小指
親指＋人差し指
親指＋中指
親指＋薬指
親指＋小指
親指＋人差し指＋中指
親指＋人差し指＋薬指
親指＋人差し指＋小指
親指＋中指＋薬指
親指＋中指＋小指
親指＋薬指＋小指
人差し指＋中指＋薬指
人差し指＋中指＋小指
人差し指＋薬指＋小指
中指＋薬指＋小指
親指＋人差し指＋中指＋薬指
親指＋人差し指＋中指＋小指
親指＋人差し指＋薬指＋小指
親指＋中指＋薬指＋小指
人差し指＋中指＋薬指＋小指
親指＋人差し指＋中指＋薬指＋小指
その他（手のひらを下に向ける）
指を閉じた握りこぶし又は丸めた手のひら
人差し指＋残りの指を閉じた握りこぶし又は丸めた手のひら
人差し指＋中指＋残りの指を閉じた握りこぶし又は丸めた手のひら
人差し指＋中指＋薬指＋小指を閉じた握りこぶし又は丸めた手のひら
親指＋残りの指を閉じた握りこぶし又は丸めた手のひら
親指＋人差し指＋残りの指を閉じた握りこぶし又は丸めた手のひら
親指＋人差し指＋中指＋残りの指を閉じた握りこぶし又は丸めた手のひら
親指＋人差し指＋中指＋薬指＋小指を閉じた握りこぶし又は丸めた手のひら
親指＋人差し指＋残りの指を閉じた握りこぶし又は丸めた手のひら
親指＋人差し指＋中指＋残りの指を閉じた握りこぶし又は丸めた手のひら
親指＋人差し指＋中指＋薬指＋小指を閉じた握りこぶり又は丸めた手のひら
その他
手の右側
手の左側
手の裏側
手の表側（全て）
その他（拳を下に向ける−パンチ）
指を閉じた握りこぶし又は丸めた手のひら
人差し指を開く＋残りの指を閉じた握りこぶし又は丸めた手のひら
人差し指を開く＋中指を開く＋残りの指を閉じた握りこぶし又は丸めた手のひら
人差し指を開く＋中指を開く＋薬指を開く＋小指を閉じた握りこぶし又は丸めた手のひら
親指＋指を閉じた握りこぶし又は丸めた手のひら
親指＋人差し指を開く＋残りの指を閉じた握りこぶし又は丸めた手のひら
親指＋人差し指を開く＋中指を開く＋残りの指を閉じた握りこぶし又は丸めた手のひら
親指＋人差し指を開く＋中指を開く＋薬指を開く＋小指を閉じた握りこぶし又は丸めた手のひら

図２は、本発明の１つの実施形態による例示的な制御動作５０を示す図である。この動作はブロック５２から開始することができ、ここでタッチ又はタッチに近い状態が検知される。

ブロック５２に続いて、動作はブロック５４へ進むことができ、ここでタッチに対するジェスチャセットが決定される。ジェスチャセットは、タッチの特性、タッチの位置、開いたアプリケーション、アプリケーションのモードなどを含む多くの要素に依存することができる。多くの場合、ジェスチャセットは、タッチダウン時の接触の構成に少なくとも一部基づく。

ブロック５４に続いて、動作はブロック５６へ進むことができ、ここでジェスチャセットに関連づけられたジェスチャイベントに関してタッチがモニタされる。ジェスチャセットは、命令を呼び出すか、或いは開始するための１又はそれ以上のジェスチャイベントを含むことができる（例えば、命令は、特定のジェスチャイベントに関連づけられるか又はリンクされる）。

ブロック５６に続いて、動作はブロック５８へ進むことができ、ここでジェスチャイベントが行われたときに１又はそれ以上の命令が開始される。例えば、ユーザは、特定の指の構成をスライドさせて、スクローリングイベントを呼び出すか或いは開始することができる。

図３は、本発明の１つの実施形態による例示的な制御動作６０を示す図である。例えば、制御動作６０は図２のブロック５４に対応することができる。制御動作６０はブロック６２から開始することができ、ここで接触の初期構成が認識される。その後ブロック６４において、接触の初期構成を記憶された接触の構成の組と比較することができる。例えば、システムは、接触の初期構成と、それに割り当てられたジェスチャセットのリストとを含むジェスチャマップを参照することができる。一致が存在した場合、動作はブロック６６へ進むことができ、ここで認識された接触の初期構成に割り当てられたジュスチャーセットがロードされる。

図４は、本発明の１つの実施形態による例示的な制御動作７０を示す図である。制御動作７０はブロック７２から開始することができ、ここでタッチが検知される。その後、ブロック７４においてタッチの位置を判定することができる。その後ブロック７６において、タッチに関連づけられた（タッチパターンなどの）接触の構成を決定することができる。その後、ブロック７８においてアクティブアプリケーションを決定することができる。その後、ブロック８０において（現行モードなどの）アプリケーションの現在の状態を決定することができる。その後ブロック８２において、上述の決定された属性の１又はそれ以上に基づいて、適当なジェスチャセットを設定又は選択することができる（ブロック７４〜ブロック８０）。例えば、決定された属性を使用して、システムは、上述した属性の各々を特定のジェスチャセットにリンクさせる記憶されたジェスチャマップを参照することができる。記憶されたジェスチャマップをデフォルトで作成するか、或いはユーザがカスタマイズすることができる。例えばユーザは、制御パネルを使用して、ジェスチャマップに関連づけられた設定を変更するか、或いはトレーニングシーケンスを使用して、ジェスチャマップをプログラムすることができる。

図５は、本発明の１つの実施形態による例示的な制御動作１００を示す図である。制御動作はブロック１０２から開始することができ、ここでタッチが検知されたかどうかに関して判定が行われる。タッチが検知された場合、動作はブロック１０４へ進むことができ、ここで接触の構成が認識される。ブロック１０４は、サブブロック１０６及び１０８を含むことができる。ブロック１０６において、接触パッチを正確に識別できるかどうかに関して判定が行われる。例えば、接触パッチが、人差し指又は親指又は手のひらかである可能性があるかどうかについて判定が行われる。これらを正確に識別できなければ、動作はブロック１０８へ進むことができ、ここで接触パッチの数が判定される。例えば、２つの接触パッチ、３つの接触パッチが存在するかどうかが判定される。ブロック１０４に続いて、動作はブロック１１０へ進むことができ、ここで認識された接触の構成が、ジェスチャマップ内の記憶された接触の構成と比較される。一致が存在しない場合、動作はブロック１０２へ戻ることができる。一致が存在した場合、動作はブロック１１２へ進むことができ、ここでジェスチャマップを参照した後、接触の初期構成に関連づけられたジェスチャセットがロードされる。その後、ブロック１１６において、ジェスチャセットに関連づけられたジェスチャイベントに関してタッチがモニタされる。ジェスチャイベントが行われた場合、動作はブロック１１８へ進むことができ、ここでジェスチャイベントに関連づけられた命令が実行される。

図６は、本発明の１つの実施形態による例示的な制御動作１２０を示す図である。制御動作１２０は、ブロック１２２から開始することができ、ここでタッチ又はタッチに近い状態が検知される。その後、ブロック１２４においてタッチに関するコードが決定される。その後ブロック１２６において、コードに関連づけられた入力機能が決定される。この入力機能は、動作又は動作のグループを記述することができる。動作の実施例として、ナビゲーティング動作、ファイル動作、編集動作、閲覧動作、挿入動作、フォーマッティング動作、ツール動作、ウェブ動作などが含まれる。この入力機能は、タッチ面上のコードの位置、アプリケーション、モードなどを含む環境条件にさらに基づくことができる。その後、ブロック１２８において、入力機能に関連づけられたジェスチャセットが起動又はロードされる。ジェスチャセットはジェスチャイベントのグループであってもよく、その各々は、入力機能に関連する異なる動作に割り当てられる。ジェスチャイベントは、グループとして、グループのサブセットとして、又は相互に関連して、初期コードにより単独で実行することができる。或いは、（ベースコードが設定された後に加えられた接触パッチなどの）コードに関連づけられていないオブジェクトによりジェスチャイベントを実行することができる。ジェスチャイベントは、動き、タッピング、静止、圧迫及び／又は同様のものなどの第一次パラメータを含むことができる。ジェスチャイベントはまた、速度、方向、形状、タイミング／継続時間、長さ、及び／又は同様のものなどの第一次パラメータを定める第二次パラメータを含むことができる。その後、ブロック１３０において、ジェスチャイベントが行われたときに、ジェスチャイベントに関連づけられた動作を実行することができる。

図７は、本発明の１つの実施形態による例示的なジェスチャ動作１４０を示す図である。動作１４０はブロック１４２から開始することができ、ここでタッチが検知される。ブロック１４２に続いて、動作はブロック１４４へ進むことができ、ここで接触の構成が認識される。その後、ブロック１４６において、認識された接触の構成に関連づけられたコードが決定される。ブロック１４６に続いて、動作はブロック１４８へ進むことができ、ここでコードに関連づけられたジェスチャセットがロードされる。ジェスチャセットは、タッチ中に任意の接触の構成で行うことができるジェスチャイベントを含む。その後、ブロック１５０において、任意の接触の構成により行われたジェスチャイベントに関してタッチをモニタすることができる。任意の接触の構成によりジェスチャイベントが行われた場合、動作はブロック１５２へ進むことができ、ここでジェスチャイベントに関連づけられた制御／命令が開始される。ジェスチャイベントが行われなければ、動作はブロック１５４へ進むことができ、ここで、タッチがさらに検知されるかどうかに関して判定が行われる。タッチがさらに検知されれば、動作はブロック１５０へ戻ることができる。タッチが検知されなければ、動作はブロック１４２へ戻ることができる。すなわち、タッチの前のリフトが、コード及び従ってジェスチャセットをリセットすることになる。

図７で上述した初期コード選択モデルにより、ユーザは、ジェスチャセットに影響を与えずに追加の指をピックアップ又はドロップできるという利点が得られる。２本の指のベースコードで開始したユーザは残り３本の指をドロップできることにより、５本の指すべてが手を支えることになるので、上記はより人間工学に適ったものとなる。この結果、より長い時間ジェスチャリングを行うことができるようになる。基本的に、ベースコードへの変更は無視される。さらに、１本の指以外の全ての指を持ち上げて他の指をターゲットに向けて歩ませたり、またスライドさせたりすることにより、ユーザはスペースの制限されたタッチ面においてポインティング／ドラッギング、スクローリングなどを拡張できるようになる。

図８は、本発明の１つの実施形態による例示的なジェスチャ動作１６０を示す図である。動作１６０はブロック１６２から開始することができ、ここで隣接する２本の指が検知されたかどうかに関して判定が行われる。検知されれば、動作はブロック１６４へ進むことができ、ここで動きに従ってポインティング動作が行われる。検知されなければ、動作はブロック１６６へ進むことができ、ここで隣接する３本の指が検知されたかどうかに関して判定が行われる。検知されれば、動作はブロック１６８へ進むことができ、ここで動きに従ってドラッギング動作を行うことができる。検知されなければ、動作はブロック１７０へ進むことができ、ここで親指と隣接する２本の指とが検知されたかどうかに関して判定が行われる。検知されれば、動作はブロック１７２へ進むことができ、ここで２回目のドラッギング動作が行われる。検知されなければ、動作はブロック１６２へ戻ることができる。このプロセスは、全ての指がタッチ面から持ち上げられる（例えば、もはやタッチが検知されない）毎にリセットされる。

図９は、本発明の１つの実施形態による例示的なジェスチャ動作１８０を示す図である。動作１８０はブロック１８２から開始することができ、ここでベースコードが決定される。その後、動作は、別個に又は同時に３つの異なるプロセスを実行することができる（並行ブロック１８４〜１８８）。ブロック１８４において、ベースコードで動きを検知することができる。その後、ブロック１９０において、動きに従ってポインティング動作を行うことができる。ブロック１８６において、新しい第１の指を検知することができる。すなわち、（ベースコードに加えて）ベースコードに関連づけられていない新しい第１の指を検知できることになる。その後、ブロック１９２において、新しい第１の指が検知される度に第１の命令を開始することができる。場合によっては、ユーザは、新しい第１の指を連続してタップすることにより反復命令を実行することができる。ブロック１８８において、（ベースコードに加えて）新しい第２の指を検知することができる。すなわち、ベースコードに関連づけられていない新しい第２の指を検知できることになる。その後、ブロック１９４において、新しい第２の指が検知される度に第２の命令を開始することができる。場合によっては、ユーザは、新しい第２の指を連続してタップすることにより、或いは単に指を降ろして保持することにより反復命令を実行することができる。図９に示す動作は、現行コード選択モデルと呼ばれることもある。

図９の１つの実施例では、ベースコードを３本の指（人差し指−中指−薬指又は親指−中指−薬指のいずれか）とすることができる。従って、ポインティング動作のために３本の指を使用できることになる。さらに、親指がすでにベースの一部である場合、新しい第１の指は親指又は人差し指であってもよい。従って、親指又は人差し指が第１の命令を起動できることになる。さらに、新しい第２の指は小指であってもよい。従って、小指が第２の命令を起動できることになる。

上記の実施例は、ゲームモードにおいて有用である。ベースコードをポインティングのために使用することができ、第１の新しい指をトリガーのために使用することができ、第２の新しい指を武器変更のために使用することができる。或いは、標準モードでは、ベースコードをポインティングのために使用することができ、第１の新しい指を１回目のクリック及びドラッグのために使用することができ、第２の新しい指を２回目のクリック及びドラッグのために使用することができる。３本の指によるサポートにより、ゲームモードと標準モード双方において十分なサポートが提供される。

図１０は、本発明の１つの実施形態による例示的なジェスチャ動作２００を示す図である。動作２００はブロック２０２から開始することができ、ここでタッチが検知される。ブロック２０２に続いて、動作はブロック２０４へ進むことができ、ここで接触の構成が認識される。その後、ブロック２０６において、認識された接触の構成に関連づけられたコードを決定することができる。ブロック２０６に続いて、動作はブロック２０８へ進むことができ、ここでコードに関連づけられたジェスチャセットがロードされる。ジェスチャセットは、タッチ中に任意の接触の構成により行われるジェスチャイベントを含むことができる。その後、ブロック２１０において、任意の接触の構成により行われたジェスチャイベントに関してタッチをモニタすることができる。任意の接触の構成によりジェスチャイベントが行われた場合、動作はブロック２１２へ進むことができ、ここでジェスチャイベントに関連づけられた制御／命令が開始される。ジェスチャイベントが行われなければ、動作はブロック２１４へ進むことができ、ここでタッチ中にベースコード又は現在の接触の構成が一時停止していたかどうかに関して判定が行われる。一時停止していれば、この一時停止はコードスイッチングイベントであると推測することができ、動作はブロック２０４へ戻ることができる。一時停止していなければ、動作はブロック２１６へ進むことができ、ここでタッチがさらに検知されるかどうかに関して判定が行われる。タッチがさらに検知されれば、動作はブロック２１０へ戻ることができる。タッチが検知されなければ、動作はブロック２０２へ戻ることができる。

図１０に示す一時停止選択モデルでは、オリジナルの指が一時停止しているか、或いは非常にゆっくり動いている場合にのみスイッチが発生する。従って、指の落下がポインティングストロークの中間にある限り、ユーザは１本指から５本指によるポインティングへと緩和することができる。

図１１は、本発明の１つの実施形態による例示的なジェスチャ動作２２０を示す図である。動作２２０はブロック２２２から開始することができ、ここで１本の指が検知されたかどうかに関して判定が行われる。検知されれば、動作はブロック２２４へ進むことができ、ここで動きに従ってポインティング動作が行われる。検知されなければ、動作はブロック２２６へ進むことができ、ここで隣接する２本の指が検知されたかどうかに関して判定が行われる。検知されれば、動作はブロック２２８へ進むことができ、ここで動きに従ってドラッギング動作が行われる。クリックによりドラッグロック／拡張を開始できる場合もあれば、親指（２つの隣接する指＋親指）を降ろすことによりドラッグロック／拡張が開始される場合もある。検知されなければ、動作はブロック２３０へ進むことができ、ここで隣接していない２本の指が検知されたかどうかに関して判定が行われる。検知されれば、動作はブロック２３２へ進むことができ、ここで２回目のドラッギング動作が行われる。クリックによりドラッグロック／拡張を開始できる場合もあれば、親指（２つの隣接していない指＋親指）を降ろすことによりドラッグロック／拡張が開始される場合もある。検知されなければ、動作はブロック２３４へ進むことができ、ここで３本又は４本の指が検知されたかどうかに関して判定が行われる。検知されれば、動きに従ってスクローリングを開始することができる（ブロック２３６）。検知されなければ、動作はブロック２２２へ戻ることができる。このプロセスは、全ての指がタッチ面から持ち上げられる（例えば、タッチがもはや検知されない）か、或いはコードが一時停止される度にリセットすることができる。

図１２は、本発明の１つの実施形態による例示的なジェスチャ動作２４０を示す図である。動作２４０はブロック２４２から開始することができ、ここで５本の指が検知されたかどうかに関して判定が行われる。検知されれば、動作はブロック２４４へ進むことができ、ここで全ての指がタッチ面から持ち上げられるまでポインティングが開始される。ブロック２４６において、ポインティング中に５本の指のうちの１本がリフト及びタップを行ったかどうかに関して判定が行われる。行っていれば、クリックを行うことができる（ブロック２４８）。ブロック２５０において、ポインティング中に５本の指のうちの２本がリフト及びタップを行ったかどうかに関して判定が行われる。行っていれば、ドラッグを行うことができる（ブロック２５２）。その後、ブロック２５３において、ドラッギング中に５本の指のうちの１本又は２本がリフト及びタップを行ったかどうかに関して判定が行われる。行っていれば、ドロップを行うことができる（ブロック２５４）。行われていなければ、ドラッギングを続行することができる。ブロック２５０及び２５４の後、動作はブロック２４４へ戻ることができる。このプロセスは、全ての指がタッチ面から持ち上げられる（例えば、タッチがもはや検知されない）か、或いはコードが一時停止される度にリセットすることができる。

図１２の別の実施形態では、５本指のベースコードのうちの左向きの指をリフトし、タップすることで、左ボタンクリックを開始でき、ベースコードのうちの右向きの指をリフトし、タップすることで、右ボタンクリックを開始できる。

図１３は、本発明の１つの実施形態による例示的なジェスチャ動作２６０を示す図である。動作２６０はブロック２６２から開始することができ、ここでタッチが検知される。その後、ブロック２６４において小指の側面を認識することができる。小指の側面は、（場合によって平たい親指を除いた）他の全ての接触とは異なる長い（非常に特徴的な）水平接触パッチを生じさせる。このため、ジェスチャシステムは、横方向の特徴的なしかも弱々しい接触を小指（或いは、場合によっては親指）として常に区別することができる。その後、ブロック２６６において、小指の側面によるスワイプを検知することができる。その後、ブロック２６８において、スワイプしている小指に関連づけられた制御又は命令を実行することができる。

側面による小指のスワイプは、ボリューム上／下、スリープ、スクリーンセーバなどのような簡単な制御ジェスチャのために有用である。側面による小指のスワイプは、通常の１本の指先によるポインティング／クリッキングとはすぐ分かるほど異なるものであるが、１本の指によるタッチの単純さを備えている。小指の側面でタッチする一方で、親指は真っ直ぐ上空を指しているので、非常に人間工学的でもある。これは、手首の位置全体にとって最もニュートラルで快適である。

図１４は、本発明の１つの実施形態による例示的なジェスチャ動作２８０を示す図である。動作２８０はブロック２８２から開始することができ、ここで上向きスライドをエクスポーズに、下向きスライドをダッシュボードに対応づけするジェスチャセットが提供される。

ダッシュボードとは、瞬時にユーザに情報−天気予報、株価情報、イエローページ、航空便、スポーツスコアなどをもたらすカスタマイズ可能なウィジェット（ミニアプリケーション）を含む制御パネルのことである。多くの場合、ダッシュボードは起動時に表示され、停止時に非表示となる。ユーザは、ボタンをクリックして、最新のタイムリーな情報をインターネットから受け取ることができ、次にボタンを放したときにこの情報を即座に非表示にすることができる。

エクスポーズとは、ウィンドウ管理プログラムのことである。ウィンドウ管理プログラムは、ウィンドウクラッター（非常に多くの開いたウィンドウ及び／又はアプリケーションが存在するため、文書を見付けたり、或いはデスクトップを見たりするのが難しい状態）をナビゲートし、又は軽減するのを助けるように構成されている。エクスポーズは、ジェスチャリングによって制御される３つの異なる動作のモードを有するか、或いはこれらのモードから選択することができる。第１のモードは、全ウィンドウ又はタイル、スケール及び全表示である。このモードにおけるオペレーティング時には、全ての開いたウィンドウをディスプレイ画面内で同時に見ることができるように、全オープンウィンドウがタイリングされスケーリングされる。すなわち、指定されたジェスチャを行うことにより、ユーザが各ウィンドウでコンテンツを閲覧できるように、開いたウィンドウの全てを即座にタイリングし、これらを縮小してきちんと配列する。スケーリングの量又はスケーリングの比率は、例えば圧迫又は速度のような何らかのジェスチャの特性に関連づけられる。第２のモードは、アプリケーションウィンドウ又は現在のアプリケーション強調表示である。このモードは、特定のアプリケーションにおいてのみ機能する点以外は第１のモードと同様に機能する。例えば、指定されたジェスチャを行うことにより、別の開いたアプリケーション全てをほんの少しグレイに薄くすると同時に特定のアプリケーションの開いたウィンドウを即座にタイリングすることができる。第３のモードは、デスクトップ又は全てを非表示である。このモードでは、開いたウィンドウの全てが画面の端へ移動することによりデスクトップを広げる。すなわち、指定されたジェスチャを行うことにより、開いたウィンドウの全てを隠して、ユーザがデスクトップへ即座にアクセスできるようにする。

その後、ブロック２８４において、動作は（２本又はそれ以上の指などの）ベースコードを認識するステップを含むことができる。その後、ブロック２８６において、ベースコードと共に上向きスライドが検知されたかどうかに関して判定を行うことができる。検知されれば、動作はブロック２８８へ進むことができ、ここでエクスポーズオールが開かれる。その後、ブロック２９０において、ベースコードと共に下向きスライドが検知されたかどうかに関して判定を行うことができる。検知されれば、動作はブロック２９２へ進むことができ、ここでエクスポーズオールが閉じられる。その後、動作はブロック２８６へ進むことができる。ブロック２８６を再度参照すると、ベースコードによって上向きスライドが検知されなかった場合、動作はブロック２９４へ進むことができ、ここでベースコードと共に下向きスライドが検知されたかどうかに関して判定を行うことができる。検知されれば、動作はブロック２９６へ進むことができ、ここでダッシュボードが開かれる。その後、ブロック２９８において、上向きスライドが検知されたかどうかに関して判定を行うことができる。検知されれば、動作はブロック３００へ進むことができ、ここでダッシュボードが閉じられる。その後、動作はブロック２８６へ戻ることができる。ブロック２９４を再度参照すると、下向きスライドが検知されなかった場合、動作はブロック３０１へ進むことができ、ここでコードが変更されたかどうかに関して判定が行われる。例えば、１本の指を持ち上げる。コードが変更されていれば、動作はブロック３０２へ進むことができ、ここで変更されたコードでポインティングが行われる。その後、ブロック３０４において、コードがベースコードに戻されたかどうかに関して判定を行うことができる。戻されていれば、動作はブロック２８６へ戻ることができる。ジェスチャ動作２８０は、逆方向取り消しと呼ばれることもある。

追加の実施形態では、各々がエクスポーズの異なる機能に関連づけられた右スワイプと左スワイプとを含むように図１４に示した動作を修正することができる。

静的命令ジェスチャとは、タッチ面上に接触の特定の構成を単に配置することによって行われるジェスチャのことである。命令は、タッチダウン時に特定の接触の構成が識別されたときに開始される。初期配置に従うジェスチャイベントは存在しない。命令は、接触が検知されたときに単純に生成される。静的命令ジェスチャは、特定の手の構成が異なる事柄を意味する手話に似たものであると考えてもよい。静的命令ジェスチャのコンテキストにおいては、各々の手の構成（又は異なる接触の構成）により異なる命令が開始される。

図１５は、本発明の１つの実施形態による例示的なジェスチャ動作３１０を示す図である。ジェスチャ動作３１０は、ブロック３１２から開始することができ、ここでタッチ又はタッチに近い状態がタッチ面上で検知される。ブロック３１２に続いて、動作はブロック３１４へ進むことができ、ここでタッチに関連づけられた接触パッチの構成が識別される。接触パッチの構成は、片手又は両手を介して、或いは、代わりに又は加えてスタイラス又はシグネットなどの要素を介して作成される。接触パッチが手によって作成される場合、指、手のひらなどを含む手の任意の部分により、及びさらに手の任意の向きにより、互いに関連し合う指の任意の位置により、及び指の任意の向きにより接触パッチを作成することができる。異なる手の向き及び異なる指の位置／向きにより、異なる接触パッチの構成が作成されることになると理解されたい。異なる向きの実施例として、「開いた手のひらを下に向ける」、「開いた手のひらを上に向ける」、「手を開いて片側を下に向ける（親指を上に向ける）」、「手を閉じて手のひらを下に向ける」、「手を閉じて手の甲を見せる」、「手を閉じて拳を作る」、「手を閉じて側面を下に向ける」が含まれる。異なる指の位置の実施例には、拡がり、中間、グループ化などが含まれる。どのような接触の構成もイメージすることができる（手話）。

ブロック３１４に続いて、動作はブロック３１６へ進むことができ、ここで特定の接触の構成が識別されたときに、特定の接触の構成に関連づけられた命令が開始される。命令は広く変更することができる。

図１６は、本発明の１つの実施形態による例示的なジェスチャ動作３２０を示す図である。ジェスチャ動作３２０はブロック３２２から開始することができ、ここで動きに対してタッチがモニタされる。例えば、特定の接触の構成としてタッチを実行することができる。動きが存在する場合、ジェスチャ動作はブロック３２４へ進むことができ、ここでフリックとスワイプとの間で動きが区別される。フリックは、素早く短い動きであると考えてもよい。スワイプは、より長くゆっくりした動きであると考えてもよい。動きがフリックであれば、フリックが検知されたときに第１の動作を行うことができる（ブロック３２６）。動きがスワイプであれば、スワイプが検知されたときに第２の動作を行うことができる（ブロック３２８）。

図１７は、本発明の１つの実施形態による例示的なジェスチャ動作３３０を示す図である。ジェスチャ動作３３０はブロック３３２から開始することができ、ここで（タッチパッド、タッチスクリーンなどの）タッチ面上でタッチが検知される。ブロック３３２に続いて、動作はブロック３３４へ進むことができ、ここでタッチに関連づけられた２つの接触が識別される。その後ブロック３３６において、動作は、ジェスチャイベントのためのタッチをモニタするステップを含むことができる。ブロック３３８において、第１の接触が静止したものであり第２の接触が第１の接触の周りを回転するものである場合、回転命令が開始される。

多くのユーザは、同時に複数のウィンドウを開いたままにする。これにより、ユーザは、必要時にウィンドウ間を行き来できるようになる。これは、１つのウィンドウからコピーを行い、別のウィンドウにペーストする場合に便利である。一般的なプロセスでは、ユーザは、ウィンドウの１つを選択することによりウィンドウを起動し、次にウィンドウ内で動作を実行する。次に、ユーザは別のウィンドウを選択することにより新しいウィンドウを起動し、古いウィンドウを停止させて、新しいウィンドウ内で動作を実行する。これでは要領が悪く、また多くのステップが必要とされる。これを解決するために、本発明は、起動及び停止することなくウィンドウ間を行き来する機能をユーザに与える図１８の方法を提供する。ウィンドウは、ポインティングメカニズムがウィンドウ上に位置したときにアクティブになる。ポインティングメカニズムは、タッチパッドの場合はポインタ又はカーソルであり、或いはタッチスクリーンの場合は指であると考えてよい。

図１８は、本発明の１つの実施形態による例示的なジェスチャ動作３４０を示す図である。ジェスチャ動作３４０は、マルチウィンドウを提供するステップ３４２を含む。例えば、ウィンドウは、デスクトップ上に開かれたプログラムであってもよい。その後、ブロック３４４において、動作は、第１のウィンドウの上でポインティングメカニズムを検知するステップを含むことができる。例えば、タッチパッドの場合、ポインティングメカニズムはカーソルであってもよい。タッチスクリーンの場合、ポインティングメカニズムは指又は指のグループであってもよい。その後、ブロック３４６においてタッチをモニタして、ポインティングメカニズムに関連づけられたコードが表示されたかどうかを判定することができる。タッチパッドの場合、カーソルがウィンドウ上に位置した後にこのことを達成できる。タッチスクリーンの場合、指がウィンドウ上に位置している間にこのことを達成できる。その後ブロック３４８において、コード及び第１のウィンドウに関連づけられたジェスチャセットを開始することができる（例えば、ジェスチャセットは、コードとウィンドウの両方に依存する）。その後、ブロック３５０において、ジェスチャセットに関連づけられたジェスチャイベントがタッチ面上で行われた場合、第１のウィンドウで動作を実行することができる。その後、ブロック３５２において、動作は、第２のウィンドウ上でポインティングメカニズムを検知するステップを含むことができる。これは、ブロック３４４とは異なる時間に達成されるか、或いはブロック３４４と同時に行うことができる。ポインティングメカニズムは、第１のウィンドウに対して使用されるものと同じポインティングメカニズムである（例えば、ポインティングメカニズムが１つのウィンドウから他のウィンドウに移動する）か、或いはポインティングメカニズムは、第２のポインティングメカニズム（例えば、第２のカーソル又は第２の指）であってもよい。その後、ブロック３５４においてタッチ面をモニタして、第２のポインティングメカニズムに関連づけられたコードが表示されたかどうかを判定することができる。その後ブロック３５６において、コード及び第２のウィンドウに関連づけられたジェスチャセットを開始することができる。その後、ブロック３５８において、ジェスチャセットに関連づけられたジェスチャイベントがタッチ面上で行われた場合、第２のウィンドウで動作を実行することができる。

タッチスクリーンを使用する図１８の１つの実施例では、ユーザがコピー及びペーストを行う場合、ユーザは、片方の手から（単複の）指を第１のウィンドウ上に置き、コピーする対象のオブジェクトを選択することができる。その後、ユーザは、第１のウィンドウ上でコピージェスチャを行うことができる。ユーザは、もう片方の手から指を第２のウィンドウ上に置き、ペーストのための位置を選択することができる。その後、ユーザは、第２のウィンドウ上でペーストジェスチャを行うことができる。

タッチスクリーンを使用する図１８の別の実施例では、ユーザがコピー及びペーストを行う場合、ユーザは、片方の手から（単複の）指を第１のウィンドウの上に置き、コピーする対象のオブジェクトを選択することができる。その後、ユーザは、第１のウィンドウ上でコピージェスチャを行うことができる。次にユーザは、自分の手を第２のウィンドウに動かすことができる。ユーザは、第２のウィンドウの上に自分の指を置き、ペーストのための位置を選択することができる。その後、ユーザは、第２のウィンドウ上でペーストジェスチャを行うことができる。

図１９は、本発明の１つの実施形態による例示的なジェスチャ動作３６０を示す図である。ジェスチャ動作はブロック３６４から開始することができ、ここで第１の手に関連づけられた接触の構成を認識することができる。ブロック３６４に続いて、動作はブロック３６６へ進むことができ、ここで第１の手に関連づけられた接触の構成に基づくジェスチャセットをロードすることができる。ブロック３６６に続いて、動作はブロック３６８へ進むことができ、ここで第２の手に関連づけられた第２の接触の構成を認識することができる。ブロック３６８に続いて、動作はブロック３７０へ進むことができ、ここで第１の接触の構成のジェスチャセットを第２の接触の構成に基づいて変更又は修正することができる。必要時には、第２の手を使用して、異なるジェスチャ間ですみやかに切り換えを行うことができると理解されたい。これにより、広い範囲でジェスチャセットを行うことが可能となる。例として、第１の手が指の本数に基づいて５つのジェスチャセットを提供でき、かつ第２の手が指の本数に基づいて５つの修正したジェスチャセットを提供できる場合、１００個のジェスチャセットを作成できることになる。

タッチパッドを使用する図１９の実施例を挙げると、ユーザは、タッチパッド上に２本の指を置くことにより２本の指に関連づけられたジェスチャセットを開始することができる。ユーザは、２本の指を使用してジェスチャイベントを行うことができる。ユーザは、２本の指によるジェスチャセットでは表せない動作を行う必要があると判断することができる。従ってユーザは、反対側の手から２本の指を降ろすことができる。これにより、第１の手によって行われるはずの全く新しいジェスチャセットをロードすることができる。

図２０は、本発明の１つの実施形態による例示的な制御動作３８０を示す図である。制御動作はブロック３８２から開始することができ、ここでマウス及びタッチ面を提供することができる。例えば、マウスは、タッチパッドを含むラップトップコンピュータに接続することができる。ブロック３８２に続いて、動作はブロック３８４へ進むことができ、ここでマウスイベント（例えば、カーソルの移動、ボタンクリック、スクローリング）に関してマウスがモニタされる。同時に、ブロック３８６において、ジェスチャイベントに関してタッチ面をモニタことができる。ブロック３８８において、マウスイベントに従ってマウス動作を実行することができる。同時にブロック３９０において、ジェスチャイベントに従ってジェスチャ動作を実行することができる。この方法により、ユーザは、片手でマウスを制御しながら反対側の手でジェスチャを実行できるようになる。従ってユーザは、さらに生産性を上げることができるようになる。

スプレッドシートプログラムにおける図２０の１つの実施例では、ユーザはマウスを使用してセルを選択し、次にタッチ面上で反対側の手でコピージェスチャを行うことができる。次にユーザは、スクロールジェスチャ又はパンジェスチャを使用してスプレッドシートをスクロール又はパンすることができる。所望の位置を発見すると、ユーザは、所望のセル又はマウスを使用してペーストするためのセルを選択し、その後ペーストジェスチャを行うことができる。

図２１は、本発明の１つの実施形態による例示的な制御動作４００を示す図である。制御動作はブロック４０２から開始することができ、ここでマウス及びタッチ面を供給することができる。ブロック４０２に続いて、動作はブロック４０４へ進むことができ、ここでマウスイベント（例えば、カーソルの移動、ボタンクリック、スクローリング）に関してマウスがモニタされる。同時に、ブロック４０６において、ジェスチャイベントに関してタッチ面をモニタすることができる。その後、ブロック４０８において、タッチ面において行われたタッチ又はジェスチャイベントに基づいて、マウスモードを変更することができる。例えば、タッチしている手を使用して、他方の手で操作されるマウスの機能を修正することができる。例として、タッチ面上に指を存在させることにより、マウスをトラッキングモードからスクローリングモードに変更することができる。

図２２は、本発明の１つの実施形態による例示的な制御動作４１０を示す図である。動作はブロック４１２から開始することができ、ここで第１のタッチがタッチ面上で検知される。ブロック４１２に続いて、動作はブロック４１４へ進むことができ、ここで第１の接触の構成が認識される。例えば、これは第１の手で達成することができる。同時に、ブロック４１６及びブロック４１８において、タッチ面上で第２の接触を検知し、第２の接触の構成を認識することができる。例えば、これは第２の手で達成することができる。ブロック４２０において、第１の接触の構成に関するジェスチャセットをロードすることができる。同時に、ブロック４２２において、第２の接触の構成に関するジェスチャセットをロードすることができる。ブロック４２４において、第１のジェスチャイベントに関して第１の接触をモニタすることができる。同時に、ブロック４２６において、第２のジェスチャイベントに関して第２の接触をモニタすることができる。ブロック４２８において、第１のジェスチャイベントが行われた場合、第１のジェスチャイベントに関連づけられた動作を実行することができる。同時に、ブロック４３０において、第２のジェスチャイベントが行われた場合、第２のジェスチャイベントに関連づけられた動作を実行することができる。

図２３は、本発明の１つの実施形態による例示的な制御動作４４０を示す図である。動作４４０はブロック４４２から開始することができ、ここでＧＵＩオブジェクトが表示される。その後、ブロック４４４において、表示されたＧＵＩオブジェクトの異なるポイントにおいてマルチポインタを検知することができる。タッチスクリーンの場合、第１のポインタは、第１の手から出される（単複の）指とであってもよく、第２ポインタは、第２の手から出される（単複の）指であってもよい。タッチパッドの場合、第１のポインタは、第１の手によって制御されるカーソルであってもよく、第２ポインタは、第２の手によって制御されるカーソルであってもよい。ポインタが検知されると、このポインタをブロック４４５で表示されたオブジェクトにロックすることができる。これは、一時停止により達成することができる。例えば、ユーザは、ＧＵＩオブジェクト上のポイントにポインタを置き、次にポインタがロックされるまでそこで静止させることができる。その後、ブロック４４６において、そのロックされた位置に関してポインタの位置をモニタすることができる。その後、ブロック４４８において、１又はそれ以上のポインタの位置がそのロックされた位置に対して移動した場合、表示されたオブジェクトを修正することができる。例えば、向き、サイズ、及び形状を含むＧＵＩオブジェクトの属性を修正することができる。

図２３の実施例を上げると、オブジェクトを回転させるために、ユーザはＧＵＩオブジェクト上にポインタを置き、それがロックされると、１つ又は２つのポインタを回転させることができる。ＧＵＩオブジェクトは、１つ又は２つのポインタの回転に従うことによりその向きを変えることができる。サイズを変えるために、ユーザは、ＧＵＩオブジェクト上にポインタを置き、それがロックされると、２つのポインタを同時に或いは互いに離してスライドさせることができる。同時にスライドした場合、オブジェクトのサイズを小さくすることができる。離してスライドした場合、オブジェクトのサイズを大きくすることができる。形状を変えるために、ユーザは、ＧＵＩオブジェクト上にポインタを置き、それがロックされると、１つのポインタを、上下、左右にスライドさせることができる。オブジェクトから離れる方向にスライドさせた場合、オブジェクトをスライドの方向に大きくすることができる。オブジェクトに向けてスライドさせた場合、オブジェクトをスライドの方向に小さくすることができる。

図２４は、本発明の１つの実施形態による例示的な制御動作４５０を示す図である。動作はブロック４５２から開始することができ、ここで第１の接触がタッチ面上で検知される。これは、例えば第１の手により達成することができる。ブロック４５２に続いて、動作はブロック４５４へ進むことができ、ここで第１の接触に関連づけられた第１の接触の構成が認識される。同時に、ブロック４５６及び４５８において、第２の接触をタッチ面上で検知し、第２の接触の構成を認識することができる。これは、例えば第２の手により達成することができる。ブロック４６０において、第１のジェスチャイベントに関して第１の接触をモニタすることができる。同時に、ブロック４６２において、第２のジェスチャイベントに関して第２の接触をモニタすることができる。ブロック４６４において、第１のジェスチャイベントが行われたときに、第１のジェスチャイベントに関連づけられたポインティング動作を実行することができる。同時に、ブロック４６６において、第２のジェスチャイベントが行われたときに、第２のジェスチャイベントに関連づけられたポインティング動作を実行することができる。

図２５は、本発明の１つの実施形態による例示的な制御動作４７０を示す図である。制御動作はブロック４７２から開始することができ、ここで選択可能な項目のグループが表示される。選択可能な項目のグループは、例えばカラーパレット又はツールバーとすることができる。ブロック４７２の後、動作はブロック４７４へ進むことができ、ここで選択可能な項目のグループ上で第１のポインティングメカニズムが検知される。タッチスクリーンの場合、ポインティングメカニズムは、指又は指のグループであってもよい。タッチパッドの場合、ポインティングメカニズムは、指又は指のグループによって制御されるカーソル又はツールであってもよい。ブロック４７６において、第１のポインティングメカニズムの下位項目を起動する（選択する）ことができる。起動された項目は、ポインティングメカニズムの位置に基づくことができる。ユーザが自身の選択について確認できるように視覚的なフィードバックを提供することができる。例として、第１のポインティングメカニズムが項目の上に位置する場合、起動された項目を強調表示することができる。ブロック４７８において、第２のポインティングメカニズムをウィンドウ上で同時に検知する（例えば、両方のポインティングメカニズムを同時に動作させる）ことができる。ウィンドウは、例えば作図又はペイントプログラムにおけるキャンバスであってもよい。タッチスクリーンの場合、第２のポインティングメカニズムは、（第１のポインティングメカニズムとは反対の手から出される）指又は指のグループであってもよい。タッチパッドの場合、第２のポインティングメカニズムは、指又は指のグループによって制御されるカーソル又はツールであってもよい。ブロック４８０において、選択された項目を第２のポインタメカニズムに加えることができる。例えば、ツールバーの場合、第２のポインタメカニズムのツール機能は、選択された項目に基づくことができる。さらに、タッチパッドの場合、どの（ペンシル、ペイントブラシなどの）ツールがアクティブであるかユーザに解るように、ツールＵＩ要素を機能と共に変化させることができる。パレットの場合、第２のポインタメカニズムの出力は、選択された項目に基づくことができる。例えば、ペインティングの場合、ユーザがパレットで色を選択したときに、第２ポインタの出力がその色に変化する。従ってユーザは、ペインティング動作中にキャンバスに加えられる色をさりげなく調整することができる。

図２６は、本発明の１つの実施形態による例示的な制御動作５００を示す図である。制御動作はブロック５０２から開始することができ、ここでメディア項目のグループが表示される。メディア項目とは、例えば、曲、ビデオクリップ、映画、写真、ゲームなどであると考えてよい。メディア項目は、例えばメディア管理プログラムによって管理されてもよい。クパチーノのアップルコンピュータによって製作されたｉＰｈｏｔｏ及びｉＴｕｎｅｓは、メディア管理プログラムの実施例として挙げられる。ブロック５０４において、ポインタメカニズムを項目上で検知することによりこの項目を強調表示することができる。例えばマウス又はハンドコード（利き手）によりポインタメカニズムを制御することができる。ブロック５０６において、タッチ面上で接触を検知することができる。ポインタメカニズムに関連づけられた手と逆の手によって接触を行うことができる。その後、ブロック５０８において、このタッチに関連づけられた接触の構成を認識することができる。その後、ブロック５１０で、認識された接触の構成に関連づけられたメタデータを、強調表示された項目の中に挿入することができる。接触の構成の各々は、異なるメタデータを有することができる。例えば、１本の指は第１のメタデータを有することができ、２本の指は、第２のメタデータを有することができ、３本の指は、第３のメタデータを有することができ、４本の指は、第４のメタデータを有することができ、５本の指は、第５のメタデータを有することができる。接触の各構成に関するメタデータは、同じ機能に関連する場合もあれば、或いは全く異なる機能を有する場合もある。

図２６の実施例を上げると、上記のプロセスを使用して、メディア項目を評価又はランク付けすることができる。例えば、１本の指は、曲に１つ星ランキングを関連づけることができ、２本の指は、曲に２つ星ランキングを関連づけることができ、３本の指は、曲に３つ星ランキングを関連づけることができ、４本の指は、曲に４つ星ランキングを関連づけることができ、５本の指は、曲に５つ星ランキングを関連づけることができる。

図２６の別の実施例を上げると、上記のプロセスを使用してメディア項目を識別することができる。例えば、１本の指は、写真に（妻ダーシーなどの）第１の人物を関連づけることができ、第２の指は、写真に（娘ハリーなどの）第２の人物を関連づけることができ、第３の指は、写真に（いとこカムデンなどの）第３の人物を関連づけることができ、第４の指は、写真に（叔父チャンスなどの）第４の人物を関連づけることができ、第５の指は、写真に（祖母シェリーなどの）第５の人物を関連づけることができる。リストを拡大するためにタップを使用することができる。例えば、第１のタッチダウンにおける指の本数を第２のタッチダウンにおける指の本数に追加して、最終的な接触の構成を作成することができる。３本の指の後に２本の指が続けば、第５の人物を意味することもできる。また、５本の指と１本の指（合計６本の指）は、写真に（曾祖母テリーなどの）第６の人物を関連づけることができる。さらに、５本の指と２本の指は、写真に（犬プリモなどの）第７の人物を関連づけることができ、５本の指と３本の指は、写真に（友達リサなどの）第８の人物を関連づけることができ、５本の指と４本の指は、写真に第９の人物を関連づけることができ、５本の指と５本の指は、写真に第１０の人物を関連づけることができる。或いは、人物にメタデータを関連づけるのではなく、（例えば、バケーション、カリフォルニア、風景、家族などの）写真のある他の特徴に関連づけることもできる。

一般的に、メディア管理プログラムは、メタデータ挿入モードに置かれることを必要とする場合がある。これは、オンスクリーン制御を介して、或いはポインティングメカニズムに関連づけられたコードにより従来方法で達成することができる。

図２７は、本発明の１つの実施形態による例示的な制御動作５２０を示す図である。制御動作はブロック５２２から開始することができ、ここで制御オブジェクトが表示される。制御オブジェクトとは、例えばオンスクリーンボタン、ダイヤル、スライダ、スイッチなどであると考えてよい。ブロック５２４において、制御オブジェクト上でタッチを検知することができる。その後、ブロック５２６において、このタッチに関連づけられた接触の構成を認識することができる。ブロック５２７で、この接触の構成が、制御オブジェクトの制御に関連づけられた接触の構成に一致するかどうかに関して決定を行うことができる。一致しなければ、動作はブロック５２８へ進むことができ、接触が無視される。一致すれば、動作はブロック５３０へ進むことができ、制御オブジェクトの制御に関連づけられたジェスチャイベントに関してタッチをモニタすることができる。ジェスチャイベントが行われた場合、ジェスチャイベントに関連づけられた動作が制御オブジェクトに加えられ、これにより制御オブジェクトがその命令を生成できるようになる（ブロック４３２）。

図２７の１つの実施形態では、制御オブジェクトの制御を開始する接触の構成は、複数の接触に基づくことができる一方、無視される接触の構成は、１回の接触に基づくことができる。

図２８は、本発明の１つの実施形態による例示的な制御動作５４０を示す図である。図２９に示すような制御パネルを使用して制御動作５４０を実行することができる。動作はブロック５４２から開始することができ、ここで入力機能のリストが提供される。入力機能は、命令と、命令にリンクされたジェスチャイベントとを有することができる。命令は入力機能に関連する場合がある。例えば、入力機能が編集である場合、命令は、中止、取り消し、ペースト、バックタブ、コピー、タブ、カット、やり直し、及び全ての選択であってもよい。ジェスチャイベントは、コードによって行われる動作であってもよい。ジェスチャイベントは、回転（時計回り及び反時計回り）、グループとしての変換（上、下、右、左）、互いに関する変換（拡がった、閉じた）、タップなどを含むことができる。直感的な方法でジェスチャイベントを命令にリンクすることができる。例えば、カッティング動作と同様に指を共に閉じることによりカット命令を開始することができる。さらに、補足命令（カット／ペースト）は、通常、補足ジェスチャイベント（拡がった／閉じた）にリンクされる。ブロック５４４において、入力機能を特定のコードに割り当てることができる。コードは、指の構成であってもよい。コードをリストに表示することにより、ユーザは特定のコードを強調表示し、次に特定の入力機能を選択できるようになる。複数の入力機能にコードを割り当てることもできる。

ブロック５４４において、入力機能のメニューから入力機能を選択し、次にコードのメニューリストからコードを選択する（例えば、入力機能を強調表示し、次にコードを選択する）ことにより、ユーザは、入力機能を特定のコードに割り当てることができる。コードが選択されると、将来的な動作のために入力機能をそのコードに関連づけることができる（ブロック５４６）。場合によっては、コードメニューは、それ自体に割り当てられた入力機能の指示を含むことができる。この特定の実施形態では、命令はすでにジェスチャイベントに割り当てられていると考えてもよい。

図２９Ａ〜Ｇは、本発明の１つの実施形態による制御パネル５００を示す図である。図２９Ａは基本制御パネルを示す図であり、図２９Ｂ〜図２９Ｇは１つの制御パネルの実施形態のいくつかの実施例を示す図である。

図２９Ａに示すように、制御パネル５５０は、プルダウンウィンドウの形式のジェスチャマップ制御５５２を含むことができる。ユーザがプルダウンウィンドウを選択した場合、１又はそれ以上のジェスチャマッピングオプションをユーザに表示することができる。ユーザにデフォルト設定（通常はメーカーにより設定される）を表示することもできるし、或いはユーザ固有のジェスチャマップを形成できるように、ユーザがカスタム設定を選択することもできる。１よりも多い数のカスタムマップが存在できる。例えば、異なるユーザが異なるマップを作成することができる。制御パネルを開いたら、ジェスチャマップ制御を選択し、次に強調表示バーを介してカスタムマップのリストを移動することにより、ユーザは所望のカスタムマップを選択することができる。所望のマップが見つかると、ユーザはこれを容易に強調表示し、所望のジェスチャマップを設定するために１回目のクリックを行うだけでよい。その後、ユーザは自分の設定を変更することができる。

制御パネル５５０はまた、プルダウンウィンドウ形式の入力機能メニュー５５４を含むことができる。ユーザがプルダウンウィンドウを選択すると、１又はそれ以上の入力機能のリストをユーザに表示することができる。入力機能は、例えば、無し、ポイント、ポイント／クリック、スクロール、スクロール及び２回目のクリック、１回目のクリック及びドラッグ、２回目のクリック及びドラッグ、ウィンドウ移動、エクスポーズ＆ダッシュボード、ウェブブラウザ動作、編集動作、ファイル動作などを含むことができる。入力機能のうちの１つを強調表示するために、ユーザ制御に従ってリストを横切る強調表示バーをユーザに提供することができる。

制御パネル５５０はまた、強調表示された入力機能に関連づけられた命令と、その命令に割り当てられたジェスチャイベントとを示すジェスチャセット部５５６を含むことができる。このジェスチャセット部は、単にフィードバックのためだけのものではなく、命令をジェスチャイベントに割り当てる（逆の場合も同様）機能を含むこともできる。ウィンドウは大幅に変更することができるが、図示の実施形態では、ウィンドウは別個のボックスを含むことができ、該ボックスの各々は、ジェスチャイベントとそれに関連づけられた命令とを含む。この実施形態では、ボックスを３ｘ３の行列に設定することができ、これにより個々の入力機能に対して９個の異なるジェスチャイベントと９個の異なる命令が存在できるようになる。多くの場合、逆方向に行われるジェスチャイベントを互いに向かい合わせに配置することができる。例えば、ＣＣＷ回転をＣＷ回転と向かい合わせに配置することができ、拡大を縮小と向かい合わせに配置することができ、左スワイプを右スワイプと向かい合わせに配置することができ、上スワイプを下スワイプと向かい合わせに配置することができる。可能であれば、補足命令スキャンを逆方向のジェスチャイベントにリンクさせることより、それらをより直感的なものにすることができる。

制御パネル５５０はまた、コードメニュー５５８を含むこともできる。コードは、その他のものの上にレイアウトされたものであってもよく、スクロールバーを介してウィンドウ内を移動することができる。コードは、テキスト識別子、並びにコードの作成方法の実施例を示すコードインジケータを含むことができる。例示的な実施形態では、コードインジケータは、コード作成のために使用する指を覆う暗い円を伴う手の形であってもよい。コードはまた、コードに割り当てられた入力機能に関するテキスト識別子を含むことができる。

１つの実施形態では、ジェスチャマップを設定するために、ユーザは、入力機能を強調表示し、その後コードメニューに移動することができる。コードメニューに入ると、ユーザは、コードのリスト全体を見渡し、所望のコードを強調表示し、次に例えばクリックなどによって選択イベントを行うことにより、その入力機能に関する所望のコードを選択することができる。その後、コードに入力機能を割り当てることができる。場合によっては、ユーザがコードに入力機能を割り当てると、入力機能識別子がコードと共にコードメニューに配置されることがある。さらに、入力機能は、その機能が割り当てられた旨を示す識別子を含むことができる。例えば、割り当てられた入力機能によりチェックを加えることができる。動作中、ユーザがコードメニューに示された指の構成をマルチポイントタッチ面上に置いた場合、この指の構成をコードとして認識し、その後、このコードに割り当てられた入力機能に関連づけられたジェスチャセットを、最初の又はアクティブなジェスチャセットとして設定することができる。

図２９Ｂは、入力機能メニューを開き、ユーザがエクスポーズダッシュボード入力機能を４本の指のコードに割り当てることができる場合の実施例を示す図である。さらに、ジェスチャセットは、エクスポーズ／ダッシュボード入力機能に関連づけられた命令と、命令を開始するために使用するジェスチャイベントとを示すことができる。例えば、上向きスワイプは、エクスポーズオールを開始することができ、右スワイプは、デスクトップエクスポーズを開始することができ、左スワイプは、アプリケーションエクスポーズを開始することができ、下向きスワイプは、ダッシュボードを開始することができる。

図２９Ｃは、入力機能メニューを開き、ユーザが最初のクリックとドラッグ入力機能とを３本の指のコードに割り当てることができる場合の実施例を示す図である。さらに、ジュエスチャーセットは、このクリックとドラッグ入力機能とに関連づけられた命令と、この命令を開始するのに使用されるジェスチャイベントとを示すことができる。例えば、任意の向きの動きを使用してオブジェクトをドラッグすることができ、タップを使用してクリックを開始することができる。

図２９Ｄは、入力機能メニューを開き、ユーザがファイル動作入力機能を親指＋１本の指のコードに割り当てることができる場合の実施例を示す図である。さらに、ジェスチャセットは、ファイル動作入力機能に関連づけられた命令と、この命令を開始するのに使用されるジェスチャイベントとを示すことができる。例えば、回転スワイプＣＣＷを使用して「開く」を開始することができ、回転スワイプＣＷを使用して「閉じる」を開始することができ、指を開いて「新規」を開始することができ、指を狭めて「保存」を開始することができる。

図２９Ｅは、入力機能メニューを開き、ユーザが編集動作入力機能を親指＋２本の指のコードに割り当てることができる場合の実施例を示す図である。さらに、ジェスチャセットは、編集動作入力機能に関連づけられた命令と、この命令を開始するのに使用されるジェスチャイベントとを示すことができる。例えば上向きスワイプは「取り消し」を開始することができ、右スワイプは「タブ」を開始することができ、左スワイプは「バックタブ」アプリケーションを開始することができ、下向きスワイプは「やり直し」を開始することができる。さらに、回転スワイプＣＣＷは「中止」を開始することができ、回転スワイプＣＷは「全ての選択」を開始することができ、指を拡げて「ペースト」を開始することができ、指を狭めて「カット」を開始することができる。さらに、タップは「コピー」を開始することができる。

図２９Ｆは、入力機能メニューを開き、ユーザがウェブブラウザ動作入力機能を親指＋３本の指のコードに割り当てることができる場合の実施例を示す。さらに、ジェスチャセットは、ウェブブラウザ動作入力機能に関連づけられた命令と、この命令を開始するために使用されるジェスチャイベントとを示すことができる。例えば、上向きスワイプは「中止」を開始することができ、右スワイプは「進む」を開始することができ、左スワイプは「戻る」を開始することができ、下向きスワイプは「リフレッシュ」を開始することができる。さらに、左上向きスワイプは「ホーム」を開始することができ、右上向きスワイプは「スポットライト」を開始することができ、左下向きスワイプは「検索」を開始することができ、右下向きスワイプは「ブックマーク」を開始することができる。

図２９Ｇは、入力機能メニューを開き、ユーザがポイント入力機能を親指＋４本の指のコードに割り当てることができる場合の実施例を示す。さらに、ジェスチャセットは、ポイント入力機能に関連づけられた命令と、この命令を開始するのに使用されるジェスチャイベントとを示すことができる。例えば、いずれかの方向への動きを使用してポインティングを行うことができる。

図３０は、本発明の１つの実施形態による例示的な制御動作５８０を示す図である。図２９に示すような制御パネルを使用して制御動作５８０を実行することができる。動作はブロック５８２から開始することができ、ここで入力機能のリストを提供することができる。ブロック５８４において、入力機能に関連づけられた命令のリストを提供することができる。ブロック５８６において、コードのリストを提供することができる。ブロック５８８において、コードに関連づけられたジェスチャイベントのリストを提供することができる。ブロック５９０において、コードに入力機能を割り当てることができる（逆もまた同様）。ブロック５９２において、ジェスチャイベントに命令が割り当てることができる。別の動作では、動作５８０は、特定の入力機能に関連づけられたリストを有するのではなく、全ての利用可能な命令のリストを提供するステップを含むことができる。ユーザは、入力機能に任意の命令を割り当てることができる。別の動作ではまた、動作は、特定のコードに関連づけられたリストを有するのではなく、全ての利用可能なジェスチャイベントのリストを提供するステップを含むことができる。ユーザは、コードに任意のジェスチャイベントを割り当てることができる。

図２９を参照すると、ユーザは、入力機能のメニューから入力機能を選択し、次にコードのメニューリストからコードを選択する（例えば、入力機能を強調表示し、次にコードを選択する）ことにより、入力機能を特定のコードに割り当てることができる。コードが選択されると、将来的な動作のために入力機能をそのコードに関連づけることができる。場合によっては、コードメニューは、割り当てられた入力機能の指示を含むことができる。さらに、ユーザは、ジェスチャを介して命令を動かすことにより、命令をジェスチャイベントに割り当てることができる。例えば、ユーザは、特定の命令を選択及びドラッグし、所望のジェスチャイベント上にこれをドロップすることができる。その後、将来的な動作のために命令をそのジェスチャイベントに関連づけることができる。

図３１は、本発明の１つの実施形態による例示的なジェスチャマッピング方法６００を示す図である。マッピング６００は、ブロック６０２から開始することができ、ここでシステムがジェスチャマッピングモードに置かる。ジェスチャマッピングモードに入ると、ブロック６０４においてタッチを検知することができる。その後、ブロック６０６において、このタッチに関連づけられた接触の構成を記憶することができる。例えば、接触の構成のイメージを生成することができる。その後、ブロック６０８において、ジェスチャイベントに関してタッチをモニタすることができる。その後、ブロック６１０において、ジェスチャイベントを記憶することができる。その後、ブロック６１２において、接触の構成／ジェスチャイベントに命令を割り当てることができる。ジェスチャマッピングモードから抜けると、接触の構成が認識されるように下方へ降ろし、その後ジェスチャイベントを行うことにより命令を開始することができる。

図３２は、本発明の１つの実施形態による例示的なジェスチャマッピング方法６２０を示す図である。ジェスチャマッピング方法６２０はブロック６２２から開始することができ、ここで命令メニューを開くことができる。命令メニューは、（ファイル、編集、ビュー、挿入、フォーマット、ツールなどの）アプリケーションの表題に見られるメニューのいずれかであってもよい。命令メニューが開かれると、命令のリストを表示することができる（ブロック６２４）。ブロック６２４に続いて、ユーザ制御により命令リストの命令上で強調表示バーを動かすことができる。その後、ブロック６２６において、命令が強調表示されている間にタッチ面上でタッチを検知することができる。その後、ブロック６２８において、このタッチに関連づけられた接触の構成を画像化及び記憶することができる。その後、ブロック６３０において、ジェスチャイベントに関してタッチをモニタすることができる。その後、ブロック６３２において、ジェスチャイベントが実行された場合、このジェスチャイベントを画像化及び記憶することができる。その後、ブロック６３４において、強調表示された命令に初期の接触の構成及びジェスチャイベントを割り当てることができる。ジェスチャマッピングモードから抜けると、接触の構成が認識されるように下方へ降ろし、その後ジェスチャイベントを行うことにより命令を起動することができる。

図３３は、本発明の１つの実施形態による例示的なジェスチャフィードバック方法６４０を示す図である。方法６４０は、ブロック６４２から開始することができ、ここでタッチが検知される。その後、ブロック６４４において、接触の構成を認識することができる。その後、ブロック６４６において、接触の構成に少なくとも一部基づいてジェスチャセットをロードすることができる。その後、ブロック６４８において、接触中の一時停止（例えば、ある時間の間ジェスチャイベントが行われない）を検知することができる。その後、ブロック６５０において、ジェスチャセットを表示することにより、ユーザは、命令と、この命令に関連づけられたジェスチャイベントとを閲覧できるようになる（例えば図３４を参照のこと）。その後、ブロック６５２において、ジェスチャイベントが開始された場合、或いは事前設定した時間が経った後に、ディスプレイからジェスチャセットを取り除くことができる。

図３４は、本発明の１つの実施形態による例示的なジェスチャビューイングウィンドウ６６０を示す図である。ジェスチャビューイングウィンドウは、ジェスチャイベントをどのように行うか及びジェスチャイベントが行われた場合にどの命令を開始するかという情報を含みポップアップするジェスチャメニューであると考えてよい。従ってユーザは、ジェスチャイベントを行う前にジェスチャセットを素早くメモリに入れることができるようになる。ジェスチャウィンドウ６６０は、第１のタッチダウンポイント（又は一時停止）の近くに、及び別の任意の表示された情報の上に表示される半透明又は不透明のウィンドウであってもよい。ウィンドウは大幅に変更することができるが、図示の実施形態では、ウィンドウ６６０は別個のボックス６６２を含むことができ、これらのボックスの各々は、ジェスチャイベント６６４とそれに関連づけられた命令６６７とを含むことができる。この実施形態では、ボックスを３ｘ３の行列に設定することができ、従って９個の異なるジェスチャイベントと９個の異なる命令が存在できるようになる。多くの場合、逆向きに行われるジェスチャイベントを互いに向かい合わせに配置することができる。例えば、ＣＣＷ回転は、ＣＷ回転と向かい合わせに配置することができ、拡大は、縮小と向かい合わせに配置することができ、左スワイプは、右スワイプと向かい合わせに配置することができ、上スワイプは、下スワイプと向かい合わせに配置することができる。可能であれば、補足命令を逆向きのジェスチャイベントにリンクさせることにより、これらをより直感的なものにすることができる。例えば、カット及びペーストの場合、カットを縮小に関連づけ、ペーストを拡大に関連づけることができる。さらに、別のものをタップ（円により示されている）に関連づけることができる。

図３５は、本発明の１つの実施形態による、タッチスクリーンを介して実行される例示的なキーボード方法６８０を示す図である。方法６８０はブロック６８２から開始することができ、ここでタッチスクリーンキーボードが起動される（例えば、表示して入力を受け取る準備が行われる）。その後、ブロック６８４において、（表示されたキー上での指タップなどの）キーエントリに関してタッチ面をモニタすることができる。同時に、ブロック６８６において、スワイピングジェスチャイベントに関してタッチ面をモニタすることができる。スワイピングジェスチャイベントが右スワイプである場合、スペース命令を実行することができる（ブロック６８８及び６９０）。スワイピングジェスチャイベントが左スワイプである場合、バックスペース／削除命令を実行することができる（ブロック６９２及び６９４）。スワイピングジェスチャイベントが下スワイプである場合、エンター／リターン命令を実行することができる（ブロック６９６及び６９８）。スワイピングジェスチャイベントが上スワイプである場合、ページ分割命令を実行することができる（ブロック７００及び７０２）。しかし、この方法はこれらの命令に限定されるものではなく、別の命令を実行することもできる点に留意されたい。

評価すべきコード、ジェスチャイベント、命令の非常に多くの組み合わせと共に、長所と短所を切り離し、どのコード及びジェスチャイベントがどの命令に適合するかについてのガイド理論を発展させることは有用なこととなり得る。一般的には、最良の指の組み合わせを最も頻度の高い命令に一致させることにより、長期間のユーザ経験が最大限に活用されると信じられている。平凡な指の組み合わせは、あまり頻度の高くない命令に対してのみ使用すべきである。しかし、混信などの微妙な問題のせいで、この原理に従うだけではすばらしいユーザ経験を作り上げるのに十分ではない。

図３６は、本発明の１つの実施形態による例示的なジェスチャ設計プロセス７２０を示す図である。設計プロセス７２０はブロック７０２を含み、ここで最も簡単なコードを格付け又はランク付けすることができる。例えば、速度、信頼性、使い勝手及び使い易さ、簡単さなどに基づいてコードを格付けすることができる。より小型の面では全ての指の組み合わせに対応することができないため、これはタッチ面のサイズにも基づくものであってよい。図３７は、コードを格付けするための行列の１つの実施例を示す図である。この行列は例として示したものであり、本発明を限定するものではないことを理解されたい。

設計プロセスはまた、ブロック７０４も含み、ここで動作の頻度を格付け又はランク付けすることができる。例えば、どのくらいの頻度で特定のユーザ又はユーザのグループが特定の動作セットを実行するかによるものである。頻度のランク付けは、（ウェブブラウジング対編集などの）互いに関連する動作の割合に従って変化する場合がある。図３８は、いくつかの動作に関して動作の頻度をランク付けするための行列の１つの実施例を示す図である。これより多くの動作が存在するため、このリストは例として示したものであり、本発明を限定するものではないことを理解されたい。

設計プロセスはまた、ブロック７０６も含むことができ、ここで最も簡単なコードが最も頻度の高い動作と共に実質的にグループ化されるか、或いはこれに一致させられ、最も難しいコードが最も頻度の低い動作と共に実質的にグループ化されるか、或いはこれに一致させられるようになる。

設計プロセスは、グループを微調整するステップを含むことができる。この微調整ステップは、補足命令、直感、クロストーク、実用的な構成などを含む多くの要素に基づくことができる。設計プロセスは、最も簡単なコードを最も頻度の高い動作に一致させるほど簡単なものではない場合があることを理解されたい。場合によっては、最も簡単なコードでは、最も頻度の高い動作を感知することができない。このため、簡単なコードをより頻度の高い動作に、難しいコードをより頻度の低い動作に保持しようとしている間に、コードと動作をシフトさせることができる。

図３９は、本発明の１つの実施形態による例示的な制御動作７４０を示す図である。制御動作は、ブロック７４２から開始することができ、ここで基本ジェスチャマップが提供される。基本ジェスチャマップは、例えば、コード、命令ジェスチャイベントなどを含むジェスチャの好みの設定を含むことができる。ブロック７４２に続いて、動作は、ブロック７４４へ進むことができ、ここで第１のプログラムがアクティブにされる。プログラムは例えば、ワードプロセッシングプログラム、メディア管理プログラム、スプレッドシートプログラム、メディア編集プログラム、描画プログラムなどであってもよい。ブロック７４６において、第１のプログラムがアクティブである間、この第１のプログラムに従って基本ジェスチャマップを調整することができる。例えばプログラムは、基本ジェスチャマップに、この特定のプログラムに関するコードの意味とジェスチャセットとを変更するよう命じることができる。ブロック７４８において、第２のプログラムをアクティブにすることができる。ブロック７５０において、第２のプログラムがアクティブである間、この第２のプログラムに従って基本ジェスチャマップを調整することができる。

図３９の１つの実施例では、メディア編集プログラムは、ポインティングには１本の指、オブジェクトの移動、スケーリング、回転には２本の指、最初のドラッグには３本の指、スクロールパンには４本の指、ポインティングには５本の指のようにジェスチャマップを調整することができる一方、ワードプロセッシングプログラムは、テキストカーソルのポインティングには２本の指、テキストの選択には３本の指、ページング、開始行及び終了行には４本の指のようにジェスチャマップを調整することができる。

図４０は、本発明の１つの実施形態による例示的な制御動作７６０を示す図である。３本の指のコードで実施されるジェスチャセットに制御動作を関連づけることができる。制御動作はブロック７６２から開始することができ、ここで右スワイプが検知されたかどうかに関して判定が行われる。検知されれば、動作はブロック７６４へ進むことができ、ここで第１のエクスポーズ機能が開始される。検知されなければ、動作はブロック７６６へ進むことができ、ここで左スワイプが検知されたかどうかに関して判定が行われる。検知されれば、動作はブロック７６８へ進むことができ、ここで第２のエクスポーズ機能が開始される。検知されなければ、動作はブロック７７０へ進むことができ、ここで上向きスワイプが検知されたかどうかに関して判定が行われる。検知されれば、動作はブロック７７２へ進むことができ、ここで第３のエクスポーズ機能が開始される。検知されなければ、動作はブロック７７４へ進むことができ、ここで下向きスワイプが検知されたかどうかに関して判定が行われる。検知されれば、動作はブロック７７６へ進むことができ、ここでダッシュボード機能が開始される。検知されなければ、動作は７６２へ戻ることができる。

図４１は、本発明の１つの実施形態による例示的な制御動作７８０を示す図である。制御動作は、ブロック７８２から開始することができ、ここでベースコードが検知される。ベースコードは、例えば３本の指のコードであってもよい。タッチストローク中、一時停止が検知される（ブロック７８４）。その後、ブロック７８６において、ベースコードの一時停止によってコンテキストメニューを開くことができる。その後、ブッロック７８８において、上スライド又は下スライドが検知されたかどうかに関して判定を行うことができる。検知されれば、動作はブロック７９０へ進むことができ、ここでハイライトバーがスライディングの動きに従ってコンテキストメニューに沿って動かされる。その後、ブロック７９２において、タップが検知されたかどうかに関して判定を行うことができる。検知されれば、動作はブロック７９４へ進むことができ、ここで強調表示された項目の機能が実行される。

ダッシュボードとは、ウィジェットのホーム、すなわちユーザに共通タスクを実行させ、またユーザに情報への高速アクセスを提供するミニアプリケーションのことである。スワイプにより、リアルタムの天気、株式ティッカー、航空機の運行情報などの情報の世界を即座にもたらすウィジェットを完備したダッシュボードがユーザに表示される。ダッシュボードは、容易に非表示にすることができ、これによりユーザは実行中の画面に戻ることができるようになる。ダッシュボードは、カリフォルニア、クパチーノのアップルコンピュータによって製作されている。

エクスポーズにより、ユーザは、１回のスワイプ及び決して模倣できない美しいスタイルで、任意の開いたウィンドウに即座にアクセスできるようになる。サムネイルとして全ての開いたウィンドウを表示し、現在のアプリケーションのウィンドウを閲覧し、或いは全てのウィンドウを非表示にして、ユーザのデスクトップ上にファイルを即座に配置する。エクスポーズは、カリフォルニア、クパチーノのアップルコンピュータにより製作されている。

図４２〜図４４は、本発明の複数の実施形態による様々なジェスチャマップを示す図である。各図は、１）手、２）指の本数（コード）、３）ジェスチャイベント、及び４）ジェスチャイベントに関連づけられた行動又は動作の４つの見出しを含む。

図４５〜図４８は、本発明のいくつかの実施形態による種々のジェスチャセットを示す図である。これらすべての図において、ジェスチャセットは、矢印で示す様々な動き（スワイプ、回転、拡大／縮小）、及び円で示す１又はそれ以上のタップを含む。ジェスチャセットはまた、その下に位置する動きに関連づけられた命令を含むことができる。ユーザの必要性に応じて、異なるコードにジェスチャセットを加えることができる。１つの実施例では、親指＋１本の指のコードに図４５のジェスチャセットを加えることができ、親指＋２本の指のコードに図４６のジェスチャセットを加えることができ、親指＋３本の指のコードに図４７のジェスチャセットを加えることができ、スプレッドの親指と３本の指のコードに図４８のジェスチャセットを加えることができる。ジェスチャセット並びにコードは例として作成されたものであり、本発明を限定するものではないことを理解されたい。例えば、ジェスチャセットの場合、異なる命令を使用したり、異なるジェスチャイベントを使用したり、異なる割り当てを使用したりすることができる。

図８〜図１１に関する追加の実施形態についてここで説明する。

図４９は、本発明の１つの実施形態による例示的なジェスチャ動作８００を示す図である。動作８００は、ブロック８０２から開始することができ、ここで第１の指だけが検知される。その後、ブロック８０４において、第１の指の状態を判定することができる。この状態は、例えば、指の特定の向き、タッチ面に対する指の位置、指が動いているか静止しているか、指の動きの方向などに対応することができる。その後、ブロック８０６において、１本又はそれ以上の追加の指を検知することができる。例えば、第１の指の以外に、異なる第２の指を検知することができる。ブロック８０８において、１本又はそれ以上の追加の指の状態を判定することができる。その後、ブロック８１０において、互いに関連する第１の及び追加の指の状態のタイミングに基づいて異なる入力モードを実行することができる。この異なる入力モードは大幅に変更することができ、また本明細書で説明する入力モードのうちの任意の入力モード、或いは任意の適切な又は公知の入力モードから選択することができる。入力モードの１つの実施例は、ポインティングモード又はドラッギングモードであってもよい。その他のモードは、例えば、スクローリング、パニングなどを含むことができる。

１つの実施例では、第１の指の状態は、静止しているか、或いは動いているかを含むことができ、第２の指の状態は、第２の指が存在するか否かを含むことができる。この実施例では、第１の指のみが検知された場合、ポインティング動作を実行することができる。さらに、第１の指が静止しているときに第２の指が検知された場合、ポインティング動作をドラッギング動作に切り換えることができ、第１の指が動いているときに第２の指が検知された場合、ポインティング動作が維持される。この実行中にも、ユーザは、ポインティング動作とドラッギング動作の間で容易に切り換えを行うことができる。例えば、ユーザは、タッチ面上で１本の指を動かして、ファイルフォルダ上に１本の指又はカーソルを置き（例えば、ポインティング）、ファイルフォルダ上で指又はカーソルを止め、タッチ面上に第２の指を降ろすことでファイルフォルダをドラッグしたい旨を示し、次に第１の指を別の位置に動かして、ファイルフォルダを新しい位置にドラッグすることができる。ユーザは、指を動かし続けてファイルフォルダを動かし回るか、或いは単純に第１の指を持ち上げて、最終的にスクリーン内にファイルフォルダを配置することができる。

図５０は、本発明の１つの実施形態による例示的なジェスチャ動作８２０を示す図である。動作８２０はブロック８２２から開始することができ、ここで第１の指のみが検知される。その後、ブロック８２４において、第１の指の状態を判定することができる。この状態は、例えば、指の特定の向き、タッチ面に対する指の位置、指が動いているか静止しているか、指の動きの方向などに対応することができる。その後、ブロック８２６において、第１の指が第１の状態にある場合、第１の指により第１の入力モードを実行することができる。ブロック８２８において、修正用指イベントをモニタすることができる。第１の指以外の指が、この修正用指イベントを提供することができる。例えば、これは第２の指であってもよい。このイベントは第２の指の存在であってもよく、或いはある種のジェスチャリングイベント又は特定のコードであってもよい。その後、ブロック８３０において、第１の指が第２の状態にあり修正用指イベントが検知された場合、第２の入力モードを実行することができる。例えば、この修正用イベントは、第１の指の隣の第２の指の存在であってもよい。１つの実施例では、第１のモードがポインティングモードとなり、第２のモードがドラッギングモードとなる。当然、必要に応じ、この実施形態を他のモードに適用することができる。

図５１は、本発明の１つの実施形態による例示的なジェスチャ動作８４０を示す図である。動作８４０は、ブロック８４２から開始することができ、ここで第１の指が最初に検知される。その後、ブロック８４４において、第１の指が動いた場合、第１の指に関連づけられた第１のモードを実行することができる。その後、ブロック８２６において、第１の指が検知された後で第２の指を検知することができる。ブロック８２８において、第１の指が静止しておりかつ第２の指の存在が検知された場合、第１のモードを第２のモードに切り換えることができる。第２の指の存在は、例えばタッチ面の特定の位置、或いは第１の指に関する特定の位置のような位置固有のものであってもよい。１つの実施例では、第２の指は、第１の指の近くで検知される必要がある。その後、ブロック８３０において、第１の指が動いた場合、少なくとも第１の指で第２のモードを実行することができる。１つの実施例では、第１のモードがポインティングモードであり、第２のモードがドラッギングモードであってもよい。当然、必要に応じ、この実施形態を他のモードに適用することができる。

図５２は、本発明の１つの実施形態による例示的なジェスチャ動作８６０を示す図である。動作８６０はブロック８６２から開始することができ、ここで１本の指が検知されたかどうかに関して判定が行われる。システムの必要性に応じて、この１本の指は識別されてもされなくても良い。例えば、特定の指が識別された場合にのみ動作を実行できる場合もあれば、任意の１本の指が検知された場合にこの方法を実行できる場合もある。１本の指が検知されると、動作はブロック８６４へ進むことができ、ここで指が動いたかどうかに関して判定が行われる。指が動いていれば、ブロック８６６において、第１の指の動きでポインティング動作を実行することができる。第１の指がもはや検知されなければ、ポインティング動作を終了させることができる。指が動いていなければ、ブロック８６８において、第１の指が静止している間に第２の指が検知されたかどうかに関して判定を行うことができる。検知されなければ、動作はブロック８６２へ戻ることができる。検知されれば、動作はブロック８７０へ進むことができ、ここで第２の指を検知した後で第１の指が動いたかどうかに関して判定が行われる。第２の指は、第１の指と共に動くことが要求される場合もあれば、或いは要求されない場合もある。多くの場合、第２の指がもはや検知されないように持ち上げることができる。第１の指が動いていなければ、動作はブロック８６８へ戻ることができる。第１の指が動いていれば、動作はブロック８７２へ進むことができ、ここで第１の指の動きに従ってドラッギング動作が行われる。第１の指がもはや検知されなければ、ドラッギング動作を終了することができる。

図５３は、本発明の１つの実施形態による例示的なジェスチャ動作８８０を示す図である。動作８８０は、ブロック８８２から開始することができ、ここで第１の指が検知されたかどうかに関して判定が行われる。システムの必要性に応じて、この第１の指は識別されてもされなくても良い。例えば、特定の指が識別された場合にのみ動作を実行できる場合もあれば、任意の１本の指が検知された場合に動作を実行できる場合もある。指が検知されれば、動作はブロック８８４へ進むことができ、ここでポインティングモードが実行される。その後、ブロック８８６において、指が動いたかどうかに関して判定を行うことができる。指が動いていれば、ブロック８８８において、後続する修正用イベントを無視することができる。例えば、追加の検知された指を無視し、第１の指の動きのみに関連性を持たせることができる。その後、ブロック８９０において、動いている指に従ってポインティング動作を実行することができる。第１の指がもはや検知されなければ、ポインティング動作を終了することができる。第１の指が静止している場合、動作はブロック８９２へ進むことができ、ここで修正用イベントが探索される。修正用イベントは、例えば、指の追加、又は新しい指によって行われるジェスチャなどであってもよい。その後、ブロック８９４において、特定の修正用イベントが検知されたかどうかに関して判定を行うことができる。検知されなければ、動作はブロック８８６へ戻ることができる。検知されれば、動作はブロック８９６へ進むことができ、ここでシステムはポインティングモードからドラッギングモードに切り換えられる。第１の指が動いていれば、動作はブロック８９８へ進むことができ、ここで第１の指の動きに従ってドラッギング動作が実行される。第１の指がもはや検知されなければ、ドラッギング動作を終了することができる。

図５４は、本発明の１つの実施形態による例示的な電子システム９５０を示す図である。この電子システムは、前述の実施形態のうちのいずれによっても構成することができる。電子システム９５０は、デスクトップ、ラップトップ、タブレット、又はハンドヘルドコンピュータを含むパーソナルコンピュータシステムなどのコンピュータシステムに対応することができる。この電子システムは、携帯電話、ＰＤＡ、専用メディアプレーヤーなどを含むハンドヘルド型装置などのその他の家電装置に対応することができる。当然、この電子システムを他の電子装置に適用することもできる。

図５４に示す例示的なシステム９５０は、命令を実行しシステム９５０に関連づけられた動作を実行するように構成されたプロセッサ９５６を含むことができる。例えば、プロセッサ９５６は、メモリから取り出した命令を使用して、コンピューティングシステム９５０のコンポーネント間で入出力データの受信及び操作を制御することができる。プロセッサ９５６は、単一のチップ、複数のチップ、又は複数の電装品に実装することができる。例えば、専用又は内蔵プロセッサ、単一用途プロセッサ、コントローラ、ＡＳＩＣなどを含む様々な構造をプロセッサ９５６に使用することができる。

多くの場合、プロセッサ９５６並びにオペレーティングシステムは、コンピュータコードを実行しデータを作成及び使用するように動作することができる。オペレーティングシステムは一般的に公知であり、さらに詳細には説明しない。例として、オペレーティングシステムは、ＯＳ／２、ＤＯＳ、Ｕｎｉｘ、Ｌｉｎｕｘ、Ｐａｌｍ ＯＳなどに対応することができる。オペレーティングシステムは、目的が限定された家電タイプのコンピュータ装置に使用できるような特殊用途のオペレーティングシステムであってもよい。オペレーティングシステム、その他のコンピュータコード及びデータは、プロセッサ９５６に動作可能に結合されたメモリブロック９５８内に存在することができる。メモリブロック９５８は、システム９５０が使用するコンピュータコード及びデータを記憶する場所を提供することができる。例として、メモリブロック９５８は、読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ハードディスクドライブ及び／又は同様のものを含むことができる。情報もまた、取り外し可能記憶媒体に存在することができ、必要時にシステム９５０上へロード又はインストールすることができる。取り外し可能記憶媒体には、例えば、ＣＤ−ＲＯＭ、ＰＣ−ＣＡＲＤ、メモリカード、フロッピーディスク、磁気テープ、及びネットワークコンポーネントが含まれる。

システム９５０は、プロセッサ９５６に動作可能に結合されたディスプレイ装置９６８を含むことができる。ディスプレイ装置９６８は、（アクティブマトリックス、パッシブマトリックスなどの）液晶ディスプレイ（ＬＣＤ）であってもよい。或いは、ディスプレイ装置９６８は、モノクロディスプレイ、カラーグラフィクスアダプタ（ＣＧＡ）ディスプレイ、拡張グラフィクスアダプタ（ＥＧＡ）ディスプレイ、可変グラフィクスアレイ（ＶＧＡ）ディスプレイ、スーパーＶＧＡディスプレイ、陰極線管（ＣＲＴ）などのモニタであってもよい。このディスプレイ装置はまた、プラズマディスプレイ又は電子インクにより実現されるディスプレイにも対応することができる。

ディスプレイ装置９６８は、システムのユーザと、オペレーティングシステム又はそこで実行されるアプリケーションとの間のインターフェースを使い易くするグラフィカルユーザインターフェース（ＧＵＩ）９６９を表示するように構成することができる。一般的に、ＧＵＩ９６９は、プログラム、ファイル、及び動作オプションをグラフィカルイメージで表示する。グラフィカルイメージは、ウィンドウ、フィールド、ダイアログボックス、メニュー、アイコン、ボタン、カーソル、スクロールバーなどを含むことができる。このようなイメージを事前に定めたレイアウトで配列したり、或いはユーザが行う特定の動作に対応できるように動的に作成することができる。動作中、ユーザは、機能及びその機能に関連づけられたタスクを開始するために様々なグラフィカルイメージを選択し起動させることができる。例として、ユーザは、ウィンドウを開く、閉じる、最小にする、又は最大にするボタン、或いは特定のプログラムを起動させるアイコンを選択することができる。ＧＵＩ９６９は、ユーザのためにディスプレイ装置９６８上に非対話型テキスト及びグラフィクスなどの情報を追加として或いは代替として表示することができる。

システム９５０は、プロセッサ９５６に動作可能に結合された１又はそれ以上の入力装置９７０を含むことができる。外から得たデータをシステム９５０に転送するように入力装置９７０を構成することができる。入力装置９７０をシステム９５０と統合してもよいし、或いはこれらを（周辺装置のような）別々のコンポーネントとしてもよい。ある場合には、（ケーブル／ポートなどの）有線接続を介して入力装置９７０をシステム９５０に接続することができる。別の場合には、無線接続を介して入力装置９７０をシステム５０に接続することができる。例として、このデータリンクは、ＰＳ／２、ＵＳＢ、ＩＲ、ＲＦ、ブルートゥースなどに対応する。

例えば、入力装置９７０を使用して、トラッキングを行ったり、またディスプレイ９６８上のＧＵＩ９６９に関して選択を行ったりすることがことができる。入力装置９７０を使用してシステム９５０で命令を出すこともできる。

１つの実施形態では、入力装置９７０は、ユーザのタッチから入力を受信し、この情報をプロセッサ５６へ送信するように構成されたタッチ感知装置を含むことができる。例として、このタッチ感知装置は、タッチパッド、タッチスクリーン及び／又はタッチセンシティブハウジングに対応する。

多くの場合、タッチ感知装置は、タッチ（又はタッチに近い状態）、並びにタッチセンシティブ面上のタッチの位置及び大きさを認識することができる。このタッチ感知手段は、プロセッサ９５６にタッチをレポートすることができ、プロセッサ９５６は、そのプログラミングに従ってタッチを解釈することができる。例えば、プロセッサ９５６は、特定のタッチに従ってタスクを開始することができる。専用プロセッサを使用して、局所的にタッチを処理しコンピュータシステムのメインプロセッサに対する要求を低減させることができる。このタッチ感知装置は、以下に限定されるわけではないが、容量性感知、抵抗性感知、表面弾性波感知、圧迫感知、光感知、及び／又は同様のものを含む感知技術に基づくことができる。

さらに、タッチ感知手段は、シングルポイント感知又はマルチポイント感知に基づくことができる。シングルポイント感知は、単一のタッチのみを識別することができ、マルチポイント感知は、同時に発生する複数のタッチを識別することができる。或いは、又は加えて、近接感知装置を使用することもできる。近接感知装置は、タッチ面上ではなく空間でオブジェクトを感知することができる。

１つの実施形態では、入力装置９７０は、マルチポイント入力装置を含むことができる。マルチポイント入力装置は、１よりも多い数のオブジェクト（指）を同時に識別できるという点で従来のシングルポイント装置を越えた利点を有する。例として、本明細書で使用するマルチポイント装置は、米国特許出願第１０／８４０，８６２号及び１１／０１５，４３４号に示され、さらに詳しく説明されており、これら両方の特許は引用により本明細書に組み入れられる。

本発明の１つの実施形態によれば、システム９５０は、入力装置９７０（特にタッチ装置）のうちの１又はそれ以上に対して行われるジェスチャ９８５を認識し、このジェスチャ９８５に基づいてシステム９５０の態様を制御するように設計することができる。前述したように、ジェスチャは、１又はそれ以上の特定のコンピュータ動作に対応づけられた入力装置との定形化された対話とである定義することができる。様々な手、及びより具体的には指の動きによりジェスチャ９８５を作成することができる。或いは、又は加えて、スタイラスによりジュエスチャーを作成することもできる。これらの場合の全てにおいて、タッチ装置などの入力装置９７０のうちの少なくとも１つは、ジェスチャ９８５を受け取ることができ、プロセッサ９５６は、ジェスチャ９８５に関連づけられた動作を行うための命令を実行することができる。さらに、メモリブロック９５８は、ジェスチャ動作プログラム９８８を含むことができ、このプログラムをオペレーティングシステムの一部又は別のアプリケーションとすることができる。ジェスチャ動作プログラム９８８は、ジェスチャ９８５の発生を認識し、ジェスチャ９８５及び／又はジェスチャ９８５に応答して取られる（単複の）動作を１又はそれ以上のソフトウェアエージェントに報告する命令セットを含むことができる。

ユーザが１又はそれ以上のジェスチャを行う場合、入力装置９７０は、ジェスチャ情報をプロセッサ９５６に中継することができる。プロセッサ９５６は、メモリ９５８、より具体的にはジェスチャ動作プログラム９８８からの命令を使用してジェスチャ９８５を解釈できると共に、ジェスチャ９８５に基づいて、メモリ９５８、ディスプレイ９６８などのシステム９５０の様々なコンポーネントを制御することができる。ジェスチャ９８５は、メモリ９５８に記憶されたアプリケーションの動作を実行し、ディスプレイ９６８に表示されたＧＵＩオブジェクトを修正し、メモリ９５８に記憶されたデータを修正し、及び／又はＩ／Ｏ装置で動作を実行するための命令であると識別することができる。例として、この命令を、ズーミング、パニング、スクローリング、ページング、回転、サイジングなどに関連づけることができる。更なる実施例として、この命令を、特定のプログラムの起動、ファイル又は文書のオープン、メニューの閲覧、選択の実行、命令の実行、コンピュータシステムへのログオン、許可された個人によるコンピュータシステムの制限エリアへのアクセスの認可、コンピュータデスクトップのユーザ好みの構成に関連づけられたユーザプロファイルのロード、及び／又は同様のことに関連づけることができる。

１つの実施形態では、入力装置に接触している指の本数により入力モードを示すことができる。例えば、１本の指による１回の接触により、トラッキング、すなわちポインタ又はカーソルの動き、又は選択を行うための要求を示すことができ、一方、例えば指のグループによる複数の接触により、その他のジェスチャを行うための要求を示すことができる。ジェスチャリングを実施するための指の本数は、大幅に変更することができる。例として、２本の指により、第１の入力モードを示すことができ、３本の指により、第３の入力モードを示すことができる。或いは、任意の本数の指、すなわち１本より多い本数の指を使用して、１又はそれ以上のジェスチャ制御を含むことができる同じ入力モードを示すことができる。同様に指の向きを使用して、所望のモードを示すことができる。指のプロファイルを検知して、例えば、ユーザが親指を使用したか、或いは人差し指を使用したかに基づいて異なるモードの動作を可能にすることができる。

１つの特定の実施形態では、１本の指でトラッキング（又は選択）を起動することができ、互いに近接する２本又はそれ以上の指でスクローリング又はパニングを起動することができる。２本の指により、１本の指と２本の指との間で容易にトグリングを行うことができる、すなわちユーザは、単に追加の指を持ち上げるか、或いは置くことにより、非常に容易にモード間の切り換えを行うことができる。このことは、他の形式のモードトグリングよりもより直感的であるという利点を有する。トラッキング中、ユーザがタッチ感知装置のタッチセンシティブ面上で１本の指を動かすことによりカーソルの動きを制御することができる。タッチ感知装置のセンサー構成により、指の動きを解釈し、ディスプレイ上で対応するカーソルの動きを作成するための信号を生成することができる。スクローリング中、ユーザがタッチ感知装置のタッチセンシティブ面上で２本の指を動かすことによりスクリーンの動きを制御することができる。組み合わせた指が垂直方向に動いた場合、この動きは垂直スクロールイベントとして解釈され、組み合わせた指が水平方向に動いた場合、この動きは水平スクロールイベントとして解釈される。パニングについても同じことが言えるが、パニングは、水平及び垂直方向以外の全ての方向に行うことができる。

本明細書で説明した実施形態は、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組み合わせにより実施することができる。コンピュータ可読媒体のコンピュータ可読コードとしてソフトウェアを内蔵することもできる。コンピュータ可読媒体とは、コンピュータシステムが後で読み取ることのできるデータを記憶できる任意のデータ記憶装置のことである。コンピュータ可読媒体の実施例には、読出し専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、光データ記憶装置、及び搬送波が含まれる。ネットワークにつながったコンピュータシステムを介してコンピュータ可読媒体を分散させることにより、コンピュータ可読コードを分散方式で記憶及び実行させることもできる。

いくつかの実施形態を用いて本発明について説明してきたが、変更、置換、及び同等物が存在し、それらも本発明の範囲内に入る。例えば、本発明は主にタッチ装置を対象としているが、近接感知装置を用いて本発明を実施できることにも留意されたい。さらに、本方法を実行して、複数の装置に渡って自動的にジェスチャの好みを同期させることができる。例えば、パーム装置がホストコンピュータに接続されている場合である。本発明の方法及び装置を実現するための多くの代替方法が存在する点にも留意されたい。例えば、本発明は主にマルチポイント感知装置に関連づけられた方法を対象としてきたが、本方法のいくつかは、シングルポイント感知装置を対象とすることができる点にも留意されたい。従って、以下に添付する特許請求の範囲は、本発明の真の思想及び範囲内に入る全てのこのような変更、置換、及び同等物を含むものとして解釈されることが意図されている。

本発明の１つの実施形態によるジェスチャ制御動作を示す図である。 本発明の１つの実施形態による制御動作を示す図である。 本発明の１つの実施形態による制御動作を示す図である。 本発明の１つの実施形態による制御動作を示す図である。 本発明の１つの実施形態による制御動作を示す図である。 本発明の１つの実施形態による制御動作を示す図である。 本発明の１つの実施形態によるジェスチャ動作を示す図である。 本発明の１つの実施形態によるジェスチャ動作を示す図である。 本発明の１つの実施形態によるジェスチャ動作を示す図である。 本発明の１つの実施形態によるジェスチャ動作を示す図である。 本発明の１つの実施形態によるジェスチャ動作を示す図である。 本発明の１つの実施形態によるジェスチャ動作を示す図である。 本発明の１つの実施形態によるジェスチャ動作を示す図である。 本発明の１つの実施形態によるジェスチャ動作を示す図である。 本発明の１つの実施形態によるジェスチャ動作を示す図である。 本発明の１つの実施形態によるジェスチャ動作を示す図である。 本発明の１つの実施形態によるジェスチャ動作を示す図である。 本発明の１つの実施形態によるジェスチャ動作を示す図である。 本発明の１つの実施形態によるジェスチャ動作を示す図である。 本発明の１つの実施形態による制御動作を示す図である。 本発明の１つの実施形態による制御動作を示す図である。 本発明の１つの実施形態による制御動作を示す図である。 本発明の１つの実施形態による制御動作を示す図である。 本発明の１つの実施形態による制御動作を示す図である。 本発明の１つの実施形態による制御動作を示す図である。 本発明の１つの実施形態による制御動作を示す図である。 本発明の１つの実施形態による制御動作を示す図である。 本発明の１つの実施形態による制御動作を示す図である。 本発明の１つの実施形態による制御パネルを示す図である。 本発明の１つの実施形態による制御パネルを示す図である。 本発明の１つの実施形態による制御パネルを示す図である。 本発明の１つの実施形態による制御パネルを示す図である。 本発明の１つの実施形態による制御パネルを示す図である。 本発明の１つの実施形態による制御パネルを示す図である。 本発明の１つの実施形態による制御パネルを示す図である。 本発明の１つの実施形態による制御動作を示す図である。 本発明の１つの実施形態によるジェスチャマッピングの方法を示す図である。 本発明の１つの実施形態によるジェスチャマッピング方法を示す図である。 本発明の１つの実施形態によるジェスチャフィードバックの方法を示す図である。 本発明の１つの実施形態によるジェスチャビューイングウィンドウを示す図である。 本発明の１つの実施形態によるタッチスクリーンを介して実行されるキーボード方法を示す図である。 本発明の１つの実施形態によるジェスチャ設計プロセスの実施例を示す図である。 本発明の１つの実施形態によるコードを格付けするための行列を示す図である。 本発明の１つの実施形態によるいくつかの動作に対して動作の頻度をランク付けするための行列を示す図である。 本発明の１つの実施形態による制御動作を示す図である。 本発明の１つの実施形態による制御動作を示す図である。 本発明の１つの実施形態による制御動作を示す図である。 本発明の１つの実施形態によるジェスチャマップを示す図である。 本発明の１つの実施形態によるジェスチャマップを示す図である。 本発明の１つの実施形態によるジェスチャマップを示す図である。 本発明の１つの実施形態によるジェスチャセットを示す図である。 本発明の１つの実施形態によるジェスチャセットを示す図である。 本発明の１つの実施形態によるジェスチャセットを示す図である。 本発明の１つの実施形態によるジェスチャセットを示す図である。 本発明の１つの実施形態によるジェスチャ動作を示す図である。 本発明の１つの実施形態によるジェスチャ動作を示す図である。 本発明の１つの実施形態によるジェスチャ動作を示す図である。 本発明の１つの実施形態によるジェスチャ動作を示す図である。 本発明の１つの実施形態によるジェスチャ動作を示す図である。 本発明の１つの実施形態による電子システムを示すブロック図である。

符号の説明

１０ ジェスチャ制御動作
１２ マルチポイント感知装置を提供
１４ タッチがあったか？
１６ タッチに関連付けられたコードを決定
１８ １又はそれ以上の動作を１又はそれ以上のジェスチャイベントに関連付けるジェスチャセットを決定
２０ ジェスチャイベントに関するタッチをモニタ
２２ ジェスチャイベントか？
２４ ジェスチャイベントに関連付けられた動作を実行
２６ スイッチイベントか？

Claims (73)

1. １又はそれ以上のオブジェクトから入力を受け取るためのマルチポイント感知エリアを備えたマルチポイント感知装置と、
   前記マルチポイント感知装置の前記マルチポイント感知エリアによって受け取られた所定の入力構成に対するジェスチャセットを決定し、前記ジェスチャセットに含まれる１又はそれ以上のジェスチャイベントに関して前記所定の入力構成をモニタし、前記ジェスチャイベントが前記入力構成で行われた場合、ジェスチャイベントに関連づけられた入力動作を開始するように構成されたジェスチャモジュールと、
   を備えることを特徴とする電子システム。
2. 前記マルチポイント感知装置はタッチ感知装置である、
   ことを特徴とする請求項１に記載の電子システム。
3. 前記マルチポイント感知装置は近接感知装置である、
   ことを特徴とする請求項１に記載の電子システム。
4. 前記ジェスチャモジュールは、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組み合わせにより実装される、
   ことを特徴とする請求項１に記載の電子システム。
5. 前記電子システムは、デスクトップ、ラップトップ、タブレット、又はハンドヘルドコンピュータを含むコンピュータシステムに関連づけられる、
   ことを特徴とする請求項１に記載の電子システム。
6. 前記電子システムは、携帯電話、ＰＤＡ、又は専用メディアプレーヤーを含むハンドヘルド家電装置に関連づけられる、
   ことを特徴とする請求項１に記載の電子システム。
7. 前記ジェスチャセットはまた、前記感知エリア内の前記入力構成の位置、開いたアプリケーション、前記開いたアプリケーションの状態、入力機能、又は追加の入力特性を含む１又はそれ以上の要素によっても決定される、
   ことを特徴とする請求項１に記載の電子システム。
8. 前記入力動作は状態命令である、
   ことを特徴とする請求項１に記載の電子システム。
9. 前記入力動作は操作命令である、
   ことを特徴とする請求項１に記載の電子システム。
10. 前記ジェスチャイベントは前記入力構成により行われる、
    ことを特徴とする請求項１に記載の電子システム。
11. 前記ジェスチャイベントは前記入力構成のサブセットにより行われる、
    ことを特徴とする請求項１に記載の電子システム。
12. 前記ジェスチャセットを決定するステップは、特定の入力構成を認識するステップを含み、前記所定の入力構成をモニタするステップは、前記ジェスチャセットに関連づけられたジェスチャイベントを認識するステップを含む、
    ことを特徴とする請求項１に記載の電子システム。
13. 前記ジェスチャイベントを認識するステップは、前記入力構成の個々の入力の特性を分析するステップと、前記入力構成に関連づけられた特定のパターンを識別するステップと、前記ジェスチャセットを参照して、前記特定のパターンが前記ジェスチャセットに関連づけられたジェスチャイベントに一致するかどうかを確認するステップを含む、
    ことを特徴とする請求項１２に記載の電子システム。
14. ジェスチャイベントは、動き、タップ、圧迫、及び静止から選択することができるタッチに関連づけられる、
    ことを特徴とする請求項１に記載の電子システム。
15. 動きは、スライディング、スワイピング、フリッキング、及び回転から選択される、
    ことを特徴とする請求項１４に記載の電子システム。
16. 動きは、２又はそれ以上の入力間の縮小又は拡大である、
    ことを特徴とする請求項１４に記載の電子システム。
17. タップは、１／２タップ、完全なタップ、複数回のタップ、素早いタップ、及びゆっくりしたタップから選択される、
    ことを特徴とする請求項１４に記載の電子システム。
18. 圧迫は、強い押圧及び軽い押圧に関連づけられることを特徴とする請求項１４に記載の電子システム。
19. 静止は、長い又は短い静止した一時停止に関連づけられる、
    ことを特徴とする請求項１４に記載の電子システム。
20. 前記ジェスチャセットは、異なるジュスチャーイベントと異なる命令とによる行列から構成される、
    ことを特徴とする請求項１４に記載の電子システム。
21. 前記ジェスチャセットは、９個の異なるジェスチャイベントと９個の異なる命令とによる３ｘ３の行列から構成される、
    ことを特徴とする請求項２０に記載の電子システム。
22. 前記９個の異なるジェスチャイベントは、ＣＣＷ回転、ＣＷ回転、拡大、縮小、左スワイプ、右スワイプ、上スワイプ、下スワイプ、及びタップを含む、
    ことを特徴とする請求項２０に記載の電子システム。
23. 感知エリア内の複数ポイントを同時に検知するステップと、
    １又はそれ以上のポイントが前記感知エリア内で検知された場合、前記感知エリア内の特定のポイントの構成であるコードを決定するステップと、
    命令を１又はそれ以上のジェスチャイベントに関連づけるジェスチャセットを決定するステップと、
    ジェスチャイベントに関するポイントをモニタするステップと、
    ジェスチャイベントが認識された場合、ジェスチャイベントに関連づけられた命令を実行するステップと、
    を含むことを特徴とするジェスチャ制御方法。
24. 前記ポイントは、タッチセンシティブ面上で行われるタッチに関連づけられる、
    ことを特徴とする請求項２３に記載の方法。
25. 前記ポイントは、表面上方に生じるタッチに近い状態に関連づけられる、
    ことを特徴とする請求項２３に記載の方法。
26. 前記コードは機械的な特徴で作成される、
    ことを特徴とする請求項２３に記載の方法。
27. 前記コードは、１又はそれ以上の手の全て又は部分により作成される、
    ことを特徴とする請求項２３に記載の方法。
28. 前記コードは多数の未知のポイントに基づく、
    ことを特徴とする請求項２３に記載の方法。
29. 前記コードは特定の既知のポイントの構成に基づく、
    ことを特徴とする請求項２３に記載の方法。
30. 前記コードは、前記ポイントが、接近しているか、中間位置にあるか、或いはバラバラに広がっているかに基づく、
    ことを特徴とする請求項２３に記載の方法。
31. 前記コードは、前記接触が互いに近接しているか、或いは補い合っているかに基づく、
    ことを特徴とする請求項２３に記載の方法。
32. 前記コードは、左手によるものであるか、又は右手によるものであるかに基づく、
    ことを特徴とする請求項２３に記載の方法。
33. 前記コードを決定するステップは、前記感知エリアにタッチしているオブジェクト、又はタッチに近い状態にあるオブジェクトにより作成されたイメージを分析するステップと、前記イメージから特定のポイントの構成を認識するステップとを含む、
    ことを特徴とする請求項２３に記載の方法。
34. 前記ジェスチャセットは前記コードに基づく、
    ことを特徴とする請求項２３に記載の方法。
35. 前記ジェスチャセットはまた、前記コードの位置、開いたアプリケーション、前記アプリケーションの状態又はモード、及び／又は前記ポイントの特徴を含む追加の要素にも基づく、
    ことを特徴とする請求項３４に記載の方法。
36. 前記ジェスチャセットは入力機能に関連づけられる、
    ことを特徴とする請求項２３に記載の方法。
37. 前記入力機能は、ナビゲーティング動作、ファイル動作、編集動作、ビューイング動作、フォーマッティング動作、ツール動作、又はウェブブラウジング動作から選択される、
    ことを特徴とする請求項３６に記載の方法。
38. 前記命令は状態命令と操作命令とから選択される、
    ことを特徴とする請求項３７に記載の方法。
39. ジェスチャイベントを認識するステップは、前記ポイントの特性を分析するステップと、特定のパターンを識別するステップと、前記ジェスチャセット及びそのジェスチャイベントのリストを参照するステップとを含み、パターンが前記ジュスチャーセットのジェスチャイベントに一致した場合、前記パターンは前記ジェスチャイベントであると推測する、
    ことを特徴とする請求項２３に記載の方法。
40. 前記ポイントの特性は、動き、タッピング、圧迫、又は静止を含む第一次検討事項と、速度、方向、向き、サイズ、継続時間、形状、又は長さを含む第二次検討事項とを含む、
    ことを特徴とする請求項３９に記載の方法。
41. ジェスチャイベントは、動き、タップ、圧迫、及び静止に関連づけられる、
    ことを特徴とする請求項２３に記載の方法。
42. 動きは、スライディング、スワイピング、フリッキング、及び回転から選択される、
    ことを特徴とする請求項４１に記載の方法。
43. 動きは、２又はそれ以上の入力間の縮小又は拡大である、
    ことを特徴とする請求項４１に記載の方法。
44. タップは、１／２タップ、完全なタップ、複数回のタップ、素早いタップ、及びゆっくりしたタップから選択される、
    ことを特徴とする請求項４１に記載の方法。
45. 圧迫は、強い押圧及び軽い押圧に関連づけられる、
    ことを特徴とする請求項４１に記載の方法。
46. 静止は、長い又は短い静止した一時停止に関連づけられる、
    ことを特徴とする請求項４１に記載の方法。
47. 前記ジェスチャセットは、異なるジェスチャイベントと異なる命令とによる行列から構成される、
    ことを特徴とする請求項２３に記載の方法。
48. 前記ジェスチャセットは、９個の異なるジェスチャイベントと９個の異なる命令とによる３ｘ３の行列から構成される、
    ことを特徴とする請求項４７に記載の方法。
49. 前記９個の異なるジェスチャイベントは、ＣＣＷ回転、ＣＷ回転、拡大、縮小、左スワイプ、右スワイプ、上スワイプ、下スワイプ、及びタップを含む、
    ことを特徴とする請求項４８に記載の方法。
50. 前記動作をリセットするか、或いはコード変更を開始するイベントを意味するスイッチングイベントが行われたかどうかを判定するステップをさらに含む、
    ことを特徴とする請求項２３に記載の方法。
51. 前記スイッチングイベントは、ａ）事前に設定した長さの時間、感知エリアから全てのポイントを取り除く動作、ｂ）前記コードを変更する動作、ｃ）感知エリアにポイントを追加／感知エリアからポイントを取り去る動作、ｄ）事前に設定した長さの時間、前記ポイントを保持する動作、ｅ）特定のキー入力又はボタンクリックを検知する動作、或いは、ｆ）ジェスチャイベントを検知する動作のうちの１つにより実行される、
    ことを特徴とする請求項２３に記載の方法。
52. タッチ又はタッチに近い状態を検知するステップと、
    タッチが検知された場合、命令を呼び出すか、或いは起動するための１又はそれ以上のジェスチャイベントを含む、前記タッチに関するジェスチャセットを決定するステップと、
    前記ジェスチャセットに関連づけられたジェスチャイベントに関して前記タッチをモニタするステップと、
    前記ジェスチャセットに関連づけられたジェスチャイベントが行われたときに、命令を開始するステップと、
    を含むことを特徴とする制御動作。
53. 前記ジェスチャセットは、タッチ特性、タッチ位置、開いたアプリケーション、及び／又はアプリケーションのモードに依存する、
    ことを特徴とする請求項５２に記載の動作。
54. 前記タッチ又はタッチに近い状態は、タッチパッド、タッチスクリーン、又はタッチセンシティブハウジングなどのタッチ装置を介して検知される、
    ことを特徴とする請求項５３に記載の動作。
55. タッチの動きをモニタするステップと、
    第１の状態と第２の状態との間で前記タッチの動きを区別するステップと、
    前記タッチの動きが前記第１の状態に関連づけられた場合、第１の動作を実行するステップと、
    前記タッチの動きが前記第２の状態に関連づけられた場合、第２の動作を実行するステップと、
    を含むことを特徴とするジェスチャ動作。
56. 前記タッチの動きは、スライディングする動きであり、前記第１の状態はフリックであり、前記第２の状態はスワイプである、
    ことを特徴とする請求項５５に記載のジェスチャ動作。
57. 第１の入力装置と第２の入力装置とを提供し、前記第１の入力装置はタッチセンシティブ面を含むステップと、
    入力イベントに関して前記第１の入力装置をモニタするステップと、
    入力イベントに関して同時に前記第２の入力装置をモニタするステップと、
    前記第１の入力装置に関連づけられた入力イベントに従って入力動作を行うステップと、
    前記第２の入力装置に関連づけられた入力イベントに従って同時に入力動作を行うステップと、
    を含む入出力設定制御動作。
58. 前記第１の入力装置はマウスである、
    ことを特徴とする請求項５７に記載の制御動作。
59. 命令と、該命令にリンクされたジェスチャイベントとを有する入力機能のリストを提供するステップを含み、
    前記命令は前記入力機能に関連づけられ、
    入力機能をコードに割り当てるステップと、
    前記コードが認識された場合、前記入力機能をコードにリンクさせるステップと、
    をさらに含むことを特徴とする制御動作。
60. 前記入力機能は、ナビゲーティング動作、ファイル動作、編集動作、ビューイング動作、フォーマッティング動作、ツール動作、又はウェブブラウジング動作から選択される、
    ことを特徴とする請求項５９に記載の制御動作。
61. 前記ジェスチャイベントは前記コードによって行われる動作である、
    ことを特徴とする請求項５９に記載の制御動作。
62. 前記ジェスチャイベントは、回転、グループとしての変換、互いに関連する変換、及び／又はタップから選択される、
    ことを特徴とする請求項５９に記載の制御動作。
63. 前記ジェスチャイベントは直感的な方法で命令にリンクされる、
    ことを特徴とする請求項５９に記載の制御動作。
64. 補足命令は無料サービスジェスチャイベントにリンクされている、
    ことを特徴とする請求項５９に記載の制御動作。
65. コードは指の構成である、
    ことを特徴とする請求項５９に記載の制御動作。
66. 入力機能をコードに割り当てるステップは、入力機能のメニューから入力機能を選択するステップと、次にコードのメニューリストからコードを選択するステップと、
    を含むことを特徴とする請求項５９に記載の制御動作。
67. 入力機能のメニューを表示するステップと、
    選択された入力機能に関連づけられた命令と、前記命令に割り当てられたジェスチャイベントとを示すジェスチャセットを表示するステップと、
    コードのリストを表示するステップと、
    を含み、
    ジェスチャマップを設定するために、ユーザが、入力機能のリストから所望の入力機能を選択し、前記コードのリストから所望のコードを選択する、
    ことを特徴とする制御パネル。
68. 実行するのが最も簡単なコードから最も難しいコードまでコードをランク付けするステップと、
    最も頻度が高い動作からより頻度が低い動作まで動作の頻度をランク付けするステップと、
    最も簡単なコードを最も頻度が高い動作にほぼ一致させるステップと、最も難しいコードをより頻度が低い動作にほぼ一致させるステップと、
    前記コードグループ化／動作グループ化を微調整するステップと、
    を含むことを特徴とするジェスチャ設計プロセス。
69. コードは、感知エリアの速度、信頼性、使い勝手、使い易さ、簡単さ、又は大きさから選択される１又はそれ以上の属性に基づいてランク付けされる、
    ことを特徴とする請求項６８に記載のプロセス。
70. 微調整ステップは、補足命令、直感、クロストーク、又は構成を含む１又はそれ以上の要素に基づく、
    ことを特徴とする請求項６８に記載のプロセス。
71. 第１の指を検知するステップと、
    前記指の状態を判定するステップと、
    １本又はそれ以上の追加の指を検知するステップと、
    前記追加の指の状態を判定するステップと、
    前記第１の及び追加の指の互いに関連する状態のタイミングに基づいて異なる入力モードを実行するステップと、
    を含むことを特徴とするジェスチャ動作。
72. 前記追加の指が２つの状態のうちの第１の状態にあるときに前記第１の指が２つの状態のうちの第１の状態にある場合、第１の入力モードが実行され、それ以外の場合、第２の入力モードが実行される、
    ことを特徴とする請求項７１に記載のジェスチャ動作。
73. 前記第１の指の状態は、動いている状態又は静止している状態を含み、前記追加の指の状態は、存在する状態又は存在しない状態を含み、前記第１の指が動いている場合、ポインティング入力モードが実行され、前記追加の指が存在するときに前記第１の指が静止している場合、ドラッギングモードが実行される、
    ことを特徴とする請求項７１に記載のジェスチャ動作。

Images