JP2012502393A - 相対的ジェスチャー認識モードを有する携帯用電子デバイス - Google Patents

相対的ジェスチャー認識モードを有する携帯用電子デバイス Download PDF

Info

Publication number
JP2012502393A
JP2012502393A JP2011526938A JP2011526938A JP2012502393A JP 2012502393 A JP2012502393 A JP 2012502393A JP 2011526938 A JP2011526938 A JP 2011526938A JP 2011526938 A JP2011526938 A JP 2011526938A JP 2012502393 A JP2012502393 A JP 2012502393A
Authority
JP
Japan
Prior art keywords
gesture
control unit
electronic device
relative
portable electronic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011526938A
Other languages
English (en)
Other versions
JP2012502393A5 (ja
Inventor
アンドリューズ，アントン
アバナミ，タマー
フォン，ジェフリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2012502393A publication Critical patent/JP2012502393A/ja
Publication of JP2012502393A5 publication Critical patent/JP2012502393A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44568—Immediately runnable code
    • G06F9/44584—Portable applications, i.e. making applications self-contained, e.g. U3 standard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

タッチ・スクリーン・センサーを有する携帯用電子デバイスにおいて実行可能なコンピューター・プログラムを提供する。このコンピューター・プログラムは、ユーザー入力に応答して、直接入力モードと相対的ジェスチャー認識モードとの間で切り換えるためにモード切換ユーザー入力を受けるように構成された入力モード切換モジュールを含むことができる。更に、このコンピューター・プログラムは、ジェスチャー・ベース制御モジュールも含むことができる。このジェスチャー・ベース制御モジュールは、相対的ジェスチャー認識モードでは、ユーザーの指と、グラフィカル・ユーザー・インターフェース・エレメントが選択不可能である所定領域におけるタッチ・スクリーン・センサーの表面との間において、タッチ・スクリーン・センサー上で接触点を認識し、接触点から始まるユーザータッチ入力に基づいて検出されたジェスチャーを識別し、検出されたジェスチャーに基づいて携帯用電子デバイスの動作を調節するために、メッセージをアプリケーション・プログラムに送るように構成されている。
【選択図】図１

Description

従来技術
[0001] タッチ・スクリーンが装備されている携帯用電子デバイスは、タッチ・スクリーン・センサーによって検知されるタッチ入力を通じて、画面上に表示されているグラフィカル・ユーザー・インターフェース・エレメントと直接対話処理することを可能にする。ユーザーは、視覚的に画面を検査し、グラフィカル・ユーザー・インターフェース・エレメントが表示されている画面の位置にタッチする。このタッチ入力は、グラフィカル・ユーザー・インターフェース・エレメントの位置において起こると、デバイスによって検知され、携帯用電子デバイスにおいてしかるべき機能を誘起する。
[0002] このようなデバイスに伴う欠点の１つは、ユーザーが画面を視覚的に検査できない、または検査しないことを好むときには、対話処理することが困難になるということである。例えば、ユーザーが運動しているとき、地下鉄に乗っているとき等には、ユーザーは長時間画面を見ることは不便であるまたは望ましくないと思うことがある。この結果、ユーザーによる入力誤りが生じたり、または望ましくないときにユーザーに画面を見させたりすることになり、総じてユーザー体験においていらいらすることもある。
[0003] タッチ・スクリーン・センサーを有する携帯用電子デバイスにおいて実行可能なコンピューター・プログラムを提供する。このコンピューター・プログラムは、ユーザー入力に応答して、直接入力モードと相対的ジェスチャー認識モードとの間で切り換えるためにモード切換ユーザー入力を受けるように構成されている入力モード切換モジュールを含むことができる。直接入力モードでは、携帯用電子デバイスのグラフィカル・ユーザー・インターフェースの１つ以上のグラフィカル・ユーザー・インターフェース・エレメントが、ユーザーのタッチ入力を通じて選択可能となる。相対的ジェスチャー認識モードでは、グラフィカル・ユーザー・インターフェースの少なくとも所定領域のあるグラフィカル・ユーザー・インターフェース・エレメントが、選択不可能とされる。更に、このコンピューター・プログラムは、相対的ジェスチャー認識モードでは、ユーザーの指と、グラフィカル・ユーザー・インターフェース・エレメントが選択不可能である所定領域におけるタッチ・スクリーン・センサーの表面との間における、タッチ・スクリーン・センサー上で接触点を認識し、接触点に近接してジェスチャー制御部を、所定領域内に提示するように構成されている、ジェスチャー・ベースの制御モジュールも含むことができる。ジェスチャー・ベース制御モジュールは、更に、接触点から始まるユーザー接触入力に基づいて検出されたジェスチャーを識別し、検出されたジェスチャーに基づいて携帯用電子デバイスの動作を調節するために、メッセージをアプリケーション・プログラムに送るように構成することもできる。
[0004] この摘要は、詳細な説明において以下で更に説明する概念から選択したものを、簡略化した形態で紹介するために設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を限定するために用いられることを意図するのでもない。更に、特許請求する主題は、本開示の任意の部分に記されている欠点の内任意のものまたは全てを解決する実施態様に限定されるのでもない。
図１は、タッチ・スクリーン・センサーを装備され、直接入力モードと相対的ジェスチャー認識モードとの間で切り換えるコンピューター・プログラムを実行するように構成されている計算機の一実施形態の模式図である。 図２は、図１の携帯用電子デバイスにおいて、メディア再生アプリケーション・プログラムと共に用いるための、相対的ジェスチャー認識モードにおけるトランスポート制御部を示す。 図３は、図１の携帯用電子デバイスにおいて、コンピューター・ゲーム・アプリケーション・プログラムと共に用いるための、相対的ジェスチャー認識モードにおける仮想ゲーム制御部を示す。 図４は、タッチ・スクリーン・センサーを有する携帯用電子デバイスを制御する方法を示す。
[0009] 図１は、計算機を示し、この計算機とは、例えば、携帯用メディア・プレーヤまたはウェブ対応(web-enabled)移動体電話機のような、携帯用電子デバイス１００とすることができる。携帯用電子デバイス１００は、プロセッサー１０４を含む。プロセッサー１０４は、メモリー１０８および大容量ストレージ１０６と通信バス１０２を通じて電子的に通信し、メモリー１０８の一部を用いて１つ以上のアプリケーション・プログラム１１０を実行するように構成されている。更に、携帯用電子デバイスは、タッチ・スクリーン・センサー１６２を有するディスプレイ１６０も含む。ディスプレイ１６０は、１つ以上のグラフィカル・ユーザー・インターフェース・エレメント１６５を有するグラフィカル・ユーザー・インターフェース１６４を表すことができる。
[0010] グラフィカル・ユーザー・インターフェース１６４は、直接入力モードに設定することができ、このモードでは、グラフィカル・ユーザーインターフェースの１つ以上のグラフィカル・ユーザー・インターフェース・エレメント１６５は、選択可能なグラフィカル・ユーザー・インターフェース・エレメント１６６となっており、ディスプレイ１６０上における選択可能なグラフィカル・ユーザー・インターフェース・エレメント１６６の位置においてタッチ・スクリーン・センサー１６２によって検知されるユーザーのタッチ入力によって選択可能である。選択可能なグラフィカル・ユーザー・インターフェース・エレメント１６６の例には、ボタン、スライダ、スクロール・バー、ハイパーリンク、プル・ダウン・メニュー、アイコン等が含まれる。これらの種々の選択可能グラフィカル・ユーザー・インターフェース・エレメント１６６の挙動は、例えば、コンピューター・プログラム１３０によってプログラミングすることができる。コンピューター・プログラム１３０は、アプリケーション・プログラミング・インターフェースとすることができる。つまり、選択可能なグラフィカル・ユーザー・インターフェース・エレメント１６６を選択したユーザータッチ入力に応答して、携帯用電子デバイスは、選択可能なグラフィカル・ユーザー・インターフェース・エレメント１６６と関連のある、プル・ダウン・メニューの選択肢を選択する、ウィンドウをスクロールする等のような、プログラミングされた挙動を呈することができる。
[0011] ユーザーが入力モードを切り換えることを可能にするために、携帯用電子デバイス１００は、アプリケーション・プログラミング・インターフェースのような、コンピューター・プログラム１３０を含むことができる。このコンピューター・プログラム１３０は、モード切換ユーザー入力１５２を受けて、モード切換ユーザー入力１５２に応答して直接入力モードと相対的ジェスチャー認識モードとの間で切り換えるように構成されている入力モード切換モジュール１３５を含む。相対的ジェスチャー認識モードでは、グラフィカル・ユーザー・インターフェース１６４の少なくとも所定領域１７０における１つ以上のグラフィカル・ユーザー・インターフェース・エレメント１６５が、選択不可能なグラフィカル・ユーザー・インターフェース・エレメント１６８とされる。言い換えると、相対的ジェスチャー認識モードにおける特定の選択不可能なグラフィカル・ユーザー・インターフェース・エレメント１６８に隣接する位置において受けられる入力が、携帯用電子デバイス１００に、直接入力モードにおけるそのユーザー・インターフェース・エレメントと関連付けられてプログラミングされた機能を実行させることはない。むしろ、相対的ジェスチャー認識モードにおけるタッチ入力１５６は、基礎となるグラフィカル・ユーザー・インターフェース・エレメント１６５とは関係なく、相対的ジェスチャー入力として処理される。これについては、以下で説明する。
[0012] 相対的ジェスチャー認識モードでは、コンピューター・プログラム１３０の中にあるジェスチャー・ベース制御モジュール１４０は、グラフィカル・ユーザー・インターフェース・エレメント１６８が選択不可能となる所定領域１７０におけるユーザーの指とタッチ・スクリーン・センサー１６２の表面との間において、タッチ・スクリーン・センサー１６２上において接触点１７４を認識し、更に、所定領域１７０において、接触点１７４に隣接してジェスチャー制御部１７２を提示するように構成されている。ジェスチャー・ベース制御モジュール１４０は、更に、接触点１７４から始まるユーザータッチ入力１５６に基づいて、検出されたジェスチャー１５８を識別し、この検出されたジェスチャー１５８に基づいて携帯用電子デバイス１００の動作を調節するために、アプリケーション・プログラム１１０にメッセージを送るように構成されている。
[0013] また、コンピューター・プログラム１３０は、ジェスチャー・ベース制御モジュール１４０が開発者指定制御パラメーター１４９にアクセスすることを可能にするように構成することができる。ジェスチャー制御部１７２は、開発者指定制御パラメーター１４９にしたがって動作するように構成されている。開発者指定制御パラメーター１４９は、開発者指定制御パラメーター・インターフェース１８０からジェスチャー・ベース制御モジュール１４０によって受けることができる。開発者指定制御パラメーター１４９は、例えば、ソフトウェア開発キット（ＳＤＫ）を通じてアプリケーション・プログラム開発者によって指定することができ、ジェスチャー制御部１７２の機構(feature)および機能(functionality)をカスタム化するためのパラメーターを含むことができる。例えば、開発者指定制御パラメーター１４９は、音量パラメーター、再生速度パラメーター、再生方向パラメーター、制御部外周設定パラメーター、および所定領域定めパラメーター(defined region definition parameter)を含むことができる。このように、開発者は、ジェスチャー制御部１７２を音量制御部または再生制御部となるように定めることができ、この制御部の制御部外周または他の幾何学的特性、およびジェスチャー入力を受けるように構成されるディスプレイの所定領域を指定することができる。
[0014] これらの開発者指定制御パラメーターにしたがって、または代わりにコンピューター・プログラム１３０によって指定される他の予め定められたパラメーターにしたがって、相対的ジェスチャー認識モードにおいて、ジェスチャー・ベース制御モジュール１４０は、所定領域１７０内にジェスチャー制御部１７２を提示するように構成され、ジェスチャー制御部１７２はタッチ入力１５６を受けるように構成されている。所定領域１７０内において検出されたジェスチャー１５８を識別することによって、ジェスチャー・ベース制御モジュール１４０は、相対的ジェスチャー認識モードにおいてフロント・エンド・プロセッサーとして機能して、直接入力モードではグラフィカル・ユーザー・インターフェース１６４に向けられるはずの入力を受ける。フロント・エンド・プロセッサーとして動作すると、ジェスチャー・ベース制御モジュール１４０は、携帯用電子デバイス１００のグラフィカル・ユーザー・インターフェース１６４上に表示される種々のエレメントとは独立して、所定領域１７０を位置付けて、この所定領域１７０がグラフィカル・ユーザー・インターフェース１６４の一部または全体にわたって浮遊するように構成することができることは認められよう。
[0015] 相対的ジェスチャー認識モードは、コンピューター・プログラム１３０の入力モード切換モジュール１３５によるモード切換ユーザー入力１５２の受信によって開始させることができる。図１では、モード切換ユーザー入力１５２をタッチ入力であるとして示されている。このタッチ入力は、携帯用電子デバイス１００と関連のあるクラッチ・キー１５４によって受けることができる。クラッチ・キー１５４は、スイッチまたはボタンのような、キーとすることができ、このキーは携帯用電子デバイス１００の筐体上に物理的に配置され、あるいは携帯用電子デバイス１００と通信する１対のヘッドフォンのような、アクセサリ上に配置することもできる。クラッチ・キー１５４は、例えば、ボタンまたは容量性スイッチとすることができる。あるいは、モード切換ユーザー入力１５２は、ユーザーの指とタッチ・スクリーン・センサー１６２との間におけるタッチによって受けることができる。このタッチが、例えば、画面上のボタン、タッピング(tapping)、またはジェスチャーの選択となることができる。
[0016] モード切換ユーザー入力１５２を受け取った後、入力モード切換モジュール１３５は、相対的ジェスチャー認識モードを開始させ、メッセージをジェスチャー・ベース制御モジュール１４０に出力する。具体的には、入力モード切換モジュール１３５は、ジェスチャー・ベース制御モジュール１４０内にある接触点認識部１４２に要求メッセージを送り、相対的ジェスチャー認識モードが開始されたことを示し、グラフィカル・ユーザー・インターフェース・エレメント１６８が選択不可能である所定領域１７０における接触点１７４を接触点認識部１４２が返すことを要求する。
[0017] 要求メッセージを受信すると、接触点認識部１４２は、タッチ・スクリーン・センサー１６２の表面上で、所定領域１７０内において接触点１７４を認識する。接触点１７４は、ユーザーの指（図１ではタッチ入力１５６として表されている）と、所定領域１７０におけるタッチ・スクリーン・センサー１６２の表面との間におけるタッチによって形成される。
[0018] 接触点１７４を認識すると、接触点認識部１４２は、所定領域１７０において認識された接触点１７４に隣接して定められた外周１７６を有するジェスチャー制御部１７２を提示するように構成することができる。接触点認識部１４２は、制御部外周定め部(control parameter definer)１４４から、制御部外周１７６のパラメーターを指定する入力を受けることができる。接触点認識部１４２は、制御部外周定め部１４４から制御部外周定めパラメーターを受けることができる。制御部外周定めパラメーターは、例えば、制御部外周を計算するための式を指定することができる。制御部の外周は、接触点１７４からの距離Ｄに基づくことができる。一例では、制御部外周は、コンピューター・プログラム１３０を通じてアクセス可能な１組の標準的な制御定義(control definitions)からの、予め設定されている制御部外周であってもよい。別の例では、制御部外周定め部１４４は、制御部外周定めパラメーターを含む入力を受けることができる。この制御部外周定めパラメーターは、開発者指定パラメーター・モジュール１４８からの１組の開発者指定制御部外周１４９に含まれており、こうして開発者が制御部外周のサイズおよび形状を指定することを可能にする。
[0019] 尚、ジェスチャー制御部１７２は、関連のあるアイコンを含むことができ、このアイコンは部分的に半透明であってもよいが、他の実施形態では、ジェスチャー制御部１７２は視覚的に知覚可能でなくてもよいことは認められよう。アイコンが存在する場合、アイコンは制御部外周および／または接触点を視覚的に示すことができ、あるいはユーザーに他のアイコン状情報(iconographic information)を提供することができる。この他のアイコン状情報は、例えば、仮想制御スティック制御部(virtual control stick control)の場合には撓みの角度および度数を含み、線形スライダ制御部の場合撓みの度合いを含むことができる。実施形態によっては、本明細書において記載するようにジェスチャーを受け入れることに加えて、タッピング入力に応答することもできる。
[0020] ジェスチャー制御部１７２を提示した後、接触点認識部１４２は、検出されたジェスチャー１５８の識別を要求するメッセージを識別部１４６に送るように構成されている。このメッセージは、図１では接触点１７４から始まるように示されている。識別部１４６は、ジェスチャー・ベース制御モジュール１４０内にあり、接触点認識部１４２からのメッセージや、ライブラリー１９０および開発者指定パラメーター・モジュール１４８からの入力を受ける。
[0021] これらの入力に基づいて、識別部１４６は、タッチ・センサーを通じて受けられたタッチ入力を、接触点１７４から発して検出されたジェスチャー１５８として識別するように構成されている。例えば、図１では、識別部１４６は、ライブラリー１９０から入力を受けるように示されている。ライブラリー１９０は、予め定められたジェスチャー１９２についての定義を含むように示されている。つまり、識別子１４６は、少なくとも部分的に、検出されたジェスチャーの解釈に基づいて、検出されたジェスチャー１５８を識別することができる。この解釈は、グラフィカル・ユーザー・インターフェース・エレメント１６８が選択不可能な所定領域１７０においてタッチ・スクリーン・センサー１６２を通じてジェスチャー制御部１７２が受けた、検出ジェスチャー１５８と、ライブラリー１９０内にある１組の１つ以上の予め定められたジェスチャー１９２の内の１つに対応する定義との比較を含む。
[0022] 尚、検出されたジェスチャー１５８の解釈は、１つ以上の開発者指定制御パラメーター１４９に基づいてもよいことは認められよう。開発者指定制御パラメーター１４９は、開発者指定パラメーター・モジュール１４８に含まれ、開発者指定制御パラメーター・インターフェース１８０から受けられる。このように、アプリケーション・プログラム１１０の開発者が、検出されたジェスチャー１５８の解釈を指定することもできる。例えば、開発者は、所定領域１７０内において検出されたジェスチャー１５８を無視してもよいドメイン（例えば、「デッド・ゾーン」）、開発者指定規則にしたがって検出されたジェスチャー１５８を解釈する判別パラメーター、実際の検出ジェスチャーと偽りの検出ジェスチャーとの間で判別を行うロジック等を示すことができる。このように、開発者は、個々のアプリケーション・プログラム１１０にしたがって識別部１４６の動作を個別に決定することができる。
[0023] 検出されたジェスチャー１５８を解釈した後、識別部１４６は、ジェスチャー・ベース制御モジュールの通信モジュール１５０を通じて、メッセージをアプリケーション・プログラム１１０に送る。このメッセージは、検出されたジェスチャー１５８をアプリケーション・プログラム１１０に伝え、このアプリケーション・プログラムに、検出されたジェスチャー１５８に基づいて携帯用電子デバイス１００の動作を調節させるように機能することができる。
[0024] 例えば、識別部１４６は、接触点１７４から識別された検出ジェスチャー１５８までの相対的距離に基づいて、携帯用電子デバイス１００の動作を調節するように、アプリケーション・プログラム１１０に命令するように構成することができる。これの一例を図２に示す。図２では、ジェスチャー・ベース制御モジュール１４０によって識別された、検出ジェスチャー１５８にしたがって携帯用電子デバイス１００の動作を調節するために、コンピューター・プログラム１３０のジェスチャー・ベース制御モジュール１４０がメッセージをメディア再生アプリケーション・プログラムに送るように構成されている。Ｖ軸は、Ｈ軸に対して直交する垂直方向を表し、Ｈ軸は水平方向を表す。
[0025] 引き続き図２を参照すると、ジェスチャー制御部１７２（図１）が、携帯用電子デバイス１００のタッチ・スクリーン・センサー１６２内にある所定領域１７０におけるトランスポート制御部(transport control)２００として提示されている。クラッチ・キー１５４が図２では携帯用電子デバイス１００のエッジ上に示されており、これを作動させると、相対的ジェスチャー認識モードを開始させることができる。所定領域１７０内における指のタッチを受けると、接触点認識部１４２はトランスポート制御部２００を提示する。トランスポート制御部２００は、所定領域１７０内における接触点１７４に、トランスポート制御部２００のための基準フレーム２１０を素早く動かす(snap)ように構成されている。この例は、トランスポート制御部２００の再生制御モードを表し、検出されたジェスチャー１５８は、基準フレーム２１０に対するユーザーの指の実質的に垂直な方向の検出に基づいて、識別部１４６によって識別され、それに応答して、通信モジュール１５０がメッセージを識別部１４６からアプリケーション・プログラム１１０に送り、メディア再生の音量を調節する。
[0026] 検出されたジェスチャー１５８の実施的に正の垂直方向は、メディア再生の音量を増大させるために、ライブラリー１９０内における予め定められたジェスチャー１９２に対応するものとして解釈することができる。更に、メディア再生の音量強度は、図示の距離Ｂにしたがって判定することができる。距離Ｂは、接触点１７４と検出されたジェスチャー１５８の終点との間の距離を示す。例えば、音量強度は、距離Ｂの絶対量(measure)にしたがって決定することができる。つまり、Ｂが５測定距離単位であると判定された場合、音量強度を、例えば、５音量単位だけ変化させることができる。別の例では、音量強度は、特定の音量レベルに対する距離Ｂによって判定することができる。この特定の音量レベルは、アプリケーション・プログラム１１０について開発者によって指定された１組の開発者指定制御パラメーター１４９（図１）の中で指定することができる。つまり、Ｂが５測定距離単位であると判定された場合、音量強度を、例えば、予め定められた音量レベルの５パーセントだけ変化させることができる。代替例では、距離Ｂが制御部外周定めパラメータ（図示せず）に対応する距離の５パーセントであると判定された場合、対応する５パーセントだけ音量強度を変化させることができる。
[0027] 一時停止制御部を実装するには、例えば、検出されたジェスチャー１５８は、基準フレーム２１０に対するユーザーの指の叩く動き(tapping movement)の検出に基づいて識別することができる。これに応答して、ジェスチャー・ベース制御モジュールは、タッピング入力をアプリケーション・プログラムに送ることができ、アプリケーション・プログラムは、メディア再生の一時停止状態を変化させるように、このタッピング入力を解釈することができる。早送りおよび／または巻き戻し制御部を実装するには、基準フレーム２１０に対するユーザーの指の動きの実質的に水平方向の検出に基づいて、検出されたジェスチャー１５８を識別すればよく、これに応答して、ジェスチャー・ベース制御モジュールは、検出されたジェスチャー１５８をアプリケーション・プログラムに送ることができ、一方アプリケーション・プログラムはメディア再生の時間的位置を調節することができる。尚、メディア再生は、携帯用電子デバイス１００に格納されているオーディオ・メディアまたはビジュアル・メディアであってもよく、あるいはネットワークから携帯用電子デバイス１００が受信したメディアであってもよいことは認められよう。更に、トランスポート制御部２００は、再生されるメディアのタイプにしたがって構成することもできる。例えば、メディア再生が無線局からのブロードキャスト・ストリームである場合、前述の早送りおよび／または巻き戻し制御部は、代わりに、無線周波数の順方向および逆方向の走査を制御することができ、前述のタッピング入力が局の事前設定(station preset)を作動させることができる等となる。
[0028] 更に、トランスポート制御部２００は、ジェスチャー・ベーストランスポート制御部に加えて、アプリケーション・プログラムのコンテキストにしたがって、ジェスチャー・ベースであってもジェスチャー・ベースでなくてもよい制御選択肢を提示することもできることも、更に認められよう。例えば、トランスポート制御部２００は、ウェブ・ブラウザー・アプリケーション・プログラムのコンテキストで提示され、メディア再生を制御するためのトランスポート制御部に加えて、ウェブ・ブラウザに関連する制御部も提示することができる。別の例では、トランスポート制御部２００がコンピューター・ゲーム・アプリケーション・プログラムのコンテキストで提示される場合、コンピューター・ゲームに関連する制御部を提示することができ、例えば、トランスポート制御部が、ゲーム音楽や、ゲームを一時停止しゲーム選択肢を選択するためのジェスチャーベース・メニューを制御する。このように、開発者はトランスポート制御部をアプリケーション・プログラムに調和させることができる。
[0029] 加えて、ジェスチャー・ベース制御モジュールは、所定制御部外周１７６上の所定の位置１７８から検出されたジェスチャー１５８までの相対的距離に基づいて、携帯用電子デバイス１００の動作を調節するように、アプリケーション・プログラムに命令するように構成することができる。例えば、図３に示すように、コンピューター・プログラムは、コンピューター・ゲーム・アプリケーション・プログラムとすることができ、コンピューター・プログラム１３０のジェスチャー・ベース制御モジュール１４０は、制御部外周１７６または接触点１７４からの仮想制御スティック制御部３０２の相対的距離に基づいて、携帯用電子デバイス１００の動作を調節するために、メッセージをコンピューター・ゲーム・アプリケーション・プログラムに送るように構成することができる。尚、図３において、Ｙ軸はＸ軸に対して直交する垂直方向を表し、Ｘ軸は水平方向を表すことは認められよう。追加の参照符号Ｒは、平面ＸＹに対して垂直な回転軸を中心とする回転方向を表し、平面ＸＹはタッチ・スクリーン・センサー１６２の表面に対して並列である。この例では、回転軸は接触点１７４において平面ＸＹと交差する。ことは認められよう。
[0030] 引き続き図３を参照すると、ジェスチャー制御部１７２（図１）は仮想ゲーム制御部３００として提示されている。仮想ゲーム制御部３００は、相対的ジェスチャー認識モードにおいて所定領域１７０内でタッチ入力を受けると、接触点１７４において仮想制御スティック制御部３０２を生成する(spawn)ように構成されている。仮想制御スティック制御部３０２を生成するプロセスは、接触点１７４において仮想制御スティック制御部３０２のインスタンスを作成するものとして認められよう。ジェスチャー・ベース制御モジュール１４０は、更に、携帯用電子デバイス１００のタッチ・スクリーン・センサー１６２内にある所定領域１７０において仮想ゲーム制御スティック制御部３０２を取り囲む制御部外周１７６を定めるように構成されている。ジェスチャー・ベース制御モジュール１４０は、更に、制御部外周１７６において仮想制御スティック制御部３０２の最大目盛り(full-scale)のふれＦを定めるように構成することもできる。更に、仮想制御スティック制御部３０２を通じて仮想ゲーム制御部３００が受けたユーザータッチ入力１５６（図１）に基づいて検出されたジェスチャー１５８が制御部外周１７６の内部にあるときにコンピューター・ゲーム・アプリケーション・プログラムに送られたメッセージは、仮想制御スティック制御部３０２の最大目盛りのふれFに関して、仮想制御スティック制御部３０２の測定されたふれPに比例する。更にまた、仮想制御スティック制御部３０２を通じて仮想ゲーム制御部３００が受けたユーザータッチ入力１５６に基づいて検出されたジェスチャー１５８が制御部外周１７６の外側で受けられたときにコンピューター・ゲーム・アプリケーション・プログラムに送られたメッセージは、仮想制御スティック制御部３０２の最大目盛りのふれＦと実質的に同じである。
[0031] 図３に示す例は、仮想ゲーム制御部３００のコンピューター・ゲーム制御モードを表し、制御部外周１７６内における接触点１７４からの距離Ｐにおいて、仮想制御スティック制御部３０２を図示する。このような例では、検出されたジェスチャー１５８は、ユーザーの指とタッチ・スクリーン・センサー１６２の表面との間で接触点１７４において検出されたタッチに基づいて、識別部１４６（図１）によって識別される。これに応答して、通信モジュール１５０は、仮想制御スティック制御部３０２の距離Ｐおよび最大目盛りのふれＦの割合に基づいて、携帯用電子デバイス１００の動作を調節するために、メッセージをアプリケーション・プログラム１１０に送る。例えば、比例応答が線形比例であり、測定された距離Ｐが最大目盛りのふれＦの８０パーセントを表す場合、通信モジュール１５０は、動作パラメーターの８０パーセントだけ携帯用電子デバイス１００の出力を調節するために、メッセージをアプリケーション・プログラム１１０に送る。コンピューター・ゲーム・アプリケーション・プログラムのコンテキストでは、動作パラメーターは走行(travel)の速度とするとよいが、他の動作パラメーターも同様に調節できることは認められよう。例えば、接触点１７４に対する所定領域１７０内における仮想制御スティック制御部３０２の相対的位置が、方向動作パラメーターを与えることができる。具体的には、検出されたジェスチャー１５８によって記述された仮想制御スティック制御部３０２の経路に沿った動きを解釈し、ゲーム・キャラクタの走行経路、回転運動の方向（キャラクタまたは視点スイベル(point-of-view swivel)のような）等として出力することができる。更に、動作パラメーターおよびこれらと関連のある出力を比例させる方法のこれらの例は、開発者がアプリケーション・プログラム１１０について指定した１組の開発者指定制御パラメーター１４９（図１）の中で指定すればよいことも認められよう。このように、ジェスチャー・ベース制御モジュール１４０は、携帯用電子デバイス１００の動作を調節するために、メッセージをアプリケーション・プログラム１１０に送ることができる。
[0032] 先に説明した種々の実施形態において、ユーザーの指とタッチ・パッド・センサーとの間の接触が、例えば、所定の時間期間中に終了したことを接触点認識部が検出したとき、ジェスチャー・ベース制御モード・モジュール１４０は識別部１４６によってジェスチャーを識別するのを中止し、タッチを検出しようとし始めることが認められよう。新たな接触点１７４が検出されると、新たなジェスチャー制御部１７２がインスタンス化され、その結果、基準フレーム２１０が効果的に新たな接触点１７４の位置に素早く動く(snap)ことが認められよう。このように、ユーザーが所定領域１７０内部でタッチ・スクリーン・センサー１６２に接触することを選択したときはいつでも、ジェスチャー制御部がその位置に生成され、こうしてディスプレイ１６０上の種々の位置においてユーザー入力が可能になる。このような柔軟な入力により、ユーザーは、事実上ディスプレイ１６０を試験することなく、そして選択可能でないグラフィカル・ユーザー・インターフェース・エレメントを無意識に作動させることなく、携帯用電子デバイス１００を容易に制御することができる。
[0033] 図４は、タッチ・スクリーン・センサーを有する携帯用電子デバイスを制御する方法４００の一実施形態を図示するフローチャートを示す。方法４００は、図１から図３の携帯用電子デバイスを含む、タッチ・スクリーン・センサーを有する任意の適した携帯用電子デバイスによって実現することができる。
[0034] 方法４００は、４０２において、モード切換ユーザー入力に応答して、相対的ジェスチャー認識モードを開始させる。相対的ジェスチャー認識モードでは、グラフィカル・ユーザー・インターフェースの所定領域の中にある１つ以上のグラフィカル・ユーザー・インターフェース・エレメントは選択不可能とされる。モード切換ユーザー入力は、携帯用電子デバイスと関連付けられたクラッチ・キーを通じたユーザー入力、およびユーザーの指とタッチ・スクリーン・センサーの表面との間における接触を通じたユーザー入力とから成る１群から選択することができる。例の中には、４０２において相対的ジェスチャーを開始させることは、更に、グラフィカル・ユーザー・インターフェースの所定領域を位置付けることを含むことができる。この領域の中では、グラフィカル・ユーザー・インターフェース・エレメントは、グラフィカル・ユーザー・インターフェースとは独立して、選択不可能になる。言い換えると、一旦相対的ジェスチャー認識モードが作動させられると、タッチ・スクリーン・センサー上のどこにでも所定領域を位置付けることができ、タッチ・スクリーン・センサーの部分的領域(subregion)またはタッチ・スクリーン・センサー船体を含むことができる。
[0035] 更に、方法４００は、４０４において、相対的ジェスチャー認識モードではグラフィカル・ユーザー・インターフェース・エレメントが選択不可能となる所定領域において、ユーザーの指とタッチ・スクリーン・センサーの表面との間において、タッチ・スクリーン・センサー上の接触点を認識することを含む。次に、方法４００は、４０６において、相対的ジェスチャー認識モードではグラフィカル・ユーザー・インターフェース・エレメントが選択不可能となる所定領域において、接触点に近接する所定制御部外周を有するジェスチャー制御部を提示することを含む。
[0036] 尚、４０６においてジェスチャー制御部を提示することは、前述のような、トランスポート制御部を提示することを含むこともできることは認められよう。加えて、ジェスチャー制御部を提示することは、更に、所定領域内にある接触点に、トランスポート制御部のための基準フレームを素早く動かすことも含むことができる。更に、接触点に近接する所定制御部外周を有するジェスチャー制御部を提示することは、その接触点において仮想ゲーム制御部のための仮想制御スティック制御部を生成することを含むことができ、所定制御部外周は、所定制御部外周において、仮想制御スティック制御部の最大限のふれを有する。相対的ジェスチャー認識モードにあるデバイス、およびこのように提示されたジェスチャー制御部によって、タッチ・スクリーン・センサーの所定領域内部で、検出されたジェスチャーを受けて、識別することができる。
[0037] 更に、方法４００は、４０８において、タッチ・スクリーン・センサーを通じて、タッチ・スクリーン・センサー内部において、グラフィカル・ユーザー・インターフェース・エレメントが選択不可能となる所定領域においてジェスチャー制御部が受けた接触点から発したユーザータッチ入力に基づいて、検出されたジェスチャーを識別することを含む。一例では、検出されたジェスチャーを識別することは、更に、タッチ・スクリーン・センサーを通じて、グラフィカル・ユーザー・インターフェース・エレメントが選択不可能となる所定領域においてジェスチャー制御部が受けた検出ジェスチャーの、予め定められたジェスチャーのライブラリの中にある１組の１つ以上の予め定められたジェスチャーの内の１つに対応する定義との比較に少なくとも部分的に基づいて、検出されたジェスチャーを解釈することを含む。
[0038] 更に、方法４００は、４０８において、ジェスチャー・ベース制御モジュールが開発者指定制御パラメーターにアクセスすることを可能にすることも含むことができる。ジェスチャー制御部は、この開発者指定制御パラメーターにしたがって動作するように構成されている。一例では、開発者指定制御パラメーターは、音量パラメーター、再生速度パラメーター、再生方向パラメーター、制御部外周定めパラメーター、および 所定領域定めパラメーターから成る１群から選択することができる。このように、開発者は、例えば、ソフトウェア開発キットを通じて、個々のアプリケーション・プログラムに特異な制御パラメーターを携帯用電子デバイスに合わせて指定することができる。
[0039] 最後に、方法４００は、更に、４１０において、所定制御部外周上における所定の位置から、そのように識別された検出ジェスチャーまでの相対的距離に基づいて、または接触点から、そのように識別された検出ジェスチャーまでの相対的距離に基づいて、携帯用電子デバイスの動作を調節することを含む。一例では、携帯用電子デバイスの動作を調節することは、基準フレームに対するユーザーの指の実質的に水平な方向によって識別される検出ジェスチャーに応答して、メディア再生の時間的位置を調節することを含む。他の例では、デバイスの動作を調節することは、基準フレームに対するユーザーの指の実質的に垂直な方向によって識別された検出ジェスチャーに応答して、メディア再生の音量を調節することを含む。更に別の例では、デバイスの動作を調節することは、基準フレームに対するユーザーの指の実質的に水平な方向によって識別された検出ジェスチャーに応答して、メディア再生の一時停止状態を調節することを含む。
[0040] 加えて、携帯用電子デバイスの動作を調節することは、タッチ・スクリーン・センサーが受けたジェスチャーが、所定制御部外周の中で受けられた場合、仮想制御スティック制御部の最大目盛りのふれに対する仮想制御スティック制御部の測定されたふれに比例する応答を、仮想ゲーム制御部から出力することも含むことができる。そして、携帯用電子デバイスの動作を調節することは、更に、相対的ジェスチャーが所定制御部外周の外側で受けられた場合、仮想制御スティックの最大目盛りのふれと実質的に同じである応答を、仮想ゲーム制御部から出力することも含むことができる。
[0041] 前述の方法は、本明細書において説明したシステムと同様、ユーザーがデバイスを視覚的に試験しない状況において、そして選択不可能にされているグラフィカル・ユーザー・インターフェース・エレメントの無意識の選択をすることなく、携帯用電子デバイスのユーザー制御をし易くするために用いることができる。
[0042] 尚、図４に示した方法は、この方法を実行するために計算機によって実行可能な命令を含むコンピューター読み取り可能記憶媒体上に存在できることは認められよう。更に、本明細書において記載した計算機は、本明細書において記載したプログラムを実行するように構成されている任意の適した計算機であればよいことも認められよう。例えば、計算機は、メインフレーム・コンピューター、パーソナル・コンピューター、ラップトップ・コンピューター、携帯用データ・アシスタント（ＰＤＡ）、コンピューター対応ワイヤレス電話機、ネットワーク状計算機、または他の適した計算機であればよく、そしてインターネットのような、コンピューター・ネットワークを通じて互いに接続することができる。これらの計算機は、通例、プロセッサーと、関連のある揮発性メモリーおよび不揮発性メモリーとを含み、揮発性メモリーおよびプロセッサーの一部を用いて、不揮発性メモリーに格納されているプログラムを実行するように構成されている。本明細書において用いる場合、「プログラム」という用語は、本明細書において記載した１つ以上の計算機によって実行または利用することができるソフトウェアまたはハードウェア・コンポーネントを指し、実行可能なファイル、データ・ファイル、ライブラリー、ドライバ、スクリプト、データベース・レコード等の個々のものまたは集団を含むことを意味する。尚、プログラム命令が格納されているコンピューター読み取り可能媒体を供給することもでき、このプログラム命令を計算機によって実行すると、前述した方法をその計算機に実行させ、前述のシステムの動作を生じることは認められよう。
[0043] 尚、本発明の範囲は、添付した特許請求の範囲によって定められるのであって、それに先立つ説明によって定められるのではないので、本明細書における実施形態は、限定的ではなく例示的であることは言うまでもなく、したがって、特許請求の範囲の境界、あるいはそのような境界の均等物に該当する全ての変更は、特許請求の範囲によって包含されることを意図している。

Claims (15)

  1. タッチ・スクリーン・センサー（１６２）を有する携帯用電子デバイス（１００）において実行可能なコンピューター・プログラム（１３０）であって、
    ユーザー入力（１５２）に応答して、直接入力モードと相対的ジェスチャー認識モードとの間で切り換えるためにモード切換ユーザー入力（１５２）を受けるように構成された入力モード切換モジュール（１３５）であって、前記直接入力モードでは、前記携帯用電子デバイス（１００）のグラフィカル・ユーザー・インターフェース（１６４）の１つ以上のグラフィカル・ユーザー・インターフェース・エレメント（１６５）が、前記ユーザーのタッチ入力を通じて選択可能であり、前記相対的ジェスチャー認識モードでは、前記グラフィカル・ユーザー・インターフェース（１６４）の少なくとも所定領域（１７０）にある前記グラフィカル・ユーザー・インターフェース・エレメント（１６５）が選択不可能である、入力モード切換モジュール（１３５）と、
    前記相対的ジェスチャー認識モードでは、ユーザーの指と、前記グラフィカル・ユーザー・インターフェース・エレメント（１６８）が選択不可能である前記所定領域（１７０）における前記タッチ・スクリーン・センサー（１６２）の表面との間において、前記タッチ・スクリーン・センサー（１６２）上で接触点（１７４）を認識し、前記所定領域（１７０）において、前記接触点（１７４）に近接してジェスチャー制御部（１７２）を提示するように構成されたジェスチャー・ベース制御モジュール（１４０）であって、更に、前記接触点（１７４）から始まるユーザータッチ入力（１５６）に基づいて、検出されたジェスチャー（１５８）を識別し、前記検出されたジェスチャー（１５８）に基づいて前記携帯用電子デバイス（１００）の動作を調節するために、メッセージをアプリケーション・プログラム（１１０）に送るように構成された、ジェスチャー・ベース制御モジュール（１４０）と、
    を含む、コンピューター・プログラム。
  2. 請求項１記載のコンピューター・プログラムにおいて、前記モード切換ユーザー入力が、前記携帯用電子デバイスと関連付けられたクラッチ・キーを通じたユーザー入力、および前記ユーザーの指と前記タッチ・スクリーン・センサーの表面との間における接触を通じたユーザー入力とから成る１群から選択される、コンピューター・プログラム。
  3. 請求項１記載のコンピューター・プログラムにおいて、前記ジェスチャー制御部がトランスポート制御部を含み、該トランスポート制御部のための基準フレームを、前記所定領域内における前記接触点に素早く動かすように構成された、コンピューター・プログラム。
  4. 請求項３記載のコンピューター・プログラムにおいて、
    前記ジェスチャー・ベース制御モジュールが、前記ジェスチャー・ベース制御モジュールによって識別された前記検出されたジェスチャーにしたがって、前記携帯用電子デバイスの動作を調節するために、メッセージをメディア再生アプリケーションに送るように構成されており、
    前記トランスポート制御部の再生制御モードにおいて、前記検出されたジェスチャーが、前記基準フレームに対する前記ユーザーの指の実質的に水平方向の動きの検出に基づいて識別され、それに応答して前記メディア再生の時間的位置を調節し、
    前記トランスポート制御部の音量制御モードにおいて、前記検出されたジェスチャーが、前記基準フレームに対する前記ユーザーの指の実質的に垂直な方向の検出に基づいて識別され、それに応答して、前記メディア再生の音量を調節し、
    前記トランスポート制御部の一時停止制御モードにおいて、前記検出されたジェスチャーが、前記基準フレームに対するユーザーの指の叩く動きの検出に基づいて識別され、それに応答して前記メディア再生の一時停止状態を変化させる、コンピューター・プログラム。
  5. 請求項１記載のコンピューター・プログラムにおいて、
    前記ジェスチャー制御部が仮想ゲーム制御部を含み、該仮想ゲーム制御部が、前記接触点において該仮想ゲーム制御のための仮想制御スティック制御部を生成するように構成され、
    前記ジェスチャー・ベース制御モジュールが、更に、前記仮想ゲーム制御スティックの周囲に制御部外周を定めるように構成され、
    前記ジェスチャー・ベース制御モジュールが、更に、前記仮想制御スティック制御部の前記制御部外周または接触点からの相対的距離に基づいて、前記携帯用電子デバイスの動作を調節するために、メッセージをコンピューター・ゲーム・アプリケーション・プログラムに送るように構成された、コンピューター・プログラム。
  6. 請求項５記載のコンピューター・プログラムにおいて、
    前記ジェスチャー・ベース制御モジュールが、更に、前記制御部外周において前記仮想制御スティック制御部の最大目盛りのふれを定めるように構成され、
    前記仮想制御スティック制御部を通じて前記仮想ゲーム制御部が受けたユーザータッチ入力に基づいて前記検出されたジェスチャーが前記制御部外周内にあるときに前記コンピューター・ゲーム・アプリケーション・プログラムに送られた前記メッセージが、前記仮想制御スティック制御部の最大目盛りのふれに対する前記仮想制御スティック制御部の測定されたふれに比例し、
    前記仮想制御スティック制御部を通じて前記仮想ゲーム制御部が受けた前記ユーザータッチ入力に基づいて前記検出されたジェスチャーが前記制御部外周の外側で受けられたときに前記コンピューター・ゲーム・アプリケーション・プログラムに送られた前記メッセージが、前記仮想制御スティック制御部の最大目盛りのふれと実質的に同じである、コンピューター・プログラム。
  7. 請求項１記載のコンピューター・プログラムにおいて、前記ジェスチャー・ベース制御モジュールが、更に、前記携帯用電子デバイスのグラフィカル・ユーザー・インターフェースとは独立して、前記所定領域を位置付けるように構成された、コンピューター・プログラム。
  8. 請求項１記載のコンピューター・プログラムであって、更に、前記ジェスチャー・ベース制御モジュールが開発者指定制御パラメーターにアクセスすることを可能にするように構成され、前記ジェスチャー制御部が、前記開発者指定制御パラメーターにしたがって動作するように構成された、コンピューター・プログラム。
  9. 請求項８記載のコンピューター・プログラムにおいて、前記開発者指定制御パラメーターが、音量パラメーター、再生速度パラメーター、再生方向パラメーター、制御部外周定めパラメーター、および所定領域定めパラメーターから成る１群から選択される、コンピューター・プログラム。
  10. タッチ・スクリーン・センサー（１６２）を有する携帯用電子デバイス（１００）の制御方法であって、
    モード切換ユーザー入力（１５２）に応答して相対的ジェスチャー認識モードを開始させるステップであって、前記相対的ジェスチャー認識モードにおいて、グラフィカル・ユーザー・インターフェース（１６４）の所定領域（１７０）の中にある１つ以上のグラフィカル・ユーザー・インターフェース・エレメント（１６５）が選択不可能である、ステップと、
    前記相対的ジェスチャー認識モードにおいて前記グラフィカル・ユーザー・インターフェース・エレメント（１６８）が選択不可能であるる前記所定領域（１７０）において、ユーザーの指と前記タッチ・スクリーン・センサー（１６２）の表面との間の接触点（１７４）を前記タッチ・スクリーン・センサー（１６２）において認識するステップと、
    前記相対的ジェスチャー認識モードにおいて前記グラフィカル・ユーザー・インターフェース・エレメント（１６８）が選択不可能である前記所定領域（１７０）において、前記接触点（１７４）に近接して、所定制御部外周（１７６）を有するジェスチャー制御部（１７２）を提示するステップと、
    前記タッチ・スクリーン・センサー（１６２）によって前記タッチ・スクリーン・センサー（１６２）内において前記グラフィカル・ユーザー・インターフェース・エレメント（１６８）が選択不可能である前記所定領域（１７０）において前記ジェスチャー制御部（１７２）が受けた前記接触点（１７４）から始まるユーザータッチ入力（１５６）に基づいて、検出されたジェスチャー（１５８）を識別するステップと、
    前記所定制御部外周（１７６）上にある所定の位置（１７８）から前記検出されたジェスチャー（１５８）までの相対的距離に基づいて、または前記接触点（１７４）から前記検出されたジェスチャー（１５８）までの相対的距離に基づいて、前記携帯用電子デバイス（１００）の動作を調節するステップと、
    を含む、方法。
  11. 請求項１０記載の方法において、前記モード切換ユーザー入力が、前記携帯用電子デバイスと関連付けられたクラッチ・キーを通じたユーザー入力、および前記ユーザーの指と前記タッチ・スクリーン・センサーの表面との間における接触を通じたユーザー入力とから成る１群から選択される、方法。
  12. 請求項１０記載の方法において、
    ジェスチャー制御部を提示するステップが、トランスポート制御部を提示することを含み、
    ジェスチャー制御部を提示するステップが、更に、前記トランスポート制御部のための基準フレームを、前記所定領域内における前記接触点に素早く動かすことを含む、方法。
  13. 請求項１２記載の方法において、前記携帯用電子デバイスの動作を調節するステップが、
    前記基準フレームに対するユーザーの指の実質的に水平な方向によって識別された前記検出されたジェスチャーに応答して、メディア再生の時間的位置を調節するステップと、
    前記基準フレームに対するユーザーの指の実質的に垂直な方向によって識別された前記検出されたジェスチャーに応答して、メディア再生の音量を調節するステップと、
    前記基準フレームに対するユーザーの指の叩く動きによって識別された前記検出されたジェスチャーに応答して、メディア再生の一時停止状態を調節するステップと、
    を含む、方法。
  14. 請求項１０記載の方法において、前記接触点に近接して、所定制御部外周を有するジェスチャー制御部を提示するステップが、前記接触点において、仮想ゲーム制御のために仮想制御スティック制御部を生成することを含み、前記所定制御部外周が、該所定制御部外周において仮想制御スティック制御部の最大目盛りのふれを有する、方法。
  15. 請求項１４記載の方法において、前記携帯用電子デバイスの動作を調節するステップが、
    前記タッチ・スクリーン・センサーが受けた前記ジェスチャーが前記所定制御部外周内において受けられた場合、前記仮想制御スティック制御部の最大目盛りのふれに対する、前記仮想制御スティック制御部の測定されたふれに比例する応答を、前記仮想ゲーム制御部から出力するステップと、
    前記相対的ジェスチャーが前記所定制御部外周の外側で受けられた場合、前記仮想制御スティック制御部の最大目盛りのふれと実質的に同じである応答を、前記仮想ゲーム制御部から出力するステップと、
    を含む、方法。
JP2011526938A 2008-09-09 2009-09-09 相対的ジェスチャー認識モードを有する携帯用電子デバイス Pending JP2012502393A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/206,747 2008-09-09
US12/206,747 US20100064261A1 (en) 2008-09-09 2008-09-09 Portable electronic device with relative gesture recognition mode
PCT/US2009/056357 WO2010030662A2 (en) 2008-09-09 2009-09-09 Portable electronic device with relative gesture recognition mode

Publications (2)

Publication Number Publication Date
JP2012502393A true JP2012502393A (ja) 2012-01-26
JP2012502393A5 JP2012502393A5 (ja) 2012-11-01

Family

ID=41800241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011526938A Pending JP2012502393A (ja) 2008-09-09 2009-09-09 相対的ジェスチャー認識モードを有する携帯用電子デバイス

Country Status (7)

Country Link
US (1) US20100064261A1 (ja)
EP (1) EP2327011A4 (ja)
JP (1) JP2012502393A (ja)
KR (1) KR20110056286A (ja)
CN (1) CN102150123B (ja)
RU (1) RU2011108470A (ja)
WO (1) WO2010030662A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014192060A1 (ja) * 2013-05-27 2014-12-04 三菱電機株式会社 プログラマブル表示器およびその画面操作処理プログラム
JP6207804B1 (ja) * 2017-03-23 2017-10-04 三菱電機株式会社 タッチ入力判定装置、タッチ入力判定方法、及びタッチ入力判定プログラム
JP2018097604A (ja) * 2016-12-13 2018-06-21 ヤマハ株式会社 表示装置

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8162816B2 (en) 2001-03-09 2012-04-24 Boston Scientific Scimed, Inc. System for implanting an implant and method thereof
US8769427B2 (en) * 2008-09-19 2014-07-01 Google Inc. Quick gesture input
US9250797B2 (en) * 2008-09-30 2016-02-02 Verizon Patent And Licensing Inc. Touch gesture interface apparatuses, systems, and methods
US20100162181A1 (en) * 2008-12-22 2010-06-24 Palm, Inc. Interpreting Gesture Input Including Introduction Or Removal Of A Point Of Contact While A Gesture Is In Progress
CN102713811B (zh) 2009-08-21 2016-06-29 苹果公司 用于电容感测的方法和装置
US20110148786A1 (en) * 2009-12-18 2011-06-23 Synaptics Incorporated Method and apparatus for changing operating modes
US9465532B2 (en) 2009-12-18 2016-10-11 Synaptics Incorporated Method and apparatus for operating in pointing and enhanced gesturing modes
US8621380B2 (en) 2010-01-06 2013-12-31 Apple Inc. Apparatus and method for conditionally enabling or disabling soft buttons
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US20110283241A1 (en) * 2010-05-14 2011-11-17 Google Inc. Touch Gesture Actions From A Device's Lock Screen
US9542091B2 (en) 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
US20120102437A1 (en) * 2010-10-22 2012-04-26 Microsoft Corporation Notification Group Touch Gesture Dismissal Techniques
US9141285B2 (en) 2010-11-05 2015-09-22 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US8587547B2 (en) 2010-11-05 2013-11-19 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US9361009B2 (en) * 2010-12-01 2016-06-07 Adobe Systems Incorporated Methods and systems for setting parameter values via radial input gestures
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US20120166944A1 (en) 2010-12-23 2012-06-28 Stephen Hayden Cotterill Device, Method, and Graphical User Interface for Switching Between Two User Interfaces
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US9411509B2 (en) * 2010-12-29 2016-08-09 Microsoft Technology Licensing, Llc Virtual controller for touch display
US9436381B2 (en) 2011-01-24 2016-09-06 Apple Inc. Device, method, and graphical user interface for navigating and annotating an electronic document
US9250798B2 (en) 2011-01-24 2016-02-02 Apple Inc. Device, method, and graphical user interface with a dynamic gesture disambiguation threshold
CN102156573B (zh) * 2011-03-25 2015-05-20 中兴通讯股份有限公司 触摸屏电子设备及其可点触响应功能的定位方法
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US20120304131A1 (en) * 2011-05-27 2012-11-29 Jennifer Nan Edge gesture
US20120304132A1 (en) 2011-05-27 2012-11-29 Chaitanya Dev Sareen Switching back to a previously-interacted-with application
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
WO2013012424A1 (en) * 2011-07-21 2013-01-24 Research In Motion Limited Electronic device including a touch-sensitive display and a navigation device and method of controlling the same
TWI446255B (zh) 2011-07-28 2014-07-21 Wistron Corp 具有螢幕顯示選單功能之顯示裝置
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
US10318146B2 (en) * 2011-09-12 2019-06-11 Microsoft Technology Licensing, Llc Control area for a touch screen
KR20130050607A (ko) * 2011-11-08 2013-05-16 삼성전자주식회사 단말기에서 독서 관리 방법 및 장치
US9395901B2 (en) 2012-02-08 2016-07-19 Blackberry Limited Portable electronic device and method of controlling same
CN103257813B (zh) * 2012-02-21 2017-12-22 海尔集团公司 一种共享设备的确定方法和文件传输方法以及系统
CN103257817A (zh) * 2012-02-21 2013-08-21 海尔集团公司 共享设备的确定方法和文件传输方法及系统
US9225307B2 (en) 2012-06-28 2015-12-29 Sonos, Inc. Modification of audio responsive to proximity detection
WO2014017831A2 (ko) * 2012-07-25 2014-01-30 Park Chul 터치패널을 갖는 개인휴대단말기의 작동방법
CN103135929A (zh) * 2013-01-31 2013-06-05 北京小米科技有限责任公司 控制应用界面移动的方法、装置和终端设备
US9189149B2 (en) 2013-03-21 2015-11-17 Sharp Laboratories Of America, Inc. Equivalent gesture and soft button configuration for touch screen enabled device
US9405377B2 (en) * 2014-03-15 2016-08-02 Microsoft Technology Licensing, Llc Trainable sensor-based gesture recognition
KR102302233B1 (ko) 2014-05-26 2021-09-14 삼성전자주식회사 사용자 인터페이스 제공 장치 및 방법
US20170192465A1 (en) * 2014-05-30 2017-07-06 Infinite Potential Technologies Lp Apparatus and method for disambiguating information input to a portable electronic device
US9898162B2 (en) 2014-05-30 2018-02-20 Apple Inc. Swiping functions for messaging applications
US9971500B2 (en) 2014-06-01 2018-05-15 Apple Inc. Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
CN104267904A (zh) * 2014-09-26 2015-01-07 深圳市睿德网络科技有限公司 一种具有触摸屏虚拟单位控制的方法及移动终端
US11567626B2 (en) * 2014-12-17 2023-01-31 Datalogic Usa, Inc. Gesture configurable floating soft trigger for touch displays on data-capture electronic devices
JP6497549B2 (ja) * 2015-03-05 2019-04-10 カシオ計算機株式会社 電子機器、タッチ操作制御方法及びプログラム
WO2017200571A1 (en) * 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
US10620812B2 (en) 2016-06-10 2020-04-14 Apple Inc. Device, method, and graphical user interface for managing electronic communications
CN106028172A (zh) * 2016-06-13 2016-10-12 百度在线网络技术（北京）有限公司 音/视频处理方法及装置
US10466344B2 (en) * 2016-07-07 2019-11-05 Tactual Labs Co. Human-computer interaction applications of precise ranging technology and geometric dilution of precision in a ranging positioning system for VR
CN111399742B (zh) * 2020-03-13 2024-04-26 华为技术有限公司 界面切换方法、装置和电子设备
CN111522446B (zh) * 2020-06-09 2023-10-03 宁波视睿迪光电有限公司 基于多点tof的手势识别方法及装置
CN114639158A (zh) * 2020-11-30 2022-06-17 伊姆西Ip控股有限责任公司 计算机交互方法、设备和程序产品
CN114446030B (zh) * 2022-01-25 2024-04-09 惠州Tcl移动通信有限公司 姿势识别方法、装置、存储介质及电子设备
US11785300B2 (en) * 2022-02-17 2023-10-10 Roku, Inc. HDMI customized ad insertion

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11212726A (ja) * 1998-01-29 1999-08-06 Omron Corp 入力装置
JPH11345072A (ja) * 1999-05-21 1999-12-14 Sharp Corp ジェスチャ―処理装置及びジェスチャ―処理方法
JP2001117686A (ja) * 1999-10-20 2001-04-27 Toshiba Corp ペン入力装置およびペン入力装置のポインティング処理方法
JP2001125727A (ja) * 1999-10-26 2001-05-11 Canon Inc 情報入出力装置、その制御方法、及びその制御プログラムを格納したコンピュータにより読み取り可能な記録媒体
JP2001202174A (ja) * 2000-01-21 2001-07-27 Canon Inc 画像表示装置、方法および記憶媒体
JP2006093901A (ja) * 2004-09-21 2006-04-06 Saxa Inc ジェスチャ操作可能な電話機
JP2006139615A (ja) * 2004-11-12 2006-06-01 Access Co Ltd 表示装置、メニュー表示プログラムおよびタブ表示プログラム
US20070150842A1 (en) * 2005-12-23 2007-06-28 Imran Chaudhri Unlocking a device by performing gestures on an unlock image
JP2008508600A (ja) * 2004-07-30 2008-03-21 アップル インコーポレイテッド タッチ・センシティブ入力デバイスのためのモード・ベースのグラフィカル・ユーザ・インタフェース
JP2008140182A (ja) * 2006-12-01 2008-06-19 Sharp Corp 入力装置、送受信システム、入力処理方法、および制御プログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
FI20021655A (fi) 2002-06-19 2003-12-20 Nokia Corp Menetelmä lukituksen avaamiseksi ja kannettava elektroninen laite
WO2004111816A2 (en) * 2003-06-13 2004-12-23 University Of Lancaster User interface
US7176886B2 (en) * 2004-03-23 2007-02-13 Fujitsu Limited Spatial signatures
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
KR20060008735A (ko) * 2004-07-24 2006-01-27 주식회사 대우일렉트로닉스 터치패드가 장착된 리모콘
JP4903371B2 (ja) * 2004-07-29 2012-03-28 任天堂株式会社 タッチパネルを用いたゲーム装置およびゲームプログラム
US8464176B2 (en) * 2005-01-19 2013-06-11 Microsoft Corporation Dynamic stacking and expansion of visual items
KR102402377B1 (ko) * 2005-03-04 2022-05-25 애플 인크. 다기능 휴대용 장치
JP4832826B2 (ja) * 2005-07-26 2011-12-07 任天堂株式会社 オブジェクト制御プログラムおよび情報処理装置
US8078990B2 (en) * 2006-02-01 2011-12-13 Research In Motion Limited Secure device sharing
US8587526B2 (en) * 2006-04-12 2013-11-19 N-Trig Ltd. Gesture recognition feedback for a dual mode digitizer
KR20070113022A (ko) * 2006-05-24 2007-11-28 엘지전자 주식회사 사용자 입력에 반응하는 터치스크린 장치 및 이의 작동방법
US7422145B2 (en) * 2006-05-08 2008-09-09 Nokia Corporation Mobile communication terminal and method
US8375326B2 (en) * 2006-05-30 2013-02-12 Dell Products Lp. Contextual-based and overlaid user interface elements
US8842074B2 (en) * 2006-09-06 2014-09-23 Apple Inc. Portable electronic device performing similar operations for different gestures
KR100842733B1 (ko) * 2007-02-05 2008-07-01 삼성전자주식회사 터치스크린을 구비한 멀티미디어 재생장치의 사용자인터페이스 방법
US9772751B2 (en) * 2007-06-29 2017-09-26 Apple Inc. Using gestures to slide between user interfaces
US20090227369A1 (en) * 2008-03-10 2009-09-10 Merit Entertainment Amusement Device Having a Configurable Display for Presenting Games Having Different Aspect Ratios
US20110163972A1 (en) * 2010-01-06 2011-07-07 Freddy Allen Anzures Device, Method, and Graphical User Interface for Interacting with a Digital Photo Frame

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11212726A (ja) * 1998-01-29 1999-08-06 Omron Corp 入力装置
JPH11345072A (ja) * 1999-05-21 1999-12-14 Sharp Corp ジェスチャ―処理装置及びジェスチャ―処理方法
JP2001117686A (ja) * 1999-10-20 2001-04-27 Toshiba Corp ペン入力装置およびペン入力装置のポインティング処理方法
JP2001125727A (ja) * 1999-10-26 2001-05-11 Canon Inc 情報入出力装置、その制御方法、及びその制御プログラムを格納したコンピュータにより読み取り可能な記録媒体
JP2001202174A (ja) * 2000-01-21 2001-07-27 Canon Inc 画像表示装置、方法および記憶媒体
JP2008508600A (ja) * 2004-07-30 2008-03-21 アップル インコーポレイテッド タッチ・センシティブ入力デバイスのためのモード・ベースのグラフィカル・ユーザ・インタフェース
JP2006093901A (ja) * 2004-09-21 2006-04-06 Saxa Inc ジェスチャ操作可能な電話機
JP2006139615A (ja) * 2004-11-12 2006-06-01 Access Co Ltd 表示装置、メニュー表示プログラムおよびタブ表示プログラム
US20070150842A1 (en) * 2005-12-23 2007-06-28 Imran Chaudhri Unlocking a device by performing gestures on an unlock image
JP2008140182A (ja) * 2006-12-01 2008-06-19 Sharp Corp 入力装置、送受信システム、入力処理方法、および制御プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014192060A1 (ja) * 2013-05-27 2014-12-04 三菱電機株式会社 プログラマブル表示器およびその画面操作処理プログラム
JP2018097604A (ja) * 2016-12-13 2018-06-21 ヤマハ株式会社 表示装置
JP6207804B1 (ja) * 2017-03-23 2017-10-04 三菱電機株式会社 タッチ入力判定装置、タッチ入力判定方法、及びタッチ入力判定プログラム

Also Published As

Publication number Publication date
CN102150123A (zh) 2011-08-10
KR20110056286A (ko) 2011-05-26
EP2327011A2 (en) 2011-06-01
EP2327011A4 (en) 2012-02-01
WO2010030662A2 (en) 2010-03-18
WO2010030662A3 (en) 2010-05-06
RU2011108470A (ru) 2012-09-10
CN102150123B (zh) 2013-08-14
US20100064261A1 (en) 2010-03-11

Similar Documents

Publication Publication Date Title
JP2012502393A (ja) 相対的ジェスチャー認識モードを有する携帯用電子デバイス
AU2021203022B2 (en) Multifunction device control of another electronic device
US10042599B2 (en) Keyboard input to an electronic device
JP4734435B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
EP2889717B1 (en) Systems and methods for a haptically-enabled projected user interface
RU2533646C2 (ru) Устройство обработки информации, способ обработки информации и программа
US10282081B2 (en) Input and output method in touch screen terminal and apparatus therefor
US8466934B2 (en) Touchscreen interface
US9448714B2 (en) Touch and non touch based interaction of a user with a device
US9690475B2 (en) Information processing apparatus, information processing method, and program
JP6141301B2 (ja) 間接的対話装置の対話モデル
US20140055385A1 (en) Scaling of gesture based input
JP2011053972A (ja) 情報処理装置、情報処理方法およびプログラム
KR101872272B1 (ko) 제어 기기를 이용한 전자기기의 제어 방법 및 장치
KR101630754B1 (ko) 디스플레이 장치 및 인터페이스 방법
KR101369595B1 (ko) 영상표시장치 및 영상표시장치의 메뉴 제공 방법
US20130244730A1 (en) User terminal capable of sharing image and method for controlling the same
KR101294201B1 (ko) 휴대형 장치 및 그 조작 방법
JP2018023792A (ja) ゲーム装置及びプログラム
JP5769841B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
JP6126639B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置及びゲームプログラム。
JP5523381B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
US20170068420A1 (en) Method for smart icon selection of graphical user interface
KR20140043920A (ko) 터치 스크린 기반의 사용자 인터페이스 인터렉션 방법 및 멀티 미디어 단말 기기
JP6204414B2 (ja) ゲーム装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120910

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140221

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140801