JP2014519125A - 物理的なタッチ機能のないタッチユーザインタフェースを制御するためのデバイス、方法及びグラフィカルユーザインタフェース - Google Patents

物理的なタッチ機能のないタッチユーザインタフェースを制御するためのデバイス、方法及びグラフィカルユーザインタフェース Download PDF

Info

Publication number
JP2014519125A
JP2014519125A JP2014513803A JP2014513803A JP2014519125A JP 2014519125 A JP2014519125 A JP 2014519125A JP 2014513803 A JP2014513803 A JP 2014513803A JP 2014513803 A JP2014513803 A JP 2014513803A JP 2014519125 A JP2014519125 A JP 2014519125A
Authority
JP
Japan
Prior art keywords
virtual
icon
touch
display
menu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014513803A
Other languages
English (en)
Other versions
JP5883128B2 (ja
Inventor
クリストファー， ブライアン フレイザック，
エリック， テイラー シーモア，
ジェームス， ピー． クレイグ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2014519125A publication Critical patent/JP2014519125A/ja
Application granted granted Critical
Publication of JP5883128B2 publication Critical patent/JP5883128B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

ディスプレイ及びタッチセンシティブ面を有する電子デバイスは、仮想タッチに対応する第１の視覚標識をディスプレイに表示する。デバイスは、適応入力デバイスから第１の入力を受信する。適応入力デバイスから第１の入力を受信することに応じて、デバイスは第１のメニューをディスプレイに表示する。第１のメニューは、仮想タッチ選択アイコンを含む。仮想タッチ選択アイコンの選択を検出することに応じて、仮想マルチタッチ接触のメニューが表示される。
【選択図】図１Ａ

Description

本発明は、一般に、タッチユーザインタフェースを有するタッチセンシティブ面を有する電子デバイスを含むがそれに限定されないタッチセンシティブ面を有する電子デバイスに関する。
タッチユーザインタフェースを有する電子デバイス（例えば、アップル社（Ａｐｐｌｅ Ｉｎｃ．）（カリフォルニア州クパチーノ）のｉＰｈｏｎｅ(r)、ｉＰｏｄ Ｔｏｕｃｈ(r)及びｉＰａｄ(r)等のデバイス）の使用は、近年激増している。これらのデバイスは、ディスプレイ上でユーザインタフェースオブジェクトを操作し且つ／あるいはデバイスを制御するための主な入力として、タッチスクリーンディスプレイ又はタッチパッド等のタッチセンシティブ面を使用する。
しかし、四肢麻痺患者及び深刻な脳性麻痺のある患者等の手の運動技能が満足でない人々は、タッチユーザインタフェースを有するデバイスを使用するのは不可能ではないにしても困難であると考える。
従って、手の運動技能が満足でないユーザがタッチユーザインタフェースを有するデバイスを利用しやすくする必要がある。換言すると、タッチセンシティブ面を十分に操作できないユーザがタッチユーザインタフェースを有する電子デバイスを操作できるようにする必要がある。
タッチセンシティブ面を有する電子デバイスに対するユーザインタフェースに関わる上記の欠点及び他の問題は、開示するデバイスにより軽減又は解消される。いくつかの実施形態において、デバイスはデスクトップコンピュータである。いくつかの実施形態において、デバイスは携帯可能である（例えば、ノートブックコンピュータ、タブレットコンピュータ又はハンドヘルドデバイス）。いくつかの実施形態において、デバイスはタッチパッドを有する。いくつかの実施形態において、デバイスはタッチセンシティブディスプレイ（「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても既知である）を有する。いくつかの実施形態において、デバイスは、グラフィカルユーザインタフェース（ＧＵＩ）と、１つ以上のプロセッサと、メモリと、多数の機能を実行するためのメモリに格納された１つ以上のモジュール、プログラム又は命令の集合とを有する。いくつかの実施形態において、ユーザは主にタッチセンシティブ面に対する指の接触及びジェスチャを介してＧＵＩと対話する。いくつかの実施形態において、機能は、画像編集、描画、プレゼンテーション、ワードプロセシング、ウェブサイト作成、ディスクオーサリング、スプレッドシート作成、ゲーム、電話、テレビ会議、電子メール送信、インスタントメッセージング、ワークアウトサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽再生及び／又はデジタルビデオ再生を含んでもよい。これらの機能を実行する実行可能な命令は、非一時的なコンピュータ可読記憶媒体又は１つ以上のプロセッサにより実行されるように構成された他のコンピュータプログラムに含まれてもよい。
いくつかの実施形態によると、方法は、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにおいて実行される。方法は、仮想タッチに対応する第１の視覚標識をディスプレイに表示することと、適応入力デバイスから第１の入力を受信することと、適応入力デバイスから第１の入力を受信することに応じて第１のメニューをディスプレイに表示することとを備える。第１のメニューは仮想タッチ選択アイコンを含む。仮想タッチ選択アイコンの選択を検出することに応じて、仮想マルチタッチ接触のメニューが表示される。
いくつかの実施形態によると、電子デバイスは、ディスプレイと、タッチセンシティブ面と、１つ以上のプロセッサと、メモリと、１つ以上のプログラムとを備える。１つ以上のプログラムは、メモリに格納され、１つ以上のプロセッサにより実行されるように構成される。１つ以上のプログラムは、仮想タッチに対応する第１の視覚標識をディスプレイに表示する命令と、適応入力デバイスから第１の入力を受信する命令と、適応入力デバイスから第１の入力を受信することに応じて第１のメニューをディスプレイに表示する命令とを含む。第１のメニューは仮想タッチ選択アイコンを含む。１つ以上のプログラムは、仮想タッチ選択アイコンの選択を検出することに応じて仮想マルチタッチ接触のメニューを表示する命令を含む。
いくつかの実施形態によると、コンピュータ可読記憶媒体は、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにより実行された場合に、デバイスが仮想タッチに対応する第１の視覚標識をディスプレイに表示する命令と、デバイスが適応入力デバイスから第１の入力を受信する命令と、適応入力デバイスから第１の入力を受信することに応じて、デバイスが第１のメニューをディスプレイに表示する命令とを格納している。第１のメニューは仮想タッチ選択アイコンを含む。更に命令により、デバイスは、仮想タッチ選択アイコンの選択を検出することに応じて仮想マルチタッチ接触のメニューを表示する。
いくつかの実施形態によると、ディスプレイと、タッチセンシティブ面と、メモリと、メモリに格納された１つ以上のプログラムを実行するための１つ以上のプロセッサとを有する電子デバイスにおけるグラフィカルユーザインタフェースは、仮想タッチに対応する第１の視覚標識を含む。適応入力デバイスから第１の入力を受信することに応じて、第１のメニューがディスプレイに表示される。第１のメニューは仮想タッチ選択アイコンを含む。仮想タッチ選択アイコンの選択を検出することに応じて、仮想マルチタッチ接触のメニューが表示される。
いくつかの実施形態によると、電子デバイスは、ディスプレイと、タッチセンシティブ面と、仮想タッチに対応する第１の視覚標識をディスプレイに表示する手段と、適応入力デバイスから第１の入力を受信する手段と、適応入力デバイスから第１の入力を受信することに応じて有効にされた第１のメニューをディスプレイに表示する手段とを備える。第１のメニューは仮想タッチ選択アイコンを含む。電子デバイスは、仮想タッチ選択アイコンの選択を検出することに応じて有効にされた仮想マルチタッチ接触のメニューを表示する手段を更に備える。
いくつかの実施形態によると、ディスプレイ及びタッチセンシティブ面を有する電子デバイス用の情報処理装置は、仮想タッチに対応する第１の視覚標識をディスプレイに表示する手段と、適応入力デバイスから第１の入力を受信する手段と、適応入力デバイスから第１の入力を受信することに応じて有効にされた第１のメニューをディスプレイに表示する手段とを備える。第１のメニューは仮想タッチ選択アイコンを含む。情報処理装置は、仮想タッチ選択アイコンの選択を検出することに応じて有効にされた仮想マルチタッチ接触のメニューを表示する手段を備える。
いくつかの実施形態によると、方法は、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにおいて実行される。方法は、仮想タッチに対応する第１の視覚標識をディスプレイに表示することと、適応入力デバイスから第１の入力を受信することと、適応入力デバイスから第１の入力を受信することに応じて仮想マルチタッチ接触のメニューを表示することとを備える。仮想マルチタッチ接触のメニューは、仮想マルチタッチ接触の種類を示す複数のアイコンを含む。方法は、仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出することと、仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出することに応じて、それぞれの仮想マルチタッチ接触アイコンに対応する１つ以上の第２の視覚標識を表示することとを更に備える。
いくつかの実施形態によると、電子デバイスは、ディスプレイと、タッチセンシティブ面と、１つ以上のプロセッサと、メモリと、１つ以上のプログラムとを備える。１つ以上のプログラムは、メモリに格納され、１つ以上のプロセッサにより実行されるように構成される。１つ以上のプログラムは、仮想タッチに対応する第１の視覚標識をディスプレイに表示する命令と、適応入力デバイスから第１の入力を受信する命令と、適応入力デバイスから第１の入力を受信することに応じて、仮想マルチタッチ接触のメニューを表示する命令とを含む。仮想マルチタッチ接触のメニューは、仮想マルチタッチ接触の種類を示す複数のアイコンを含む。１つ以上のプログラムは、仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出する命令と、仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出することに応じて、それぞれの仮想マルチタッチ接触アイコンに対応する１つ以上の第２の視覚標識を表示する命令とを更に含む。
いくつかの実施形態によると、コンピュータ可読記憶媒体は、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにより実行された場合に、デバイスが仮想タッチに対応する第１の視覚標識をディスプレイに表示する命令と、デバイスが適応入力デバイスから第１の入力を受信する命令と、適応入力デバイスから第１の入力を受信することに応じて、デバイスが仮想マルチタッチ接触のメニューを表示する命令とを格納している。仮想マルチタッチ接触のメニューは、仮想マルチタッチ接触の種類を示す複数のアイコンを含む。更に命令により、デバイスは、仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出し、仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出することに応じて、それぞれの仮想マルチタッチ接触アイコンに対応する１つ以上の第２の視覚標識を表示する。
いくつかの実施形態によると、ディスプレイと、タッチセンシティブ面と、メモリと、メモリに格納された１つ以上のプログラムを実行するための１つ以上のプロセッサとを有する電子デバイスにおけるグラフィカルユーザインタフェースは、仮想タッチに対応する第１の視覚標識を含む。適応入力デバイスから第１の入力を受信することに応じて、仮想マルチタッチ接触のメニューが表示される。仮想マルチタッチ接触のメニューは、仮想マルチタッチ接触の種類を示す複数のアイコンを含む。仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出することに応じて、それぞれの仮想マルチタッチ接触アイコンに対応する１つ以上の第２の視覚標識が表示される。
いくつかの実施形態によると、電子デバイスは、ディスプレイと、タッチセンシティブ面と、仮想タッチに対応する第１の視覚標識をディスプレイに表示する手段と、適応入力デバイスから第１の入力を受信する手段と、適応入力デバイスから第１の入力を受信することに応じて有効にされた仮想マルチタッチ接触のメニューを表示する手段とを備える。仮想マルチタッチ接触のメニューは、仮想マルチタッチ接触の種類を示す複数のアイコンを含む。電子デバイスは、仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出する手段と、仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出することに応じて有効にされたそれぞれの仮想マルチタッチ接触アイコンに対応する１つ以上の第２の視覚標識を表示する手段とを更に備える。
いくつかの実施形態によると、ディスプレイ及びタッチセンシティブ面を有する電子デバイス用の情報処理装置は、仮想タッチに対応する第１の視覚標識をディスプレイに表示する手段と、適応入力デバイスから第１の入力を受信する手段と、適応入力デバイスから第１の入力を受信することに応じて有効にされた仮想マルチタッチ接触のメニューを表示する手段とを備える。仮想マルチタッチ接触のメニューは、仮想マルチタッチ接触の種類を示す複数のアイコンを含む。情報処理装置は、仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出する手段と、仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出することに応じて有効にされたそれぞれの仮想マルチタッチ接触アイコンに対応する１つ以上の第２の視覚標識を表示する手段とを更に備える。
いくつかの実施形態によると、方法は、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにおいて実行される。方法は、仮想タッチに対応する第１の視覚標識をディスプレイに表示することと、適応入力デバイスから第１の入力を受信することと、適応入力デバイスから第１の入力を受信することに応じて仮想ジェスチャのメニューを表示することとを備える。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコンを含む。方法は、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することと、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて、それぞれの仮想ジェスチャアイコンに対応する複数の視覚標識を表示することとを備える。方法は、適応入力デバイスから第２の入力を受信することと、適応入力デバイスから第２の入力を受信することに応じて、それぞれの仮想ジェスチャに従って動作を実行することとを備える。
いくつかの実施形態によると、電子デバイスは、ディスプレイと、タッチセンシティブ面と、１つ以上のプロセッサと、メモリと、１つ以上のプログラムとを備える。１つ以上のプログラムは、メモリに格納され、１つ以上のプロセッサにより実行されるように構成される。１つ以上のプログラムは、仮想タッチに対応する第１の視覚標識をディスプレイに表示する命令と、適応入力デバイスから第１の入力を受信する命令と、適応入力デバイスから第１の入力を受信することに応じて仮想ジェスチャのメニューを表示する命令とを含む。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコンを含む。１つ以上のプログラムは、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出する命令と、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて、それぞれの仮想ジェスチャアイコンに対応する複数の視覚標識を表示する命令とを含む。１つ以上のプログラムは、適応入力デバイスから第２の入力を受信する命令と、適応入力デバイスから第２の入力を受信することに応じて、それぞれの仮想ジェスチャに従って動作を実行する命令とを含む。
いくつかの実施形態によると、コンピュータ可読記憶媒体は、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにより実行された場合に、デバイスが仮想タッチに対応する第１の視覚標識をディスプレイに表示する命令と、デバイスが適応入力デバイスから第１の入力を受信する命令と、適応入力デバイスから第１の入力を受信することに応じて、デバイスが仮想ジェスチャのメニューを表示する命令とを格納している。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコンを含む。命令により、デバイスは、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出し、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて、それぞれの仮想ジェスチャアイコンに対応する複数の視覚標識を表示する。命令により、デバイスは、適応入力デバイスから第２の入力を受信し、適応入力デバイスから第２の入力を受信することに応じてそれぞれの仮想ジェスチャに従って動作を実行する。
いくつかの実施形態によると、ディスプレイと、タッチセンシティブ面と、メモリと、メモリに格納された１つ以上のプログラムを実行するための１つ以上のプロセッサとを有する電子デバイスにおけるグラフィカルユーザインタフェースは、仮想タッチに対応する第１の視覚標識を含む。適応入力デバイスから第１の入力を受信することに応じて、仮想ジェスチャのメニューが表示される。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコンを含む。仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて、それぞれの仮想ジェスチャアイコンに対応する複数の視覚標識が表示される。適応入力デバイスから第２の入力を受信することに応じて、それぞれの仮想ジェスチャに従って動作が実行される。
いくつかの実施形態によると、電子デバイスは、ディスプレイと、タッチセンシティブ面と、仮想タッチに対応する第１の視覚標識をディスプレイに表示する手段と、適応入力デバイスから第１の入力を受信する手段と、適応入力デバイスから第１の入力を受信することに応じて有効にされた仮想ジェスチャのメニューを表示する手段とを備える。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコンを含む。電子デバイスは、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出する手段と、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて有効にされたそれぞれの仮想ジェスチャアイコンに対応する複数の視覚標識を表示する手段とを備える。電子デバイスは、適応入力デバイスから第２の入力を受信する手段と、適応入力デバイスから第２の入力を受信することに応じて有効にされたそれぞれの仮想ジェスチャに従って動作を実行する手段とを備える。
いくつかの実施形態によると、ディスプレイ及びタッチセンシティブ面を有する電子デバイス用の情報処理装置は、仮想タッチに対応する第１の視覚標識をディスプレイに表示する手段と、適応入力デバイスから第１の入力を受信する手段と、適応入力デバイスから第１の入力を受信することに応じて有効にされた仮想ジェスチャの種類を示す複数のアイコンを含む仮想ジェスチャのメニューを表示する手段とを備える。情報処理装置は、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出する手段と、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて有効にされたそれぞれの仮想ジェスチャアイコンに対応する複数の視覚標識を表示する手段とを備える。情報処理装置は、適応入力デバイスから第２の入力を受信する手段と、適応入力デバイスから第２の入力を受信することに応じて有効にされたそれぞれの仮想ジェスチャに従って動作を実行する手段とを備える。
いくつかの実施形態によると、方法は、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにおいて実行される。方法は、仮想ピンチイン／ピンチアウトジェスチャアイコンを表示することと、仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出することと、仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出することに応じて、仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識を表示することとを備える。方法は、適応入力デバイスから入力を受信することと、適応入力デバイスから入力を受信することに応じて、それぞれの仮想ピンチイン／ピンチアウトジェスチャに従ってズーム動作を実行することとを更に備える。
いくつかの実施形態によると、電子デバイスは、ディスプレイと、タッチセンシティブ面と、１つ以上のプロセッサと、メモリと、１つ以上のプログラムとを備える。１つ以上のプログラムは、メモリに格納され、１つ以上のプロセッサにより実行されるように構成される。１つ以上のプログラムは、仮想ピンチイン／ピンチアウトジェスチャアイコンを表示する命令と、仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出する命令と、仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出することに応じて、仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識を表示する命令とを含む。１つ以上のプログラムは、適応入力デバイスから入力を受信する命令と、適応入力デバイスから入力を受信することに応じて、それぞれの仮想ピンチイン／ピンチアウトジェスチャに従ってズーム動作を実行する命令とを含む。
いくつかの実施形態によると、コンピュータ可読記憶媒体は、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにより実行された場合に、デバイスが仮想ピンチイン／ピンチアウトジェスチャアイコンを表示する命令と、デバイスが仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出する命令と、仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出することに応じて、デバイスが仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識を表示する命令とを格納している。更に命令により、デバイスは、適応入力デバイスから入力を受信し、適応入力デバイスから入力を受信することに応じて、それぞれの仮想ピンチイン／ピンチアウトジェスチャに従ってズーム動作を実行する。
いくつかの実施形態によると、ディスプレイと、タッチセンシティブ面と、メモリと、メモリに格納された１つ以上のプログラムを実行するための１つ以上のプロセッサとを有する電子デバイスにおけるグラフィカルユーザインタフェースは、仮想ピンチイン／ピンチアウトジェスチャアイコンを含む。仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出することに応じて、仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識が表示される。適応入力デバイスから入力を受信することに応じて、それぞれの仮想ピンチイン／ピンチアウトジェスチャに従ってズーム動作が実行される。
いくつかの実施形態によると、電子デバイスは、ディスプレイと、タッチセンシティブ面と、仮想ピンチイン／ピンチアウトジェスチャアイコンを表示する手段と、仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出する手段と、仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出することに応じて有効にされた仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識を表示する手段とを備える。電子デバイスは、適応入力デバイスから入力を受信する手段と、適応入力デバイスから入力を受信することに応じて有効にされたそれぞれの仮想ピンチイン／ピンチアウトジェスチャに従ってズーム動作を実行する手段とを備える。
いくつかの実施形態によると、ディスプレイ及びタッチセンシティブ面を有する電子デバイス用の情報処理装置は、仮想ピンチイン／ピンチアウトジェスチャアイコンを表示する手段と、仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出する手段と、仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出することに応じて有効にされた仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識を表示する手段とを備える。情報処理装置は、適応入力デバイスから入力を受信する手段と、適応入力デバイスから入力を受信することに応じて有効にされたそれぞれの仮想ピンチイン／ピンチアウトジェスチャに従ってズーム動作を実行する手段とを更に備える。
いくつかの実施形態によると、方法は、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにおいて実行される。方法は、仮想ジェスチャアイコンを表示することと、仮想ジェスチャアイコンの選択を検出することと、仮想ジェスチャアイコンの選択を検出することに応じて仮想ジェスチャのメニューを表示することとを備える。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコンを含む。方法は、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することと、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて、それぞれの仮想ジェスチャに対応する動作を実行することとを更に備える。
いくつかの実施形態によると、電子デバイスは、ディスプレイと、タッチセンシティブ面と、１つ以上のプロセッサと、メモリと、１つ以上のプログラムとを備える。１つ以上のプログラムは、メモリに格納され、１つ以上のプロセッサにより実行されるように構成される。１つ以上のプログラムは、仮想ジェスチャアイコンを表示する命令と、仮想ジェスチャアイコンの選択を検出する命令と、仮想ジェスチャアイコンの選択を検出することに応じて仮想ジェスチャのメニューを表示する命令とを含む。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコンを含む。１つ以上のプログラムは、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出する命令と、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて、それぞれの仮想ジェスチャに対応する動作を実行する命令とを更に含む。
いくつかの実施形態によると、コンピュータ可読記憶媒体は、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにより実行された場合に、デバイスが仮想ジェスチャアイコンを表示する命令と、デバイスが仮想ジェスチャアイコンの選択を検出する命令と、仮想ジェスチャアイコンの選択を検出することに応じてデバイスが仮想ジェスチャのメニューを表示する命令とを格納している。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコンを含む。更に命令により、デバイスは、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出し、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて、それぞれの仮想ジェスチャに対応する動作を実行する。
いくつかの実施形態によると、ディスプレイと、タッチセンシティブ面と、メモリと、メモリに格納された１つ以上のプログラムを実行するための１つ以上のプロセッサとを有する電子デバイスにおけるグラフィカルユーザインタフェースは、仮想ジェスチャアイコンを含む。仮想ジェスチャアイコンの選択を検出することに応じて、仮想ジェスチャのメニューが表示される。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコンを含む。仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて、それぞれの仮想ジェスチャに対応する動作が実行される。
いくつかの実施形態によると、電子デバイスは、ディスプレイと、タッチセンシティブ面と、仮想ジェスチャアイコンを表示する手段と、仮想ジェスチャアイコンの選択を検出する手段と、仮想ジェスチャアイコンの選択を検出することに応じて有効にされた仮想ジェスチャのメニューを表示する手段とを備える。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコンを含む。電子デバイスは、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出する手段と、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて有効にされたそれぞれの仮想ジェスチャに対応する動作を実行する手段とを備える。
いくつかの実施形態によると、ディスプレイ及びタッチセンシティブ面を有する電子デバイス用の情報処理装置は、仮想ジェスチャアイコンを表示する手段と、仮想ジェスチャアイコンの選択を検出する手段と、仮想ジェスチャアイコンの選択を検出することに応じて有効にされた仮想ジェスチャのメニューを表示する手段とを備える。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコンを含む。情報処理装置は、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出する手段と、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて有効にされたそれぞれの仮想ジェスチャに対応する動作を実行する手段とを備える。
いくつかの実施形態によると、方法は、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにおいて実行される。方法は、仮想デバイスアイコンを表示することと、仮想デバイスアイコンの選択を検出することと、仮想デバイスアイコンの選択を検出することに応じて仮想デバイス動作のメニューを表示することとを備える。仮想デバイス動作のメニューは、仮想デバイス動作の種類を示す複数のアイコンを含む。方法は、仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出することと、
仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出することに応じて、それぞれの仮想デバイス動作に対応する動作を実行することとを更に備える。
いくつかの実施形態によると、電子デバイスは、ディスプレイと、タッチセンシティブ面と、１つ以上のプロセッサと、メモリと、１つ以上のプログラムとを備える。１つ以上のプログラムは、メモリに格納され、１つ以上のプロセッサにより実行されるように構成される。１つ以上のプログラムは、仮想デバイスアイコンを表示する命令と、仮想デバイスアイコンの選択を検出する命令と、仮想デバイスアイコンの選択を検出することに応じて仮想デバイス動作のメニューを表示する命令とを含む。仮想デバイス動作のメニューは、仮想デバイス動作の種類を示す複数のアイコンを含む。１つ以上のプログラムは、仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出する命令と、仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出することに応じて、それぞれの仮想デバイス動作に対応する動作を実行する命令とを更に含む。
いくつかの実施形態によると、コンピュータ可読記憶媒体は、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにより実行された場合に、デバイスが仮想デバイスアイコンを表示する命令と、デバイスが仮想デバイスアイコンの選択を検出する命令と、仮想デバイスアイコンの選択を検出することに応じて、デバイスが仮想デバイス動作のメニューを表示する命令とを格納している。仮想デバイス動作のメニューは、仮想デバイス動作の種類を示す複数のアイコンを含む。更に命令により、デバイスは、仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出し、仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出することに応じて、それぞれの仮想デバイス動作に対応する動作を実行する。
いくつかの実施形態によると、ディスプレイと、タッチセンシティブ面と、メモリと、メモリに格納された１つ以上のプログラムを実行するための１つ以上のプロセッサとを有する電子デバイスにおけるグラフィカルユーザインタフェースは、仮想デバイスアイコン含む。仮想デバイスアイコンの選択を検出することに応じて、仮想デバイス動作のメニューが表示される。仮想デバイス動作のメニューは、仮想デバイス動作の種類を示す複数のアイコンを含む。仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出することに応じて、それぞれの仮想デバイス動作に対応する動作が実行される。
いくつかの実施形態によると、電子デバイスは、ディスプレイと、タッチセンシティブ面と、仮想デバイスアイコンを表示する手段と、仮想デバイスアイコンの選択を検出する手段と、仮想デバイスアイコンの選択を検出することに応じて有効にされた仮想デバイス動作のメニューを表示する手段とを備える。仮想デバイス動作のメニューは、仮想デバイス動作の種類を示す複数のアイコンを含む。電子デバイスは、仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出する手段と、仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出することに応じて有効にされたそれぞれの仮想デバイス動作に対応する動作を実行する手段とを更に備える。
いくつかの実施形態によると、ディスプレイ及びタッチセンシティブ面を有する電子デバイス用の情報処理装置は、仮想デバイスアイコンを表示する手段と、仮想デバイスアイコンの選択を検出する手段と、仮想デバイスアイコンの選択を検出することに応じて有効にされた仮想デバイス動作のメニューを表示する手段とを備える。仮想デバイス動作のメニューは、仮想デバイス動作の種類を示す複数のアイコンを含む。情報処理装置は、仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出する手段と、仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出することに応じて有効にされたそれぞれの仮想デバイス動作に対応する動作を実行する手段とを更に備える。
いくつかの実施形態によると、方法は、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにおいて実行される。方法は、仮想デバイス回転アイコンを表示することと、仮想デバイス回転アイコンの選択を検出することと、仮想デバイス回転アイコンの選択を検出することに応じて仮想デバイスの向きのメニューを表示することとを備える。仮想デバイスの向きのメニューは、仮想デバイスの向きの種類を示す複数のアイコンを含む。方法は、仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出することと、仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出することに応じて、それぞれの仮想デバイスの向きに従って表示を配向させることとを更に備える。
いくつかの実施形態によると、電子デバイスは、ディスプレイと、タッチセンシティブ面と、１つ以上のプロセッサと、メモリと、１つ以上のプログラムとを備える。１つ以上のプログラムは、メモリに格納され、１つ以上のプロセッサにより実行されるように構成される。１つ以上のプログラムは、仮想デバイス回転アイコンを表示する命令と、仮想デバイス回転アイコンの選択を検出する命令と、仮想デバイス回転アイコンの選択を検出することに応じて仮想デバイスの向きのメニューを表示する命令とを備える。仮想デバイスの向きのメニューは、仮想デバイスの向きの種類を示す複数のアイコンを含む。１つ以上のプログラムは、仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出する命令と、仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出することに応じて、それぞれの仮想デバイスの向きに従って表示を配向させる命令とを含む。
いくつかの実施形態によると、コンピュータ可読記憶媒体は、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにより実行された場合に、デバイスが仮想デバイス回転アイコンを表示する命令と、デバイスが仮想デバイス回転アイコンの選択を検出する命令と、仮想デバイス回転アイコンの選択を検出することに応じて、デバイスが仮想デバイスの向きのメニューを表示する命令とを格納している。仮想デバイスの向きのメニューは、仮想デバイスの向きの種類を示す複数のアイコンを含む。更に命令により、デバイスは、仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出し、仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出することに応じて、それぞれの仮想デバイスの向きに従って表示を配向させる。
いくつかの実施形態によると、ディスプレイと、タッチセンシティブ面と、メモリと、メモリに格納された１つ以上のプログラムを実行するための１つ以上のプロセッサとを有する電子デバイスにおけるグラフィカルユーザインタフェースは、仮想デバイス回転アイコンを含む。仮想デバイス回転アイコンの選択を検出することに応じて、仮想デバイスの向きのメニューが表示される。仮想デバイスの向きのメニューは、仮想デバイスの向きの種類を示す複数のアイコンを含む。仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出することに応じて、それぞれの仮想デバイスの向きに従って表示が配向される。
いくつかの実施形態によると、電子デバイスは、ディスプレイと、タッチセンシティブ面と、仮想デバイス回転アイコンを表示する手段と、仮想デバイス回転アイコンの選択を検出する手段と、仮想デバイス回転アイコンの選択を検出することに応じて有効にされた仮想デバイスの向きのメニューを表示する手段とを備える。仮想デバイスの向きのメニューは、仮想デバイスの向きの種類を示す複数のアイコンを含む。電子デバイスは、仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出する手段と、仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出することに応じて有効にされたそれぞれの仮想デバイスの向きに従って表示を配向させる手段とを更に備える。
いくつかの実施形態によると、ディスプレイ及びタッチセンシティブ面を有する電子デバイス用の情報処理装置は、仮想デバイス回転アイコンを表示する手段と、仮想デバイス回転アイコンの選択を検出する手段と、仮想デバイス回転アイコンの選択を検出することに応じて有効にされた仮想デバイスの向きのメニューを表示する手段とを備える。仮想デバイスの向きのメニューは、仮想デバイスの向きの種類を示す複数のアイコンを含む。情報処理装置は、仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出する手段と、仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出することに応じて有効にされたそれぞれの仮想デバイスの向きに従って表示を配向させる手段とを更に備える。
いくつかの実施形態によると、方法は、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにおいて実行される。方法は、仮想ジェスチャ記録モードの間に複数の視覚標識をディスプレイに表示することを備える。方法は、複数の視覚標識の視覚標識毎に、
それぞれの視覚標識に対するそれぞれのユーザ入力を適応入力デバイスから受信することと、それぞれのユーザ入力に従ってそれぞれの視覚標識を移動することと、それぞれの視覚標識の移動に対応するそれぞれの軌跡をそれぞれの視覚標識と同時に表示することとを備える。方法は、複数の視覚標識及び複数の視覚標識の移動に対応するユーザ規定の仮想ジェスチャを作成することと、ユーザ規定の仮想ジェスチャを電子デバイスの所定の動作と関連付けることと、ユーザ規定の仮想ジェスチャを格納することとを更に備える。
いくつかの実施形態によると、電子デバイスは、ディスプレイと、タッチセンシティブ面と、１つ以上のプロセッサと、メモリと、１つ以上のプログラムとを備える。１つ以上のプログラムは、メモリに格納され、１つ以上のプロセッサにより実行されるように構成される。１つ以上のプログラムは、仮想ジェスチャ記録モードの間に複数の視覚標識をディスプレイに表示する命令を含む。１つ以上のプログラムは、複数の視覚標識の視覚標識毎に、それぞれの視覚標識に対するそれぞれのユーザ入力を適応入力デバイスから受信する命令と、それぞれのユーザ入力に従ってそれぞれの視覚標識を移動する命令と、それぞれの視覚標識の移動に対応するそれぞれの軌跡をそれぞれの視覚標識と同時に表示する命令とを含む。１つ以上のプログラムは、複数の視覚標識及び複数の視覚標識の移動に対応するユーザ規定の仮想ジェスチャを作成する命令と、ユーザ規定の仮想ジェスチャを電子デバイスの所定の動作と関連付ける命令と、ユーザ規定の仮想ジェスチャを格納する命令とを更に含む。
いくつかの実施形態によると、コンピュータ可読記憶媒体は、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにより実行された場合に、仮想ジェスチャ記録モードの間にデバイスが複数の視覚標識をディスプレイに表示する命令を格納している。命令により、デバイスは、複数の視覚標識の視覚標識毎に、それぞれの視覚標識に対するそれぞれのユーザ入力を適応入力デバイスから受信し、それぞれのユーザ入力に従ってそれぞれの視覚標識を移動し、それぞれの視覚標識の移動に対応するそれぞれの軌跡をそれぞれの視覚標識と同時に表示する。更に命令により、デバイスは、複数の視覚標識及び複数の視覚標識の移動に対応するユーザ規定の仮想ジェスチャを作成し、ユーザ規定の仮想ジェスチャを電子デバイスの所定の動作と関連付け、ユーザ規定の仮想ジェスチャを格納する。
いくつかの実施形態によると、ディスプレイと、タッチセンシティブ面と、メモリと、メモリに格納された１つ以上のプログラムを実行するための１つ以上のプロセッサとを有する電子デバイスにおけるグラフィカルユーザインタフェースは、仮想ジェスチャ記録モードの間にディスプレイに複数の視覚標識を含む。複数の視覚標識の視覚標識毎に、それぞれの視覚標識に対するそれぞれのユーザ入力が適応入力デバイスから受信され、それぞれの視覚標識がそれぞれのユーザ入力に従って移動され、それぞれの視覚標識の移動に対応するそれぞれの軌跡がそれぞれの視覚標識と同時に表示される。複数の視覚標識及び複数の視覚標識の移動に対応するユーザ規定の仮想ジェスチャが作成される。ユーザ規定の仮想ジェスチャは、電子デバイスの所定の動作と関連付けられる。ユーザ規定の仮想ジェスチャが格納される。
いくつかの実施形態によると、電子デバイスは、ディスプレイと、タッチセンシティブ面と、仮想ジェスチャ記録モードの間に有効にされた複数の視覚標識をディスプレイに表示する手段とを備える。電子デバイスは、複数の視覚標識の視覚標識毎に、それぞれの視覚標識に対するそれぞれのユーザ入力を適応入力デバイスから受信する手段と、それぞれのユーザ入力に従ってそれぞれの視覚標識を移動する手段と、それぞれの視覚標識の移動に対応するそれぞれの軌跡をそれぞれの視覚標識と同時に表示する手段とを備える。電子デバイスは、複数の視覚標識及び複数の視覚標識の移動に対応するユーザ規定の仮想ジェスチャを作成する手段と、ユーザ規定の仮想ジェスチャを電子デバイスの所定の動作と関連付ける手段と、ユーザ規定の仮想ジェスチャを格納する手段とを更に備える。
いくつかの実施形態によると、ディスプレイ及びタッチセンシティブ面を有する電子デバイス用の情報処理装置は、仮想ジェスチャ記録モードの間に有効にされた複数の視覚標識をディスプレイに表示する手段を備える。情報処理装置は、複数の視覚標識の視覚標識毎に、それぞれの視覚標識に対するそれぞれのユーザ入力を適応入力デバイスから受信する手段と、それぞれのユーザ入力に従ってそれぞれの視覚標識を移動する手段と、それぞれの視覚標識の移動に対応するそれぞれの軌跡をそれぞれの視覚標識と同時に表示する手段とを備える。情報処理装置は、複数の視覚標識及び複数の視覚標識の移動に対応するユーザ規定の仮想ジェスチャを作成する手段と、ユーザ規定の仮想ジェスチャを電子デバイスの所定の動作と関連付ける手段と、ユーザ規定の仮想ジェスチャを格納する手段とを更に備える。
いくつかの実施形態によると、電子デバイスは、仮想タッチに対応する第１の視覚標識を表示するように構成された表示ユニットと、指の接触を入力するように構成されたタッチセンシティブ面ユニットと、表示ユニット及びタッチセンシティブ面ユニットに結合された処理ユニットとを備える。処理ユニットは、適応入力デバイスから第１の入力を受信し、且つ適応入力デバイスから第１の入力を受信することに応じて、表示ユニットでの第１のメニューの表示を有効にするように構成される。第１のメニューは仮想タッチ選択アイコンを含む。仮想タッチ選択アイコンの選択を検出することに応じて、仮想マルチタッチ接触のメニューが表示される。
いくつかの実施形態によると、電子デバイスは、仮想タッチに対応する第１の視覚標識を表示するように構成された表示ユニットと、指の接触を入力するように構成されたタッチセンシティブ面と、表示ユニット及びタッチセンシティブ面ユニットに結合された処理ユニットとを備える。処理ユニットは、適応入力デバイスから第１の入力を受信し、且つ適応入力デバイスから第１の入力を受信することに応じて、仮想マルチタッチ接触のメニューの表示を有効にするように構成される。仮想マルチタッチ接触のメニューは、仮想マルチタッチ接触の種類を示す複数のアイコンを含む。処理ユニットは、仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出し、且つ仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出することに応じて、それぞれの仮想マルチタッチ接触アイコンに対応する１つ以上の第２の視覚標識の表示を有効にするように構成される。
いくつかの実施形態によると、電子デバイスは、仮想タッチに対応する第１の視覚標識を表示するように構成された表示ユニットと、指の接触を入力するように構成されたタッチセンシティブ面と、表示ユニット及びタッチセンシティブ面ユニットに結合された処理ユニットとを備える。処理ユニットは、適応入力デバイスから第１の入力を受信し、且つ適応入力デバイスから第１の入力を受信することに応じて、仮想ジェスチャのメニューの表示を有効にするように構成される。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコンを含む。処理ユニットは、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出し、且つ仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて、それぞれの仮想ジェスチャアイコンに対応する複数の視覚標識の表示を有効にするように構成される。処理ユニットは、適応入力デバイスから第２の入力を受信し、且つ適応入力デバイスから第２の入力を受信することに応じて、それぞれの仮想ジェスチャに従って動作を実行するように構成される。
いくつかの実施形態によると、電子デバイスは、仮想ピンチイン／ピンチアウトジェスチャアイコンを表示するように構成された表示ユニットと、指の接触を入力するように構成されたタッチセンシティブ面ユニットと、表示ユニット及びタッチセンシティブ面ユニットに結合された処理ユニットとを備える。処理ユニットは、仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出し、且つ仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出することに応じて、仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識の表示を有効にするように構成される。処理ユニットは、適応入力デバイスから入力を受信し、且つ適応入力デバイスから入力を受信することに応じて、それぞれの仮想ピンチイン／ピンチアウトジェスチャに従ってズーム動作を実行するように構成される。
いくつかの実施形態によると、電子デバイスは、仮想ジェスチャアイコンを表示するように構成された表示ユニットと、指の接触を入力するように構成されたタッチセンシティブ面と、表示ユニット及びタッチセンシティブ面ユニットに結合された処理ユニットとを備える。処理ユニットは、仮想ジェスチャアイコンの選択を検出し、且つ仮想ジェスチャアイコンの選択を検出することに応じて仮想ジェスチャのメニューの表示を有効にするように構成される。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコンを含む。処理ユニットは、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出し、且つ仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて、それぞれの仮想ジェスチャに対応する動作を実行するように構成される。
いくつかの実施形態によると、電子デバイスは、仮想デバイスアイコンを表示するように構成された表示ユニットと、指の接触を入力するように構成されたタッチセンシティブ面ユニットと、表示ユニット及びタッチセンシティブ面ユニットに結合された処理ユニットとを備える。処理ユニットは、仮想デバイスアイコンの選択を検出し、且つ仮想デバイスアイコンの選択を検出することに応じて、仮想デバイス動作のメニューの表示を有効にするように構成される。仮想デバイス動作のメニューは、仮想デバイス動作の種類を示す複数のアイコンを含む。処理ユニットは、仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出し、且つ仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出することに応じて、それぞれの仮想デバイス動作に対応する動作を実行するように構成される。
いくつかの実施形態によると、電子デバイスは、仮想デバイス回転アイコンを表示するように構成された表示ユニットと、指の接触を入力するように構成されたタッチセンシティブ面ユニットと、表示ユニット及びタッチセンシティブ面ユニットに結合された処理ユニットとを備える。処理ユニットは、仮想デバイス回転アイコンの選択を検出し、且つ仮想デバイス回転アイコンの選択を検出することに応じて、仮想デバイスの向きのメニューの表示を有効にするように構成される。仮想デバイスの向きのメニューは、仮想デバイスの向きの種類を示す複数のアイコンを含む。処理ユニットは、仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出し、且つ仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出することに応じて、それぞれの仮想デバイスの向きに従って表示を配向させるように構成される。
いくつかの実施形態によると、電子デバイスは、視覚標識を表示するように構成された表示ユニットと、指の接触を入力するように構成されたタッチセンシティブ面ユニットと、表示ユニット及びタッチセンシティブ面ユニットに結合された処理ユニットとを備える。処理ユニットは、仮想ジェスチャ記録モードの間に表示ユニットでの複数の視覚標識の表示を有効にするように構成される。処理ユニットは、複数の視覚標識の視覚標識毎に、それぞれの視覚標識に対するそれぞれのユーザ入力を適応入力デバイスから受信し、それぞれのユーザ入力に従ってそれぞれの視覚標識を移動し、且つそれぞれの視覚標識及びそれぞれの視覚標識の移動に対応するそれぞれの軌跡の同時表示を有効にするように構成される。処理ユニットは、複数の視覚標識及び複数の視覚標識の移動に対応するユーザ規定の仮想ジェスチャを作成し、ユーザ規定の仮想ジェスチャを電子デバイスの所定の動作と関連付け、且つユーザ規定の仮想ジェスチャを格納するように構成される。
従って、タッチユーザインタフェースを有する電子デバイスは、手の運動技能が満足でないユーザがこれらのデバイスを利用しやすくする方法及びインタフェースを与えられる。
本発明の上述した実施形態及び追加の実施形態をより適切に理解するために、以下の図面と共に以下の発明を実施するための形態を参照するべきである。図中、同様の図中符号は対応する部分を示す。
図１Ａは、いくつかの実施形態に係るタッチセンシティブディスプレイを有するポータブル多機能デバイスを示すブロック図である。 図１Ｂは、いくつかの実施形態に係る事象処理のための例示的な構成要素を示すブロック図である。 図２は、いくつかの実施形態に係るタッチスクリーンを有するポータブル多機能デバイスを示す図である。 図３は、いくつかの実施形態に係るディスプレイ及びタッチセンシティブ面を有する例示的な多機能デバイスを示すブロック図である。 図４Ａは、いくつかの実施形態に係るポータブル多機能デバイスにおけるアプリケーションのメニューに対する例示的なユーザインタフェースを示す図である。 図４Ｂは、いくつかの実施形態に係るディスプレイとは異なるタッチセンシティブ面を有する多機能デバイスに対する例示的なユーザインタフェースを示す図である。 図４Ｃは、いくつかの実施形態に係る多機能デバイスに対する例示的な適応入力デバイスを示す図である。 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 、 いくつかの実施形態に係るタッチユーザインタフェースを利用しやすくするための例示的なユーザインタフェースを示す図である。 、 、 、 、 いくつかの実施形態に係るタッチユーザインタフェースを利用しやすくする方法を示すフローチャートである。 図７は、いくつかの実施形態に係る仮想マルチタッチ接触アイコンのメニューを使用する方法を示すフローチャートである。 図８は、いくつかの実施形態に係る仮想ジェスチャのメニューを使用する方法を示すフローチャートである。 図９は、いくつかの実施形態に係る仮想ピンチジェスチャを実行する方法を示すフローチャートである。 図１０は、いくつかの実施形態に係る仮想ジェスチャのメニューを使用する方法を示すフローチャートである。 図１１は、いくつかの実施形態に係る仮想デバイス動作のメニューを使用する方法を示すフローチャートである。 図１２は、いくつかの実施形態に係る仮想デバイスの向きのメニューを使用する方法を示すフローチャートである。 図１３は、いくつかの実施形態に係るユーザ規定の仮想ジェスチャを作成する方法を示すフローチャートである。 図１４は、いくつかの実施形態に係る電子デバイスを示す機能ブロック図である。 図１５は、いくつかの実施形態に係る電子デバイスを示す機能ブロック図である。 図１６は、いくつかの実施形態に係る電子デバイスを示す機能ブロック図である。 図１７は、いくつかの実施形態に係る電子デバイスを示す機能ブロック図である。 図１８は、いくつかの実施形態に係る電子デバイスを示す機能ブロック図である。 図１９は、いくつかの実施形態に係る電子デバイスを示す機能ブロック図である。
タッチセンシティブ面を十分に操作できないユーザがタッチユーザインタフェースを有する電子デバイスを操作できるようにするデバイス及び方法を以下に説明する。本明細書で説明する方法は、以下のことを含む。
・実際のタッチをエミュレートするために、仮想タッチに対応する視覚標識を使用する。
・エミュレートされるマルチタッチ接触の種類を選択するために、適応入力デバイス（例えば、ジョイスティック）からの入力と共に仮想マルチタッチ接触のメニューを使用する。
・タッチセンシティブ面に対する実際のジェスチャを選択及びエミュレートするために、適応入力デバイスからの入力と共に仮想ジェスチャのメニューを使用する。
・タッチセンシティブ面に対するピンチイン／ピンチアウトジェスチャをエミュレートするために、適応入力デバイスからの入力と共に２つの視覚標識（２つの仮想タッチに対応する）を使用する。
・一般に電子デバイス上の物理的コントロール（例えば、ミュートスイッチ、ロックスイッチ、音量ボタン）の起動を介して、あるいは加速度計により検出された動作（例えば、デバイスの振動又はデバイスの回転）に応じて実行される動作を選択及びエミュレートするために、適応入力デバイスからの入力と共に仮想デバイス動作のメニューを使用する。
・ディスプレイの向きを制御するために、適応入力デバイスからの入力と共に仮想デバイスの向きのメニューを使用する。
・ユーザ規定のカスタム仮想ジェスチャを作成するために、適応入力デバイスからの入力を使用する。
これらの方法は、タッチセンシティブ面と対話するユーザに対して設計される動作（例えば、シングルタッチジェスチャ及びマルチタッチジェスチャ）をタッチセンシティブ面を使用しないユーザが利用しやすいようにする。
以下において、図１Ａ及び図１Ｂ、図２、並びに図３は例示的なデバイスを説明する。図４Ｃは、適応入力デバイスと結合された例示的なデバイスを説明する。図４Ａ及び図４Ｂ、並びに図５Ａ〜図５ＡＣは、タッチユーザインタフェースを利用しやすくするための例示的なユーザインタフェースを示す。図６Ａ〜図６Ｅ及び図７〜図１３は、タッチユーザインタフェースを利用しやすくする方法を示すフローチャートである。図５Ａ〜図５ＡＣのユーザインタフェースは、図６Ａ〜図６Ｅ及び図７〜図１３の処理を示すために使用される。
例示的なデバイス
実施形態を詳細に参照する。実施形態の例を添付の図面に示す。以下の詳細な説明において、本発明を完全に理解できるように多くの特定の詳細を示す。しかし、本発明は、それら特定の詳細を含まずに実施されてもよいことが当業者には明らかとなるだろう。他の例において、実施形態の態様を不必要に曖昧にしないために、周知の方法、手順、構成要素、回路及びネットワークについては詳細に説明していない。
本明細書において種々の要素を説明するために第１、第２等の用語が使用されてもよいが、それらの要素はこれらの用語により限定されるべきではないことが理解されるだろう。これらの用語は、１つの要素を別の要素と区別するためだけに使用される。例えば本発明の範囲から逸脱せずに、第１のコンタクトが第２のコンタクトと呼ばれてよく、同様に第２のコンタクトが第１のコンタクトと呼ばれてよい。第１のコンタクト及び第２のコンタクトは、双方ともコンタクトであるが同一のコンタクトではない。
本明細書の本発明の説明において使用される専門用語は、特定の実施形態を説明するためだけのものであり、本発明を限定することを意図しない。本発明の説明及び添付の特許請求の範囲において使用されるように、特に指定のない限り、単数形は複数形も含むことを意図する。本明細書で使用されるような「及び／又は」という用語は、一覧表示された関連する項目の１つ以上のあらゆる全ての可能な組み合わせを参照し且つ含むことが理解されるだろう。「含む」及び／又は「備える」という用語は、本明細書で使用される場合、記載される特徴、数字、ステップ、動作、要素及び／又は構成要素の存在を特定するが、１つ以上の他の特徴、数字、ステップ、動作、要素、構成要素及び／又はそれらの集合の存在又は追加を除外しないことが更に理解されるだろう。
本明細書で使用されるように、「場合」という用語は、状況に応じて「時」、あるいは「判定することに応じて」又は「検出することに応じて」を意味すると解釈されてもよい。同様に、「判定された場合」又は「［明示された状態又は事象］が検出された場合」という句は、状況に応じて「判定した時」又は「判定することに応じて」、あるいは「［明示された状態又は事象］を検出した時」又は「［明示された状態又は事象］を検出することに応じて」を意味すると解釈されてもよい。
電子デバイス、そのようなデバイスに対するユーザインタフェース及びそのようなデバイスを使用するための関連する処理の実施形態を説明する。いくつかの実施形態において、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能等の他の機能も含む移動電話等のポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態は、アップル社（Ａｐｐｌｅ Ｉｎｃ．）（カリフォルニア州クパチーノ）のｉＰｈｏｎｅ(r)デバイス、ｉＰｏｄ Ｔｏｕｃｈ(r)デバイス及びｉＰａｄ(r)デバイスを含むがこれらに限定されない。タッチセンシティブ面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有するラップトップコンピュータ又はタブレットコンピュータ等の他のポータブル電子デバイスが更に使用されてもよい。いくつかの実施形態において、デバイスは、ポータブル通信デバイスではなく、タッチセンシティブ面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有するデスクトップコンピュータであることが理解されるべきである。
以下の説明において、ディスプレイ及びタッチセンシティブ面を含む電子デバイスを説明する。しかし、電子デバイスは、物理的なキーボード、マウス及び／又はジョイスティック等の１つ以上の他の物理的なユーザインタフェースデバイスを含んでもよく、あるいはそれらの接続されてもよい（例えば、図４Ｃの有線又は無線の通信チャネル４８４により）ことが理解されるべきである。
一般にデバイスは、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、ワークアウトサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション及び／又はデジタルビデオプレーヤアプリケーションのうちの１つ以上等の種々のアプリケーションをサポートする。
デバイスにおいて実行されてもよい種々のアプリケーションは、タッチセンシティブ面等の少なくとも１つの共通の物理的なユーザインタフェースデバイスを使用してもよい。タッチセンシティブ面の１つ以上の機能及びデバイスに表示された対応する情報は、１つのアプリケーションから次のアプリケーションへ及び／又は各アプリケーション内で調整及び／又は変更されてもよい。このように、デバイスの共通の物理的アーキテクチャ（タッチセンシティブ面等）は、直観的で且つユーザに透過的なユーザインタフェースにより種々のアプリケーションをサポートしてもよい。
次に、タッチセンシティブディスプレイを有するポータブルデバイスの実施形態に注目する。図１Ａは、いくつかの実施形態に係るタッチセンシティブディスプレイ１１２を有するポータブル多機能デバイス１００を示すブロック図である。タッチセンシティブディスプレイ１１２は、便宜上「タッチスクリーン」と呼ばれる場合があり、タッチセンシティブディスプレイシステムとして既知であるか又はタッチセンシティブディスプレイシステムと呼ばれてもよい。デバイス１００は、メモリ１０２（１つ以上の非一時的なコンピュータ可読記憶媒体を含んでもよい）と、メモリコントローラ１２２と、１つ以上の処理ユニット（ＣＰＵ）１２０と、周辺インタフェース１１８と、ＲＦ回路網１０８と、オーディオ回路網１１０と、スピーカ１１１と、マイク１１３と、入出力（Ｉ／Ｏ）サブシステム１０６と、他の入力又は制御デバイス１１６と、外部ポート１２４とを含んでもよい。デバイス１００は、１つ以上の光センサ１６４を含んでもよい。これらの構成要素は、１つ以上の通信バス又は信号線１０３を介して通信してもよい。
デバイス１００は、ポータブル多機能デバイスの単なる一例であり、デバイス１００は、図示するより多くの又は少ない構成要素を有してもよく、２つ以上の構成要素を組み合わせてもよく、あるいは構成要素の異なる構成又は配置を有してもよいことが理解されるべきである。図１Ａに示した種々の構成要素は、１つ以上の信号処理及び／又は特定用途向け集積回路を含むハードウェア、ソフトウェア、あるいはハードウェア及びソフトウェア双方の組み合わせで実現されてもよい。
メモリ１０２は、高速ランダムアクセスメモリを含んでもよく、１つ以上の磁気ディスク記憶装置、フラッシュメモリ素子又は他の不揮発性固体メモリ素子等の不揮発性メモリを更に含んでもよい。ＣＰＵ１２０及び周辺インタフェース１１８等のデバイス１００の他の構成要素によるメモリ１０２へのアクセスは、メモリコントローラ１２２により制御されてもよい。
周辺インタフェース１１８は、デバイスの入出力周辺装置をＣＰＵ１２０及びメモリ１０２に結合するために使用されうる。１つ以上のプロセッサ１２０は、メモリ１０２に格納された種々のソフトウェアプログラム及び／又は命令の集合を実行し、デバイス１００に対して種々の機能を実行し且つデータを処理する。
いくつかの実施形態において、周辺インタフェース１１８、ＣＰＵ１２０及びメモリコントローラ１２２は、チップ１０４等のシングルチップに実現されてもよい。いくつかの他の実施形態において、それらは別個のチップに実現されてもよい。
ＲＦ（無線周波数）回路網１０８は、電磁信号とも呼ばれるＲＦ信号を受信及び送出する。ＲＦ回路網１０８は、電気信号を電磁信号に及び電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路網１０８は、それらの機能を実行する既知の回路網を含んでもよい。回路網は、アンテナシステム、ＲＦトランシーバ、１つ以上の増幅器、チューナ、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（ＳＩＭ）カード及びメモリ等を含むがこれらに限定されない。ＲＦ回路網１０８は、ワールドワイドウェブ（ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／あるいは携帯電話網、無線ローカルエリアネットワーク（ＬＡＮ）及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）等の無線ネットワーク等のネットワークと通信してもよく、無線通信により他のデバイスと通信してもよい。無線通信は、汎ヨーロッパデジタル移動通信システム（ＧＳＭ）、ＧＳＭの拡張向け高速データ（ＥＤＧＥ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、高速アップリンクパケットアクセス（ＨＳＵＰＡ）、広帯域符号分割多元接続（Ｗ−ＣＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（例えば、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ及び／又はＩＥＥＥ８０２．１１ｎ）、ＶｏＩＰ（ｖｏｉｃｅ ｏｖｅｒ ＩＰ（インターネットプロトコル））、Ｗｉ−ＭＡＸ、電子メールに対するプロトコル（例えば、インターネットメッセージアクセスプロトコル（ＩＭＡＰ）及び／又は郵便局プロトコル（ＰＯＰ））、インスタントメッセージング（例えば、拡張可能メッセージング／プレゼンスプロトコル（ＸＭＰＰ）、ＳＩＭＰＬＥ（ＳＩＰ（セッション開始プロトコル） ｆｏｒ Ｉｎｓｔａｎｔ Ｍｅｓｓａｇｉｎｇ ａｎｄ Ｐｒｅｓｅｎｃｅ Ｌｅｖｅｒａｇｉｎｇ Ｅｘｔｅｎｓｉｏｎｓ）、インスタントメッセージング／プレゼンスサービス（ＩＭＰＳ））及び／又はショートメッセージサービス（ＳＭＳ）、あるいは本明細書の出願時点ではまだ開発されていない通信プロトコルを含む他のあらゆる適切な通信プロトコルを含むがこれらに限定されない複数の通信規格、プロトコル及び技術のいずれかを使用してもよい。
オーディオ回路網１１０、スピーカ１１１及びマイク１１３は、ユーザとデバイス１００との間のオーディオインタフェースを提供する。オーディオ回路網１１０は、周辺インタフェース１１８からオーディオデータを受信し、オーディオデータを電気信号に変換し、電気信号をスピーカ１１１に送信する。スピーカ１１１は、電気信号を可聴音波に変換する。オーディオ回路網１１０は、マイク１１３により音波から変換された電気信号を更に受信する。オーディオ回路網１１０は、電気信号をオーディオデータに変換し、オーディオデータを処理するために周辺インタフェース１１８に送信する。オーディオデータは、周辺インタフェース１１８によりメモリ１０２及び／又はＲＦ回路網１０８から検索されてもよく且つ／又はメモリ１０２及び／又はＲＦ回路網１０８に送信されてもよい。いくつかの実施形態において、オーディオ回路網１１０はヘッドセットジャック（例えば、図２の２１２）を更に含む。ヘッドセットジャックは、出力のみのヘッドフォン又は出力（例えば、片耳又は両耳用ヘッドフォン）及び入力（例えば、マイク）の双方を有するヘッドセット等の取り外し可能オーディオ入出力周辺装置とオーディオ回路網１１０との間のインタフェースを提供する。
Ｉ／Ｏサブシステム１０６は、タッチスクリーン１１２及び他の入力制御デバイス１１６等のデバイス１００上の入出力周辺装置を周辺インタフェース１１８に結合する。Ｉ／Ｏサブシステム１０６は、ディスプレイコントローラ１５６及び他の入力デバイス又は制御デバイスに対する１つ以上の入力コントローラ１６０を含んでもよい。１つ以上の入力コントローラ１６０は、他の入力デバイス又は制御デバイス１１６から電気信号を受信し、他の入力デバイス又は制御デバイス１１６に電気信号を送出する。他の入力制御デバイス１１６は、物理的なボタン（例えば、押しボタン、ロッカーボタン等）、ダイヤル、スライダスイッチ、ジョイスティック及びクリックホイール等を含んでもよい。いくつかの別の実施形態において、入力コントローラ１６０は、キーボード、赤外線ポート、ＵＳＢポート及びマウス等のポインタデバイスのいずれかに結合されてもよい（又はいずれにも結合されなくてもよい）。１つ以上のボタン（例えば、図２の２０８）は、スピーカ１１１及び／又はマイク１１３の音量制御のための上下ボタンを含んでもよい。１つ以上のボタンは、押しボタン（例えば、図２の２０６）を含んでもよい。
タッチセンシティブディスプレイ１１２は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ１５６は、タッチスクリーン１１２から電気信号を受信し且つ／又はタッチスクリーン１１２に電気信号を送出する。タッチスクリーン１１２は、ユーザに対して視覚出力を表示する。視覚出力は、グラフィックス、テキスト、アイコン、ビデオ及びそれらのあらゆる組み合わせ（総称して「グラフィックス」と呼ぶ）を含んでもよい。いくつかの実施形態において、視覚出力の一部分又は全てはユーザインタフェースオブジェクトに対応してもよい。
タッチスクリーン１１２は、触覚及び／又は触感接触に基づいてユーザからの入力を受け入れるタッチセンシティブ面、センサ又はセンサの集合を有する。タッチスクリーン１１２及びディスプレイコントローラ１５６（メモリ１０２中のあらゆる関連するモジュール及び／又は命令の集合と共に）は、タッチスクリーン１１２に対する接触（及び接触のあらゆる移動又は中断）を検出し、検出した接触をタッチスクリーン１１２に表示されるユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ又は画像）との対話に変換する。例示的な一実施形態において、タッチスクリーン１１２とユーザとの間の接触点はユーザの指に対応する。
タッチスクリーン１１２は、ＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマーディスプレイ）技術又はＬＥＤ（発光ダイオード）技術を使用してもよいが、他のディスプレイ技術が他の実施形態において使用されてもよい。タッチスクリーン１１２及びディスプレイコントローラ１５６は、静電容量技術、抵抗技術、赤外線技術及び表面弾性波技術、並びに他の近接センサアレイ又はタッチスクリーン１１２との１つ以上の接触点を判定する他の要素を含むがこれらに限定されない現在既知であるか又は後で開発される複数のタッチ検知技術のいずれかを使用して接触及び接触のあらゆる移動又は中断を検出してもよい。例示的な一実施形態において、アップル社（Ａｐｐｌｅ Ｉｎｃ．）（カリフォルニア州クパチーノ）のｉＰｈｏｎｅ(r)、ｉＰｏｄ Ｔｏｕｃｈ(r)及びｉＰａｄ(r)において見られるような投影相互キャパシタンス感知技術が使用される。
タッチスクリーン１１２は、１００ｄｐｉを上回るビデオ解像度を有してもよい。いくつかの実施形態において、タッチスクリーンは、約１６０ｄｐｉのビデオ解像度を有する。ユーザは、スタイラス及び指等のあらゆる適切なオブジェクト又は付属品を使用してタッチスクリーン１１２と接触してもよい。いくつかの実施形態において、ユーザインタフェースは、主に指を使用した接触及びジェスチャで動作するように設計される。指を使用した接触及びジェスチャは、スタイラスを使用した入力と比較して、タッチスクリーンに対する指の接触面積が広いため精度が低くなりうる。いくつかの実施形態において、デバイスは、指を使用した粗入力を高精度なポインタ／カーソル位置又はユーザの所望の動作を実行するためのコマンドに変換する。
いくつかの実施形態において、タッチスクリーンに加えて、デバイス１００は、特定の機能を起動又は停止するためのタッチパッド（不図示）を含んでもよい。いくつかの実施形態において、タッチパッドは、タッチスクリーンとは異なり視覚出力を表示しないデバイスのタッチセンシティブ領域である。タッチパッドは、タッチスクリーン１１２とは異なるタッチセンシティブ面であってもよく、あるいはタッチスクリーンにより形成されたタッチセンシティブ面の拡張部であってもよい。
デバイス１００は、種々の構成要素に電力を供給する電力系統１６２を更に含む。電力系統１６２は、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、充電システム、電源異常検出回路、電力コンバータ又は電力インバータ、電力状態表示器（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイスにおける電力の生成、管理及び配分と関連する他のあらゆる構成要素を含んでもよい。
デバイス１００は、１つ以上の光センサ１６４を更に含んでもよい。図１Ａは、Ｉ／Ｏサブシステム１０６の光センサコントローラ１５８に結合された光センサを示す。光センサ１６４は、電荷結合素子（ＣＣＤ）又は相補型金属酸化膜半導体（ＣＭＯＳ）フォトトランジスタを含んでもよい。光センサ１６４は、１つ以上のレンズから投影される環境からの光を受け、その光を画像を表すデータに変換する。結像モジュール１４３（カメラモジュールとも呼ばれる）と共に、光センサ１６４は静止画又はビデオを撮影してもよい。いくつかの実施形態において、光センサは、タッチスクリーンディスプレイが静止画及び／又はビデオ画像を取得するためにファインダとして使用されてもよいようにデバイスの前面にあるタッチスクリーンディスプレイ１１２の反対側のデバイス１００の裏面に配置される。いくつかの実施形態において、別の光センサは、ユーザの画像がテレビ会議のために取得されてもよく、その一方でユーザがタッチスクリーンディスプレイにおいて他のテレビ会議参加者を見れるようにデバイスの前面に配置される。
デバイス１００は、１つ以上の近接センサ１６６を更に含んでもよい。図１Ａは、周辺インタフェース１１８に結合された近接センサ１６６を示す。あるいは、近接センサ１６６は、Ｉ／Ｏサブシステム１０６の入力コントローラ１６０に結合されてもよい。いくつかの実施形態において、多機能デバイスがユーザの耳の近くに置かれた時（例えば、ユーザが電話をかけている時）、近接センサは、電源が落とされ、タッチスクリーン１１２を無効にする。
デバイス１００は、１つ以上の加速度計１６８を更に含んでもよい。図１Ａは、周辺インタフェース１１８に結合された加速度計１６８を示す。あるいは、加速度計１６８は、Ｉ／Ｏサブシステム１０６の入力コントローラ１６０に結合されてもよい。いくつかの実施形態において、情報は、１つ以上の加速度計から受信されるデータの解析に基づいて縦表示又は横表示でタッチスクリーンディスプレイに表示される。デバイス１００は、加速度計１６８に加えて、デバイス１００の場所及び向き（例えば、縦向き又は横向き）に関する情報を取得するために磁力計（不図示）及びＧＰＳ（あるいはＧＬＯＮＡＳＳ又は他のグローバルナビゲーションシステム）受信機（不図示）をオプションとして含む。
いくつかの実施形態において、メモリ１０２に格納されたソフトウェアコンポーネントは、オペレーティングシステム１２６、通信モジュール（又は命令の集合）１２８、接触／動きモジュール（又は命令の集合）１３０、グラフィックスモジュール（又は命令の集合）１３２、テキスト入力モジュール（又は命令の集合）１３４、全地球測位システム（ＧＰＳ）モジュール（又は命令の集合）１３５及びアプリケーション（又は命令の集合）１３６を含む。更にいくつかの実施形態において、図１Ａ及び図３に示すように、メモリ１０２はデバイス／グローバル内部状態１５７を格納する。デバイス／グローバル内部状態１５７は、現在アクティブであるアプリケーションがある場合はそのアプリケーションを示すアクティブアプリケーション状態と、タッチスクリーンディスプレイ１１２の種々の領域を占有するアプリケーション、ビュー又は他の情報を示す表示状態と、デバイスの種々のセンサ及び入力制御デバイス１１６から取得される情報を含むセンサ状態と、デバイスの場所及び／又は姿勢に関する場所情報とのうちの１つ以上を含む。
オペレーティングシステム１２６（例えば、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ、ＯＳ Ｘ、ＷＩＮＤＯＷＳ又はＶｘＷｏｒｋｓ等の組み込みオペレーティングシステム）は、一般的なシステムタスク（例えば、メモリ管理、記憶装置制御、電力管理等）を制御及び管理する種々のソフトウェアコンポーネント及び／又はドライバを含み、種々のハードウェアコンポーネントとソフトウェアコンポーネントとの間の通信を容易にする。
通信モジュール１２８は、１つ以上の外部ポート１２４を介する他のデバイス（例えば、図４Ｃの適応入力デバイス４８２）との通信を容易にし、ＲＦ回路網１０８及び／又は外部ポート１２４により受信されたデータを処理するための種々のソフトウェアコンポーネントを更に含む。外部ポート１２４（例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＦＩＲＥＷＩＲＥ等）は、他のデバイス（例えば、図４Ｃの適応入力デバイス４８２）に直接結合するように構成されるか、あるいはネットワーク（例えば、インターネット、無線ＬＡＮ等）を介して間接的に結合するように構成される。いくつかの実施形態において、外部ポートは、ｉＰｏｄ（アップル社（Ａｐｐｌｅ Ｉｎｃ．）の登録商標）デバイスで使用される３０ピンコネクタと同一であるか、あるいはそれに類似し且つ／又は互換性がある複数ピン（例えば、３０ピン）コネクタである。
接触／動きモジュール１３０は、タッチスクリーン１１２（ディスプレイコントローラ１５６と共に）及び他のタッチセンシティブデバイス（例えば、タッチパッド又は物理的なクリックホイール）との接触を検出してもよい。接触／動きモジュール１３０は、接触が起こったかの判定（例えば、フィンガーダウン事象の検出）、接触の移動があるかの判定及びタッチセンシティブ面にわたる移動の追跡（例えば、１つ以上のフィンガードラッグ事象の検出）、並びに接触が中止されたかの判定（例えば、フィンガーアップ事象又は接触の中断の検出）等の接触の検出に関連する種々の動作を実行するための種々のソフトウェアコンポーネントを含む。接触／動きモジュール１３０は、タッチセンシティブ面から接触データを受信する。一連の接触データにより表される接触点の移動を判定することは、接触点の速度（ｓｐｅｅｄ）（大きさ）、速度（ｖｅｌｏｃｉｔｙ）（大きさ及び方向）及び／又は加速度（大きさ及び／又は方向の変化）を判定することを含んでもよい。これらの動作は、単一の接触（例えば、１本指の接触）又は複数の同時の接触（例えば、「マルチタッチ」／複数本指の接触）に適用されてもよい。いくつかの実施形態において、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッドに対する接触を検出する。
接触／動きモジュール１３０は、ユーザにより入力されたジェスチャを検出してもよい。タッチセンシティブ面に対する種々のジェスチャは、種々の接触パターンを有する。従って、ジェスチャは、特定の接触パターンを検出することにより検出されてもよい。例えばフィンガータップジェスチャを検出することは、フィンガーダウン事象を検出し、その後フィンガーダウン事象（例えば、アイコンの位置における）と同一の位置（又はほぼ同一の位置）におけるフィンガーアップ（リフトオフ）事象を検出することを含む。別の例として、タッチセンシティブ面でフィンガースワイプジェスチャを検出することは、フィンガーダウン事象を検出し、その後１つ以上のフィンガードラッグ事象を検出し、その後フィンガーアップ（リフトオフ）事象を検出することを含む。
グラフィックスモジュール１３２は、表示されるグラフィックスの明度を変更するコンポーネントを含むタッチスクリーン１１２又は他のディスプレイにグラフィックスをレンダリング及び表示する種々の既知のソフトウェアコンポーネントを含む。本明細書で使用されるように、「グラフィックス」という用語はユーザに対して表示されうるあらゆるオブジェクトを含み、オブジェクトはテキスト、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクト等）、デジタル画像、ビデオ及びアニメーション等を含むがこれらに限定されない。
いくつかの実施形態において、グラフィックスモジュール１３２は、使用されるグラフィックスを表すデータを格納する。各グラフィックスは対応するコードに割り当てられてもよい。グラフィックスモジュール１３２は、必要に応じて座標データ及び他のグラフィックスプロパティデータと共に表示されるグラフィックスを特定する１つ以上のコードをアプリケーション等から受信し、ディスプレイコントローラ１５６に出力するためにスクリーン画像データを生成する。
グラフィックスモジュール１３２の構成要素であってもよいテキスト入力モジュール１３４は、種々のアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７及びテキスト入力を必要とする他のあらゆるアプリケーション）にテキストを入力するためのソフトキーボードを提供する。
ＧＰＳモジュール１３５は、デバイスの場所を判定し、種々のアプリケーションにおいて使用するためにその情報を提供する（例えば、場所を使用して電話をかける際に使用するために電話１３８に、ピクチャ／ビデオメタデータとしてカメラ１４３に、並びに天気ウィジェット、ローカル職業別電話帳ウィジェット及びマップ／ナビゲーションウィジェット等の場所を使用したサービスを提供するアプリケーションに）。
アプリケーション１３６は、以下のモジュール（又は命令の集合）、あるいはそれらの部分集合又は上位集合を含んでもよい。
・連絡先モジュール１３７（電話帳又は連絡先リストと呼ばれる場合がある）
・電話モジュール１３８
・テレビ会議モジュール１３９
・電子メールクライアントモジュール１４０
・インスタントメッセージング（ＩＭ）モジュール１４１
・ワークアウトサポートモジュール１４２
・静止画及び／又はビデオ画像のためのカメラモジュール１４３
・画像管理モジュール１４４
・ブラウザモジュール１４７
・カレンダモジュール１４８
・天気ウィジェット１４９−１、株価ウィジェット１４９−２、計算機ウィジェット１４９−３、アラーム時計ウィジェット１４９−４、辞書ウィジェット１４９−５及びユーザにより取得された他のウィジェット、並びにユーザ作成ウィジェット１４９−６のうちの１つ以上の含んでもよいウィジェットモジュール１４９
・ユーザ作成ウィジェット１４９−６を作成するウィジェットクリエータモジュール１５０
・検索モジュール１５１
・ビデオプレーヤモジュール及び音楽プレーヤモジュールから構成されてもよいビデオ及び音楽プレーヤモジュール１５２
・メモモジュール１５３
・マップモジュール１５４及び／又は
・オンラインビデオモジュール１５５
メモリ１０２に格納されてもよい他のアプリケーション１３６の例は、他のワードプロセシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ対応アプリケーション、暗号化、デジタル権利管理、音声認識及び音声複製を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックスモジュール１３２及びテキスト入力モジュール１３４と共に、連絡先モジュール１３７は、電話帳又は連絡先リスト（例えば、メモリ１０２又はメモリ３７０中の連絡先モジュール１３７のアプリケーション初期状態１９２に格納された）を管理するために使用されてもよい。これは、電話帳に名前を追加すること、電話帳から名前を削除すること、電話番号、電子メールアドレス、住所又は他の情報を名前と関連付けること、画像を名前と関連付けること、名前を分類及びソートすること、並びに電話１３８、テレビ会議１３９、電子メール１４０又はＩＭ１４１による通信を開始及び／又は容易にするために電話番号又は電子メールアドレスを提供すること等を含む。
ＲＦ回路網１０８、オーディオ回路網１１０、スピーカ１１１、マイク１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックスモジュール１３２及びテキスト入力モジュール１３４と共に、電話モジュール１３８は、電話番号に対応する文字列を入力したり、電話帳１３７の１つ以上の電話番号にアクセスしたり、入力されている電話番号を修正したり、各電話番号をダイヤルしたり、会話をしたり、且つ会話が完了した時に切断するか又は電話を切ったりするために使用されてもよい。上述したように、無線通信は、複数の通信規格、プロトコル及び技術のうちのいずれかを使用してもよい。
ＲＦ回路網１０８、オーディオ回路網１１０、スピーカ１１１、マイク１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触モジュール１３０、グラフィックスモジュール１３２、テキスト入力モジュール１３４、連絡先リスト１３７及び電話モジュール１３８と共に、テレビ会議モジュール１３９は、ユーザ命令に従ってユーザと１人以上の他の参加者との間のテレビ会議を開始、実行及び終了する実行可能な命令を含む。
ＲＦ回路網１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックスモジュール１３２及びテキスト入力モジュール１３４と共に、電子メールクライアントモジュール１４０は、ユーザ命令に応じて電子メールを作成、送出、受信及び管理する実行可能な命令を含む。画像管理モジュール１４４と共に、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画又はビデオ画像を含む電子メールの作成及び送出を非常に容易にする。
ＲＦ回路網１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックスモジュール１３２及びテキスト入力モジュール１３４と共に、インスタントメッセージングモジュール１４１は、インスタントメッセージに対応する文字列を入力したり、以前に入力された文字を修正したり、各インスタントメッセージを送信したり（例えば、電話技術を使用したインスタントメッセージに対してショートメッセージサービス（ＳＭＳ）プロトコル又はマルチメディアメッセージサービス（ＭＭＳ）プロトコルを使用するか、あるいはインターネットを使用したインスタントメッセージに対してＸＭＰＰ、ＳＩＭＰＬＥ又はＩＭＰＳを使用して）、インスタントメッセージを受信したり、受信したインスタントメッセージを閲覧したりする実行可能な命令を含む。いくつかの実施形態において、送信及び／又は受信したインスタントメッセージは、ＭＭＳ及び／又は拡張メッセージングサービス（ＥＭＳ）でサポートされるようなグラフィックス、写真、オーディオファイル、ビデオファイル及び／又は他の添付ファイルを含んでもよい。本明細書で使用されるように、「インスタントメッセージング」は、電話技術を使用したメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送出されたメッセージ）及びインターネットを使用したメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ又はＩＭＰＳを使用して送出されたメッセージ）を示す。
ＲＦ回路網１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックスモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、マップモジュール１５４及び音楽プレーヤモジュール１４６と共に、ワークアウトサポートモジュール１４２は、ワークアウト（例えば、時間、距離及び／又はカロリー燃焼目標を含む）を作成したり、ワークアウトセンサ（スポーツデバイス）と通信したり、ワークアウトセンサデータを受信したり、ワークアウトを監視するために使用されるセンサを校正したり、ワークアウトのための音楽を選択及び再生したり、並びにワークアウトデータを表示、格納及び送信したりする実行可能な命令を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触モジュール１３０、グラフィックスモジュール１３２及び画像管理モジュール１４４と共に、カメラモジュール１４３は、静止画又はビデオ（ビデオストリームを含む）を撮影してそれらをメモリ１０２に格納したり、静止画又はビデオの特性を修正したり、あるいは静止画又はビデオをメモリ１０２から削除したりする実行可能な命令を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックスモジュール１３２、テキスト入力モジュール１３４及びカメラモジュール１４３と共に、画像管理モジュール１４４は、静止画及び／又はビデオ画像を整理、修正（例えば、編集）、あるいは操作、ラベル付け、削除、プレゼンテーション（例えば、デジタルスライドショー又はアルバムにおいて）及び格納する実行可能な命令を含む。
ＲＦ回路網１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックスモジュール１３２及びテキスト入力モジュール１３４と共に、ブラウザモジュール１４７は、ウェブページ又はその一部分、並びにウェブページにリンクされた添付ファイル及び他のファイルを検索、リンク、受信及び表示することを含むユーザ命令に従ってインターネットをブラウズする実行可能な命令を含む。
ＲＦ回路網１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックスモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０及びブラウザモジュール１４７と共に、カレンダモジュール１４８は、ユーザ命令に従ってカレンダ及びカレンダと関連付けられたデータ（例えば、カレンダエントリ、ｔｏ ｄｏリスト等）を作成、表示、修正及び格納する実行可能な命令を含む。
ＲＦ回路網１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックスモジュール１３２、テキスト入力モジュール１３４及びブラウザモジュール１４７と共に、ウィジェットモジュール１４９は、ユーザによりダウンロード及び使用されてもよいミニアプリケーション（例えば、天気ウィジェット１４９−１、株価ウィジェット１４９−２、計算機ウィジェット１４９−３、アラーム時計ウィジェット１４９−４及び辞書ウィジェット１４９−５）、あるいはユーザにより作成されてもよいミニアプリケーション（例えば、ユーザ作成ウィジェット１４９−６）である。いくつかの実施形態において、ウィジェットは、ＨＴＭＬ（ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（カスケーディングスタイルシート）ファイル及びＪａｖａＳｃｒｉｐｔファイルを含む。いくつかの実施形態において、ウィジェットは、ＸＭＬ（拡張マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
ＲＦ回路網１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックスモジュール１３２、テキスト入力モジュール１３４及びブラウザモジュール１４７と共に、ウィジェットクリエータモジュール１５０は、ウィジェットを作成するためにユーザにより使用されてもよい（例えば、ウェブページのユーザ指定の部分をウィジェットにする）。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックスモジュール１３２及びテキスト入力モジュール１３４と共に、検索モジュール１５１は、ユーザ命令に従って１つ以上の検索基準（例えば、１つ以上のユーザ指定の検索語）に一致するメモリ１０２中のテキスト、音楽、サウンド、画像、ビデオ及び／又は他のファイルを検索する実行可能な命令を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックスモジュール１３２、オーディオ回路網１１０、スピーカ１１１、ＲＦ回路網１０８及びブラウザモジュール１４７と共に、ビデオ及び音楽プレーヤモジュール１５２は、録音された音楽及びＭＰ３ファイル又はＡＡＣファイル等の１つ以上のファイル形式で格納された他のサウンドファイルをユーザがダウンロード及び再生することを可能にする実行可能な命令、並びにビデオを表示、プレゼンテーション又は再生する（例えば、タッチスクリーン１１２又は外部ポート１２４を介して接続された外部ディスプレイにおいて）実行可能な命令を含む。いくつかの実施形態において、デバイス１００は、ｉＰｏｄ（アップル社（Ａｐｐｌｅ Ｉｎｃ．）の登録商標）等のＭＰ３プレーヤの機能性を含んでもよい。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックスモジュール１３２及びテキスト入力モジュール１３４と共に、メモモジュール１５３は、ユーザ命令に従ってメモ及びｔｏ ｄｏリスト等を作成及び管理する実行可能な命令を含む。
ＲＦ回路網１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックスモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５及びブラウザモジュール１４７と共に、マップモジュール１５４は、ユーザ命令に従ってマップ及びマップと関連付けられたデータ（例えば、走行方向、特定の場所又はその近くの店舗及び他の地点情報に関するデータ、並びに他の場所に基づくデータ）を受信、表示、修正及び格納するために使用されてもよい。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックスモジュール１３２、オーディオ回路網１１０、スピーカ１１１、ＲＦ回路網１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０及びブラウザモジュール１４７と共に、オンラインビデオモジュール１５５は、ユーザが特定のオンラインビデオへのリンクを含む電子メールにアクセスし、それをブラウズ、受信（例えば、ストリーミング及び／又はダウンロードすることにより）、再生（例えば、タッチスクリーン又は外部ポート１２４を介して接続された外部ディスプレイにおいて）、送出し、あるいはＨ．２６４等の１つ以上のファイル形式でオンラインビデオを管理することを可能にする命令を含む。いくつかの実施形態において、特定のオンラインビデオへのリンクを送出するために、電子メールクライアントモジュール１４０ではなくインスタントメッセージングモジュール１４１が使用される。
上記の識別されたモジュール及びアプリケーションの各々は、上述した１つ以上の機能及び本出願で説明された方法（例えば、コンピュータにより実現される方法及び本明細書で説明する他の情報処理方法）を実行する実行可能な命令の集合に対応する。これらのモジュール（すなわち、命令の集合）は、独立したソフトウェアプログラム、手順又はモジュールとして実現される必要はないため、種々の実施形態においてこれらのモジュールの種々の部分集合が組み合わされてもよく、あるいは再構成されてもよい。いくつかの実施形態において、メモリ１０２は、上記で識別されたモジュール及びデータ構造の部分集合を格納してもよい。更にメモリ１０２は、上述されていない追加のモジュール及びデータ構造を格納してもよい。
いくつかの実施形態において、デバイス１００は、デバイスにおける所定の機能の集合の動作がタッチスクリーン及び／又はタッチパッドを介して排他的に実行されるデバイスである。デバイス１００の動作に対する主な入力制御デバイスとしてタッチスクリーン及び／又はタッチパッドを使用することにより、デバイス１００における物理的な入力制御デバイス（例えば、押しボタン及びダイヤル等）の数が減少されてもよい。
タッチスクリーン及び／又はタッチパッドを介して排他的に実行されてもよい所定の機能の集合は、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態において、タッチパッドは、ユーザによりタッチされた時にデバイス１００に表示されてもよいあらゆるユーザインタフェースからメインメニュー、ホームメニュー又はルートメニューにデバイス１００を操作する。そのような実施形態において、タッチパッドは「メニューボタン」と呼ばれてもよい。いくつかの他の実施形態において、メニューボタンは、タッチパッドではなく物理的な押しボタン又は他の物理的な入力制御デバイスであってもよい。
図１Ｂは、いくつかの実施形態に係る事象処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態において、メモリ１０２（図１Ａの）又はメモリ３７０（図３）は、事象ソータ１７０（例えば、オペレーティングシステム１２６における）及び各アプリケーション１３６−１（例えば、上述したアプリケーション１３７〜１５１、１５５、３８０〜３９０のうちのいずれか）を含む。
事象ソータ１７０は、事象情報を受信し、アプリケーション１３６−１及び事象情報の配信先となるアプリケーション１３６−１のアプリケーションビュー１９１を判定する。事象ソータ１７０は、事象モニタ１７１及び事象ディスパッチャモジュール１７４を含む。いくつかの実施形態において、アプリケーション１３６−１はアプリケーション内部状態１９２を含み、これは、アプリケーションがアクティブであるか又は実行している時にタッチセンシティブディスプレイ１１２に表示される現在のアプリケーションビューを示す。いくつかの実施形態において、デバイス／グローバル内部状態１５７は、現在アクティブであるアプリケーションを判定するために事象ソータ１７０により使用され、アプリケーション内部状態１９２は、事象情報の配信先となるアプリケーションビュー１９１を判定するために事象ソータ１７０により使用される。
いくつかの実施形態において、アプリケーション内部状態１９２は、アプリケーション１３６−１が実行を再開する時に使用される再開情報と、表示されている情報を示すか又はアプリケーション１３６−１による表示の準備が整っているユーザインタフェース状態情報と、ユーザが前の状態又はアプリケーション１３６−１のビューに戻ることを可能にする状態キューと、ユーザにより行われた前の動作のリドゥ／アンドゥキューとのうちの１つ以上等の追加の情報を含む。
事象モニタ１７１は、周辺インタフェース１１８から事象情報を受信する。事象情報は、サブ事象（例えば、マルチタッチジェスチャの一部分であるタッチセンシティブディスプレイ１１２に対するユーザタッチ）に関する情報を含む。周辺インタフェース１１８は、近接センサ１６６等のセンサ、加速度計１６８及び／又はマイク１１３、あるいはＩ／Ｏサブシステム１０６から受信する（オーディオ回路網１１０を介して）情報を送信する。周辺インタフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチセンシティブディスプレイ１１２又はタッチセンシティブ面からの情報を含む。
いくつかの実施形態において、事象モニタ１７１は、所定の間隔で周辺インタフェース１１８に要求を送出する。それに応じて、周辺インタフェース１１８は事象情報を送信する。他の実施形態において、周辺インタフェース１１８は、重要な事象（例えば、所定の雑音閾値より高く且つ／又は所定の期間より長い期間の入力の受信）があった時にのみ事象情報を送信する。
いくつかの実施形態において、事象ソータ１７０は、ヒットビュー判定モジュール１７２及び／又はアクティブ事象レコグナイザ判定モジュール１７３を更に含む。
ヒットビュー判定モジュール１７２は、タッチセンシティブディスプレイ１１２が２つ以上のビューを表示した時にサブ事象が行われた１つ以上のビュー内の場所を判定するソフトウェア手順を提供する。ビューは、ユーザがディスプレイで見ることのできるコントロール及び他の要素から構成される。
アプリケーションと関連付けられたユーザインタフェースの別の態様は、本明細書においてアプリケーションビュー又はユーザインタフェースウィンドウと呼ばれる場合があるビューの集合であり、このビューにおいて、情報が表示され且つタッチジェスチャが発生する。タッチが検出されるアプリケーションビュー（各アプリケーションの）は、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応してもよい。例えばタッチが検出される最下位レベルのビューはヒットビューと呼ばれてもよく、適切な入力として認識される事象の集合は、タッチジェスチャを開始する最初のタッチのヒットビューに少なくとも部分的に基づいて判定されてもよい。
ヒットビュー判定モジュール１７２は、タッチジェスチャのサブ事象に関連する情報を受信する。アプリケーションが階層に編成された複数のビューを有する場合、ヒットビュー判定モジュール１７２は、サブ事象を処理すべき階層の最下位のビューとしてヒットビューを識別する。殆どの状況において、ヒットビューは、開始サブ事象（すなわち、事象又は潜在的な事象を形成するサブ事象のシーケンスの第１のサブ事象）が発生する最下位レベルのビューである。ヒットビューは、ヒットビュー判定モジュールにより識別されると、一般に、ヒットビューとして識別された同一のタッチ又は入力ソースに関連する全てのサブ事象を受信する。
アクティブ事象レコグナイザ判定モジュール１７３は、特定のサブ事象のシーケンスを受信すべきであるビュー階層内の１つ以上のビューを判定する。いくつかの実施形態において、アクティブ事象レコグナイザ判定モジュール１７３は、ヒットビューのみが特定のサブ事象のシーケンスを受信すべきであると判定する。他の実施形態において、アクティブ事象レコグナイザ判定モジュール１７３は、サブ事象の物理的な場所を含む全てのビューが能動的に関わるビューであると判定するため、能動的に関わる全てのビューが特定のサブ事象のシーケンスを受信すべきであると判定する。他の実施形態において、タッチサブ事象が１つの特定のビューと関連付けられた領域に全体的に制限された場合でも、階層の上位レベルのビューは能動的に関わるビューとして依然として存在する。
事象ディスパッチャモジュール１７４は、事象情報を事象レコグナイザ（例えば、事象レコグナイザ１８０）にディスパッチする。アクティブ事象レコグナイザ判定モジュール１７３を含む実施形態において、事象ディスパッチャモジュール１７４は、アクティブ事象レコグナイザ判定モジュール１７３により判定された事象レコグナイザに事象情報を配信する。いくつかの実施形態において、事象ディスパッチャモジュール１７４は、各事象受信部モジュール１８２により検索される事象情報を事象キューに格納する。
いくつかの実施形態において、オペレーティングシステム１２６は事象ソータ１７０を含む。あるいは、アプリケーション１３６−１は事象ソータ１７０を含む。更に他の実施形態において、事象ソータ１７０は、スタンドアロンモジュールであるか、あるいは接触／動きモジュール１３０等のメモリ１０２に格納された別のモジュールの一部分である。
いくつかの実施形態において、アプリケーション１３６−１は、複数の事象ハンドラ１９０及び１つ以上のアプリケーションビュー１９１を含む。各アプリケーションビューは、アプリケーションのユーザインタフェースの各ビュー内で発生するタッチ事象を処理する命令を含む。アプリケーション１３６−１の各アプリケーションビュー１９１は、１つ以上の事象レコグナイザ１８０を含む。一般に、各アプリケーションビュー１９１は複数の事象レコグナイザ１８０を含む。他の実施形態において、１つ以上の事象レコグナイザ１８０は、ユーザインタフェースキット（不図示）又はアプリケーション１３６−１がメソッド及び他のプロパティを継承する上位レベルのオブジェクト等の独立したモジュールの一部分である。いくつかの実施形態において、各事象ハンドラ１９０は、データ更新部１７６、オブジェクト更新部１７７、ＧＵＩ更新部１７８及び／又は事象ソータ１７０から受信した事象データ１７９のうちの１つ以上を含む。事象ハンドラ１９０は、データ更新部１７６、オブジェクト更新部１７７又はＧＵＩ更新部１７８を利用するか又は呼び出して、アプリケーション内部状態１９２を更新してもよい。あるいは、１つ以上のアプリケーションビュー１９１は、１つ以上の各事象ハンドラ１９０を含む。また、いくつかの実施形態において、データ更新部１７６、オブジェクト更新部１７７及びＧＵＩ更新部１７８のうちの１つ以上が各アプリケーションビュー１９１に含まれる。
各事象レコグナイザ１８０は、事象ソータ１７０から事象情報（例えば、事象データ１７９）を受信し、事象情報から事象を識別する。事象レコグナイザ１８０は、事象受信部１８２及び事象比較部１８４を含む。いくつかの実施形態において、事象レコグナイザ１８０は、メタデータ１８３及び事象配信命令１８８（サブ事象配信命令を含んでもよい）の少なくとも部分集合を更に含む。
事象受信部１８２は、事象ソータ１７０から事象情報を受信する。事象情報は、サブ事象、例えばタッチ又はタッチの移動に関する情報を含む。サブ事象に依存して、事象情報は、サブ事象の場所等の追加の情報を更に含む。サブ事象がタッチの動きに関係する場合、事象情報は、サブ事象の速度及び方向を更に含んでもよい。いくつかの実施形態において、事象は１つの向きから別の向き（例えば、縦向きから横向き又は横向きから縦向き）へのデバイスの回転を含み、事象情報は、デバイスの現在の向き（デバイスの態勢とも呼ばれる）に関する対応する情報を含む。
事象比較部１８４は、事象情報を所定の事象定義又はサブ事象定義と比較し、その比較に基づいて、事象又はサブ事象を判定するか、あるいは事象又はサブ事象の状態を判定又は更新する。いくつかの実施形態において、事象比較部１８４は事象定義１８６を含む。事象定義１８６は、例えば事象１（１８７−１）及び事象２（１８７−２）等である事象（例えば、所定のサブ事象のシーケンス）の定義を含む。いくつかの実施形態において、事象１８７のサブ事象は、例えばタッチの開始、タッチの終了、タッチの移動、タッチの取り消し及び複数のタッチを含む。一例において、事象１（１８７−１）の定義は、表示されたオブジェクトに対するダブルタップである。例えばダブルタップは、所定のフェーズに対する表示オブジェクトへの第１のタッチ（タッチの開始）と、所定のフェーズに対する第１のリフトオフ（タッチの終了）と、所定のフェーズに対する表示オブジェクトへの第２のタッチ（タッチの開始）と、所定のフェーズに対する第２のリフトオフ（タッチの終了）とを含む。別の例において、事象２（１８７−２）の定義は、表示オブジェクトに対するドラッグである。例えばドラッグは、所定のフェーズに対する表示オブジェクトへのタッチ（又は接触）と、タッチセンシティブディスプレイ１１２にわたるタッチの移動と、タッチのリフトオフ（タッチの終了）とを含む。いくつかの実施形態において、事象は１つ以上の関連する事象ハンドラ１９０に対する情報を更に含む。
いくつかの実施形態において、事象定義１８７は、各ユーザインタフェースオブジェクトに対する事象の定義を含む。いくつかの実施形態において、事象比較部１８４は、サブ事象と関連付けられるユーザインタフェースオブジェクトを判定するためにヒットテストを実行する。例えば３つのユーザインタフェースオブジェクトがタッチセンシティブディスプレイ１１２に表示されるアプリケーションビューにおいて、タッチがタッチセンシティブディスプレイ１１２で検出された時、事象比較部１８４は、３つのユーザインタフェースオブジェクトのうちどのユーザインタフェースオブジェクトがタッチ（サブ事象）と関連付けられるかを判定するためにヒットテストを実行する。各表示オブジェクトが各事象ハンドラ１９０と関連付けられる場合、事象比較部は、ヒットテストの結果を使用して、起動されるべき事象ハンドラ１９０を判定する。例えば事象比較部１８４は、ヒットテストをトリガするオブジェクト及びサブ事象と関連付けられた事象ハンドラを選択する。
いくつかの実施形態において、各事象１８７の定義は、サブ事象のシーケンスが事象レコグナイザの事象の種類に対応するか否かを判定するまで事象情報の配信を遅延させる遅延動作を更に含む。
各事象レコグナイザ１８０は、一連のサブ事象が事象定義１８６のいずれの事象とも一致しないと判定した場合、事象不可能状態、事象失敗状態又は事象終了状態になり、その後、タッチジェスチャの後続のサブ事象を無視する。この状況において、ヒットビューに対してアクティブのままである他の事象レコグナイザがある場合、それらの事象レコグナイザは実行中のタッチジェスチャのサブ事象を追跡及び処理し続ける。
いくつかの実施形態において、各事象レコグナイザ１８０は、事象配信システムが能動的に関わる事象レコグナイザへのサブ事象配信を実行すべきである方法を示す設定可能なプロパティ、フラグ及び／又はリストを有するメタデータ１８３を含む。いくつかの実施形態において、メタデータ１８３は、事象レコグナイザが互いに対話してもよい方法を示す設定可能なプロパティ、フラグ及び／又はリストを含む。いくつかの実施形態において、メタデータ１８３は、サブ事象がビュー階層又はプログラム階層の種々のレベルに配信されるかを示す設定可能なプロパティ、フラグ及び／又はリストを含む。
いくつかの実施形態において、各事象レコグナイザ１８０は、事象の１つ以上の特定のサブ事象が認識された時に事象と関連付けられた事象ハンドラ１９０を起動する。いくつかの実施形態において、各事象レコグナイザ１８０は、事象と関連付けられた事象情報を事象ハンドラ１９０に配信する。事象ハンドラ１９０を起動することは、各ヒットビューへのサブ事象の送出（及び遅延された送出）とは異なる。いくつかの実施形態において、事象レコグナイザ１８０は、認識された事象と関連付けられたフラグをスローし、フラグと関連付けられた事象ハンドラ１９０は、フラグをキャッチして所定の処理を実行する。
いくつかの実施形態において、事象配信命令１８８は、事象ハンドラを起動することなくサブ事象に関する事象情報を配信するサブ事象配信命令を含む。その代わりに、サブ事象配信命令は、一連のサブ事象と関連付けられた事象ハンドラ又は能動的に関わるビューに事象情報を配信する。一連のサブ事象又は能動的に関わるビューと関連付けられた事象ハンドラは、事象情報を受信し、所定の処理を実行する。
いくつかの実施形態において、データ更新部１７６は、アプリケーション１３６−１で使用されるデータを作成及び更新する。例えばデータ更新部１７６は、連絡先モジュール１３７で使用される電話番号を更新するか、あるいはビデオプレーヤモジュール１４５で使用されるビデオファイルを格納する。いくつかの実施形態において、オブジェクト更新部１７７は、アプリケーション１３６−１で使用されるオブジェクトを作成及び更新する。例えばオブジェクト更新部１７６は、新しいユーザインタフェースオブジェクトを作成するか、あるいはユーザインタフェースオブジェクトの位置を更新する。ＧＵＩ更新部１７８はＧＵＩを更新する。例えばＧＵＩ更新部１７８は、表示情報を準備し、タッチセンシティブディスプレイに表示するためにその情報をグラフィックスモジュール１３２に送出する。
いくつかの実施形態において、事象ハンドラ１９０は、データ更新部１７６、オブジェクト更新部１７７及びＧＵＩ更新部１７８を含むか又はそれらへのアクセス権を有する。いくつかの実施形態において、データ更新部１７６、オブジェクト更新部１７７及びＧＵＩ更新部１７８は、アプリケーションビュー１９１又は各アプリケーション１３６−１の単一のモジュールに含まれる。他の実施形態において、それらは２つ以上のソフトウェアモジュールに含まれる。
タッチセンシティブディスプレイに対するユーザタッチの事象処理に関する上記説明は、入力デバイスを含む多機能デバイス１００を動作させるための他の形式のユーザ入力にも当てはまり、ユーザ入力の全てがタッチスクリーン上で開始されるわけではなく、例えば認識される事象を定義するサブ事象に対応する入力として利用されてもよいジョイスティック又はマウスの移動及びボタンの押下、単一又は複数のキーボードの押下あるいは保持、タッチパッドにおけるユーザの移動、タップ、ドラッグ、スクロール等、ペンスタイラスの入力、デバイスの移動、音声命令、検出された眼球運動、バイオメトリック入力、並びに／あるいはそれらの組み合わせを連携することが理解される。
図２は、いくつかの実施形態に係るタッチスクリーン１１２を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、ユーザインタフェース（ＵＩ）２００内に１つ以上のグラフィックスを表示してもよい。本実施形態及び以下に説明する他の実施形態において、ユーザは、例えば１本以上の指２０２（図中、縮尺通りに描かれていない）又は１つ以上のスタイラス２０３（図中、縮尺通りに描かれていない）を使用してグラフィックスに対してジェスチャを実行することにより１つ以上のグラフィックスを選択してもよい。いくつかの実施形態において、ユーザが１つ以上のグラフィックスとの接触を中断した時、１つ以上のグラフィックスの選択が行われる。いくつかの実施形態において、ジェスチャは、１つ以上のタップ、１つ以上のスワイプ（左から右、右から左、上方向及び／又は下方向）、並びに／あるいはデバイス１００と接触した指の回転（右から左、左から右、上方向及び／又は下方向）等のジェスチャを含む。いくつかの実施形態において、グラフィックスとの不注意による接触はそのグラフィックスを選択しなくてもよい。例えば選択に対応するジェスチャがタップである場合、アプリケーションアイコン上を移動するスワイプジェスチャは、対応するアプリケーションを選択しなくてもよい。
デバイス１００は、「ホーム」又はメニューボタン２０４等の１つ以上の物理的なボタンを更に含んでもよい。上述したように、メニューボタン２０４は、デバイス１００上で実行されてもよいアプリケーションの集合のいずれのアプリケーション１３６に操作するために使用されてもよい。あるいは、いくつかの実施形態において、メニューボタンは、タッチスクリーン１１２に表示されたＧＵＩのソフトキーとして実現される。
一実施形態において、デバイス１００は、タッチスクリーン１１２、メニューボタン２０４、デバイスの電源をＯＮ／ＯＦＦにし且つデバイスをロックするための押しボタン２０６、音量調整ボタン２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２及びドッキング／充電外部ポート１２４を含む。押しボタン２０６は、ボタンを押下し且つ押下状態で所定の時間間隔の間ボタンを保持することによりデバイスの電源をＯＮ／ＯＦＦし、ボタンを押下し且つ所定の時間間隔が経過する前にボタンを解放することによりデバイスをロックし、且つ／あるいはデバイスをアンロック又はアンロック処理を開始するために使用されてもよい。別の一実施形態において、デバイス１００は、マイク１１３を介していくつかの機能の起動又は停止のための音声入力を更に受け付けてもよい。
図３は、いくつかの実施形態に係るディスプレイ及びタッチセンシティブ面を有する例示的な多機能デバイスを示すブロック図である。デバイス３００は携帯可能である必要はない。いくつかの実施形態において、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育デバイス（子供の学習玩具等）、ゲームシステム又は制御デバイス（例えば、家庭用又は産業用コントローラ）である。一般にデバイス３００は、１つ以上の処理ユニット（ＣＰＵ）３１０、１つ以上のネットワーク又は他の通信インタフェース３６０、メモリ３７０及びそれら構成要素を相互接続する１つ以上の通信バス３２０を含む。通信バス３２０は、システム構成要素間の通信を相互接続及び制御する回路網（チップセットと呼ばれる場合がある）を含んでもよい。デバイス３００は、一般にタッチスクリーンディスプレイであるディスプレイ３４０を含む入出力（Ｉ／Ｏ）インタフェース３３０を含む。Ｉ／Ｏインタフェース３３０は、キーボード及び／又はマウス（又は他のポインティングデバイス）３５０、並びにタッチパッド３５５を更に含んでもよい。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体メモリ素子等の高速ランダムアクセスメモリを含み、１つ以上の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリ素子又は他の不揮発性固体記憶装置等の不揮発性メモリを含んでもよい。メモリ３７０は、ＣＰＵ３１０から遠隔地に配置された１つ以上の記憶装置をオプションとして含んでもよい。いくつかの実施形態において、メモリ３７０は、ポータブル多機能デバイス１００（図１）のメモリ１０２に格納されたプログラム、モジュール及びデータ構造に類似するプログラム、モジュール及びデータ構造、あるいはそれらの部分集合を格納する。更にメモリ３７０は、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール及びデータ構造を格納してもよい。例えばデバイス３００のメモリ３７０は、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８及び／又はスプレッドシートモジュール３９０を格納してもよいが、その一方でポータブル多機能デバイス１００（図１）のメモリ１０２はそれらモジュールを格納してもしなくてもよい。
図３の上記で識別された各要素は、上述した１つ以上のメモリ素子に格納されてもよい。上記で識別された各モジュールは、上述した機能を実行する命令の集合に対応する。上記で識別されたモジュール又はプログラム（すなわち、命令の集合）は、独立したソフトウェアプログラム、手順又はモジュールとして実現される必要はなく、種々の実施形態において、それらモジュールの種々の部分集合は組み合わされてもよく又は再構成されてもよい。いくつかの実施形態において、メモリ３７０は、上記で識別されたモジュール及びデータ構造の部分集合を格納してもよい。更にメモリ３７０は、上述されていない追加のモジュール及びデータ構造を格納してもよい。
次に、ポータブル多機能デバイス１００で実現されてもよいユーザインタフェース（「ＵＩ」）の実施形態に注目する。
図４Ａは、いくつかの実施形態に係るポータブル多機能デバイス１００のアプリケーションのメニューに対する例示的なユーザインタフェースを示す。同様のユーザインタフェースがデバイス３００において実現されてもよい。いくつかの実施形態において、ユーザインタフェース４００は、以下の要素、あるいはそれらの部分集合又は上位集合を含む。
・セルラ信号及びＷｉ−Ｆｉ信号等の無線通信に対する信号強度標識４０２
・時間４０４
・Ｂｌｕｅｔｏｏｔｈ標識４０５
・バッテリ状態標識４０６
・以下のような頻繁に使用されるアプリケーションのアイコンを含むトレイ４０８
*応答できなかった通話又はボイスメールメッセージの数の標識４１４を含んでもよい電話１３８
*未読の電子メールの数の標識４１０を含んでもよい電子メールクライアント１４０
*ブラウザ１４７
*ｉＰｏｄ（アップル社（Ａｐｐｌｅ Ｉｎｃ．）の登録商標）モジュール１５２とも呼ばれるビデオ及び音楽プレーヤ１５２
・他のアプリケーションに対するアイコン、例えば、
*ＩＭ１４１
*画像管理１４４
*カメラ１４３
*天気１４９−１
*株価１４９−２
*ワークアウトサポート１４２
*カレンダ１４８
*アラーム時計１４９−４
*マップ１５４
*メモ１５３
*デバイス１００及びその種々のアプリケーション１３６に対する設定へのアクセス権を提供する設定４１２
*ＹｏｕＴｕｂｅ（グーグル社（Ｇｏｏｇｌｅ Ｉｎｃ．）の登録商標）モジュール１５５とも呼ばれるオンラインビデオモジュール１５５
図４Ｂは、ディスプレイ４５０（例えば、タッチスクリーンディスプレイ１１２）とは異なるタッチセンシティブ面４５１（例えば、図３のタブレット又はタッチパッド３５５）を有するデバイス（例えば、図３のデバイス３００）における例示的なユーザインタフェースを示す。以下の多くの例がタッチスクリーンディスプレイ１１２（タッチセンシティブ面及びディスプレイが組み合わされる）における入力を参照して与えられるが、いくつかの実施形態において、デバイスは図４Ｂに示すようにディスプレイとは異なるタッチセンシティブ面で入力を検出する。いくつかの実施形態において、タッチセンシティブ面（例えば、図４Ｂの４５１）は、ディスプレイ（例えば、４５０）における主軸（例えば、図４Ｂの４５３）に対応する主軸（例えば、図４Ｂの４５２）を有する。これらの実施形態によると、デバイスは、ディスプレイ上の各場所に対応する場所（例えば、図４Ｂにおいて、４６０は４６８に対応し、４６２は４７０に対応する）におけるタッチセンシティブ面４５１との接触（例えば、図４Ｂの４６０及び４６２）を検出する。このように、タッチセンシティブ面（例えば、図４Ｂの４５１）においてデバイスにより検出されたユーザ入力（例えば、接触４６０及び４６２、並びにそれらの移動）は、タッチセンシティブ面がディスプレイとは異なる場合に多機能デバイスのディスプレイ（例えば、図４Ｂの４５０）上のユーザインタフェースを操作するためにデバイスにより使用される。本明細書で説明する他のユーザインタフェースに対して同様の方法が使用されてもよいことが理解されるべきである。
図４Ｃは、いくつかの実施形態に係る多機能デバイスに対する例示的な適応入力デバイスを示す。図４Ｃにおいて、適応入力デバイス４８２は、ジョイスティック４８６と、２つのボタン４８８−１及び４８８−２とを含む。適応入力デバイス４８２は、有線又は無線の通信チャネル４８４によりタッチセンシティブ面４５１を有する多機能デバイス（例えば、図１Ａのデバイス１００）と接続される。例えば適応入力デバイス４８２は、多機能デバイス１００の外部ポート１２４にプラグ接続されてもよい。あるいは、適応入力デバイス４８２は、Ｂｌｕｅｔｏｏｔｈ又はＷｉ−Ｆｉ等の１つ以上の無線通信プロトコルを使用して多機能デバイスと接続されてもよい。
図４Ｃは、いくつかの実施形態に係るタッチセンシティブ面４５１を有する多機能デバイス（例えば、図１Ａのデバイス１００）のディスプレイに表示された例示的な視覚標識４９０を示す。いくつかの実施形態において、タッチセンシティブ面４５１は、適応入力デバイス４８２の主軸（例えば、図４Ｃの４５４）に対応する主軸（例えば、図４Ｃの４５２）を有する。このように、適応入力デバイス４８２により受信されたユーザ入力（例えば、主軸４５２に沿うプッシングジョイスティック４８６）は、視覚標識４９０を移動する（例えば、主軸４５２に沿って）ために使用されてもよい。適応入力デバイス４８２上のボタン（例えば、タッピングボタン４８８−１又は４８８−２）を起動することは、タッチセンシティブ面に対するタップジェスチャ等のボタンの起動を実行する視覚標識４９０に配置されたユーザインタフェースオブジェクトを選択又は起動するために使用されてもよい。いくつかの実施形態において、ユーザがボタンのうちの一方（例えば、４８８−１又は４８８−２）を押下しながらジョイスティック４８６をプッシュする時、多機能デバイス１００は、視覚標識４９０の場所におけるタッチセンシティブ面４５１にわたり移動する指の接触と同等のものとしてそのようなユーザ入力を処理する。いくつかの実施形態において、ボタンを起動することでメニューが開く。本明細書で説明する他のユーザインタフェースに対して同様の方法が使用されてもよいことが理解されるべきである。
尚、図４Ｃに示す適応入力デバイス４８２は、ジョイスティック４８６と、ボタン４８８−１及び４８８−２とを含むが、本明細書で説明する方法（例えば、トラックボール、ハンドスティック、マウススティック、ヘッドスティック及び物理的なキーボード）により、他の適応入力デバイスが使用されてもよい。本明細書で使用されるように、適応入力デバイスは、タッチセンシティブ面を使用せずにユーザ入力を受信するように構成される入力デバイスを示す。一般に適応入力デバイスは、手、眼球、脚、頭及び／又は口／舌の動き等のユーザの動きに基づいて上下左右の動き、起動事象、並びに選択事象（例えば、ボタンの起動又はタッチセンシティブ面に対するタップに等しい）を示すユーザ入力を受信する。
ユーザインタフェース及び関連する処理
次に、デバイス３００又はポータブル多機能デバイス１００等のディスプレイ及びタッチセンシティブ面を有する電子デバイスにおいて実現されてもよいユーザインタフェース（「ＵＩ」）及び関連する処理の実施形態に注目する。
図５Ａ〜図５ＡＣは、いくつかの実施形態に係るタッチユーザインタフェースを利用しやすくするための例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図６Ａ〜図６Ｅ及び図７〜図１３における処理を含む以下に説明する処理を示すために使用される。
図５Ａは、多機能電子デバイス１００のタッチスクリーン１１２に表示された電子メールアプリケーションの例示的なユーザインタフェース５０２−Ａを示す。ユーザインタフェース５０２−Ａは、電子メールメッセージの表示を含む。図５Ａには、仮想タッチ（例えば、１本指の仮想接触等のタッチスクリーン１１２に対する仮想タッチ）に対応する視覚標識５０４−１も示される。仮想タッチは、擬似タッチ（例えばデバイスは、あたかも視覚標識５０４−１の場所でフィンガータッチが検出されているかのように実行する）と呼ばれる場合がある。図５Ａの視覚標識５０４−１は、環状を含むものとして示される。あるいは、視覚標識５０４−１は、ドーナツ形、円形、楕円形、長円形、矢印、十字形、Ｉビーム、星形、あるいは仮想指（例えば、指又は手の形のアイコン）のうちの１つを含んでもよい。
視覚標識５０４−１は、適応入力デバイス（例えば、図４Ｃの４８２）からの入力に従って移動するように構成される。例えば視覚標識５０４−１は、適応入力デバイスからの入力に従って、ディスプレイの所定の隅等のタッチスクリーン１１２の所定の領域に移動してもよい（例えば、視覚標識５０４−１の移動５０６−１）。あるいは、視覚標識５０４−１は、左右に移動する適応入力デバイスに対する制御（例えば、ジョイスティック４８６）に従って左右に移動してもよい（例えば、視覚標識５０４−１の移動５０６−２）。換言すると、視覚標識５０４−１は、適応入力デバイスからの入力に従って上下左右及び／又は対角線状に移動してもよい。
図５Ｂは、メニュー５０８が電子メールアプリケーションのユーザインタフェース５０２−Ａの上に表示されることを示す。一般にメニュー５０８は、適応入力デバイスからの所定の入力に応じて表示される。例えばメニュー５０８は、タッチスクリーン１１２の所定の領域に移動する（例えば、ディスプレイの隅への図５Ａの移動５０６−１）視覚標識５０４−１に応じて表示されてもよい。別の例として、視覚標識５０４−１をディスプレイの隅に移動した後に適応入力デバイス上のボタン（例えば、図４Ｃの４８８−１）を起動する結果、メニュー５０８が表示される。あるいは、視覚標識５０４−１が左右に移動する（例えば、図５Ａの移動５０６−２）結果、メニュー５０８が表示されてもよい。例えば、少なくとも所定の回数（例えば、２回、３回又は４回）にわたり少なくとも所定の距離（例えば、０．０２インチ、０．０３インチ又は０．０４インチ）だけ視覚標識５０４−１を水平に前後に移動することにより、ボタンを起動する必要なくメニューが開く。更に別の例として、適応入力デバイス上の所定のボタン（例えば、図４Ｃの４８８−２）を起動する結果、メニュー５０８が表示されてもよい。いくつかの実施形態において、図５Ｂに示すように、メニュー５０８が最初に表示される時、視覚標識５０４−１はメニュー５０８の中心領域に位置付けられる。他の実施形態において、メニュー５０８が最初に表示される時、視覚標識５０４−１は、メニュー５０８が表示される前の位置を維持する。
いくつかの実施形態において、メニュー５０８は、仮想タッチ選択アイコン５１０−１、仮想ジェスチャアイコン５１０−２、仮想デバイスアイコン５１０−３及びホームボタン５１０−４のうちの１つ以上を含む複数のアイコン５１０を含む。いくつかの実施形態において、アイコン５１０は、メニュー５０８の中心の周りに放射状に表示される（例えばアイコンは、メニュー５０８の中心からほぼ等しい距離に表示される）。
図５Ｃにおいて、視覚標識５０４−１は、仮想タッチ選択アイコン５１０−１の上に移動する。いくつかの実施形態において、仮想タッチ選択アイコン５１０−１は、仮想タッチ選択アイコン５１０−１の上に視覚標識５０４−１を移動することで選択される。いくつかの実施形態において、仮想タッチ選択アイコン５１０−１は、仮想タッチ選択アイコン５１０−１の上に視覚標識５０４−１を移動した後に適応入力デバイス上のボタン（例えば、図４Ｃの４８８−１）を起動することで選択される。
図５Ｄは、仮想タッチ選択アイコン５１０−１の選択（図５Ｃ）に応じて仮想マルチタッチ接触のメニュー５１２が表示されることを示す。仮想マルチタッチ接触のメニュー５１２は、仮想マルチタッチ接触の種類を示す複数のアイコン５１４（例えば、２本指の接触アイコン５１４−１、３本指の接触アイコン５１４−２、４本指の接触アイコン５１４−３及び５本指の接触アイコン５１４−４）を含む。いくつかの実施形態において、仮想マルチタッチ接触のメニュー５１２は、１本指の接触アイコン（不図示）を更に含む。アイコン５１４は、本明細書で仮想マルチタッチ接触アイコンとも呼ばれる。図５Ｄは、３本指の接触アイコン５１４−３が視覚標識５０４−１により選択されることを更に示す。
図５Ｅは、図５Ｄにおける３本指の接触アイコン５１４−３の選択に応じて３つの視覚標識５０４−２、５０４−３及び５０４−４が表示されることを示す。図５Ｅは、３つの視覚標識５０４−２〜５０４−４が左に移動する（例えば、適応入力デバイスからの入力に従って）ことを更に示す。尚、いくつかの実施形態において、タッチスクリーン１１２に対する３本指の左スワイプジェスチャは、現在表示されているアプリケーション（例えば、電子メールアプリケーション）とは異なる多機能デバイス１００上で実行する開いているアプリケーションのユーザインタフェース（例えば、ウェブブラウザアプリケーションのユーザインタフェース５０２−Ｂ）を表示する。換言すると、３本指の左スワイプジェスチャは、いくつかの実施形態において、次の開いているアプリケーションへのナビゲーションを開始する。
いくつかの実施形態において、多機能デバイス１００は、３つの視覚標識５０４−２〜５０４−４の左方向の移動に応じて次の開いているアプリケーションのユーザインタフェース（例えば、ユーザインタフェース５０２−Ｂ）を表示するように構成される。図５Ｆにおいて、ウェブブラウザアプリケーションのユーザインタフェース５０２−Ｂは、３つの視覚標識５０４−２〜５０４−４の左方向の移動に応じて示される。３つの視覚標識５０４−２〜５０４−４も図５Ｆに示される。
図５Ｇは、所定の期間（例えば、５秒、１０秒、１５秒又は何らかの適当な期間）にわたり適応入力デバイスから入力が受信されない場合、３つの視覚標識５０４−２〜５０４−４の表示が単一の視覚標識５０４−１の表示に置換されることを示す。いくつかの実施形態において、所定の期間は、ユーザにより設定される（例えば、不図示の設定メニューを介して）。
図５Ｂと同様の図５Ｈにおいて、ユーザインタフェースは、仮想タッチ選択アイコン５１０−１、仮想ジェスチャアイコン５１０−２、仮想デバイスアイコン５１０−３及びホームボタン５１０−４を有するメニュー５０８を含む。図５Ｈにおいて、仮想ジェスチャアイコン５１０−２は、視覚標識５０４−１により選択される。
図５Ｉは、仮想ジェスチャアイコン５１０−２の選択（図５Ｈ）に応じて仮想ジェスチャのメニュー５１６が表示されることを示す。仮想ジェスチャのメニュー５１６は、仮想ジェスチャの種類を示す複数のアイコン５１８（例えば、２本指の仮想ピンチイン／ピンチアウトジェスチャアイコン５１８−１、３本指の仮想上スワイプジェスチャアイコン５１８−２、３本指の仮想下スワイプジェスチャアイコン５１８−３、ユーザ構成の仮想ジェスチャアイコン５１８−４、３本指の仮想左スワイプジェスチャアイコン（不図示）、３本指の仮想右スワイプジェスチャアイコン（不図示）、４本指の仮想左スワイプジェスチャアイコン（不図示）、４本指の仮想右スワイプジェスチャアイコン（不図示）、４本指の仮想上スワイプジェスチャアイコン（不図示）、４本指の仮想下スワイプジェスチャアイコン（不図示）、２本指の仮想左スワイプジェスチャアイコン（不図示）、２本指の仮想右スワイプジェスチャアイコン（不図示）、２本指の仮想上スワイプジェスチャアイコン（不図示）、２本指の仮想下スワイプジェスチャアイコン（不図示）等）を含む。本明細書で使用されるように、アイコン５１８は仮想ジェスチャアイコンとも呼ばれる。尚、仮想ジェスチャアイコン５１０−２及び各仮想ジェスチャアイコン５１８は別個の機能を有する。例えば、仮想ジェスチャアイコン５１０−２を選択することで仮想ジェスチャのメニュー５１６の表示を開始し、それぞれの仮想ジェスチャを選択することでそれぞれの仮想ジェスチャアイコンと関連付けられた動作の実行を開始する。図５Ｉは、３本指の仮想上スワイプジェスチャアイコン５１８−２が選択されることを示す。
図５Ｊにおいて、ユーザインタフェース５０２−Ａの一部及びアプリケーションアイコン領域５２０は、３本指の仮想上スワイプジェスチャアイコン５１８−２の選択に応じて同時に表示されている。アプリケーションアイコン領域５２０は、各々が起動されると（例えば、図５Ｊの視覚標識５０４−１を介して）対応するアプリケーションのユーザインタフェースの表示を開始する複数の開いているアプリケーションアイコン５００４を含む。あるいは、ユーザインタフェース５０２−Ａの一部及びアプリケーションアイコン領域５２０は、タッチスクリーン１１２に対する３本指の上スワイプジェスチャに応じて表示されてもよい。
図５Ｋにおいて、複数のアイコン５１８（例えば、２本指の仮想ピンチイン／ピンチアウトジェスチャアイコン５１８−１、３本指の仮想上スワイプジェスチャアイコン５１８−２、３本指の仮想下スワイプジェスチャアイコン５１８−３、ユーザ構成の仮想ジェスチャアイコン５１８−４等）を含む仮想ジェスチャのメニュー５１６が表示される。図５Ｋは、２本指の仮想ピンチイン／ピンチアウトジェスチャアイコン５１８−１が視覚標識５０４−１により選択されることを更に示す。
図５Ｌにおいて、２つの視覚標識５０４−５及び５０４−６は、２本指の仮想ピンチイン／ピンチアウトジェスチャアイコン５１８−１の選択（図５Ｋ）に応じて表示される。いくつかの実施形態において、２つの視覚標識５０４−５及び５０４−６は、視覚的にリンクされる（例えば、コネクタ５２２を用いて）。いくつかの実施形態において、２つの視覚標識５０４−５及び５０４−６の各視覚標識は、環状の表示オブジェクトを含む。環状の視覚標識は、第１のモードの視覚標識と呼ばれる場合がある（図５Ｎを参照して以下に説明する第２のモードの視覚標識と比較して）。
図５Ｍは、第１のモードにおいて、２つの視覚標識５０４−５及び５０４−６が適応入力デバイスからの入力に従って共に移動することを示す。更にユーザインタフェース５０２−Ａは、２つの視覚標識５０４−５及び５０４−６の同時移動に従ってスクロールされる。
図５Ｎにおいて、２つの第１のモードの視覚標識５０４−５及び５０４−６は、２つの第２のモードの視覚標識５０４−７及び５０４−８に置換される。第２のモードの視覚標識の各々は、環状の表示オブジェクト及び同心ディスク状の表示オブジェクトを含む。場合によっては、２つの第２のモードの視覚標識は、適応入力デバイス上のボタン（例えば、図４Ｃの４８８−２）の起動に応じて表示される。
図５Ｏは、適応入力デバイスからの入力に応じて、２つの第２のモードの視覚標識５０４−７及び５０４−８が第２のモードで互いに対して移動し（例えば、２つの第２のモードの視覚標識５０４−７と５０４−８との間の距離が長くなる）、且つそれに応じてユーザインタフェースが拡大される（例えば、ズームインされる）ことを示す。
図５Ｐにおいて、仮想タッチ選択アイコン５１０−１、仮想ジェスチャアイコン５１０−２、仮想デバイスアイコン５１０−３及びホームボタン５１０−４を含むメニュー５０８が表示される。図５Ｐは、仮想デバイスアイコン５１０−３が視覚標識５０４−１により選択されることを更に示す。
図５Ｑにおいて、仮想デバイスの向きのメニュー５２４は、仮想デバイスアイコン５１０−３の起動（図５Ｐ）に応じて表示される。仮想デバイス動作のメニュー５２４は、仮想デバイス動作の種類を示す複数のアイコン５２６（例えば、仮想デバイスミュート／ミュート解除アイコン５２６−１、仮想デバイス回転アイコン５２６−２、仮想デバイス振動アイコン５２６−３、仮想デバイスロック画面アイコン５２６−４、仮想デバイス音量アップアイコン５２６−５、仮想デバイス音量ダウンアイコン５２６−６、仮想回転ロックアイコン（不図示）、仮想ノックノックアイコン（不図示）等）を含む。例示的な仮想デバイス動作は、一般に電子デバイス上の物理的コントロールを介して実行される動作、例えば、一般にミュートスイッチを介して実行されるデバイス上で呼び出し音及び音響の効果をミュート及びミュート解除することと、一般にロック／ロック解除スイッチを介して開始されるデバイスをロックすることと、一般に音量アップボタンを介して実行される音量を上げることと、一般に音量ダウンボタンを介して実行される音量を下げることとを含んでもよい。例示的な仮想デバイス動作は、電子デバイスを振動させて所定の動作（例えば、取り消し動作）を実行することと、電子デバイスを回転させて表示の向きを回転させることとを更に含んでもよい。振動及び回転等の動作は、一般に、電子デバイスの加速度計を介して検出される。本明細書で使用されるように、アイコン５２６は、仮想デバイス動作アイコンとも呼ばれる。図５Ｑは、仮想デバイス回転アイコン５２６−２が視覚標識５０４−１により選択されることを更に示す。
図５Ｒは、仮想デバイス回転アイコン５２６−２の選択（図５Ｑ）に応じて仮想デバイスの向きのメニュー５２８が表示されることを示す。仮想デバイスの向きのメニュー５２８は、仮想デバイスの向き（又はデバイスの向きの回転）の種類を示す複数のアイコン５３０を含む。例えば仮想デバイス動作のメニュー５２８は、縦向きアイコン５３０−１、左回転向きアイコン５３０−２、右回転向きアイコン５３０−３及び上下反対回転向きアイコン５３０−４を含んでもよい。尚、いくつかの実施形態において、デバイスが反時計回りに約９０度回転することにより、ユーザインタフェースは時計回りに９０度回転する。図５Ｒは、左回転向きアイコン５３０−２が視覚標識５０４−１により選択されることを更に示す。
図５Ｓにおいて、ユーザインタフェースは、デバイスの実際の物理的な回転ではなく、左回転向きアイコン５３０−２の選択に応じて時計回りに９０度回転する。図５Ｓは、回転したユーザインタフェース５０２−Ｃがタッチスクリーン１１２に表示されることを更に示す。
図５Ｔにおいて、仮想タッチ選択アイコン５１０−１、仮想ジェスチャアイコン５１０−２、仮想デバイスアイコン５１０−３及びホームボタン５１０−４を含むメニュー５０８が表示される。図５Ｔは、ホームボタンアイコン５１０−４が視覚標識５０４−１により選択されることを更に示す。
図５Ｕは、ホームボタンアイコン５１０−４の選択に応じてホームスクリーン５０２−Ｄが表示されることを示す。いくつかの実施形態において、ホームスクリーン５０２−Ｄは複数のアプリケーションアイコン５００２を含む。
図５Ｖは、いくつかの実施形態において視覚標識５０４−１がメニュー５０８に表示されないことを示す。いくつかの実施形態において、視覚標識５０４−１がメニュー５０８に表示されていない間に適応入力デバイスから入力を受信すること（例えば、図４Ｃの適応入力デバイス４８２上のボタン４８８−１の起動）に応じて、メニュー５０８の表示を中止する。いくつかの実施形態において、所定の期間にわたり適応入力デバイスから入力が受信されない場合、メニュー５０８の表示を中止する。
図５Ｗ〜図５ＡＣは、いくつかの実施形態に係るユーザ規定のジェスチャ（ユーザ構成のジェスチャ又はカスタムジェスチャとも呼ばれる）を作成するための例示的なユーザインタフェースを示す。図５Ｗにおいて、ユーザ規定のジェスチャを作成するためのユーザインタフェースが表示される。ユーザインタフェースは、指追加ボタン５３２、指除去ボタン５３４、保存ボタン５３６、クリアボタン５３８及び完了ボタン５４４等の複数のユーザインタフェースオブジェクトを含む。図５Ｗは、指追加ボタン５３２が視覚標識５０４−１により選択されることを更に示す。
図５Ｘは、指追加ボタン５３２の選択に応じて、カスタムジェスチャを作成するために第１の視覚標識５４０−１が表示されることを示す。
図５Ｙにおいて、第１の視覚標識５４０−１は、適応入力デバイスからの１つ以上の入力に従って移動する。図５Ｙには、第１の視覚標識５４０−１の軌跡５４２−１も示される。
図５Ｚは、指追加ボタン５３２の第２の選択に応じて、第２の視覚標識５４０−２が表示されることを示す。
図５ＡＡにおいて、第２の視覚標識５４０−２は、適応入力デバイスからの１つ以上の入力に従って移動する。図５ＡＡには、第２の視覚標識５４０−２の軌跡５４２−２も示される。視覚標識５４０−１及び５４０−２の移動を含むユーザ規定のジェスチャを格納するために、保存ボタン５３６が選択されてもよい。
図５ＡＢにおいて、複数のアイコン５１８（例えば、２本指の仮想ピンチイン／ピンチアウトジェスチャアイコン５１８−１、３本指の仮想上スワイプジェスチャアイコン５１８−２、３本指の仮想下スワイプジェスチャアイコン５１８−３、ユーザ規定の仮想ジェスチャアイコン５１８−４等）を含む仮想ジェスチャのメニュー５１６が表示される。図５ＡＢは、ユーザ規定のジェスチャアイコン５１８−４が視覚標識５０４−１により選択されることを更に示す。
いくつかの実施形態において、ユーザが２つ以上のユーザ規定の仮想ジェスチャを格納している場合、カスタムジェスチャアイコン５１８−４の選択（不図示）に応じて、これらのユーザ規定の仮想ジェスチャのうちの少なくともいくつかのメニューが表示される。ユーザ規定の仮想ジェスチャのメニューの特定のユーザ規定の仮想ジェスチャを起動することにより（示されないが、例えば視覚標識５０４−１により）、対応する動作を実現する。一方、カスタムジェスチャアイコン５１８−４が単一のユーザ規定の仮想ジェスチャに対応する場合、カスタムジェスチャアイコン５１８−４の選択に応じて、単一のユーザ規定の仮想ジェスチャに対応する動作が実現される。例えば図５ＡＣは、ユーザ規定の仮想ジェスチャと関連付けられた所定の動作、すなわち図５Ｗ〜図５ＡＡにおいて作成及び格納された２本指の仮想ジェスチャが実行されることを示す。いくつかの実施形態において、視覚標識５４０−１及び５４０−２のアニメーション化された移動は、ユーザ規定の仮想ジェスチャと関連付けられた所定の動作が実行される直前、実行された直後又は実行されている間にそれぞれの軌跡５４２−１及び５４２−２と共に表示される。
図６Ａ〜図６Ｅは、いくつかの実施形態に係るタッチユーザインタフェースを利用しやすくする方法６００を示すフローチャートである。方法６００は、ディスプレイ及びタッチセンシティブ面を有する電子デバイス（例えば、図３のデバイス３００又は図１のポータブル多機能デバイス１００）において実行される。いくつかの実施形態において、ディスプレイはタッチスクリーンディスプレイであり、タッチセンシティブ面はディスプレイにある。いくつかの実施形態において、ディスプレイはタッチセンシティブ面とは異なる。方法６００のいくつかの動作は組み合わされてもよく、且つ／又はいくつかの動作の順序は変更されてもよい。
以下に説明するように、方法６００は、手の運動技能が満足でないユーザがタッチユーザインタフェースを有するデバイスを利用しやすくする。方法により、そのようなユーザは、デバイスのタッチセンシティブ面との対話を別の方法で必要とする動作を実行できるようになる。
デバイスは、仮想タッチ（例えば、１本指の仮想接触等のタッチセンシティブ面に対する仮想タッチ）に対応する第１の視覚標識（例えば、図５Ａの５０４−１）をディスプレイに表示する（６０２）。
いくつかの実施形態において、第１の視覚標識は、環状（例えば、図５Ａの５０４−１）、ドーナツ形、円形、楕円形、長円形、矢印、十字形、Ｉビーム、星形又は仮想指のうちの１つを含む（６０４）。
デバイスは、適応入力デバイス（例えば、図４Ｃのジョイスティック４８６、ボタン４８８−１又は４８８−２、あるいは他のあらゆる適応入力デバイス）から第１の入力を受信する（６０６）。
いくつかの実施形態において、第１の入力は、第１の視覚標識をディスプレイの所定の領域に移動する（６０８）。例えば、視覚標識をディスプレイの隅（例えば、所定のアクティブな画面の隅）に移動する結果、第１のメニューが表示される（例えば、図５Ａの移動５０６−１）。別の例として、視覚標識をディスプレイの隅に移動した後に適応入力デバイス上のボタンを起動する結果、第１のメニューが表示される。
いくつかの実施形態において、第１の入力は、適応入力デバイス上のコントロールの起動（例えば、適応入力デバイス上の図４Ｃのメニューボタン４８８−２等の物理的なボタンを起動すること）に対応する（６１０）。
いくつかの実施形態において、第１の入力は、適応入力デバイス上のコントロールを左右に移動すること（例えば、図４Ｃのジョイスティック４８６を左右に移動すること、あるいは手、眼球、脚、頭又は口等の身体の一部により適応入力デバイス上のコントロールを左右に移動すること）に対応する（６１２）。
いくつかの実施形態において、適応入力デバイスはジョイスティック（例えば、図４Ｃの４８６）を含み、第１の入力は、ジョイスティックを左右に移動することに対応する（６１４）。
適応入力デバイスから第１の入力を受信することに応じて、デバイスは、第１のメニュー（例えば、図５Ｂのメニュー５０８）をディスプレイに表示する（６１６）。第１のメニューは、仮想タッチ選択アイコン（例えば、図５Ｂのアイコン５１０−１）を含む。仮想タッチ選択アイコンの選択を検出することに応じて、仮想マルチタッチ接触のメニューが表示される（例えば、図５Ｄのメニュー５１２）。
いくつかの実施形態において、第１のメニューは、第１のメニューの中心の周りに放射状に（例えば、中心の周りの同心配置）表示されたアイコンを含む（６１８）。例えば、図５Ｂのメニュー５０８は、メニュー５０８の中心の周りに放射状に表示されたアイコン５１０を含む。更なる例として、本明細書で説明する他のいくつかのメニュー（例えば、図５Ｄのメニュー５１２、図５Ｉのメニュー５１６及び図５Ｒのメニュー５２８）のアイコンは、対応するメニューの中心の周りに放射状に表示される。また、図５Ｑのメニュー５２４のアイコンは、メニュー５２４の中心の周りに放射状に表示されてもよい。メニューのアイコンをこのように配置することにより、各アイコンは容易にアクセス可能になる。
いくつかの実施形態において、第１のユーザインタフェース（例えば、図５Ａのユーザインタフェース５０２−Ａ）は、適応入力デバイスから第１の入力を受信する直前にディスプレイに表示され、第１のメニュー（例えば、図５Ｂのメニュー５０８）は、第１のユーザインタフェースの上に表示される（６２０）（例えば、半透過、半透明又は不透明なオーバレイとして）。同様に、本明細書で説明する他のメニュー（例えば、図５Ｄのメニュー５１２、図５Ｉのメニュー５１６、図５Ｑのメニュー５２４及び図５Ｒのメニュー５２８）は、下にある標準的なユーザインタフェース上の半透過、半透明又は不透明なオーバレイとして表示されてもよい。これらのオーバレイメニューは、標準的なユーザインタフェースを使用したデバイスの制御に非常に類似する適応入力デバイスを介した電子デバイスの制御を行うことを補助する。
いくつかの実施形態において、適応入力デバイスから第１の入力を受信することに応じて、デバイスは、第１の視覚標識を第１のメニューの中心領域に表示する（６２２）。例えば図５Ｂにおいて、視覚標識５０４−１は、メニュー５０８が最初に表示される時にメニュー５０８の中心に表示される。視覚標識を第１のメニューの中心に表示することにより、第１のメニューの各オプションは容易にアクセス可能になる。同様に、本明細書で説明する他のメニュー（例えば、図５Ｄのメニュー５１２、図５Ｉのメニュー５１６、図５Ｑのメニュー５２４及び図５Ｒのメニュー５２８）が適応入力デバイスから受信された入力に応じて表示される時、視覚標識は、最初にこれらのメニューの中心に表示されてもよい。
いくつかの実施形態において、メニュー（例えば、図５Ｂのメニュー５０８、図５Ｄの仮想マルチタッチ接触のメニュー５１２、図５Ｉの仮想ジェスチャのメニュー５１６、図５Ｑの仮想デバイス動作のメニュー５２４、図５Ｒの仮想デバイス回転のメニュー５２８又は何らかのアクセス可能なメニュー）をディスプレイに表示している間、デバイスは、第１の視覚標識がメニューに残るように（例えば、視覚標識５０４−１のオーバシュートを防止するために）第１の視覚標識の移動を制限する（図６Ｂの６２４）。
いくつかの実施形態において、第１のメニューをディスプレイに表示している間、デバイスは、第１の視覚標識が第１のメニューに表示されない場合に適応入力デバイスから第２の入力（例えば、図５Ｖにおいて視覚標識５０４−１が第１のメニューを越えて表示領域の上に配置される時に適応入力デバイス上の図４Ｃのボタン４８８−１の起動を検出すること）を受信し、第２の入力に応じて第１のメニューの表示（例えば、図５Ａのユーザインタフェース５０２−Ａを表示すること）を中止する（６２６）。同様に、本明細書で説明する他のメニュー（例えば、図５Ｂのメニュー５０８、図５Ｄの仮想マルチタッチ接触のメニュー５１２、図５Ｉの仮想ジェスチャのメニュー５１６、図５Ｑの仮想デバイス動作のメニュー５２４、図５Ｒの仮想デバイス回転のメニュー５２８又は何らかのアクセス可能なメニュー）は、視覚標識がメニューの上にない時に適応入力デバイスから入力が受信される場合に消されてもよい。
いくつかの実施形態において、第１のメニューをディスプレイに表示している間、デバイスは、所定の期間（例えば、５秒、１０秒、１５秒又は何らかの適当な期間）を超える期間にわたり適応入力デバイスからの入力の受信を待機する（６２８）。いくつかの実施形態において、所定の期間はユーザにより設定される（例えば、設定メニューを介して）。所定の期間を超える期間にわたり適応入力デバイスからの入力の受信を待機したことに応じて（例えば、適応入力デバイスから入力を受信せずに）、デバイスは、第１のメニューの表示（例えば、図５Ａのユーザインタフェース５０２−Ａを表示すること）を中止する。同様に、本明細書で説明する他のメニュー（例えば、図５Ｂのメニュー５０８、図５Ｄの仮想マルチタッチ接触のメニュー５１２、図５Ｉの仮想ジェスチャのメニュー５１６、図５Ｑの仮想デバイス動作のメニュー５２４、図５Ｒの仮想デバイス回転のメニュー５２８又は何らかのアクセス可能なメニュー）は、所定の期間内に適応入力デバイスから入力が受信されない場合に消されてもよい。
いくつかの実施形態において、デバイスは、仮想タッチ選択アイコン（例えば、図５Ｃの仮想タッチ選択アイコン５１０−１）の選択を検出する（図６Ｃの６３０）。例えばデバイスは、視覚標識が仮想タッチ選択アイコン（例えば、図５Ｃの視覚標識５０４−１）の上に配置される時に適応入力デバイス上のボタン（例えば、図４Ｃの４８８−１）の起動を検出するか、あるいは仮想タッチ選択アイコンにわたり移動する視覚標識を検出する。仮想タッチ選択アイコンの選択を検出することに応じて、デバイスは、仮想マルチタッチ接触のメニュー（例えば、図５Ｄのメニュー５１２）を表示する。仮想マルチタッチ接触のメニューは、仮想マルチタッチ接触の種類を示す複数のアイコン（例えば、図５Ｄのメニュー５１２の２本指の接触アイコン５１４−１、３本指の接触アイコン５１４−２、４本指の接触アイコン５１４−３及び５本指の接触アイコン５１４−４）を含む。いくつかの実施形態において、仮想マルチタッチ接触のメニューは、１本指の接触アイコン（不図示）を更に含む。デバイスは、仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出する（例えば、視覚標識が３本指の仮想接触アイコン５１４−２の上に配置される時に適応入力デバイス上のボタンの起動を検出するか、あるいは３本指の仮想接触アイコンにわたり移動する視覚標識を検出すること等により、図５Ｄの３本指の仮想接触アイコン５１４−２の選択を検出すること）。仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出することに応じて、デバイスは、それぞれの仮想マルチタッチ接触アイコンに対応する１つ以上の第２の視覚標識（例えば、図５Ｅの視覚標識５０４−２〜５０４−４）を表示する。いくつかの実施形態において、仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出することに応じて、デバイスは、仮想マルチタッチ接触のメニューの表示を更に中止する（例えば、メニュー５１２は図５Ｅに表示されない）。いくつかの実施形態において、第２の視覚標識は、それぞれの仮想マルチタッチ接触アイコンに対応する複数の接触を示す単一のアイコンの部分である。従って、１つ以上の第２の視覚標識は、一般に一斉に移動する（例えば、同一の速度で同一の方向に同一の距離移動すること）。いくつかの実施形態において、第２の視覚標識は、それぞれの仮想マルチタッチ接触アイコンに対応する複数の接触を示す複数のアイコンである。
いくつかの実施形態において、第２の視覚標識を表示することは、それぞれの仮想マルチタッチ接触アイコンに対応する複数の視覚標識を表示することを含む（６３２）。例えば、図５Ｄの３本指の仮想接触アイコン５１４−２の選択に応じて、３つの仮想タッチに対応する３つの視覚標識が図５Ｅに表示される。同様に、図５Ｄの２本指の仮想接触アイコン５１４−１の選択に応じて、デバイスは、２つの仮想タッチ（不図示）に対応する２つの視覚標識を表示し、図５Ｄの４本指の仮想接触アイコン５１４−３の選択に応じて、デバイスは、４つの仮想タッチ（不図示）に対応する４つの視覚標識を表示し、図５Ｄの５本指の仮想接触アイコン５１４−４の選択に応じて、デバイスは、５つの仮想タッチ（不図示）に対応する５つの視覚標識を表示する。
いくつかの実施形態において、デバイスは、適応入力デバイスから第２の入力を受信し、適応入力デバイスから第２の入力を受信することに応じて、１つ以上の第２の視覚標識を移動し且つ１つ以上の第２の視覚標識の移動に従って動作を実行する（６３４）。例えば図５Ｅにおいて、ジョイスティックを左にプッシュすることで受信された入力は、ちょうどあたかも３つの実際の指の接触がタッチセンシティブ面上で左に移動していたかのように、３つの視覚標識を左に移動し且つ次の開いているアプリケーションにナビゲートするために使用される。
いくつかの実施形態において、１つ以上の第２の視覚標識を表示している間、デバイスは、所定の期間（例えば、５秒、１０秒、１５秒又は何らかの適当な期間）を超える期間にわたり適応入力デバイスから入力を受信するのを待機し、所定の期間を超える期間にわたり適応入力デバイスからの入力の受信を待機したことに応じて、１つ以上の第２の視覚標識の表示を第１の視覚標識の表示に置換する（６３６）。例えば、所定の期間を超える期間にわたり適応入力デバイスから入力を受信するのを待つこと（適応入力デバイスから入力を受信せずに）に応じて、デバイスは、３つの視覚標識５０４−２〜５０４−４（図５Ｆ）の表示を単一の視覚標識５０４−１（図５Ｇ）の表示に置換する。いくつかの実施形態において、所定の期間はユーザにより設定される（例えば、不図示の設定メニューを介して）。
いくつかの実施形態において、１つ以上の第２の視覚標識を表示している間、デバイスは、第１の所定の時間間隔にわたりユーザ入力を待つ。第１の所定の時間間隔の間にユーザ入力が受信されなかったという判定に従って、デバイスは、第２の視覚標識の表示を第２の視覚標識とは異なる（例えば、異なる輝度、異なる色、異なるラインパターン、異なる透明度等）第３の視覚標識の表示に置換する。
いくつかの実施形態において、第２の視覚標識及び第３の視覚標識は同数のタッチを示す。
いくつかの実施形態において、第３の視覚標識を表示している間、デバイスは、第２の所定の時間間隔にわたりユーザ入力を待機する。いくつかの実施形態において、第２の所定の時間間隔は、第１の所定の時間間隔と同一である。他の実施形態において、第２の所定の時間間隔は、第１の所定の時間間隔とは異なる。第２の所定の時間間隔の間にユーザ入力が受信されなかったという判定に従って、デバイスは、第３の視覚標識の表示を第１の仮想標識の表示に置換する。
いくつかの実施形態において、デバイスは、仮想ジェスチャアイコン（例えば、図５Ｈのメニュー５０８の５１０−２）を表示し、仮想ジェスチャアイコンの選択を検出し、仮想ジェスチャアイコンの選択を検出することに応じて仮想ジェスチャのメニュー（例えば、図５Ｉの５１６）を表示する（図６Ｄの６３８）。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコン（例えば、図５Ｉのアイコン５１８）を含む。デバイスは、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出し（例えば、適応入力デバイス上のボタンの起動により図５Ｉの３本指の仮想上スワイプジェスチャアイコン５１８−２の選択を検出すること）、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて、それぞれの仮想ジェスチャに対応する動作を実行する。例えば、図５Ｉの３本指の仮想上スワイプジェスチャアイコン５１８−２の選択に応じて、デバイスは、図５Ｊに示す複数の開いているアプリケーションアイコンを含むアプリケーションアイコン領域５２０を表示する。いくつかの実施形態において、デバイスは、ジェスチャに対応する視覚標識を表示せずにある特定のジェスチャに対応する動作を実行してもよい（例えば図５Ｊにおいて、開いているアプリケーションアイコン領域５２０は、３本指の上スワイプジェスチャに対応する視覚標識を表示せずに表示される）。
いくつかの実施形態において、デバイスは、仮想ジェスチャアイコン（例えば、図５Ｈのメニュー５０８の５１０−２）を表示し、仮想ジェスチャアイコンの選択を検出し（例えば、視覚標識が仮想ジェスチャアイコンの上に配置される時に適応入力デバイス上のボタンの起動を検出すること又は仮想ジェスチャアイコンにわたり移動する視覚標識を検出すること）、仮想ジェスチャアイコンの選択を検出することに応じて仮想ジェスチャ（例えば、図５Ｉの５１６）のメニューを表示する（６４０）。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコン（例えば、図５Ｉの２本指の仮想ピンチイン／ピンチアウトジェスチャアイコン５１８−１、３本指の仮想上スワイプジェスチャアイコン５１８−２、３本指の仮想下スワイプジェスチャアイコン５１８−３、ユーザ構成の仮想ジェスチャアイコン５１８−４）を含む。デバイスは、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出し（例えば、視覚標識が２本指の仮想ピンチイン／ピンチアウトジェスチャアイコン５１８−１の上に配置される時に適応入力デバイス上のボタンの起動を検出すること又は２本指の仮想ピンチイン／ピンチアウトジェスチャアイコンにわたり移動する視覚標識を検出すること等により、図５Ｉの２本指の仮想ピンチイン／ピンチアウトジェスチャアイコン５１８−１の選択を検出すること）、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて、それぞれの仮想ジェスチャアイコンに対応する複数の視覚標識を表示する。例えば、図５Ｋの２本指の仮想ピンチイン／ピンチアウトジェスチャアイコン５１８−１の選択に応じて、２つの仮想タッチに対応する２つの視覚標識が図５Ｌに表示される。デバイスは、適応入力デバイスから第２の入力を受信し、適応入力デバイスから第２の入力を受信することに応じてそれぞれの仮想ジェスチャに従って動作を実行する。例えば図５Ｍにおいて、適応入力デバイスにより受信された入力は、２つの視覚標識５０４−５及び５０４−６を移動し、ユーザインタフェース５０２−Ａをスクロールする。別の例では、図５Ｏにおいて、適応入力デバイスにより受信された入力は、異なる倍率（例えば、ズーム動作）でユーザインタフェースを表示する。
いくつかの実施形態において、適応入力デバイスから第２の入力を受信することに応じて、デバイスは、それぞれの仮想ジェスチャに対応する表示された視覚標識を移動して、タッチセンシティブ面に対する実際の接触の移動をシミュレートする（６４２）（例えば図５Ｍにおいて、適応入力デバイスにより受信された入力は、２つの視覚標識５０４−５及び５０４−６を移動する）。
いくつかの実施形態において、デバイスは、仮想ピンチイン／ピンチアウトジェスチャアイコン（例えば、第１のメニュー又は仮想ジェスチャメニューの）を表示し、仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出し（例えば、視覚標識が仮想ピンチイン／ピンチアウトジェスチャアイコンの上に配置される時に適応入力デバイス上のボタンの起動を検出すること又は仮想ピンチイン／ピンチアウトジェスチャアイコンにわたり移動する視覚標識を検出すること）、仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出することに応じて、仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識を表示する（６４４）。デバイスは、適応入力デバイスから第２の入力を受信し、適応入力デバイスから第２の入力を受信することに応じて仮想ピンチイン／ピンチアウトジェスチャに従って動作を実行する。いくつかの実施形態において、仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識が表示されている間、適応入力デバイスから受信された入力は、タッチセンシティブ面に対する実際のピンチイン／ピンチアウトジェスチャに対応する動作を実行するために使用される。例えば、ジョイスティックを右にプッシュすることで受信された入力は、２つの視覚標識を離して移動（ピンチアウト）してディスプレイをズームインするために使用される。逆に、ジョイスティックを左にプッシュすることで受信された入力は、２つの視覚標識を共に移動（ピンチイン）してディスプレイをズームアウトするために使用される。従って、ユーザは、タッチユーザインタフェースを有する電子デバイス上のタッチセンシティブ面を実際にはタッチしないが、適応入力デバイスを使用してデバイスを操作できる（例えば、ディスプレイに対する仮想ジェスチャを実行できる）。
いくつかの実施形態において、仮想ピンチイン／ピンチアウトジェスチャアイコン（例えば、図５Ｋの５１８−１）の選択を検出することに応じて、デバイスは、第１の動作モードでユーザインタフェースを表示する。第１の動作モードは、２つの第１のモードの仮想タッチ点及び２つの第１のモードの仮想タッチ点をリンクする第１のコネクタを含む第１の視覚標識を表示することを含む。第１の動作ーモードの間、デバイスは、適応入力デバイスから第１の所定のユーザ入力（例えば、図４Ｃのロックボタン４８８−１の選択）を検出する。第１の動作モードの間に第１の所定のユーザ入力を検出することに応じて、デバイスは第２の動作ーモード（例えば、第１の動作モードを終了すること）を開始する。第２の動作モードは、２つの第２のモードの仮想タッチ点（例えば、図５Ｎの５０４−７及び５０４−８）、並びに２つの第２のモードの仮想タッチ点をリンクする第２のコネクタを含む第２の視覚標識に第１の視覚標識を置換することを含む。第２の動作モードの間、デバイスは、適応入力デバイスからのそれぞれのユーザ入力を検出する。第２の動作モードの間にそれぞれのユーザ入力を検出することに応じて、デバイスは、それぞれのユーザ入力に従ってピンチインジェスチャ又はピンチアウトジェスチャに対応する所定の動作（例えば、ズームイン動作又はズームアウト動作）を実行する。ズーム動作は、仮想ピンチイン／ピンチアウトジェスチャに応じて実行されてもよい所定の動作の一例に過ぎない。別の例として、写真アプリケーションにおいて、アルバムの集合のアルバムに対する仮想ピンチアウトジェスチャの結果、アルバムの集合の表示は、選択されたアルバムのデジタル写真の表示に置換されてもよい（不図示）。また、選択されたアルバムの写真に対する仮想ピンチアウトジェスチャの結果、選択されたアルバムの表示は選択された写真の表示に置換されてもよい。逆に、選択された写真に対する仮想ピンチインジェスチャの結果、選択された写真の表示は選択されたアルバムの表示に置換されてもよい。また、選択されたアルバムのデジタル写真に対する仮想ピンチインジェスチャの結果、選択されたアルバムのデジタル写真の表示はアルバムの集合の表示に置換されてもよい。より一般的に、タッチセンシティブ面に対する実際のピンチインジェスチャ又はピンチアウトジェスチャによりタッチユーザインタフェースにおいて実行されるあらゆる動作は、適応入力デバイスからの入力により行われた仮想ピンチインジェスチャ又は仮想ピンチアウトジェスチャにより更に実行されてもよい。
いくつかの実施形態において、第２の動作モードの間にそれぞれのユーザ入力を検出することに応じて、デバイスは、２つの第２のモードの仮想タッチ点のそれぞれの位置を移動し且つ２つの第２のモードの仮想タッチ点をリンクする第２のコネクタの長さを調整すること（例えば、図５Ｏの第２のモードの視覚標識５０４−７及び５０４−８、並びにコネクタ５２２を移動すること）により、第２の視覚標識の表示を更新する。
いくつかの実施形態において、第２の動作モードの間、デバイスは、適応入力デバイスからの第２の所定のユーザ入力を検出し、第２の動作モードの間に第２の所定のユーザ入力を検出することに応じて、第１の動作モード（例えば、第２の動作モードを終了すること）を開始する。例えば、図５Ｏの第２のモードの視覚標識の表示は、第１のモードの視覚標識の表示に置換されてもよい。いくつかの実施形態において、第２の動作モードから第１の動作モードに変化しても、表示されたユーザインタフェースの倍率は変化しない。
いくつかの実施形態において、第１の動作モードの間、デバイスは、適応入力デバイスからの第２のそれぞれのユーザ入力を検出し、第１の動作モードの間に第２の所定のユーザ入力を検出することに応じて、デバイスは、第２のそれぞれのユーザ入力（例えば、図５Ｎのスクロールされたユーザインタフェース）に従ってユーザインタフェースをスクロールする。
いくつかの実施形態において、第１のモードの仮想タッチ点の各々は、環状の表示オブジェクト（例えば、図５Ｍの５０４−５及び５０４−６）を含み、第２のモードの仮想タッチ点の各々は、環状の表示オブジェクト及び環状の表示オブジェクトの内部の同心円（例えば、図５Ｎの５０４−７及び５０４−８）を含む。
いくつかの実施形態において、各コネクタは鎖状の表示オブジェクト（例えば、図５Ｍの５２２）を含む。
いくつかの実施形態において、ズーム動作（例えば、ディスプレイのズームイン又はディスプレイのズームアウト）は、仮想ピンチイン／ピンチアウトジェスチャに従って実行される（６４６）（例えば、図５Ｏのズームインされたユーザインタフェース５０２−Ａを参照されたい）。
いくつかの実施形態において、デバイスは、仮想デバイスアイコン（例えば、図５Ｐの５１０−３）を表示し、仮想デバイスアイコンの選択を検出し、仮想デバイスアイコンの選択を検出することに応じて、仮想デバイス動作のメニュー（例えば、図５Ｑのメニュー５２４）を表示する（図６Ｅの６４８）。仮想デバイス動作のメニューは、仮想デバイス動作の種類を示す複数のアイコン（例えば、図５Ｑのアイコン５２６）を含む。例示的な仮想デバイス動作は、一般に電子デバイス上の物理的コントロールを介して実行される動作、例えば、一般にミュートスイッチを介して実行されるデバイス上で呼び出し音及び音響の効果をミュート及びミュート解除することと、一般にロック／ロック解除スイッチを介して開始されるデバイスをロックすることと、一般に音量アップボタンを介して実行される音量を上げることと、一般に音量ダウンボタンを介して実行される音量を下げることとを含んでもよい。例示的な仮想デバイス動作は、電子デバイスを振動させて所定の動作（例えば、取り消し動作）を実行することと、電子デバイスを回転させて表示の向きを回転させることとを更に含んでもよい。振動及び回転等の動作は、一般に、電子デバイスの加速度計を介して検出される。デバイスは、仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出し（例えば、視覚標識が仮想デバイス回転アイコン５２６−２の上に配置される時に適応入力デバイス上のボタンの起動を検出すること又は仮想デバイス回転アイコン５２６−２にわたり移動する視覚標識を検出すること等により、図５Ｑの仮想デバイス回転アイコン５２６−２の選択を検出すること）、仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出することに応じて、それぞれの仮想デバイス動作に対応する動作を実行する。例えば、図５Ｑの仮想デバイスロック画面アイコン５２６−４の選択に応じて、デバイスは、デバイスの画面をロックするかあるいはスクリーンセーバアプリケーション（不図示）を起動する。従って、ユーザは、電子デバイス上の物理的コントロールを実際にはタッチしないが、適応入力デバイスを使用してデバイス上の物理的コントロールを操作することもできる。
いくつかの実施形態において、デバイスは、仮想デバイス回転アイコン（例えば、図５Ｑのメニュー５２４の５２６−２）を表示し、仮想デバイス回転アイコンの選択を検出し、仮想デバイス回転アイコンの選択を検出することに応じて、仮想デバイスの向きのメニュー（例えば、図５Ｒのメニュー５２８）を表示する（６５０）。仮想デバイスの向きのメニューは、仮想デバイスの向きの種類を示す複数のアイコン（例えば、図５Ｒの仮想縦向きアイコン５３０−１、仮想左横向きアイコン５３０−２、仮想右横向きアイコン５３０−３及び仮想上下反対縦向きアイコン５３０−４）を含む。デバイスは、仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出し（例えば、視覚標識が仮想左横向きアイコン５３０−２の上に配置される時に適応入力デバイス上のボタンの起動を検出すること又は仮想左横向きアイコン５３０−２にわたり移動する視覚標識を検出すること等により、図５Ｒの仮想左横向きアイコン５３０−２の選択を検出すること）、仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出することに応じて、それぞれの仮想デバイスの向きに従って表示を配向させる。例えば、図５Ｒの仮想左横向きアイコン５３０−２の選択に応じて、デバイスは、ユーザインタフェースの向きを図５Ｓに示す向きに変更する。
いくつかの実施形態において、デバイスは、ホームボタン（例えば、ディスプレイに表示された仮想ホームボタン又は図２のディスプレイとは別個の物理的なホームボタン２０４）を含む（６５２）。デバイスは、ホームボタンアイコン（例えば、図５Ｔのメニュー５０８又は仮想デバイス動作のメニューの５１０−４）を表示し、ホームボタンアイコンの選択を検出し（例えば、視覚標識がホームボタンアイコンの上に配置される時に適応入力デバイス上のボタンの起動を検出すること又はホームボタンアイコンにわたり移動する視覚標識を検出すること）、ホームボタンアイコンの選択を検出することに応じて、ホームボタンの起動に対応する動作を実行する。例えば、図５Ｔのホームボタンアイコン５１０−４の選択に応じて、ホームスクリーン５０２−Ｄは、ちょうどあたかもホームボタン２０４（図２）が押下されているかのように図５Ｕに表示される。
尚、方法６００に関連して上述した処理の詳細も同様に以下に説明する方法７００、８００、９００、１０００、１１００、１２００及び１３００を含む本明細書で説明する他の方法に適用可能である。簡略化するために、これらの詳細は本明細書では繰り返されない。
図７は、いくつかの実施形態に係る仮想マルチタッチ接触アイコンのメニューを使用する方法７００を示すフローチャートである。方法７００は、ディスプレイ及びタッチセンシティブ面を有する電子デバイス（例えば、図３のデバイス３００又は図１のポータブル多機能デバイス１００）において実行される。いくつかの実施形態において、ディスプレイはタッチスクリーンディスプレイであり、タッチセンシティブ面はディスプレイにある。いくつかの実施形態において、ディスプレイはタッチセンシティブ面とは異なる。方法７００のいくつかの動作は組み合わされてもよく、且つ／あるいはいくつかの動作の順序は変更されてもよい。
以下に説明するように、方法７００は、エミュレートされるマルチタッチ接触の種類を選択するために、適応入力デバイス（例えば、ジョイスティック）からの入力と共に仮想マルチタッチ接触のメニューを使用する。これにより、ユーザは、電子デバイスのタッチセンシティブ面を使用せずに、複数の指を使用して電子デバイスのタッチセンシティブ面との対話を別の方法で必要とするマルチタッチ動作を実行できるようになる。
デバイスは、仮想タッチ（例えば、１本指の仮想接触等のタッチセンシティブ面に対する仮想タッチ）に対応する第１の視覚標識をディスプレイに表示し（７０２）、適応入力デバイスから第１の入力（例えば、視覚標識が仮想タッチ選択アイコンの上に配置される時に適応入力デバイス上のボタンの起動を検出すること又は仮想タッチ選択アイコンにわたり移動する視覚標識を検出すること）を受信し（７０４）、適応入力デバイスから第１の入力を受信することに応じて、仮想マルチタッチ接触のメニュー（例えば、図５Ｄのメニュー５１２）を表示する（７０６）。仮想マルチタッチ接触のメニューは、仮想マルチタッチ接触の種類を示す複数のアイコン（例えば、図５Ｄのメニュー５１２の２本指の接触アイコン５１４−１、３本指の接触アイコン５１４−２、４本指の接触アイコン５１４−３及び５本指の接触アイコン５１４−４）を含む。いくつかの実施形態において、仮想マルチタッチ接触のメニューは、１本指の接触アイコン（不図示）を更に含む。
デバイスは、仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出し（７０８）（例えば、視覚標識が３本指の仮想接触アイコン５１４−２の上に配置される時に適応入力デバイス上のボタンの起動を検出すること又は３本指の仮想接触アイコンにわたり移動する視覚標識を検出すること等により、図５Ｄの３本指の仮想接触アイコン５１４−２の選択を検出すること）、仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出することに応じて、それぞれの仮想マルチタッチ接触アイコンに対応する１つ以上の第２の仮想視覚標識（例えば、図５Ｅの視覚標識５０４−２〜５０４−４）を表示する（７１０）。いくつかの実施形態において、仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出することに応じて、デバイスは、仮想マルチタッチ接触のメニューの表示を更に中止する。いくつかの実施形態において、第２の視覚標識は、それぞれの仮想マルチタッチ接触アイコンに対応する複数の接触を示す単一のアイコンの一部である。いくつかの実施形態において、第２の視覚標識は、それぞれの仮想マルチタッチ接触アイコンに対応する複数の接触を示す複数のアイコンである。
図８は、いくつかの実施形態に係る仮想ジェスチャのメニューを使用する方法８００を示すフローチャートである。方法８００は、ディスプレイ及びタッチセンシティブ面を有する電子デバイス（例えば、図３のデバイス３００又は図１のポータブル多機能デバイス１００）において実行される。いくつかの実施形態において、ディスプレイはタッチスクリーンディスプレイであり、タッチセンシティブ面はディスプレイにある。いくつかの実施形態において、ディスプレイはタッチセンシティブ面とは異なる。方法８００のいくつかの動作は組み合わされてもよく、且つ／あるいはいくつかの動作の順序は変更されてもよい。
以下に説明するように、方法８００は、タッチセンシティブ面に対する実際のジェスチャを選択及びエミュレートするために、適応入力デバイスからの入力と共に仮想ジェスチャのメニューを使用する。これにより、ユーザは、電子デバイスのタッチセンシティブ面を使用せずに、複数の指を使用して電子デバイスのタッチセンシティブ面と対話することで取得されるのと同一の結果をもたらす仮想マルチタッチジェスチャを実行できる。
デバイスは、仮想タッチ（例えば、１本指の仮想接触等のタッチセンシティブ面に対する仮想タッチ）に対応する第１の視覚標識をディスプレイに表示し（８０２）、適応入力デバイスからの第１の入力（例えば、視覚標識が仮想ジェスチャアイコンの上に配置される時に適応入力デバイス上のボタンの起動を検出すること又は仮想ジェスチャアイコンにわたり移動する視覚標識を検出すること）を受信し（８０４）、適応入力デバイスから第１の入力を受信することに応じて仮想ジェスチャのメニュー（例えば、図５Ｋのメニュー５１６）を表示する（８０６）。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコン（例えば、図５Ｋの２本指の仮想ピンチイン／ピンチアウトジェスチャアイコン５１８−１、３本指の仮想上スワイプジェスチャアイコン５１８−２、３本指の仮想下スワイプジェスチャアイコン５１８−３、ユーザ構成の仮想ジェスチャアイコン５１８−４）を含む。
デバイスは、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出し（８０８）（例えば、視覚標識が２本指の仮想ピンチイン／ピンチアウトジェスチャアイコン５１８−１の上に配置される時に適応入力デバイス上のボタンの起動を検出すること又は２本指の仮想ピンチイン／ピンチアウトジェスチャアイコンにわたり移動する視覚標識を検出すること等により、図５Ｋの２本指の仮想ピンチイン／ピンチアウトジェスチャアイコン５１８−１の選択を検出すること）、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて、それぞれの仮想ジェスチャアイコンに対応する複数の視覚標識を表示する（８１０）。例えば、図５Ｋの２本指の仮想ピンチイン／ピンチアウトジェスチャアイコン５１８−１の選択に応じて、２つの仮想タッチに対応する２つの視覚標識が図５Ｌに表示される。
デバイスは、適応入力デバイスから第２の入力を受信し（８１２）、適応入力デバイスから第２の入力を受信することに応じて、それぞれの仮想ジェスチャに従って動作を実行する（８１４）。例えば図５Ｍにおいて、適応入力デバイスにより受信された入力は、２つの視覚標識５０４−５及び５０４−６を移動し、ユーザインタフェース５０２−Ａをスクロールする。別の例では、図５Ｏにおいて、適応入力デバイスにより受信された入力は、異なる倍率（例えば、ズーム動作）でユーザインタフェースを表示する。
図９は、いくつかの実施形態に係る仮想ピンチジェスチャを実行する方法９００を示すフローチャートである。方法９００は、ディスプレイ及びタッチセンシティブ面を有する電子デバイス（例えば、図３のデバイス３００又は図１のポータブル多機能デバイス１００）において実行される。いくつかの実施形態において、ディスプレイはタッチスクリーンディスプレイであり、タッチセンシティブ面はディスプレイにある。いくつかの実施形態において、ディスプレイはタッチセンシティブ面とは異なる。方法９００のいくつかの動作は組み合わされてもよく、且つ／あるいはいくつかの動作の順序は変更されてもよい。
以下に説明するように、方法９００は、タッチセンシティブ面に対するピンチイン／ピンチアウトジェスチャをエミュレートするために、適応入力デバイスからの入力と共に２つの視覚標識（２つの仮想タッチに対応する）を使用する。これにより、ユーザは、電子デバイスのタッチセンシティブ面を使用せずに、２本の指を使用して電子デバイスのタッチセンシティブ面との対話を別の方法で必要とする動作（例えば、ズーム）を実行できる。
デバイスは、仮想ピンチイン／ピンチアウトジェスチャアイコン（例えば、第１のメニュー又は仮想ジェスチャメニューの）を表示し（９０２）、仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出し（９０４）（例えば、視覚標識が仮想ピンチイン／ピンチアウトジェスチャアイコンの上に配置される時に適応入力デバイス上のボタンの起動を検出すること又は仮想ピンチイン／ピンチアウトジェスチャアイコンにわたり移動する視覚標識を検出すること）、仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出することに応じて、仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識（例えば、図５Ｋ及び図５Ｌに示すような）を表示する（９０６）。
デバイスは、適応入力デバイスから入力を受信し（９０８）、適応入力デバイスから入力を受信することに応じて、それぞれの仮想ピンチイン／ピンチアウトジェスチャに従ってズーム動作（例えば、図５Ｎ及び図５Ｏに示すような）を実行する（９１０）。いくつかの実施形態において、仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識が表示されている間、適応入力デバイスから受信された入力は、タッチセンシティブ面に対する実際のピンチイン／ピンチアウトジェスチャに対応する動作を実行するために使用される。例えば、ジョイスティックを右にプッシュすることで受信された入力は、２つの視覚標識を離して移動（ピンチアウト）してディスプレイをズームインするために使用される。逆に、ジョイスティックを左にプッシュすることで受信された入力は、２つの視覚標識を共に移動（ピンチイン）してディスプレイをズームアウトするために使用される。従って、ユーザは、タッチユーザインタフェースを有する電子デバイス上のタッチセンシティブ面を実際にはタッチしないが、適応入力デバイスを使用してデバイスを操作できる（例えば、ディスプレイに対する仮想ジェスチャを実行できる）。
図１０は、いくつかの実施形態に係る仮想ジェスチャのメニューを使用する方法１０００を示すフローチャートである。方法１０００は、ディスプレイ及びタッチセンシティブ面を有する電子デバイス（例えば、図３のデバイス３００又は図１のポータブル多機能デバイス１００）において実行される。いくつかの実施形態において、ディスプレイはタッチスクリーンディスプレイであり、タッチセンシティブ面はディスプレイにある。いくつかの実施形態において、ディスプレイはタッチセンシティブ面とは異なる。方法１０００のいくつかの動作は組み合わされてもよく、且つ／あるいはいくつかの動作の順序は変更されてもよい。
以下に説明するように、方法１０００は、タッチセンシティブ面に対する実際のジェスチャを選択及びエミュレートするために適応入力デバイスからの入力と共に仮想ジェスチャのメニューを使用する。これにより、ユーザは、電子デバイスのタッチセンシティブ面を使用せずに、複数の指を使用して電子デバイスのタッチセンシティブ面と対話することで取得されるのと同一の結果をもたらす仮想マルチタッチジェスチャを実行できる。
デバイスは、仮想ジェスチャアイコン（例えば、第１のメニューの）を表示し（１００２）、仮想ジェスチャアイコンの選択を検出し（１００４）、仮想ジェスチャアイコンの選択を検出することに応じて、仮想ジェスチャのメニュー（例えば、図５Ｈ及び図５Ｉに示すような）を表示する（１００６）。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコンを含む。
デバイスは、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出し（１００８）（例えば、適応入力デバイス上のボタンの起動により、図５Ｉの３本指の仮想上スワイプジェスチャアイコン５１８−２の選択を検出すること）、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて、それぞれの仮想ジェスチャに対応する動作を実行する（１０１０）。例えば、図５Ｉの３本指の仮想上スワイプジェスチャアイコン５１８−２の選択に応じて、デバイスは、図５Ｊに示す複数の開いているアプリケーションアイコンを含むアプリケーションアイコン領域５２０を表示する。いくつかの実施形態において、デバイスは、ジェスチャに対応する視覚標識を表示せずにある特定のジェスチャに対応する動作を実行してもよい。
図１１は、いくつかの実施形態に係る仮想デバイス動作のメニューを使用する方法１１００を示すフローチャートである。方法１１００は、ディスプレイ及びタッチセンシティブ面を有する電子デバイス（例えば、図３のデバイス３００又は図１のポータブル多機能デバイス１００）において実行される。いくつかの実施形態において、ディスプレイはタッチスクリーンディスプレイであり、タッチセンシティブ面はディスプレイにある。いくつかの実施形態において、ディスプレイはタッチセンシティブ面とは異なる。方法１１００のいくつかの動作は組み合わされてもよく、且つ／あるいはいくつかの動作の順序は変更されてもよい。
以下に説明するように、方法１１００は、一般に電子デバイス上の物理的コントロール（例えば、ミュートスイッチ、ロックスイッチ、音量ボタン）の起動を介して、あるいは加速度計により検出された動作（例えば、デバイスの振動又はデバイスの回転）に応じて実行される動作を選択及びエミュレートするために、適応入力デバイスからの入力と共に仮想デバイス動作のメニューを使用する。これにより、ユーザは、全体として電子デバイス又はデバイスの物理的コントロールとの対話を別の方法で必要とする動作を実行できる。
デバイスは、仮想デバイスアイコン（例えば、第１のメニューの）を表示し（１１０２）、仮想デバイスアイコンの選択を検出し（１１０４）、仮想デバイスアイコンの選択を検出することに応じて、仮想デバイス動作のメニュー（例えば、図５Ｐ及び図５Ｑに示すような）を表示する（１１０６）。仮想デバイス動作のメニューは、仮想デバイス動作の種類を示す複数のアイコンを含む。例示的な仮想デバイス動作は、一般に電子デバイス上の物理的コントロールを介して実行される動作、例えば、一般にミュートスイッチを介して実行されるデバイス上で呼び出し音及び音響の効果をミュート及びミュート解除することと、一般にロック／ロック解除スイッチを介して開始されるデバイスをロックすることと、一般に音量アップボタンを介して実行される音量を上げることと、一般に音量ダウンボタンを介して実行される音量を下げることとを含んでもよい。例示的な仮想デバイス動作は、電子デバイスを振動させて所定の動作（例えば、取り消し動作）を実行することと、電子デバイスを回転させて表示の向きを回転させることとを更に含んでもよい。振動及び回転等の動作は、一般に、電子デバイスの加速度計を介して検出される。
デバイスは、仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出し（１１０８）（例えば、視覚標識が仮想ミュート／ミュート解除アイコン５２６−１の上に配置される時に適応入力デバイス上のボタンの起動を検出すること又は仮想ミュート／ミュート解除アイコンにわたり移動する視覚標識を検出すること等により、仮想ミュート／ミュート解除アイコン５２６−１の選択を検出すること）、仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出することに応じて、それぞれの仮想デバイス動作に対応する動作を実行する（１１１０）。例えば、図５Ｑの仮想ミュート／ミュート解除アイコン５２６−１の選択に応じて、デバイスは、デバイス上で呼び出し音及び音響の効果をミュート又はミュート解除する。従って、ユーザは、電子デバイス上の物理的コントロールを実際にはタッチしないが、適応入力デバイスを使用してデバイス上の物理的コントロールを操作することもできる。
図１２は、いくつかの実施形態に係る仮想デバイスの向きのメニューを使用する方法１２００を示すフローチャートである。方法１２００は、ディスプレイ及びタッチセンシティブ面を有する電子デバイス（例えば、図３のデバイス３００又は図１のポータブル多機能デバイス１００）において実行される。いくつかの実施形態において、ディスプレイはタッチスクリーンディスプレイであり、タッチセンシティブ面はディスプレイにある。いくつかの実施形態において、ディスプレイはタッチセンシティブ面とは異なる。方法１２００のいくつかの動作は組み合わされてもよく、且つ／あるいはいくつかの動作の順序は変更されてもよい。
以下に説明するように、方法１２００は、ディスプレイの向きを制御するために、適応入力デバイスからの入力と共に仮想デバイスの向きのメニューを使用する。これにより、ユーザは、電子デバイスを物理的に回転させずに電子デバイスの表示を配向させることができる。
デバイスは、仮想デバイス回転アイコン（例えば、仮想デバイスメニューの）を表示し（１２０２）、仮想デバイス回転アイコンの選択を検出し（１２０４）、仮想デバイス回転アイコンの選択を検出することに応じて、仮想デバイスの向きのメニュー（例えば、図５Ｑ及び図５Ｒに示すような）を表示する（１２０６）。仮想デバイスの向きのメニューは、仮想デバイスの向きの種類を示す複数のアイコン（例えば、図５Ｒの仮想縦向きアイコン５３０−１、仮想左横向きアイコン５３０−２、仮想右横向きアイコン５３０−３及び仮想上下反対縦向きアイコン５３０−４）を含む。
デバイスは、仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出する（１２０８）（例えば、視覚標識が仮想左横向きアイコン５３０−２の上に配置される時に適応入力デバイス上のボタンの起動を検出すること又は仮想左横向きアイコンにわたり移動する視覚標識を検出すること等により、図５Ｒの仮想左横向きアイコン５３０−２の選択を検出すること）。仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出することに応じて、デバイスは、それぞれの仮想デバイスの向きに従って表示を配向させる（１２１０）。例えば、図５Ｒの仮想左横向きアイコン５３０−２の選択に応じて、デバイスは、ディスプレイ上のユーザインタフェースを図５Ｓに示すユーザインタフェースに配向させる。
図１３は、いくつかの実施形態に係るユーザ規定の仮想ジェスチャを作成する方法１３００を示すフローチャートである。方法１３００は、ディスプレイ及びタッチセンシティブ面を有する電子デバイス（例えば、図３のデバイス３００又は図１のポータブル多機能デバイス１００）において実行される。いくつかの実施形態において、ディスプレイはタッチスクリーンディスプレイであり、タッチセンシティブ面はディスプレイにある。いくつかの実施形態において、ディスプレイはタッチセンシティブ面とは異なる。方法１３００のいくつかの動作は組み合わされてもよく、且つ／あるいはいくつかの動作の順序は変更されてもよい。
以下に説明するように、方法１３００は、ユーザ規定のカスタム仮想ジェスチャを作成するために、適応入力デバイスからの入力を使用する。これにより、ユーザは、複数の指を使用してタッチセンシティブ面との対話を別の方法で必要とする仮想マルチタッチジェスチャを記録及び検索できる。
デバイスは、仮想ジェスチャ記録モードの間（１３０２）、複数の視覚標識（例えば、１本指のそれぞれの仮想接触に対応するアイコン）をディスプレイに表示する（１３０４）。例えば図５ＡＡにおいて、視覚標識５４０−１及び５４０−２が表示される。
複数の視覚標識の視覚標識毎に（１３０６）、デバイスは、それぞれの視覚標識に対するそれぞれのユーザ入力を適応入力デバイスから受信し（１３０８）、それぞれのユーザ入力に従ってそれぞれの視覚標識を移動し（１３１０）、それぞれの視覚標識の移動に対応するそれぞれの軌跡をそれぞれの視覚標識（例えば、図５Ｙの視覚標識５４０−１及び軌跡５４２−１）と同時に表示する（１３１２）。
いくつかの実施形態において、仮想ジェスチャ記録モードの間、デバイスは、複数のそれぞれの視覚標識及び対応する複数のそれぞれの軌跡を同時に表示する（１３１４）。例えば、視覚標識５４０−１及び５４０−２は、図５ＡＡの軌跡５４２−１及び５４２−２と同時に表示される。
デバイスは、複数の視覚標識及び複数の視覚標識の移動に対応するユーザ規定の仮想ジェスチャを作成する（１３１６）。ユーザ規定のジェスチャは、複数の視覚標識の絶対位置又は相対位置及び複数の視覚標識の相対移動又は絶対移動を含んでもよい。
デバイスは、ユーザ規定の仮想ジェスチャを電子デバイスの所定の動作と関連付け（１３１８）、ユーザ規定の仮想ジェスチャを格納する（１３２０）。従って、ユーザは、タッチユーザインタフェースを有する電子デバイス上のタッチセンシティブ面を実際にはタッチしないが、適応入力デバイスを使用してデバイスに対するカスタム仮想マルチタッチジェスチャを作成できる。
いくつかの実施形態において、ユーザ規定の仮想ジェスチャを作成して電子デバイスの所定の動作と関連付けた後、デバイスは、適応入力デバイスから入力（例えば、視覚標識が図５ＡＢのアイコン５１８−４等のユーザ規定の仮想ジェスチャに対応するアイコンの上に配置される時に適応入力デバイス上のボタンの起動を検出すること又はユーザ規定の仮想ジェスチャに対応するアイコンにわたり移動する視覚標識を検出すること）を受信し（１３２２）、適応入力デバイスから入力を受信することに応じて、ユーザ規定の仮想ジェスチャと関連付けられた所定の動作を実行する。
いくつかの実施形態において、適応入力デバイスから入力を受信することに応じて、デバイスは、ユーザ規定の仮想ジェスチャの複数のそれぞれの視覚標識のアニメーション化された移動をそれぞれの軌跡に沿って表示する（１３２４）。例えば図５ＡＣにおいて、視覚標識５４０−１及び５４０−２のアニメーション化された移動は、それぞれの軌跡５４２−１及び５４２−２と共に表示される。いくつかの実施形態において、ユーザ規定の仮想ジェスチャが高速且つ低速に再作成されることで仮想ジェスチャ記録モードで作成された厳密なユーザ規定の仮想ジェスチャを模倣できるように、格納されたユーザ規定の仮想ジェスチャは、ユーザ規定の仮想ジェスチャの各視覚標識の位置及び時間を含む。いくつかの実施形態において、ユーザ規定の仮想ジェスチャは、仮想ジェスチャ記録モードで作成された速度ではなく一定の速度で示されうる（「再生されうる」）。一定の速度は、ユーザが「自然なペース」で事象を生成するのが困難な場合に有用である。一定の速度の仮想ジェスチャの場合、ジェスチャの事象は、デバイスが事象に対処できるより速くそれらを生成するのを回避するために、実際の指がタッチセンシティブ面にわたり移動する際に事象が受信される平均的な速度で生成されてもよい。
いくつかの実施形によると、図１４は、上述したような本発明の原理に従って構成された電子デバイス１４００を示す機能ブロック図である。デバイスの機能ブロックは、本発明の原理を実行するためにハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組合せで実現されてもよい。図１４に説明する機能ブロックは、上述の本発明の原理を実現するために組み合わされてもよく、あるいはサブブロックに分けられてもよいことが当業者により理解される。従って、本明細書の説明は、本明細書で説明する機能ブロックの考えられるあらゆる組合せ又は分割、あるいは更なる定義をサポートしてもよい。
図１４に示すように、電子デバイス１４００は、仮想タッチに対応する第１の視覚標識を表示するように構成された表示ユニット１４０２と、指の接触を入力するように構成されたタッチセンシティブ面ユニット１４０４と、表示ユニット１４０２及びタッチセンシティブ面ユニット１４０４に結合された処理ユニット１４０６とを備える。いくつかの実施形態において、処理ユニット１４０６は、受信ユニット１４０８と、表示有効化ユニット１４１０と、検出ユニット１４１２と、移動ユニット１４１４と、実行ユニット１４１６と、待機ユニット１４１８と、配向ユニット１４２０と、制限ユニット１４２２とを備える。
処理ユニット１４０６は、適応入力デバイスから第１の入力を受信し（例えば、受信ユニット１４０８を用いて）、且つ適応入力デバイスから第１の入力を受信することに応じて、表示ユニットでの第１のメニューの表示を有効にする（例えば、表示有効化ユニット１４１０を用いて）ように構成される。第１のメニューは、仮想タッチ選択アイコンを含む。仮想タッチ選択アイコンの選択を検出することに応じて、仮想マルチタッチ接触のメニューが表示される（例えば、表示有効化ユニット１４１０を用いて表示ユニット１４０２に）。
いくつかの実施形態において、第１の視覚標識は、環状、ドーナツ形、円形、楕円形、長円形、矢印、十字形、Ｉビーム、星形又は仮想指のうちの１つを含む。
いくつかの実施形態において、第１の入力は、第１の視覚標識を表示ユニットの所定の領域に移動する。
いくつかの実施形態において、第１の入力は、適応入力デバイス上のコントロールの起動に対応する。
いくつかの実施形態において、第１の入力は、適応入力デバイス上のコントロールを左右に移動することに対応する。
いくつかの実施形態において、適応入力デバイスはジョイスティックを含み、第１の入力はジョイスティックを左右に移動することに対応する。
いくつかの実施形態において、第１のメニューは、第１のメニューの中心の周りに放射状に表示されたアイコンを含む。
いくつかの実施形態において、第１のユーザインタフェースは、適応入力デバイスから第１の入力を受信する直前に表示ユニット１４０２に表示され、第１のメニューは、第１のユーザインタフェースの上に表示される（例えば、表示ユニット１４０２に）。
いくつかの実施形態において、処理ユニット１４０６は、適応入力デバイスから第１の入力を受信することに応じて、第１のメニューの中央領域での第１の視覚標識の表示を有効にする（例えば、表示ユニット１４０２で表示有効化ユニット１４１０を用いて）ように構成される。
いくつかの実施形態において、処理ユニット１４０６は、仮想タッチ選択アイコンの選択を検出し（例えば、検出ユニット１４１２を用いて）、且つ仮想タッチ選択アイコンの選択を検出することに応じて、仮想マルチタッチ接触のメニューの表示を有効にする（例えば、表示ユニット１４０２で表示有効化ユニット１４１０を用いて）ように構成される。仮想マルチタッチ接触のメニューは、仮想マルチタッチ接触の種類を示す複数のアイコンを含む。処理ユニット１４０６は、仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出し（例えば、検出ユニット１４１２を用いて）、且つ仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出することに応じて、それぞれの仮想マルチタッチ接触アイコンに対応する１つ以上の第２の視覚標識の表示を有効にする（例えば、表示ユニット１４０２で表示有効化ユニット１４１０を用いて）ように構成される。
いくつかの実施形態において、第２の視覚標識の表示を有効にすることは、それぞれの仮想マルチタッチ接触アイコンに対応する複数の視覚標識の表示を有効にする（例えば、表示ユニット１４０２で表示有効化ユニット１４１０を用いて）ことを含む。
いくつかの実施形態において、処理ユニット１４０６は、適応入力デバイスから第２の入力を受信し（例えば、受信ユニット１４０８を用いて）、且つ適応入力デバイスから第２の入力を受信することに応じて、１つ以上の第２の視覚標識を移動し（例えば、移動ユニット１４１４を用いて）且つ１つ以上の第２の視覚標識の移動に従って動作を実行する（例えば、実行ユニット１４１６を用いて）ように構成される。
いくつかの実施形態において、処理ユニット１４０６は、１つ以上の第２の視覚標識の表示を有効にしている間、所定の期間を超える期間にわたり適応入力デバイスから入力を受信するのを待機し（例えば、待機ユニット１４１８を用いて）、且つ所定の期間を超える期間にわたり適応入力デバイスからの入力の受信を待機したことに応じて、１つ以上の第２の視覚標識の表示を第１の視覚標識の表示に置換する（例えば、表示有効化ユニット１４１０を用いて）ように構成される。
いくつかの実施形態において、処理ユニット１４０６は、仮想ジェスチャアイコンの表示を有効にし（例えば、表示ユニット１４０２で表示有効化ユニット１４１０を用いて）、仮想ジェスチャアイコンの選択を検出し（例えば、検出ユニット１４１２を用いて）、且つ仮想ジェスチャアイコンの選択を検出することに応じて、仮想ジェスチャのメニューの表示を有効にする（例えば、表示ユニット１４０２で表示有効化ユニット１４１０を用いて）ように構成される。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコンを含む。処理ユニット１４０６は、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出し（例えば、検出ユニット１４１２を用いて）、且つ仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて、それぞれの仮想ジェスチャに対応する動作を実行する（例えば、実行ユニット１４１６を用いて）ように構成される。
いくつかの実施形態において、処理ユニット１４０６は、仮想ジェスチャアイコンの表示を有効にし（例えば、表示ユニット１４０２で表示有効化ユニット１４１０を用いて）、仮想ジェスチャアイコンの選択を検出し（例えば、検出ユニット１４１２を用いて）、且つ仮想ジェスチャアイコンの選択を検出することに応じて、仮想ジェスチャのメニューの表示を有効にする（例えば、表示ユニット１４０２で表示有効化ユニット１４１０を用いて）ように構成される。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコンを含む。処理ユニット１４０６は、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出し（例えば、検出ユニット１４１２を用いて）、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて、それぞれの仮想ジェスチャアイコンに対応する複数の視覚標識の表示を有効にし（例えば、表示有効化ユニット１４１０を用いて）、適応入力デバイスから第２の入力を受信し（例えば、受信ユニット１４０８を用いて）、且つ適応入力デバイスから第２の入力を受信することに応じて、それぞれの仮想ジェスチャに従って動作を実行する（例えば、実行ユニット１４１６を用いて）ように構成される。
いくつかの実施形態において、処理ユニット１４０６は、適応入力デバイスから第２の入力を受信することに応じて、それぞれの仮想ジェスチャに対応する表示された視覚標識を移動して、タッチセンシティブ面ユニットに対する実際の接触の移動をシミュレートする（例えば、移動ユニット１４１４を用いて）ように構成される。
いくつかの実施形態において、処理ユニット１４０６は、仮想ピンチイン／ピンチアウトジェスチャアイコンの表示を有効にし（例えば、表示ユニット１４０２で表示有効化ユニット１４１０を用いて）、仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出し（例えば、検出ユニット１４１２を用いて）、仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出することに応じて、仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識の表示を有効にし（例えば、表示ユニット１４０２で表示有効化ユニット１４１０を用いて）、適応入力デバイスから第２の入力を受信し（例えば、受信ユニット１４０８を用いて）、且つ適応入力デバイスから第２の入力を受信することに応じて、仮想ピンチイン／ピンチアウトジェスチャに従って動作を実行する（例えば、実行ユニット１４１６を用いて）ように構成される。
いくつかの実施形態において、ズーム動作は、仮想ピンチイン／ピンチアウトジェスチャに従って実行される。
いくつかの実施形態において、処理ユニット１４０６は、仮想デバイスアイコンの表示を有効にし（例えば、表示ユニット１４０２で表示有効化ユニット１４１０を用いて）、仮想デバイスアイコンの選択を検出し（例えば、検出ユニット１４１２を用いて）、仮想デバイスアイコンの選択を検出することに応じて、仮想デバイス動作の種類を示す複数のアイコンを含む仮想デバイス動作のメニューの表示を有効にし（例えば、表示ユニット１４０２で表示有効化ユニット１４１０を用いて）、仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出し（例えば、検出ユニット１４１２を用いて）、且つ仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出することに応じて、それぞれの仮想デバイス動作に対応する動作を実行する（例えば、実行ユニット１４１６を用いて）ように構成される。
いくつかの実施形態において、処理ユニット１４０６は、仮想デバイス回転アイコンの表示を有効にし（例えば、表示ユニット１４０２で表示有効化ユニット１４１０を用いて）、仮想デバイス回転アイコンの選択を検出し（例えば、検出ユニット１４１２を用いて）、且つ仮想デバイス回転アイコンの選択を検出することに応じて、仮想デバイスの向きのメニューの表示を有効にする（例えば、表示ユニット１４０２で表示有効化ユニット１４１０を用いて）ように構成される。仮想デバイスの向きのメニューは、仮想デバイスの向きの種類を示す複数のアイコンを含む。処理ユニット１４０６は、仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出し（例えば、検出ユニット１４１２を用いて）、且つ仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出することに応じて、それぞれの仮想デバイスの向きに従って表示を配向させる（例えば、配向ユニット１４２０を用いて）ように構成される。
いくつかの実施形態において、電子デバイス１４００はホームボタンを含む。処理ユニット１４０６は、ホームボタンアイコンの表示を有効にし（例えば、表示ユニット１４０２で表示有効化ユニット１４１０を用いて）、ホームボタンアイコンの選択を検出し（例えば、検出ユニット１４１２を用いて）、且つホームボタンアイコンの選択を検出することに応じて、ホームボタンの起動に対応する動作を実行する（例えば、実行ユニット１４１６を用いて）ように構成される。
いくつかの実施形態において、処理ユニット１４０６は、表示ユニットでのメニューの表示を有効にしている間、第１の視覚標識がメニューに残るように第１の視覚標識の移動を制限する（例えば、制限ユニット１４２２を用いて）ように構成される。
いくつかの実施形態において、処理ユニット１４０６は、表示ユニットでの第１のメニューの表示を有効にしている間、第１の視覚標識が第１のメニューに表示されない場合に適応入力デバイスから第２の入力を受信し（例えば、受信ユニット１４０８を用いて）、且つ第２の入力に応じて第１のメニューの表示を中止する（例えば、表示有効化ユニット１４１０を用いて）ように構成される。
いくつかの実施形態において、処理ユニット１４０６は、表示ユニットでの第１のメニューの表示を有効にしている間、所定の期間を超える期間にわたり適応入力デバイスから入力を受信するのを待機し（例えば、待機ユニット１４１８を用いて）、且つ所定の期間を超える期間にわたり適応入力デバイスからの入力の受信を待機したことに応じて、第１のメニューの表示を中止する（例えば、表示有効化ユニット１４１０を用いて）ように構成される。
いくつかの実施形態によると、図１５は、上述したような本発明の原理に従って構成された電子デバイス１５００を示す機能ブロック図である。デバイスの機能ブロックは、本発明の原理を実行するハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組合せで実現されてもよい。図１５に説明する機能ブロックは、上述の本発明の原理を実現するために組み合わされてもよく、あるいはサブブロックに分けられてもよいことが当業者により理解される。従って、本明細書の説明は、本明細書で説明する機能ブロックの考えられるあらゆる組合せ又は分割、あるいは更なる定義をサポートしてもよい。
図１５に示すように、電子デバイス１５００は、仮想タッチに対応する第１の視覚標識を表示するように構成された表示ユニット１５０２と、指の接触を入力するように構成されたタッチセンシティブ面ユニット１５０４と、表示ユニット１５０２及びタッチセンシティブ面ユニット１５０４に結合された処理ユニット１５０６とを備える。いくつかの実施形態において、処理ユニット１５０６は、受信ユニット１５０８と、表示有効化ユニット１５１０と、検出ユニット１５１２とを備える。
処理ユニット１５０６は、適応入力デバイスから第１の入力を受信し（例えば、受信ユニット１５０８を用いて）、且つ適応入力デバイスから第１の入力を受信することに応じて、仮想マルチタッチ接触のメニューの表示を有効にする（例えば、表示ユニット１５０２で表示有効化ユニット１５１０を用いて）ように構成される。仮想マルチタッチ接触のメニューは、仮想マルチタッチ接触の種類を示す複数のアイコンを含む。処理ユニット１５０６は、仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出し（例えば、検出ユニット１５１２を用いて）、且つ仮想マルチタッチ接触のメニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出することに応じて、それぞれの仮想マルチタッチ接触アイコンに対応する１つ以上の第２の視覚標識の表示を有効にする（例えば、表示ユニット１５０２で表示有効化ユニット１５１０を用いて）ように構成される。
いくつかの実施形態によると、図１６は、上述したような本発明の原理に従って構成された電子デバイス１６００を示す機能ブロック図である。デバイスの機能ブロックは、本発明の原理を実行するハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組合せで実現されてもよい。図１６に説明する機能ブロックは、上述の本発明の原理を実現するために組み合わされてもよく、あるいはサブブロックに分けられてもよいことが当業者により理解される。従って、本明細書の説明は、本明細書で説明する機能ブロックの考えられるあらゆる組合せ又は分割、あるいは更なる定義をサポートしてもよい。
図１６に示すように、電子デバイス１６００は、ユーザインタフェースオブジェクト（例えば、１つ以上のアイコン及び／又は標識）を表示するように構成された表示ユニット１６０２と、指の接触を入力するように構成されたタッチセンシティブ面ユニット１６０４と、表示ユニット１６０２及びタッチセンシティブ面ユニット１６０４に結合された処理ユニット１６０６とを備える。いくつかの実施形態において、処理ユニット１６０６は、受信ユニット１６０８と、表示有効化ユニット１６１０と、検出ユニット１６１２と、実行ユニット１６１４とを備える。
いくつかの実施形態において、処理ユニット１６０６は、仮想タッチに対応する第１の視覚標識の表示を有効にし（例えば、表示ユニット１６０２で表示有効化ユニット１６１０を用いて）、適応入力デバイスから第１の入力を受信し（例えば、受信ユニット１６０８を用いて）、且つ適応入力デバイスから第１の入力を受信することに応じて、仮想ジェスチャのメニューの表示を有効にする（例えば、表示ユニット１６０２で表示有効化ユニット１６１０を用いて）ように構成される。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコンを含む。処理ユニット１６０６は、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出し（例えば、検出ユニット１６１２を用いて）、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて、それぞれの仮想ジェスチャアイコンに対応する複数の視覚標識の表示を有効にし（例えば、表示ユニット１６０２で表示有効化ユニット１６１２を用いて）、適応入力デバイスから第２の入力を受信し（例えば、受信ユニット１６０８を用いて）、且つ適応入力デバイスから第２の入力を受信することに応じて、それぞれの仮想ジェスチャに従って動作を実行する（例えば、実行ユニット１６１４を用いて）ように構成される。
いくつかの実施形態において、処理ユニット１６０６は、ピンチイン／ピンチアウトジェスチャアイコンの表示を有効にし（例えば、表示ユニット１６０２で表示有効化ユニット１６１０を用いて）、仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出し（例えば、検出ユニット１６１２を用いて）、仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出することに応じて、仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識の表示を有効にし（例えば、表示ユニット１６０２で表示有効化ユニット１６１２を用いて）、適応入力デバイスから入力を受信し（例えば、受信ユニット１６０８を用いて）、且つ適応入力デバイスから入力を受信することに応じて、それぞれの仮想ピンチイン／ピンチアウトジェスチャに従ってズーム動作を実行する（例えば、実行ユニット１６１４を用いて）ように構成される。
いくつかの実施形態において、処理ユニット１６０６は、仮想ジェスチャアイコンの表示を有効にし（例えば、表示ユニット１６０２で表示有効化ユニット１６１０を用いて）、仮想ジェスチャアイコンの選択を検出し（例えば、検出ユニット１６１２を用いて）、且つ仮想ジェスチャアイコンの選択を検出することに応じて、仮想ジェスチャのメニューの表示を有効にする（例えば、表示ユニット１６０２で表示有効化ユニット１６１０を用いて）ように構成される。仮想ジェスチャのメニューは、仮想ジェスチャの種類を示す複数のアイコンを含む。処理ユニット１６０６は、仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出し（例えば、検出ユニット１６１２を用いて）、且つ仮想ジェスチャのメニューのそれぞれの仮想ジェスチャアイコンの選択を検出することに応じて、それぞれの仮想ジェスチャに対応する動作を実行する（例えば、実行ユニット１６１４を用いて）ように構成される。
いくつかの実施形態によると、図１７は、上述したような本発明の原理に従って構成された電子デバイス１７００を示す機能ブロック図である。デバイスの機能ブロックは、本発明の原理を実行するハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組合せで実現されてもよい。図１７に説明する機能ブロックは、上述の本発明の原理を実現するために組み合わされてもよく、あるいはサブブロックに分けられてもよいことが当業者により理解される。従って、本明細書の説明は、本明細書で説明する機能ブロックの考えられるあらゆる組合せ又は分割、あるいは更なる定義をサポートしてもよい。
図１７に示すように、電子デバイス１７００は、仮想デバイスアイコンを表示するように構成された表示ユニット１７０２と、指の接触を入力するように構成されたタッチセンシティブ面ユニット１７０４と、表示ユニット１７０２及びタッチセンシティブ面ユニット１７０４に結合された処理ユニット１７０６とを備える。いくつかの実施形態において、処理ユニット１７０６は、検出ユニット１７０８と、表示有効化ユニット１７１０と、実行ユニット１７１２とを備える。
処理ユニット１７０６は、仮想デバイスアイコンの選択を検出し（例えば、検出ユニット１７０８を用いて）、且つ仮想デバイスアイコンの選択を検出することに応じて、仮想デバイス動作のメニューの表示を有効にする（例えば、表示ユニット１７０２で表示有効化ユニット１７１０を用いて）ように構成される。仮想デバイス動作のメニューは、仮想デバイス動作の種類を示す複数のアイコンを含む。処理ユニット１７０６は、仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出し（例えば、検出ユニット１７１０を用いて）、且つ仮想デバイス動作のメニューのそれぞれの仮想デバイス動作アイコンの選択を検出することに応じて、それぞれの仮想デバイス動作に対応する動作を実行する（例えば、実行ユニット１７１２を用いて）ように構成される。
いくつかの実施形態によると、図１８は、上述したような本発明の原理に従って構成された電子デバイス１８００を示す機能ブロック図である。デバイスの機能ブロックは、本発明の原理を実行するハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組合せで実現されてもよい。図１８に説明する機能ブロックは、上述の本発明の原理を実現するために組み合わされてもよく、あるいはサブブロックに分けられてもよいことが当業者により理解される。従って、本明細書の説明は、本明細書で説明する機能ブロックの考えられるあらゆる組合せ又は分割、あるいは更なる定義をサポートしてもよい。
図１８に示すように、電子デバイス１８００は、仮想デバイス回転アイコンを表示するように構成された表示ユニット１８０２と、指の接触を入力するように構成されたタッチセンシティブ面ユニット１８０４と、表示ユニット１８０２及びタッチセンシティブ面ユニット１８０４に結合された処理ユニット１８０６とを備える。いくつかの実施形態において、処理ユニット１８０６は、検出ユニット１８０８と、表示有効化ユニット１８１０と、配向ユニット１８１２とを備える。
処理ユニット１８０６は、仮想デバイス回転アイコンの選択を検出し（例えば、検出ユニット１８０８を用いて）、且つ仮想デバイス回転アイコンの選択を検出することに応じて、仮想デバイスの向きのメニューの表示を有効にする（例えば、表示ユニット１８０２で表示有効化ユニット１８１０を用いて）ように構成される。仮想デバイスの向きのメニューは、仮想デバイスの向きの種類を示す複数のアイコンを含む。処理ユニット１８０６は、仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出し（例えば、検出ユニット１８０８を用いて）、且つ仮想デバイスの向きのメニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出することに応じて、それぞれの仮想デバイスの向きに従って表示を配向させる（例えば、配向ユニット１８１２を用いて）ように構成される。
いくつかの実施形態によると、図１９は、上述したような本発明の原理に従って構成された電子デバイス１９００を示す機能ブロック図である。デバイスの機能ブロックは、本発明の原理を実行するハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組合せで実現されてもよい。図１９に説明する機能ブロックは、上述の本発明の原理を実現するために組み合わされてもよく、あるいはサブブロックに分けられてもよいことが当業者により理解される。従って、本明細書の説明は、本明細書で説明する機能ブロックの考えられるあらゆる組合せ又は分割、あるいは更なる定義をサポートしてもよい。
図１９に示すように、電子デバイス１９００は、視覚標識を表示するように構成された表示ユニット１９０２と、指の接触を入力するように構成されたタッチセンシティブ面ユニット１９０４と、表示ユニット１９０２及びタッチセンシティブ面ユニット１９０４に結合された処理ユニット１９０６とを備える。いくつかの実施形態において、処理ユニット１９０６は、表示有効化ユニット１９０８と、受信ユニット１９１０と、移動ユニット１９１２と、作成ユニット１９１４と、関連付けユニット１９１６と、格納ユニット１９１８と、実行ユニット１９２０とを備える。
処理ユニット１９０６は、仮想ジェスチャ記録モードの間に表示ユニットでの複数の視覚標識の表示を有効にし（例えば、表示ユニット１９０２で表示有効化ユニット１９０８を用いて）、且つ複数の視覚標識の視覚標識毎に、それぞれの視覚標識に対するそれぞれのユーザ入力を適応入力デバイスから受信し（例えば、受信ユニット１９１０を用いて）、それぞれのユーザ入力に従ってそれぞれの視覚標識を移動し（例えば、移動ユニット１９１２及び／又は表示有効化ユニット１９１０を用いて）且つそれぞれの視覚標識及びそれぞれの視覚標識の移動に対応するそれぞれの軌跡の同時表示を有効にする（例えば、表示ユニット１９０２で表示有効化ユニット１９０８を用いて）ように構成される。処理ユニット１９０６は、複数の視覚標識及び複数の視覚標識の移動に対応するユーザ規定の仮想ジェスチャを作成し（例えば、作成ユニット１９１４を用いて）、ユーザ規定の仮想ジェスチャを電子デバイスの所定の動作と関連付け（例えば、関連付けユニット１９１６を用いて）、且つユーザ規定の仮想ジェスチャを格納する（例えば、格納ユニット１９１８を用いて）ように構成される。
いくつかの実施形態において、処理ユニット１９０６は、仮想ジェスチャ記録モードの間に複数のそれぞれの視覚標識及び対応する複数のそれぞれの軌跡の同時表示を有効にする（例えば、表示ユニット１９０２で表示有効化ユニット１９０８を用いて）ように構成される。
いくつかの実施形態において、処理ユニット１９０６は、ユーザ規定の仮想ジェスチャを作成して電子デバイスの所定の動作と関連付けた後、適応入力デバイスから入力を受信し（例えば、受信ユニット１９１０を用いて）、且つ適応入力デバイスから入力を受信することに応じて、ユーザ規定の仮想ジェスチャと関連付けられた所定の動作を実行する（例えば、実行ユニット１９２０を用いて）ように構成される。
いくつかの実施形態において、処理ユニット１９０６は、適応入力デバイスから入力を受信することに応じて、ユーザ規定の仮想ジェスチャの複数のそれぞれの視覚標識のアニメーション化された移動の表示をそれぞれの軌跡に沿って有効にする（例えば、表示ユニット１９０２で表示有効化ユニット１９０８を用いて）ように構成される。
上述した情報処理方法における動作は、汎用プロセッサ又は特定用途向けチップ等の情報処理装置における１つ以上の機能モジュールを実行することにより実現されてもよい。これらのモジュール、これらのモジュールの組み合わせ及び／又は汎用ハードウェアとのそれらの組み合わせ（例えば、図１Ａ及び図３に関して上述したような）は全て、本発明の保護の範囲内に含まれる。
図６Ａ〜図６Ｅ、図７、図８、図９、図１０、図１１、図１２及び図１３を参照して上述した動作は、図１Ａ及び図１Ｂに示した構成要素により実現されてもよい。例えば、受信動作６０６、表示動作６１６及び制限動作６２４は、事象ソータ１７０、事象レコグナイザ１８０及び事象ハンドラ１９０により実現されてもよい。事象ソータ１７０の事象モニタ１７１はタッチセンシティブディスプレイ１１２に対する接触を検出し、事象ディスパッチャモジュール１７４は事象情報をアプリケーション１３６−１に配信する。アプリケーション１３６−１の各事象レコグナイザ１８０は、事象情報を各事象定義１８６と比較し、適応入力デバイスから受信された入力がユーザインタフェース上のオブジェクトの選択又はある向きから別の向きへのデバイスの回転等の所定の事象又はサブ事象に対応するかを判定する。所定の各事象又はサブ事象が検出された場合、事象レコグナイザ１８０は、事象又はサブ事象の検出と関連付けられた事象ハンドラ１９０を起動する。事象ハンドラ１９０は、アプリケーション内部状態１９２を更新するためにデータ更新部１７６又はオブジェクト更新部１７７を利用してもよくあるいは呼び出してもよい。いくつかの実施形態において、事象ハンドラ１９０は、各ＧＵＩ更新部１７８にアクセスし、アプリケーションにより表示されているものを更新する。同様に、図１Ａ及び図１Ｂに示す構成要素に基づいて他の処理を実現できる方法は、当業者には明らかとなるだろう。
説明の目的で、特定の実施形態を参照して上記説明を行った。しかし、上記の例示的な説明は、本発明を網羅すること又は開示された厳密な形式に限定することを意図しない。多くの変更及び変形が上記教示に鑑みて可能である。本発明の原理及びその実際的な応用例を最適に説明するために実施形態を選択して説明した。これにより、当業者は、考えられる特定の用途に適するような本発明及び種々の変更を含む種々の実施形態を最適に利用できる。

Claims (113)

  1. ディスプレイ及びタッチセンシティブ面を有する電子デバイスにおいて、
    仮想タッチに対応する第１の視覚標識を前記ディスプレイに表示する工程と、
    適応入力デバイスから第１の入力を受信する工程と、
    前記適応入力デバイスからの前記第１の入力の受信に応じて、仮想タッチ選択アイコンを含む第１のメニューを前記ディスプレイに表示する工程と
    を備える方法であって、
    前記仮想タッチ選択アイコンの選択の検出に応じて、仮想マルチタッチ接触のメニューが表示されることを特徴とする方法。
  2. 前記第１の視覚標識は、環状、ドーナツ形、円形、楕円形、長円形、矢印、十字形、Ｉビーム、星形又は仮想指のうちの１つを含むことを特徴とする請求項１記載の方法。
  3. 前記第１の入力は、前記第１の視覚標識を前記表示の所定の領域に移動することを特徴とする請求項１又は２記載の方法。
  4. 前記第１の入力は、前記適応入力デバイス上のコントロールの起動に対応することを特徴とする請求項１から３のいずれか１項に記載の方法。
  5. 前記第１の入力は、前記適応入力デバイス上のコントロールを左右に移動することに対応することを特徴とする請求項１から４のいずれか１項に記載の方法。
  6. 前記適応入力デバイスはジョイスティックを含み、前記第１の入力は前記ジョイスティックを左右に移動することに対応することを特徴とする請求項１から５のいずれか１項に記載の方法。
  7. 前記第１のメニューは、前記第１のメニューの中心の周りに放射状に表示されたアイコンを含むことを特徴とする請求項１から６のいずれか１項に記載の方法。
  8. 第１のユーザインタフェースは、前記適応入力デバイスから前記第１の入力を受信する直前に前記ディスプレイに表示され、前記第１のメニューは前記第１のユーザインタフェースの上に表示されることを特徴とする請求項１から７のいずれか１項に記載の方法。
  9. 前記適応入力デバイスからの前記第１の入力の受信に応じて、前記第１のメニューの中央領域に前記第１の視覚標識を表示する工程を備えることを特徴とする請求項１から８のいずれか１項に記載の方法。
  10. 前記仮想タッチ選択アイコンの選択を検出する工程と、
    前記仮想タッチ選択アイコンの選択の検出に応じて、仮想マルチタッチ接触の種類を示す複数のアイコンを含む仮想マルチタッチ接触の前記メニューを表示する工程と、
    仮想マルチタッチ接触の前記メニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出する工程と、
    仮想マルチタッチ接触の前記メニューの前記それぞれの仮想マルチタッチ接触アイコンの選択の検出に応じて、前記それぞれの仮想マルチタッチ接触アイコンに対応する１つ以上の第２の視覚標識を表示する工程と
    を備えることを特徴とする請求項１から９のいずれか１項に記載の方法。
  11. 前記第２の視覚標識を表示する工程は、前記それぞれの仮想マルチタッチ接触アイコンに対応する複数の視覚標識を表示する工程を含むことを特徴とする請求項１０記載の方法。
  12. 前記適応入力デバイスから第２の入力を受信する工程と、
    前記適応入力デバイスからの前記第２の入力の受信に応じて、
    前記１つ以上の第２の視覚標識を移動する工程と
    前記１つ以上の第２の視覚標識の前記移動に従って動作を実行する工程と
    を備えることを特徴とする請求項１０又は１１記載の方法。
  13. 前記１つ以上の第２の視覚標識を表示している間、所定の期間を超える期間にわたり前記適応入力デバイスからの入力の受信を待機する工程と、
    前記所定の期間を超える期間にわたり前記適応入力デバイスからの入力の受信を待機したに応じて、前記１つ以上の第２の視覚標識の表示を前記第１の視覚標識の表示に置換する工程と
    を備えることを特徴とする請求項１０から１２のいずれか１項に記載の方法。
  14. 仮想ジェスチャアイコンを表示する工程と、
    前記仮想ジェスチャアイコンの選択を検出する工程と、
    前記仮想ジェスチャアイコンの選択の検出に応じて、仮想ジェスチャの種類を示す複数のアイコンを含む仮想ジェスチャの前記メニューを表示する工程と、
    仮想ジェスチャの前記メニューのそれぞれの仮想ジェスチャアイコンの選択を検出する工程と、
    仮想ジェスチャの前記メニューの前記それぞれの仮想ジェスチャアイコンの選択の検出に応じて、前記それぞれの仮想ジェスチャに対応する動作を実行する工程と
    を備えることを特徴とする請求項１から１３のいずれか１項に記載の方法。
  15. 仮想ジェスチャアイコンを表示する工程と、
    前記仮想ジェスチャアイコンの選択を検出する工程と、
    前記仮想ジェスチャアイコンの選択の検出に応じて、仮想ジェスチャの種類を示す複数のアイコンを含む仮想ジェスチャのメニューを表示する工程と、
    仮想ジェスチャの前記メニューのそれぞれの仮想ジェスチャアイコンの選択を検出する工程と、
    仮想ジェスチャの前記メニューの前記それぞれの仮想ジェスチャアイコンの選択の検出に応じて、前記それぞれの仮想ジェスチャアイコンに対応する複数の視覚標識を表示する工程と、
    前記適応入力デバイスから第２の入力を受信する工程と、
    前記適応入力デバイスからの前記第２の入力の受信に応じて、前記それぞれの仮想ジェスチャに従って動作を実行する工程と
    を備えることを特徴とする請求項１から１３のいずれか１項に記載の方法。
  16. 前記適応入力デバイスからの前記第２の入力の受信に応じて、前記それぞれの仮想ジェスチャに対応する前記表示された視覚標識を移動して、前記タッチセンシティブ面に対する実際の接触の移動をシミュレートする工程を含むことを特徴とする請求項１５記載の方法。
  17. 仮想ピンチイン／ピンチアウトジェスチャアイコンを表示する工程と、
    前記仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出する工程と、
    前記仮想ピンチイン／ピンチアウトジェスチャアイコンの選択の検出に応じて、前記仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識を表示する工程と、
    前記適応入力デバイスから第２の入力を受信する工程と、
    前記適応入力デバイスからの前記第２の入力の受信に応じて、前記仮想ピンチイン／ピンチアウトジェスチャに従って動作を実行する工程と
    を備えることを特徴とする請求項１から１６のいずれか１項に記載の方法。
  18. ズーム動作は、前記仮想ピンチイン／ピンチアウトジェスチャに従って実行されることを特徴とする請求項１７記載の方法。
  19. 仮想デバイスアイコンを表示する工程と、
    前記仮想デバイスアイコンの選択を検出する工程と、
    前記仮想デバイスアイコンの選択の検出に応じて、仮想デバイス動作の種類を示す複数のアイコンを含む仮想デバイス動作のメニューを表示する工程と、
    仮想デバイス動作の前記メニューのそれぞれの仮想デバイス動作アイコンの選択を検出する工程と、
    仮想デバイス動作の前記メニューの前記それぞれの仮想デバイス動作アイコンの選択の検出に応じて、前記それぞれの仮想デバイス動作に対応する動作を実行する工程とを備えることを特徴とする請求項１から１８のいずれか１項に記載の方法。
  20. 仮想デバイス回転アイコンを表示する工程と、
    前記仮想デバイス回転アイコンの選択を検出する工程と、
    前記仮想デバイス回転アイコンの選択の検出に応じて、仮想デバイスの向きの種類を示す複数のアイコンを含む仮想デバイスの向きのメニューを表示する工程と、
    仮想デバイスの向きの前記メニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出する工程と、
    仮想デバイスの向きの前記メニューの前記それぞれの仮想デバイスの向きのアイコンの選択の検出に応じて、前記それぞれの仮想デバイスの向きに従って前記表示を配向させる工程とを備えることを特徴とする請求項１から１９のいずれか１項に記載の方法。
  21. 前記デバイスはホームボタンを含み、前記方法は、
    ホームボタンアイコンを表示する工程と、
    前記ホームボタンアイコンの選択を検出する工程と、
    前記ホームボタンアイコンの選択の検出に応じて、前記ホームボタンの起動に対応する動作を実行する工程とを備えることを特徴とする請求項１から２０のいずれか１項に記載の方法。
  22. 前記ディスプレイにメニューを表示している間、前記第１の視覚標識が前記メニューに残るように前記第１の視覚標識の移動を制限することを更に備えることを特徴とする請求項１から２１のいずれか１項に記載の方法。
  23. 前記第１のメニューを前記ディスプレイに表示している間、前記第１の視覚標識が前記第１のメニューに表示されない場合に前記適応入力デバイスから第２の入力を受信する工程と、
    前記第２の入力に応じて前記第１のメニューの表示を中止する工程とを更に備えることを特徴とする請求項１から２２のいずれか１項に記載の方法。
  24. 前記第１のメニューを前記ディスプレイに表示している間、所定の期間を超える期間にわたり前記適応入力デバイスからの入力の受信を待機する工程と、
    前記所定の期間を超える期間にわたり前記適応入力デバイスからの入力の受信を待機したことに応じて、前記第１のメニューの表示を中止する工程とを更に備えることを特徴とする請求項１から２３のいずれか１項に記載の方法。
  25. 電子デバイスであって、
    ディスプレイと、
    タッチセンシティブ面と、
    １つ以上のプロセッサと、
    メモリと、
    １つ以上のプログラムと
    を備え、
    前記１つ以上のプログラムは、前記メモリに格納され、前記１つ以上のプロセッサにより実行されるように構成され、
    仮想タッチに対応する第１の視覚標識を前記ディスプレイに表示する命令と、
    適応入力デバイスから第１の入力を受信する命令と、
    前記適応入力デバイスからの前記第１の入力の受信に応じて、仮想タッチ選択アイコンを含む第１のメニューを前記ディスプレイに表示する命令と
    を含み、
    前記仮想タッチ選択アイコンの選択の検出に応じて、仮想マルチタッチ接触のメニューが表示されることを特徴とする電子デバイス。
  26. １つ以上のプログラムを格納するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにより実行された場合に、
    前記デバイスが仮想タッチに対応する第１の視覚標識を前記ディスプレイに表示する命令と、
    前記デバイスが適応入力デバイスから第１の入力を受信する命令と、
    前記適応入力デバイスからの前記第１の入力の受信に応じて、前記デバイスが仮想タッチ選択アイコンを含む第１のメニューを前記ディスプレイに表示する命令と
    を含み、
    前記仮想タッチ選択アイコンの選択の検出に応じて、仮想マルチタッチ接触のメニューが表示されることを特徴とするコンピュータ可読記憶媒体。
  27. 仮想タッチに対応する第１の視覚標識を含むディスプレイと、タッチセンシティブ面と、メモリと、前記メモリに格納された１つ以上のプログラムを実行するための１つ以上のプロセッサとを有する電子デバイスにおけるグラフィカルユーザインタフェースであって、
    第１の入力が適応入力デバイスから受信され、
    前記適応入力デバイスからの前記第１の入力の受信に応じて、仮想タッチ選択アイコンを含む第１のメニューが前記ディスプレイに表示され、
    前記仮想タッチ選択アイコンの選択の検出に応じて、仮想マルチタッチ接触のメニューが表示されることを特徴とするグラフィカルユーザインタフェース。
  28. ディスプレイと、
    タッチセンシティブ面と、
    仮想タッチに対応する第１の視覚標識を前記ディスプレイに表示する手段と、
    適応入力デバイスから第１の入力を受信する手段と、
    前記適応入力デバイスからの前記第１の入力の受信に応じて有効にされた仮想タッチ選択アイコンを含む第１のメニューを前記ディスプレイに表示する手段と、
    前記仮想タッチ選択アイコンの選択の検出に応じて有効にされた仮想マルチタッチ接触のメニューを表示する手段と、
    を備えることを特徴とする電子デバイス。
  29. ディスプレイ及びタッチセンシティブ面を有する電子デバイス用の情報処理装置であって、
    仮想タッチに対応する第１の視覚標識を前記ディスプレイに表示する手段と、
    適応入力デバイスから第１の入力を受信する手段と、
    前記適応入力デバイスからの前記第１の入力の受信に応じて有効にされた仮想タッチ選択アイコンを含む第１のメニューを前記ディスプレイに表示する手段と、
    前記仮想タッチ選択アイコンの選択の検出に応じて有効にされた仮想マルチタッチ接触のメニューを表示する手段と、
    を備えることを特徴とする情報処理装置。
  30. ディスプレイ及びタッチセンシティブ面を有する電子デバイスにおいて、
    仮想タッチに対応する第１の視覚標識を前記ディスプレイに表示する工程と、
    適応入力デバイスから第１の入力を受信する工程と、
    前記適応入力デバイスからの前記第１の入力の受信に応じて、仮想マルチタッチ接触の種類を示す複数のアイコンを含む仮想マルチタッチ接触のメニューを表示する工程と、
    仮想マルチタッチ接触の前記メニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出する工程と、
    仮想マルチタッチ接触の前記メニューの前記それぞれの仮想マルチタッチ接触アイコンの選択の検出に応じて、前記それぞれの仮想マルチタッチ接触アイコンに対応する１つ以上の第２の視覚標識を表示する工程と、
    を備えることを特徴とする方法。
  31. ディスプレイと、
    タッチセンシティブ面と、
    １つ以上のプロセッサと、
    メモリと、
    １つ以上のプログラムとを備える電子デバイスであって、
    前記１つ以上のプログラムは、前記メモリに格納され、前記１つ以上のプロセッサにより実行されるように構成され、
    仮想タッチに対応する第１の視覚標識を前記ディスプレイに表示する命令と、
    適応入力デバイスから第１の入力を受信する命令と、
    前記適応入力デバイスからの前記第１の入力の受信に応じて、仮想マルチタッチ接触の種類を示す複数のアイコンを含む仮想マルチタッチ接触のメニューを表示する命令と、
    仮想マルチタッチ接触の前記メニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出する命令と、
    仮想マルチタッチ接触の前記メニューの前記それぞれの仮想マルチタッチ接触アイコンの選択の検出に応じて、前記それぞれの仮想マルチタッチ接触アイコンに対応する１つ以上の第２の視覚標識を表示する命令とを含むことを特徴とする電子デバイス。
  32. １つ以上のプログラムを格納するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにより実行された場合に、
    前記デバイスが仮想タッチに対応する第１の視覚標識を前記ディスプレイに表示する命令と、
    前記デバイスが適応入力デバイスから第１の入力を受信する命令と、
    前記適応入力デバイスから前記第１の入力の受信に応じて、前記デバイスが仮想マルチタッチ接触の種類を示す複数のアイコンを含む仮想マルチタッチ接触のメニューを表示する命令と、
    前記デバイスが仮想マルチタッチ接触の前記メニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出する命令と、
    仮想マルチタッチ接触の前記メニューの前記それぞれの仮想マルチタッチ接触アイコンの選択の検出に応じて、前記デバイスが前記それぞれの仮想マルチタッチ接触アイコンに対応する１つ以上の第２の視覚標識を表示する命令とを含むことを特徴とするコンピュータ可読記憶媒体。
  33. 仮想タッチに対応する第１の視覚標識を含むディスプレイと、タッチセンシティブ面と、メモリと、前記メモリに格納された１つ以上のプログラムを実行するための１つ以上のプロセッサとを有する電子デバイスにおけるグラフィカルユーザインタフェースであって、
    第１の入力が適応入力デバイスから受信され、
    前記適応入力デバイスからの前記第１の入力の受信に応じて、仮想マルチタッチ接触の種類を示す複数のアイコンを含む仮想マルチタッチ接触のメニューが表示され、
    仮想マルチタッチ接触の前記メニューのそれぞれの仮想マルチタッチ接触アイコンの選択が検出され、
    仮想マルチタッチ接触の前記メニューの前記それぞれの仮想マルチタッチ接触アイコンの選択の検出に応じて、前記それぞれの仮想マルチタッチ接触アイコンに対応する１つ以上の第２の視覚標識が表示されることを特徴とするグラフィカルユーザインタフェース。
  34. ディスプレイと、
    タッチセンシティブ面と、
    仮想タッチに対応する第１の視覚標識を前記ディスプレイに表示する手段と、
    適応入力デバイスから第１の入力を受信する手段と、
    前記適応入力デバイスからの前記第１の入力の受信に応じて有効にされた仮想マルチタッチ接触の種類を示す複数のアイコンを含む仮想マルチタッチ接触のメニューを表示する手段と、
    仮想マルチタッチ接触の前記メニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出する手段と、
    仮想マルチタッチ接触の前記メニューの前記それぞれの仮想マルチタッチ接触アイコンの選択の検出に応じて有効にされた前記それぞれの仮想マルチタッチ接触アイコンに対応する１つ以上の第２の視覚標識を表示する手段と、
    を備えることを特徴とする電子デバイス。
  35. ディスプレイ及びタッチセンシティブ面を有する電子デバイス用の情報処理装置であって、
    仮想タッチに対応する第１の視覚標識を前記ディスプレイに表示する手段と、
    適応入力デバイスから第１の入力を受信する手段と、
    前記適応入力デバイスからの前記第１の入力の受信に応じて有効にされた仮想マルチタッチ接触の種類を示す複数のアイコンを含む仮想マルチタッチ接触のメニューを表示する手段と、
    仮想マルチタッチ接触の前記メニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出する手段と、
    仮想マルチタッチ接触の前記メニューの前記それぞれの仮想マルチタッチ接触アイコンの選択の検出ことに応じて有効にされた前記それぞれの仮想マルチタッチ接触アイコンに対応する１つ以上の第２の視覚標識を表示する手段と、
    を備えることを特徴とする情報処理装置。
  36. ディスプレイ及びタッチセンシティブ面を有する電子デバイスにおいて、
    仮想タッチに対応する第１の視覚標識を前記ディスプレイに表示する工程と、
    適応入力デバイスから第１の入力を受信する工程と、
    前記適応入力デバイスからの前記第１の入力の受信に応じて、仮想ジェスチャの種類を示す複数のアイコンを含む仮想ジェスチャのメニューを表示する工程と、
    仮想ジェスチャの前記メニューのそれぞれの仮想ジェスチャアイコンの選択を検出する工程と、
    仮想ジェスチャの前記メニューの前記それぞれの仮想ジェスチャアイコンの選択の検出に応じて、前記それぞれの仮想ジェスチャアイコンに対応する複数の視覚標識を表示する工程と、
    前記適応入力デバイスから第２の入力を受信する工程と、
    前記適応入力デバイスのから前記第２の入力の受信に応じて、前記それぞれの仮想ジェスチャに従って動作を実行する工程と、
    を備えることを特徴とする方法。
  37. ディスプレイと、
    タッチセンシティブ面と、
    １つ以上のプロセッサと、
    メモリと、
    １つ以上のプログラムとを備える電子デバイスであって、
    前記１つ以上のプログラムは、前記メモリに格納され、前記１つ以上のプロセッサにより実行されるように構成され、
    仮想タッチに対応する第１の視覚標識を前記ディスプレイに表示する命令と、
    適応入力デバイスから第１の入力を受信する命令と、
    前記適応入力デバイスからの前記第１の入力の受信に応じて、仮想ジェスチャの種類を示す複数のアイコンを含む仮想ジェスチャのメニューを表示する命令と、
    仮想ジェスチャの前記メニューのそれぞれの仮想ジェスチャアイコンの選択を検出する命令と、
    仮想ジェスチャの前記メニューの前記それぞれの仮想ジェスチャアイコンの選択の検出に応じて、前記それぞれの仮想ジェスチャアイコンに対応する複数の視覚標識を表示する命令と、
    前記適応入力デバイスから第２の入力を受信する命令と、
    前記適応入力デバイスからの前記第２の入力の受信に応じて、前記それぞれの仮想ジェスチャに従って動作を実行する命令とを含むことを特徴とする電子デバイス。
  38. １つ以上のプログラムを格納するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにより実行された場合に、
    前記デバイスが仮想タッチに対応する第１の視覚標識を前記ディスプレイに表示する命令と、
    前記デバイスが適応入力デバイスから第１の入力を受信する命令と、
    前記適応入力デバイスからの前記第１の入力の受信に応じて、前記デバイスが仮想ジェスチャの種類を示す複数のアイコンを含む仮想ジェスチャのメニューを表示する命令と、
    前記デバイスが仮想ジェスチャの前記メニューのそれぞれの仮想ジェスチャアイコンの選択を検出する命令と、
    仮想ジェスチャの前記メニューの前記それぞれの仮想ジェスチャアイコンの選択の検出に応じて、前記デバイスが前記それぞれの仮想ジェスチャアイコンに対応する複数の視覚標識を表示する命令と、
    前記デバイスが前記適応入力デバイスから第２の入力を受信する命令と、
    前記適応入力デバイスからの前記第２の入力の受信に応じて、前記デバイスが前記それぞれの仮想ジェスチャに従って動作を実行する命令とを含むことを特徴とするコンピュータ可読記憶媒体。
  39. 仮想タッチに対応する第１の視覚標識を含むディスプレイと、タッチセンシティブ面と、メモリと、前記メモリに格納された１つ以上のプログラムを実行するための１つ以上のプロセッサとを有する電子デバイスにおけるグラフィカルユーザインタフェースであって、
    第１の入力が適応入力デバイスから受信され、
    前記適応入力デバイスからの前記第１の入力の受信に応じて、仮想ジェスチャの種類を示す複数のアイコンを含む仮想ジェスチャのメニューが表示され、
    仮想ジェスチャの前記メニューのそれぞれの仮想ジェスチャアイコンの選択が検出され、
    仮想ジェスチャの前記メニューの前記それぞれの仮想ジェスチャアイコンの選択の検出に応じて、前記それぞれの仮想ジェスチャアイコンに対応する複数の視覚標識が表示され、
    第２の入力が前記適応入力デバイスから受信され、
    前記適応入力デバイスからの前記第２の入力の受信に応じて、前記それぞれの仮想ジェスチャに従って動作が実行されることを特徴とするグラフィカルユーザインタフェース。
  40. ディスプレイと、
    タッチセンシティブ面と、
    仮想タッチに対応する第１の視覚標識を前記ディスプレイに表示する手段と、
    適応入力デバイスから第１の入力を受信する手段と、
    前記適応入力デバイスからの前記第１の入力の受信に応じて有効にされた仮想ジェスチャの種類を示す複数のアイコンを含む仮想ジェスチャのメニューを表示する手段と、
    仮想ジェスチャの前記メニューのそれぞれの仮想ジェスチャアイコンの選択を検出する手段と、
    仮想ジェスチャの前記メニューの前記それぞれの仮想ジェスチャアイコンの選択の検出に応じて有効にされた前記それぞれの仮想ジェスチャアイコンに対応する複数の視覚標識を表示する手段と、
    前記適応入力デバイスから第２の入力を受信する手段と、
    前記適応入力デバイスからの前記第２の入力の受信に応じて有効にされた前記それぞれの仮想ジェスチャに従って動作を実行する手段と、
    を備えることを特徴とする電子デバイス。
  41. ディスプレイ及びタッチセンシティブ面を有する電子デバイス用の情報処理装置であって、
    仮想タッチに対応する第１の視覚標識を前記ディスプレイに表示する手段と、
    適応入力デバイスから第１の入力を受信する手段と、
    前記適応入力デバイスからの前記第１の入力の受信に応じて有効にされた仮想ジェスチャの種類を示す複数のアイコンを含む仮想ジェスチャのメニューを表示する手段と、
    仮想ジェスチャの前記メニューのそれぞれの仮想ジェスチャアイコンの選択を検出する手段と、
    仮想ジェスチャの前記メニューの前記それぞれの仮想ジェスチャアイコンの選択の検出に応じて有効にされた前記それぞれの仮想ジェスチャアイコンに対応する複数の視覚標識を表示する手段と、
    前記適応入力デバイスから第２の入力を受信する手段と、
    前記適応入力デバイスからの前記第２の入力の受信に応じて有効にされた前記それぞれの仮想ジェスチャに従って動作を実行する手段と、
    を備えることを特徴とする情報処理装置。
  42. ディスプレイ及びタッチセンシティブ面を有する電子デバイスにおいて、
    仮想ピンチイン／ピンチアウトジェスチャアイコンを表示する工程と、
    前記仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出する工程と、
    前記仮想ピンチイン／ピンチアウトジェスチャアイコンの選択の検出に応じて、前記仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識を表示する工程と、
    適応入力デバイスから入力を受信する工程と、
    前記適応入力デバイスからの前記入力の受信に応じて、前記それぞれの仮想ピンチイン／ピンチアウトジェスチャに従ってズーム動作を実行する工程と、
    を備えることを特徴とする方法。
  43. ディスプレイと、
    タッチセンシティブ面と、
    １つ以上のプロセッサと、
    メモリと、
    １つ以上のプログラムとを備える電子デバイスであって、
    前記１つ以上のプログラムは、前記メモリに格納され、前記１つ以上のプロセッサにより実行されるように構成され、
    仮想ピンチイン／ピンチアウトジェスチャアイコンを表示する命令と、
    前記仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出する命令と、
    前記仮想ピンチイン／ピンチアウトジェスチャアイコンの選択の検出に応じて、前記仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識を表示する命令と、
    適応入力デバイスから入力を受信する命令と、
    前記適応入力デバイスからの前記入力の受信に応じて、前記それぞれの仮想ピンチイン／ピンチアウトジェスチャに従ってズーム動作を実行する命令とを含むことを特徴とする電子デバイス。
  44. １つ以上のプログラムを格納するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにより実行された場合に、
    前記デバイスが仮想ピンチイン／ピンチアウトジェスチャアイコンを表示する命令と、
    前記デバイスが前記仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出する命令と、
    前記仮想ピンチイン／ピンチアウトジェスチャアイコンの選択の検出に応じて、前記デバイスが前記仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識を表示する命令と、
    前記デバイスが適応入力デバイスから入力を受信する命令と、
    前記適応入力デバイスからの前記入力の受信に応じて、前記デバイスが前記それぞれの仮想ピンチイン／ピンチアウトジェスチャに従ってズーム動作を実行する命令とを含むことを特徴とするコンピュータ可読記憶媒体。
  45. 仮想ピンチイン／ピンチアウトジェスチャアイコンを表示することを含むディスプレイと、タッチセンシティブ面と、メモリと、前記メモリに格納された１つ以上のプログラムを実行するための１つ以上のプロセッサとを有する電子デバイスにおけるグラフィカルユーザインタフェースであって、
    前記仮想ピンチイン／ピンチアウトジェスチャアイコンの選択が検出され、
    前記仮想ピンチイン／ピンチアウトジェスチャアイコンの選択の検出に応じて、前記仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識が表示され、
    入力が適応入力デバイスから受信され、
    前記適応入力デバイスからの前記入力の受信に応じて、前記それぞれの仮想ピンチイン／ピンチアウトジェスチャに従ってズーム動作が実行されることを特徴とするグラフィカルユーザインタフェース。
  46. ディスプレイと、
    タッチセンシティブ面と、
    仮想ピンチイン／ピンチアウトジェスチャアイコンを表示する手段と、
    前記仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出する手段と、
    前記仮想ピンチイン／ピンチアウトジェスチャアイコンの選択の検出に応じて有効にされた前記仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識を表示する手段と、
    適応入力デバイスから入力を受信する手段と、
    前記適応入力デバイスからの前記入力の受信に応じて有効にされた前記それぞれの仮想ピンチイン／ピンチアウトジェスチャに従ってズーム動作を実行する手段と、
    を備えることを特徴とする電子デバイス。
  47. ディスプレイ及びタッチセンシティブ面を有する電子デバイス用の情報処理装置であって、
    仮想ピンチイン／ピンチアウトジェスチャアイコンを表示する手段と、
    前記仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出する手段と、
    前記仮想ピンチイン／ピンチアウトジェスチャアイコンの選択の検出に応じて有効にされた前記仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識を表示する手段と、
    適応入力デバイスから入力を受信する手段と、
    前記適応入力デバイスからの前記入力の受信に応じて有効にされた前記それぞれの仮想ピンチイン／ピンチアウトジェスチャに従ってズーム動作を実行する手段と、
    を備えることを特徴とする情報処理装置。
  48. ディスプレイ及びタッチセンシティブ面を有する電子デバイスにおいて、
    仮想ジェスチャアイコンを表示する工程と、
    前記仮想ジェスチャアイコンの選択を検出する工程と、
    前記仮想ジェスチャアイコンの選択の検出に応じて、仮想ジェスチャの種類を示す複数のアイコンを含む仮想ジェスチャのメニューを表示する工程と、
    仮想ジェスチャの前記メニューのそれぞれの仮想ジェスチャアイコンの選択を検出する工程と、
    仮想ジェスチャの前記メニューの前記それぞれの仮想ジェスチャアイコンの選択の検出に応じて、前記それぞれの仮想ジェスチャに対応する動作を実行する工程と、
    を備えることを特徴とする方法。
  49. ディスプレイと、
    タッチセンシティブ面と、
    １つ以上のプロセッサと、
    メモリと、
    １つ以上のプログラムとを備える電子デバイスであって、
    前記１つ以上のプログラムは、前記メモリに格納され、前記１つ以上のプロセッサにより実行されるように構成され、
    仮想ジェスチャアイコンを表示する命令と、
    前記仮想ジェスチャアイコンの選択を検出する命令と、
    前記仮想ジェスチャアイコンの選択の検出に応じて、仮想ジェスチャの種類を示す複数のアイコンを含む仮想ジェスチャのメニューを表示する命令と、
    仮想ジェスチャの前記メニューのそれぞれの仮想ジェスチャアイコンの選択を検出する命令と、
    仮想ジェスチャの前記メニューの前記それぞれの仮想ジェスチャアイコンの選択の検出に応じて、前記それぞれの仮想ジェスチャに対応する動作を実行する命令とを含むことを特徴とする電子デバイス。
  50. １つ以上のプログラムを格納するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにより実行された場合に、
    前記デバイスが仮想ジェスチャアイコンを表示する命令と、
    前記デバイスが前記仮想ジェスチャアイコンの選択を検出する命令と、
    前記仮想ジェスチャアイコンの選択の検出に応じて、前記デバイスが仮想ジェスチャの種類を示す複数のアイコンを含む仮想ジェスチャのメニューを表示する命令と、
    前記デバイスが仮想ジェスチャの前記メニューのそれぞれの仮想ジェスチャアイコンの選択を検出する命令と、
    仮想ジェスチャの前記メニューの前記それぞれの仮想ジェスチャアイコンの選択の検出に応じて、前記デバイスが前記それぞれの仮想ジェスチャに対応する動作を実行する命令とを含むことを特徴とするコンピュータ可読記憶媒体。
  51. 仮想ジェスチャアイコンを含むディスプレイと、タッチセンシティブ面と、メモリと、前記メモリに格納された１つ以上のプログラムを実行するための１つ以上のプロセッサとを有する電子デバイスにおけるグラフィカルユーザインタフェースであって、
    前記仮想ジェスチャアイコンの選択が検出され、
    前記仮想ジェスチャアイコンの選択の検出に応じて、仮想ジェスチャの種類を示す複数のアイコンを含む仮想ジェスチャのメニューが表示され、
    仮想ジェスチャの前記メニューのそれぞれの仮想ジェスチャアイコンの選択が検出され、
    仮想ジェスチャの前記メニューの前記それぞれの仮想ジェスチャアイコンの選択の検出に応じて、前記それぞれの仮想ジェスチャに対応する動作が実行されることを特徴とするグラフィカルユーザインタフェース。
  52. ディスプレイと、
    タッチセンシティブ面と、
    仮想ジェスチャアイコンを表示する手段と、
    前記仮想ジェスチャアイコンの選択を検出する手段と、
    前記仮想ジェスチャアイコンの選択の検出に応じて有効にされた仮想ジェスチャの種類を示す複数のアイコンを含む仮想ジェスチャのメニューを表示する手段と、
    仮想ジェスチャの前記メニューのそれぞれの仮想ジェスチャアイコンの選択を検出する手段と、
    仮想ジェスチャの前記メニューの前記それぞれの仮想ジェスチャアイコンの選択の検出に応じて有効にされた前記それぞれの仮想ジェスチャに対応する動作を実行する手段と、
    を備えることを特徴とする電子デバイス。
  53. ディスプレイ及びタッチセンシティブ面を有する電子デバイス用の情報処理装置であって、
    仮想ジェスチャアイコンを表示する手段と、
    前記仮想ジェスチャアイコンの選択を検出する手段と、
    前記仮想ジェスチャアイコンの選択の検出に応じて有効にされた仮想ジェスチャの種類を示す複数のアイコンを含む仮想ジェスチャのメニューを表示する手段と、
    仮想ジェスチャの前記メニューのそれぞれの仮想ジェスチャアイコンの選択を検出する手段と、
    仮想ジェスチャの前記メニューの前記それぞれの仮想ジェスチャアイコンの選択の検出に応じて有効にされた前記それぞれの仮想ジェスチャに対応する動作を実行する手段と、
    を備えることを特徴とする情報処理装置。
  54. ディスプレイ及びタッチセンシティブ面を有する電子デバイスにおいて、
    仮想デバイスアイコンを表示する工程と、
    前記仮想デバイスアイコンの選択を検出する工程と、
    前記仮想デバイスアイコンの選択の検出に応じて、仮想デバイス動作の種類を示す複数のアイコンを含む仮想デバイス動作のメニューを表示する工程と、
    仮想デバイス動作の前記メニューのそれぞれの仮想デバイス動作アイコンの選択を検出する工程と、
    仮想デバイス動作の前記メニューの前記それぞれの仮想デバイス動作アイコンの選択の検出に応じて、前記それぞれの仮想デバイス動作に対応する動作を実行する工程と、
    を備えることを特徴とする方法。
  55. ディスプレイと、
    タッチセンシティブ面と、
    １つ以上のプロセッサと、
    メモリと、
    １つ以上のプログラムとを備える電子デバイスであって、
    前記１つ以上のプログラムは、前記メモリに格納され、前記１つ以上のプロセッサにより実行されるように構成され、
    仮想デバイスアイコンを表示する命令と、
    前記仮想デバイスアイコンの選択を検出する命令と、
    前記仮想デバイスアイコンの選択の検出に応じて、仮想デバイス動作の種類を示す複数のアイコンを含む仮想デバイス動作のメニューを表示する命令と、
    仮想デバイス動作の前記メニューのそれぞれの仮想デバイス動作アイコンの選択を検出する命令と、
    仮想デバイス動作の前記メニューの前記それぞれの仮想デバイス動作アイコンの選択の検出に応じて、前記それぞれの仮想デバイス動作に対応する動作を実行する命令とを含むことを特徴とする電子デバイス。
  56. １つ以上のプログラムを格納するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにより実行された場合に、
    前記デバイスが仮想デバイスアイコンを表示する命令と、
    前記デバイスが前記仮想デバイスアイコンの選択を検出する命令と、
    前記仮想デバイスアイコンの選択の検出に応じて、前記デバイスが仮想デバイス動作の種類を示す複数のアイコンを含む仮想デバイス動作のメニューを表示する命令と、
    前記デバイスが仮想デバイス動作の前記メニューのそれぞれの仮想デバイス動作アイコンの選択を検出する命令と、
    仮想デバイス動作の前記メニューの前記それぞれの仮想デバイス動作アイコンの選択の検出に応じて、前記デバイスが前記それぞれの仮想デバイス動作に対応する動作を実行する命令とを含むことを特徴とするコンピュータ可読記憶媒体。
  57. 仮想デバイスアイコン含むディスプレイと、タッチセンシティブ面と、メモリと、前記メモリに格納された１つ以上のプログラムを実行するための１つ以上のプロセッサとを有する電子デバイスにおけるグラフィカルユーザインタフェースであって、
    前記仮想デバイスアイコンの選択が検出され、
    前記仮想デバイスアイコンの選択の検出に応じて、仮想デバイス動作の種類を示す複数のアイコンを含む仮想デバイス動作のメニューが表示され、
    仮想デバイス動作の前記メニューのそれぞれの仮想デバイス動作アイコンの選択が検出され、
    仮想デバイス動作の前記メニューの前記それぞれの仮想デバイス動作アイコンの選択の検出に応じて、前記それぞれの仮想デバイス動作に対応する動作が実行されることを特徴とするグラフィカルユーザインタフェース。
  58. ディスプレイと、
    タッチセンシティブ面と、
    仮想デバイスアイコンを表示する手段と、
    前記仮想デバイスアイコンの選択を検出する手段と、
    前記仮想デバイスアイコンの選択の検出に応じて有効にされた仮想デバイス動作の種類を示す複数のアイコンを含む仮想デバイス動作のメニューを表示する手段と、
    仮想デバイス動作の前記メニューのそれぞれの仮想デバイス動作アイコンの選択を検出する手段と、
    仮想デバイス動作の前記メニューの前記それぞれの仮想デバイス動作アイコンの選択の検出に応じて有効にされた前記それぞれの仮想デバイス動作に対応する動作を実行する手段と、
    を備えることを特徴とする電子デバイス。
  59. ディスプレイ及びタッチセンシティブ面を有する電子デバイス用の情報処理装置であって、
    仮想デバイスアイコンを表示する手段と、
    前記仮想デバイスアイコンの選択を検出する手段と、
    前記仮想デバイスアイコンの選択の検出に応じて有効にされた仮想デバイス動作の種類を示す複数のアイコンを含む仮想デバイス動作のメニューを表示する手段と、
    仮想デバイス動作の前記メニューのそれぞれの仮想デバイス動作アイコンの選択を検出する手段と、
    仮想デバイス動作の前記メニューの前記それぞれの仮想デバイス動作アイコンの選択の検出に応じて有効にされた前記それぞれの仮想デバイス動作に対応する動作を実行する手段と、
    を備えることを特徴とする情報処理装置。
  60. ディスプレイ及びタッチセンシティブ面を有する電子デバイスにおいて、
    仮想デバイス回転アイコンを表示する工程と、
    前記仮想デバイス回転アイコンの選択を検出する工程と、
    前記仮想デバイス回転アイコンの選択の検出に応じて、仮想デバイスの向きの種類を示す複数のアイコンを含む仮想デバイスの向きのメニューを表示する工程と、
    仮想デバイスの向きの前記メニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出する工程と、
    仮想デバイスの向きの前記メニューの前記それぞれの仮想デバイスの向きのアイコンの選択の検出に応じて、前記それぞれの仮想デバイスの向きに従って前記表示を配向させる工程と、
    を備えることを特徴とする方法。
  61. ディスプレイと、
    タッチセンシティブ面と、
    １つ以上のプロセッサと、
    メモリと、
    １つ以上のプログラムとを備える電子デバイスであって、
    前記１つ以上のプログラムは、前記メモリに格納され、前記１つ以上のプロセッサにより実行されるように構成され、
    仮想デバイス回転アイコンを表示する命令と、
    前記仮想デバイス回転アイコンの選択を検出する命令と、
    前記仮想デバイス回転アイコンの選択の検出に応じて、仮想デバイスの向きの種類を示す複数のアイコンを含む仮想デバイスの向きのメニューを表示する命令と、
    仮想デバイスの向きの前記メニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出する命令と、
    仮想デバイスの向きの前記メニューの前記それぞれの仮想デバイスの向きのアイコンの選択の検出に応じて、前記それぞれの仮想デバイスの向きに従って前記表示を配向させる命令とを含むことを特徴とする電子デバイス。
  62. １つ以上のプログラムを格納するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにより実行された場合に、
    前記デバイスが仮想デバイス回転アイコンを表示する命令と、
    前記デバイスが前記仮想デバイス回転アイコンの選択を検出する命令と、
    前記仮想デバイス回転アイコンの選択の検出に応じて、前記デバイスが仮想デバイスの向きの種類を示す複数のアイコンを含む仮想デバイスの向きのメニューを表示する命令と、
    前記デバイスが仮想デバイスの向きの前記メニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出する命令と、
    仮想デバイスの向きの前記メニューの前記それぞれの仮想デバイスの向きのアイコンの選択の検出に応じて、前記デバイスが前記それぞれの仮想デバイスの向きに従って前記表示を配向させる命令とを含むことを特徴とするコンピュータ可読記憶媒体。
  63. 仮想デバイス回転アイコンを含むディスプレイと、タッチセンシティブ面と、メモリと、前記メモリに格納された１つ以上のプログラムを実行するための１つ以上のプロセッサとを有する電子デバイスにおけるグラフィカルユーザインタフェースであって、
    前記仮想デバイス回転アイコンの選択が検出され、
    前記仮想デバイス回転アイコンの選択の検出に応じて、仮想デバイスの向きの種類を示す複数のアイコンを含む仮想デバイスの向きのメニューが表示され、
    仮想デバイスの向きの前記メニューのそれぞれの仮想デバイスの向きのアイコンの選択が検出され、
    仮想デバイスの向きの前記メニューの前記それぞれの仮想デバイスの向きのアイコンの選択の検出に応じて、前記それぞれの仮想デバイスの向きに従って前記表示が配向されることを特徴とするグラフィカルユーザインタフェース。
  64. ディスプレイと、
    タッチセンシティブ面と、
    仮想デバイス回転アイコンを表示する手段と、
    前記仮想デバイス回転アイコンの選択を検出する手段と、
    前記仮想デバイス回転アイコンの選択の検出に応じて有効にされた仮想デバイスの向きの種類を示す複数のアイコンを含む仮想デバイスの向きのメニューを表示する手段と、
    仮想デバイスの向きの前記メニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出する手段と、
    仮想デバイスの向きの前記メニューの前記それぞれの仮想デバイスの向きのアイコンの選択の検出に応じて有効にされた前記それぞれの仮想デバイスの向きに従って前記表示を配向させる手段と、
    を備えることを特徴とする電子デバイス。
  65. ディスプレイ及びタッチセンシティブ面を有する電子デバイス用の情報処理装置であって、
    仮想デバイス回転アイコンを表示する手段と、
    前記仮想デバイス回転アイコンの選択を検出する手段と、
    前記仮想デバイス回転アイコンの選択の検出に応じて有効にされた仮想デバイスの向きの種類を示す複数のアイコンを含む仮想デバイスの向きのメニューを表示する手段と、
    仮想デバイスの向きの前記メニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出する手段と、
    仮想デバイスの向きの前記メニューの前記それぞれの仮想デバイスの向きのアイコンの選択の検出に応じて有効にされた前記それぞれの仮想デバイスの向きに従って前記表示を配向させる手段と、
    を備えることを特徴とする情報処理装置。
  66. ディスプレイ及びタッチセンシティブ面を有する電子デバイスにおいて、
    仮想ジェスチャ記録モードの間、
    複数の視覚標識を前記ディスプレイに表示する工程と、
    前記複数の視覚標識の視覚標識毎に、
    前記それぞれの視覚標識に対するそれぞれのユーザ入力を適応入力デバイスから受信する工程と、
    前記それぞれのユーザ入力に従って前記それぞれの視覚標識を移動する工程と、
    前記それぞれの視覚標識の移動に対応するそれぞれの軌跡を前記それぞれの視覚標識と同時に表示する工程と、
    前記複数の視覚標識及び前記複数の視覚標識の前記移動に対応するユーザ規定の仮想ジェスチャを作成する工程と、
    前記ユーザ規定の仮想ジェスチャを前記電子デバイスの所定の動作と関連付ける工程と、
    前記ユーザ規定の仮想ジェスチャを格納する工程と、
    を備えることを特徴とする方法。
  67. 前記仮想ジェスチャ記録モードの間、前記複数のそれぞれの視覚標識及び対応する複数のそれぞれの軌跡を同時に表示する工程を備えることを特徴とする請求項６６記載の方法。
  68. 前記ユーザ規定の仮想ジェスチャを作成して前記電子デバイスの所定の動作と関連付けた後、
    前記適応入力デバイスから入力を受信する工程と、
    前記適応入力デバイスからの前記入力の受信に応じて、前記ユーザ規定の仮想ジェスチャと関連付けられた前記所定の動作を実行する工程と備えることを特徴とする請求項６６又は６７記載の方法。
  69. 前記適応入力デバイスからの前記入力の受信に応じて、前記ユーザ規定の仮想ジェスチャの前記複数のそれぞれの視覚標識のアニメーション化された移動をそれぞれの軌跡に沿って表示する工程を備えることを特徴とする請求項６８記載の方法。
  70. ディスプレイと、
    タッチセンシティブ面と、
    １つ以上のプロセッサと、
    メモリと、
    １つ以上のプログラムとを備える電子デバイスであって、
    前記１つ以上のプログラムは、前記メモリに格納され、前記１つ以上のプロセッサにより実行されるように構成され、
    仮想ジェスチャ記録モードの間、
    複数の視覚標識を前記ディスプレイに表示する命令と、
    前記複数の視覚標識の視覚標識毎に、
    前記それぞれの視覚標識に対するそれぞれのユーザ入力を適応入力デバイスから受信する命令と、
    前記それぞれのユーザ入力に従って前記それぞれの視覚標識を移動する命令と、
    前記それぞれの視覚標識の移動に対応するそれぞれの軌跡を前記それぞれの視覚標識と同時に表示する命令と、
    前記複数の視覚標識及び前記複数の視覚標識の前記移動に対応するユーザ規定の仮想ジェスチャを作成する命令と、
    前記ユーザ規定の仮想ジェスチャを前記電子デバイスの所定の動作と関連付ける命令と、
    前記ユーザ規定の仮想ジェスチャを格納する命令とを含むことを特徴とする電子デバイス。
  71. １つ以上のプログラムを格納するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにより実行された場合に、
    仮想ジェスチャ記録モードの間、
    前記デバイスが複数の視覚標識を前記ディスプレイに表示する命令と、
    前記複数の視覚標識の視覚標識毎に、
    前記デバイスが前記それぞれの視覚標識に対するそれぞれのユーザ入力を適応入力デバイスから受信する命令と、
    前記デバイスが前記それぞれのユーザ入力に従って前記それぞれの視覚標識を移動する命令と、
    前記デバイスが前記それぞれの視覚標識の移動に対応するそれぞれの軌跡を前記それぞれの視覚標識と同時に表示する命令と、
    前記デバイスが前記複数の視覚標識及び前記複数の視覚標識の前記移動に対応するユーザ規定の仮想ジェスチャを作成する命令と、
    前記デバイスが前記ユーザ規定の仮想ジェスチャを前記電子デバイスの所定の動作と関連付ける命令と、
    前記デバイスが前記ユーザ規定の仮想ジェスチャを格納する命令とを含むことを特徴とするコンピュータ可読媒体。
  72. ディスプレイと、タッチセンシティブ面と、メモリと、前記メモリに格納された１つ以上のプログラムを実行するための１つ以上のプロセッサとを有する電子デバイスにおけるグラフィカルユーザインタフェースであって、
    仮想ジェスチャ記録モードの間、
    複数の視覚標識が前記ディスプレイに表示される工程と、
    前記複数の視覚標識の視覚標識毎に、
    前記それぞれの視覚標識に対するそれぞれのユーザ入力が適応入力デバイスから受信される工程と、
    前記それぞれの視覚標識が前記それぞれのユーザ入力に従って移動される工程と、
    前記それぞれの視覚標識の移動に対応するそれぞれの軌跡が前記それぞれの視覚標識と同時に表示される工程と、
    前記複数の視覚標識及び前記複数の視覚標識の前記移動に対応するユーザ規定の仮想ジェスチャが作成される工程と、
    前記ユーザ規定の仮想ジェスチャが前記電子デバイスの所定の動作と関連付けられる工程と、
    前記ユーザ規定の仮想ジェスチャが格納される工程と、
    を備えることを特徴とするグラフィカルユーザインタフェース。
  73. ディスプレイと、
    タッチセンシティブ面と、
    仮想ジェスチャ記録モードの間に有効にされた複数の視覚標識を前記ディスプレイに表示する手段と、
    前記複数の視覚標識の視覚標識毎に、
    前記それぞれの視覚標識に対するそれぞれのユーザ入力を適応入力デバイスから受信する手段と、
    前記それぞれのユーザ入力に従って前記それぞれの視覚標識を移動する手段と、
    前記それぞれの視覚標識の移動に対応するそれぞれの軌跡を前記それぞれの視覚標識と同時に表示する手段と、
    前記複数の視覚標識及び前記複数の視覚標識の前記移動に対応するユーザ規定の仮想ジェスチャを作成する手段と、
    前記ユーザ規定の仮想ジェスチャを前記電子デバイスの所定の動作と関連付ける手段と、
    前記ユーザ規定の仮想ジェスチャを格納する手段と、
    を備えることを特徴とする電子デバイス。
  74. ディスプレイ及びタッチセンシティブ面を有する電子デバイス用の情報処理装置であって、
    仮想ジェスチャ記録モードの間に有効にされた複数の視覚標識を前記ディスプレイに表示する手段と、
    前記複数の視覚標識の視覚標識毎に、
    前記それぞれの視覚標識に対するそれぞれのユーザ入力を適応入力デバイスから受信する手段と、
    前記それぞれのユーザ入力に従って前記それぞれの視覚標識を移動する手段と、
    前記それぞれの視覚標識の移動に対応するそれぞれの軌跡を前記それぞれの視覚標識と同時に表示する手段と、
    前記複数の視覚標識及び前記複数の視覚標識の前記移動に対応するユーザ規定の仮想ジェスチャを作成する手段と、
    前記ユーザ規定の仮想ジェスチャを前記電子デバイスの所定の動作と関連付ける手段と、
    前記ユーザ規定の仮想ジェスチャを格納する手段と、
    を備えることを特徴とする情報処理装置。
  75. ディスプレイと、
    タッチセンシティブ面と、
    １つ以上のプロセッサと、
    メモリと、
    １つ以上のプログラムとを備える電子デバイスであって、
    前記１つ以上のプログラムは、前記メモリに格納され、前記１つ以上のプロセッサにより実行されるように構成され、請求項１から２４、３０、３６、４２、４８、５４、６０及び６６から６９の方法のうちのいずれかを実行する命令を含むことを特徴とする電子デバイス。
  76. １つ以上のプログラムを格納するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、ディスプレイ及びタッチセンシティブ面を有する電子デバイスにより実行された場合に、前記デバイスが請求項１から２４、３０、３６、４２、４８、５４、６０及び６６から６９の方法のうちのいずれかを実行する命令を含むことを特徴とするコンピュータ可読媒体。
  77. 請求項１から２４、３０、３６、４２、４８、５４、６０及び６６から６９の方法のうちのいずれかに従って表示されたユーザインタフェースを含むことを特徴とするディスプレイと、タッチセンシティブ面と、メモリと、前記メモリに格納された１つ以上のプログラムを実行するための１つ以上のプロセッサとを有する電子デバイスにおけるグラフィカルユーザインタフェース。
  78. ディスプレイと、
    タッチセンシティブ面と、
    請求項１から２４、３０、３６、４２、４８、５４、６０及び６６から６９の方法のうちのいずれかを実行する手段と、
    を備えることを特徴とする電子デバイス。
  79. ディスプレイ及びタッチセンシティブ面を有する電子デバイス用の情報処理装置であって、
    請求項１から２４、３０、３６、４２、４８、５４、６０及び６６から６９の方法のうちのいずれかを実行する手段を備えることを特徴とする情報処理装置。
  80. 仮想タッチに対応する第１の視覚標識を表示するように構成された表示ユニットと、
    指の接触を入力するように構成されたタッチセンシティブ面ユニットと、
    前記表示ユニット及び前記タッチセンシティブ面ユニットに結合された処理ユニットとを備える電子デバイスであって、前記処理ユニットは、
    適応入力デバイスから第１の入力を受信し、
    前記適応入力デバイスからの前記第１の入力の受信に応じて、前記表示ユニットでの仮想タッチ選択アイコンを含む第１のメニューの表示を有効にするように構成され、前記仮想タッチ選択アイコンの選択の検出に応じて、仮想マルチタッチ接触のメニューが表示されることを特徴とする電子デバイス。
  81. 前記第１の視覚標識は、環状、ドーナツ形、円形、楕円形、長円形、矢印、十字形、Ｉビーム、星形又は仮想指のうちの１つを含むことを特徴とする請求項８０記載の電子デバイス。
  82. 前記第１の入力は、前記第１の視覚標識を前記表示ユニットの所定の領域に移動することを特徴とする請求項８０又は８１記載の電子デバイス。
  83. 前記第１の入力は、前記適応入力デバイス上のコントロールの起動に対応することを特徴とする請求項８０から８２のいずれか１項に記載の電子デバイス。
  84. 前記第１の入力は、前記適応入力デバイス上のコントロールを左右に移動することに対応することを特徴とする請求項８０から８３のいずれか１項に記載の電子デバイス。
  85. 前記適応入力デバイスはジョイスティックを含み、前記第１の入力は前記ジョイスティックを左右に移動することに対応することを特徴とする請求項８０から８４のいずれか１項に記載の電子デバイス。
  86. 前記第１のメニューは、前記第１のメニューの中心の周りに放射状に表示されたアイコンを含むことを特徴とする請求項８０から８５のいずれか１項に記載の電子デバイス。
  87. 第１のユーザインタフェースは、前記適応入力デバイスから前記第１の入力を受信する直前に前記表示ユニットに表示され、前記第１のメニューは前記第１のユーザインタフェースの上に表示されることを特徴とする請求項８０から８６のいずれか１項に記載の電子デバイス。
  88. 前記処理ユニットは、前記適応入力デバイスからの前記第１の入力の受信に応じて、前記第１のメニューの中央領域での前記第１の視覚標識を表示する有効にするように構成されることを特徴とする請求項８０から８７のいずれか１項に記載の電子デバイス。
  89. 前記処理ユニットは、
    前記仮想タッチ選択アイコンの選択を検出し、
    前記仮想タッチ選択アイコンの選択の検出に応じて、仮想マルチタッチ接触の種類を示す複数のアイコンを含む仮想マルチタッチ接触の前記メニューの表示を有効にし、
    仮想マルチタッチ接触の前記メニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出し、
    仮想マルチタッチ接触の前記メニューの前記それぞれの仮想マルチタッチ接触アイコンの選択の検出に応じて、前記それぞれの仮想マルチタッチ接触アイコンに対応する１つ以上の第２の視覚標識の表示を有効にするように構成されることを特徴とする請求項８０から８８のいずれか１項に記載の電子デバイス。
  90. 前記第２の視覚標識の表示を有効にすることは、前記それぞれの仮想マルチタッチ接触アイコンに対応する複数の視覚標識の表示を有効にすることを含むことを特徴とする請求項８９記載の電子デバイス。
  91. 前記処理ユニットは、
    前記適応入力デバイスから第２の入力を受信し、
    前記適応入力デバイスからの前記第２の入力の受信に応じて、
    前記１つ以上の第２の視覚標識を移動し、
    前記１つ以上の第２の視覚標識の前記移動に従って動作を実行するように構成されることを特徴とする請求項８９又は９０記載の電子デバイス。
  92. 前記処理ユニットは、
    前記１つ以上の第２の視覚標識の表示を有効にしている間、所定の期間を超える期間にわたり前記適応入力デバイスからの入力の受信を待機し、
    前記所定の期間を超える期間にわたり前記適応入力デバイスからの入力の受信を待機したことに応じて、前記１つ以上の第２の視覚標識の表示を前記第１の視覚標識の表示に置換するように構成されることを特徴とする請求項８９から９１のいずれか１項に記載の電子デバイス。
  93. 前記処理ユニットは、
    仮想ジェスチャアイコンの表示を有効にし、
    前記仮想ジェスチャアイコンの選択を検出し、
    前記仮想ジェスチャアイコンの選択の検出に応じて、仮想ジェスチャの種類を示す複数のアイコンを含む仮想ジェスチャの前記メニューの表示を有効にし、
    仮想ジェスチャの前記メニューのそれぞれの仮想ジェスチャアイコンの選択を検出し、
    仮想ジェスチャの前記メニューの前記それぞれの仮想ジェスチャアイコンの選択の検出に応じて、前記それぞれの仮想ジェスチャに対応する動作を実行するように構成されることを特徴とする請求項８０から９２のいずれか１項に記載の電子デバイス。
  94. 前記処理ユニットは、
    仮想ジェスチャアイコンの表示を有効にし、
    前記仮想ジェスチャアイコンの選択を検出し、
    前記仮想ジェスチャアイコンの選択の検出に応じて、仮想ジェスチャの種類を示す複数のアイコンを含む仮想ジェスチャのメニューの表示を有効にし、
    仮想ジェスチャの前記メニューのそれぞれの仮想ジェスチャアイコンの選択を検出し、
    仮想ジェスチャの前記メニューの前記それぞれの仮想ジェスチャアイコンの選択の検出に応じて、前記それぞれの仮想ジェスチャアイコンに対応する複数の視覚標識の表示を有効にし、
    前記適応入力デバイスから第２の入力を受信し、
    前記適応入力デバイスからの前記第２の入力の受信に応じて、前記それぞれの仮想ジェスチャに従って動作を実行するように構成されることを特徴とする請求項８０から９２のいずれか１項に記載の電子デバイス。
  95. 前記処理ユニットは、
    前記適応入力デバイスからの前記第２の入力の受信に応じて、前記それぞれの仮想ジェスチャに対応する前記表示された視覚標識を移動して、前記タッチセンシティブ面に対する実際の接触の移動をシミュレートするように構成されることを特徴とする請求項９４記載の電子デバイス。
  96. 前記処理ユニットは、
    仮想ピンチイン／ピンチアウトジェスチャアイコンの表示を有効にし、
    前記仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出し、
    前記仮想ピンチイン／ピンチアウトジェスチャアイコンの選択の検出に応じて、前記仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識の表示を有効にし、
    前記適応入力デバイスから第２の入力を受信し、
    前記適応入力デバイスからの前記第２の入力の受信に応じて、前記仮想ピンチイン／ピンチアウトジェスチャに従って動作を実行するように構成されることを特徴とする請求項８０から９５のいずれか１項に記載の電子デバイス。
  97. ズーム動作は、前記仮想ピンチイン／ピンチアウトジェスチャに従って実行されることを特徴とする請求項９６記載の電子デバイス。
  98. 前記処理ユニットは、
    仮想デバイスアイコンの表示を有効にし、
    前記仮想デバイスアイコンの選択を検出し、
    前記仮想デバイスアイコンの選択の検出に応じて、仮想デバイス動作の種類を示す複数のアイコンを含む仮想デバイス動作のメニューの表示を有効にし、
    仮想デバイス動作の前記メニューのそれぞれの仮想デバイス動作アイコンの選択を検出し、
    仮想デバイス動作の前記メニューの前記それぞれの仮想デバイス動作アイコンの選択の検出に応じて、前記それぞれの仮想デバイス動作に対応する動作を実行するように構成されることを特徴とする請求項８０から９７のいずれか１項に記載の電子デバイス。
  99. 前記処理ユニットは、
    仮想デバイス回転アイコンの表示を有効にし、
    前記仮想デバイス回転アイコンの選択を検出し、
    前記仮想デバイス回転アイコンの選択の検出に応じて、仮想デバイスの向きの種類を示す複数のアイコンを含む仮想デバイスの向きのメニューの表示を有効にし、
    仮想デバイスの向きの前記メニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出し、
    仮想デバイスの向きの前記メニューの前記それぞれの仮想デバイスの向きのアイコンの選択の検出に応じて、前記それぞれの仮想デバイスの向きに従って前記表示を配向させるように構成されることを特徴とする請求項８０から９８のいずれか１項に記載の電子デバイス。
  100. 前記電子デバイスはホームボタンを含み、
    前記処理ユニットは、
    ホームボタンアイコンの表示を有効にし、
    前記ホームボタンアイコンの選択を検出し、
    前記ホームボタンアイコンの選択の検出に応じて、前記ホームボタンの起動に対応する動作を実行するように構成されることを特徴とする請求項８０から９９のいずれか１項に記載の電子デバイス。
  101. 前記処理ユニットは、前記表示ユニットでのメニューの表示を表示している間、前記第１の視覚標識が前記メニューに残るように前記第１の視覚標識の移動を制限するように構成されることを特徴とする請求項８０から１００のいずれか１項に記載の電子デバイス。
  102. 前記処理ユニットは、
    前記表示ユニットでの前記第１のメニューの表示を有効にしている間、前記第１の視覚標識が前記第１のメニューに表示されない場合に前記適応入力デバイスから第２の入力を受信し、
    前記第２の入力に応じて前記第１のメニューの表示を中止するように構成されることを特徴とする請求項８０から１０１のいずれか１項に記載の電子デバイス。
  103. 前記処理ユニットは、
    前記表示ユニットでの前記第１のメニュー表示を有効にしている間、所定の期間を超える期間にわたり前記適応入力デバイスからの入力の受信を待機し、
    前記所定の期間を超える期間にわたり前記適応入力デバイスからの入力の受信を待機したことに応じて、前記第１のメニューの表示を中止するように構成されることを特徴とする請求項８０から１０２のいずれか１項に記載の電子デバイス。
  104. 仮想タッチに対応する第１の視覚標識を表示するように構成された表示ユニットと、
    指の接触を入力するように構成されたタッチセンシティブ面ユニットと、
    前記表示ユニット及び前記タッチセンシティブ面ユニットに結合された処理ユニットとを備える電子デバイスであって、前記処理ユニットは、
    適応入力デバイスから第１の入力を受信し、
    前記適応入力デバイスからの前記第１の入力の受信に応じて、仮想マルチタッチ接触の種類を示す複数のアイコンを含む仮想マルチタッチ接触のメニューの表示を有効にし、
    仮想マルチタッチ接触の前記メニューのそれぞれの仮想マルチタッチ接触アイコンの選択を検出し、
    仮想マルチタッチ接触の前記メニューの前記それぞれの仮想マルチタッチ接触アイコンの選択の検出に応じて、前記それぞれの仮想マルチタッチ接触アイコンに対応する１つ以上の第２の視覚標識の表示を有効にするように構成されることを特徴とする電子デバイス。
  105. 仮想タッチに対応する第１の視覚標識を表示するように構成された表示ユニットと、
    指の接触を入力するように構成されたタッチセンシティブ面ユニットと、
    前記表示ユニット及び前記タッチセンシティブ面ユニットに結合された処理ユニットとを備える電子デバイスであって、前記処理ユニットは、
    適応入力デバイスから第１の入力を受信し、
    前記適応入力デバイスからの前記第１の入力の受信に応じて、仮想ジェスチャの種類を示す複数のアイコンを含む仮想ジェスチャのメニューの表示を有効にし、
    仮想ジェスチャの前記メニューのそれぞれの仮想ジェスチャアイコンの選択を検出し、
    仮想ジェスチャの前記メニューの前記それぞれの仮想ジェスチャアイコンの選択の検出に応じて、前記それぞれの仮想ジェスチャアイコンに対応する複数の視覚標識の表示を有効にし、
    前記適応入力デバイスから第２の入力を受信し、
    前記適応入力デバイスからの前記第２の入力の受信に応じて、前記それぞれの仮想ジェスチャに従って動作を実行するように構成されることを特徴とする電子デバイス。
  106. 仮想ピンチイン／ピンチアウトジェスチャアイコンを表示するように構成された表示ユニットと、
    指の接触を入力するように構成されたタッチセンシティブ面ユニットと、
    前記表示ユニット及び前記タッチセンシティブ面ユニットに結合された処理ユニットとを備える電子デバイスであって、前記処理ユニットは、
    前記仮想ピンチイン／ピンチアウトジェスチャアイコンの選択を検出し、
    前記仮想ピンチイン／ピンチアウトジェスチャアイコンの選択の検出に応じて、前記仮想ピンチイン／ピンチアウトジェスチャの接触に対応する２つの視覚標識の表示を有効にし、
    適応入力デバイスから入力を受信し、
    前記適応入力デバイスからの前記入力の受信に応じて、前記それぞれの仮想ピンチイン／ピンチアウトジェスチャに従ってズーム動作を実行するように構成されることを特徴とする電子デバイス。
  107. 仮想ジェスチャアイコンを表示するように構成された表示ユニットと、
    指の接触を入力するように構成されたタッチセンシティブ面ユニットと、
    前記表示ユニット及び前記タッチセンシティブ面ユニットに結合された処理ユニットとを備える電子デバイスであって、前記処理ユニットは、
    前記仮想ジェスチャアイコンの選択を検出し、
    前記仮想ジェスチャアイコンの選択の検出に応じて、仮想ジェスチャの種類を示す複数のアイコンを含む仮想ジェスチャのメニューの表示を有効にし、
    仮想ジェスチャの前記メニューのそれぞれの仮想ジェスチャアイコンの選択を検出し、
    仮想ジェスチャの前記メニューの前記それぞれの仮想ジェスチャアイコンの選択の検出に応じて、前記それぞれの仮想ジェスチャに対応する動作を実行するように構成されることを特徴とする電子デバイス。
  108. 仮想デバイスアイコンを表示するように構成された表示ユニットと、
    指の接触を入力するように構成されたタッチセンシティブ面ユニットと、
    前記表示ユニット及び前記タッチセンシティブ面ユニットに結合された処理ユニットとを備える電子デバイスであって、前記処理ユニットは、
    前記仮想デバイスアイコンの選択を検出し、
    前記仮想デバイスアイコンの選択の検出に応じて、仮想デバイス動作の種類を示す複数のアイコンを含む仮想デバイス動作のメニューの表示を有効にし、
    仮想デバイス動作の前記メニューのそれぞれの仮想デバイス動作アイコンの選択を検出し、
    仮想デバイス動作の前記メニューの前記それぞれの仮想デバイス動作アイコンの選択の検出に応じて、前記それぞれの仮想デバイス動作に対応する動作を実行するように構成されることを特徴とする電子デバイス。
  109. 仮想デバイス回転アイコンを表示するように構成された表示ユニットと、
    指の接触を入力するように構成されたタッチセンシティブ面ユニットと、
    前記表示ユニット及び前記タッチセンシティブ面ユニットに結合された処理ユニットとを備える電子デバイスであって、前記処理ユニットは、
    前記仮想デバイス回転アイコンの選択を検出し、
    前記仮想デバイス回転アイコンの選択の検出に応じて、仮想デバイスの向きの種類を示す複数のアイコンを含む仮想デバイスの向きのメニューの表示を有効にし、
    仮想デバイスの向きの前記メニューのそれぞれの仮想デバイスの向きのアイコンの選択を検出し、
    仮想デバイスの向きの前記メニューの前記それぞれの仮想デバイスの向きのアイコンの選択の検出に応じて、前記それぞれの仮想デバイスの向きに従って前記表示を配向させるように構成されることを特徴とする電子デバイス。
  110. 視覚標識を表示するように構成された表示ユニットと、
    指の接触を入力するように構成されたタッチセンシティブ面ユニットと、
    前記表示ユニット及び前記タッチセンシティブ面ユニットに結合された処理ユニットとを備える電子デバイスであって、前記処理ユニットは、
    仮想ジェスチャ記録モードの間、
    前記表示ユニットでの複数の視覚標識の表示を有効にし、
    前記複数の視覚標識の視覚標識毎に、
    前記それぞれの視覚標識に対するそれぞれのユーザ入力を適応入力デバイスから受信し、
    前記それぞれのユーザ入力に従って前記それぞれの視覚標識を移動し、
    前記それぞれの視覚標識及び前記それぞれの視覚標識の移動に対応するそれぞれの軌跡の同時表示を有効にし、
    前記複数の視覚標識及び前記複数の視覚標識の前記移動に対応するユーザ規定の仮想ジェスチャを作成し、
    前記ユーザ規定の仮想ジェスチャを前記電子デバイスの所定の動作と関連付け、
    前記ユーザ規定の仮想ジェスチャを格納するように構成されることを特徴とする電子デバイス。
  111. 前記処理ユニットは、前記仮想ジェスチャ記録モードの間に前記複数のそれぞれの視覚標識及び対応する複数のそれぞれの軌跡の同時表示を有効にするように構成されることを特徴とする請求項１１０記載の電子デバイス。
  112. 前記処理ユニットは、前記ユーザ規定の仮想ジェスチャを作成して前記電子デバイスの所定の動作と関連付けた後、
    前記適応入力デバイスから入力を受信し、
    前記適応入力デバイスからの前記入力の受信に応じて、前記ユーザ規定の仮想ジェスチャと関連付けられた前記所定の動作を実行するように構成されることを特徴とする請求項１１０又は１１１記載の電子デバイス。
  113. 前記処理ユニットは、
    前記適応入力デバイスからの前記入力の受信に応じて、前記ユーザ規定の仮想ジェスチャの前記複数のそれぞれの視覚標識のアニメーション化された移動の表示をそれぞれの軌跡に沿って有効にするように構成されることを特徴とする請求項１１２記載の電子デバイス。
JP2014513803A 2011-06-05 2012-06-05 物理的なタッチ機能のないタッチユーザインタフェースを制御するためのデバイス、方法及びグラフィカルユーザインタフェース Active JP5883128B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161493495P 2011-06-05 2011-06-05
US61/493,495 2011-06-05
US13/217,654 US9513799B2 (en) 2011-06-05 2011-08-25 Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities
US13/217,654 2011-08-25
PCT/US2012/040920 WO2012170426A2 (en) 2011-06-05 2012-06-05 Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016020183A Division JP6190902B2 (ja) 2011-06-05 2016-02-04 物理的なタッチ機能のないタッチユーザインタフェースを制御するためのデバイス、方法及びグラフィカルユーザインタフェース

Publications (2)

Publication Number Publication Date
JP2014519125A true JP2014519125A (ja) 2014-08-07
JP5883128B2 JP5883128B2 (ja) 2016-03-09

Family

ID=47261268

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2014513803A Active JP5883128B2 (ja) 2011-06-05 2012-06-05 物理的なタッチ機能のないタッチユーザインタフェースを制御するためのデバイス、方法及びグラフィカルユーザインタフェース
JP2016020183A Active JP6190902B2 (ja) 2011-06-05 2016-02-04 物理的なタッチ機能のないタッチユーザインタフェースを制御するためのデバイス、方法及びグラフィカルユーザインタフェース
JP2017152690A Active JP6794323B2 (ja) 2011-06-05 2017-08-07 物理的なタッチ機能のないタッチユーザインタフェースを制御するためのデバイス、方法及びグラフィカルユーザインタフェース
JP2020131850A Active JP6857769B2 (ja) 2011-06-05 2020-08-03 物理的なタッチ機能のないタッチユーザインタフェースを制御するためのデバイス、方法及びグラフィカルユーザインタフェース

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2016020183A Active JP6190902B2 (ja) 2011-06-05 2016-02-04 物理的なタッチ機能のないタッチユーザインタフェースを制御するためのデバイス、方法及びグラフィカルユーザインタフェース
JP2017152690A Active JP6794323B2 (ja) 2011-06-05 2017-08-07 物理的なタッチ機能のないタッチユーザインタフェースを制御するためのデバイス、方法及びグラフィカルユーザインタフェース
JP2020131850A Active JP6857769B2 (ja) 2011-06-05 2020-08-03 物理的なタッチ機能のないタッチユーザインタフェースを制御するためのデバイス、方法及びグラフィカルユーザインタフェース

Country Status (7)

Country Link
US (6) US9513799B2 (ja)
EP (1) EP2718794B1 (ja)
JP (4) JP5883128B2 (ja)
KR (3) KR101886486B1 (ja)
CN (3) CN103608754B (ja)
AU (4) AU2012268384B2 (ja)
WO (1) WO2012170426A2 (ja)

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9513799B2 (en) 2011-06-05 2016-12-06 Apple Inc. Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
US9202297B1 (en) * 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
US10001898B1 (en) 2011-07-12 2018-06-19 Domo, Inc. Automated provisioning of relational information for a summary data visualization
US9086794B2 (en) * 2011-07-14 2015-07-21 Microsoft Technology Licensing, Llc Determining gestures on context based menus
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US9116611B2 (en) 2011-12-29 2015-08-25 Apple Inc. Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input
FR2986715B1 (fr) * 2012-02-15 2014-10-17 Archos Procede et dispositif de controle d'au moins un appareil par au moins un autre appareil, appareil et systeme mettant en œuvre un tel dispositif
CN102707882A (zh) * 2012-04-27 2012-10-03 深圳瑞高信息技术有限公司 虚拟图标触摸屏应用程序的操控转换方法及触摸屏终端
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
EP2847658B1 (en) 2012-05-09 2017-06-21 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
EP2847660B1 (en) 2012-05-09 2018-11-14 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
CN107728906B (zh) 2012-05-09 2020-07-31 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
JP6002836B2 (ja) 2012-05-09 2016-10-05 アップル インコーポレイテッド ジェスチャに応答して表示状態間を遷移するためのデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
JP6273263B2 (ja) 2012-05-09 2018-01-31 アップル インコーポレイテッド ユーザ接触に応答して追加情報を表示するための、デバイス、方法、及びグラフィカルユーザインタフェース
EP2847662B1 (en) 2012-05-09 2020-02-19 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
US9128562B2 (en) * 2012-05-25 2015-09-08 Sony Corporation Terminal apparatus, display system, display method, and recording medium for switching between pointer mode and touch-panel mode based on handheld activation
US9235342B2 (en) 2012-11-28 2016-01-12 International Business Machines Corporation Selective sharing of displayed content in a view presented on a touchscreen of a processing system
JP2014109881A (ja) * 2012-11-30 2014-06-12 Toshiba Corp 情報処理装置、情報処理方法及びプログラム
JP6093877B2 (ja) 2012-12-29 2017-03-08 アップル インコーポレイテッド 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース
CN107832003B (zh) 2012-12-29 2021-01-22 苹果公司 用于放大内容的方法和设备、电子设备和介质
CN105264479B (zh) * 2012-12-29 2018-12-25 苹果公司 用于对用户界面分级结构进行导航的设备、方法和图形用户界面
JP6158947B2 (ja) 2012-12-29 2017-07-05 アップル インコーポレイテッド タッチ入力からディスプレイ出力への関係間を遷移するためのデバイス、方法及びグラフィカルユーザインタフェース
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
CN105144057B (zh) 2012-12-29 2019-05-17 苹果公司 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面
US9792013B2 (en) * 2013-01-25 2017-10-17 Apple Inc. Interface scanning for disabled users
USD748148S1 (en) * 2013-02-23 2016-01-26 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
USD737326S1 (en) * 2013-02-23 2015-08-25 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
USD747743S1 (en) * 2013-02-23 2016-01-19 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
CN103106006B (zh) * 2013-03-01 2016-08-24 广东欧珀移动通信有限公司 一种快速整理桌面图标的方法及装置
JP2015007949A (ja) * 2013-06-26 2015-01-15 ソニー株式会社 表示装置、表示制御方法及びコンピュータプログラム
WO2015005059A1 (ja) * 2013-07-09 2015-01-15 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US20150127505A1 (en) * 2013-10-11 2015-05-07 Capital One Financial Corporation System and method for generating and transforming data presentation
CN103793143A (zh) * 2014-02-13 2014-05-14 宇龙计算机通信科技(深圳)有限公司 一种用户界面按键显示方法及装置
KR102158696B1 (ko) * 2014-05-09 2020-09-22 엘지전자 주식회사 디스플레이 장치 및 제어 방법
US10664090B2 (en) 2014-07-31 2020-05-26 Hewlett-Packard Development Company, L.P. Touch region projection onto touch-sensitive surface
US9747739B2 (en) * 2014-08-18 2017-08-29 Noke, Inc. Wireless locking device
US10168838B2 (en) * 2014-09-30 2019-01-01 Hewlett-Packard Development Company, L.P. Displaying an object indicator
USD790595S1 (en) * 2014-12-22 2017-06-27 Adtile Technologies Inc. Display screen with a transitional motion-activated graphical user interface
US9728022B2 (en) 2015-01-28 2017-08-08 Noke, Inc. Electronic padlocks and related methods
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9961239B2 (en) 2015-06-07 2018-05-01 Apple Inc. Touch accommodation options
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10795558B2 (en) * 2015-06-07 2020-10-06 Apple Inc. Device, method, and graphical user interface for providing and interacting with a virtual drawing aid
US9965445B2 (en) * 2015-08-06 2018-05-08 FiftyThree, Inc. Systems and methods for gesture-based formatting
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
CN105049813A (zh) * 2015-08-11 2015-11-11 小米科技有限责任公司 控制视频画面的方法、装置及终端
USD780222S1 (en) * 2015-11-09 2017-02-28 Naver Corporation Display panel with icon
US10489007B2 (en) * 2015-12-28 2019-11-26 Cerner Innovation, Inc. Contextualized application evaluation
USD778941S1 (en) * 2016-01-08 2017-02-14 Apple Inc. Display screen or portion thereof with graphical user interface
CN105843520A (zh) * 2016-03-25 2016-08-10 上海逗屋网络科技有限公司 用于在多点触摸终端上调整被操控工具的方法及设备
CN117435093A (zh) * 2016-03-28 2024-01-23 苹果公司 对另一电子设备的多功能设备控制
US11150798B2 (en) 2016-03-28 2021-10-19 Apple Inc. Multifunction device control of another electronic device
USD826264S1 (en) * 2016-07-28 2018-08-21 Banco Bradesco S/A Display panel with a computer icon
USD826260S1 (en) * 2016-07-28 2018-08-21 Banco Bradesco S/A Display panel with a computer icon
USD826258S1 (en) * 2016-07-29 2018-08-21 Banco Bradesco S/A Display panel with a computer icon
US10871896B2 (en) * 2016-12-07 2020-12-22 Bby Solutions, Inc. Touchscreen with three-handed gestures system and method
US10114525B2 (en) * 2016-12-28 2018-10-30 Byung Jin Kim Device and method for organizing and displaying instant messages in various structured fashions
JP2018124721A (ja) * 2017-01-31 2018-08-09 セイコーエプソン株式会社 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
KR101861098B1 (ko) * 2017-02-21 2018-05-29 한국과학기술연구원 탈착가능한 물리적 컨트롤 인터페이스를 가지는 원통형 디스플레이 장치, 그 제어 방법 및 그 방법을 수행하기 위한 기록 매체
US20190012045A1 (en) * 2017-07-05 2019-01-10 Motorola Solutions, Inc. Seamless workflow between mobile applications on portable device
US10776763B2 (en) 2017-09-12 2020-09-15 Paypal, Inc. System and method for performing gesture-based unified multi-marketplace transactions
USD959486S1 (en) * 2018-04-10 2022-08-02 Google Llc Display screen with icon
US10942633B2 (en) * 2018-12-20 2021-03-09 Microsoft Technology Licensing, Llc Interactive viewing and editing system
US11352817B2 (en) 2019-01-25 2022-06-07 Noke, Inc. Electronic lock and interchangeable shackles
USD956772S1 (en) * 2019-02-18 2022-07-05 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD910068S1 (en) * 2019-05-28 2021-02-09 Apple Inc. Display screen or portion thereof with graphical user interface
USD938973S1 (en) * 2019-08-23 2021-12-21 Beijing Xiaomi Mobile Software Co., Ltd. Telephone display screen or portion thereof with animated graphical user interface
USD959489S1 (en) * 2020-08-13 2022-08-02 Pnc Financial Services Group, Inc. Display screen portion with icon
USD975109S1 (en) * 2020-12-14 2023-01-10 Tiya Pte. Ltd. Portable electronic device with animated graphical user interface
US20220374085A1 (en) * 2021-05-19 2022-11-24 Apple Inc. Navigating user interfaces using hand gestures
JP1719678S (ja) * 2021-08-26 2022-07-13 情報表示機能付き電子計算機
CN114942701B (zh) * 2022-07-25 2023-01-31 联宝(合肥)电子科技有限公司 一种控制鼠标的摇杆及其控制方法
US11662832B1 (en) * 2022-08-25 2023-05-30 Google Llc System and method for enhancing functionality of electronic devices

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1063427A (ja) * 1996-06-25 1998-03-06 Internatl Business Mach Corp <Ibm> 仮想ポインティング・デバイスを不活発状態にする方法、装置及びコンピュータ・システム
US20050219210A1 (en) * 2004-03-31 2005-10-06 The Neil Squire Society Pointer interface for handheld devices
JP2006155205A (ja) * 2004-11-29 2006-06-15 Fujitsu Ltd 電子装置、入力制御装置、および入力制御プログラム
US20080036743A1 (en) * 1998-01-26 2008-02-14 Apple Computer, Inc. Gesturing with a multipoint sensing device
US20090178011A1 (en) * 2008-01-04 2009-07-09 Bas Ording Gesture movies
JP2009205685A (ja) * 2008-02-26 2009-09-10 Apple Inc シングルポインティングデバイスによるマルチポイントジェスチャのシミュレーション
US20100281410A1 (en) * 2009-04-30 2010-11-04 Microsoft Corporation Configuring an Adaptive Input Device with Selected Graphical Images
WO2011056387A1 (en) * 2009-11-03 2011-05-12 Qualcomm Incorporated Methods for implementing multi-touch gestures on a single-touch touch surface
JP2011257992A (ja) * 2010-06-09 2011-12-22 Fujitsu Component Ltd 変換装置及びプログラム

Family Cites Families (157)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4763356A (en) 1986-12-11 1988-08-09 AT&T Information Systems, Inc. American Telephone and Telegraph Company Touch screen form entry system
US5543588A (en) 1992-06-08 1996-08-06 Synaptics, Incorporated Touch pad driven handheld computing device
JPH0683524A (ja) * 1992-09-04 1994-03-25 Fujitsu Ltd ペン入力方式
RU2153234C2 (ru) * 1992-12-09 2000-07-20 Дискавери Коммьюникейшнз, Инк. Устройство для использования в головной станции системы кабельного телевидения (варианты) и способ распределения программ абонентам в системе кабельного телевидения
US5412189A (en) 1992-12-21 1995-05-02 International Business Machines Corporation Touch screen apparatus with tactile information
US6496182B1 (en) 1995-06-07 2002-12-17 Microsoft Corporation Method and system for providing touch-sensitive screens for the visually impaired
US5666499A (en) 1995-08-04 1997-09-09 Silicon Graphics, Inc. Clickaround tool-based graphical interface with two cursors
US5831664A (en) 1995-12-15 1998-11-03 Mediaone Group, Inc. Method and system for synchronizing data between at least one mobile interface device and an interactive terminal
US5825352A (en) 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US5729219A (en) 1996-08-02 1998-03-17 Motorola, Inc. Selective call radio with contraposed touchpad
US5805157A (en) 1996-08-12 1998-09-08 International Business Machines Corporation Mobile client computer with hexagonal keyboard
US5805159A (en) 1996-08-22 1998-09-08 International Business Machines Corporation Mobile client computer interdependent display data fields
US5870083A (en) 1996-10-04 1999-02-09 International Business Machines Corporation Breakaway touchscreen pointing device
US6002395A (en) 1996-10-31 1999-12-14 Ncr Corporation System and method for building, testing and integrating a graphical touch user interface
US5812131A (en) 1997-03-07 1998-09-22 International Business Machines Corp. Mobile client computer programmed to process table displays
US5956025A (en) 1997-06-09 1999-09-21 Philips Electronics North America Corporation Remote with 3D organized GUI for a home entertainment system
JP4026907B2 (ja) 1997-12-26 2007-12-26 株式会社リコー 画像形成装置の操作表示方法並びに操作表示装置
US6757001B2 (en) 1999-03-30 2004-06-29 Research Investment Network, Inc. Method of using physical buttons in association with a display to access and execute functions available through associated hardware and software
US6104334A (en) 1997-12-31 2000-08-15 Eremote, Inc. Portable internet-enabled controller and information browser for consumer devices
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US20070177804A1 (en) 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US6160553A (en) 1998-09-14 2000-12-12 Microsoft Corporation Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and in which object occlusion is avoided
US6560612B1 (en) 1998-12-16 2003-05-06 Sony Corporation Information processing apparatus, controlling method and program medium
US6259436B1 (en) 1998-12-22 2001-07-10 Ericsson Inc. Apparatus and method for determining selection of touchable items on a computer touchscreen by an imprecise touch
US6335725B1 (en) 1999-07-14 2002-01-01 Hewlett-Packard Company Method of partitioning a touch screen for data input
US7673241B2 (en) 2002-06-26 2010-03-02 Siebel Systems, Inc. User interface for multi-media communication for the visually disabled
US6918091B2 (en) * 2000-11-09 2005-07-12 Change Tools, Inc. User definable interface system, method and computer program product
US6791536B2 (en) * 2000-11-10 2004-09-14 Microsoft Corporation Simulating gestures of a pointing device using a stylus and providing feedback thereto
JP3621650B2 (ja) * 2001-02-26 2005-02-16 日本電信電話株式会社 ３次元共有仮想空間通信サービスにおける動的セル管理方法，仮想空間集中制御装置およびマスタサーバ
US7730401B2 (en) 2001-05-16 2010-06-01 Synaptics Incorporated Touch screen with user interface enhancement
US20050134578A1 (en) 2001-07-13 2005-06-23 Universal Electronics Inc. System and methods for interacting with a control environment
US7383515B2 (en) 2002-07-25 2008-06-03 International Business Machines Corporation Previewing next state based on potential action in current state
US7187394B2 (en) 2002-10-04 2007-03-06 International Business Machines Corporation User friendly selection apparatus based on touch screens for visually impaired people
US7296241B2 (en) 2002-10-18 2007-11-13 Microsoft Corporation System and method for managing a message view
US7453442B1 (en) 2002-12-03 2008-11-18 Ncr Corporation Reconfigurable user interface systems
US7158123B2 (en) 2003-01-31 2007-01-02 Xerox Corporation Secondary touch contextual sub-menu navigation for touch screen interface
JP4193629B2 (ja) 2003-07-25 2008-12-10 ソニー株式会社 画面表示装置，プログラム，および画面表示方法
US7164410B2 (en) 2003-07-28 2007-01-16 Sig G. Kupka Manipulating an on-screen object using zones surrounding the object
US7178109B2 (en) 2003-08-12 2007-02-13 Chordiant Software, Inc. Process/viewer interface
US20050235206A1 (en) 2004-04-15 2005-10-20 Udo Arend User interface for a quick activity window
US20050235223A1 (en) 2004-04-15 2005-10-20 Udo Arend User interface adaptable by an end user
US20050235208A1 (en) 2004-04-15 2005-10-20 Udo Arend User interface for a guided activity window
US20050246665A1 (en) 2004-05-03 2005-11-03 Microsoft Corporation Systems and methods for an improved user interface shell for small computer devices
JP4210936B2 (ja) 2004-07-08 2009-01-21 ソニー株式会社 情報処理装置及びこれに用いるプログラム
WO2006025145A1 (ja) 2004-08-31 2006-03-09 Access Co., Ltd. マークアップ言語文書処理装置、ブラウザプログラムおよびマークアップ言語処理方法
US7483880B2 (en) 2004-09-30 2009-01-27 Microsoft Corporation User interface for database display
EP1807812A4 (en) 2004-11-02 2014-03-12 Custom Lab Software Systems Inc FUNCTIONAL COMMUNICATION DEVICE
JP4695384B2 (ja) * 2004-11-30 2011-06-08 株式会社日立製作所 カーソルの機能切り換え方法及びこれを使用する情報処理装置
US20060123359A1 (en) 2004-12-03 2006-06-08 Schatzberger Richard J Portable electronic device having user interactive visual interface
US20050216826A1 (en) 2005-05-09 2005-09-29 Matrikon Inc. Method of providing a concurrent overview and detailed display of industrial production facilities
CN1873602A (zh) 2005-05-31 2006-12-06 皮克塞(研究)有限公司 用于导航所显示内容的系统和方法
US20060271870A1 (en) 2005-05-31 2006-11-30 Picsel Research Limited Systems and methods for navigating displayed content
JP2006350838A (ja) 2005-06-17 2006-12-28 Fujitsu Ltd 情報処理装置およびプログラム
TW200701050A (en) 2005-06-27 2007-01-01 Compal Electronics Inc A user interface with figures mapping to the keys, for allowing the user to select and control a portable electronic device
BRPI0615536A2 (pt) 2005-07-22 2011-05-17 Matt Pallakoff dispositivo manual que tem um mostrador da tela de toque com capacidade de implementar uma interface do usuário de teclado virtual para inserir toques no teclado por um usuário, sistema de interface do usuário (ui) baseada em tela de toque em um dispositivo manual, sistema de interface do usuário (ui) baseado em tela de toque otimizado pelo polegar em um dispositivo manual, sistema de interface do usuário (ui) virtual acionado a polegar para a busca de informações, sistema de interface do usuário virtual acionado pelo polegar, para selecionar itens selecionáveis virtuais em uma página da web exibida em um mostrador de tela de toque de um dispositivo portátil, dispositivo manual que tem um mostrador de tela de toque com capacidade de executar um teclado virtual para inserir toques no teclado por um usuário, método para implementar a seleção de entrda por um usúario dos itens exibidos em um tela de toque de um dispositivo manual e método para que uma interface virtual do usuário do teclado interaja com páginas da web em um dispositivo de visualização manual que tem um mostrador de tela de toque
WO2007050569A2 (en) 2005-10-25 2007-05-03 Donald Templeton Haynie Polypeptide multilayer films and methods
TW200723049A (en) 2005-12-07 2007-06-16 Era Digital Media Co Single page website organization method
US7786975B2 (en) 2005-12-23 2010-08-31 Apple Inc. Continuous scrolling list with acceleration
US7596761B2 (en) 2006-01-05 2009-09-29 Apple Inc. Application user interface with navigation bar showing current and prior application contexts
GB0605587D0 (en) 2006-03-20 2006-04-26 British Broadcasting Corp Graphical user interface methods and systems
JP5129478B2 (ja) * 2006-03-24 2013-01-30 株式会社デンソーアイティーラボラトリ 画面表示装置
US20070236474A1 (en) 2006-04-10 2007-10-11 Immersion Corporation Touch Panel with a Haptically Generated Reference Key
US7880728B2 (en) 2006-06-29 2011-02-01 Microsoft Corporation Application switching via a touch screen interface
US8736557B2 (en) 2006-09-11 2014-05-27 Apple Inc. Electronic device with image based browsers
US8584038B2 (en) 2006-12-18 2013-11-12 Microsoft Corporation Techniques for use with a calendar and messaging component
US20080163053A1 (en) 2006-12-28 2008-07-03 Samsung Electronics Co., Ltd. Method to provide menu, using menu set and multimedia device using the same
US9311528B2 (en) * 2007-01-03 2016-04-12 Apple Inc. Gesture learning
US7889184B2 (en) 2007-01-05 2011-02-15 Apple Inc. Method, system and graphical user interface for displaying hyperlink information
US20080165151A1 (en) 2007-01-07 2008-07-10 Lemay Stephen O System and Method for Viewing and Managing Calendar Entries
KR100896711B1 (ko) 2007-02-08 2009-05-11 삼성전자주식회사 터치 스크린을 갖는 휴대 단말기의 탭을 통한 기능 실행방법
US8079039B2 (en) 2007-03-09 2011-12-13 Microsoft Corporation Isolating, managing and communicating with user interface elements
US7895533B2 (en) 2007-03-13 2011-02-22 Apple Inc. Interactive image thumbnails
US20080229248A1 (en) 2007-03-13 2008-09-18 Apple Inc. Associating geographic location information to digital objects for editing
US9083815B2 (en) 2007-05-03 2015-07-14 T-Mobile Usa, Inc. System and method for account setup for mobile devices, such as an e-mail account setup
US8108793B2 (en) 2007-05-21 2012-01-31 Amazon Technologies, Inc, Zone-associated objects
US20090027334A1 (en) 2007-06-01 2009-01-29 Cybernet Systems Corporation Method for controlling a graphical user interface for touchscreen-enabled computer systems
US20090005032A1 (en) 2007-06-28 2009-01-01 Apple Inc. Viewing Digital Content on a Mobile Device
US11126321B2 (en) 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
US9619143B2 (en) 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
JP5203655B2 (ja) * 2007-09-07 2013-06-05 キヤノン株式会社 コンテンツ表示装置及びその表示方法
US20090100383A1 (en) * 2007-10-16 2009-04-16 Microsoft Corporation Predictive gesturing in graphical user interface
US8610671B2 (en) 2007-12-27 2013-12-17 Apple Inc. Insertion marker placement on touch sensitive display
US9483755B2 (en) 2008-03-04 2016-11-01 Apple Inc. Portable multifunction device, method, and graphical user interface for an email client
US8201109B2 (en) 2008-03-04 2012-06-12 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device
US20090225042A1 (en) 2008-03-05 2009-09-10 Wake3, Llc Systems and methods for enhancement of mobile devices
US9274681B2 (en) 2008-03-26 2016-03-01 Lg Electronics Inc. Terminal and method of controlling the same
WO2009126165A1 (en) 2008-04-11 2009-10-15 T-Mobile Usa, Inc. Digital picture frame having communication capabilities
US8159469B2 (en) 2008-05-06 2012-04-17 Hewlett-Packard Development Company, L.P. User interface for initiating activities in an electronic device
KR101019039B1 (ko) 2008-05-22 2011-03-04 삼성전자주식회사 터치 스크린을 구비한 단말기 및 데이터 검색 방법.
US8504001B2 (en) 2008-08-12 2013-08-06 Apple Inc. Unified settings for multiple account types
US8341557B2 (en) 2008-09-05 2012-12-25 Apple Inc. Portable touch screen device, method, and graphical user interface for providing workout support
ATE496381T1 (de) 2008-10-07 2011-02-15 Research In Motion Ltd Abgedichtete kuppelschaltung für eine mobile elektronische vorrichtung
US20100095234A1 (en) 2008-10-07 2010-04-15 Research In Motion Limited Multi-touch motion simulation using a non-touch screen computer input device
KR20100039024A (ko) 2008-10-07 2010-04-15 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
CA2680666A1 (en) 2008-10-08 2010-04-08 Research In Motion Limited An electronic device having a state aware touchscreen
JP2010097353A (ja) 2008-10-15 2010-04-30 Access Co Ltd 情報端末
US20110205178A1 (en) 2008-10-28 2011-08-25 Toshihiko Yoshida Electronic device having two display devices, method of controlling the same, and recording medium
KR20100048090A (ko) * 2008-10-30 2010-05-11 삼성전자주식회사 터치와 모션을 통해 제어 명령을 생성하는 인터페이스 장치, 인터페이스 시스템 및 이를 이용한 인터페이스 방법
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
US9134798B2 (en) * 2008-12-15 2015-09-15 Microsoft Technology Licensing, Llc Gestures, interactions, and common ground in a surface computing environment
US20100149114A1 (en) 2008-12-16 2010-06-17 Motorola, Inc. Simulating a multi-touch screen on a single-touch screen
US8199507B2 (en) 2008-12-19 2012-06-12 Openpeak Inc. Telephony and digital media services device
US20100192102A1 (en) * 2009-01-29 2010-07-29 International Business Machines Corporation Displaying radial menus near edges of a display area
US20100214218A1 (en) 2009-02-20 2010-08-26 Nokia Corporation Virtual mouse
DE102009001074A1 (de) 2009-02-23 2010-08-26 Robert Bosch Gmbh Verfahren zur selbsttätigen Radpositionserkennung in einem Fahrzeug
US20110304584A1 (en) 2009-02-23 2011-12-15 Sung Jae Hwang Touch screen control method and touch screen device using the same
US8589374B2 (en) * 2009-03-16 2013-11-19 Apple Inc. Multifunction device with integrated search and application selection
US8175653B2 (en) * 2009-03-30 2012-05-08 Microsoft Corporation Chromeless user interface
US9258402B2 (en) * 2009-04-14 2016-02-09 Qualcomm Incorporated System and method for controlling mobile devices
KR101576292B1 (ko) 2009-05-21 2015-12-09 엘지전자 주식회사 이동 통신 단말기에서의 메뉴 실행 방법 및 이를 적용한 이동 통신 단말기
US8493344B2 (en) 2009-06-07 2013-07-23 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
TWI442271B (zh) 2009-07-03 2014-06-21 Wistron Corp 多模式觸控之方法、使用多重單點觸控指令之方法及具有觸控裝置之電子裝置
US8638315B2 (en) * 2009-07-13 2014-01-28 Cherif Atia Algreatly Virtual touch screen system
US8171036B2 (en) 2009-07-21 2012-05-01 Research In Motiion Limited Method and apparatus for processing data records in a given order upon receiving input data from a touchscreen
JP2011028524A (ja) 2009-07-24 2011-02-10 Toshiba Corp 情報処理装置、プログラムおよびポインティング方法
JP5280965B2 (ja) 2009-08-04 2013-09-04 富士通コンポーネント株式会社 タッチパネル装置及び方法並びにプログラム及び記録媒体
US9563350B2 (en) * 2009-08-11 2017-02-07 Lg Electronics Inc. Mobile terminal and method for controlling the same
KR101608774B1 (ko) 2009-08-11 2016-04-04 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR101667575B1 (ko) 2009-08-11 2016-10-19 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US8375329B2 (en) 2009-09-01 2013-02-12 Maxon Computer Gmbh Method of providing a graphical user interface using a concentric menu
CN102023795B (zh) * 2009-09-10 2014-03-26 深圳富泰宏精密工业有限公司 电子装置及其功能快捷操作方法
US8799826B2 (en) 2009-09-25 2014-08-05 Apple Inc. Device, method, and graphical user interface for moving a calendar entry in a calendar application
KR101640464B1 (ko) 2009-10-26 2016-07-18 삼성전자 주식회사 터치스크린 기반의 ｕｉ 제공방법 및 이를 이용한 휴대 단말기
KR101427114B1 (ko) * 2009-10-30 2014-08-07 삼성전자 주식회사 화상형성장치 및 화상형성장치의 타겟영역 확대 표시방법
US8843849B2 (en) 2009-11-09 2014-09-23 Blackberry Limited Directional navigation of page content
US20110117526A1 (en) * 2009-11-16 2011-05-19 Microsoft Corporation Teaching gesture initiation with registration posture guides
US9621706B2 (en) * 2009-11-18 2017-04-11 Qualcomm Incorporated System and method of haptic communication at a portable computing device
US8806381B2 (en) 2009-11-18 2014-08-12 International Business Machines Corporation Method and system to improve GUI use efficiency
JP2011111061A (ja) * 2009-11-27 2011-06-09 Fujitsu Ten Ltd 車載表示システム
US8386965B2 (en) 2010-01-15 2013-02-26 Apple Inc. Techniques and systems for enhancing touch screen device accessibility through virtual containers and virtually enlarged boundaries
US8769398B2 (en) * 2010-02-02 2014-07-01 Apple Inc. Animation control methods and systems
US20110248928A1 (en) 2010-04-08 2011-10-13 Motorola, Inc. Device and method for gestural operation of context menus on a touch-sensitive display
AU2011240145B2 (en) * 2010-04-12 2016-03-17 Aktiebolaget Electrolux A control interface for household appliances
US20110273380A1 (en) * 2010-05-07 2011-11-10 Research In Motion Limited Portable electronic device and method of controlling same
KR20110126346A (ko) * 2010-05-17 2011-11-23 엘지전자 주식회사 해상도 선택 메뉴 제공 방법 및 방송 수신 장치
EP2393000B1 (en) 2010-06-04 2019-08-07 Lg Electronics Inc. Mobile terminal capable of providing multiplayer game and method of controlling operation of the mobile terminal
TWI441072B (zh) * 2010-09-21 2014-06-11 Altek Corp 觸控螢幕解鎖方法及其具有攝像功能之電子裝置
US20120173976A1 (en) 2011-01-05 2012-07-05 William Herz Control panel and ring interface with a settings journal for computing systems
US9430128B2 (en) 2011-01-06 2016-08-30 Tivo, Inc. Method and apparatus for controls based on concurrent gestures
US10338672B2 (en) * 2011-02-18 2019-07-02 Business Objects Software Ltd. System and method for manipulating objects in a graphical user interface
US20120262489A1 (en) * 2011-04-12 2012-10-18 Caliendo Jr Neal Robert Relative and Absolute Screen Rotation Draft Agent
KR101788006B1 (ko) * 2011-07-18 2017-10-19 엘지전자 주식회사 원격제어장치 및 원격제어장치로 제어 가능한 영상표시장치
US9513799B2 (en) 2011-06-05 2016-12-06 Apple Inc. Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities
US9582187B2 (en) 2011-07-14 2017-02-28 Microsoft Technology Licensing, Llc Dynamic context based menus
US9746995B2 (en) 2011-07-14 2017-08-29 Microsoft Technology Licensing, Llc Launcher for context based menus
JP5173001B2 (ja) 2011-08-11 2013-03-27 シャープ株式会社 情報処理装置、画面表示方法、制御プログラムおよび記録媒体
JP2013129352A (ja) * 2011-12-22 2013-07-04 Panasonic Corp 車載用表示システム
US9116611B2 (en) 2011-12-29 2015-08-25 Apple Inc. Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input
BR112014029990A2 (pt) 2012-06-03 2017-06-27 Maquet Critical Care Ab sistema com aparelho respiratório e tela sensível ao toque
US20140325407A1 (en) 2013-04-25 2014-10-30 Microsoft Corporation Collection, tracking and presentation of reading content
JP6136627B2 (ja) * 2013-06-24 2017-05-31 マツダ株式会社 車両用情報表示装置
KR102138505B1 (ko) * 2013-07-10 2020-07-28 엘지전자 주식회사 이동단말기 및 그 제어방법
US20150022482A1 (en) 2013-07-19 2015-01-22 International Business Machines Corporation Multi-touch management for touch screen displays
KR20150017098A (ko) 2013-08-06 2015-02-16 삼성전자주식회사 터치스크린을 구비한 전자장치 및 그 운영 방법
EP3036126B1 (de) * 2013-08-20 2020-07-15 Volkswagen Aktiengesellschaft Bedienverfahren für eine bedien- und anzeigevorrichtung in einem fahrzeug und bedien- und anzeigevorrichtung in einem fahrzeug
CN105335116B (zh) 2014-07-30 2018-11-09 联想(北京)有限公司 一种显示控制方法及电子设备
US9961239B2 (en) 2015-06-07 2018-05-01 Apple Inc. Touch accommodation options

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1063427A (ja) * 1996-06-25 1998-03-06 Internatl Business Mach Corp <Ibm> 仮想ポインティング・デバイスを不活発状態にする方法、装置及びコンピュータ・システム
US20080036743A1 (en) * 1998-01-26 2008-02-14 Apple Computer, Inc. Gesturing with a multipoint sensing device
US20050219210A1 (en) * 2004-03-31 2005-10-06 The Neil Squire Society Pointer interface for handheld devices
JP2006155205A (ja) * 2004-11-29 2006-06-15 Fujitsu Ltd 電子装置、入力制御装置、および入力制御プログラム
JP2010517197A (ja) * 2007-01-30 2010-05-20 アップル インコーポレイテッド マルチポイント感知装置でのジェスチャー
US20090178011A1 (en) * 2008-01-04 2009-07-09 Bas Ording Gesture movies
JP2009205685A (ja) * 2008-02-26 2009-09-10 Apple Inc シングルポインティングデバイスによるマルチポイントジェスチャのシミュレーション
US20100281410A1 (en) * 2009-04-30 2010-11-04 Microsoft Corporation Configuring an Adaptive Input Device with Selected Graphical Images
WO2011056387A1 (en) * 2009-11-03 2011-05-12 Qualcomm Incorporated Methods for implementing multi-touch gestures on a single-touch touch surface
JP2013510370A (ja) * 2009-11-03 2013-03-21 クアルコム，インコーポレイテッド シングルタッチタッチ面上でマルチタッチジェスチャを実施する方法
JP2011257992A (ja) * 2010-06-09 2011-12-22 Fujitsu Component Ltd 変換装置及びプログラム

Also Published As

Publication number Publication date
AU2012268384A1 (en) 2013-12-12
US20220276779A1 (en) 2022-09-01
US20120306748A1 (en) 2012-12-06
CN103608754A (zh) 2014-02-26
AU2018217331A1 (en) 2018-09-06
KR20160120351A (ko) 2016-10-17
US20200356256A1 (en) 2020-11-12
JP2018018527A (ja) 2018-02-01
AU2012268384B2 (en) 2016-02-18
US9513799B2 (en) 2016-12-06
WO2012170426A3 (en) 2013-04-25
KR101843903B1 (ko) 2018-04-02
AU2020230308A1 (en) 2020-10-01
JP6190902B2 (ja) 2017-08-30
CN107256128B (zh) 2020-06-09
EP2718794A2 (en) 2014-04-16
US11775169B2 (en) 2023-10-03
AU2020230308B2 (en) 2022-01-13
JP6794323B2 (ja) 2020-12-02
JP2020205058A (ja) 2020-12-24
JP5883128B2 (ja) 2016-03-09
US10732829B2 (en) 2020-08-04
US11354032B2 (en) 2022-06-07
KR20150082645A (ko) 2015-07-15
WO2012170426A2 (en) 2012-12-13
US20190073121A1 (en) 2019-03-07
CN107256128A (zh) 2017-10-17
US20160188202A1 (en) 2016-06-30
KR101600161B1 (ko) 2016-03-04
CN108052276A (zh) 2018-05-18
US20240103714A1 (en) 2024-03-28
AU2016203253A1 (en) 2016-06-09
EP2718794B1 (en) 2020-08-26
JP2016129034A (ja) 2016-07-14
KR101886486B1 (ko) 2018-08-07
CN103608754B (zh) 2018-01-12
JP6857769B2 (ja) 2021-04-14
US10120566B2 (en) 2018-11-06
AU2016203253B2 (en) 2018-05-17
AU2018217331B2 (en) 2020-06-11
KR20140028083A (ko) 2014-03-07

Similar Documents

Publication Publication Date Title
JP6857769B2 (ja) 物理的なタッチ機能のないタッチユーザインタフェースを制御するためのデバイス、方法及びグラフィカルユーザインタフェース
US11947792B2 (en) Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input
KR101624791B1 (ko) 사용자 인터페이스와의 제한된 상호작용을 구성하기 위한 장치, 방법 및 그래픽 사용자 인터페이스
US10394441B2 (en) Device, method, and graphical user interface for controlling display of application windows
US9032338B2 (en) Devices, methods, and graphical user interfaces for navigating and editing text

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150109

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150406

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150511

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160204

R150 Certificate of patent or registration of utility model

Ref document number: 5883128

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250