JP2007505371A - オブジェクトを囲むゾーンを用いるオンスクリーンオブジェクトの操作 - Google Patents

オブジェクトを囲むゾーンを用いるオンスクリーンオブジェクトの操作 Download PDF

Info

Publication number
JP2007505371A
JP2007505371A JP2006521914A JP2006521914A JP2007505371A JP 2007505371 A JP2007505371 A JP 2007505371A JP 2006521914 A JP2006521914 A JP 2006521914A JP 2006521914 A JP2006521914 A JP 2006521914A JP 2007505371 A JP2007505371 A JP 2007505371A
Authority
JP
Japan
Prior art keywords
input
zone
menu
command
zones
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006521914A
Other languages
English (en)
Other versions
JP4370326B2 (ja
Inventor
クプカ,シグ,ジー.
Original Assignee
クプカ,シグ,ジー.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クプカ,シグ,ジー. filed Critical クプカ,シグ,ジー.
Publication of JP2007505371A publication Critical patent/JP2007505371A/ja
Application granted granted Critical
Publication of JP4370326B2 publication Critical patent/JP4370326B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0231Cordless keyboards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0384Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

各種オブジェクトを一貫性のある方法で操作するためのユーザーインターフェース。各オンスクリーンオブジェクトはオブジェクトに各種制御操作を実行するための、幾つかのゾーンを含む制御領域により囲まれる。多数の入力モードはゾーンと相互作用させるために利用でき、ストローク入力、マウスボタン押下、ダブルクリック、メニュー選択、音声入力等を介してのような、オブジェクト操作命令を幾つかの異なる方法で開始できる。ユーザーインターフェースは、幾つかの異なる種類の任意の入力装置を用いて操作できる。

Description

本出願は、本出願と同一日付で出願された米国特許出願第 号の「メニューアクティブ化、およびストローク入力のための共通オンスクリーンゾーン」と関連する。その関連出願の開示を参照して本明細書に組み込む。
本発明は一般に、オンスクリーンオブジェクトを管理するためのユーザーインターフェースに関し、より詳細には、オンスクリーンオブジェクトを囲むオブジェクト管理ゾーンの一貫性のあるセットを提供するユーザーインターフェースに関する。
既存のユーザーインターフェースは、ウィンドウ、イメージ、テキストブロック、ビデオ等のオンスクリーンオブジェクトの移動、変更、制御、さもなければ操作をするための多様な技法を提供する。例えば、ワシントン州レドモンドのマイクロソフト社から入手可能なウインドウズXPオペレーティングシステムは、各種オンスクリーンオブジェクトを操作するためのユーザーインターフェースメカニズムを提供している。このようなユーザーインターフェースメカニズムの例には以下が含まれる。
−アプリケーションメニュー(例えば、オブジェクトをクリックして選択し、アプリケーションメニューから操作を選択する)。
−オンスクリーンボタン(例えば、オブジェクトをクリックして選択し、ボタンをクリックしてオブジェクトの操作を実行する)。
−コンテクスト依存型メニュー(例えば、オブジェクトを右クリックし、ポップアップメニューから操作を選択する)。
−サイズ変更境界またはハンドル(例えば、ウィンドウの縁またはオブジェクトハンドルをクリック、ドラッグしてウィンドウまたはオブジェクトをサイズ変更する)。そして、
−キーボードコマンド(例えば、オブジェクトをクリックして選択し(またはキーボードを用いてオンスクリーンオブジェクトに辿りつき)、キーを打ってオブジェクト操作を実行する)。
ほとんどの既存技法に伴うある問題は、各種オブジェクトを操作するための一貫性のあるユーザーインターフェース規範がない、ということである。例えば、テキストオブジェクトを制御するためのユーザーインターフェースは、グラフィックオブジェクトを制御するためのユーザーインターフェースと著しく異なる。ユーザーがテキストのフォントを大きくすることにより、テキストオブジェクトをサイズ変更しようとする場合、グラフィックオブジェクトをサイズ変更するために実行するのとは全く異なるアクションを実行する。従って、ユーザーは、多様な操作方法を学習し、どの種類のオブジェクトにはどの方法を適用するかを理解しなければならない。ある種のオブジェクトを制御しようとする場合、特に、制御しているオブジェクトのユーザーインターフェース要素が、ユーザーが慣れているものと異なる場合、ユーザーは方向を見失い、混乱することもある。
更に、あるオブジェクト操作の動作をアクティブにするための既存技法が、煩雑で、学習困難か、または直感的でないこともある。例えば、時間期間を表すためのオブジェクト等の特殊なオンスクリーンオブジェクトは、ユーザーに不慣れな異なるユーザーインターフェース規範を利用することがある。
更に、多くのこのような技法は、ある入力メカニズムから、(ペン型、マウス、音声、およびキーボード入力メカニズム等の)別のメカニズムにうまく変換しない。ある入力メカニズムから別のメカニズムに切り換えるユーザーは、効率的にソフトウエアを用いるために、新規のオブジェクト制御規範を学習しなければならないことが多い。
従って、必要とされるのは、従来の仕組みの制約を解決する、オンスクリーンオブジェクトを操作するための制御を提供するための一貫性があり、統一されたユーザーインターフェース規範である。更に必要とされるのは、ユーザーが異なる種類のオブジェクトを操作しようとする場合でも、拡張性があり、使いやすく、学習しやすいユーザーインターフェース規範である。更に必要とされるのは、異なる種類の入力メカニズムにより使用可能で、最小限の中断、混乱、および再学習により、ある入力メカニズムから別のメカニズムへの変換が容易なユーザーインターフェース規範である。
本発明の一態様では、各オブジェクトを、オブジェクトに各種の制御操作を実行するための幾つかのゾーンで囲む。ゾーンの外観は、ある実施から別の実施に変更できるが、一般には、特定ユーザーインターフェース内の様々な種類のオブジェクト間で一貫性が保たれる。オブジェクトを囲むゾーンを、まとめて制御領域と称する。制御領域の各ゾーンは、特定種類の編集、または操作機能と関連する一連のコマンドと関係付けられる。オブジェクト周囲の制御領域の表示により、ユーザーは、オブジェクトに実行できる編集機能に直ちに焦点をあて、識別できる。更に、制御領域がオブジェクトに近いので、ユーザーは、離れたメニュー、ツールパレット、または他のユーザーインターフェース要素にカーソルを移動させる必要がなく、従って、ユーザーは所望のコマンドをより迅速に、かつ効率的に選択し、実行できる。
一実施の形態では、現在アクティブなオブジェクト(すなわち、現在焦点があたっているオブジェクト)と対応する一つの制御領域が一度に見え、別の実施の形態では、幾つか、またはすべてのオンスクリーンオブジェクトに対する制御領域が同時に見える。
一実施の形態では、オブジェクトに対する制御領域には、オブジェクト自体を囲む少なくとも9個のゾーンが含まれる。オブジェクト表現自体に重なる1層を含む9つのゾーンは、3×3の行列を形成する。一実施の形態では、オブジェクト表現は中央ゾーンと同じ領域に配置される。従って、8つのゾーンがオブジェクトを囲んで、4隅および4辺を形成し、1つのゾーンがオブジェクトに重なる。これらのゾーンは、オブジェクトを操作するための追加制御機能を提供する。一実施の形態では、追加ゾーンが提供され、中央ゾーンの外側のエッジに配置される矩形の帯状ゾーン、制御領域の外側のエッジに配置される別の矩形の帯状ゾーン、および制御領域のエッジに沿って配置される矩形のゾーンの内のどれか、またはすべてを含む。当該技術に精通する者には言うまでもないが、本発明の基本的特性から逸脱することなく、任意の編成、つまりレイアウトで、任意の数のゾーンが提供できる。
ユーザーは、オブジェクトの制御領域内のゾーンと相互作用することにより、オンスクリーンオブジェクトを操作するためのコマンドを規定する。相互作用モードには、例えば:ペン(タッチ、押圧、ストローク等);マウス、キーボード;音声;リモートコントローラ等が含まれる。一実施の形態では、本発明のユーザーインターフェースは、少なくとも2つの上記モードでユーザーコマンドを受け取ることができるので、ユーザーは2台以上の入力装置を用いて一貫性のある手法でシステムと相互作用できる。コマンドは、メニュー選択、ストローク、クリック、ボタン押下等を含む様々な方法でアクティブにでき、対応するゾーンが定義するエリアで実行する。一実施の形態では、オブジェクトと相互作用するために利用可能なコマンドには、幾何的編集操作(すなわち、移動、サイズ変更、歪み、および/または回転に関わる操作)、および非幾何的編集操作の両方が含まれる。
このように本発明は、各オブジェクトに対する制御領域が、オブジェクト自体を囲み、オブジェクトに関するすべての関連編集操作へのアクセスを提供し、そして、一貫性をもって操作する多数の入力モードを提供するとともに、ゾーンとの相互作用が、あるオブジェクト形式から別の形式に一貫性のある、使いやすく、理解可能なユーザーインターフェース規範を提供する。
システムコンポーネントおよび操作の以下の説明は、単に本発明の実施の形態の例示にすぎない。当該技術に精通する者には言うまでもないが、本明細書中で説明する種々の設計、実施、および技法は、単独または任意の組合せで用いてもよく、多くの改変、および等価編成を用いることができる。従って、以下の説明は、説明のために提示するものであって、開示した形式そのものに本発明を限定する意図はない。
本発明は、例えば、ワシントン州レドモンドのマイクロソフト社から入手可能なMicrosoft Windows XP (登録商標)等の、周知の任意オペレーティングシステムを実行する従来のパーソナルコンピュータ上に実装できる。以下に説明するように、本発明のシステムへの入力は、例えば、キーボード、マウス、タッチスクリーン、タッチパッド、トラックボール、タブレット、マイクロホン、リモートコントロール装置等を含む幾つかの任意の種類の装置により提供できる。以下の説明から明らかなように、本発明は、各種入力装置からのユーザー入力を受け取るための、一貫性のある、直感的な方法での各種モードによる技法を提供する。
当該技術に精通する者には言うまでもないが、本発明のユーザーインターフェース技法は、ディスプレイをユーザーに提供するパーソナルコンピュータ以外の装置上で実装してもよい。例えば、かかる技法は、携帯電話、家庭電化装置、携帯情報端末、事務用機器、壁掛けコントローラ、自動車制御システム等に実装してもよい。パーソナルコンピュータに実装すると仮定した明細書中での本発明の説明には、本発明の範囲、または操作可能装置の範囲を限定する意図はない。
ユーザーインターフェースレイアウト
図1を参照すると、本発明の実施の形態によるユーザーインターフェース100の例が示されている。ユーザーインターフェース100は、例えば、従来のパーソナルコンピュータのディスプレイスクリーンに表示されてもよい。オブジェクト102は、ユーザーインターフェース100内に表示されるオンスクリーンオブジェクトの実施例である。図1の実施例では、オブジェクト102は、グラフィックオブジェクトである。しかしながら、当該技術に精通する者には言うまでもないが、オブジェクト102は、テキストオブジェクト、ビデオまたはオーディオのオブジェクト表現、またはユーザーインターフェース100の文脈内で表示または表現できる任意の他の種類のオブジェクトであることができる。
図1に示すように、一実施の形態によれば、オブジェクト102は、まとめて制御領域と称する各種のゾーン103(A〜K)を囲む。各ゾーン103は、オブジェクト102の一つ以上の局面を制御するか、またはオブジェクト102を操作するための、指定した種類の機能性を提供する。オブジェクト102は、ゾーン103を含む周囲の制御領域とともに、ユーザーインターフェース100内のウィンドウを形成する。
ウィンドウを囲むユーザーインターフェース100のエリアは、「パネル」104と称する。任意の数のウィンドウが、パネル104内に同時に提示でき、これらのウィンドウは、互いに重ね合わせることができ、または並べて表示し、最小化でき、さもなくば、本発明の改良により改変され、強化されるような既知のユーザーインターフェース技法により操作することができる。一実施の形態では、任意の所与の時間においてアクティブなウィンドウは唯一つであり、このウィンドウが注目されている、つまり現在アクティブなオブジェクトに対するものである。ユーザーは、カーソルをウィンドウに移動するか、ボタンをクリックするか、または一連のキーストローク、もしくは音声コマンドを用いて、特定のウィンドウを選択し、アクティブにする等の、周知の技法により、ウィンドウ(およびそのオブジェクト102)をアクティブにすることができる。一実施の形態では、ゾーン103は、現在アクティブなウィンドウに対してだけ表示され、他のすべてのウィンドウに対しては省略される。一実施の形態では、ゾーン103は、すべてのオンスクリーンウィンドウに対して表示される。更に、一実施の形態では、パネル104自体は、それをアクティブ化し、パネル104の制御および操作に関するゾーン103が表示できるように、他の任意のウィンドウと同様に扱われる。カーソル110も示すが、これはマウス、または他のポインティングデバイスを介してユーザーが制御し、以下に説明するように、これを用いてコマンド、およびメニューを選択し、アクティブにできる。
図1の実施例では、オブジェクト102に重なるゾーン103J、および制御領域101の外側に配置されるゾーン103Kを含む、10個のゾーン103A〜103Kを示す。ゾーン103Kは、領域101の底部に沿って延在するように図面では示すが、一実施の形態では、領域101を除くすべてのエリアを含む。当該技術に精通する者には言うまでもないが、任意の数のゾーンを含むことができ、図1に示すゾーン103の特定の配置は、単なる例示にすぎない。例えば、図1Aに示すように、追加の矩形帯状領域103L、103Mをゾーン103Jの外縁および制御領域101の外縁に配置できる。
入力メカニズム
動作に際しては、ユーザーインターフェース100がその上で動作する装置は、オンスクリーンオブジェクト102の各種ゾーン103に関するユーザーコマンドを検出する。例えば、ユーザーは、マウスまたは他の入力装置を用いてオンスクリーンカーソル110をゾーン103に移動する。次いで、ユーザーは、マウスのボタンをクリックして、ゾーン103と関連するコマンドまたは動作をアクティブにする等のアクションを実行する。以下に更に詳細に説明するように、幾つかのゾーン103は、異なるユーザーアクションと関連する異なるコマンド、または操作を有していていもよく、例えば、ユーザーは、左ボタンをクリックして第1コマンドをアクティブにするか、または右ボタンにより第2コマンドをアクティブにしてもよい。異なる種類のコマンドと関連する他の可能性のあるアクションには:ボタンを押して保持し、カーソル110を特定方向に僅かな距離だけ移動させるゾーン103内での「ストローク」;ゾーン103内でクリックしながらシフトキー(または他の修正キー)を押して保持する、ゾーン103内での「シフト−クリック」;または、ゾーン103内でのダブルまたはトリプルクリック、が含まれる。
上記説明のいずれの入力装置も、ゾーン103と相互作用するために用いることができる。ゾーン103と相互作用するためのユーザーアクションおよび入力メカニズムの例には:
−ペン入力:手書き入力、ストローク、ジェスチャ、シンボル、および略語に適している;
−マウス、または他のポインティング装置:クリック、ドラッグ、ストローク等に適している;
−キーボード:テキスト入力、オンスクリーンエレメント間のナビゲーション、またはコマンドの単一キーアクティブ化に適している;
−音声入力:コマンドのアクティブ化、テキスト入力に適している;ユーザーは、ゾーン名(例えば、「コピー」)を声に出して言い、そのゾーンのメニューを表示し、次いで、表示されたメニューからコマンドを言い、そのコマンドをアクティブにする。
−リモートコントロール(例えば、RFまたはIR送信器)入力:ナビゲーション、データ入力、コマンドアクティブ化、および可能性としては筆記体およびストロークに適している:
−実施の形態では、本発明のユーザーインターフェースは、上記モードの2つ以上に一貫性のある方法でユーザーコマンドを受け取ることができる。
ユーザーアクション
多くの異なるコマンドのセットが可能である。一実施の形態では、ユーザーは、以下のユーザー入力アクションを実行してコマンドをアクティブにできる:
−標準ボタンをクリック(例えば、左クリック)する一方で、カーソル110をゾーン103におく(または、ペン入力では、ペンボタンを押さないでゾーン103にタッチする):これは、ゾーン103に対するコマンドを含む一次メニューとも呼ばれるポップアップメニューをアクティブにする。表示されるポップアップメニューは、ゾーン103に対する関連コマンドを示し、ユーザーは周知のメニューナビゲーション技法を用いて、表示コマンドの一つに移動し、選択できる。一実施の形態では、各ゾーン103に対する各ポップアップメニューは、特定テーマまたは汎用アクション、または関連アクショングループと関連する。例えば、あるゾーン103は、フォント特性に関する多様なコマンドまたはアクションを有することができ、別のゾーン103は、パラグラフ特性に関する多様なコマンドを有することができる等である。一実施の形態では、ポップアップメニューに含まれるのは、所定の方向(例えば、上、下、左、または右)におけるストロークによる入力装置の移動で呼び出すことのできるコマンドである。図2は、4個のストロークアイコン802を示すポップアップメニューを示し、各ストローク方向は特定コマンドに対応している。同様に含まれるのは、ゾーン103に対するダブルクリックに対応しているコマンドである。当該技術に精通する者には言うまでもないが、メニューには、ゾーン103内で実行できる他の種類の任意のアクションまたはジェスチャに対するコマンドを含むことができ、アクションまたはジェスチャを用いて直接アクティブ化できないコマンドを含めてもよい。図2を参照すると、かかるメニュー801の実施例を示し、コマンド803、および対応するストローク方向を指示するアイコン802が含まれ、アイコン802を有するコマンド803は、ダブルクリックおよびEnterキー等の、他のアクションを指示している。
−代替のボタン(例えば、右ボタン)、または修正ボタン(例えば、シフトクリック)をクリックするか、またはカーソル110がゾーン103にある間にボタンをクリックして保持する(または、ペン入力では、ペンボタンを押したままゾーン103をタッチするか、またはペンをゾーン103にタッチして保持する):これは、二次メニューと呼ばれることもある代替のポップアップメニューをアクティブにする。代替のポップアップメニューは、最初のポップアップメニュー801と同様の方法で操作し、また、適用可能なストローク方向、ダブルクリック等に対応する直接アクションを示すアイコンまたはインジケータも含んでいる。一実施の形態では、オンスクリーンカーソル110が変化して、代替メニューをアクティブになるのに十分ボタンが保持されたことを示す。
−ゾーン103でストローク(すなわち、ボタンを押して保持し、カーソル110を特定方向に短い距離移動させる)を開始する(または、ペン入力では、ペンボタンを押さずにストロークする):これは、特定ストローク方向と関係付けられているアクションを実行する。ストロークは、直線、曲線、またはもっと複雑な形状またはジェスチャを含む任意の種類でよい。一実施の形態では、本明細書で説明するように、ストロークは、特定方向(上、下、左、または右)と関係付けられるが、当該技術に精通する者には言うまでもなく、他の種類のストロークを用いてもよい。上記の説明のように、一実施の形態では、ゾーン103に対するポップアップメニュー801には、各ストローク方向が含まれ、どのコマンドが各ストローク方向と関係付けられるかを指示している。従って、ユーザーは、ストローク入力を実行することにより、または、クリックした後ポップアップメニュー801から所望の項目を選択することにより、任意のこれらアクションをアクティブにできる。より長いストロークは、クリックアンドドラッグのアクションと関係付けることができる。
−ゾーン103でダブルクリック(または他のアクション)する:これは関係コマンドを実行する。上記説明のように、一実施の形態では、ゾーン103に対するポップアップメニュー801は、どのコマンドがダブルクリック(または他のアクション)と関係付けられているかを指示している。従って、ユーザーは、ダブルクリックにより、または、クリックした後ポップアップメニュー801から所望の項目を選択することにより、コマンドをアクティブにできる。
−ゾーン103で代替ストローク(すなわち、代替ボタン(右ボタン)、または修正ボタン(シフトストローク)を押して保持し、カーソル110を特定方向に短い距離移動させる)を開始する:これは、特定のストローク方向(上、下、左、または右)と関係付けられる代替コマンドを実行する。上記の説明のように、一実施の形態では、ゾーン103に対する代替ポップアップメニューには、各ストローク方向が含まれ、どの代替アクションが各ストローク方向と関係付けられているかを指示している。一実施の形態では、修正キーが押された場合、オンスクリーンカーソル110が変化して、代替コマンドが実行されることをユーザーに気付かせる。
−ゾーン103で代替ダブルクリック(すなわち、代替ボタン(右ボタン)、または修正ボタン(シフトストローク)を押して保持し、ダブルクリック)する:これは関係するコマンドを実行する。上記の説明のように、一実施の形態では、ゾーン103に対するポップアップメニュー801は、どのコマンドが代替ダブルクリック(または他のアクション)と関係付けられているかを指示している。従って、ユーザーは、代替ダブルクリックにより、またはポップアップメニュー801から所望の項目をクリックし、次いで、選択することにより、コマンドをアクティブにできる。
代替メニュー、ストロークコマンド、ダブルクリック等は、入力装置に依存する幾つかの異なる方法でアクティブにできる。2ボタン装置では、代替ボタンを用いて、代替コマンドをアクティブにできる。1ボタン装置では、代替のメニューおよびストロークは、ボタンを押し、移動せずにある瞬間保持することにより、アクティブにできる。一実施の形態では、オンスクリーンカーソル110が変化して、代替アクションが実行される時を示す。コマンドのキーボードアクティブ化に対するメカニズムを、以下に詳細に説明する。
コマンド構成の実施例
図3A、および3Bを参照すると、図1に示すゾーンレイアウトに基づく、一実施の形態によるコマンド構成の実施例が示されている。図3Aは、一次メニューと対応する種類のコマンドを示し、図3Bは、二次または代替メニューと対応する種類のコマンドを示す。
各ゾーン103は概して、以下に説明するように、特定の機能、または種類と関連する幾つかのアクションと関係付けられる。これらのアクションは、オブジェクトの種類間で一貫性があるのが一般的であるが、アクションによっては、オブジェクト特定であってもよく、および/または特定種類のオブジェクトに適用不可であってもよい。
一次メニュー801を介して一般にアクセス可能な、最も普通に用いられるアクションに加えて、各ゾーン103は、代替アクション、またはアクションのセットとも関係付けられる。例えば、代替メニューは、マウスを右クリックまたはオプションクリックすることにより、またはシフトキーを押してからゾーン103のアクティブ化キーを押すことにより、アクセスされてもよい。代替キーストロークは、右マウスボタン、またはシフトかオプション等の修正キーを押して保持しながらストロークすることにより、アクセスできる。代替アクションにアクセスするために、他の技法を用いてもよい。
以下の表は、一実施の形態による各種のゾーン103に対する一次コマンドメニューを要約する。リストに挙げた各種オブジェクトに対して、利用可能なコマンドを幾つか示す。これらのコマンドは、一次メニュー801を介して、および/または、<<(左ストローク)、>>(右ストローク)、^(上ストローク)、v(下ストローク)、および:(ダブルクリック)等のシンボルで表に示すような、ストロークコマンド、ダブルクリック、または他のアクションを介して、利用可能である。
Figure 2007505371
Figure 2007505371
Figure 2007505371
Figure 2007505371
Figure 2007505371
Figure 2007505371
Figure 2007505371
Figure 2007505371
Figure 2007505371
Figure 2007505371
Figure 2007505371
Figure 2007505371
Figure 2007505371
Figure 2007505371
Figure 2007505371
外側ゾーン103K:Go To
ユーザーが現在アクティブな制御領域101の外側の制御領域101をクリックした場合に、選択した制御領域101と対応するオブジェクトが、アクティブになる。
一実施の形態では、既存オブジェクトの制御領域101以外の場所でユーザーがクリックすると常に、「リソース」文書の新規コピーが空のスペースにロードされる。リソース文書は、オブジェクト階層の最高レベルオブジェクトである。
ユーザーが一連のオブジェクトを横切って、カーソル110をドラッグした場合、これらのオブジェクトは、ハイライトされる。ボタンを放すか、ペンを持ち上げると、最新のハイライトオブジェクトがアクティブとなり、新規制御領域101が、このオブジェクトを囲むように現れる。ユーザーがアクティブオブジェクトの境界を越えて、カーソル110を移動させた場合、オブジェクト内容が自動的にスクロールして、追加オブジェクトがアクティブ化のためにアクセス可能となる。
オブジェクト間の追加ナビゲーションは、外側ゾーン103Kと対応するメニューをアクティブにすることにより、またはカーソル110が外側ゾーン103Kに配置されている間に、ストロークまたは以下に挙げたような他のアクションを実行することにより利用可能となる。
Go to:
最初(シブリング)
最後(シブリング)
<<前
>>次
/\親
\/子
:これ(文書)
リソース1
リソース2
....
リソースn
更に詳細に以下に説明するように、リソース1からnは、「リソース」文書で定義され、ユーザー情報、ハードウエア装置、およびネットワークリソースの全ての主なグループ化を規定する。典型的なリソース定義には以下が含まれる:
お気に入り
ハウス
媒体
アドレス
名称
電子メール
日付
件名
電話
ウェブ
オフライン格納
プリンタ
以下の表で、一実施の形態による各種ゾーン103に対する代替コマンドメニューを要約する。リストに挙げた各種オブジェクトに対する幾つかの利用可能なコマンドを示す。これらのコマンドは、(例えば、右クリックによりアクティブにされた)代替メニューを介して、および/または代替ストロークコマンド、代替ダブルクリック、または<<(左ストローク)、>>(右ストローク)、^(上ストローク)、v(下ストローク)、および:(ダブルクリック)等のシンボルで表に示されているような他のアクションを介して、利用可能となる。
左上ゾーン103A(代替):塗りつぶし
塗りつぶしは、内部空間をもたないオブジェクト(線、円弧、および点等)を除く任意のオブジェクトに適用できる。塗りつぶしメニューのアクティブ化は、パレットを出現させ、それによりユーザーは所望の色を選択できる。
Figure 2007505371
右上ゾーン103C(代替):アンドゥ
ゾーン103C内の代替クリックは、アンドゥコマンドをアクティブにする。ユーザーは代替メニューをアクティブにして以下のようなコマンド履歴内を巡回することもできる。
アンドゥ(2履歴オブジェクト):
<<古く(履歴を示す)
>>新しく(履歴を示す)
\/全てを示す
/\全て
:これ(最新履歴)
中央左ゾーン103D(代替):テキスト色
テキスト色は、テキストを含む任意のオブジェクトに適用できる。テキスト色メニューのアクティブ化は、パレットを出現させ、それによりユーザーは所望の色を選択できる。
Figure 2007505371
Figure 2007505371
左下ゾーン103F(代替):境界色
境界色は、境界を有する可能性がある任意のオブジェクトに適用できる。例えば、これには、イメージ、数、時間、パラグラフ、リスト、リスト内項目、表、およびセルが含まれる。境界色メニューのアクティブ化は、パレットを出現させ、それによりユーザーは所望の色を選択できる。
Figure 2007505371
Figure 2007505371
Figure 2007505371
Figure 2007505371
中央ゾーン103J(代替):コピー
ユーザーがゾーン103J内で代替クリックした場合、アクティブオブジェクトの輪郭を別の目標地に移動することにより、アクティブオブジェクトのコピーが複製される。目標オブジェクトは別の文書内のこともある。
ユーザーは、現在アクティブなオブジェクトのコピーを配置し、操作するためにメニューをアクティブにできる。メニューには、以下のコマンドが含まれる(これらの内の幾つか、または全ては、ストロークを介しても利用可能である):
コピー(輪郭を目標に移動)
/\上(ピクセル)
\/下(ピクセル)
<<左(ピクセル)
>>右(ピクセル)
:出る(この文書をアクティブにする)
外側ゾーン103K(代替):スクロール
スクロールコマンドには、外側制御領域101を代替クリックすることによりアクセスする。ボタンが保持されているか、またはペンがディスプレイと接触している限り、現在アクティブなオブジェクトは、ペンまたはマウスの移動を用いて直接スクロールされる。一実施の形態では、オブジェクトのスクロール限界に達すると、オブジェクトの外縁の色が(スクロールの方向に対応して)変わる。
別の実施の形態では、代替クリックは以下のコマンドを含むスクロールメニューをアクティブにする:
スクロール(文書):
<<左(半ページ)
>>右(半ページ)
/\上(半ページ)
\/下(半ページ)
:リセット(上部または底部)
上記説明の他のメニューと同様に、コマンドは、ストローク、ダブルクリック、または指示される他のアクションを実行することにより、直接アクティブ化することもできる。
可能であれば常に、各ゾーンは、統一された一貫性のあるアクセスを特定テーマと関連するコマンドグループに提供する。クリック、クリックして保持、またはストロークの入力アクションは、グループ内のコマンドにアクセスする様々な方法を提供する。
例えば、ゾーン103Aは、時間で変化する性質のオブジェクト(オーディオ、ビデオ、アニメーション等)と関連して追従するように動作する。ゾーン103Aは、データオブジェクトの開始を変更するためのコマンドを提供する(例えば、データオブジェクトがビデオストリームの場合、ゾーン103Aにより、ビデオストリームが開始される時間コードの操作が可能となる)。上記の表で説明したように、ゾーン103Aのストロークは、ストロークの方向に依存する量、および方向だけ、開始点を変更する。例えば、縦ストロークにより、開始点の粗調整(分を変更する)がなされ、一方、水平ストロークにより微調整(秒で変更する)がなされよう。代替として、縦ストロークは、1時間の増分(または、何か他の比較的粗い増分)だけ値を変更してもよく、一方、水平ストロークは、1分間の増分(または、何か他の比較的細かい増分)だけ値を変更してもよい。一般に、上および左の方向のストロークは、より早い開始点に移動させ、下および右方向のストロークは、より遅い開始点に移動させる。移動の特定の増分、および方向は予め設定でき、または、基本設定もしくはオプションスクリーンを介してユーザー構成可能である。
実施例:入力フィールド
ここで図7A、および図7Bを参照すると、特定種類のオブジェクト、すなわち、入力フィールド700と関連する本発明の動作の実施例が示されている。図7Aは、制御領域101がアクティブになる前(例えば、入力フィールド700に焦点が当てられるか、または選択される前)の入力フィールド700を示す。図7Aの入力フィールド700の例は、例えば、アポイントおよび時間の合図についての情報を管理するためのカレンダープログラムに含まれているような、時間枠(9:00〜9:45)を示す。入力フィールド700は、2つの主な目的を有するオブジェクトであり、すなわち、1)時間枠表現を表示すること、および、2)時間枠および/または表示の方法を変更するためのユーザー入力を受け付けること、である。
一実施の形態では、入力フィールド700は、ユーザーがその境界内をクリックするか、タップするか、またはフィールドを選択した場合、アクティブになる(つまり、「焦点」が当てられる)。次いで、図7Bに示すように、ゾーン103を含む制御領域101が可視化される。上記の概略用語で説明する図7Bの実施例は、入力フィールド700が表す時間の値および書式を変更するユーザー入力を容易にするための特定機能を、ゾーン103がどのように提供するかを示す。特に:
−ゾーン103Aにより、ユーザーは時間の開始点を変更できる。上記説明のように、縦のストロークは粗い変更を指示し、一方、水平のストロークは細かい変更を指示する。一実施の形態では、ユーザーがスタイラスまたは他のポインティング装置をストローク端の位置で保持している場合、時間調整が繰り返される。別の実施の形態では、ユーザーが同一方向にストロークを継続している場合、時間調整が繰り返される(要望があれば、繰り返しが開始される前に、キーボードに対する自動繰り返しモードで従来行われているように、待機時間を実装できる)。時間調整の繰り返しは、ユーザーが所定の時間のあいだ保持し続ける場合に加速するよう設定できる。一実施の形態では、ユーザーは、時間調整が離れていく場合、「バックアップ」できる。ユーザーがリアルタイムで時間調整を見て、正確に正しい時刻で手を離し、または逆回しできるように、入力フィールド700の表示は絶えず調整される。
−ゾーン103Hにより、ユーザーは、時間枠の終了点を変更できる。終了点調整は、ゾーン103Aと関連する上記説明と同一の粗調整/微調整規範を用いて実行する。
−ゾーン103B、103C、103D、103E、103F、103G、103Jは、上記の説明のようなコマンドを提供する。
一実施の形態では、イベントの持続時間は、開始点が変更されても一定のままである(それにより、終了点は、開始点と同じ量だけ変わる)。別の実施の形態では、開始点が変更されても、終了点は一定値を保つ(それにより、持続時間は変わる)。更に別の実施の形態では、これら2つの操作モードのどちらかを所望する場合、ユーザーは、シフト−クリックするか、または修正キーにより指示でき、代替として、基本設定、またはオプションスクリーンを介して、そのモードを設定できる。
実施例:表およびセル
本発明は、表オブジェクトおよびセルオブジェクトの特性を操作するための一貫性のあるインターフェースを提供する。行高さ、列幅、および表全体サイズ等のサイズは、絶対表現または収容オブジェクトの百分率で規定できる。例えば、セル幅は、収容する表の幅の25%となるように構成でき、表の幅が増大すると、セル幅も比例して増大する。ユーザーインターフェースは、個々のセル、行、列、または表全体の選択、および操作を可能にする。一実施の形態では、例えば、表の隅をクリックすると、表全体が選択され;左または右の縁をクリックすると、クリックした位置の表の行が選択され;上部または底部の縁をクリックすると、クリックした位置の表の列が選択され;そして、セル上をクリックすると、個々のセルを選択する。一実施の形態では、制御領域は、選択したセル、列、行、または表に対して提示されるので、アクティブ制御領域の様々なゾーン内でユーザーはコマンドをアクティブにできる。
キーボード入力
上記説明の入力モードに加えて、QWERTYキーボード等の標準キーボードを介して、ユーザーはコマンドをアクティブにすることもできる。一実施の形態では、各ゾーン103は、キーストロークと関係付けられ、対応するキーを押すと、ゾーン103に対するメニュー801が表示される。ストロークコマンド、ダブルクリックコマンド等はキーストロークと関係付けることができるので、ユーザーは、対応するキーを(おそらく、コントロールキー、Altキー、または他の幾つかの修正キーと併せて)押すことによりコマンドをアクティブにできる。文字または他のインジケータをゾーン103内に表示して、どのキーストロークが各ゾーン103と対応するかを示すことができる。ゾーン103に対するキーストロークは、記憶しやすいように適切な方法で構成できる(例えば、Ctrl−GはGo Toと対応し、一方、Ctrl−Cはコピーと対応する)。
ここで図4A、および4Bを参照すると、様々なゾーン103と対応する追加キー401を含むキーボード400の実施例が示されている。キー401は、対応するゾーン103にマッピングされる位置の各キー401により、標準QWERTYキーボード403の周囲に配置されている。例えば、開始メニュー801をアクティブにするキー401Aは、やはり開始メニュー801をアクティブにするゾーン103Aの位置と対応する位置の、キーボード400の左上隅に配置される。同様な対応が、キー401B〜401Hに適用される。代替のメニューは、例えば、所望のゾーンキー401を押しながら、シフトキー404を押して保持することによりアクティブにできる。
図4Aの実施例では、キーボード400には、押した時に、上、下、左、および右ストロークと対応するストロークアクションを実行するキー402U、402D、402L、402Rも含まれる。ユーザーは、キー401を押し、続けてストロークキー402を押して、押下したキー401と対応するゾーン103のアクションを実行することができる。一実施の形態では、ユーザーがキー401を押した場合、システムは、(1/4秒等の)所定の短時間待機してから、キー401と関係付けられるメニューを提示する。待機時間中に、ユーザーがキー402U、402D、402L、402Rの内の一つを押した場合、またはキー401を再度押した場合、規定のストロークまたはダブルクリックと関係付けられるコマンドが直ちに実行され、メニューは表示されない。待機時間中に、メニューから所望のコマンドを指示するアルファベットキーをユーザーが押した場合、メニュー自体は再表示されずに、そのコマンドが直ちに実行される。待機時間中に、ユーザーがこれらのアクションをどれも実行しない場合、システムはメニューの表示に進む。この方法で、システムは、(コマンド構造に慣れていて、メニュー中のコマンドをアクティブにする前にメニューを見る必要がない)熟練ユーザー、および(アクティブにする前に利用可能コマンドを見ることを望む)入門者に適合する。
代替として、代替ストロークアクションは、シフト+キー401を押し、続いてストロークキー402を押すことによりアクティブにできる。ストロークキー402は、所定時間の間押して保持した場合、自動的に繰り返されるように構成できる。一実施の形態では、Enterキーの押下は、最新の押下キー401と対応するゾーン103上をダブルクリックすることと等価である。
図4Bの実施例では、キーボード400には、ストロークアクションを実行するためのタッチパッド405が含まれ、これらは、図4Aのストロークキー402を置き換える。タッチパッド405を横切る指の移動は、ペンストロークまたはマウス移動と等価であり、タップはクリックと等価、そしてダブルタップはダブルクリックと等価である。ユーザーは、キー401を押し、タッチパッド405をストロークするか、またはタップして、押下したキー401と対応するゾーン103内のストロークアクションを実行することができる。代替として、ストロークアクションは、シフト+キー401を押し、次いで、タッチパッド405をストローク、またはタップすることにより、アクティブにできる。例えば、アクティブオブジェクト内の各ワードの最初を大文字にするには、ユーザーは「変更」ボタン401Fを押し、次いで、タッチパッド405上で右ストロークを実行する。
当該技術に精通する者には言うまでもないが、キー401および402は、標準キーもしくはボタン、またはQWERTYキーボード403を囲むタッチ感応領域として、または幾つかの他の技法により実装できる。代替として、標準キーボードを用いて、ゾーン103と類似のコマンドを実行でき、キーによっては、一時的または恒久的に再割当てされる。一実施の形態では、キーは、キーボード上の物理的配置に基づいて再割当てされる。例えば、標準の「Esc」キーは、ゾーン401Aと対応する開始コマンドにアクセスし;Tabキーはゾーン401Dと対応する書式コマンドにアクセスし;標準の矢印キーはストロークをアクティブにできる等である。代替メニューは、例えば、所望のゾーンキー401を押しながら、シフトキー404を押して保持することにより、アクティブにできる。
別の実施の形態では、標準キーボードを用いることができ、メニュー801およびコマンドを、メニュー801またはコマンドの最初の文字(または、他の幾つかの文字)と対応するキーストロークを介して選択できる。それが表示されたら、矢印キーを用いてメニュー801内をナビゲーションできる。enterキーを用いて現在ハイライトされているメニュー項目をアクティブにできる。
上記技法を用いて、ペン、マウス、または他のポインティング装置を必要とせずに、キーボード上で全て入力する方法で本発明を実装できる。
音声入力
一実施の形態では、本発明のユーザーインターフェースは、既存の音声アクティブ化ユーザーインターフェースシステムと組み合わせることができる。ユーザーは所望のコマンドと対応するワードを話すことによりコマンドをアクティブにできる。当該技術で周知のように、音声認識ソフトウエアは、マイクロホンからの信号を翻訳してユーザーが話したワードを決定する。次いで、話したワードと対応するコマンドを実行する。
一実施の形態では、ユーザーは、制御領域のゾーン103と対応するワードの内の最初に話した一語により音声コマンドをアクティブにする。そのゾーン103に対するコマンドメニュー801が表示され、ユーザーは、所望のコマンドに対応するワードを話すことにより、メニュー801内のコマンドをアクティブにできる。代替として、ユーザーがメニュー表示のバイパスを希望する場合は、ゾーン103に対するワードを話し、続けて直ぐにそのゾーン103に対するメニュー801内のコマンド名を話すだけでよい。例えば、ユーザーが「書式」と言うと、書式メニュー801が次いで表示され、ユーザーが「太字」と言えば、書式メニュー801から太字のコマンドを選択できる代替として、ユーザーは、「書式、太字」と言うだけで太字コマンドをアクティブにできる。
一実施の形態では、本発明のシステムは、口述筆記、および清書に対する音声入力を受けることもできる。従って、ユーザーはマイクロホンに向かって話すことにより、テキストを入力でき、システムは、話し言葉をテキスト入力として解釈する。このような機能は周知の音声入力技法により実装される。
リモートコントロール入力
一実施の形態では、本発明のシステムは、リモートコントローラを介して提供される入力を受けることができる。ここで図5を参照すると、本発明の一実施の形態によるリモートコントローラ500の実施例が示されている。リモートコントローラ500は、赤外線、またはRF信号等の信号を、周知の技法による送信機501を介して、本発明をサポートする装置(不図示)に送信する。
一実施の形態では、リモートコントローラ500には、幾つかのゾーン503A〜503Kにサブ分割された、タッチパッド502が含まれる。ゾーン503A〜503Hは、図3A、および図3Bに示すオンスクリーンインターフェースのゾーン103A〜103Kと類似の方法で編成される。ゾーン503A〜503Kのどれかにタッチするか、またはストロークすると、上記に説明したような、対応するゾーン103A〜103Kにタッチするか、またはストロークしたのと同じ結果が得られる。ゾーン503A〜503Kにタッチし、移動する前に一瞬指を保持すると、ゾーンの代替の(つまり、補助の)コマンドが、上記に説明したように、アクティブになる。更に、タッチパッド502には、音量を操作するゾーン503Lが含まれる(例えば、上下にストロークして音量を増減するか、またはタップしてミュート、非ミュートする)。リモートコントローラ500は、ゾーン503へのタッチ/ストロークに基づいて適切な信号を生成し、その信号を装置に送信する。装置は、信号を受信するとともに、装置のオペレーティングシステムが必要とする場合は、それを適切な書式、およびセマンティックに変換する信号受信機(例えば、IR受信機、またはRF受信機)を有し、オペレーティングシステムは、ユーザーインターフェース100を有するアプリケーションに信号を提供する。
別の実施の形態ではリモートコントローラ500には、タッチパッド502を置き換え、上記で説明したゾーン503と類似の機能を実行する幾つかのボタン(不図示)が含まれる。代替として、当該技術に精通する者には言うまでもないが、他の入力ノブ、ボタン、ホイール等を本明細書で説明したものの代わりに、または追加して、提供してもよい。更に、当該技術に精通する者には言うまでもないが、図5の特定編成のゾーン503は単なる例示にすぎない。
スクリーンショット実施例
ここで図6を参照すると、入力フィールド700に対するメニュー801の実施例を示すスクリーンショットが示されている。メニュー801は、制御領域101の右下のゾーンをクリックするとアクティブになる。入力フィールド700には、値「05:30p−05:45p」が含まれる。メニュー801には、様々な増分により終了時間を変更するためのコマンド803が含まれる。アイコン802は、コマンド803と対応するストローク方向を指示する。本実施例では、水平ストロークは、粗調整(増分15分)用に用いられ、縦ストロークは微調整(増分1分)用に用いられる。
ここで図8を参照すると、入力フィールド700、700Aの実施例を含むウィンドウ800を示すスクリーンショットが示されている。各種の数値データを、入力フィールド700、700Aに示す。本発明の技法を用いて、とりわけ示される実施例全てに対する値および書式を調整または操作できる。一つの入力フィールド700Aには、現在焦点が当てられていて、ユーザーが制御領域101の右下ゾーン103Hをクリックすることにより、入力フィールド700Aに対するメニュー801をアクティブにしたところである。図6の実施例として、入力フィールド700Aには、値「05:30p−05:45p」が入っている。メニュー801には、様々な増分により終了時間を変更するためのコマンド803が含まれる。アイコン802は、コマンド803と対応するストローク方向を指示する。繰り返しになるが、水平ストロークは、粗調整(増分15分)用に用いられ、縦ストロークは微調整(増分1分)用に用いられる。
ここで図9を参照すると、表のセル902Aに対するメニュー801の実施例を示すスクリーンショットが示されている。表901には、幾つかのセル902、902Aが含まれる。セル902A(表901の2列にまたがる)には現在焦点が当てられていて、ユーザーが制御領域101の右下ゾーン103Hをクリックすることにより、メニュー801をアクティブにしたところである。メニュー801には、セル902Aのスパンを一列一行にリセットするためのコマンド803はもとより、セル902Aを縮小するか、または拡大するためのコマンド803が含まれる。アイコン802は、コマンド803と対応するストローク方向を指示する。一つのアイコン802はシンボル「:」であり、コマンドを直接アクティブ化するための対応アクションがダブルクリックであることを指示する。
ここで図10を参照すると、表の列に対するメニュー801の実施例を示すスクリーンショットが示されている。表901には、幾つかのセル902、902Bが含まれる。セル902Bは、現在焦点が当てられている列をまとめて形成する。ユーザーが制御領域101の右下ゾーン103Hをクリックすることによりメニュー801をアクティブにしたところである。メニュー801には、列幅を変更するための、かつ自動幅に幅をリセットするためのコマンド803が含まれる。アイコン802は、コマンド803と対応するストローク方向を指示する。一つのアイコン802はシンボル「:」であり、コマンドを直接アクティブ化するための対応アクションがダブルクリックであることを指示する。メニュー801には、ストロークまたはアクションを介して、直接アクティブ化できない追加コマンド803Aも含まれる。
ここで図11を参照すると、表の行に対するメニュー801の実施例を示すスクリーンショットが示されている。表901には、幾つかのセル902、902Cが含まれる。セル902Cは、現在焦点が当てられている行をまとめて形成する。ユーザーが制御領域101の右下ゾーン103Hをクリックすることによりメニュー801をアクティブにしたところである。メニュー801には、行高さを変更するための、かつ自動高さに高さをリセットするためのコマンド803が含まれる。アイコン802は、コマンド803と対応するストローク方向を指示する。一つのアイコン802はシンボル「:」であり、コマンドを直接アクティブ化するための対応アクションがダブルクリックであることを指示する。メニュー801には、ストロークまたはアクションを介して、直接アクティブ化できない追加コマンド803Aも含まれる。
ここで図12Aを参照すると、テキストオブジェクト102に対する制御領域101の実施例が示されている。テキストオブジェクト102は、文の中の1ワードである。制御領域101には、上記で説明したように、ゾーン103A〜103Jが含まれる。
ここで図12Bを参照すると、テキストオブジェクト102に対する制御領域101の別の実施例が示されている。繰り返しになるが、テキストオブジェクト102は、文の中の1ワードであり、制御領域101には、上記で説明したように、ゾーン103A〜103Jが含まれる。図12Bの実施例では、各ゾーン103には、そのゾーン103から利用可能なコマンドの種類を指示するテキストラベルが含まれる。
ここで図12Cを参照すると、テキストオブジェクト102に対する制御領域101の別の実施例が示されている。繰り返しになるが、テキストオブジェクト102は、文の中の1ワードであり、制御領域101には、上記で説明したように、ゾーン103A〜103Jが含まれる。図12Cの実施例では、各ゾーン103には、そのゾーン103から利用可能なコマンドの種類を指示するアイコンラベルが含まれる。
ここで図12Dを参照すると、テキストオブジェクト102に対する制御領域101の別の実施例が示されている。繰り返しになるが、テキストオブジェクト102は、文の中の1ワードであり、制御領域101には、上記で説明したように、ゾーン103A〜103Jが含まれる。図12Dの実施例では、カーソル110が特定ゾーン103の上で停止した場合、ポップアップラベル1201(ツールヒントとしても知られる)が現れる。ポップアップラベル1201には、対応するゾーン103から利用可能なコマンドの種類を指示するテキストまたはアイコンを含めることができる。ポップアップラベル1201は、カーソル110がゾーン103の上で所定の時間停止した後にだけ現れるように構成でき、更に、カーソル110がゾーン103を去った場合、または所定の時間が経過した後、消滅するよう構成できる。図12Dにより例示した技法は、ディスプレイを過度に散乱させずに、また価値のあるスクリーン資産を消費せずに、各ゾーン103に対する機能を思い出させるのに便利である。ゾーン103、および制御領域101は、各ゾーン103内にテキストまたはアイコンラベル用の十分な空間を提供する必要がない時は、小さくできる。
上記説明では、説明する目的で、本発明の完全な理解を提供するために、多くの特定の詳細を述べた。しかしながら、当該技術に精通する者には言うまでもないが、本発明は、これらの特定の詳細なしに実践できる。他の例では、本発明が判りにくくなるのを避けるために、構成および装置をブロック図形式で示す。
明細書内における「一実施の形態」、または「実施の形態」への言及の意味は、実施の形態と関連して説明した特定の特徴、構成、または特性が、本発明の少なくとも一つの実施の形態に含まれるということである。本明細書における様々な場所で、語句「一つの実施の形態に」の出現は、全てが同一の実施の形態への言及であるとは限らない。
詳細な説明の幾つかの部分は、コンピューターメモリ内のデータビットに対する操作のアルゴリズム的、およびシンボル的な表現として表されている。これらのアルゴリズム的説明および表現は、データ処理技術に精通する者が用いて、当該技術に精通する者に彼らの業務の内容を最も効率的に伝える手段である。アルゴリズムとは、本明細書では概して、所望の結果を導きだすステップの自己一貫性のあるシーケンスであると考えられる。ステップとは、物理量の物理的操作を必要とするものである。必ずとは言えないが通常、これらの量は、格納、転送、組合せ、比較、および他の操作ができる電気または磁気的な信号の形をとる。これらの信号を、ビット、値、要素、シンボル、文字、項目、数等と呼ぶのは、普遍的な使用を主として考えると便利なこともある、と証明されている。
しかしながら、留意すべきは、これらの、および類似の用語全ては、適切な物理量と関係付けられるべきであり、これらの量に適用する便利な文言に過ぎない、ということである。説明から明らかな他の特別な表現がない限り、言うまでもないのは、説明全体を通じて、「処理する」または「演算する」または「計算する」または「決定する」または「表示する」等の用語を用いる説明は、コンピューターシステム、または類似の電子計算装置のアクションおよび処理に言及している。これらのシステムまたは装置は、コンピューターシステムのレジスタおよびメモリ内の物理(電子)量として表されるデータを、コンピューターシステムのメモリまたはレジスタ、またはそのような他の情報格納、伝送、またはディスプレイ装置内の物理量として、同様に表される他のデータに、操作し、変換する。
本発明は、本明細書の操作を実行するための機材にも関連している。これらの機材は、要求される目的のために特別に構築されてもよく、またはコンピュータに格納されるコンピュータープログラムにより選択的にアクティブ化され、または再構成された汎用コンピュータを備えてもよい。かかるコンピュータープログラムは、限定はしないが、フロッピーディスク、光ディスク、CD−ROM、および光磁気ディスクを含む任意の形式のディスク、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気または光カード、または電子命令を格納するのに適切な任意の種類の媒体等のコンピュータ可読の格納媒体に格納することができ。それぞれコンピューターシステムバスに接続することができる。
本明細書で提示するアルゴリズム、およびディスプレイは、任意の特定コンピュータ、コンピューターネットワーク、または他の機材と本質的に関連しない。各種の汎用システムを、本明細書の教示によるプログラムとともに用いることができ、または更に専門化した機材を構築して、要求される方法のステップを実行すると便利であると証明できる。これらの多様なシステムに要求される構造は、説明から明らかであると考えられる。更に、本発明は、どれかの特定のプログラム言語を参照して説明していない。言うまでもなく、多様なプログラム言語を用いて、本発明で説明したような本発明の教示を実装できる。
当該技術に精通する者には容易に理解できるのは言うまでもないが、本発明は、その精神または基本的な特性から逸脱することなく、他の特定の形式で実施できる。例えば、上記に示した特定アーキテクチャは、本発明の一実施の形態の単なる例示にすぎない。上記説明の機能要素および方法ステップは、本発明を実施するための一技法を説明する例示として提供する。当該技術に精通する者には言うまでもないが、他の多くの実装が、請求項に列挙したような本発明から逸脱することなく可能である。同様に、モジュール、プロトコル、特徴、属性、または任意の他の態様の特定の大文字化または名称付けは、必須でもなく、重要でもなく、本発明、またはその特徴を実装するメカニズムは、異なる名称または形式を有してもよい。更に、本発明は、方法、プロセス、ユーザーインターフェース、コンピュータープログラム製品、システム、機材、またはそれらの任意の組合せとして実装してもよい。従って、本発明の開示は、以下の請求の範囲で述べる本発明の範囲の説明を意図するものであって、限定を意図しているものではない。
一実施の形態によるオンスクリーンオブジェクトに対する制御領域の実施例を示す。 追加する矩形の帯状領域を含むオンスクリーンオブジェクトに対する制御領域の実施例を示す。 本発明の一実施の形態によるゾーンと関係付けられるメニューの実施例を示す。 一実施の形態によるオブジェクトのゾーンに対するコマンド構成の実施例を示す。 一実施の形態によるオブジェクトのゾーンに対するコマンド構成の実施例を示す。 各種のゾーンと対応する追加キーを含むキーボードの実施例を示す。 各種のゾーンと対応する追加キーを含むキーボードの実施例を示す。 本発明の一実施の形態による入力を提供するためのリモートコントローラの実施例を示す。 入力フィールドに対するメニューの実施例を示すスクリーンショットである。 入力フィールドと関係する本発明の操作の実施例を示す。 入力フィールドと関係する本発明の操作の実施例を示す。 入力オブジェクトの実施例を示すスクリーンショットである。 テーブルセルに対するメニューの実施例を示すスクリーンショットである。 テーブル列に対するメニューの実施例を示すスクリーンショットである。 テーブル行に対するメニューの実施例を示すスクリーンショットである。 テキストオブジェクトに対する制御領域の実施例を示す。 テキストオブジェクトに対する制御領域、テキストラベルを含む制御領域の実施例を示す。 テキストオブジェクトに対する制御領域、アイコンラベルを含む制御領域の実施例を示す。 テキストオブジェクトに対する制御領域、ポップアップラベルを含む制御領域の実施例を示す。

Claims (60)

  1. ディスプレイ上に表示されるオブジェクトを操作するための、前記ディスプレイを含む装置のためのユーザーインターフェースであって、前記装置は、ユーザーインターフェースを提供するためのプログラム命令を実行し、前記ユーザーインターフェースは、
    前記オブジェクトのディスプレイ表現と、
    前記オブジェクトの前記ディスプレイ表現を囲むとともに、入力装置を介し、かつ少なくとも2つのユーザー入力モードを介して、オブジェクト操作コマンドを受け取るための複数ゾーンを備える制御領域と
    を備えるユーザーインターフェース。
  2. 更に前記ゾーンのユーザー入力を受け取るための入力装置を備える、請求項1のユーザーインターフェース。
  3. 前記入力装置は、
    スタイラス位置を検出するためのタブレット、
    マウス、
    タッチパッド、
    ポインティング装置、
    タッチ感応スクリーン、
    キーボード、
    音声入力を受けるためのマイクロホン、および、
    リモートコントローラ、
    から成るグループから選択される少なくとも一つを備える、請求項2のユーザーインターフェース。
  4. 前記入力装置は、前記ゾーンと対応するキーを含むキーボードを備える、請求項1のユーザーインターフェース。
  5. 前記入力装置は、キーボードを備え、前記キーボード上の標準キーがゾーンに選択的に割り当てられる、請求項1のユーザーインターフェース。
  6. 前記入力装置は、前記ゾーンと対応する追加キーを含むキーボードを備える、請求項1のユーザーインターフェース。
  7. 前記ゾーンは、グリッド状に編成される、請求項1のユーザーインターフェース。
  8. 前記ゾーンは、セルの行を備える行列で編成され、前記オブジェクト表現は、前記行列のセル内に配置される、請求項1のユーザーインターフェース。
  9. 前記ゾーンは、それぞれ3個のセルの3行を備える行列で編成され、前記オブジェクト表現は、前記中央行の中央セルに配置される、請求項1のユーザーインターフェース。
  10. 前記ユーザー入力モードは、
    アクティブ化コマンド、
    修正キーを併用するアクティブ化コマンド、
    音声入力、
    キーボード入力、
    リモートコントローラ入力、
    マウス入力、
    ストローク入力、および、
    メニューコマンド選択、
    から成るグループから選択される少なくとも2つを備える、請求項1のユーザーインターフェース。
  11. 更に、ゾーンに対するメニューアクティブ化コマンドを実行することによりアクティブ化可能なメニューであって、前記メニューは、コマンドを含み、アクティブになると前記ゾーンの近傍に表示されるメニューを備える、請求項1のユーザーインターフェース。
  12. 前記メニューコマンドの内の少なくとも一つは、前記ゾーン内の、ストローク、ボタン押下、またはダブルクリックの内の少なくとも一つにより、直接アクティブ化可能でもある、請求項11のユーザーインターフェース。
  13. 前記メニューアクティブ化コマンドを実行することは、オンスクリーンカーソルを前記ゾーン内に位置決めすること、およびボタンを押すことを含む、請求項11のユーザーインターフェース。
  14. 前記メニューアクティブ化コマンドを実行することは、音声コマンドを発行することを含む、請求項11のユーザーインターフェース。
  15. 前記メニューは、少なくとも一つのコマンドに対して、前記コマンドを直接アクティブ化するためのストローク方向を指示するアイコンを含む、請求項11のユーザーインターフェース。
  16. ゾーンに対するストロークコマンドが、オンスクリーンカーソルを前記ゾーン内に位置決めし、前記カーソルをストロークさせることによりアクティブ化される、請求項11のユーザーインターフェース。
  17. オブジェクトを操作するためコンピュータに実装される方法であって、
    前記オブジェクトの表現を表示すること、
    前記オブジェクトを囲むとともに、少なくとも2つのユーザー入力モードを介して前記オブジェクトに関するオブジェクト操作コマンドを受け取るための複数のゾーンを備える制御領域を表示すること、
    前記ゾーンの内の一つでユーザー入力を受け取ること、および、
    前記ユーザー入力に応答して、前記オブジェクトの特性を変更すること、
    を含む方法。
  18. ユーザー入力の各モードは、
    スタイラス位置入力、
    マウス入力、
    タッチパッド入力、
    ポインティング装置入力、
    タッチ感応スクリーン入力、
    キーボード入力、
    音声入力、および、
    リモートコントローラ入力、
    から成るグループから選択される一つを含む、請求項17の方法。
  19. 一つのユーザー入力モードが、前記ゾーンと対応するキーを含むキーボードからのキーボード入力を受け取ることを含む、請求項17の方法。
  20. 一つのユーザー入力モードが、ゾーンに選択的に割り当てられるキーボードの標準キーを有する前記キーボードからのキーボード入力を受け取ることを含む、請求項17の方法。
  21. 一つのユーザー入力モードが、前記ゾーンと対応する追加キーを含むキーボードからのキーボード入力を受け取ることを含む、請求項17の方法。
  22. 前記ゾーンがグリッド状に編成される、請求項17の方法。
  23. 前記ゾーンがセルの行を備える行列で編成され、前記オブジェクト表現が前記行列のセル内に配置される、請求項17の方法。
  24. 前記ゾーンは、それぞれ3個のセルの3行を備える行列で編成され、前記オブジェクト表現は、前記中央行の中央セルに配置される、請求項17の方法。
  25. 更に、メニューアクティブ化コマンドに応答して、ゾーンに対するメニューを表示することであって、前記メニューは、アクティブになると前記ゾーンの近傍に表示されることを含む、請求項17の方法。
  26. 前記メニューコマンドの内の少なくとも一つは、前記ゾーン内の、ストローク、ボタン押下、またはダブルクリックの内の少なくとも一つにより、直接アクティブ化可能でもある、請求項25の方法。
  27. 前記メニューアクティブ化コマンドは、オンスクリーンカーソルを前記ゾーン内に位置決めすること、およびボタンを押すことを含む、請求項25の方法。
  28. 前記メニューアクティブ化コマンドは、音声コマンドを含む請求項25の方法。
  29. 前記メニューは、少なくとも一つのコマンドに対して、前記コマンドを直接アクティブ化するためのストローク方向を指示するアイコンを含む、請求項25の方法。
  30. 前記メニューは、それぞれの直接アクティブ化可能コマンドの直接アクティブ化に対してダブルクリックコマンドを指示する、請求項25の方法。
  31. ゾーンに対するストロークコマンドが、オンスクリーンカーソルを前記ゾーン内に位置決めし、前記カーソルをストロークさせることによりアクティブ化される、請求項25の方法。
  32. ゾーンに対するダブルクリックコマンドが、オンスクリーンカーソルを前記ゾーン内に位置決めし、ダブルクリックすることによりアクティブ化される、請求項25の方法。
  33. ゾーンに対する複数のストロークコマンドを含むユーザーインターフェースにおいて、オブジェクトを操作するためのコンピュータに実装される方法であって、
    前記オブジェクトに隣接するゾーンの第1軸に沿うストロークに応答して、前記オブジェクトの特性を第1増分によって変更すること、および、
    前記ゾーンの第2軸に沿うストロークに応答して、前記オブジェクトの特性を前記第1増分とは異なる第2増分によって変更すること、
    を含む方法。
  34. 前記第2増分は、前記第1増分より振幅が小さい、請求項33の方法。
  35. 前記第2軸は前記第1軸と垂直である、請求項33の方法。
  36. 一方の軸は縦で、他方の軸は水平である、請求項35の方法。
  37. 前記オブジェクトの特性は、
    開始位置、
    終了位置、
    期間、
    サイズ、
    長さ、
    日付、
    時間、
    数値、
    幅、
    高さ、
    イメージトリミング仕様、
    厚さ、
    小数点位置、
    再生速度、
    再生位置、
    先頭文字、
    終端文字、
    配置、
    整列、
    回転、
    フォント、
    スタイル、
    大文字化、
    色、
    透明度、
    明度、および、
    相対音量、
    から成るグループから選択される一つである、請求項33の方法。
  38. 更に、メニューアクティブ化コマンドを含む前記ユーザー入力に応答して、
    コマンドを含むメニューを表示すること、
    前記メニューからコマンドを選択する第2ユーザー入力を受け取ること、および、
    前記メニューコマンドに応答して、前記オブジェクトの特性を変更すること、
    を含む、請求項33の方法。
  39. オブジェクトを操作するためのコンピュータープログラム製品であって、
    コンピュータ可読媒体、ならびに、
    前記オブジェクトの表現を表示し、
    前記オブジェクトを囲む制御領域を表示するとともに、少なくとも2つのユーザー入力モードを介して前記オブジェクトに関するオブジェクト操作コマンドを受け取るための複数のゾーンを備え、
    前記ゾーンの内の一つのユーザー入力を受け取り、および、
    前記ユーザー入力に応答して、前記オブジェクトの特性を変更する、
    ための、前記媒体上にエンコードされるコンピュータープログラムコード、
    を備える、コンピュータープログラム製品。
  40. ユーザー入力の各モードは、
    スタイラス位置入力、
    マウス入力、
    タッチパッド入力、
    ポインティング装置入力、
    タッチ感応スクリーン入力、
    キーボード入力、
    音声入力、および、
    リモートコントローラ入力、
    から成るグループから選択される一つを含む、請求項39のコンピュータープログラム製品。
  41. 一つのユーザー入力モードが、前記ゾーンと対応するキーを含むキーボードからのキーボード入力を受け取ることを含む、請求項39のコンピュータープログラム製品。
  42. 更に、メニューアクティブ化コマンドに応答して、ゾーンに対するメニューを表示することであって、前記メニューは、アクティブになると前記ゾーンの近傍に表示される、
    ためのコンピュータープログラムコードを備える、請求項39のコンピュータープログラム製品。
  43. 前記メニューコマンドの内の少なくとも一つは、前記ゾーン内の、ストローク、ボタン押下、またはダブルクリックの内の少なくとも一つにより、直接アクティブ化可能でもある、請求項42のコンピュータープログラム製品。
  44. 前記メニューは、少なくとも一つのコマンドに対して、前記コマンドを直接アクティブ化するためのストローク方向を指示するアイコンを含む、請求項42のコンピュータープログラム製品。
  45. ゾーンに対する複数のストロークコマンドを含むユーザーインターフェースにおいて、オブジェクトを操作するためのコンピュータに実装されるコンピュータープログラム製品であって、
    コンピュータ可読媒体、ならびに、
    前記オブジェクトに隣接するゾーンの第1軸に沿うストロークに応答して、第1増分によって前記オブジェクトの特性を変更し、および、
    前記ゾーンの第2軸に沿うストロークに応答して、前記第1増分とは異なる第2増分によって前記オブジェクトの特性を変更する、
    ための、前記媒体上にエンコードされるコンピュータープログラムコード、
    を備える、コンピュータープログラム製品。
  46. 前記オブジェクトの特性は、
    開始位置、
    終了位置、
    期間、
    サイズ、
    長さ、
    日付、
    時間、
    数値、
    幅、
    高さ、
    イメージトリミング仕様、
    厚さ、
    小数点位置、
    再生速度、
    再生位置、
    先頭文字、
    終端文字、
    配置、
    整列、
    回転、
    フォント、
    スタイル、
    大文字化、
    色、
    透明度、
    明度、および、
    相対音量、
    から成るグループから選択される一つである、請求項45のコンピュータープログラム製品。
  47. 更に、メニューアクティブ化コマンドを含む前記ユーザー入力に応答して、
    コマンドを具備するメニューを表示すること、
    前記メニューからコマンドを選択する第2ユーザー入力を受け取ること、および、
    前記メニューコマンドに応答して、前記オブジェクトの特性を変更すること、
    を備える、請求項45のコンピュータープログラム製品。
  48. ディスプレイ上に表示されるオブジェクトを操作するためのシステムであって、
    前記オブジェクトの表現を表示し、前記オブジェクトの前記ディスプレイ表現を囲むとともに、入力装置を介し、かつ少なくとも2つのユーザー入力モードを介して、オブジェクト操作コマンドを受け取るための複数ゾーンを備える制御領域を表示するためのディスプレイ、
    前記ゾーンのユーザー入力を受け取るための入力装置、および、
    前記ユーザー入力に応答するオブジェクト操作コマンドを実行するための、前記ディスプレイおよび前記入力装置に接続されるプロセッサ、
    を備えるシステム。
  49. 前記入力装置は、
    スタイラス位置を検出するためのタブレット、
    マウス、
    タッチパッド、
    ポインティング装置、
    タッチ感応スクリーン、
    キーボード、
    音声入力を受けるためのマイクロホン、および、
    リモートコントローラ、
    から成るグループから選択される少なくとも一つを備える、請求項48のシステム。
  50. 前記入力装置は、前記ゾーンと対応するキーを含むキーボードを備える、請求項48のシステム。
  51. 前記入力装置は、キーボードを備え、前記キーボード上の標準キーがゾーンに選択的に割り当てられる、請求項48のシステム。
  52. 前記入力装置は、前記ゾーンと対応する追加キーを含むキーボードを備える、請求項48のシステム。
  53. 前記ゾーンは、グリッド状に編成される、請求項48のシステム。
  54. 前記ゾーンは、セルの行を備える行列で編成され、前記オブジェクト表現は、前記行列のセル内に配置される、請求項48のシステム。
  55. 前記ゾーンは、それぞれ3個のセルの3行を備える行列で編成され、前記オブジェクト表現は、前記中央行の中央セルに配置される、請求項48のシステム。
  56. 前記ユーザー入力モードは、
    アクティブ化コマンド、
    修正キーを併用するアクティブ化コマンド、
    音声入力、
    キーボード入力、
    リモートコントローラ入力、
    マウス入力、
    ストローク入力、および、
    メニューコマンド選択、
    から成るグループから選択される少なくとも2つを備える、請求項48のシステム。
  57. ゾーンに対するメニューアクティブ化コマンドを受け取る前記入力装置に応答して、前記ディスプレイは更に、アクティブ化すると前記ゾーンの近傍に、コマンドを備えるメニューを表示する、請求項48のシステム。
  58. 前記メニューコマンドの内の少なくとも一つは、前記ゾーン内の、ストローク、ボタン押下、またはダブルクリックの内の少なくとも一つにより、直接アクティブ化可能でもある、請求項57のシステム。
  59. 前記メニューは、少なくとも一つのコマンドに対して、前記コマンドを直接アクティブ化するためのストローク方向を指示するアイコンを含む、請求項57のシステム。
  60. ゾーンに対するストロークコマンドが、オンスクリーンカーソルを前記ゾーン内に位置決めし、前記カーソルをストロークさせることにより、アクティブ化される、請求項57のシステム。
JP2006521914A 2003-07-28 2004-07-20 オブジェクトを囲むゾーンを用いるオンスクリーンオブジェクトの操作 Expired - Fee Related JP4370326B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/629,129 US7164410B2 (en) 2003-07-28 2003-07-28 Manipulating an on-screen object using zones surrounding the object
PCT/US2004/023510 WO2005013052A2 (en) 2003-07-28 2004-07-20 Manipulating an on-screen object using zones surrounding the object

Publications (2)

Publication Number Publication Date
JP2007505371A true JP2007505371A (ja) 2007-03-08
JP4370326B2 JP4370326B2 (ja) 2009-11-25

Family

ID=34103546

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006521914A Expired - Fee Related JP4370326B2 (ja) 2003-07-28 2004-07-20 オブジェクトを囲むゾーンを用いるオンスクリーンオブジェクトの操作

Country Status (5)

Country Link
US (2) US7164410B2 (ja)
EP (1) EP1652049A4 (ja)
JP (1) JP4370326B2 (ja)
CA (1) CA2533298C (ja)
WO (1) WO2005013052A2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011521381A (ja) * 2008-05-19 2011-07-21 マイクロソフト コーポレーション ドラッグ操作を用いるメニューへのアクセス
KR20120006187A (ko) * 2010-07-12 2012-01-18 엘지전자 주식회사 이동단말기 및 그 제어방법
JP2012123623A (ja) * 2010-12-08 2012-06-28 Kubota Corp コマンドメニュー管理モジュール
JP2012198939A (ja) * 2008-08-22 2012-10-18 Fuji Xerox Co Ltd 情報処理装置及びプログラム
JP2013509094A (ja) * 2009-10-23 2013-03-07 マイクロソフト コーポレーション ビデオセッションの自動ラベリング
JP2014533403A (ja) * 2011-11-11 2014-12-11 クゥアルコム・インコーポレイテッドQualcomm Incorporated キーボードにマップされたキーボード・ショートカットを提供すること
JP2017010241A (ja) * 2015-06-22 2017-01-12 セイコーエプソン株式会社 画像表示システムおよび画像表示方法

Families Citing this family (164)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0121150D0 (en) * 2001-08-31 2001-10-24 Mitel Knowledge Corp Menu presentation system
JP3488874B2 (ja) * 2001-10-31 2004-01-19 シャープ株式会社 編集装置、編集方法、編集プログラム、編集プログラムを記録したコンピュータ読取可能な記録媒体
US7721197B2 (en) * 2004-08-12 2010-05-18 Microsoft Corporation System and method of displaying content on small screen computing devices
CN101006415B (zh) * 2004-10-05 2010-08-18 株式会社尼康 具有投影仪装置的电子设备
US7730067B2 (en) * 2004-12-30 2010-06-01 Microsoft Corporation Database interaction
US7818672B2 (en) * 2004-12-30 2010-10-19 Microsoft Corporation Floating action buttons
US7720887B2 (en) * 2004-12-30 2010-05-18 Microsoft Corporation Database navigation
US20080010055A1 (en) * 2005-03-08 2008-01-10 Pathiyal Krishna K Handheld Electronic Device and Associated Method Employing a Multiple-Axis Input Device and Providing a Prior Variant List When Employing a Disambiguation Routine and Reinitiating a Text Entry Session on a Word
US20060206815A1 (en) * 2005-03-08 2006-09-14 Pathiyal Krishna K Handheld electronic device having improved word correction, and associated method
JP4397347B2 (ja) * 2005-04-26 2010-01-13 アルプス電気株式会社 入力装置
US7509593B2 (en) * 2005-05-12 2009-03-24 Microsoft Corporation Mouse sound volume control
KR100643306B1 (ko) * 2005-06-13 2006-11-10 삼성전자주식회사 리모트 컨트롤에서의 선택 위치 또는 방향과 동일한 위치또는 방향의 메뉴를 선택할 수 있는 사용자 인터페이스를제공하는 장치 및 방법
US8365093B2 (en) * 2005-06-30 2013-01-29 Nokia Corporation Apparatus, method and computer program product enabling storage of state of temporary display screen magnification view
US20070067798A1 (en) * 2005-08-17 2007-03-22 Hillcrest Laboratories, Inc. Hover-buttons for user interfaces
US7600195B2 (en) * 2005-11-22 2009-10-06 International Business Machines Corporation Selecting a menu option from a multiplicity of menu options which are automatically sequenced
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US8250486B2 (en) * 2006-01-19 2012-08-21 International Business Machines Corporation Computer controlled user interactive display interface for accessing graphic tools with a minimum of display pointer movement
KR20070113018A (ko) * 2006-05-24 2007-11-28 엘지전자 주식회사 터치스크린 장치 및 그 실행방법
US20090213086A1 (en) * 2006-04-19 2009-08-27 Ji Suk Chae Touch screen device and operating method thereof
KR101327581B1 (ko) * 2006-05-24 2013-11-12 엘지전자 주식회사 터치스크린 장치 및 이의 작동방법
KR20070113025A (ko) * 2006-05-24 2007-11-28 엘지전자 주식회사 터치스크린 장치 및 이의 작동방법
TWI328185B (en) * 2006-04-19 2010-08-01 Lg Electronics Inc Touch screen device for potable terminal and method of displaying and selecting menus thereon
KR101269375B1 (ko) * 2006-05-24 2013-05-29 엘지전자 주식회사 터치스크린 장치 및 이의 이미지 표시방법
KR20070113022A (ko) * 2006-05-24 2007-11-28 엘지전자 주식회사 사용자 입력에 반응하는 터치스크린 장치 및 이의 작동방법
US9274807B2 (en) 2006-04-20 2016-03-01 Qualcomm Incorporated Selective hibernation of activities in an electronic device
US20090278806A1 (en) * 2008-05-06 2009-11-12 Matias Gonzalo Duarte Extended touch-sensitive control area for electronic device
US8296684B2 (en) 2008-05-23 2012-10-23 Hewlett-Packard Development Company, L.P. Navigating among activities in a computing device
US8683362B2 (en) 2008-05-23 2014-03-25 Qualcomm Incorporated Card metaphor for activities in a computing device
DE102006021399B4 (de) * 2006-05-08 2008-08-28 Combots Product Gmbh & Co. Kg Verfahren und Vorrichtung zum Bereitstellen eines einem dargestellten Symbol zugeordneten Auswahlmenüs
DE102006021400B4 (de) * 2006-05-08 2008-08-21 Combots Product Gmbh & Co. Kg Verfahren und Vorrichtung zum Bereitstellen eines einem dargestellten Symbol zugeordneten Auswahlmenüs
TW200805131A (en) * 2006-05-24 2008-01-16 Lg Electronics Inc Touch screen device and method of selecting files thereon
US8261967B1 (en) 2006-07-19 2012-09-11 Leapfrog Enterprises, Inc. Techniques for interactively coupling electronic content with printed media
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US8106856B2 (en) * 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US7934156B2 (en) * 2006-09-06 2011-04-26 Apple Inc. Deletion gestures on a portable multifunction device
KR101241907B1 (ko) 2006-09-29 2013-03-11 엘지전자 주식회사 리모트 콘트롤러 및 리모트 콘트롤러에서 키이 코드를 발생하는 방법
US20080098315A1 (en) * 2006-10-18 2008-04-24 Dao-Liang Chou Executing an operation associated with a region proximate a graphic element on a surface
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8091045B2 (en) * 2007-01-07 2012-01-03 Apple Inc. System and method for managing lists
KR100832260B1 (ko) * 2007-02-03 2008-05-28 엘지전자 주식회사 이동통신 단말기 및 그 제어방법
EP1959238B1 (en) * 2007-02-13 2018-05-23 Harman Becker Automotive Systems GmbH Method for inputting a destination in a navigation unit and nagivation system therefor
US8436815B2 (en) * 2007-05-25 2013-05-07 Microsoft Corporation Selective enabling of multi-input controls
US8130417B2 (en) * 2007-06-14 2012-03-06 Samsung Electronics Co., Ltd Image processing apparatus and image processing method
US9772751B2 (en) 2007-06-29 2017-09-26 Apple Inc. Using gestures to slide between user interfaces
US9619143B2 (en) 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
US11126321B2 (en) 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
JP4835553B2 (ja) * 2007-09-05 2011-12-14 富士ゼロックス株式会社 情報処理装置、及びプログラム
US9317176B2 (en) * 2007-09-24 2016-04-19 Adobe Systems Incorporated Rendering of content in a defined region of a graphical user interface
KR100864749B1 (ko) * 2007-11-22 2008-10-22 김연수 문자입력방법
DE102007047933B3 (de) * 2007-12-20 2009-02-26 Vistec Semiconductor Systems Gmbh Verfahren zur Inspektion von einer Oberfläche eines Wafers mit Bereichen unterschiedlicher Detektionsempfindlichkeit
KR101456570B1 (ko) * 2007-12-21 2014-10-31 엘지전자 주식회사 디지털 이퀄라이저를 구비한 이동 단말기 및 그 제어방법
EP2081110A1 (en) 2008-01-17 2009-07-22 Research In Motion Limited Side-bar menu and menu on a display screen of a handheld electronic device
US20090187840A1 (en) * 2008-01-17 2009-07-23 Vahid Moosavi Side-bar menu and menu on a display screen of a handheld electronic device
US7941765B2 (en) * 2008-01-23 2011-05-10 Wacom Co., Ltd System and method of controlling variables using a radial control menu
US8797271B2 (en) 2008-02-27 2014-08-05 Microsoft Corporation Input aggregation for a multi-touch device
US20090242106A1 (en) * 2008-03-07 2009-10-01 Kupferman Michael E Pre-operative surgical site marking with a temporary customizable tattoo
US9274681B2 (en) * 2008-03-26 2016-03-01 Lg Electronics Inc. Terminal and method of controlling the same
US8159469B2 (en) 2008-05-06 2012-04-17 Hewlett-Packard Development Company, L.P. User interface for initiating activities in an electronic device
US8156445B2 (en) 2008-06-20 2012-04-10 Microsoft Corporation Controlled interaction with heterogeneous data
US7996422B2 (en) 2008-07-22 2011-08-09 At&T Intellectual Property L.L.P. System and method for adaptive media playback based on destination
US8990848B2 (en) 2008-07-22 2015-03-24 At&T Intellectual Property I, L.P. System and method for temporally adaptive media playback
CN101655764A (zh) * 2008-08-19 2010-02-24 深圳富泰宏精密工业有限公司 简化界面操作的系统及方法
JP4636141B2 (ja) * 2008-08-28 2011-02-23 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20100066764A1 (en) * 2008-09-18 2010-03-18 Microsoft Corporation Selective character magnification on touch screen devices
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
US8334845B2 (en) * 2008-11-24 2012-12-18 Firstrade Securities, Inc Thwarting screen logging of keypad in a web-based form
US8601385B2 (en) * 2008-11-25 2013-12-03 General Electric Company Zero pixel travel systems and methods of use
KR101510758B1 (ko) * 2008-12-05 2015-04-10 삼성전자 주식회사 디스플레이장치 및 그의 사용자 인터페이스 표시방법
KR20100069842A (ko) * 2008-12-17 2010-06-25 삼성전자주식회사 사용자 인터페이스를 구현하는 전자장치 및 그 방법
KR101593598B1 (ko) * 2009-04-03 2016-02-12 삼성전자주식회사 휴대단말에서 제스처를 이용한 기능 실행 방법
US8418082B2 (en) * 2009-05-01 2013-04-09 Apple Inc. Cross-track edit indicators and edit selections
US8627207B2 (en) * 2009-05-01 2014-01-07 Apple Inc. Presenting an editing tool in a composite display area
US9009612B2 (en) 2009-06-07 2015-04-14 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
KR20100134948A (ko) * 2009-06-16 2010-12-24 삼성전자주식회사 터치스크린을 구비하는 장치의 메뉴 표시 방법
US9035887B1 (en) * 2009-07-10 2015-05-19 Lexcycle, Inc Interactive user interface
US8588378B2 (en) * 2009-07-15 2013-11-19 Google Inc. Highlighting of voice message transcripts
JP5326912B2 (ja) * 2009-07-31 2013-10-30 ブラザー工業株式会社 印刷装置、合成画像データ生成装置、及び、合成画像データ生成プログラム
US20110035700A1 (en) * 2009-08-05 2011-02-10 Brian Meaney Multi-Operation User Interface Tool
EP3260969B1 (en) 2009-09-22 2021-03-03 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8780069B2 (en) 2009-09-25 2014-07-15 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8438500B2 (en) 2009-09-25 2013-05-07 Apple Inc. Device, method, and graphical user interface for manipulation of user interface objects with activation regions
US8799775B2 (en) * 2009-09-25 2014-08-05 Apple Inc. Device, method, and graphical user interface for displaying emphasis animations for an electronic document in a presentation mode
US8421762B2 (en) * 2009-09-25 2013-04-16 Apple Inc. Device, method, and graphical user interface for manipulation of user interface objects with activation regions
US8416205B2 (en) * 2009-09-25 2013-04-09 Apple Inc. Device, method, and graphical user interface for manipulation of user interface objects with activation regions
US8601394B2 (en) * 2009-11-06 2013-12-03 Bose Corporation Graphical user interface user customization
US20110113368A1 (en) * 2009-11-06 2011-05-12 Santiago Carvajal Audio/Visual Device Graphical User Interface
US20110157027A1 (en) * 2009-12-30 2011-06-30 Nokia Corporation Method and Apparatus for Performing an Operation on a User Interface Object
US8786559B2 (en) * 2010-01-06 2014-07-22 Apple Inc. Device, method, and graphical user interface for manipulating tables using multi-contact gestures
US8793611B2 (en) * 2010-01-06 2014-07-29 Apple Inc. Device, method, and graphical user interface for manipulating selectable user interface objects
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US8386965B2 (en) * 2010-01-15 2013-02-26 Apple Inc. Techniques and systems for enhancing touch screen device accessibility through virtual containers and virtually enlarged boundaries
GB2477528B (en) * 2010-02-04 2014-01-15 Imagination Tech Ltd Touch sensitive screen for scrolling through sets of data
JP5704825B2 (ja) * 2010-03-08 2015-04-22 キヤノン株式会社 情報処理装置およびその制御方法およびプログラム
JP5642809B2 (ja) * 2010-03-12 2014-12-17 ニュアンス コミュニケーションズ, インコーポレイテッド 携帯電話のタッチスクリーンとの使用等のためのマルチモーダルテキスト入力システム
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US8458615B2 (en) 2010-04-07 2013-06-04 Apple Inc. Device, method, and graphical user interface for managing folders
US9285988B2 (en) 2010-04-20 2016-03-15 Blackberry Limited Portable electronic device having touch-sensitive display with variable repeat rate
US20110265009A1 (en) * 2010-04-27 2011-10-27 Microsoft Corporation Terminal services view toolbox
KR20110121888A (ko) * 2010-05-03 2011-11-09 삼성전자주식회사 휴대용 단말기에서 팝업 메뉴를 확인하기 위한 장치 및 방법
JP5743047B2 (ja) * 2010-05-17 2015-07-01 セイコーエプソン株式会社 表示装置および表示方法
US8707195B2 (en) 2010-06-07 2014-04-22 Apple Inc. Devices, methods, and graphical user interfaces for accessibility via a touch-sensitive surface
US8773370B2 (en) 2010-07-13 2014-07-08 Apple Inc. Table editing systems with gesture-based insertion and deletion of columns and rows
US9870141B2 (en) * 2010-11-19 2018-01-16 Microsoft Technology Licensing, Llc Gesture recognition
US9146674B2 (en) * 2010-11-23 2015-09-29 Sectra Ab GUI controls with movable touch-control objects for alternate interactions
US9047590B2 (en) * 2011-01-25 2015-06-02 Bank Of America Corporation Single identifiable entry point for accessing contact information via a computer network
US9271027B2 (en) * 2011-01-30 2016-02-23 Lg Electronics Inc. Image display apparatus and method for operating the same
US9116616B2 (en) * 2011-02-10 2015-08-25 Blackberry Limited Portable electronic device and method of controlling same
US20120216113A1 (en) * 2011-02-18 2012-08-23 Google Inc. Touch gestures for text-entry operations
US20120260284A1 (en) * 2011-04-07 2012-10-11 Sony Corporation User interface for audio video display device such as tv personalized for multiple viewers
US9513799B2 (en) 2011-06-05 2016-12-06 Apple Inc. Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities
JP5360140B2 (ja) * 2011-06-17 2013-12-04 コニカミノルタ株式会社 情報閲覧装置及び制御プログラム並びに制御方法
WO2012174706A1 (en) 2011-06-21 2012-12-27 Motorola Mobility, Inc. Electronic device with gesture-based task management
CN102890610B (zh) * 2011-07-18 2017-10-17 中兴通讯股份有限公司 带有触摸屏的终端处理文档的方法和带有触摸屏的终端
US10318146B2 (en) * 2011-09-12 2019-06-11 Microsoft Technology Licensing, Llc Control area for a touch screen
US9612670B2 (en) 2011-09-12 2017-04-04 Microsoft Technology Licensing, Llc Explicit touch selection and cursor placement
US8988467B2 (en) 2011-10-13 2015-03-24 Microsoft Technology Licensing, Llc Touchscreen selection visual feedback
US9116611B2 (en) 2011-12-29 2015-08-25 Apple Inc. Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input
JP5137150B1 (ja) 2012-02-23 2013-02-06 株式会社ワコム 手書き情報入力装置及び手書き情報入力装置を備えた携帯電子機器
US8935606B2 (en) * 2012-02-29 2015-01-13 Ebay Inc. Systems and methods for providing a user interface with grid view
US8881269B2 (en) 2012-03-31 2014-11-04 Apple Inc. Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader
CN103505240B (zh) * 2012-06-29 2018-05-22 通用电气公司 超声成像设备和用于自动调整用户界面布局的装置及方法
JP6013051B2 (ja) * 2012-07-02 2016-10-25 東芝メディカルシステムズ株式会社 超音波診断装置及びその操作支援方法
IN2015DN01056A (ja) * 2012-07-12 2015-06-26 Yulong Computer Telecomm Tech
US20140033093A1 (en) * 2012-07-25 2014-01-30 Microsoft Corporation Manipulating tables with touch gestures
CN103576847B (zh) * 2012-08-09 2016-03-30 腾讯科技(深圳)有限公司 获取账号信息的方法和装置
JP5784566B2 (ja) * 2012-09-28 2015-09-24 京セラドキュメントソリューションズ株式会社 操作装置及び操作方法
US9589538B2 (en) 2012-10-17 2017-03-07 Perceptive Pixel, Inc. Controlling virtual objects
US10368836B2 (en) * 2012-12-26 2019-08-06 Volcano Corporation Gesture-based interface for a multi-modality medical imaging system
JP5761216B2 (ja) * 2013-01-22 2015-08-12 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム
EP2781998A1 (en) * 2013-03-20 2014-09-24 Advanced Digital Broadcast S.A. A method and a system for generating a graphical user interface menu
US20140304607A1 (en) * 2013-04-05 2014-10-09 Michael Lyle Eglington Monitoring System
JP6303314B2 (ja) * 2013-07-31 2018-04-04 ブラザー工業株式会社 プログラムおよび情報処理装置
TWI493433B (zh) * 2013-08-28 2015-07-21 Acer Inc 被遮蔽畫面投影方法及應用該方法之可攜式電子裝置
KR102162836B1 (ko) 2013-08-30 2020-10-07 삼성전자주식회사 필드 속성을 이용한 컨텐트를 제공하는 전자 장치 및 방법
KR102165818B1 (ko) * 2013-09-10 2020-10-14 삼성전자주식회사 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
JP6393325B2 (ja) 2013-10-30 2018-09-19 アップル インコーポレイテッドApple Inc. 関連するユーザインターフェースオブジェクトの表示
US9507520B2 (en) * 2013-12-16 2016-11-29 Microsoft Technology Licensing, Llc Touch-based reorganization of page element
US9836203B2 (en) * 2014-07-25 2017-12-05 Axiom One Ltd. Grid-based visual design environment
US10671275B2 (en) 2014-09-04 2020-06-02 Apple Inc. User interfaces for improving single-handed operation of devices
US9961239B2 (en) 2015-06-07 2018-05-01 Apple Inc. Touch accommodation options
US10345991B2 (en) 2015-06-16 2019-07-09 International Business Machines Corporation Adjusting appearance of icons in an electronic device
US10025452B2 (en) * 2015-09-14 2018-07-17 Adobe Systems Incorporated Physics-based cell layout redesign
CN105741630B (zh) * 2016-02-03 2018-11-13 李毅鸥 一种使演示文件具有交互式功能的系统及方法
US10402470B2 (en) * 2016-02-12 2019-09-03 Microsoft Technology Licensing, Llc Effecting multi-step operations in an application in response to direct manipulation of a selected object
USD886116S1 (en) 2016-04-14 2020-06-02 Markup Llc Display screen portion with graphical user interface
US10637986B2 (en) 2016-06-10 2020-04-28 Apple Inc. Displaying and updating a set of application views
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
US20170357644A1 (en) 2016-06-12 2017-12-14 Apple Inc. Notable moments in a collection of digital assets
DK201670608A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US11086935B2 (en) 2018-05-07 2021-08-10 Apple Inc. Smart updates from historical database changes
US11243996B2 (en) 2018-05-07 2022-02-08 Apple Inc. Digital asset search user interface
US10803135B2 (en) 2018-09-11 2020-10-13 Apple Inc. Techniques for disambiguating clustered occurrence identifiers
US10846343B2 (en) 2018-09-11 2020-11-24 Apple Inc. Techniques for disambiguating clustered location identifiers
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
US11131967B2 (en) 2019-05-06 2021-09-28 Apple Inc. Clock faces for an electronic device
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
DK202070612A1 (en) 2020-02-14 2021-10-26 Apple Inc User interfaces for workout content
USD974370S1 (en) 2020-04-03 2023-01-03 Markup Llc Display screen portion with graphical user interface
US11194471B1 (en) 2021-01-28 2021-12-07 Honda Motor Co., Ltd. Apparatus and method for display control based on touch interface
US11768591B2 (en) * 2021-04-23 2023-09-26 Lucid Software, Inc Dynamic graphical containers

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4202037A (en) * 1977-04-22 1980-05-06 Der Loos Hendrik Van Computer microscope apparatus and method for superimposing an electronically-produced image from the computer memory upon the image in the microscope's field of view
JPH02222021A (ja) 1989-02-23 1990-09-04 Sanyo Electric Co Ltd アイコン選択装置
JPH03246614A (ja) 1990-02-23 1991-11-05 Seiko Epson Corp メニュー選択方式
WO1992009966A1 (en) * 1990-11-30 1992-06-11 Cambridge Animation Systems Limited Image synthesis and processing
JPH0823803B2 (ja) 1991-10-31 1996-03-06 インターナショナル・ビジネス・マシーンズ・コーポレイション システムの挙動にアクセスする方法、アイコン表示装置及びデータ処理システム
JP3246614B2 (ja) 1992-04-08 2002-01-15 日立金属株式会社 ガラス成形用鋼
JPH0764749A (ja) * 1993-08-25 1995-03-10 Fujitsu Ltd コマンド実行処理装置
JP3546337B2 (ja) 1993-12-21 2004-07-28 ゼロックス コーポレイション 計算システム用ユーザ・インタフェース装置及びグラフィック・キーボード使用方法
US5500935A (en) 1993-12-30 1996-03-19 Xerox Corporation Apparatus and method for translating graphic objects and commands with direct touch input in a touch based input system
US5543818A (en) * 1994-05-13 1996-08-06 Sony Corporation Method and apparatus for entering text using an input device having a small number of keys
US20020126161A1 (en) * 1994-07-05 2002-09-12 Hitachi, Ltd. Information processing system
WO1996009579A1 (en) 1994-09-22 1996-03-28 Izak Van Cruyningen Popup menus with directional gestures
JPH08115192A (ja) 1994-10-17 1996-05-07 Hitachi Ltd データ編集処理方法及びそのシステム
US5689667A (en) * 1995-06-06 1997-11-18 Silicon Graphics, Inc. Methods and system of controlling menus with radial and linear portions
US5778404A (en) 1995-08-07 1998-07-07 Apple Computer, Inc. String inserter for pen-based computer systems and method for providing same
US5754176A (en) 1995-10-02 1998-05-19 Ast Research, Inc. Pop-up help system for a computer graphical user interface
US6057844A (en) * 1997-04-28 2000-05-02 Adobe Systems Incorporated Drag operation gesture controller
US6177941B1 (en) * 1997-08-25 2001-01-23 International Business Machine Corporation Representative mapping between toolbars and menu bar pulldowns
US6414700B1 (en) * 1998-07-21 2002-07-02 Silicon Graphics, Inc. System for accessing a large number of menu items using a zoned menu bar
US6424335B1 (en) * 1998-09-02 2002-07-23 Fujitsu Limited Notebook computer with detachable infrared multi-mode input device
US6727830B2 (en) 1999-01-05 2004-04-27 Microsoft Corporation Time based hardware button for application launch
US7030863B2 (en) * 2000-05-26 2006-04-18 America Online, Incorporated Virtual keyboard system with automatic correction
US6664991B1 (en) 2000-01-06 2003-12-16 Microsoft Corporation Method and apparatus for providing context menus on a pen-based device
US6822664B2 (en) 2000-10-11 2004-11-23 Microsoft Corporation Browser navigation for devices with a limited input system
US6904570B2 (en) 2001-06-07 2005-06-07 Synaptics, Inc. Method and apparatus for controlling a display of data on a display screen
CA2429660A1 (en) * 2002-05-31 2003-11-30 Regelous, Stephen Noel Field control method and system
US7082211B2 (en) * 2002-05-31 2006-07-25 Eastman Kodak Company Method and system for enhancing portrait images
JP2006510137A (ja) * 2002-12-16 2006-03-23 マイクロソフト コーポレーション コンピュータ装置とインタフェースをとるシステム及び方法
US7554530B2 (en) * 2002-12-23 2009-06-30 Nokia Corporation Touch screen user interface featuring stroke-based object selection and functional object activation

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011521381A (ja) * 2008-05-19 2011-07-21 マイクロソフト コーポレーション ドラッグ操作を用いるメニューへのアクセス
US9563352B2 (en) 2008-05-19 2017-02-07 Microsoft Technology Licensing, Llc Accessing a menu utilizing a drag-operation
JP2012198939A (ja) * 2008-08-22 2012-10-18 Fuji Xerox Co Ltd 情報処理装置及びプログラム
US8924892B2 (en) 2008-08-22 2014-12-30 Fuji Xerox Co., Ltd. Multiple selection on devices with many gestures
JP2015195059A (ja) * 2008-08-22 2015-11-05 富士ゼロックス株式会社 情報処理装置及びプログラム
US11243680B2 (en) 2008-08-22 2022-02-08 Fujifilm Business Innovation Corp. Multiple selection on devices with many gestures
JP2013509094A (ja) * 2009-10-23 2013-03-07 マイクロソフト コーポレーション ビデオセッションの自動ラベリング
KR20120006187A (ko) * 2010-07-12 2012-01-18 엘지전자 주식회사 이동단말기 및 그 제어방법
KR101667586B1 (ko) 2010-07-12 2016-10-19 엘지전자 주식회사 이동단말기 및 그 제어방법
JP2012123623A (ja) * 2010-12-08 2012-06-28 Kubota Corp コマンドメニュー管理モジュール
JP2014533403A (ja) * 2011-11-11 2014-12-11 クゥアルコム・インコーポレイテッドQualcomm Incorporated キーボードにマップされたキーボード・ショートカットを提供すること
JP2017010241A (ja) * 2015-06-22 2017-01-12 セイコーエプソン株式会社 画像表示システムおよび画像表示方法

Also Published As

Publication number Publication date
EP1652049A4 (en) 2011-05-04
CA2533298A1 (en) 2005-02-10
US20050024322A1 (en) 2005-02-03
US8286101B2 (en) 2012-10-09
JP4370326B2 (ja) 2009-11-25
US20070101292A1 (en) 2007-05-03
CA2533298C (en) 2011-07-12
WO2005013052A3 (en) 2006-11-23
US7164410B2 (en) 2007-01-16
EP1652049A2 (en) 2006-05-03
WO2005013052A2 (en) 2005-02-10

Similar Documents

Publication Publication Date Title
JP4370326B2 (ja) オブジェクトを囲むゾーンを用いるオンスクリーンオブジェクトの操作
US7055110B2 (en) Common on-screen zone for menu activation and stroke input
US9996176B2 (en) Multi-touch uses, gestures, and implementation
US7444599B1 (en) Method and apparatus for controlling a display of a data processing system
JP3630153B2 (ja) 情報表示入力装置及び情報表示入力方法、並びに情報処理装置
EP2815299B1 (en) Thumbnail-image selection of applications
US9223471B2 (en) Touch screen control
US20150058776A1 (en) Providing keyboard shortcuts mapped to a keyboard
US11016588B2 (en) Method and device and system with dual mouse support
JP2000181617A (ja) タッチパッド及びタッチパッドによるスクロール制御方法
US20200233504A1 (en) Method and device and system for providing dual mouse support
TW202032355A (zh) 觸控螢幕圖形化指令系統與方法
JPH0756704A (ja) マルチウィンドウ画面制御方法
TW201349042A (zh) 電子裝置及基於圖形輸入之操作方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080819

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081118

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081126

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081219

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090116

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090811

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090831

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130904

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees