JP2018063720A - 多機能ハンドヘルド装置 - Google Patents

Abstract

【課題】多機能ハンドヘルド装置がどのように用いられるかに基づいて、ユーザ入力を構成することができる多機能ハンドヘルド装置を提供する。【解決手段】好ましくは、多機能ハンドヘルド装置は、せいぜい少数の物理的ボタン、キーあるいはスイッチを有し、その表示サイズを実質的に増加させることができる。また、多機能ハンドヘルド装置は、タッチ感知スクリーン、タッチ感知ハウジング、ディスプレイアクチュエータ、音声入力などを含む種々の入力機構を統合する。さらに、多機能ハンドヘルド装置は、該装値の複数の機能のそれぞれにユーザ設定可能なＧＵＩを統合する。【選択図】図１

Description

本出願は、（１）２００５年３月４日に出願され、「多機能ハンドヘルド装置」と題する米国仮特許出願第６０／６５８，７７７号、および（２）２００５年３月１６日に出願され、「多機能ハンドヘルド装置」と題する米国仮特許出願第６０／６６３，３４５号に関連し、これらの出願の優先権を主張する。これらの出願はそれぞれ、参照により本出願に組み込まれる。

また、本出願は、以下の出願、すなわち、（１）２００２年７月１日に出願され、「ハンドヘルド装置用タッチパッド」と題する米国特許出願第１０／１８８，１８２号、（２）２００３年１１月２５日に出願され、「ハンドヘルド装置用タッチパッド」と題する米国特許出願第１０／７２２，９４８号、（３）２００３年８月１８日に出願され、「追加機能を有するモバイルタッチパッド」と題する米国特許出願第１０／６４３，２５６号、（４）２００３年９月２日に出願され、「両手用マウス」と題する米国特許出願第１０／６５４，１０８号、（５）２００４年５月６日に出願され、「マルチポイントタッチスクリーン」と題する米国特許出願第１０／８４０，８６２号、（６）２００４年７月３０日に出願され、「タッチ感知入力装置用ジェスチャー」と題する米国特許出願第１０／９０３，９６４号、（７）２００５年１月１８日に出願され、「タッチ感知入力装置用モードベースグラフィカルユーザインタフェース」と題する米国特許出願第１１／０３８，５９０号、（８）２００５年２月１１日に出願され、「ディスプレイアクチュエータ」と題する米国特許出願第１１／０５７，０５０号、および（９）２００５年４月２６日に出願され、「多タッチ感知装置を有するハンドヘルド電子機器」と題する米国特許出願第１１／１１５，５３９号に関連する。これらの出願はすべて参照により本出願に組み込まれる。

現在、多くの種類のハンドヘルド電子機器が存在する。各ハンドヘルド電子機器は、ある種のユーザインタフェースを利用する。そのユーザインタフェースは、典型的に、液晶ディスプレイ（ＬＣＤ）などのディスプレイの形式の出力装置と、１以上の入力装置とを含む。この入力装置は、機械的に作動されるか（例えば、スイッチ、ボタン、キー、ダイアル、ジョイスティック、ジョイパッド）、電気的に作動される（例えば、タッチパッドやタッチスクリーン）。ディスプレイは、典型的に、テキストやグラフィックなどの視覚情報を提供するよう構成される。入力装置は、典型的に、電子機器において、コマンドを発行したり、選択したり、カーソルまたはセレクタを移動したりするような操作を実行するよう構成される。これらの周知の装置のそれぞれは、ハンドヘルド電子機器を設計するときに考慮されるべき大きさおよび形状の制限、コスト、機能性、複雑さなどのような考慮すべき事項を有する。ほとんどの場合、ユーザインタフェースは、ディスプレイの容易な視聴および入力装置の容易な操作のために、ハンドヘルド装置の表面（または前面）上に位置する。

図１Ａ〜図１Ｆは、携帯電話１０Ａ（図１Ａ）、ＰＤＡ１０Ｂ（図１Ｂ）、メディアプレーヤ１０Ｃ（図１Ｃ）、遠隔制御器１０Ｄ（図１Ｄ）、カメラ１０Ｅ（図１Ｅ）およびＧＰＳモジュール１０Ｆ（図１Ｆ）を一例として含む種々のハンドヘルド電子機器の図である。これらの各装置１０では、ディスプレイ１２は、典型的に、電子機器１０の第１領域に位置する。このディスプレイ１２は、電子機器１０のハウジング内に固定され、ハウジング内の開口を介して見られ得る。また、これらの各装置は、１以上の入力装置１４を含む。入力装置１４は、典型的に、ディスプレイ１２の次の電子機器１０の第２領域に位置する。

詳細に述べると、携帯電話１０Ａは、典型的に、文字またはグラフィックディスプレイなどのディスプレイ１２と、数字キーパッドやいくつかの場合にはナビゲーションパッドなどの入力装置１４とを備える。ＰＤＡ１０Ｂは、典型的に、グラフィカルディスプレイなどのディスプレイ１２と、スタイラスベースの抵抗性タッチスクリーンおよびボタンなどの入力装置１４とを備える。メディアプレーヤ１０Ｃは、典型的に、文字またはグラフィックディスプレイなどのディスプレイ１２と、ボタンまたはホイールなどの入力装置１４とを備える。カリフォルニア州クパチーノのアップルコンピュータＩｎｃ．により製造されたｉＰｏｄ（登録商標）メディアプレーヤは、ディスプレイと、該ディスプレイの次に配置される入力装置とを備えるメディアプレーヤの一例である。遠隔制御器１０Ｄは、典型的に、キーパッドなどの入力装置１４を含み、文字ディスプレイ１２を有しても有さなくてもよい。ＧＰＳモジュール１０Ｆは、典型的に、グラフィックディスプレイなどのディスプレイ１２と、ボタンやある場合にはジョイパッドなどの入力装置１４とを備える。

最近、伝統的に別々のハンドヘルド電子機器が限定的な方法で組み合わされ始めた。例えば、携帯電話１０ＡはＰＤＡ１０Ｂと組み合わされた。遭遇した１つの問題は、装置への入力方法に関するものである。これらの装置はそれぞれ、その装置に入力を供給するための特定の入力機構セットを有する。これらの入力機構のいくつかはすべての装置で一般的であるが（例えば、電源ボタン）、その他は一般的ではない。一般的でない入力機構は、典型的に、装置の特定の機能に専用のものである。例として、ＰＤＡは、典型的に、４つの専用ボタンを含むが、携帯電話は、典型的に、数値キーパッドと、少なくとも２つの専用ボタンとを含む。

そのため、各装置の専用入力に不利に影響することなく、限られた入力装置を有する併合装置を設計することは挑戦である。認識されるように、多くの入力機構を有するハンドヘルド装置に負荷をかけ過ぎないことが好ましい。なぜならば、これにより、ユーザを混乱させるとともに、貴重のスペース、すなわち、「物的財産（real estate）」を塞いでしまう傾向にあるからである。ハンドヘルド装置の場合、それらが小さいサイズであるため、スペースは需要が大きい。ある点では、必要なボタンやスイッチなどのすべてを収容するための装置上のスペースが十分にない。これらのすべての装置がそれ自身の多くのスペースを典型的に塞いでしまうディスプレイを必要とすることを考慮すると、このことは特に当てはまる。あるレベルを超えて入力装置の数を増やすために、設計者はディスプレイのサイズを小さくしなければならないだろう。しかしながら、典型的にユーザができる限り大きいディスプレイを望むので、このことは、しばしばユーザに悪い印象を残してしまう。その代わりに、より多くの入力装置を収容するために、設計者は、装置のサイズを大きくすることを選択してもよい。片手での操作が困難となり、ある点では、装置のサイズがあまりに大きいためにもはやハンドヘルド装置とは考えられなくなるので、同じくこのこともしばしばユーザに悪い印象を残してしまう。

そのため、この技術において必要とされるのは、多機能ハンドヘルド装置のために作動する改善されたユーザインタフェースである。

多機能ハンドヘルド装置がどのように用いられるかに基づいて、ユーザ入力を構成することができる多機能ハンドヘルド装置を開示する。好ましくは、多機能ハンドヘルド装置は、そのディスプレイサイズを十分に大きくすることができるように、せいぜいわずかな物理的ボタン、キーまたはスイッチだけを有する。還元すれば、物理的ボタン、キーまたはスイッチを電子機器の前面から排除することによって、追加となる表面積は、大きいディスプレイのために利用可能となる。最終的には、この戦略により、実質的なフルスクリーンディスプレイを可能とするであろう。ここで用いられるように、フルスクリーンディスプレイは、電子機器の表面（例えば、前面）を使いつくし、あるいは少なくとも支配するディスプレイである。

多機能ハンドヘルド装置の種々の実施形態は、図２〜図２８を参照して以下に論じられる。しかしながら、当業者は、これらの図面に関してここで示される詳細な記述が模範的であり、網羅的ではないこと、およびこれらの実施形態に多くの変形が可能であることを認識するであろう。

（ａ）〜（ｆ）は種々の電子機器の図である。 多機能ハンドヘルド装置の簡略図である。 限定数の限定されたボタンを有する実質的にフルスクリーンのハンドヘルド装置の斜視図である。 少なくとも１つのボタンを有するハンドヘルド装置の正面図である。 標準領域および制御領域に分離されたＧＵＩの図である。 標準領域および制御領域に分離されたＧＵＩの図である。 標準領域および制御領域に分離されたＧＵＩの図である。 標準領域および制御領域に分離されたＧＵＩの図である。 ＰＤＡ用の模範的なＧＵＩを示す。 携帯電話用の模範的なＧＵＩを示す。 メディアプレーヤ用の模範的なＧＵＩを示す。 ビデオプレーヤ用の模範的なＧＵＩを示す。 ゲームプレーヤ用の模範的なＧＵＩを示す。 カメラ用の模範的なＧＵＩを示す。 ＧＰＳ用の模範的なＧＵＩを示す。 ハンドトップ用の模範的なＧＵＩを示す。 遠隔制御器用の模範的なＧＵＩを示す。 多機能ハンドヘルド装置のメインメニュー用の模範的なＧＵＩを示す。 力感知ディスプレイを組み込んだハンドヘルド装置の側断面図である。 タッチされたときにｘ、ｙおよびｚ成分を提供するために、タッチ感知装置と力感知装置とを組み合わせた入力装置を示す。 タッチスクリーンを備えるディスプレイと力感知機構とを組み合わせたＩ／Ｏ装置の側面図である。 入力装置の側面図である。 スクイーズ機能を含むハンドヘルド装置の側断面図である。 ハンドヘルド電子機器の側断面図である。 タッチ感知方法のブロック図である。 タッチ感知方法のブロック図である。 ミュージックプレーヤに関連したタッチ語彙の一例を表すテーブルである。 ミュージックプレーヤに関連したタッチ語彙の一例を表すテーブルである。 ミュージックプレーヤに関連したタッチ語彙の一例を表すテーブルである。 ミュージックプレーヤに関連したタッチ語彙の一例を表すテーブルである。 ミュージックプレーヤに関連したタッチ語彙の一例を表すテーブルである。 模範的な多機能ハンドヘルド装置のブロック図である。

本発明は、添付の図面に関連して以下の詳細な説明を参照することにより最もよく理解されるであろう。

１．多機能性
電子機器の製造業者は、多機能装置を作るために、別々のハンドヘルド電子機器を組み合わせることについての利点を発見した。一つの多機能装置を持つことにより、ユーザは、複数の装置を持ち歩いたり、購入したり、維持したりすることで悩まされることはない。また、ユーザは実行可能な操作に制限されることはない。すなわち、ユーザは、他の方法で異なる装置の使用を必要とするであろう異なる操作を一つの装置で実行することができる。

ここで用いられるように、用語「多機能の（multi-functional）」は、２つ以上の伝統的な装置の能力を一つの装置内に有する装置を定義するために用いられる。多機能装置は、例えば、以下の装置の機能性、すなわち、ＰＤＡ、携帯電話、ミュージックプレーヤ、ビデオプレーヤ、ゲームプレーヤ、デジタルカメラ、ハンドトップ、インターネット端末、ＧＰＳおよび遠隔制御器の２以上の機能性を含む。一つの装置に追加される各新しい装置機能性のために、装置の複雑さおよびサイズは増加する傾向にある。そのため、ハンドヘルド装置では、典型的に、まだ装置の機能性を極大化しつつ、設置面積を小さくすることに対する警鈴と複雑さを低減することに対する警鈴との間のトレードオフがある。

ある場合には、複数の装置を組み合わせることにより、余分なハードウェアコンポーネントをもたらすかもしれない。このような組み合わせにより、多数の異なる装置の機能性のために構成要素を用いることができる。他の場合には、あるハードウェアコンポーネントは各装置に対して別であり、そのため、追加のスペースおよび結合性が利用可能にされなければならない。また、典型的に、各装置の機能性は、それ自身のプログラミングあるいはアプリケーションソフトウェアを有し、そのため、多機能装置は、種々のソフトウェアコンポーネントのすべてを収容するのに十分なメモリを持つように設計されなければならない。

パーソナル携帯情報機器（ＰＤＡ）は、個人使用やビジネス使用のためのコンピュータ計算、情報ストレージおよび検索能力を提供するモバイルハンドヘルド装置である。ＰＤＡは、名前、住所、電話番号およびアポイントメントを別々に追跡することができる。また、ＰＤＡは、しばしば、ノートを取ったり、計算、ページング、データメッセージ送信および電子メールを実行したりすることもできる。また、ＰＤＡは、簡単なゲーム、ミュージックおよび他のメディアファイルをプレイする機能性を含んでもよい。ＰＤＡの例としては、パームパイロット（Palm Pilot）やブラックベリー（Blackberry）が含まれる。

ほとんどのハンドヘルド装置のように、典型的に、ＰＤＡはディスプレイと種々の入力装置とを含む。入力装置は、手書き認識プログラムとともに実行するスタイラスおよびタッチスクリーンと、キーパッドと、ミニキーボードと、ナビゲーションパッドと、ソフトまたは固定機能ボタンとの少なくともいずれかを含んでもよい。

携帯電話は、ユーザがセルラーネットワークを用いて他の電話に接続することを可能にする移動電話である。携帯電話は、典型的に、発話および受話のためのトランシーバと、ディスプレイを介してトラバースするナビゲーションパッドなどの制御部と、数字入力（およびある場合にはアルファベット入力）のためのキーパッドと、ソフトまたは固定機能ボタンとを含む。例えば、多くの携帯電話では、一つの固定機能ボタンが通話を開始するために用いられ、もう一つの固定機能ボタンが通話を終了するために用いられる。

メディアプレーヤは多様な形式で提供されている。ミュージックプレーヤは、一般に音楽を格納し、処理し、出力するよう構成される。ミュージックプレーヤは、音楽の圧縮システムであるＭＰ３またはＡＡＣフォーマットに基づくことができる。ミュージックプレーヤは、典型的に、マイクロプロセッサ、メモリ、ディスプレイ、オーディオジャック、データポートおよび再生制御部を含む。再生制御部は、典型的に、メニュー、再生／一時停止、次へ、前へ、ボリュームアップおよびボリュームダウンなどの機能を含む。ビデオプレーヤは、ほとんどの点でミュージックプレーヤと類似している。ある場合には、ビデオプレーヤは、ＤＶＤなどの取り外し可能な記憶メディアを受け入れるためのデータ記憶装置を含んでいてもよい。カリフォルニア州クパチーノのアップルコンピュータ社により製造されるｉＰｏｄ（登録商標）メディアプレーヤはメディアプレーヤの一例である。

ハンドトップは、ラップトップ（ノートタイプ）に類似する汎用コンピュータであるが、より小さい形状因子である。典型的に、ハンドトップはディスプレイとフルキーボードとを含む。

図２は、多機能ハンドヘルド装置１００の簡略図である。多機能ハンドヘルド装置１００は、少なくとも２つの装置１０２を一つの装置に統合している。各装置１０２は、ハードウェアコンポーネント１０４とソフトウェアコンポーネント１０６の両方を含み、それらは多機能ハンドヘルド装置１００に統合される。多機能ハンドヘルド装置１００が２つの装置のみに限定されず、実際にはあらゆる数の装置を統合してもよいことが指摘されるべきである。

また、多機能ハンドヘルド装置１００はスイッチ１１０を含む。このスイッチ１１０により、一装置操作モードから別の装置操作モードに多機能ハンドヘルド装置１００を切り替えることができる。例えば、スイッチ１１０は、ユーザが携帯電話、メディアプレーヤおよびＰＤＡの操作モードを循環させることを可能にしてもよい。特定の操作モードが選択されると、多機能ハンドヘルド装置１００は選択された装置として機能する。例えば、選択された装置に関するプログラミングは、多機能ハンドヘルド装置１００により使用のために活性化される。プログラミングは、ユーザによりなされた入力が使用中の装置に関係するように、選択された装置に基づいてユーザインタフェースを再構成することを含んでもよい。例えば、ソフトボタン、スイッチまたはダイアルと同様に、いずれかの物理的ボタン、スイッチまたはダイアルの機能は、選択された装置に対応するよう再構成され得る。

しかしながら、多機能ハンドヘルド装置１００の操作モードは、完全に独立している必要はない。多くの場合、多数の機能性が互いに相互作用することができることが望ましい。例えば、ユーザは、ＰＤＡでコンタクトを取りたい電話番号を検索し、ダイアルすべき電話番号を電話機能に渡せばよい。

２．形状因子
ハンドヘルド装置の形状因子は、一般に、片手で容易に保持することができる装置である。典型的なハンドヘルド装置は、その装置の前面上部の小さいディスプレイと、装置の前面下部の入力制御部とを含む。さらに、そのハンドヘルド装置は、上面、下面および側面に制御部およびポートを含んでいてもよい。先行技術のハンドヘルド装置は、典型的に、これらの装置のユーザにいくらかの不満をもたらす小さいディスプレイを有していた。
一般的に、多くの情報を表示することができ、あるいは表示されている情報をより容易に見ることができる（例えば、より大きいテキスト）ような大きいディスプレイを有することが好ましい。特にビデオプレーヤおよびゲームプレーヤの場合、小さいディスプレイよりも大きいディスプレイがはるかに好ましい。

しかしながら、しばしば要求される入力制御部が利用可能なスペースの相当の部分を塞いでしまうため、大きいディスプレイの使用は過去において制限されていた。また、装置機能性が集中するにつれて、各装置がそれ自身専用の制御部を含むならば、典型的に、装置上の制御部の数は増加してしまう。そのため、装置をより大きくするか、新しい制御部すべてを収容するために、ディスプレイをより小さくしなければならない。いずれの結果も満足し得ない。より大きい装置はかさばって、使用しづらく、より小さいスクリーンは、情報を中継し、そのスクリーンから情報を読み取るために利用するのが困難である。

Ａ．片手対両手の操作
ハンドヘルド電子機器は、片手操作または両手操作に向けられればよい。片手操作では、使用中ユーザインタフェースで操作を実行するとともに、装置を保持するために、一方の手が用いられる。携帯電話およびメディアプレーヤは、ハンドヘルド装置の一例であり、一般的に、単独で片手で操作可能なように意図される。携帯電話の場合、例えば、ユーザは、片手の指と手のひらの間に携帯電話をつかみ、キー、ボタンあるいは♯ジョイパッドを用いて入力するために親指を用いればよい。

両手操作では、装置を保持するために片手を用いつつ、使用中もう一方の手がユーザインタフェースで操作を実行する。その代わりに、使用中両手で操作を実行するとともに、装置を保持してもよい。ＰＤＡおよびゲームプレーヤは、典型的に両手で操作されるハンドヘルド装置の一例である。ＰＤＡの場合、例えば、ユーザは、片手で装置をつかみ、その装置を保持しつついずれかの手でまたは両手を用いて入力すればよい。

Ｂ．設置面積／サイズ
ハンドヘルド装置は、設置面積やサイズの異なる多様性を有してもよい。設置面積は、典型的に、装置がどのように使用されるかに関連する。ＰＤＡなどの装置は、典型的に、両手で用いられるため、より大きい傾向にある。その代わりに、携帯電話は、典型的に、片手で用いられるため、より小さい傾向にある。多数の装置を統合するとき、装置の適切な設置面積を決定するのが重要なタスクである。例えば、ある人は、ＰＤＡは電話として使用するにはあまりにも大きく、携帯電話はＰＤＡとして使用するにはあまりにも小さいと信じている。一般的に、設計者は、その装置の主な用途を考慮し、その用途に設置面積を調整しなければならない。いくつもの異なった設置面積があるが、典型的には最小設置面積と最大設置面積がある。設置面積が大きすぎても小さすぎても、装置を使用するのは困難になってしまう。

装置サイズのため、典型的に、より小さい装置はポケットに入れられ、より大きい装置はそうされない。メディアプレーヤは、ユーザのポケットに入れられるサイズのハンドヘルド装置の一例である。ポケットサイズにすることにより、ユーザは、装置を直接持ち運ぶ必要はなく、そのため、ユーザが移動するほとんどの場所に装置を持っていくことができる（例えば、ユーザは、ノートブックコンピュータのように、大きな、かさばった、時には重い装置を持ち運ぶことにより制限されない）。

一般に、必ずしも必要ではないが、本明細書に開示されるタイプのハンドヘルド装置は、およそ５インチ×３インチ×１インチの寸法を有するのが好ましく、４．１インチ×２．４インチ×０．７５インチの寸法を有するのがより好ましい。

Ｃ．フルスクリーンディスプレイ
多機能ハンドヘルド装置の設置面積がその装置の意図された主な用途により実質的に固定されるので、設計者がユーザインタフェース用の適切なレイアウトを決定することが重要となる。例えば、ある装置は、限られた数のボタンと大きいディスプレイとを備えるとよりよく動作するが、他の装置は、多くのボタンまたは完全なキーボードと小さいディスプレイとを備えるとよりよく動作するかもしれない。

好ましい多機能ハンドヘルド装置は、フルスクリーンディスプレイまたはほとんどフルスクリーンディスプレイを備えるように構成されてもよい。フルスクリーンディスプレイは、実質的にその装置の前面全体を使い果たす。そのディスプレイは、端部から端部まで延びていてもよく、その装置の端部におけるハウジングの小さいベゼル内に適合してもよい。フルスクリーンディスプレイは、ハンドヘルド電子機器のハウジングの前面の９０％以上を使い果たす。

フルスクリーンディスプレイは、装置の設置面積全体に応じて種々の異なる構成を有してもよい。装置が幅広であれば、フルスクリーンディスプレイは、概ね４：３の従来の縦横比を有すればよい。装置が細長ければ、フルスクリーンディスプレイは、１６：９のようなよりパノラマの縦横比を有すればよい。

Ｄ．機械式アクチュエータの限定数
フルスクリーンディスプレイを収容するために、好ましくは、多機能ハンドヘルド装置は、限定数の物理的ボタンを有するよう構成される。限定数の物理的ボタンが設けられると、好ましくは、ハンドヘルド装置は、主な入力装置としてタッチスクリーンを用いる。
タッチスクリーンは、ディスプレイ上に位置する透明なタッチ感知装置である。典型的に、タッチスクリーンはディスプレイ上に示されるＧＵＩと関連して動作する。例えば、ＧＵＩは、スクリーン上のボタンを提供してもよく、ユーザがそのスクリーン上のボタンを押すとき（例えば、スクリーン上のボタンにユーザの指やスタイラスを置くとき）、タッチスクリーンはそれを検出すればよい。以下、タッチスクリーンおよびＧＵＩをより詳細に説明する。

ハンドヘルド装置は、十字機能物理的ボタンのみを有するよう構成されてもよい。すなわち、個別の装置に専用のボタンはない。これらのタイプのボタンは、電源ボタンやホールドスイッチを含んでもよい。別の実施形態では、ハンドヘルド装置は物理的ボタンを全く含まなくてもよい。いくつかの実施形態では、物理的ボタンは、ハンドヘルド装置の側面および背面のみに限定される。他の実施形態では、ハンドヘルド装置の物理的ボタンは、ユーザが装置を物理的に保持する側面の領域（すなわち、保持領域）にボタンがないように、上部および下部の側面に限定される。さらに他の実施形態では、物理的ボタンは、前面上であるが、ディスプレイを囲むベゼル領域のみに位置してもよい。いくつかの実施形態では、ボタンは装置の上面および底面のみに位置してもよい。

図３は、限定数のボタンを有する実質的にフルスクリーンの多機能ハンドヘルド装置１２０の斜視図である。前面１２４および側面１２６上に物理的ボタンはない。前面はディスプレイ１２２として完全に用いられる。また、側面１２６が装置１２０をつかむために用いられるので、装置を保持している間にユーザが不注意でボタンを押す場合に偶然のアクションを防止するために、側面にはボタンがないままにするのが好ましい。典型的に、装置を保持するために上面１２８および底面１３０は用いられないが、これらの面は、しばしば作動させるボタンのための理想の位置ではない。なぜならば、片手で装置を操作するとき、これらのボタンに届かせるのは扱いにくいからである。

上面１２８は、十字機能的な、例えば電源やホールドスイッチであるアクションや一般的機能を限定したボタンのために取っておかれてもよい。また、上面１２８および底面１３０は、入出力（Ｉ／Ｏ）および通信ポートを配置するのに適切である。上面１２８は、例えば、ヘッドセット／マイクロフォンジャックおよびアンテナを含んでもよく、底面１３０は、電源およびデータポートを含んでもよい。

ある場合には、つかんでいる手から離れた側面１２６の上部または下部領域にボタンを配置するのが望ましい。これは、特に、つかんでいる手の幅よりも大きい細長い装置に最適である。図４に示すように、ハンドヘルド装置１２０は、このハンドヘルド装置１２０の側面１２６上の上部領域に１つのボタン１４０を含む。ボタン１４０が上部領域にあるので、ボタン１４０は、つかんでいる手から離れている傾向にあり、そのため、偶然の活性化を実質的に排除する。上部ボタンは、多機能装置の機能性を切り替えるように構成されてもよい。すなわち、ボタン１４０は、図２のスイッチ１１０であればよい。例えば、ボタン１４０を押すことにより、新しい装置機能性が活性化され、現在の装置機能性が不活化される。用語「ボタン（button）」を用いているが、ボタン１４０は、ダイアル、ホイール、スイッチなどに対応してもよいことを認識されたい。

一般に、要求されないが、物理的ボタンの数を８以下、好ましくは５以下に限定するのが好ましい。

３．適応性
装置上の物理的制御部の数を制限するために（それにより、ディスプレイ面積を最大化するために）、多機能ハンドヘルド装置は改変可能であるのが好ましい。すなわち、装置は、どのように用いられるかに基づいてそのＵＩを変更することができる。例えば、多機能装置の携帯電話機能が用いられるならば、ＵＩは携帯電話を収容するために変化する。
その代わりに、多機能装置のＰＤＡ態様が用いられるならば、ＵＩはＰＤＡなどを収容するために変化する。本質的に、多機能装置は、その装置の状態またはモードに基づいてユーザインタフェースを再構成することができる。

適応性は、各装置の機能性のための限定数の物理ボタンの機能を再割り当てすることにより達成されてもよい。例えば、第１装置が活性化されているときあるボタンが一機能を実行してもよく、別の装置が活性化されているとき別の機能を実行してもよい。これが動作している間、それは、物理的制限（すなわち、ボタン数）に苦しみ、（異なるボタンの意味を記憶しなければならない）ユーザを混乱させ得る。

その代わりに、適応性は、各機能のための物理的入力をタッチスクリーンに関連してＧＵＩに事実上統合することにより、達成されてもよい。これにより、ＧＵＩは選択された装置に適合することができ、タッチスクリーンは、ＧＵＩに対応する入力を受け付けることができる。各機能性のためのＧＵＩでは、ハンドヘルド装置用のＵＩは、多機能装置が結果的に特定の装置になるように適合させる。例えば、携帯電話機能が選択されると、ＧＵＩは、携帯電話で典型的に用いられる物理的制御部（例えば、キーパッド、機能ボタン、可能であれば、ナビゲーションパッドなど）と同様に見える仮想またはソフト制御部を提供する。

ディスプレイ全体は、この情報を示すために用いられてもよく、ディスプレイの一部だけがＧＵＩ制御部のために用いられてもよい。後者の場合には、図５〜図８において、ＧＵＩ１５０は標準領域１５２と制御領域１５４とに分離されてもよい。標準領域１５２は、特定の装置を使用するときディスプレイ１２２上に通常表示されるものを表す。すなわち、選択された装置に関連した標準ＧＵＩスクリーンは標準領域に表示される。例えば、ＰＤＡの場合には、メインメニュー（アイコンセットを備えるウィンドウ）、カレンダー、アドレスブックまたはデートブックは、標準領域１５２に表示されてもよい。一方、制御領域１５４は、通常特定の装置上に物理的に配置される物理的制御部を事実上表す。すなわち、物理的制御部をまねる仮想の制御部は制御領域１５４に表示される。例えば、ＰＤＡの場合には、制御領域１５４は、手書き認識領域、ナビゲーションパッドおよび標準機能ボタンの仮想表示を含めばよい。

標準領域１５２および制御領域１５４は、ディスプレイ１２２上のあらゆる位置（上部、底部、側部、中心部など）に置かれてもよい。例えば、それらは、図５に示すように、互いに垂直に（他方の上部に一方が）配置されてもよく、図６に示すように、互いに水平に（並んで）配置されてもよい。人物モードまたは風景モードにおいてこれらの構成を用いることができる。例として、装置が風景モードで操作される場合には、標準領域１５２は片側に配置されればよく、制御領域１５４は反対側に配置されればよい。風景配向は、例えば、片手の操作を容易にしてもよい。ある場合には、制御部が表示される側は、ユーザの利き手に基づく。例えば、制御部は、右利きのユーザには右側に配置されればよく、左利きのユーザには左側に配置されればよい。その代わりに、制御部は、図７に示すように、両側に配置されてもよい。この配置は、特に、ゲームをプレイするのみ適切である。
また、各部に専用の面積量は広範囲に変更されてもよい。例えば、スクリーンは、等しく分割されてもよく、他の場合には、一方または他方の部分がディスプレイの多い部分を構成する。ある場合には、標準領域１５２は、ディスプレイの標準視聴エリアを増加させるために最大化される。

特定の機能性が使用のために選択されると、ハンドヘルド装置は、選択された機能性のためのソフトウェアをロードし、標準領域１５２および制御領域１５４を含むＧＵＩ１５０を構成する。そのため、制御領域１５４の制御部は、何が標準領域１５２に示されるかを制御するために用いられてもよい。ある場合には、制御領域１５４は、特定の装置用の各表示ウィンドウのニーズに応じて変化さえしてもよい。

その代わりに、図８に示すように、標準領域１５２がディスプレイ１２２全体を完全に利用することができるように、仮想制御部１６０は標準領域１５２の上に重ねられてもよい。実際、仮想制御部１６０は必要に応じて現れたり、消えたりするのがよい。例えば、ユーザがスクリーンにタッチし、これにより、既に表示されているものを含むディスプレイの部分の上に制御部を表示するように装置を駆動させてもよい。２００５年１月１８日に出願され、「タッチ感知入力装置のためのモードベースグラフィカルユーザインタフェース」と題する米国特許出願第１１／０３８，５９０号において、このように操作する仮想制御部の例を見出すことができる。

Ａ．機能性に基づいたＧＵＩ
図９〜図１７は、多機能装置の異なる状態またはモードのためのＧＵＩの種々の例を示す。

図９はＰＤＡモードで用いられるＧＵＩ１７０の図である。図示のように、ＧＵＩ１７０は標準領域１５２および制御領域１５４に分割される。仮想手書きパッド１７２、４つの仮想ボタン１７４および仮想ナビゲーションパッド１７６が制御領域１５４内に位置する。

図１０は携帯電話モードで用いられるＧＵＩ１８０の図である。図示のように、ＧＵＩ１８０は、標準領域１５２および制御領域１５４に分割される。仮想キーパッド１８２、仮想ナビゲーションパッド１８４および２つの仮想ボタン１８６が制御領域１５４内に位置する。

図１１はメディアプレーヤモードで用いられるＧＵＩ１９０の図である。図示のように、ＧＵＩ１９０は、標準領域１５２および制御領域１５４に分割される。仮想スクロールホイール１９２および５つの仮想ボタン１９４が制御領域１５４内に位置する。仮想スクロールホイールについての追加の詳細は、２００５年１月１８日に出願され、「タッチ感知入力装置のためのモードベースグラフィカルユーザインタフェース」と題する米国特許出願第１１／０３８，５９０号で提供される。

図１２はビデオプレーヤモードで用いられるＧＵＩ２００の図である。図示のように、ＧＵＩ２００は、標準領域１５２および制御領域１５４に分割される。複数の仮想ボタン２０２が制御領域１５４内に位置する。その代わりに、ビデオプレーヤがフルスクリーン視聴モードに関連して主に用いられるので、制御部は必要に応じて現れたり、消えたりしてもよい。

図１３はゲームプレーヤモードで用いられるＧＵＩ２１０の図である。図示のように、ＧＵＩ２１０は、標準領域１５２と、この標準領域１５２の両側部の２つの制御領域１５４Ａおよび１５４Ｂとに分割される。左側制御領域１５４Ａはナビゲーションまたは方向パッド２１２を含み、右側制御領域１５４Ｂは４つの仮想ボタン２１４を含む（あるいは、ユーザの特定の必要性に応じて左右が反対であってもよい）。

図１４はカメラモードで用いられるＧＵＩ２２０の図である。図示のように、ＧＵＩ２２０は、標準領域１５２および制御領域１５４に分割される。標準領域１５２は、ファインダを表せばよい。例えば、写真クリック、ズーム、フラッシュなどを含む種々のボタンが制御領域１５４内に位置する。また、メニューナビゲーションを通してまたはそれのために写真をスクロールすることができるように、ナビゲーションパッド２２４が含まれていてもよい。

図１５はＧＰＳ受信機モードで用いられるＧＵＩ２３０の図である。図示のように、ＧＵＩ２３０は、標準領域１５２および制御領域１５４に分割される。例えば、ズーム、パンなどを含む種々のボタン２２２が制御領域１５４内に位置する。また、ナビゲーションパッド２２４も含まれていてもよい。

図１６はハンドトップモードで用いられるＧＵＩ２４０の図である。図示のように、ＧＵＩ２４０は、標準領域１５２および制御領域１５４に分割される。仮想キーボード２４２が制御領域１５４内に位置する。

図１７は遠隔制御器モードで用いられるＧＵＩ２５０の図である。図示のように、ＧＵＩ２５０は、標準領域１５２および制御領域１５４に分割される。ＴＶ、ＤＶＤプレーヤ、Ａ／Ｖアンプ、ＶＨＳ、ＣＤプレーヤなどの遠隔の装置を制御するのに関連付けられた種々のキーおよびボタン２５２が制御領域１５４内に位置する。

Ｂ．装置（ＧＵＩ）の切り替え
特定の装置機能性を使用可能とする前に、典型的に、それは使用のために選択されなければならない。その選択は様々な形式ですることができる。例えば、ソフトボタンやアイコンを含むメインメニューを介してその選択がなされてもよい。選択されると、ソフトボタンやアイコンは、それソフトボタンに関連した装置機能性を活性化する。活性化の間、その特定の装置用のＧＵＩはディスプレイ上に示され（図９〜図１７参照）、その装置に関連したソフトウェアは、インストールされ、ロードされ、あるいは作動する。それ以降、多機能装置は選択された装置のように作動する。

図１８は、多機能装置の模範的なメインメニューＧＵＩ２６０を示す。図示のように、ＧＵＩ２６０は、種々の装置機能性のそれぞれを起動させるためのアイコン／ボタン２６２を含む。この特定の例では、メインメニューページ２６０は、ＰＤＡボタン２６２Ａと、携帯電話ボタン２６２Ｂと、ミュージックプレーヤボタン２６２Ｃと、ゲームプレーヤボタン２６２Ｄと、ビデオプレーヤボタン２６２Ｅと、ＧＰＳボタン２６２Ｆと、遠隔制御部ボタン２６２Ｇと、カメラボタン２６２Ｈと、ハンドトップボタン２６２Ｉとを含む。種々のボタン２６２は仮想ボタンである。あるボタンが押されると、選択された機能性のためのメインページ（例えば、図９〜図１７に示すような）がディスプレイ上に示される。別の装置を選択するには、ユーザは、各装置のＧＵＩに位置するソフトホームボタン２６４を単に選択し、メインメニューページ２６０に戻り、その後メインメニューページ２６０内の所望の機能性を選択する。

また、その代わりの機能性の選択は、所望のＧＵＩを見付けるまで種々のＧＵＩを通してフリップ（めくる）こと（あるいはスクロールすること）により達成されてもよい。例えば、次の（フリップ）コマンド信号（例えば、スライドショー効果）が生成されると、異なるＧＵＩは、ページ（あるいはフレーム）を次々と示してもよい。ページ間の遷移は大きく変化されてもよい。その遷移は、左右に、上下に、中央から中央になされてもよい。また、その遷移は、フェードイン・アウト、ポップイン・アウト、あるいは大きくなり・小さくなることを含めばよい。コマンド信号は、物理的または仮想ボタンあるいはホイールにより生成されればよい。ボタンを用いる各押下により、新しいページが表示されればよい。ホイールを用いる所定量の回転により、新しいページが表示されてもよい。

また、コマンド信号は、種々の他の方法で生成されてもよい。例えば、コマンド信号は、タッチスクリーン上で始められるジェスチャーにより生成されてもよい。例えば、ディスプレイを横切る指（またはスタイラス）のスライドにより、新しいページが表示されてもよい。右にスライドすると、次のページが表示され、左にスライドすると、前のページが表示されればよい。また、コマンド信号は、ハンドヘルド装置全体が空間的に移動されると生成される３Ｄ装置ジェスチャーによって生成されてもよい。例として、装置を振ることにより、新しいページが表示されてもよい。

さらに、コマンド信号は、装置に与えられる力によって生成されてもよい。例として、装置をぎゅっと握ることにより、新しいページが表示されてもよい。また、コマンド信号は、加速度計により感知されるように、地面に関して、あるいは、内部コンパスにより示されるコンパス方位に関して、装置の配向を感知することにより生成されてもよい。例えば、装置が０°であるならば、最初のページが表示され、９０°では第２ページが表示され、１８０°では第３ページが表示され、２７０°では第４ページが表示される。

また、コマンド信号は、ユーザの声をモニタする（すなわち、音声認識）により生成されてもよい。ユーザが「電話」と呼び出すならば、携帯電話に関連したページが表示され、「ＰＤＡ」と呼び出すならば、ＰＤＡに関連したページが表示される。

また、コマンド信号は、（無線またはケーブルを介して送信されるか否かにかかわらず）他のシステムから入ってくる信号をモニタすることにより生成されてもよい。例えば、電話を受けると、装置は、自動的に携帯電話としてシステムを構成してもよい。その代わりに、装置は電話を取るか見送るための制御パネルを提供のみしてもよい。

複数の機能性を統合するための選択肢として、装置は種々のモードを別々に保持するように構成されてもよい。すなわち、装置は、（レイヤおよびＧＵＩが統合されて）機能性を一緒に統合するのではなく、代わりにそれらを互いに全く別なものとして保持する。ある場合には、異なる機能性を全く別として保持することにより、ユーザの混乱が低減され得る。

Ｃ．少なくとも２つの機能性の同時操作
好ましくは、ユーザは、２つ以上の装置機能性を同時に活性化することができてもよい。そのような場合、多数の機能性のためのソフトウェアが同時に活性化され、ディスプレイは、スクリーンが特定の装置ＧＵＩを含む異なる複数のセクションに解析される分割スクリーンモードで作動する。一般に、これは、スクリーン上に適合する各機能性のためのＧＵＩを必要とする。多機能モードは、種々の方法で選択されてもよい。一実施では、ユーザが２以上の装置アイコンを同時にタッチすると、装置は、多装置機能性を活性化し、適当なＧＵＩをスクリーンに示させる。

Ｄ．構成可能なＧＵＩ（ユーザ選択）
各装置機能性のためのＧＵＩ制御パネルはユーザにより構成可能であってもよい。例えば、ユーザは、各装置のためのユーザ自身のＵＩを設計またはカスタマイズし、ＵＩの種々の要素に複数の機能を割り当てればよい。複数の機能は、コマンド開始、アイテム選択、ファイルまたはドキュメントを開く、プログラム起動、命令実行、ディスプレイスクリーンでのメニュー視聴などを含めばよい。ユーザにより構成可能なパラメータは、ＧＵＩ要素（ボタン）のページ上の位置と同様に、ＧＵＩ要素の数およびタイプを選択することを含めばよい。ある場合、システムは、ユーザがＵＩレイアウトをレビューあるいはカスタマイズするのを可能にするデザインパレットを含んでもよい。すなわち、ユーザが前に設定されもしくはデフォルトのレイアウトを素早く便利にレビューし、それを変更することを可能にしてもよい。一度変更されると、修正されたレイアウトは、自動的にセーブされ、それにより将来のイベントを処理するために用いられる。

４．入力装置
ハンドヘルドコンピュータのための現在の入力装置には多くの問題がある。例えば、ますます多くのボタンが小さいスペースに適合されなければならないので、各装置に必要であるすべての専用の物理的ボタンを適合する現実的な方法がない。多くの物理的ボタンが装置に統合され、ボタンがともにより接近し、これによりユーザの器用さを敢えて要求するという関連する問題が起こる。さらに、物理的ボタンが突出するので、通常の使用中、あるいは例えばユーザのポケット内で装置を搬送している間に、それらはしばしば偶然に活性化される。最終的に、多くの小さい物理的ボタンは、美的に満足しないとともに、ユーザを混乱させ得る。

これらのおよび他の問題を解決するために、種々の代わりの入力アレンジメント（物理的ボタン、スイッチなどに加えて、あるいはその代わりに）が提案されている。基本的なアイデアは、物理的および機械的入力機構の数（それゆえ、装置の表面上に必要とされる専用スペースの量）を減らし、あるいは物理的および機械的入力機構を完全に排除することである。物理的入力装置を削減または排除することにより、電子機器の表示を最大にすることができ、あるいは、電子機器のサイズを最小にすることができる。さらに、そのような装置は美的にもより満足する。ある場合には、ディスプレイのみを有するが、専用の物理的入力装置を有さないと思われるように、ハンドヘルド装置を構成することができる。

また、代わりの入力手段がユーザには見えないように視界から隠れていてもよい。結果として、ハンドヘルド電子機器は、目に見えるボタン、スイッチなどがないディスプレイのみを有すると思われてもよい。そのような装置は、より美的に満足し（例えば、ギャップや線による中断のないなめらかな表面を備えればよい）、多くの場合、スクリーンサイズおよび入力機能性を犠牲にすることなく、装置をより小さくすることができる。

Ａ．タッチスクリーン
一つの特に適切な入力アレンジメントはタッチスクリーンである。ＧＵＩに関連したタッチスクリーンは、ハンドヘルド装置の主な入力アレンジメントとして構成されてもよい。タッチスクリーンは、基本的に、ディスプレイの前面に配置された透明な入力パネルである。指またはスタイラスのようなオブジェクトがタッチし、あるいはタッチスクリーンの表面を横切って移動されるとき、タッチスクリーンは入力信号を生成する。ほとんどの場合、タッチスクリーンにより、ユーザは、ディスプレイスクリーンを指で単にタッチすることにより、ＧＵＩを選択したり、その移動を開始したりすることができる。例えば、ユーザは、ディスプレイスクリーンに表示されているグラフィカルオブジェクトを直接指すことによりそれを選択してもよい。これは、ハンドヘルド電子機器の特定のアクションを実行するためのスクリーン上のボタンに対応する。一般に、タッチスクリーンは、ディスプレイ上のタッチおよびタッチ位置を認識し、ハンドヘルド電子機器の制御部は、そのタッチを解釈し、その後そのタッチイベントに基づいたアクションを実行する。抵抗性、容量性、赤外線および表面弾性波を含むいくつかのタイプのタッチスクリーン技術がある。

多機能ハンドヘルドコンピュータの好ましいタッチスクリーンはマルチポイント容量性タッチスクリーンである。そのようなタッチスクリーンは、独立した空間的に別のいくつかの感知ポイント、ノードまたは領域を備える。それらはタッチスクリーンを通して配置される。感知ポイントは、タッチスクリーンの表面の異なる位置を表す各感知ポイントを有するタッチスクリーンについて分散される。感知ポイントは、それぞれが信号を生成することができるグリッドまたはピクセルアレイに配置されてもよい。オブジェクトがある感知位置上に置かれるたびに信号が生成される。オブジェクトが多数の感知位置上に置かれ、あるいは、オブジェクトが多数の感知位置間またはその上で移動されるとき、多数の信号を生成することができる。一般に、感知ポイントは、タッチスクリーン平面をデカルト座標系や極座標系のような座標系にマッピングする。そのようなタッチスクリーンの一例は、２００４年５月６日に出願され、「マルチポイントタッチスクリーン」と題する米国特許出願第１０／８４０，８６２号に開示される。

Ｂ．タッチ感知ハウジング
また、ハンドヘルド電子機器は、装置ハウジング自身の１以上のタッチ感知面を統合してもよい。タッチ感知面はタッチ入力を追跡するためのより大きな表面か専用の機能を実行するためのタッチボタンなどのより小さい専用領域のいずれかを提供する。そのような表面は、ハウジングのあらゆる面、ハウジングのあらゆる側面、ハウジングのあらゆる側面のあらゆる部分、あるいはハウジングの表面上の専用の位置に位置してもよい。例えば、タッチ領域は、ハウジングの側面または背面に位置してもよく、ハウジングの前面に位置するベゼルにさえ位置してもよい。これらのすべての場合、ハウジングの前面の大きな部分は、ハンドヘルド電子機器の視聴領域を最大化することができるように、ディスプレイのためにセーブされる。ハウジングのタッチ感知面は、ハウジング内に配置される１以上のタッチパネルの形式を取ってもよい。その代わりに、またはそれに加えて、タッチ感知面はハウジングにより直接提供されてもよい。すなわち、タッチ感知構成要素は、ハウジング自身が（別のタッチパネルを用いるよりもむしろ）タッチ感知装置であるように、ハウジングに統合されてもよく、ハウジングの下に配置されてもよい。タッチスクリーンと同様に、タッチ感知ハウジングは、表面上のタッチおよびタッチ位置を認識し、ハンドヘルド電子機器の制御部は、そのタッチを解釈し、その後タッチイベントに基づいたアクションを実行する。タッチ面は、実質的に透明である必要がない表面を除き、基本的に、タッチスクリーンと同様に構成される。

例として、タッチ感知ハウジングは、一般に、２００５年４月２６日に出願され、「多数のタッチ感知装置を備えるハンドヘルド電子機器」と題する米国特許出願第１１／１１５，５３９号により詳細に記述されるタッチ感知ハウジングに対応すればよい。

Ｃ．ディスプレイアクチュエータ
また、ハンドヘルド多機能電子機器はディスプレイアクチュエータを含んでもよい。ディスプレイアクチュエータは、装置に入力を提供するためにハンドヘルド装置のディスプレイを（タッチスクリーンのような電気的よりむしろ）機械的に用いる入力装置である。
ディスプレイアクチュエータは、タッチスクリーンとは別にあるいはそれと組み合わせて用いられてもよい。ディスプレイアクチュエータは、移動すると１以上の入力信号が生成される可動ディスプレイを含んでもよい。そして、コマンドを始め、選択をし、ディスプレイにおける動きを制御するために、入力信号を用いることができる。

可動ディスプレイは、フレームに関して水平移動し、スライドし、回動あるいは回転するように構成されてもよい。ディスプレイは、典型的に、種々の位置に置いてディスプレイを可動的に支持するフレームまたはハウジングに関して可動である。ある場合には、ディスプレイはフレームに可動的に連結され、他の場合には、フレームは浮動ディスプレイを可動的に抑制する。

入力信号は、ディスプレイの移動をモニタし、そのような移動を示す信号を作り出す移動インジケータにより生成されてもよい。検出機構は、例えば、１以上のスイッチ、センサ、エンコーダなどであればよい。あらゆる適切な機械式、電気式、あるいは光学式スイッチ、センサまたはエンコーダが用いられればよい。例えば、タクトスイッチ、力感知抵抗器、圧力センサ、近接センサ、赤外線センサ、機械式または光学式エンコーダなどが用いればよい。移動インジケータは、必要に応じてディスプレイの下またはディスプレイの側面に配置されればよい。その代わりにまたはそれに加えて、これらの移動インジケータは、ディスプレイまたはディスプレイのある部品に取り付けられてもよい。

模範的なディスプレイアクチュエータは、２００５年２月１１日に出願され、「ディスプレイアクチュエータ」と題する米国特許出願第１１／０５７，０５０号に開示される。

Ｄ．圧力または力感知装置
上述の多機能ハンドヘルド電子機器は、力感知ディスプレイまたはハウジングのような力あるいは圧力感知装置をさらに含んでいてもよい。

（１）力感知ディスプレイ
力感知ディスプレイは、装置のディスプレイスクリーン上に圧力が加えられると、１以上の入力信号を生成させる。入力信号は、コマンドを開始したり、選択したり、ディスプレイの動きを制御するために用いられ得る。そのようなディスプレイは、一般に、ディスプレイの下に一般に設けられる力検出アレンジメントによってその上に加えられる力を測定することができるように、（ユーザには知覚できない）わずかな量のコードを提供する。力検出アレンジメントは、ディスプレイ上に加えられる力をモニタし、それを示す信号を作り出す。力検出アレンジメントは、力感知抵抗器、力感知コンデンサ、ロードセル、圧力プレート、圧電変換器、ひずみゲージなどの１以上の力センサを含んでいてもよい。
力センサは、ディスプレイの背面あるいは装置のハウジング内に位置する構造的プラットフォームに取り付けられればよい。ディスプレイに力が加えられると、ディスプレイを通してディスプレイの下に位置する力センサにその力が伝達される。

図１９は、力感知ディスプレイ３０２を統合するハンドヘルド装置３００の側断面図である。力感知ディスプレイ３０２は、ディスプレイ３０８と、そのディスプレイ３０８の下（ディスプレイと構造的プラットフォーム３０６の間）に配置される１以上の力センサ３０１とを含む。ほとんどの場合、力感知ディスプレイ３０２は、配列された複数のセンサ３１０を含む。例えば、センサ３１０は行と列に並んで配置されればよい。力センサ３１０は、ディスプレイに加えられている力の大きさを計測し、所望の力閾値に達すると、制御信号を生成する。ある場合には、ディスプレイの表面に加えられている力をディスプレイの下に配置される力センサに伝達するのを助けるために、エラストマー３１２がディスプレイと構造的プラットフォームの間に配置される。

力感知は、軽い（light）タッチと堅い（hard）タッチとを区別するために、タッチスクリーンに関連して設けられてもよい。タッチが軽いタッチか堅いタッチかの決定は、力センサでもその力をモニタし、その力を所定の閾値と比較することによりなされてもよい。力が閾値を超えないとき、そのタッチは軽いタッチとして考慮される。力が閾値を超えると、そのタッチは堅いタッチとして考慮される。各タイプのタッチは、その装置の異なる態様を制御するために用いられればよい。軽いタッチは、ナビゲーションなどの受動的なイベント（例えば、カーソル制御スクロール、パン、ズーム、回転など）に関連すればよく、堅いタッチは、選択やコマンドのような能動的イベント（例えば、ボタンクリック）に関連すればよい。

図２０は、タッチされたときにｘ、ｙおよびｚ成分を提供するために、タッチ感知装置と力感知装置とを組み合わせた入力装置３２０を示す。タッチ感知装置は、ｘ、ｙ方向の位置感知を提供し、力感知装置は、ｚ方向の力感知を提供する。これらの装置は、タッチ面上のタッチがあるか否かについてのｘ、ｙ位置およびｚ圧力情報を出力するために協動する。

図２１は、タッチスクリーン３３４を備えるディスプレイ３３２と力感知機構３３６とを組み合わせたＩ／Ｏ装置３３０の側面図である。タッチスクリーン３３４は高分解能タッチ位置を提供し、力感知機構３３６は、力全体と同様に力がどこから来るかの測定を提供する。タッチスクリーン３３４は、ディスプレイ３３２上に配置され、力感知機構３３６は、他の配置も可能であるが、ディスプレイ３３２の下に配置される。

また、力感知機構３３６は広範囲に変更されてもよい。図示の実施形態では、力感知機構３３６は、静電容量、とりわけ自己静電容量に基づく。図示の力感知機構３３６は、電極層３３８、エラストマー層３４０および導電層３４２を含む種々の層から形成される。

電極層３３８は、ディスプレイ３３２の底面を横切って配置される空間的に分離された複数の電極３３９を含む。電極３３９は、典型的に、しばしば形成する可能性があるが、行と列の配列に配置される。いくつの電極が用いられてもよい。

エラストマー層３４０は、電極層３３８と導電層３４２の間に配置される１以上の弾性部材３４１を含む。弾性部材３４１は、ディスプレイ３３２が配置の限定量で内部に移動することを可能にする。一実施では、弾性部材３４１は、約０．２ｍｍの厚さを持つシリコーンパッチである。

導電層３４２は、典型的に、接地金属板３４３の形式を取る。容量性回路は、各電極３３９と接地金属板３４３の間に形成される。ユーザがディスプレイ３３２を下に押すと、その上に加えられる力により、ディスプレイ３３２は、弾性部材を圧縮するように、弾性部材３４１に対して内側に移動される。これは、電極３３９と金属板３４３の間の静電容量の変化をもたらす。この静電容量の変化は、各電極３３９に操作可能に接続される制御回路により感知される。静電感知回路は種々の組み込まれた参考文献に開示される。

図２２は、ディスプレイ上に配置され得る入力装置３５０の側面図である。入力装置３５０は、タッチ感知および力感知を一つの装置に結合する。本実施形態では、タッチ感知および力感知の両方が相互キャパシタンスにより提供される。図示のように、入力装置３５０は、上部駆動層３５２、中間感知層３５４および底部駆動層３５６を含む種々の層から形成される。さらに、中間感知層３５４は、中間感知層３５４と底部駆動層３５６の間に配置されるエラストマー層３５８上に位置する。上部駆動層３５２および底部駆動層３５６は、列をなす空間的に分離された複数のラインを含み、中間感知層３５４は、行をなす空間的に分離された複数のラインを含む。そのため、上部層３５２および中間層３５４はグリッドを形成するとともに、底部層３５６および中間層３５４はグリッドを形成する。

作動中、上部層３５２上のラインがスキャンされ、その後底部層３５６上のラインがスキャンされる（あるいはその全く逆でもよい）。タッチがあると、上部駆動層３５２と中間感知層３５４の間で測定される相互キャパシタンスは、そのタッチのｘ、ｙ位置を提供する。さらに、底部駆動層３５６と中間感知層３５４の間で測定される相互キャパシタンスは、タッチの力の大きさを提供する。この特定のアレンジメントは、タッチのフルイメージ上に重ね合わせられる力のフルイメージを提供する。タッチ層および力層を含む入力装置は、２００４年５月６日に出願され、「マルチポイントタッチスクリーン」と題する米国特許出願第１０／８４０，８６２号に開示される方法と同様に操作されればよい。

（２）力感知ハウジング
また、ハンドヘルド装置は、力感知ハウジングを含んでもよい。力感知ハウジングは、ハンドヘルド装置のハウジングに力が加えられると、入力を提供する。力感知ハウジングは、ここにおける力感知スクリーンに類似する。ハウジングは、ハウジング内に位置する力検出アレンジメントによってその上に加えられる力を分配することができるように、（可能であれば、ユーザには知覚できない）わずかな量のコードを提供する。上記で議論した力感知ディスプレイと同様に、力検出アレンジメントは、ハウジング上の力をモニタし、それを示す信号を作り出す。力検出機構は、力感知抵抗器、力感知コンデンサ、ロードセル、圧力プレート、圧電変換器、ひずみゲージなどの、ハウジング内に配置される１以上の力センサを含んでいてもよい。ハウジングに力が加えられると（ハウジングをぎゅっと握り、あるいは押す）と、ハウジングを通してハウジング内に位置する力センサにその力が伝達される。

ハウジングの力感知部分は、ハウジングのあらゆる面、ハウジングのあらゆる側面、ハウジングのあらゆる側面のあらゆる部分上に、あるいは、ハウジングの面の専用位置に位置してもよい。ハウジングの側面は、スクイーズ（握り）機能を実行するために理想の場所である。これは、ユーザの複数の指が典型的にその装置の片側に位置し、親指が反対側に位置し、そのため手がつかむアクションを介してその側面を簡単に握ることができるためである。スクイーズ機能を活性化するのに都合がよいので、通常使用中偶然に活性化されないように、スクイーズ機能を設計するとき、特別な注意が取られなければならない。
したがって、装置は、軽い（light）タッチと堅い（hard）タッチとを区別することができる必要がある。活性表面に加えられる力の増加とともに抵抗の減少を示す力感知抵抗器（ＦＳＲ）を用いてスクイーズ機能が実行されるならば、予め設定された力閾値に達するとき活性化を示す信号を出力するために、比較回路を用いることができる。

図２３は、スクイーズ機能を含むハンドヘルド装置３７０の側断面図である。図示のように、装置３７０は、ハウジング３７２と、ハウジング３７２内の支持プラットフォーム３７４とを含む。支持プラットフォーム３７４とハウジング３７２の内表面には、一対の力センサ３７６がある。例えば、手の本質をつかむことによりハウジング３７２に力が加えられると、ハウジング３７２はその圧力下で内側に曲がる。これにより、力センサ３７６はハウジング３７２と支持プラットフォーム３７４の間に挟み込まれる。力センサ３７６は、加えられている力の大きさを測定し、所望の力閾値に到達すると、制御信号を生成する。例えば、挟み込みの結果として、力抵抗センサは低減された抵抗を示し、所望の閾値に達すると、制御信号が生成される。

力感知ハウジングは、上述のようなタッチ感知ハウジングに関連して設けられてもよい。

Ｅ．動き活性化入力装置
また、ハンドヘルド電子機器は、動き活性化入力装置を含んでいてもよい。動き活性化入力装置は、ハンドヘルド装置が動いていたり、ある方向に置かれたりしているとき、入力を提供する。動き活性化入力装置は、典型的に、加速度計のような運動センサを含む。
運動センサは、ｘ、ｙ、ｚ軸に沿った装置の動きをモニタし、それを示す信号を作り出す。運動センサは、例えば、加速度計を含めばよい。その代わりに、運動センサは、電子コンパスのような配向センサであってもよい。配向センサにより、装置は一般に水平面におけるその方向を決定することができる。運動センサは、ハウジング、または装置のハウジング内に位置する他の構造的部品に取り付けられればよい。装置に動き（ジェスチャー、揺動、手を振るなど）が与えられると、ハウジングを通して運動センサにその運動が伝達される。

運動センサが、典型的に、意図した運動だけではなく、すべての動きを計測するので、意図した運動情報は、典型的に、正確なコマンド信号を作り出すために、他の運動情報から分離されなければならない。例えば、装置を振るような大規模の運動は、主に低周波情報を作り出すであろう。逆に、振動のような小規模の運動は高周波情報を主に作り出す。
高周波情報はフィルタで取り除かれ、それにより大規模な運動（例えば、揺動）を示す低周波情報だけを残すことができる。そして、フィルタで取り除かれた後の情報を制御信号に変換することができる。

図２４はハンドヘルド電子機器３８０の側断面図である。ハンドヘルド装置３８０は、そのハンドヘルド装置３８０のハウジング３８４に取り付けられる加速度計３８２を含む。装置３８０がユーザにより移動されると、加速度計３８２はその動きを認識し、ハンドヘルド電子機器３８０の制御部は、その動きを解釈し、その後その動きイベントに基づいたアクションを実行する。

Ｆ．機械式アクチュエータ
ボタンやホイールなどのすべての表面設置アクチュエータを排除したいが、それは時には非現実的である。そのため、ハンドヘルド装置は、いくつかの表面設置アクチュエータを含んでもよい。好ましくは、これらのアクチュエータは統合された各装置に一般的である。すなわち、どの装置機能性が活性化されているかにかかわらず、その意味は同じである。また、表面設置アクチュエータが前面以外の表面に配置されるのが好ましい。これが必要とされないが、前面はディスプレイの視聴領域を収容する。

一つの特に有用な機械式アクチュエータはホールドスイッチである。ホールドスイッチは、主な入力手段、例えば、タッチスクリーンを始動および停止するように構成されてもよい。これにより、ユーザは、例えば、装置をユーザのポケット内にしまうときの不必要な入力を防止することができる。一実施では、ホールドスイッチは、つかんでいる手を避けた上面であるが、（底面とは反対のように）簡単なアクセスのための位置に配置されればよい。ホールドスイッチは、タッチスクリーンだけでなく、機械式アクチュエータおよび他の入力装置を停止することもできる。

もう一つの特に有用な機械式アクチュエータは電源スイッチである。電源スイッチがオンされると、装置は電源を入れられ、起動準備をする。電源スイッチがオフされると、装置はシャットダウンされる。一実施では、電源スイッチは、つかんでいる手を避けた上面であるが、（底面とは反対のように）簡単なアクセスのための位置に配置されればよい。

別の有用な機械式アクチュエータはナビゲーションパッドである。ナビゲーションパッドは典型的に多くのハンドヘルド装置に含まれる。ナビゲーションパッドの機能性は、装置の現在の作動モードに従って変更されてもよい。ミュージックプレーヤの場合、例えば、方向キーは、プレイ／ポーズ、次へ、前へ、およびボリュームアップ・ダウンに割り当てられてもよい。また、他の割当て可能なボタンが装置に含まれてもよい。

さらに別の有用な機械式アクチュエータはスイッチングアクチュエータである。スイッチングアクチュエータは、装置の機能性を変更するよう構成されてもよい。すなわち、スイッチングアクチュエータを作動することにより、装置の機能性または状態は、あるモードから別のモードに切り替わる。スイッチングアクチュエータは広範囲に変更されてもよい。

例えば、スイッチングアクチュエータはダイアルまたはホイールであればよい。ホイールを徐々に回転することにより、装置は、ある装置からその他の装置に（一般にある所定の順番で）徐々に切り替えられる。各装置のフル回転は、一般に、統合された装置の全グループを通して循環する。ホイールまたはダイアルは、例えば、スクロールホイールのように作動すればよい。その設置場所は広範囲に変更されてもよいが、スイッチングホイールは装置の側面の上部領域に配置されればよい。ホイールをここに配置することにより、そのホイールを容易に回転するためにユーザの親指を用いることができる。例えば、ユーザの親指は、ホイールを回転することができるように、つかみアクションから延ばされればよい。

その代わりに、スイッチングアクチュエータはボタンであってもよい。ボタンを繰り返し押すことにより、装置はある装置から別の装置に（一般にある所定の順番で）切り替えられる。その設置場所は広範囲に変更されてもよいが、スイッチングボタンは装置の側面の上部領域に配置されればよい。ボタンをここに配置することにより、そのボタンを容易に押すために、ユーザの親指または人差し指を用いることができる。

また、ハンドヘルド装置は、商業的に利用可能なあらゆるタッチパッドを含んでいてもよい。タッチパッドのいくつかの例は、２００２年７月１日に出願され、「ハンドヘルド装置用タッチパッド」と題する米国特許出願第１０／１８８，１８２号、２００３年１１月２５日に出願され、「ハンドヘルド装置用タッチパッド」と題する米国特許出願第１０／７２２，９４８号、および２００３年８月１８日に出願され、「追加機能性を備えるモバイルタッチパッド」と題する米国特許出願第１０／６４３，２５６号において見出される。

別の実施形態では、ハンドヘルド装置はスクロールホイールを含んでもよい。ウィンドウを通してスクロールする各機能性において、スクロールホイールを用いることができる。

Ｇ．マイクロフォン
また、ハンドヘルド装置は、音声を拾うマイクロフォンを含んでいてもよい。マイクロフォンは、ユーザの声などの音を伝達する携帯電話に関連して用いられればよい。また、マイクロフォンは、音を記録し、あるいはハンドヘルド装置に音声コマンドを入力するために用いられてもよい。例えば、音声認識ソフトウェアを用いて、ハンドヘルド装置は、音声コマンドを認識し、それに関連した制御信号を生成することができればよい。マイクロフォンは、ハンドヘルド装置の底面、あるいは可能であれば、前面底部ベゼルに配置されればよい。この特定の構成は、電話中にユーザの声を拾うのに適切である。

Ｈ．イメージセンサ
また、ハンドヘルド電子機器は、ハンドヘルド装置がカメラのように作動することができるように、イメージセンサとレンズ関連部品を含んでいてもよい。イメージセンサは、例えば、電荷結合素子（ＣＣＤ）カメラを含めばよい。

Ｉ．入力装置機能性
（１）タッチジェスチャー
ハンドヘルド電子機器は、タッチスクリーンあるいはハウジングのタッチ感知面に与えられるタッチジェスチャーを認識し、それによりハンドヘルド電子機器の態様を制御するように設計されてもよい。ジェスチャーは、定型化された入力装置との相互作用である。
それは、１以上の特定の計算演算にマッピングされる。ジェスチャーは、種々の手や指の動きを通してなされればよい。一般に、ジェスチャーは、接触コード、例えば、１以上の指と、そのコードに関連した動きとを含む。その代わりにまたはそれに加えて、ジェスチャーはスタイラスでなされてもよい。これらのすべての場合には、入力装置、すなわち、タッチスクリーンあるいはタッチ感知面はジェスチャーを受け付け、ハンドヘルド電子機器の制御部は、そのジェスチャーに関連した演算を行うインストラクションを実行する。
ハンドヘルド電子機器は、タッチジェスチャー演算プログラムを含んでいればよい。このプログラムは、オペレーティングシステムの一部であっても別のアプリケーションであってもよい。ジェスチャー演算プログラムは、一般に、ジェスチャーの発生を認識し、そのジェスチャーの１以上のソフトウェアエージェントおよびそのジェスチャーに応じてどのようなアクションが取られるかについて通知するインストラクションセットを含む。例えば、使用可能なジェスチャーは、２００４年７月３０日に出願され、「タッチ感知入力装置用のジェスチャー」と題する米国特許出願第１０／９０３，９６４号、および２００５年１月１８日に出願され、「タッチ感知入力装置のためのモードベースのグラフィカルユーザインタフェース」と題する米国特許出願第１１／０３８，５９０号に開示される。

（２）３Ｄ空間ジェスチャー
一実施形態によれば、ハンドヘルド電子機器は、加速度計により計測された３Ｄ空間ジェスチャーを認識し、その３Ｄ空間ジェスチャーに基づいてハンドヘルド電子機器の態様を制御するよう設計されてもよい。空間ジェスチャーは、装置自身の定型化された動きである。その動きは２以上の特定の計算演算にマッピングされる。３Ｄ空間ジェスチャーは、例えば、振動、波打ちなどの種々の手および腕を通してなされればよい。加速度計は、３Ｄ空間ジェスチャーに関連した動きを計測し、制御部は、３Ｄ空間ジェスチャーとしてその動きを認識し、その後３Ｄ空間ジェスチャーに関連した演算を行うインストラクションを実行する。ハンドヘルド電子機器は、３Ｄ空間ジェスチャー演算プログラムを含めばよい。そのプログラムは、オペレーティングシステムの一部であっても別のアプリケーションであってもよい。そのジェスチャー演算プログラムは、一般に、ジェスチャーの発生を認識し、そのジェスチャーの１以上のソフトウェアエージェントおよびそのジェスチャーに応じてどのようなアクションが取られるかについて通知するインストラクションセットを含む。

一つの模範的な３Ｄジェスチャーは装置を振ることである。振ることは、ハンドヘルド装置がモードまたは状態間で切り替わることをもたらすことができる。その代わりに、ハンドヘルド装置を振ることは、選択イベントの発生をもたらすことができる。例えば、メディアプレーヤの場合、装置を振ることは、装置に写真または歌のグループから一つの写真または歌をランダムに選択させてもよい。その代わりに、装置を振ることは、装置に一連の歌から次の写真または歌を選択させてもよい。

他のジェスチャーは、装置を水平移動しまたは回転することを含んでもよい。（上向きのまま）ハンドヘルド装置を左右に水平移動することは、その装置でパンまたはスクロールを開始するために用いられてもよく、（上向きのまま）装置を上下に移動することは、ズームを開始するために用いられてもよい。装置を回転することは、装置がモードまたは状態を変更させるために用いられてもよい。ある場合、例えば、装置の配向性は特定のモードに対応してもよい。例えば、第１モードは０°に関連し、第２モードは９０°に関連し、第３モードは１８０°に関連し、第４モードは２７０°に関連すればよい。これらすべての場合、その装置が回転されるとき表示部が直立に保持されるように、装置は構成されてもよい。すなわち、装置がどの配向になっていても、それは直立イメージを維持する。

３Ｄ空間ジェスチャーは、手話、手書きの動きなどのより複雑な動きに基づいてもよい。

（３）多数の入力に基づいたアクションの実行
装置が多数入力モードを有してもよいので、ハンドヘルド装置は、異なる入力装置からの同時の入力を受け付け、その多数の同時の入力に基づいたアクションを実行するよう構成されてもよい。新しいコマンドを作り出すために結合され得る入力は、音声、２Ｄタッチジェスチャー、３Ｄ空間ジェスチャー、アクチュエータなどから選択されてもよい。例えば、この機能は、音声選択を介して電話を掛けるとき助けになればよい。発呼者は「トム」と言葉で表せばよい。これにより、装置は「トム」の電話番号にダイアルする。「トム」が多数の電話番号を所有するならば、ユーザは、トムの２番目の電話番号を選択するために、言葉によるコマンド「トム」と揺動のような３Ｄ空間ジェスチャーとを組み合わせればよい。種々の他の可能性は当業者によって認識されるだろう。

（４）軽い（light）タッチと堅い（hard）タッチの区別
上述のように、タッチ感知に関連した力感知は、軽いタッチと堅いタッチとの２つの別のタイプの相互作用を容易にする。軽いタッチは、一般に、主要なイベントを発生させることなく、コンテンツやコンテンツ操作を通してナビゲートするような受動的アクションを実行するために用いられてもよい。受動的なイベントの例は、カーソルを移動したり、スクロールしたり、パンしたりすることなどを含む。堅いタッチの相互作用は、スクリーンボタン上で選択したり、コマンドを開始したり（例えば、重要な変化を発生させたり）するために用いられてもよい。

図２５は、この技術を実行するためのタッチ方法４００の図である。方法４００は、ブロック４０２にて始まり、１以上のタッチが検出される。タッチは、ｘ、ｙ成分だけでなく、ｚ成分も含む。ｘ、ｙ成分は、タッチスクリーン、タッチパッドあるいはタッチハウジングのようなタッチ感知装置により供給されてもよい。ｚ成分は、タッチ感知装置のタッチ面の後ろに位置する力センサまたはディスプレイアクチュエータによって提供されてもよい。

ブロック４０２に次いで、その方法は、ブロック４０４に移行し、そのタッチが軽い（light）タッチか堅い（hard）タッチかについての決定がなされる。一般に、その決定はタッチの力または圧力（ｚ成分）に基づく。例えば、タッチの力が所定の閾値より小さいならば、タッチは軽いタッチと考えられ、タッチの力がその所定の閾値より大きいならば、そのタッチは堅いタッチと考えられる。そのタッチが軽いタッチと決定されると、その方法は、ブロック４０６に移行し、そのタッチに関連した受動的なアクションを開始する。タッチが堅いタッチと決定されると、そのタッチに関連した能動的アクションが実行される（ブロック４０８）。

タッチ方法は、１以上のタッチが最初のタッチまたは第２のタッチとして分類されるブロックをさらに含んでいてもよい。最初のタッチは、アクションをもたらすように意図されるタッチであり、第２のタッチは、アクションをもたらすように意図されないタッチである。ジェスチャーは、最初のタッチの例であり、装置を保持するためにタッチ領域上に置かれた親指は、第２のタッチの例である。タッチが最初または第２のタッチとして分類されると、第２のタッチは除外され、タッチが軽いタッチか堅いタッチかの決定が最初のタッチでなされる。

（５）新しいタッチ用語の例
新しいタッチ用語を形成するために、タッチ感知装置上に加えられるｚ圧力をタッチのｘ、ｙ位置と組み合わせることができる。認識されるべきであるように、この時点までタッチ用語は、ｘおよびｙ位置だけが含まれ、ｚ圧力は含まれていなかった。提案されるタッチ用語は、ＵＩモード、タッチの力（例えば、軽いか堅いか）、用いる指の数、タッチ中に移動があるか否か、タッチの期間、およびタッチ位置を含む種々の変数を含んでいる。これらのすべてまたはいくつかは、種々の行動やユーザフィードバックを形成するために結合され得る。

ＵＩモードは、一般に、装置のモードまたは状態に関連する。各装置は種々の状態を含み、各状態は異なるＵＩモードを必要としてもよい。メディアプレーヤ（あるモード）は、例えば、異なるＵＩを必要とする各層で階層（状態）セットを含んでもよい。

上述のように、タッチの力は、例えば、軽いまたは堅いとして記述されればよい。ユーザがタッチ面の表面を軽くタッチするとき、すなわち、指が表面の上部に留まり、ｘおよびｙ方向に主に移動するとき、軽いタッチが発生すればよい。ユーザがある大きさの力でタッチ面上を押し、すなわち、指がタッチ面に対してｚ方向に主に移動するとき、堅いタッチが発生すればよい。

タッチ中の動きは、指がタッチイベント中静止したままであるか、Ｘ−Ｙ平面で実質的に移動したか（例えば、水平移動、回転など）を記述するために用いられればよい。その動きは、全くない、強打、あるいはある特定の方向へのねじりとして記述されてもよい。
例として、強打は、上、下、右、左あるいはそのいくつかの組み合わせであればよく、ねじりは、時計回りまたは反時計回りであればよい。

継続時間は、指があるポイントに留まっている時間量として定義される。継続時間は可変的であればよく、短い、長いなどの状態を含めばよい。タッチ位置は、ランダムなポイントまたはスクリーン上のボタンなどの特定の位置であればよい。

図２６は、この技術を実行する追加のタッチ方法５００である。その方法は、ブロック５０２にて始まり、１以上のタッチが検出される。その後、ブロック５０４では、ＵＩモードが決定される。ブロック５０６では、タッチが軽いタッチであるか堅いタッチであるかについて決定がなされる。その代わりに、ブロック５０２および５０４を逆にすることができ、各モードのためのタッチ方法の例をもたらす。ブロック５０８では、別のタッチ数（例えば、複数の指）が決定される。ブロック５１０では、タッチが静止しているか、動いているかについての決定がなされる。ブロック５１２では、タッチの継続時間が決定される。ブロック５１４では、タッチの位置が決定される。ブロック５０２〜５１４に次いで、方法はブロック５１６に移行し、ＵＩモード、タッチの圧力、タッチ数、タッチが移動しているか否か、タッチの継続時間、およびタッチ位置に基づいてアクションが実行される。そのアクションは、各特徴の値に応じて受動的または能動的であればよい。

ミュージックプレーヤに関連したタッチ用語の一例は図２７Ａ〜図２７Ｅに示される。

５．出力装置
Ａ．ディスプレイ
ハンドヘルド電子機器の原理出力は、典型的にディスプレイである。ディスプレイは、テキスト、文字またはグラフィックの形式で視覚情報を提供する。他のタイプのディスプレイが用いられてもよいが、ディスプレイは通常フラットパネル装置である。ディスプレイは、テキストおよび記号を表示することができるキャラクタ（文字）ＬＣＤ、イメージ、ビデオおよびグラフィカルユーザインタフェース（ＧＵＩ）を表示することができるグラフィカルＬＣＤなどの液晶ディスプレイ（ＬＣＤ）であればよい。その代わりに、ディスプレイは、有機発光ダイオード（ＯＬＥＤ）に基づいたディスプレイ、あるいは電子インクに基づいたディスプレイに対応してもよい。

好ましくは、ディスプレイは、ハウジングの前面を実質的に占めるように構成されればよい。ディスプレイは、ハウジングの一端から他端に延びればよく、ハウジングは、ディスプレイの端部を囲む小さいベゼルを含んでもよい。いずれの場合でも、ディスプレイは、ハンドヘルド電子機器の前面の実質的部分を占め、それによって、従来のユーザインタフェースに関連したボタンまたはスイッチのためのあらゆるスペースを排除する。

上述のように、視覚情報を出力する他に、ディスプレイは、入力装置のようにも振る舞う。例えば、タッチスクリーンは、ディスプレイ上に配置されてもよく、センサは、装置が押圧されるか他の方法で移動されるときを感知するために、ディスプレイの下に配置されてもよい。ほとんどの場合、ハンドヘルド装置の小さい形状因子は、持ち運んだり、手で用いたりする間操作を許容するために、入力インタフェースの中央配置を必要とする。
ディスプレイ領域は、中央位置を提供し、そこは両手によりアクセス可能である。

ディスプレイ領域は複数のディスプレイにより形成されてもよい。例えば、ディスプレイ領域は、並んでいるか一つの上にもう一つが重なっている一対のディスプレイにより形成されてもよい。第１のディスプレイは、標準スクリーンを提供するために用いられ、第２のディスプレイは、図５〜図８を参照した上述のように、制御スクリーンを提供するために用いられればよい。また、第１のディスプレイが従来のディスプレイであり、第２のディスプレイがディスプレイアクチュエータであってもよい。さらに、第１のディスプレイは第１のタイプを構成し、第２のディスプレイは第２のタイプを構成してもよい。例えば、第１のディスプレイはＬＣＤであり、第２のディスプレイは電子インクに基づくディスプレイであればよい。

異なるタイプを用いる決定は、ディスプレイの一つが標準視聴エリアに専用であり、もう一つが制御エリアに専用であるという事実に基づけばよい。これら２つのエリアが異なる解像度を必要とするので、より高解像度スクリーンが標準エリアに用いられ、より低解像度スクリーンが制御エリアに用いられればよい。その代わりにまたはそれに加えて、ディスプレイの一つは、特に低解像度を許容可能な制御エリアにおいてバッテリ消費を低減するために選択されてもよい。ある場合には、２つの異なるディスプレイが用いられるが、そこに表示されるイメージは一つの統一されたイメージを形成するために結合されてもよい。

Ｂ．スピーカ
また、ハンドヘルド装置はスピーカを含んでもよい。スピーカは、アンプからオーディオ情報を表す電子信号を受け入れ、その電子信号を音波に変換する構成要素である。スピーカは、ミュージックプレーヤ機能性に関連して音楽を聴いたり、携帯電話機能性に関連して着信音を聞いたりするために用いられればよい。スピーカは、ハンドヘルド装置の上面あるいは可能であればハンドヘルド装置の前面上部ベゼル上に配置されればよい。このアレンジメントは、装置が携帯電話として用いられるとき特にうまく機能する。

Ｃ．インジケータ（ＬＥＤ）
また、ハンドヘルド装置は、ユーザフィードバックを提供したり、装置に関連したイベントを示したりする１以上のインジケータを含んでもよい。そのイベントは、信号や、装置の状態またはステータスに関連すればよい。例えば、インジケータは、バッテリ寿命のステータスを提供し、あるいは着信があることをユーザに警告する。発光ダイオード（ＬＥＤ）のような光源を含むインジケータは、典型的に、イベントが発生するときに照らされ、そのイベントが止まるときに照らされない。また、インジケータは、付いたり消えたり（明滅したり）、その強度を増加しあるいは減少して循環してもよい。ある場合には、インジケータは、モニタされているイベントについてのより詳細な情報を提供するために、色を変更さえしてもよい。

インジケータは、小さい透明なプラスチック挿入物を典型的に含む従来のインジケータであればよい。その挿入物は、ＬＥＤの前に位置し、ハウジングの表面に存在させるようにハウジングの開口内に挿入される。また、ＬＥＤ自身は、挿入物として用いられるよりもむしろ、ハウジングの開口内に位置すればよい。その代わりに、インジケータは、ハウジングの表面を切らないように構成され得る。この構成では、光源はハウジングの内部に完全に配置され、ハウジングにその外観、すなわち、その色を変化させるように、ハウジングの一部を照らすよう構成される。

Ｄ．音声／触覚フィードバック装置
ハンドヘルド装置は、ユーザに音声フィードバックを与えるために、スピーカまたはブザーを含んでもよい。これらは、上述のインジケータと同様に機能してもよく、あるいは、ソフトボタンまたはスクロールホイールのようなＧＵＩ要素を活性化する感触を高めるために用いられてもよい。例えば、スピーカは、ユーザが仮想ボタンを押したり、仮想スクロールホイールを回転したりするとき「クリッキング」音を出力するよう構成されてもよい。この特定の機能は、ユーザの経験を高め、仮想ＵＩの感触をより物理的ＵＩのようにする。

また、ハンドヘルド装置は触覚学機構を含んでもよい。触覚学は、触覚の間隔および制御をコンピュータアプリケーションとの相互作用に与える科学である。触覚学により、本質的に、ユーザは情報すなわち手に送られる信号を感じることができる。触覚学機構は広範囲に変更されてもよい。それらは、モータ、バイブレータ、電磁石などを含めばよい。
そのすべては振動または震動の形式で力のフィードバックを提供することができる。触覚学機構は、上述のインジケータ（警報）と同様に機能すればよく、あるいは、ソフトボタンまたはスクロールホイールのようなＧＵＩ要素を活性化する感覚を高めるために用いられればよい。例えば、触覚学機構は、ユーザが仮想ボタンを押したり、仮想スクロールホイールを回転したりするときに振動するように構成されればよい。この特定の機能は、ユーザの経験を高め、仮想ＵＩの感触をより物理的ＵＩのようにする。また、触覚学はスクリーン上のアクションと同時に用いられてもよい。例えば、映画やゲームのプレイ中、触覚学機能は表示されているアクションをシミュレートすることができる。例えば、触覚学機構は、車が映画やゲーム中に爆発するときバイブレーションの形式で力のフィードバックを提供してもよい。

触覚学がソフトボタンやスクロールホイールのようなＧＵＩ要素を活性化する感覚を高めるために用いられる場合には、触覚学機構は、ユーザのアクションの下に直接力のフィードバックを提供するように、ディスプレイの領域内でディスプレイのさらに下に位置してもよい。実際、多数の触覚学機構は、その感覚をさらに高めるために、ディスプレイのいたる所に局部的に用いられてもよい。一般に、振動がユーザのアクションに近ければ近いほど、触覚学効果が大きいと信じられている。一実施では、接触学機構はディスプレイの下にアレイで間隔を空けられる。すなわち、それらは空間的に分離され、異なる位置に配置される。例として、それらは、２×２、２×４、４×４、４×８、８×８のアレイで、ディスプレイの下に配置されればよい。

音声あるいは触覚フィードバックはユーザ入力がなされたことをユーザに警告するために用いられてもよい。例えば、ＧＵＩの仮想ボタンにタッチすると、接触学はバイブレーションの形式で力のフィードバックを提供し、スピーカはクリックの形式で音声のフィードバックを提供してもよい。タッチイベント、動きイベント、握りイベントを含む入力イベントに関連して、触覚音声フィードバックを用いることができる。フィードバックは、インプットを実際に実行したことをユーザが知る（ボタンまたはスイッチの音声および触覚感覚をシミュレートする）ように、情報を提供してもよい。一実施では、フィードバックは力感知装置に加えられる力のレベルに結び付けられる。例えば、ある力閾値に到達するとき、音声フィードバック装置は、押下についての「クリック」と、離す（解除）についての「クロック」とを作り出してもよい。用いられる力閾値は、タッチが軽いタッチか堅いタッチかを決定するために用いられる閾値と同様であってもよい。「クリック」および「クロック」は、堅いタッチがなされるときボタンクリックをシミュレートするために用いられてもよい。

６．通信装置
Ａ．有線
また、ハンドヘルド装置は、装置との間でデータを送受信するための１以上のコネクタを含んでもよい。例として、装置は、１以上のオーディオジャック、ビデオジャック、データポート、ドッキングポートなどを含めばよい。また、ハンドヘルド装置は、装置との間で電力を送受するための１以上のコネクタを含んでもよい。

ハンドヘルド装置は、ヘッドフォン／マイクロフォンジャックおよびデータポートを含んでもよい。そのジャックは、音声が装置に入力され、および音声が装置から出力されるように、スピーカあるいはマイクロフォンプラグを受け入れることができる。データポートは、汎用コンピュータ（例えば、デスクトップコンピュータ、ポータブルコンピュータ）のようなホスト装置との間でデータを送受信するように構成されるデータプラグ／ケーブルアセンブリを受け入れることができる。例えば、データポートは、ハンドヘルド装置との間でデータをアップロードまたはダウンロードするために用いられればよい。そのようなデータは、ハンドヘルド装置への歌および演奏リスト、オーディオブック、ｅブック、写真、アドレスブック、ドキュメント、アポイントメントなどを含めばよい。データポートは、ＰＳ／２ポート、シリアルポート、パラレルポート、ネットワークインタフェースポート、ＵＳＢポート、ファイアワイヤポートなどであればよい。また、ハンドヘルド装置は、ハンドヘルド装置に電力を受け渡すよう構成される電源プラグ／ケーブルアセンブリを受け入れる電力ポートを含んでもよい。ある場合には、データポートは、標準コネクタか専有コネクタのいずれかを用いることにより、データポートと電源ポートの両方として機能してもよい。

Ｂ．無線
無線でデータを送受信するために、装置は、一般に、送信機、受信機（またはトランシーバ）およびある種のアンテナを必要とする。無線通信リンクは、ブルートゥース（登録商標）、ＷｉＦｉ（８０２．１１）、赤外線（ＩＲ）などに対応すればよい。アンテナは、装置内に完全に含まれてもよく装置の外に延出してもよい。アンテナは、用いられる周波数などに応じて種々の形式を取ればよい。例えば、ゴムに包まれた巻き上げ要素からなる頑丈なラバーダックであってもよい。その代わりに、アンテナは、装置内の回路基板上にプリントされてもよい。

また、ハンドヘルド装置は、携帯ネットワークまたはＧＰＳ受信機を介した通信のための無線トランシーバを含んでもよい。

Ｃ．受信通信信号に基づくＵＩの変更
ハンドヘルド電子機器は、周囲の環境における信号を能動的に探し、その信号に基づいてモードを変更するよう構成されてもよい。すなわち、装置は、モードをその信号に合わせるように試みる。装置が携帯ネットワーク上で携帯信号を受信すると、装置は携帯電話に変わればよい。すなわち、携帯電話モードが活性化し、あるいは他のモードと比較して先にもたらされる。装置が電子メールを受信すれば、その装置は電子メール端末に変わればよい。別の例として、ユーザがホームシアタールームに歩いて入るとき、装置はメディア制御装置からの信号を感知し、ホームシアターの種々の装置（ＴＶ、アンプ、ＤＶＤ、照明）を制御する機能性を含む遠隔制御器に変わればよい。他の場合には、装置は、物理的商店で放送されている信号を感知し、その商店に適切な装置に変わればよい。例えば、銀行では、装置は電卓に変わってもよく、資金プログラムを見えるようにしてもよい。あるいは、食料品店では、装置は支払い装置に変わってもよく、買い物リストを見えるようにしてもよい。

７．ハンドヘルド装置の他の構成要素
ハンドヘルド装置は、１以上の以下のハードウェアコンポーネント、すなわち、制御装置（例えば、マイクロプロセッサ、ＤＳＰ、Ａ／Ｄ、Ｄ／Ａ、コンバータ、コード）、メモリ（例えば、ＲＡＭ、ＲＯＭ、ソリッドステート（フラッシュ）、ハードディスク（マイクロドライブ））、バッテリ（例えば、リチウムイオン）などをさらに含んでいてもよい。

８．全体的ブロック図
図２８は模範的なハンドヘルド装置６００のブロック図である。ハンドヘルド装置６００は、典型的に、インストラクションを実行し、ハンドヘルド装置に関連した操作を実行するよう構成される制御装置６０２（例えば、ＣＰＵ）を含む。例えば、メモリから検索されたインストラクションを用いて、制御装置６０２は、ハンドヘルド装置６００の構成要素間の入出力データの受信および操作を制御してもよい。制御装置６０２は、シングルチップ、マルチチップまたはマルチ電子部品において実施され得る。例えば、専用または内蔵のプロセッサ、専用のプロセッサ、制御装置、ＡＳＩＣなどを含む制御装置６０２のために種々のアーキテクチャを用いることができる。例として、制御装置６０２は、マイクロプロセッサ、ＤＳＰ、Ａ／Ｄ変換器、Ｄ／Ａ変換器、圧縮器、減圧器等を含んでもよい。

ほとんどの場合、オペレーティングシステムとともに、制御装置６０２は、コンピュータコードを実行し、データを作り出して使用するために稼働する。オペレーティングシステムは、ＯＳ／２、ＤＯＳ、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ（登録商標）、およびＰａｌｍＯＳのような周知のオペレーティングシステムに対応すればよく、その代わりに、限定目的の電気器具タイプの装置のために用いられるもののような特別な目的のオペレーティングシステムに対応してもよい。オペレーティングシステム、他のコンピュータコードおよびデータは、制御装置６０２に操作可能に接続されるメモリブロック６０４内に存してもよい。メモリブロック６０４は、一般に、ハンドヘルド装置により用いられるコンピュータコードおよびデータを格納する場所を提供する。例として、メモリブロック６０４は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ハードディスクドライブ（例えば、マイクロドライブ）、フラッシュメモリなどを含めばよい。メモリブロック６０４に関連して、ハンドヘルド装置は、ＤＶＤを受け入れ、再生する光ディスクプレーヤなどの着脱可能な記憶装置あるいはメモリカード（またはメモリスティック）などの媒体を受け入れるカードスロットを含んでいてもよい。ハンドヘルド装置の形状因子が小さいので、光ディスク装置はミニＤＶＤのためにのみ構成されてもよい。

また、ハンドヘルド装置６００は、制御装置６０２に操作可能に接続される種々の入力装置６０６を含んでもよい。入力装置６０６は、外界からのデータをハンドヘルド装置６００に転送するよう構成されてもよい。図示のように、入力装置６０６は、データ入力機構およびデータ収集機構の両方に対応してもよい。特に、入力装置６０６は、タッチスクリーン、タッチパッドおよびタッチ感知面などのタッチ感知装置６０８と、ボタン、ホイールまたはホールドスイッチ（６１１）などの機械式アクチュエータ６１０と、加速度計等の動き感知装置６１２と、力感知ディスプレイやハウジングなどの力感知装置６１４と、イメージセンサ６１６と、マイクロフォン６１８とを含めばよい。また、入力装置６０６は、クリック可能なディスプレイアクチュエータ６１９を含んでもよい。

また、ハンドヘルド装置６００は、制御装置６０２に操作可能に接続される種々の出力装置６２０を含んでもよい。出力装置６２０は、ハンドヘルド装置６００からのデータを外界に転送するよう構成される。出力装置６２０は、ＬＣＤなどのディスプレイ６２２と、スピーカまたはジャック６２４と、音声／触覚フィードバック装置６２６と、光インジケータ６２８などを含んでもよい。

また、ハンドヘルド装置６００は、制御装置６０２に操作可能に接続される種々の通信装置６３０を含んでもよい。例えば、通信装置６３０は、ＩＲ、ＵＳＢ、ファイアワイヤポートなどのＩ／Ｏポート６３２と、ＧＰＳ受信機６３４と、無線受信機６３６とから選択される有線および無線連結性の両方を含んでもよい。

また、ハンドヘルド装置６００は、バッテリ６５０と、可能であれば充電システム６５２とを含んでもよい。バッテリは、変圧器および電源コードを通して、またはホスト装置を介して、あるいはドッキングステーションを介して充電されてもよい。ドッキングステーションの場合には、充電は、電気ポートを通して、あるいは可能であれば、なされるべき物理的電気接続を必要としないインダクタンス充電手段を通して、転送されてもよい。

上述の本発明の種々の態様、特徴、実施形態または実施を単独でまたは種々の組み合わせにより用いることができる。ソフトウェア、ハードウェアあるいはハードウェアとソフトウェアの組み合わせにより本発明の方法を実施することができる。また、コンピュータに読み取り可能な媒体上のコンピュータに読み取り可能なコードとして本発明を具体化することもできる。コンピュータに読み取り可能な媒体は、上記で定義されるような転送装置および非転送装置を含むコンピュータシステムによりその後読み取ることができるデータを格納可能なあらゆるデータ記憶装置である。コンピュータに読み取り可能な媒体の例は、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、フラッシュメモリカード、ＤＶＤ、磁気テープ、光学データ記憶装置および搬送波を含む。また、コンピュータに読み取り可能な媒体は、コンピュータに読み取り可能なコードが分散方法で格納され、実行されるように、ネットワークで接続されたコンピュータシステムを介して分散され得る。

いくつかの好ましい実施形態に関して本発明を記述したが、本発明の範囲内に含まれる変更、置換および同等物がある。また、本発明の方法および装置を実施する多くの代わりの方法があることにも注意されたい。したがって、添付の特許請求の範囲が本発明の真の意図および範囲内に含まれるような変更、置換および同等物のすべてを含むように解釈されることが意図される。

Claims (23)

1. マルチタッチ入力面と、
   前記マルチタッチ入力面に操作可能に接続され、前記マルチタッチ入力面を介してユーザからの複数の同時に発生するタッチ入力を受け付け、該タッチ入力からユーザの要求するアクションを識別することが可能な処理部と、
   前記処理部に操作可能に接続され、ユーザインタフェースを提供するよう構成される表示部とを備えることを特徴とするハンドヘルド電子機器。
2. 前記ハンドヘルド電子機器は、以下の装置機能性、すなわち、ＰＤＡ、携帯電話、音楽プレーヤ、カメラ、ビデオプレーヤ、ゲームプレーヤ、ハンドトップ、インターネット端末、ＧＰＳ受信機および遠隔制御器の２つ以上を含むことを特徴とする請求項１に記載のハンドヘルド電子機器。
3. 前記ハンドヘルド電子機器は、該ハンドヘルド電子機器の状態またはモードに基づいて、前記ユーザインタフェースを再構成しあるいは適合可能であることを特徴とする請求項１に記載のハンドヘルド電子機器。
4. 前記表示部はフルスクリーンディスプレイであることを特徴とする請求項３に記載のハンドヘルド電子機器。
5. 前記マルチタッチ入力面は前記表示部に統合されていることを特徴とする請求項１に記載のハンドヘルド電子機器。
6. 前記ハンドヘルド電子機器は、以下の装置機能性、すなわち、ＰＤＡ、携帯電話、音楽プレーヤ、カメラ、ビデオプレーヤ、ゲームプレーヤ、カメラ、ハンドトップ、インターネット端末、ＧＰＳ受信機および遠隔制御器の２つ以上を含むことを特徴とする請求項５に記載のハンドヘルド電子機器。
7. 前記マルチタッチ入力面は、前記ハンドヘルド電子機器と相互作用するのに必要な主要入力手段として機能することを特徴とする請求項５に記載のハンドヘルド電子機器。
8. 前記ハンドヘルド電子機器は十字機能物理的ボタンを含むことを特徴とする請求項７に記載のハンドヘルド電子機器。
9. 前記表示部を統合された前記マルチタッチ入力面は、マルチポイント容量性タッチスクリーンであることを特徴とする請求項５に記載のハンドヘルド電子機器。
10. 前記ハンドヘルド電子機器は、該ハンドヘルド電子機器の態様を制御するために用いられ、前記マルチタッチ入力面に適用されるタッチジェスチャーを認識するように操作可能であることを特徴とする請求項９に記載のハンドヘルド電子機器。
11. 前記ハンドヘルド電子機器は、異なる入力装置からの同時入力を受け付け、該同時入力に基づいてアクションを実行するように操作可能であることを特徴とする請求項１に記載のハンドヘルド電子機器。
12. 前記ハンドヘルド電子機器の種々の入力装置からの信号は、該ハンドヘルド電子機器のあるモードに基づいて異なる意味または出力を有することを特徴とする請求項１に記載のハンドヘルド電子機器。
13. 前記ユーザインタフェースは、データを表示するために用いられる標準領域と、ユーザ相互作用のための１以上の仮想制御部を含む制御領域とを備えることを特徴とする請求項１に記載のハンドヘルド電子機器。
14. 前記標準領域および前記制御領域の少なくとも一方はユーザによる設定が可能であることを特徴とする請求項１３に記載のハンドヘルド電子機器。
15. 前記表示部は力感知ディスプレイを含み、該力感知ディスプレイは、その上に力が加わるときに生成される１以上の入力信号を作り出すことを特徴とする請求項１に記載のハンドヘルド電子機器。
16. 前記力感知ディスプレイは力指示を感知し、前記ハンドヘルド電子機器は、該力指示を少なくとも第１タッチタイプおよび第２タッチタイプに区別することを特徴とする請求項１５に記載のハンドヘルド電子機器。
17. 前記第１タッチタイプは軽いタッチに対応し、前記第２タッチタイプは堅いタッチに対応することを特徴とする請求項１６に記載のハンドヘルド電子機器。
18. 前記ハンドヘルド電子機器は、該ハンドヘルド電子機器に対してなされるユーザ入力に基づいて、音声または触覚のフィードバックをユーザに提供することを特徴とする請求項１に記載のハンドヘルド電子機器。
19. 前記ハンドヘルド電子機器は、周囲の環境において信号を能動的に探し、該信号に基づいて、ユーザインタフェースまたは動作モードを変更するよう構成可能であることを特徴とする請求項１に記載のハンドヘルド電子機器。
20. ハウジングと、
    前記ハウジング内に位置し、ディスプレイとタッチスクリーンとを含むディスプレイアレンジメントと、
    前記ディスプレイアレンジメントのある部分が動かされると、信号を生成するように構成される装置と、
    を備えることを特徴とするハンドヘルドコンピューティング装置。
21. ハンドヘルド電子機器であって、
    タッチスクリーンと、
    前記タッチスクリーンに操作可能に接続され、該タッチスクリーンを介してユーザからの複数のタッチ入力を同時に受け付け、該タッチ入力からユーザの要求するアクションを識別する処理部とを備え、
    前記タッチスクリーンは、前記ハンドヘルド電子機器と相互作用するのに必要な主要入力手段として機能することを特徴とするハンドヘルド電子機器。
22. 前記メディア装置は、携帯電話、ＰＤＡ、メディアプレーヤ、カメラ、ゲームプレーヤ、ハンドトップ、インターネット端末、ＧＰＳ受信機および遠隔制御器の１以上として作動することを特徴とする請求項２１に記載のハンドヘルド電子機器。
23. ディスプレイと、該ディスプレイ上に位置するタッチスクリーンとを有するコンピューティング装置において実行される方法であって、
    １以上のタッチを検出する工程と、
    前記１以上のタッチを第１のタッチまたは第２のタッチとして分類する工程と、
    前記第２のタッチを除去する工程と、
    前記第１のタッチが軽いタッチであるか堅いタッチであるかを区別する工程と、
    前記第１のタッチが軽いタッチであるならば、制御イベントを開始する工程と、
    前記第１のタッチが堅いタッチであるならば、選択イベントを実行する工程とを含むことを特徴とする方法。