JP2004532477A - 改良したユーザインターフェースを有するタッチスクリーン - Google Patents

Abstract

本発明は、オペレーティングシステムが稼働するプロセッサを備えるコンピューティングデバイスおよび表示装置のグラフィカルユーザインターフェースである。グラフィカルユーザインターフェースは、タッチスクリーン(106または400)およびタッチスクリーンをオペレーティングシステムに結合するドライバを備える。ドライバは、複数のアイコン(402〜428)をタッチスクリーン上に表示するか、またはアイコンのそれぞれがオペレーションと関連付けられている少なくとも1つのアイコンを含む複数のスクリーンイメージを表示装置および/またはタッチスクリーンに表示することができる。他の実施形態は、非アクティブ化状態とアクティブ化状態を持つタッチスクリーンを備え、アプリケーションプログラミングインターフェースが存在し、アプリケーションはこれを利用して少なくとも1つのイメージをタッチスクリーンに表示することができる。

Description

【技術分野】
【０００１】
本発明は、コンピュータインターフェースデバイスに関するものであり、より具体的には、集積された表示デバイスを備えるコンピュータタッチパッドおよび前記コンピュータタッチパッドを採用する携帯型コンピュータユーザインターフェースの機能強化に関するものである。
【背景技術】
【０００２】
＜対応出願に対する優先権＞
本出願は、参照により本明細書全体に組み込まれている、2001年5月16日に提出された「Touch Screen with User Interface Enhancement」という名称の米国特許仮出願第60/291,694号明細書の優先権を主張するものである。
【０００３】
タッチパッドは、コンピュータ応用分野、特に、携帯型コンピュータのポインティングデバイスとして広く使われている。通常の用い方では、タッチパッドはコンピュータのパームレストの矩形開口部内の特徴のない、指の接触を感知する面である。タッチパッドは、コンピュータの入力デバイスとしてのみ使用される。タッチパッドは、主に、カーソルポインティングデバイスとして機能するが、一部のタッチパッドにはさらに機能を備えるものもある。
【０００４】
たとえば、Gillespie氏らに付与された特許文献１では、代表的な従来技術によるタッチパッドセンサを開示しており、これは、接触面の指定領域内でタップという指を軽く打つ動作を感知してコンピュータへの特別なコマンドを呼び出す。Allen氏らに付与された特許文献２では、指定領域内の指の動作でスクロールコマンドを呼び出すタッチパッドを開示している。これらのタップ領域およびスクロール領域は、熟達したユーザには有用であることが分かっているが、これらの領域は目には見えない一方、動作が異なるために初心者ユーザにとってはわかりにくいものとなっている。不透明なセンサ面上のスクリーン印刷されたアイコンで領域にマークすると有効であるが、これらの領域がソフトウェアで設定可能な場合には大きな混乱を引き起こすおそれがある。
【０００５】
従来技術のタッチパッドの他の欠点は、コンピュータの表面エリアのかなりの部分を単一の入力機能専用としてしまうことである。等距離ジョイスティック（isometric joystick）(たとえば、Selker氏らに付与された特許文献３参照)および力感知キー（force sensing key）(たとえば、Straayer氏らに付与された特許文献４を参照)などの他のポインティングデバイスがコンパクトな代替として提案されているが、これらのデバイスはタッチパッドほど表現力豊かでも使いやすくもない。
【０００６】
タッチスクリーンもまた、当業ではよく知られている。タッチスクリーンの一例は、Blair氏に付与された特許文献５に開示されている。通常の使用時には、コンピュータの主表示画面は、接触感知入力デバイス（touch sensitive input device）とともにオーバーレイされるか、または接触感知入力デバイスとして実装される。このため、コンピュータの表面の別々の部分を入力および出力専用として割り当てる必要がなくなる。タッチスクリーンを以下のメインポインティングデバイスとして使用する場合、指の位置から指の下の画面上のある点の選択位置に直接マッピングすることによりポインティングを実行する。この直接マッピングにより、タッチスクリーンが理解しやすく、かつ使いやすくなる。しかし、タッチスクリーンは、画面に触れるために連続して持ち上げていることからユーザの腕が疲れるため、コンピュータの主要な表示手段として毎日使用するのには実用的ではない。タッチスクリーンを平面に置いて腕が疲れないようにすると、腕はタッチセンス面(touch-sensing surface)に載ったままになりがちであり、さまざまなタッチセンス技術を使用しても、指を感知する能力が妨げられる。メインコンピュータ表示画面サイズのタッチスクリーンは、ひどくかさばるか、または高価であり、それを必要としないアプリケーションで使用するのには不向きである。
【０００７】
LCD画面などの表示装置上に配置するのに適している透明タッチパッドが開発されており、本出願と同じ譲受人に譲渡されている、1999年10月8日に提出された、同時係属米国特許出願第09/415,481号明細書で開示され、主張されている。この出願では、携帯型コンピュータ用の従来のタッチパッドと同様にサイズが小さく、低コストのタッチスクリーンを開示し、パーソナルコンピュータにタッチパッドおよび表示装置を組み込んでさまざまな方法でユーザインターフェースを改良することも可能であることを指摘しているが、ソフトウェア実装の詳細およびそのようなデバイスをコンピュータのポインティングデバイスとして同時に機能させる方法も、又はこのような構成によりユーザインターフェースを改良する方法も開示していない。
【特許文献１】
米国特許第5543591号明細書
【特許文献２】
米国特許第5943052号明細書
【特許文献３】
米国特許第5521596号明細書
【特許文献４】
米国特許第4680577号明細書
【特許文献５】
米国特許第4806709号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来技術の欠点および短所は、ユーザインターフェースを向上したタッチスクリーンにより克服される。
【課題を解決するための手段】
【０００９】
本発明は、オペレーティングシステムを稼働させるプロセッサを備えるコンピューティングデバイスおよび表示装置のグラフィカルユーザインターフェースを開示する。グラフィカルユーザインターフェースは、タッチスクリーンおよびタッチスクリーンをオペレーティングシステムに結合するドライバを備える。ドライバは、タッチスクリーン上に複数のアイコンを表示し、少なくとも1つのアイコンはタッチスクリーン上の少なくとも１つの領域を識別し、その領域上の物体による接触に応答して、タッチスクリーン上ではなく表示画面上でアクションを引き起こす。
【００１０】
本発明は、さらに、オペレーティングシステムを稼働させるプロセッサを備えるコンピューティングデバイスおよび表示装置におけるグラフィカルユーザインターフェースの他の実施形態を開示する。グラフィカルユーザインターフェースは、非アクティブ化状態とアクティブ化状態を持つタッチスクリーン、およびタッチスクリーンをオペレーティングシステムに結合するドライバを備える。ドライバは、タッチスクリーン上に複数のアイコンを表示し、少なくとも1つのアイコンは、その領域上の物体による接触に応答して、タッチスクリーン上ではなく表示画面上でアクションを引き起こすタッチスクリーン上の少なくとも1つの領域を識別する。
【００１１】
最後に、本発明は、オペレーティングシステムを稼働させるプロセッサを備えるコンピューティングデバイスおよび表示装置のグラフィカルユーザインターフェースの他の実施形態を開示する。グラフィカルユーザインターフェースは、タッチスクリーンおよびタッチスクリーンをオペレーティングシステムに結合するドライバを備える。ドライバは、タッチスクリーン上に複数のアイコンを表示し、少なくとも1つのアイコンは、その領域上の物体による接触に応答して、タッチスクリーン上ではなく表示画面上でアクションを引き起こすタッチスクリーン上の少なくとも1つの領域を識別する。ドライバは、アプリケーションからタッチスクリーン上に少なくとも1つのイメージを表示できるアプリケーションプログラミングインターフェースを備える。
【発明を実施するための最良の形態】
【００１２】
以下の図に対する参照では、同様の要素には同一の符号が付している。
【００１３】
当業者であれば、本発明の以下の説明は例示にすぎず、決して本願発明を制限しないことを理解するであろう。本発明の他の実施形態も当業者には例示に過ぎず、本願発明を制限しないことは自明であろう。
【００１４】
図1は、主表示装置102およびキーボード104を備えるノートブック型コンピュータシステム100を示す図である。タッチスクリーン106がパームレスト110に装着されている。タッチスクリーンは、通常、左および右の「マウス」ボタン108を具備している。タッチスクリーン106は、従来技術のコンピュータに組み込まれているタッチパッドと同様の方法でコンピュータシステム100に組み込まれている。タッチスクリーン106は、通常、図1に示されているようにパームレストに配置されているが、キーボードの上、キーボートまたは主表示装置の隣などの場所も等しく適用することができ、あるいはコンピュータとケーブルまたはワイヤレスリンクで接続されている別々の筐体内に配置される。タッチスクリーン106は通常、コンピュータの従来のタッチパッドの代わりに使用されるが、タッチスクリーン106は、コンピュータの他のユーザインターフェースデバイスに加えて導入することもできる。
【００１５】
図2は、タッチスクリーン106の実施形態をより詳細に示す図である。タッチスクリーンアセンブリ200は、積み重ねられまたは層状に貼り合わされたタッチセンサ202、表示装置204、及びバックライト206から構成されている。タッチスクリーンは、当業でよく知られているようなさまざまな他の手段により製作することができる。たとえば、タッチセンサ202は、容量性、抵抗性、誘導性、またはその他の方法を採用する能動センサであるか、または接触感知が光、音響、またはその他の方法により実行される受動的な表面である。容量性タッチセンサは、その感度、低コスト、堅牢性、および小さな感知エリアに適していることなどにより、本発明で使用するのに適しており理想的である。しかし、どんなタッチスクリーン技術でも本発明に役立つであろう。
【００１６】
同様に、表示装置204は、液晶表示装置(LCD)、有機発光ダイオード(OLED)表示装置、電子発光表示装置、または携帯型コンピュータに装着するのに適しているその他の種類の小型表示装置とすることもできる。LCD表示装置は、その低コスト性および利用可能性により、本発明で使用するのに適しており理想的であるが、他の種類の表示装置も使用することができる。表示装置204は、カラーまたはモノクロであり、コンピュータの主表示装置と同様の解像度、色能力、またはその他の特質を備えている必要はない。
【００１７】
タッチスクリーンアセンブリはバックライト206を有し、あらゆる照明条件で可読性を高めることができる。他の実施形態では、バックライト206をフロントライト、受動的な反射板、または他の光源で置き換えたり、あるいは完全に省くこともできる。
【００１８】
タッチスクリーンアセンブリ200は、タッチスクリーンの取り付け特性または機械的特性を補助したり、またはタッチスクリーンをコンピュータシステムの他のコンポーネントと一体化するため追加の層またはコンポーネントを備えることができる。タッチスクリーンはさらに、硬化表層、反射防止処理済み表層、テクスチャ化表層、または他の表層を備えることもできる。これらの追加層およびコンポーネントの取り込み、省略、または性質は、本発明にとって重要なことではない。
【００１９】
タッチセンサ202は、タッチセンスコントローラ208に接続されている。コントローラ208の性質は、タッチセンサ202の構成によって異なり、その詳細は本発明にとって重要なことではない。同様に、表示装置204は、適当な表示コントローラ210に接続され、バックライト206は、（もし存在するならば）バックライトコントローラ212に接続される。コントローラ208、210、および212はそれぞれ、ホストコンピュータ214と通信する。図の実施形態では、コントローラ208、210、および212は単一インターフェース218によりホストコンピュータ214に接続する中央タッチスクリーンコントローラ216に接続されている。インターフェース218は、PS/2などのマウスインターフェース、ユニバーサルシリアルバス(USB)などの汎用周辺機器インターフェースである。USBは、高帯域幅でありかつ広く使われているとの点で有利点を有している。コントローラ208、210、212、および216は、チップまたは別個のコンポーネントとして実装され、ごく少数のチップまたは1チップに組み合わされ、アセンブリ200と一体化され、またはホストコンピュータ214の他の機能とともに組み合わされることができる。ホストコンピュータ214は、コンピュータシステム100の中央演算処理装置、USBホストコントローラなどの周辺機器プロセッサ、またはそれらの組み合わせで実現することができる。
【００２０】
図に示されている他の実施形態では、コントローラ208、210、および212は異なるインターフェースを通じてホストコンピュータ214に接続することができる。たとえば、タッチスクリーンコントローラ208は、PS/2インターフェースを使用して従来のタッチパッドとして接続することも可能であるが、表示コントローラ210およびバックライトコントローラ212は、USBまたは専用表示インターフェースにより接続される。
【００２１】
図1のタッチスクリーン106は従来のタッチパッドの代わりになるため、タッチスクリーン106は通常、コンピュータ用の従来のポインティングデバイスとして使用される。この理由により、タッチスクリーンは、従来のマウスとしてコンピュータとインターフェースすることができなければならない。これはさらに、インターフェース218が、PS/2などのマウスインターフェース、または従来のマウスのサポートを含むUSBなどの汎用インターフェースである理由でもある。インターフェース218は、さらに、指の活動に関する追加情報をコンピュータ214に伝達し、コンピュータ214は表示装置204とバックライト206を制御するための代替または拡張インターフェースプロトコルを提供してもよい。この追加された指の活動情報は、センサ表面の指の絶対位置を含んでもよい。適切なドライバソフトウェアがコンピュータ214にロードされると、このドライバソフトウェアにより、代替または拡張インターフェースプロトコルは本発明のユーザインターフェース機能拡張に対応することができる。その代わりに、従来のマウスまたはタッチパッドドライバなどの他のドライバソフトウェアがロードされると、インターフェース218はタッチセンサ202を従来のタッチパッドとして使用するマウスまたはタッチパッド互換に戻ることができ、コントローラ210または216は表示装置204用の適当なデフォルト表示イメージを提供することなどにより表示装置を自律的に動作させることができる。
【００２２】
タッチスクリーンを従来のタッチパッドとして使用する場合、タッチセンサ上の指の動き(たとえば、開始位置を識別することが可能なカーソル位置決定領域で)により、通常、主表示画面上のカーソルの対応する動きが生じ、「マウス」ボタン(またはアクション制御アイコン)108のクリックで、通常は、主表示画面上の選択など特別なアクションが実行される。特許文献１で開示されているように、タップ動作は、「マウス」クリックまたは他の特別なアクションとして解釈される。特許文献２で開示されているようなスクロール動作などの他の動作もまた認識することができる。デフォルト表示イメージにタッチセンサ表面上の特別なタップまたはスクロールする領域を示すグラフィックアイコンを含み、またはデフォルト画面イメージを製造業者のロゴのみを表示するブランク画面にしてもよい。
【００２３】
一実施形態では、カーソル位置決定領域は、カーソル位置決定以外のアクション用のアイコンが存在しないことにより表される。しかし、タッチスクリーン上のカーソル位置決定領域を識別する方法は多数あり、このような例として、ボックスでカーソル位置決定領域を囲む方法、陰影付き領域またはアイコンでカーソル位置決定領域全体を覆う方法、またはアイコンがなければブランクであるエリアの中心にアイコンが置かれ、このブランクエリアをカーソル位置決定領域とラベル付けするなどの方法がある（が、これらに限らない）。
【００２４】
図3は、タッチスクリーンが従来のタッチパッドとして動作する場合に使用するデフォルトイメージの例を示す。図3は、タッチスクリーン表示画面上のイメージを示しており、ユーザはこれを見ることになる。イメージ300は、スクロール領域を示す矢印アイコン302および304、右マウスボタンのクリックをシミュレートするコーナータップ領域を示すアイコン306、およびコンピュータのベンダのロゴを表すアイコン308を含む。
【００２５】
別法として図1のコンピュータシステム100は、キーボート104に配置されている等距離ジョイスティックまたは外付けマウスなどの補助ポインティングデバイスを含むことができ、これにより、タッチスクリーン106は機能強化されたユーザインターフェースデバイスとしての役割に加えて主ポインティングデバイスとして機能する必要がなくなる。
【００２６】
デフォルトスクリーンイメージを持つ従来のタッチパッドは、本発明のタッチスクリーンについて想定されるいくつかの一般的な使用モードのうちの1つにすぎない。後の図面は、コンピュータシステムのユーザインターフェースの機能を強化するためタッチスクリーンを完全対話型入出力デバイスとして採用するいくつかの他の使用モードを示している。これらの一般的使用モードは、「アイコン」、「補助」、および「ポップアップ」タッチスクリーンモードを有し、それぞれさまざまな用途が考えられる。同様のタッチスクリーンが、これらのさまざまなモードのそれぞれ、または他のモードで、別々のときに動作することができる。さらに、異なるモードを同時に画面上に表示することができ、たとえば、アイコンを補助またはポップアップイメージで表示し、補助またはポップアップイメージをウィンドウ内でそのイメージを完全に置き換える代わりにアイコンモードイメージ上に重ねて表示することもできる。
【００２７】
図4は、タッチスクリーンの第1の「アイコン」使用モードの例を示す。アイコンモードでは、画面が、画像またはボタンなどの多数の小さなアイコンを含むイメージを表示する。タッチセンサは、アイコンモードではタッチパッドポインティングデバイスとして動作し、指の動きおよび指でセンサへのタップの動作は一般に、タッチスクリーンが従来のタッチパッドとして動作するときと同じように解釈される。アイコンモードでの画面上のイメージは、2つのモードは似た動作をするので図3のデフォルトイメージと共通の要素が含まれる。アイコンモードは、一般に、コンピュータ上で実行されているソフトウェアに関係する追加アイコンをおよびコンピュータの動作の他の側面を表示する。
【００２８】
図4のイメージ例では、イメージ400は、スクロール矢印アイコン402および404および図3と共通するコーナータップアイコン406により示されているようなタッチ領域を含む。ロゴ308は、わかりにくくなるを避けるためこの例ではイメージ400から省かれている。他の実施形態では、デフォルトイメージによる重要でないグラフィックス（non-critical graphics）は、アイコンが重ねて表示される背景イメージとして保持することもできるが、さらに他の実施形態では、静的または動的な「壁紙」などの異なるイメージを背景イメージとして使用してもよい。
【００２９】
イメージ400では、さらにアイコンを追加して、さまざまなシステムステータスインジケータおよび機能を表している。アイコン410は、ウェブブラウザおよび他のソフトウェアの「戻る」機能をアクティブにする第2のタッチ領域またはコーナータッピング領域を形成している。ユーザがソフトウェアコントロールパネルを使用するというように、特別なタップ領域を有効、無効にし、割り当てられている機能を変更すると、アイコン406および410などのタップ領域アイコンの表示、非表示、移動、および形状変更を行って現在の設定を反映させることができる。
【００３０】
アイコン412は、日時の連続表示である。このアイコンは、通常、その領域内での指のタッピング動作の解釈に影響を及ぼさない。その代わりに、その境界内で指のタップ動作を行うことは、タップがアイコンから離れたところで発生したかのように、シミュレートされたマウスボタンをクリックとして解釈される。すべてのアイコンが特に指のタップ動作に応答するとするならば、マウスクリックをシミュレートするタッピングの主要機能は非常に使いにくいものとなるだろう。視覚上の規則を使用して、接触感知領域を表すアイコンを示すことができ、図4の例では、波線426および428を使用して、これらの領域を示している。
【００３１】
アイコングループ414は、Num Lock、Caps Lock、Scroll Lock、ハードディスク活動、電池残量、およびシステムパワーなどの現在の携帯型コンピュータ上に見られる従来のステータスアイコンセットを含む。これらのシステムアイコンをタッチスクリーン表示画面上に配置することにより、システム設計者は、従来技術のコンピュータで通常使用されている専用のLEDまたはLCDステータス表示装置を用意する必要がなくなる。
【００３２】
いくつかの従来技術の携帯型コンピュータでは、コンピュータのカバーを閉じて主表示画面を中にしまい込んだ場合でも専用システムステータス表示装置が見えるように配している。本発明のタッチスクリーンも同様に、たとえばタッチスクリーンをカバーの下から突き出るようにするか、またはタッチスクリーンの位置に被さるカバーのノッチ部分をカットすることによりカバーを閉じた状態でも画面イメージの全部または一部が見えるように配置することができる。このような配置により、ユーザは、コンピュータを使用していない間も、コンピュータシステムの電池充電状態およびその他の静止状態活動を監視することができる。
【００３３】
アイコン416は、電子メール通知ステータスアイコンであり、たとえば、アイコン416は、電子メールが着信したことを示すために新しい形状またはアニメーションイメージに変えてもよい。アイコン418は、同様に、約束期日の迫っていることをユーザに通知する。これらのアイコンは、関連する電子メール読み込みまたはアポイントメントスケジュールソフトウェアを開くなど、ユーザがアイコンをタップしたときに実行可能な自然なアクションを示唆している。これらのアイコンはタッチセンスエリアの中心近くに配置され、うっかりタップすることが容易に起こりうるので、アイコン416および418は、キーボード104上の専用ファンクションキーを押すなどのいくつかの別々の手段によりアクティブ化されたときに指のタップ動作に反応するように構成できる。
【００３４】
アイコン420および422は、タッチスクリーン上のポップアップアプリケーションを選択するコマンドを表す。アイコン420は、アプリケーションランチャーを選択する。アイコン422は、電卓または数値キーパッドを選択する。アイコン416および418のように、アイコン420および422は、タッチスクリーンがアクティブ化状態にあるときのみ指のタップ動作を感知するように構成できる。
【００３５】
アイコン424は、コンピュータのサウンドシステムおよびスピーカーの音量コントロールを表す。アイコン424は、視覚的スライダーおよび「サム（thumb）」を含む。スライダー上のサムの位置は、現在の音量設定を反映する。タッチスクリーンがアクティブ化状態にある場合には、音量コントロール領域内で指を動かすことにより、サムがスライダー上の別の位置に移動し、音量レベルを調整することができる。タッチスクリーンがアクティブ化状態にない場合には、アイコン424は、視覚的な表示のみであり、触れても特別な解釈は実行されない。複数の音源間の音のバランス、主画面またはタッチスクリーンの輝度およびコントラスト、またはパワーマネージメントストラテジーなどの他のシステムパラメータを調整する同様のスライダーコントロールを形成してもよい。
【００３６】
図4に示されているアイコンは、アイコンモードの画面上に形成しうるアイコンの種類を示している。図4は、アイコンの理想的な選択または配置を必ずしも表していない。ヒューマンファクタテストを使用して、デフォルトのアイコン画面内のアイコンの個数、種類、および配置を決定してもよい。また、ユーザが表示するアイコンを選択し、場合によってはソフトウェアコントロールパネルを使用して各アイコンの再配置を行えるようにすると都合がよい。候補アイコンの個数は利用可能な利用可能なスペースを超える可能性があるので、ソフトウェアコントロールパネルまたはタッチスクリーン上のアイコンのタップ動作などのいくつかの手段により選択可能な複数のアイコン画面レイアウトを形成することが望ましいと思われる。
【００３７】
当業者であれば、他のさまざまなイメージ、ロゴ、ステータスインジケータ、コマンドボタン、コントロール、およびその他の種類のアイコンがアイコン使用モードでタッチスクリーン表示画面を共有できることは明らかであろう。これらのアイコンは、純粋に表示インジケータとすることもできるが、特に、常時またはタッチスクリーンが特別な方法でアクティブ化されたときのみ、指の動きおよび/または指のタップに応答するコントロール領域を示すことができる。システムステータスアイコンまたはコンピュータ製造業者のロゴなどのいくつかのアイコンは、システム設計者側で組み込むことができる。電子メール通知アイコンなどの他のアイコンは、コンピュータ上で実行されているアプリケーションソフトウェアによって作成し保持してもよい。
【００３８】
タッチスクリーンのアクティブ化された状態は、視覚的規則により示すことができる。図5は、アクティブ化された状態で接触感知する各アイコンの回りの破線を使用してタッチスクリーンのアクティブ化状態を示すように修正された図4のタッチスクリーンイメージを示す。イメージ500では、破線516、518、520、および522は、所定の各アイコンを囲んでおり、それらのアイコン近くの領域内で指をタップすることにより、アイコンへの特別なコマンドであると解釈される。同様に、破線の輪郭524は、音量コントロール領域内の指の動きによりコントロールの設定が調整されることを示す。日時アイコンの輪郭512は破線になっており、このアイコン上でタップすることにより時刻の設定または世界時計へのアクセスなど特別な機能がアクティブ化されることを示す。システムステータスアイコンの輪郭514が実線のままであることにより、図5の例では、これらのアイコンがアクティブ化状態で特別なタッピング機能を持たないことを示す。破線526および528がそのままであることにより、タッチスクリーンがアクティブ化状態である場合にコーナータップ領域に対し引き続き特別なタップ解釈が行われることを示す。実線または色付きの線、色付きまたは反転した背景、アクティブ化されたアイコンの輝度または着色の変化、アクティブ化されたアイコンの形状の変化またはアニメーション、またはイメージの一部を強調表示にする他のよく知られている規則など他の多くの視覚的規則も、接触感知アイコンを示すために、等しく使用される。
【００３９】
図4および5の例は、アクティブ化状態と非アクティブ化状態にある同じアイコンセットを示している。しかし、タッチスクリーンをアクティブ化することにより、存在していないアイコンがさらに作成され、たとえば、タッチスクリーンがアクティブ化状態にない場合でも、画面上がわかりにくくなる恐れがある。また、既存のアイコンを除去または再配置することも可能であろう。とはいえ混乱を避けるためであるが、図4のアイコン414などのアクティブ化状態で使用されないアイコンをアイコン420および422と同様のアイコンなどアクティブ化されたときに最もよく使われる他のアイコンで置き換える場合にのみ、アイコンの除去又は再配置を実行することができる。
【００４０】
ユーザがタッチスクリーンアイコンのアクティブ化を指示するための代替メカニズムが多数考えられる。最も単純なケースでは、アイコンは、タッピングまたは動作コマンドに対して常に非アクティブであるかまたは常にアクティブである。図3のコーナータッピングおよびスクロール領域アイコン302、304、および306、および図4の402、404、406、および410は、常にアクティブであるアイコンの例である。図3のロゴアイコン308および図4のシステムステータスアイコン414は、常に非アクティブであるアイコンの例である。図3のような単純なタッチスクリーンイメージについては、すべてのアイコンはこれらの単純なカテゴリに分類され、あからさまなアクティブ化メカニズムは必要ない。図4および5のようなより込み入ったタッチスクリーンイメージの場合、タッチに対して反応しなければならないが、合理的に見て常に接触感知状態にすべきではないアイコンについてはあからさまなアクティブ化メカニズムが必要である。
【００４１】
図の実施形態では、図1のコンピュータシステム100のメインキーボード104のキーは、タッチスクリーンアクティブ化キーとして指定されている。図6Aは、複数のキーを備えるキーボードの一部600を示す。文字「Z」キー602などのキーボードのほとんどのキーは、タッチスクリーンのアクティブ化機能と重ならないようにあらかじめ機能が割り当てられている。Shiftキー604、Ctrlキー606、およびAltキー614などの既存のシフトキーもまた、多くの場合、拡張選択などの機能用にアプリケーションソフトウェアでマウスをクリックするとともに一緒に押されるので適しておらず、したがって、ユーザが通常のように、これらのシフトキーを押しながらタッチセンサをタップしてマウスクリックをシミュレートできることが望ましい。
【００４２】
ファンクションまたは「Fn」キー608は、携帯型コンピュータのキーボード上で一般的である。このキーは、押し下げられると、特別な制御機能を実行する他のさまざまなキーの解釈を変更する。たとえば、ある携帯型コンピュータでは、矢印キーが画面輝度コントロールに変わり、いくつかの文字キーが数値キーパッドに変わり、他のさまざまなキーが外部ビデオおよびさまざまな他の機能を制御するキーに変わる。さまざまなキーの交互「Fn」機能はしばしば、キーの主機能を示す白地の表示の隣に青色の表示で示されている。「Fn」キーはデスクトップコンピュータにはないことが多いので、通常、ソフトウェアでは「Fn」キーと組み合わせたマウスクリックに特別な解釈を与えない。「Fn」キー608の用途と機能は、タッチスクリーンをアクティブ化する機能と十分一致している。図の一実施形態では、「Fn」キーを押し下げることで、タッチスクリーン上のさまざまなアイコンがアクティブ化され、メインキーボードのさまざまなキーを再定義する通常のアクションに加えて、図5に示されているように視覚的にフィードバックされる。「Fn」キーを離すと、タッチスクリーンは、メインキーボードのキーが主機能に戻るのと同時にそのポインティングデバイスの機能に戻る。
【００４３】
「Fn」キーの機能がカラーコードで示される場合(青色の文字など)、このカラーコードを特別なニーモニック効果（mnemonic effect）としてカラータッチスクリーン上で採用することができる。たとえば、青色の輪郭または彩色をアイコン自体にまたは背景または輪郭に使用し、タッチスクリーンがアクティブ化状態のときに動作が変化するアイコンを示すことができる。タッチスクリーンがアクティブ化されたときに輪郭または背景が青色から白色に変化し、アイコンが接触感知状態であることを示す。
【００４４】
Microsoft Windows(登録商標)オペレーティングシステムとともに使用されるコンピュータは多くの場合、「Windows(登録商標)」キー610を有している。「Windows(登録商標)」キーを押し下げられている間、コンピュータのキーボード上のさまざまな他のキーの解釈が変更される。「Windows(登録商標)」キーは、「Fn」キーについて開示されている意味と同様の意味を持つタッチスクリーンのアクティブ化キーのもう1つのキーである。当業者であれば、「AltGr」キーなどの一部の携帯型コンピュータキーボードに用意されている他のいくつかのキーも、タッチスクリーンのアクティブ化キーの候補として適していることを理解するであろう。
【００４５】
他の実施形態では、新しいキー612をキーボード上に、またはキーボードの近くに追加して、専用のタッチスクリーンのアクティブ化キーとして作用させることができる。キー612は、キーが押し下げられている間、タッチスクリーンがアクティブ化されるアクティブ化シフトキーとして作動可能である。または、キー612は、キーが押された後であって、かつアイコンがタップされるまで、タッチスクリーンがアクティブ化されるアクティブ化前置キー（activation prefix key）として作動可能である。さらに他の実施形態では、キー612はトグルキーとして動作し、キーが押される毎にタッチスクリーンのアクティブ化、非アクティブ化を交互に実行することができる。これらの方式または他の方式はどれも機能するが、専用キー612の代わりに「Fn」キー608または「Windows(登録商標)」キー610などの既存のキーを使用すると都合がよい。既存のキーを使用すると、キーボード設計が簡素化され、かつ標準のキーボードに慣れているユーザにとってはなじみやすい。しかし、既存のキーにアイコンまたはレタリングをラベルとして付け、図6Aのキー616で示されているように、通常のラベルに加えてタッチスクリーンのアクティブ化キーとしての二重機能を示すことができる。
【００４６】
他の多くのタッチスクリーンアクティブ化メカニズムがキーボードのキーの代替として使用可能である。一実施形態では、図1のボタン108の近くに、タッチスクリーンをアクティブ化するためのマウスボタンが形成されている。別法として触れたときにタッチスクリーンをアクティブ化する、特別な接触感知領域または第2のタッチセンサを形成することができる。図6Bは、このようなボタンまたはタッチセンサの可能な一配置を示している。トロイダルボタン(toroidal button)すなわちタッチセンサ632は、タッチスクリーン630の全部または一部を囲んでいる。トロイダルボタンすなわちセンサ632は、従来の「マウス」ボタンを634および636と異なる。ある用途では、タッチまたは押された場合にトロイダルボタンによりタッチスクリーンがアクティブ化される。別法としてトロイダルボタンすなわちセンサ632がタッチまたは押されたとき以外、タッチスクリーンアイコンをアクティブ状態に維持することもできる。この後者の使用法は、タッチスクリーン630がポインティングデバイスとして無意識のうちに動作させられる可能性が最も高い場合に、ユーザが手をキーボードの近く、または従来のボタン634および636の近くに置くと予想することができ、したがって、さらに、コンピュータの従来の動作時にセンサ632の近くに置くことが予想されるため都合がよい。
【００４７】
他の可能なアクティブ化メカニズムは、常にアクティブであり、指でたたく動作がタッチスクリーンのアクティブ化状態に入力またはトグルする信号として解釈されるタッチスクリーン上の領域を形成することである。ソフトウェアコントロールパネルは、図4のコーナータップ領域406および410の可能な機能を割り当てのうちの1つとしてアクティブ化機能を提供することができる。
【００４８】
さらに他のメカニズムは、ユーザが主表示画面上のソフトボタンまたはアイコンをクリックしてタッチスクリーンをアクティブ化することである。指の動き、音声コマンド、フットスイッチ、網膜注視トラッキング（retinal gaze tracking）などのタッチスクリーンアクティブ化のために作用しうる多数の他のアクティブ化メカニズムもよく知られている。タッチスクリーンを利用するソフトウェアアプリケーションは、追加のアプリケーション固有のアクティブ化メカニズムを提供することができる。
【００４９】
さらに他の実施形態では、アイコンはタッチスクリーンアクティブ化状態全体ではなく特別な方法で接触されることにより個別にアクティブ化される。たとえば、アイコンの近くを1回軽く叩くことは通常のマウスクリックとして解釈することができるが、すばやく2回叩くとアイコンの「アクティブ化された」機能が引き起こされる。別法として複数の指でアイコンに触れる、タッチスクリーンの表面に触れずにアイコンの上で指を動かす、または指定期間の間アイコンの上に指を置き続けると、アイコンのアクティブ化された機能を引き起こすことができる。
【００５０】
指に加えて、ペン、鉛筆、またはポインタなどのいくつかのタッチスクリーン技術は他の物体を感知する。このようなデバイスでは、指で軽く叩く動作によりアクティブ化された機能がトリガされるが、ペンで叩く動作は通常のマウスクリックとして解釈され、またその逆も言える。あるいは、特別なボタンをペンの本体に備え、このボタンを押したときにアイコンのアクティブ化された機能を引き起こすこともできる。
【００５１】
さらに、これらの交互メカニズムの複数を一度に提供することも可能である。これらの複数のアクティブ化メカニズムは、すべて各アイコンの同じ特別機能をアクティブ化するという点で同義（synonym）とすることができ、または異なるアクティブ化メカニズムによりアイコンの異なる特別機能をアクティブ化することができる。複数の異なる特別機能は、ユーザを混乱させる可能性があるため、慎重に使用しなければならない。
【００５２】
図4および図5のものなどのアイコン画面イメージでは、画面上に小さな多数のアイコンを配置し、最大限の機能にアクセスできるようにするのが望ましい。図7Aに示されているように、このような小さなアイコン702は指700よりも小さくてもよく、また指が触れたときに指で完全に遮られても構わない。指はアイコンを瞬間的にしか覆わないので、この効果は重大な問題にはなりえないであろう。しかし、さまざまな手法を使用して小さなアイコンが隠れるという問題を解決することができ、図の実施形態では、アイコンを十分に大きくして隠れないように画面イメージを構成するか、または一瞬隠れたとしてもユーザが操作できるように配置するか、または小さなアイコンが隠れるとの問題を解消するためのメカニズムを備えることができる。
【００５３】
図7B〜図7Eは、このようなメカニズムをいくつか示している。図7Bのメカニズムでは、アイコン710は、指700がその上を通過すると必ず延びる。図7Cのメカニズムでは、指の下のアイコンまたはイメージエリアのイメージ722は、指700の近くの「コールアウト」720または画面上のどこか別のところに表示される。図7Dのメカニズムでは、指700により、指の直下にあるアイコンではなく、指の回りに見える指の接点の中心から十分に変位している「ホットスポット」732の下のアイコン730を選択する。図7Dに示されているように、十字線がホットスポット732を視覚的に示し混乱を回避するのに役立つ。図7Eのメカニズムでは、米国特許第5543591号で開示しているような、いくつかのタッチセンス技術によりセンサ上のすべての指接点の重心を計算するという特性を使用する。このようなセンサを使用すると、ユーザはアイコンを遮ることなく、1本の指をアイコンの上に直接置くのではなく2本の指740および742をアイコンのいずれかの側に置くことでアイコン744を選択することができる。十字線746を備え、指の接点の重心を視覚的によりはっきりさせてもよい。
【００５４】
図8Aは、本発明のタッチスクリーンの第2の「補助」使用モードの例を示す。補助モードでは、タッチスクリーンが、コンピュータ上で実行されているソフトウェアアプリケーションに特有の補助イメージを表示する。図の実施形態では、ソフトウェアアプリケーションはその補助イメージを、オペレーティングシステムによって決定された「入力フォーカス」が設定されたときのみ表示する。ほとんどのコンピュータのオペレーティングシステムでは、ポインティングデバイスにより最後にどれがクリックされたか、またはカーソルが現在どれに置かれているかに基づいて主表示画面上のアプリケーションウィンドウにフォーカスが与えられる。アプリケーションの補助イメージには、アイコンモードのものと一致していても一致していなくてもよいグラフィックアイコンおよびボタンを含んでもよい。別法として補助イメージは、広告またはプレゼンテーションを伴う一組のメモなどの純粋なイメージであってもよい。
【００５５】
補助モードでは、指の動きおよび/または指で叩く動作は、通常、アプリケーション側により特別な解釈が行われる。アプリケーションが指の動きを特別に扱う場合には、タッチスクリーンは、アプリケーションがその特別な解釈を指の動きに対して適用している限り、主表示画面上でカーソルを移動することができない。交互カーソル移動デバイスまたはメカニズムが存在している場合、またはアプリケーションがカーソルを必要としない場合、または特別な解釈が短時間しか続かない場合には、このような動作は許容できる。別法としてアプリケーションが指で軽く叩く動作のみを特別に扱う場合、ユーザはタッチスクリーンを使って、主表示画面上でカーソルを移動できるが、ユーザは図1の「マウス」ボタン１０８を使用して、主表示画面上のアイテムをクリックまたは選択しなければならない。別法としてアプリケーションにより補助イメージを表示することができるが、タッチスクリーンでは指の動きと叩く動作をアイコンモードの場合と同じようにして解釈することができる。この後者の場合、補助イメージがボタンまたはコントロールアイコンを含む場合、アイコンモードについて開示されているように特別なアクティブ化メカニズムを使用してボタンまたはコントロールをアクティブ化する必要がある。アプリケーションは、画面を、コーナー領域406および410内の叩く動作の特別な処理および図4のスクロール領域402および404内での指の動きに対する特別な処理に似たさまざまな方法で指の動きまたは叩く動作を解釈する複数の領域またはアイコンイメージ領域に分割する。図の実施形態では,それぞれのアプリケーションは、アプリケーションのニーズに最もよく応えるように補助画面についてこれらの選択項目または他の選択項目のうちのどれかを選択することができる。
【００５６】
図8Aの例では、タッチスクリーンはスライドプレゼンテーションの補助イメージを示す。Microsoft PowerPoint(登録商標)などのスライドプレゼンテーションソフトウェアは、通常、現在のスライドを表示するためにコンピュータの主表示画面全体を全画面モードで使用する。主表示画面は視聴者に表示されるか、またはビデオプロジェクターにリンクすることができるので、主表示装置はスライドイメージ自体のみを表示しなければならない。タッチスクリーンには、発表者にとって有用な情報を補助イメージ800とともに表示する。領域802には、スライド番号、表題、および発表者のメモが表示される。領域804は、次のスライドのタイトルまたはプレビューイメージを表示し、領域806は、発表中の前回スライドを単に表示するだけである。領域804および806は、指で軽く叩けるボタンであって、プレゼンテーションを1スライド分早送りし、又は巻き戻す。領域802は、指の軽く叩く動作により追加プレゼンテーションオプションのメニューが表示され、一実施例のプレゼンテーションソフトウェアシステムでは、領域802で軽く叩くと右マウスボタンのダブルクリックをシミュレートするように構成されている。スライドプレゼンテーションソフトウェアは全画面表示の場合のみ補助イメージ800を表示するように構成される。別のときには、このソフトウェアにより、タッチスクリーンはアイコンモードに戻り、タッチセンサがソフトウェアを動作させるポインティングデバイスとして通常の役割に使用される。
【００５７】
当業者であれば、図8Aのスライドプレゼンテーションアプリケーションは、主表示装置全体に自由に専用イメージを表示させることにより奏効することができるタイプのアプリケーションの代表であることを理解するであろう。さらに他の例として、DVD映画またはビデオのソフトウェアプレイヤーがある。DVDプレイヤーは通常、一時停止、巻き戻し、先送り、およびチャプターの選択などのコントロールを含む。しかし、これらのコントロールアイコンを映画の再生時にコンピュータの主表示画面上に置くことは注意散漫の原因となる。図8Bの例では、DVDプレイヤーは、タッチスクリーン上に小さなコントロールパネル820を配置し、映画視聴用に主表示画面全体を確保する。コントロールパネル820は、トラック情報およびタイミングを表示するステータスアイコン822、停止および早送りといった操作用ボタン824、および音量コントロール826を備える。映画の全画面表示中に、ボタン824およびコントロール826は、映画の再生を制御するために触れることに対して反応する。DVD表示ソフトウェアが全画面モードでない場合、タッチスクリーンは通常のアイコンモードに戻るか、またはコントロールパネル820はタッチスクリーン画面上に残るが、ボタン824およびコントロール826は、タッチスクリーンがアクティブ化状態であるときのみアクティブである。
【００５８】
同様に、多くのコンピュータシステムが音楽CDからオーディオを再生することができる。ユーザは、通常、コンピュータ上で無関係の仕事をしながらバックグラウンドミュージックとしてCDを聴く。CD再生用ソフトウェアは、通常、DVDソフトウェアのウィンドウと非常によく似たコントロールウィンドウを表示する。このウィンドウは、主表示画面上で実行されるアプリケーションの視界を遮る場合があり、通常は、図8Bのタッチスクリーン表示画面と非常によく似たタッチスクリーン表示画面に移動される。
【００５９】
図8Cは、インターネットウェブブラウザを伴う他のアプリケーションを示している。ウェブページは多くの場合、ウェブページの主要情報とともに広告を表示する。一部のブラウザおよびサービスでは、乱雑な表示を低減するために広告をフィルターする機能を提供するが、このようなサービスは広告収益に頼るウェブプロバイダからの大きな抵抗に出会うことになる。そうする代わりに、ブラウザまたはサービス側が広告イメージをタッチスクリーン上に移動し、そこで広告イメージがはっきりわかるようにするが、メインウェブページの表示をあまり妨げないようにする。さらに、タッチセンサシステムは、各種の知られている電子署名手段を使用する検証メカニズムを採用して、ユーザが許可したか、または広告主がライセンス料を支払ったイメージのみを表示するようにできる。図8Cでは、イメージ840は、主表示画面に表示される無関係のウェブページから抜き取られた広告イメージ842を含む。このアプリケーションでは、タッチセンサは通常、ポインティングデバイスとして動作するが、タッチスクリーンがアクティブ化状態の場合には、代わりにイメージ842を叩くことが広告自体をクリックすることと解釈される。
【００６０】
図8Dは、Microsoft(登録商標)WordなどのワードプロセッサおよびAdobe Acrobat（登録商標）などのドキュメントビューアを含むさらに他の潜在的なアプリケーションを示している。これらのソフトウェアツールは、しばしば目次などの補助情報または一組のサムネイルページのイメージを表示し、メインページ（または複数のページ）とともに前後関係を提供する。この補助情報は乱雑な表示となり、ページ表示専用にできるはずのスペースを占有する。図8Dの例では、補助情報862はタッチスクリーン860に移動されており、ページを表示するための空き領域を主表示画面に残している。コーナータップ領域866および868は保持されているが、これらの機能はドキュメント表示アプリケーションにより適した機能に変更され、領域866は前のページを選択し、領域868は次のページを選択する。スクロールはドキュメントビューアの重要な機能なので、スクロール領域870はデフォルトのアイコン画面から保持されている。タッチスクリーンがアクティブ化状態にあるときには、いずれかのサムネイル864を叩くとページビューアが選択されたページを表示し、スクロール領域870は、主表示画面上のドキュメントビューをスクロールする代わりに、エリア862内のサムネイル864をスクロールする。
【００６１】
補助モードでのタッチスクリーンにより奏効しうるタイプのアプリケーションとしては、他に、追加情報または補助情報を表示することにより奏効しうるアプリケーションがある。今日の多くのコンピュータのオペレーティングシステムおよびソフトウェアアプリケーションは、カーソルをアイコンまたはボタンの上に置いたままにすると画面上に自動的に表示されるポップアップヘルプを提供している。ポップアップヘルプにはアイコンまたはボタンの簡単な説明を表示し、ユーザは前もって、アイコンまたはボタンがクリックされた場合に何が生じるかを知ることができる。自動ポップアップヘルプの大きなウィンドウは表示の邪魔になるので、ポップアップヘルプは、通常、短い1行の記載に限られている。Microsoft（登録商標）のアニメーションペーパークリップアシスタントのように大きなオンスクリーンヘルプ画面が勝手に表示されると、ヘルプ機能が役立つというよりは乱雑で邪魔になるということをユーザはしばしば気付いている。
【００６２】
本発明によれば、アプリケーションは、カーソルが主表示画面上のアイコンまたはボタンの上を覆うときに、さらに詳しいポップアップヘルプまたは他の説明または補助情報をタッチスクリーン上に表示することができる。タッチスクリーンのヘルプテキストは主表示画面上の表示内容を遮らないので、主表示画面を非常に広くとることができ、かつカーソルが一定期間アイコンの上にとどまるのを待つことなく即座に表示することができる。タッチスクリーンのヘルプは、さらに、通常はプルダウンメニュー内の選択など視覚的設計上の理由からポップアップヘルプにあまり適していないユーザインターフェース要素用に提供することもできる。
【００６３】
図9は、本発明のタッチスクリーンの補助ヘルプテキストの一例を示す。ヘルプが利用可能である主表示画面上のユーザインターフェース要素の上にカーソルが覆ったときに、通常のアイコンまたは補助画面イメージは、主表示画面上の要素上にカーソルがとどまっている限り持続する新しい補助イメージ900で置き換えられる。イメージ900は、オブジェクト（この場合はドキュメント作成ツールの「フォーマットペインタ」ツールバーアイコンまたはメニュー項目を説明するヘルプテキスト902）を含んでいる。ユーザは必ずしも標準アイコンタッチスクリーンイメージが置き換えられたことに気付かないので、コーナータップ領域904および906などの永久的にアクティブなタッチ領域は置き換えられるイメージに引き継がれるべきである。タッチスクリーンイメージの残り部分は、ヘルプテキストまたは他の補助情報用に自由に使える。図9の例では、さらにヘルプを表示させるために叩くことができるボタン908も提供されている。ここでもまた、ユーザはそのようなボタンが表示されていることに気付かないことがあるので、ボタン908は、通常、タッチスクリーンがアクティブ化状態にあるときのみ指による叩く動作を感知しなければならない。
【００６４】
いくつかのソフトウェアアプリケーションは、すでに多くのユーザインターフェース要素の詳細なヘルプテキストを有している。このヘルプテキストは、ユーザが要素に対して明らかに前後関係に依存するヘルプコマンドを呼び出したときに表示するようになっていてもよい。本発明では、この既存の詳細ヘルプテキストは、タッチスクリーン上に表示できるように、また場合によってはアプリケーションソフトウェア自体に修正をほとんどまたは全く加えることなく、手直しすることができる。
【００６５】
前記の例にはすべて、特定のアプリケーションに結び付けられた補助画面を備えていた。さらに、アプリケーション内の特定のウィンドウすなわちダイアログが関連する補助画面を有することも可能である。たとえば、ほとんどのアプリケーションのオープンファイルコマンドは、主表示画面上に特性ダイアログウィンドウを表示する。このダイアログは、ファイルおよびディレクトリの一覧、ファイル名を入力するためのスペース、ファイルシステムのナビゲーション用の各種ボタンを有している。多くの場合、ソフトウェアアプリケーションは、基礎をなすオペレーティングシステムを呼び出して、ファイルを選択するための標準化されたダイアログを供給する。アプリケーションまたはオペレーティングシステム自体は、ユーザのファイル選択を手助けするための、追加ボタン、コントロール、または表示画面を補助画面イメージに供給することも可能である。
【００６６】
いくつかのダイアログは、アプリケーションの主表示画面イメージとやり取りしなければならない。たとえば、ワードプロセッサのテキスト検索および置換のダイアログは、通常、ユーザがドキュメント内で繰り返し検索および置換を呼び出すときには開いたままでなければならないが、このダイアログは検索するドキュメントの表示をじゃまする傾向がある。ワードプロセッサでは、詳しい発見的手法を採用して、ドキュメント内でダイアログボックスと注目フォーカスを互いに干渉しないようにする。
【００６７】
図10Aは、本発明のタッチスクリーンを採用する優れた解決方法を示している。検索/置換ダイアログ1002は、タッチスクリーン1000上に表示され、主表示画面が、ドキュメントを遮ることなく自由に表示している。ユーザが理解しやすいようにするために、ダイアログ1002は、タイトルバー1004、テキスト入力エリア1006および1008、ファンクションボタン1010および1012、および「閉じる」ボタン1014を備える従来のダイアログボックスに似せて構成されている。しかし、従来のダイアログボックス要素のいくつかは、タッチスクリーンインターフェースに最もよく合うように手直しされている。ファンクションボタン1010および1012は、タッチスクリーン表面の両コーナーに配置されており、タッチスクリーンが全体的なアクティブ化状態にない場合でもアクティブにできるようになっている。ボタン1010および1012が図9のボタン908と同様の従来の方法で描画される場合、タッチスクリーンがアクティブ化状態である場合を除きボタン1010および1012が軽く叩く動作を感知することはユーザにとってはひどくまぎらわしい。同様に、「閉じる」ボタン1014は、画面1000のコーナー近くに配置されるため、常時、安全にアクティブにできる。テキスト入力エリア1006および1008は、検索オペレーションの開始時にユーザによって入力され、その後、通常、非アクティブになるが、タッチスクリーンがアクティブ化状態のときに叩くと検索または置換テキストを変更できる。ダイアログボックス上でのテキスト入力は主表示画面上では比較的わかりやすいので、テキストを領域1006および1008に入力するときにダイアログボックス1002を主表示画面に表示しておき、繰り返し検索オペレーションの実行時にタッチスクリーン1000に移動するようにすると都合がよい。それに加えて、または別法としてジェスチャなどのユーザコマンドを用意して、主表示画面とタッチスクリーンとの間をユーザの裁量で行き来することが可能である。
【００６８】
同様に、多くのアプリケーションが「アラート」ダイアログを表示するが、通常は、簡単なテキストメッセージとともに予期しないときに表示し、ユーザに、エラーまたは他の不規則なイベントをユーザに通知する。アラートダイアログボックスは、アラートを引き起こしたまさしくそのオペレーションの表示を邪魔し混乱させる可能性があり、タッチスクリーンに移動するもう1つの候補として適している。アプリケーションは、アラートダイアログボックスを表示するのに標準オペレーティングシステムのサービスを呼び出すことが多いため、アラートをタッチスクリーンに移動するタスクは、個々のソフトウェアアプリケーションとの連携がなくてもオペレーティングシステムで実行できる。
【００６９】
図10Bは、タッチスクリーンの他の応用を示している。多くのコンピュータゲームは、ジョイスティックまたはその他の専用ゲームコントローラハードウェアの代わりにマウスをゲームコントローラデバイスを使用する。マウスをエミュレートするタッチパッドは、並のゲームコントローラとして使用されるが、多くの場合、特定のゲームに最もよく合うようにその動作を調整することによりタッチパッドを優れたゲームコントローラに変えることができる。タッチパッドでの実験によれば、このようにして再プログラムされたタッチパッドは優れたゲームコントローラとなりえ、一部の専用のゲームコントローラの性能と同等かもしくはそれを凌ぐほどである。しかし、従来のタッチパッドでは、あまりに複雑すぎてそれぞれのゲームに対してタッチパッドの動作を見えないように再定義することができなかった。図10Bに示されているように、本発明のタッチスクリーンは、ゲームによって設定されたコントロールレイアウトを表示することによりこの問題を解決している。この例では、フライトシミュレータは、スロットルとフラップを制御する従来のスクロール領域と同様の領域1032および1034、および着陸装置を制御し、主表示画面上に示される視界を変更するタップ領域1036および1038を含むイメージ1030を表示する。これらのコントロールのそれぞれは、タッチスクリーン上でテキストまたは記号により明確にマークされており、ユーザがコントロールを学習することを助けている。
【００７０】
ゲームコントローラとして有効なものとするために、領域1032、1034、1036、および1038は、タッチスクリーンがアクティブ化状態になくても、常に接触を感知できなければならない。画面1030の残り領域を通常のカーソルの動きに使用することができる。画面1030に多数のゲームコントロールが表示される場合、カーソルの動きをサポートするだけの十分なエリアが残されていない可能性がある。制御するゲームに応じて、カーソルの動きの機能を省くことが許容できる場合もあれば許容できない場合もある。カーソルの動きが必要な場合、解決策の1つとして、アクティブ化の感知を反転させ、アクティブ化状態の場合のみタッチスクリーンが通常のポインティングデバイスとして動作するように設定する方法がある。もう1つの解決策として、領域1040などの、通常のタッチパッドから異なる原理で動作する小さなカーソル制御領域を用意する方法がある。領域1040は相対的カーソル動きデバイスとして使用することができ、指をその領域に置き、任意の方向にわずかな距離だけ指を揺り動かすことで、示された方向に定常状態カーソル移動を引き起こすことができる。これらのメカニズムや同様のメカニズムは、他の機能のために画面領域のほとんどの部分を使用するにもかかわらずカーソルの動きをサポートしなければならない補助またはポップアップ画面で使用することができる。
【００７１】
多くのソフトウェアアプリケーションは、主表示画面上にドロップダウンメニューまたはツールバーを備えており、これによりアプリケーションのさまざまなオペレーションおよびコマンドを呼び出すことができる。本発明のタッチスクリーンのもう1つの便利な使い道は、これらのメニューおよびツールバーの一部または全部をタッチスクリーンに移動または複製することである。図10Cは、イメージ1060が通常のツールバーから抜き取られたアイコン1062を含む例を示している。ユーザは、タッチスクリーンをアクティブ化し、かつこれらのアイコンのうちのどれかを軽く叩くことにより、ソフトウェアアプリケーション内の対応する機能を呼び出すことができる。これらのアイコンは、アプリケーションを使用するたび毎にタッチスクリーンの同じ相対的位置に表示されるので、ユーザは感覚によりその位置を学習することができ、したがって注目している自然なフォーカスからカーソルを外してメニューまたはツールバーに移動するという面倒な作業を回避できる。タッチスクリーン上にツールバーアイコン1062を表示することで、ユーザは、アイコンの位置を感覚で知る前に、学習段階にあるアイコンを位置決めすることができる。
【００７２】
当業者であれば、他のさまざまな種類のアプリケーションがタッチスクリーン上の補助表示およびコントロールを使用できることを理解するだろう。たとえば、スペルおよび文法チェックソフトウェアは、表示されるテキストを遮ることなく訂正選択項目の一覧を表示することができる。本明細書で開示され図に示されている例は、決して、本発明による補助タッチスクリーンを利用することができるアプリケーションの範囲を制限するものではない。
【００７３】
図11は、本発明のタッチスクリーンの第3の「ポップアップ」一般使用モードの例を示す。ポップアップモードでは、タッチスクリーンが補助モードとほとんど同じに特別イメージを表示する。ポップアップモードは、タッチスクリーン上の表示要素およびタッチセンサ上の指のアクションの別解釈はすべて補助モードの場合と同じにできる。しかし、ポップアップイメージはユーザコマンドまたはホストコンピュータ内の他のイベントに応答して表示され、主表示画面上の特定のソフトウェアアプリケーションとは関連しない。
【００７４】
図11の例では、ポップアップイメージはアプリケーションランチャーである。アプリケーションランチャーが呼び出されると、イメージ1100はタッチスクリーン上の前のイメージを置き換える。イメージ1100は、コンピュータ上の一般に使用されるツールおよびソフトウェアアプリケーションを表すさまざまなアイコン1102を含む。図に示されているアプリケーション群は、あらかじめ決定しておくことができるか、またはユーザによって選択することができる。ユーザがアイコン1102のうちの1つを指で叩くと、イメージ1100が消えて、元のタッチスクリーンイメージで置き換えられ、選択されたアプリケーションソフトウェアが起動する。通常、このアプリケーションはコンピュータの主表示画面上で実行されるワードプロセッサなどの従来のソフトウェアアプリケーションであるが、アイコン1102のうちいくつかはシステムコマンド(コンピュータをシャットダウンするコマンドなど)、その他のツール(タッチスクリーン上の他のポップアップアプリケーションなど)、または追加アプリケーションランチャー画面へのリンクを表すことができる。ユーザは、さらに、アイコン1104を叩くと、アプリケーションを呼び出さずにアプリケーションランチャー画面を終了することができる。
【００７５】
図11のアプリケーションランチャーなどのポップアップ画面は、キーボードのキー、アイコン420のようなアイコンまたは図4の領域410のようなコーナータップ領域、またはMicrosoft Windows(登録商標)の「スタート」メニューなどのアプリケーションを呼び出すためのさまざまなよく知られている手段の何れかにより呼び出すことができる。
【００７６】
ポップアップ画面は、オペレーティングシステムによって表示される通常のアプリケーションとして実装することができるが、この場合、アプリケーションは主表示画面上に表示可能なウィンドウを作成せず、他のアプリケーションが補助タッチスクリーンイメージを作成するために使用するのと同じメカニズムを使用してタッチスクリーンイメージを作成する。他の実施形態では、図11のようなポップアップ画面を特にタッチスクリーンドライバソフトウェア内に実装するか、または図2のコントローラ216などのタッチスクリーンコントローラのハードウェアで実装することができる。
【００７７】
図12は、タッチスクリーン内全体で動作するポップアップ電卓アプリケーションを示している。イメージ1200は、おなじみの数値表示画面1202と電卓のボタン1204のマトリックスを含む。ユーザは、ボタンアイコンを叩いて、通常の方法で電卓を実行する。ユーザがボタン1206を叩いて、電卓を閉じ、タッチスクリーンが前のイメージに復元される。電卓は、コンピュータの主表示画面上に表示可能なアプリケーションに関して自律的に動作する。この自律的動作は、データベースアプリケーションが数値データを検索するなど、電卓を主表示画面上のアプリケーションと連携させて使用する場合に特に有用である。図12の例では、ボタン1208および1210は、電卓と主表示画面上のアクティブなアプリケーションとの間で数値を貼り付けでやり取りするために用意されている。
【００７８】
コンピュータのキーボードは、従来、数値キーパッドを備えているが、携帯型コンピュータのキーボードは、従来のキーパッドのための余地をあまり有していない。携帯型コンピュータシステムの設計者は、解決策として扱いにくい「Fn」キーを採用させられている。図12の電卓と非常に類似のポップアップ数値キーパッド画面は、携帯型コンピュータの数値キーパッドの役割を果たさせることができる。このキーパッド画面は、数値キーパッドをアクティブ化するためにコンピュータのキーボードにすでに装備されている「NumLock」キーにより呼び出される。
【００７９】
多くのコンピュータのオペレーティングシステムは、視覚障害者用に拡大鏡ツールを提供している。このツールは、通常、主画面上にウィンドウを作成し、カーソルの周囲の表示イメージのコピーを拡大して表示する。この拡大鏡ウィンドウは、主表示画面上の有用な情報を隠すことがある。本発明によれば、図13Aに示されているように、代わりに拡大鏡をタッチスクリーン1300上でポップアップイメージ1302の形式をとり、主表示画面を邪魔しないようにできる。図11および図12の例と異なり、拡大鏡ポップアップはおそらく、コンピュータを使用しているほとんどの時間、表示されたままである。したがって、このポップアップアプリケーションは、タッチセンサを従来のポインティングデバイスとして動作させたままにでき、したがって、コーナータップ領域1304および1306は保持される。タッチスクリーンがアクティブ化状態にあるとき、拡大鏡アプリケーションはタッチスクリーン上にさらにアクセス可能機能を用意することができる。図13Bの例では、アクティブ化状態のタッチスクリーン1320は、イメージ1302を拡大レベル調整1322などのコントロールのイメージで置き換える。さらに、「閉じる」ボックス1324がアクティブ化状態で表示され、ユーザは拡大機能をオフにすることができる。他の実施形態において、アクティブ化状態では拡大鏡により、小さなオンスクリーンコントロール（on-screen control）のオペレーションを支援する機能がアクティブになる。
【００８０】
他の拡大モードでは、主表示画面のイメージが縮小され、かつタッチスクリーン表示画面に移動され、そこで、イメージの一部の拡大された画像が主表示画面に表示される。これには、タッチスクリーンよりも主表示画面が大きくなり、かつより明瞭になり、かつ色の深みが増すという利点があり、視覚障害者にとってより優れた詳細表示デバイスとなるであろう。
【００８１】
デバッギングは、補助表示画面を非常に利用するタスクである。コンピュータのプログラマは、現在、コンピュータに第2の表示モニタを装着することがあり、これにより、デバッグ対象のプログラムを第1の表示モニタ上で表示の邪魔にならないように動作させることができる。これらの第2の表示装置は、特に携帯型コンピュータでは費用がかかりまた不便でもある。図13Cに示されているように、デバッガは、本発明のタッチスクリーン上で代わりにポップアップアプリケーションとして実装することもでき、補助デバッグ表示を利用しても余分な費用がかからず、かさばることがない。図13Cの例では、イメージ1340は、コマンドボタン1342およびソースコード表示ウィンドウ1344を含む。
【００８２】
中国語および日本語などの表意文字言語のユーザは、通常、西欧の言語で使用されている単純な直接キー入力以上の入力方法に頼っている。さまざまな入力方法が表意文字言語で使用されており、その多くは、特別なウィンドウを通じてユーザに視覚的フィードバックを送り返すことが必要であり、これを大幅に利用している。このウィンドウは、入力しようとするアプリケーションの表示を遮る可能性がある。本発明によれば、入力方法のダイアログボックスをタッチスクリーン上にポップアップイメージとして実装することができる。普及している入力方法の1つに、手書き文字認識があり、この場合、タッチスクリーンは追加の便宜のために手書き入力デバイスとして機能することもできる。
【００８３】
図14は、タッチスクリーン1400上の中国語手書き入力システムの例を示している。手書き入力エリア1402は、漢字入力を行うための指の接触に応答する。このアプリケーションでは、タッチスクリーン感知技術は、有利なようにペンだけでなく指も感知し、指による手書きはきわめて良好に動作することが判っているが、多くのユーザはペンで書くことの方を好む。エリア1402内でペンまたは指が動くと、タッチスクリーンの表示画面上に「インク」の軌跡1408が残り、ユーザは書きながら文字を確認することができる。エリア1402内に文字を書き終わると、ソフトウェアはそれを有効な漢字として認識しようとする。ソフトウェアは、エリア1404に表示される、可能性のある一致の順序付きリストを作成する。ユーザは、エリア1404内に一致文字の1つに触れて、選択した文字を主表示画面上で実行されているアプリケーション内に「入力」することができる。エリア1406は、さまざまな方法で文字認識ソフトウェアを制御する接触感知ボタンを備える。
【００８４】
「インク」による手書きも、署名キャプチャ、署名認識、およびスケッチなどのアプリケーションで使用でき、それらすべてが本発明のタッチスクリーンにより改良されている。
【００８５】
ポップアップ画面アプリケーションで他の有用なタイプとして、セキュリティ分野のものがある。携帯型コンピュータは、特に盗難に対し脆弱であり、多くの携帯型コンピュータは何らかの種類のパスワードまたは生物測定インターロック機能を備える。効果を最大にするため、インターロックによりユーザの素性を確認してから、コンピュータのメインプロセッサを実行するようにしなければならない。コンピュータのメインプロセッサにより主表示画面を作動するので、セキュリティインターロックは、ユーザとのやり取りに他の出力メカニズムを使用する必要がある。本発明のタッチスクリーンは、セキュリティインターロック用の優れたユーザインターフェースデバイスを提供している。インターロックを管理するソフトウェアは、タッチスクリーンコントローラ自体に、またはコンピュータ内の他の周辺機器コントローラ内に実装することができる。この実装は、周辺機器コントローラがすでにメインプロセッサとタッチパッドとの間に存在する今日の多くの携帯型コンピュータのアーキテクチャと相性がよく、この周辺機器コントローラはさらに、メインプロセッサのパワーマネジメントおよびシステムリセット制御の負担がすでにかかっている。
【００８６】
図15Aは、コンピュータシステムが最初にオンになったときに表示されるポップアップ画面1500を示している。ユーザは、メインコンピュータプロセッサが動作する前に、キーパッドアイコン1502上で正しい個人識別番号(PIN)を入力しなければならない。他の実施形態では、ユーザはタッチスクリーン上で署名を入力するか、またはスマートカードまたは指紋などの他の何らかのメカニズムを使用して自己をシステムに対して認証させる。
【００８７】
図15Bは、図15Aのセキュリティインターロックを実装するハードウェアアーキテクチャ例を示している。コンピュータシステム1520は、タッチスクリーンモジュール1522を備え、さらにこれは、図2に示されているハードウェアおよび制御回路を備える。タッチスクリーン1522は、周辺機器コントローラ1524と通信する。コントローラ1524はさらに、キーボード、外部ポインティングデバイス、およびオプションの生物測定認証デバイスなどの他の周辺機器1526も管理する。コンピュータのオペレーション時に、コントローラ1524は、タッチスクリーン1522と中央プロセッサ1528との間のコンジット（conduit）として使用される。中央プロセッサ1528はさらに、主表示装置およびハードディスクドライブなどの他のデバイス1530を作動させる。電源1532は、中央プロセッサ1528だけでなく、システムの他のすべてのコンポーネントにも電力を供給する。システムの起動時に、電源1532は、コントローラ1524から、ユーザの認証が完了し、システムの起動を続けられることを示す信号を受信するまで、プロセッサ1528から電力供給を直接接続1534により保留にする。別法としてコントローラ1524はプロセッサ1528をリセット状態にするか、または単純に、キーボード、タッチセンサ、およびその他のユーザインターフェース周辺機器へのアクセスを保留にし、したがって、ユーザの認証が済むまでコンピュータシステムを使用できなくする。さらに他の実施形態では、コントローラ1524はハードディスク上に格納されているデータに対する暗号解読鍵を送信するなどの高水準のセキュリティ機能に関与する場合もある。
【００８８】
図15Aのセキュリティインターロックおよびすでに開示したデバッギング画面は、特別な状況によりコンピュータシステムのリセットを注視することにしたときにユーザと送信するためにタッチスクリーンを使用する一般的なタイプのアプリケーションの例である。このタイプの他の例としては、キーボードおよび主表示装置のハードウェアなどの動作中のシステムデバイス内のハードウェア障害に関する情報を報告する機能がある。
【００８９】
ポップアップ画面の他の多くのアプリケーションが、本発明のタッチスクリーンによってサポートされている。たとえば、ポップアップゲームは、タッチスクリーン上に全部実装することができ、しかも主表示画面を邪魔することがない。
【００９０】
図2に戻ると、タッチスクリーンアセンブリ200は、有利なことにバックライト206または相当品を有している。バックライトは、タッチスクリーンを構成する他のコンポーネントに比べて消費電力が大きいので、必要のないときにバックライトのスイッチをオフにすると都合がよい。図の実施形態では、バックライトコントローラ212は、コントローラ216またはホストコンピュータ214から要求があったときにバックライトを減光したり消灯したりすることができる。コントローラ216およびホストコンピュータ214は、発見的手法を用いて、ユーザによる明示的な指令がなくても、バックライトのオン、オフを切り替えることができる。たとえば、バックライトは、アプリケーションがデフォルトのアイコンイメージを置き換える補助画面イメージをインストールする場合に点灯され、タッチスクリーンが一定期間使用されないままだと消灯されるようにできる。同様に、バックライトは、タッチスクリーンがアクティブ化状態の場合に点灯させることができる。
【００９１】
タッチスクリーンがアクティブ化状態のときにバックライトを点灯すると、タッチスクリーンの動作が変更されたことをユーザに知らせることができるという利点が得られる。バックライトは、より一般的に、ソフトウェアアプリケーションおよびオペレーティングシステム用の注意喚起メカニズムとして機能することができる。たとえば、バックライトを点滅させて、電子メール新着または約束時期が迫っていることをユーザに通知することができる。多くのコンピュータのオペレーティングシステムはサウンドを使ってさまざまなエラーおよびイベントをユーザに知らせるが、携帯型コンピュータは公共の場所の中で使用されることがあり、サウンドをオフにしなければならない。バックライトは、このような状況で代替アラートとして機能することができる。この機能は、アラートダイアログボックスが、図10Aと関連して開示されているような主画面からタッチスクリーンに移動されるときに特に役立つ。アラートダイアログボックスにより、アラートを引き起こした可能性のあるアプリケーションのデータまたはやり取りの表示が見えなくなるが、本発明では、アラートをタッチスクリーンに移動して、バックライトを点滅させてユーザの注意を喚起することにより、オペレーティングシステム全体を通してアラートダイアログボックスの有効性を高めることができる。
【００９２】
表示装置204がカラー表示装置であれば、システムはバックライト206を点滅させるか、またはカラー表示装置204自体を別の色で点滅させ、ユーザに対して異なる種類のアラートを通知することができる。この代替手段では、色の使用は可聴音アラートに対して異なる音を使用することに類似しており、タッチスクリーンは、オペレーティングシステムにより供給される標準のサウンドから標準のカラーアラートへのマッピングを実装することはできる。
【００９３】
逆に、いくつかのシステムでは、バックライト206を省いて、省スペース、省エネ、省コストをはかることができる。このようなシステムでは、タッチスクリーンがアクティブ化されたとき、または異なるアクティブボタンを備える新しいイメージに変更されたときにユーザにそのことを通知する他の注意喚起メカニズムを備えることができる。適切な注意喚起メカニズムとしては、可聴音アラート、コンピュータの主表示画面上のアイコンまたは特別なカーソル形状、タッチスクリーン付近へのLED装着、またはタッチスクリーンに組み込まれた触覚フィードバックメカニズムなどがある。
【００９４】
本発明のタッチスクリーンは、タッチスクリーンコントローラ216またはホストコンピュータ214上で実行されるアプリケーションソフトウェア用に、図4のアイコン画面上に示されているようなアイコンを作成し、図8〜図15に示されているようなイメージなどの補助イメージおよびポップアップイメージを作成するメカニズムを提供しなければならない。この目的のためにさまざまなメカニズムが実現可能である。
【００９５】
アイコンまたはポップアップ画面を管理するソフトウェアがタッチスクリーンコントローラ216内に常駐する場合、このソフトウェアは、コントローラ208および210を介してタッチセンサ202および表示装置204に直接アクセスする。コントローラ216上のソフトウェアは、それ自体のイメージを、表示するためにホスト214から受け取ったイメージ列内に挿入することができる。コントローラ216上のソフトウェアはさらに、センサ202から指の接触情報を横取りし、その後、その情報をホスト214に送信することができる。これらの手段により、ホスト214が関与することなく、完全にコントローラ216内のソフトウェアだけでアイコンをおよびポップアップ画面を実装することができる。インターフェース218の特性に応じて、コントローラ216はさらに、キーストローク情報をホスト214に送信し、そのアイコンおよびポップアップ画面において、シミュレートされたキーストロークによりホスト214を制御することができる。
【００９６】
図の実施形態では、多くのアイコン、補助画面、およびポップアップ画面が、ホスト214上で実行されるさまざまなソフトウェアアプリケーションにより実装される。これらさまざまなアプリケーションによるタッチスクリーンに対するアクセスを調整するために、ホスト214は、ソフトウェアアプリケーションとタッチスクリーンコントローラ216との間のコンジットとして機能するドライバ用ソフトウェアを備える。
【００９７】
図16は、本発明のタッチスクリーンのソフトウェアアーキテクチャ例を示している。タッチスクリーンのアーキテクチャ1600は、ハードウェア層1602、ドライバ層1604、およびアプリケーション層1606で構成される。当業者であれば、他の多くのソフトウェアアーキテクチャが本明細書で開示されているユーザインターフェースの機能強化を等しく実装できるものであることを理解するであろう。
【００９８】
ハードウェア層1602は、タッチスクリーンモジュール1610を備え、さらにこれは、図2に示されているタッチスクリーンコントローラ216を有している。タッチスクリーンモジュール1610は、図2のホストコンピュータ214に組み込まれている周辺機器コントローラ1612に接続される。周辺機器コントローラ1612は、USBプロトコルが使用される場合には、USBホストコントローラサブシステムである。周辺機器コントローラ1612は、ハードウェアドライバ1614により操作される。ハードウェアドライバ1614は、コンピュータのオペレーティングシステムによって供給され、かつ本発明に特有のものではない。
【００９９】
ドライバ層1604は、タッチスクリーンハードウェアを操作するためにハードウェアドライバ1614と通信する、タッチスクリーンドライバ1620を含む。タッチスクリーンドライバ1620は、ポインティングデバイスドライバ1622と通信する。ポインティングデバイスドライバ1622は、オペレーティングシステムによって供給され、マウスおよびその他のポインティングデバイスの操作に必要なものである。タッチセンサが従来のポインティングデバイスとして動作している場合、タッチスクリーンドライバ1620はタッチスクリーン1610によって報告される指の位置のシーケンスをマウスによって生成されるシーケンスと同様の動きの信号シーケンスに変換する。タッチスクリーンドライバ1620はさらに、タッチスクリーン1610からの指の有無の指示を調べて、指で叩く動作を認識する。米国特許第5543591号では、タッチパッドセンサ上での叩く動作を計算する方法を開示している。これらの動き信号および動作信号は、ポインティングデバイスドライバ1622に伝達され、カーソルの動きおよびクリック動作とマウスまたは従来のタッチパッドとの互換性が保持される。
【０１００】
タッチスクリーンドライバ1620は、さらに、アプリケーションプログラミングインターフェース(API)層1624を作動させる。アプリケーション層1606内のソフトウェアアプリケーション1640、1642、および1644により図16に示されているコンピュータ上で実行されているソフトウェアアプリケーションは、API 1624を使用してタッチスクリーンへの特別なアクセス権を取得することができる。API 1624は、さまざまなタッチパッドおよびタッチスクリーンのコマンドをアプリケーション層1606内のアプリケーションにエクスポートする。これらのコマンドは、タッチセンサ上での指と「マウス」ボタンの活動に関する情報に対する要求およびポインティングデバイスドライバ1622に通常伝達されるカーソルの動きを指の移動に基づきアプリケーションにより生成される異なるカーソルの動きでオーバーライドする要求を含む。APIコマンドはさらに、アイコン画面イメージ上にアイコンを表示し又は更新する要求、または補助またはポップアップイメージを全画面で表示しまたは更新する要求も含む。
【０１０１】
タッチスクリーンドライバ1620は、コンフリクトを生じているAPI要求を決定する役割を持つ。たとえば、タッチスクリーンドライバ1620は、いつでも、入力フォーカスがあるアプリケーション、アプリケーションウィンドウ、またはダイアログボックスがどれであるかを判別するためにポインティングデバイスドライバ1622または他のオペレーティングシステムコンポーネントに問い合わせを行うことができる。アプリケーション1640および1642がそれぞれ、補助画面イメージを表示する要求を出した場合、アプリケーション1640に入力フォーカスがあるときのみ、ドライバ1620にアプリケーション1640の補助イメージをタッチスクリーン1610に送信させると都合がよい。同様に、ドライバ1620は、アプリケーション1642に入力フォーカスがあるときのみ、アプリケーション1642の補助イメージをタッチスクリーンに送信する。アプリケーション1644が補助イメージを送らなかった場合、アプリケーション1644に入力フォーカスがあるときに、ドライバ1620は図4と同様のデフォルトのアイコン画面イメージを表示してもよい。
【０１０２】
ユーザがタッチセンサに触れると、ドライバ1620は指の接触情報を入力フォーカスとともにアプリケーションに転送するが、ただし、そのアプリケーションがデフォルトの指の動き動作をオーバーライドする補助画面イメージを送った場合である。同様に、アプリケーションがデフォルトの指で叩く動作をオーバーライドする補助画面イメージを送った場合に、ドライバ1620は指で叩く動作の情報を入力フォーカスとともにアプリケーションに転送する。
【０１０３】
ドライバ1620は、さらに、図6Aおよび図6Bに関して開示されているさまざまなタッチスクリーンアクティブ化メカニズムを実装するキーボード、タッチスクリーン、またはその他のデバイスを監視する。アプリケーションの補助画面が表示されると、ドライバはそのアクティブ化状態をアプリケーションに伝達し、それにより、アプリケーションが指の動きおよび叩く動作を正しく解釈することができる。デフォルトのアイコン画面が表示された場合、ドライバはそのアクティブ化状態を使用して、カーソルの下にあるアイコンに関する動きまたは叩く動作の情報を、そのアイコンを送ったアプリケーションに転送するかどうかを決定する。
【０１０４】
ポップアップ画面を作成するために、補助画面と同様の手段を使用する。しかし、ポップアップ画面については、ドライバ1620は、主表示画面上のアプリケーションに対してオペレーティングシステムにより保持されている入力フォーカスと異なるタッチスクリーンポップアップのフォーカスの概念を維持することができ都合がよい。ドライバ1620は、いくつかの妥当な規則を使用して、補助イメージとポップアップイメージに対する複数の要求の間の調整を行わなければならない。
【０１０５】
ドライバ1620は、いくつかのアイコン、補助画面、およびポップアップ画面を丸ごとドライバ自体の中に実装することができる。ドライバは、補助画面をAPI 1624を認識しない既存のアプリケーションに関連付けるメカニズムを有することができる。たとえば、知られている既存のプレゼンテーションソフトウェアアプリケーションに入力フォーカスが置かれている場合、ドライバは図8Aのような補助画面を供給することができる。ドライバ1620は、シミュレートされたキーストロークまたはマウスクリックなどのソフトウェアアプリケーションにより認識されることが知られている対応する信号を送信することにより図8Aの特別なアイコンにおいて指で叩く動作を解釈する。ドライバ1620は、さらに、ユーザが特別なアイコンまたは補助画面を既存のアプリケーションに関連付けるのためのメカニズムを実装することもできる。このようなメカニズムとして、イメージおよびアイコンを表示し、指の動作の解釈を変更するコマンドを有するスクリプト言語があり、このような言語では、アプリケーション自体に対し変更を加えることなく、スクリプトを記載し、ソフトウェアアプリケーションと関連付けることができる。このようなメカニズムとしてはほかに、多くの対話型プログラミング環境に存在するリソースエディタと同様のグラフィカルコントロールパネルがある。
【０１０６】
ドライバ1620は、ユーザ側でタッチスクリーンの操作をカスタマイズすることができるソフトウェアコントロールパネルをサポートしてもよい。このコントロールパネルには、デフォルトのアイコン画面上のさまざまなアイコンの選択、有効化、無効化、および再配列を行うコントロールを含めることができる。このコントロールパネルはさらに、使用するタッチスクリーンアクティブ化メカニズム、およびこの画面にアクセスするための補助およびポップアップイメージを選択するためのコントロールも含むことができる。
【０１０７】
ドライバ1620は、タッチスクリーン上のアイコンイメージ、補助イメージ、およびポップアップイメージの組み合わせ使用できる。たとえば、ドライバ1620は、タッチスクリーン上でウィンドウを重ねて表示するという概念を実装することもでき、これにより、補助画面は置き換えられるアイコン画面イメージの全部ではなく一部に重ねることができる。このアプローチの可能な実装の1つに、タッチスクリーンの表示を管理するために、オペレーティングシステムの既存のディスプレイドライバアーキテクチャを使用することである。最も一般的なケースでは、タッチスクリーンは、オペレーティングシステムによって第2の表示モニタとして表示され、かつ主表示画面上にある場合と全く同様にアプリケーションはこの表示画面上でウィンドウとダイアログボックスを開くことができる。
【０１０８】
他の実施形態では、タッチスクリーンは主表示画面とは異なる取り扱いがなされる。アプリケーションは、タッチスクリーン上でウィンドウを開くこと、及びAPI 1624以外の手段によりタッチスクリーンを操作することを禁じられる。このアプローチは、タッチスクリーンおよび主表示画面が両方とも類似のラスターLCD技術により実装できるとしても、小さいサイズのタッチスクリーンではコンピュータ/人間インターフェース内で主表示画面と異なるタイプのデバイスとして動作するので、あまり柔軟性はないが、より適切である。
【０１０９】
本発明は、実施例を参照しながら説明したが、本発明の範囲を逸脱することなく、さまざまな変更を加えることができ、かつそれらの要素を同等の要素で置き換えられることは当業者には理解されるであろう。さらに、本発明の本質から逸脱することなく特定の状況または題材を本発明の教示に合わせて多くの修正を加えることができる。したがって、本発明が本発明を実施するために考察した最良の方法として開示されている特定の実施形態に制限されることがないこと、しかし本発明が付属の請求項の範囲内にあるすべての実施形態を含むことを目的とする。
【図面の簡単な説明】
【０１１０】
【図１】主表示装置、キーボード、およびタッチスクリーンを備えるノートブック型コンピュータシステムを示す図である。
【図２】タッチスクリーンの実施形態をより詳細に示す図である。
【図３】タッチスクリーンが従来のタッチパッドとして動作する場合に使用するデフォルトイメージの例を示す図である。
【図４】タッチスクリーンの第1の「アイコン」使用モードの例を示す図である。
【図５】各アイコンの回りの破線を使用してタッチスクリーンのアクティブ化状態を示すように修正された図4のタッチスクリーンイメージを示す図であって、各アイコンがアクティブ化状態で接触感知状態にある図である。
【図６Ａ】複数のキーを備えるキーボードの一部を示す図である。
【図６Ｂ】触れたときにタッチスクリーンをアクティブ化するよう形成することができる特別な接触感知領域または第2のタッチセンサの1つの可能な配置を示す図である。
【図７Ａ】指よりも小さくてもよく、かつ指が触れたときに指に完全に隠れてしまってもよい小さなアイコンを示す図である。
【図７Ｂ】小さなアイコンが隠れるという問題を解消するメカニズムを示す図である。
【図７Ｃ】小さなアイコンが隠れるという問題を解消するメカニズムを示す図である。
【図７Ｄ】小さなアイコンが隠れるという問題を解消するメカニズムを示す図である。
【図７Ｅ】小さなアイコンが隠れるという問題を解消するメカニズムを示す図である。
【図８Ａ】アプリケーションと関連するタッチスクリーン上の小さなコントロールパネルの使用を示す図であって、アプリケーションと関連する視覚的データのために主表示画面全体を保持している図である。
【図８Ｂ】アプリケーションと関連するタッチスクリーン上の小さなコントロールパネルの使用を示す図であって、アプリケーションと関連する視覚的データのために主表示画面全体を保持している図である。
【図８Ｃ】アプリケーションと関連するタッチスクリーン上の小さなコントロールパネルの使用を示す図であって、アプリケーションと関連する視覚的データのために主表示画面全体を保持している図である。
【図８Ｄ】アプリケーションと関連するタッチスクリーン上の小さなコントロールパネルの使用を示す図であって、アプリケーションと関連する視覚的データのために主表示画面全体を保持している図である。
【図９】補助的ヘルプテキストを表示するタッチスクリーンの使用例を示す図である。
【図１０Ａ】タッチスクリーン上に検索/置換ダイアログを表示するためのタッチスクリーンを使用することを示す図であって、主表示画面が見えなくならないようにドキュメントを自由に表示する図である。
【図１０Ｂ】ゲームによって定められたコントロールレイアウトを表示し、主表示画面が遮られないようにゲームのグラフィックスを自由に表示しながらジョイスティックエミュレータとして機能するタッチスクリーンの使用を示す図である。
【図１０Ｃ】タッチスクリーンイメージが通常のツールバーから抜き出されたアイコンを含み、主表示画面が遮られないようにドキュメントまたはイメージを自由に表示している例を示す図である。
【図１１】コンピュータ上で一般に使用されるツールおよびソフトウェアアプリケーションを表すさまざまなアイコンを含むポップアップイメージを示す図である。
【図１２】タッチスクリーン内全体で動作するポップアップ電卓アプリケーションを示す図である。
【図１３Ａ】タッチスクリーン上でポップアップイメージとして拡大鏡の異なる構成を示す図であって、主表示画面が遮られていない図である。
【図１３Ｂ】タッチスクリーン上でポップアップイメージとして拡大鏡の異なる構成を示す図であって、主表示画面が遮られていない図である。
【図１３Ｃ】タッチスクリーン上でポップアップアプリケーションとして実装されたデバッガを示す図であって、追加費用なしで或いは余計な領域を取らずに補助デバッグ用表示画面を提供する図である。
【図１４】表意文字を入力するために手書き入力エリアが指接触に応答するタッチスクリーン上の表意文字手書き入力システムの一例を示す図である。
【図１５Ａ】コンピュータのセキュリティインターロック用のユーザインターフェースデバイスとしてタッチスクリーンを使用することを示す図である。
【図１５Ｂ】図15Aのコンピュータのセキュリティインターロックを実装するためのハードウェアアーキテクチャ例を示す図である。
【図１６】タッチスクリーン用のソフトウェアアーキテクチャの一例を示す図である。
【符号の説明】
【０１１１】
１０６ タッチスクリーン
３００，４００，５００ イメージ
３０２，３０４，３０６，３０８，４０２，４０４，４０６，４１０，４１２，４１６，４１８，４２０，４２２，４２４ アイコン

Claims (36)

1. オペレーティングシステムを実行させるプロセッサおよび表示装置を備えるコンピューティングデバイスにおいて、
   タッチスクリーンと、
   前記タッチスクリーンを前記オペレーティングシステムに結合し、かつ前記タッチスクリーン上に複数のアイコンを表示するドライバとを備え、
   前記ドライバはアプリケーションが前記タッチスクリーン上に少なくとも1つのイメージを表示することを可能にするアプリケーションプログラミングインターフェースを備えるグラフィカルユーザインターフェース。
2. 前記アイコンの少なくとも1つが、前記領域上の物体による接触に応答して前記タッチスクリーン上ではなく前記表示画面上でアクションを引き起こす前記タッチスクリーン上の少なくとも1つの領域を識別する請求項1に記載のグラフィカルユーザインターフェース。
3. 前記アイコンの少なくとも1つが、前記他の領域上の前記物体による接触に応答して前記表示画面ではなく前記タッチスクリーン上で他のアクションを引き起こす前記タッチスクリーン上の少なくとも1つの他の領域を識別する請求項1に記載のグラフィカルユーザインターフェース。
4. 前記アイコンの少なくとも1つが、前記他の領域上の前記物体による接触に応答して前記表示画面と前記タッチスクリーンの両方で他のアクションを引き起こす前記タッチスクリーン上の少なくとも1つの他の領域を識別する請求項1に記載のグラフィカルユーザインターフェース。
5. プロセッサがデフォルトの画面イメージを前記タッチスクリーン上に送る請求項1に記載のグラフィカルユーザインターフェース。
6. 前記デフォルトの画面イメージが、前記タッチスクリーンに接触している前記物体に応答して前記表示画面上でカーソルを移動するために、前記タッチスクリーン上で領域の位置を決定する少なくとも1つのカーソルを含む請求項5に記載のグラフィカルユーザインターフェース。
7. 前記デフォルトの画面イメージが、前記タッチスクリーンに接触する前記物体に応答して前記表示画面と前記タッチスクリーンのうちの少なくとも一方でアクションを引き起こすために前記タッチスクリーン上の領域を識別する少なくとも1つのアクション制御アイコンを含む請求項5に記載のグラフィカルユーザインターフェース。
8. 前記デフォルトの画面イメージが、前記タッチスクリーンに接触する前記物体に応答して前記表示画面のウィンドウ内で表示をスクロールするために前記タッチスクリーン上の領域を識別する垂直スクロールバーのアイコンと水平スクロールバーのアイコンのうちの少なくとも一方を含む請求項5に記載のグラフィカルユーザインターフェース。
9. 前記ドライバは、前記タッチスクリーンからのユーザ入力を受け付ける請求項1に記載のグラフィカルユーザインターフェース。
10. 前記イメージは、少なくとも1つのアプリケーションアイコンを含む請求項1に記載のグラフィカルユーザインターフェース。
11. 前記少なくとも1つのアプリケーションアイコンは、ソフトウェアアプリケーションを起動する請求項10に記載のグラフィカルユーザインターフェース。
12. 前記ドライバは、前記タッチスクリーンのバックライトをアクティブ化してユーザに通知する請求項1に記載のグラフィカルユーザインターフェース。
13. 前記ドライバは、可聴音により前記イメージの存在することをユーザに通知する請求項1に記載のグラフィカルユーザインターフェース。
14. 前記イメージは、前記表示画面の拡大部分である請求項1に記載のグラフィカルユーザインターフェース。
15. 前記イメージは、表意文字用の入力方法を支援する請求項1に記載のグラフィカルユーザインターフェース。
16. 前記入力方法は、前記タッチスクリーン上で手書き入力を使用する請求項15に記載のグラフィカルユーザインターフェース。
17. 前記イメージは、前記物体の動く経路を示す痕跡である請求項1に記載のグラフィカルユーザインターフェース。
18. 前記イメージは、ユーザ認証に使用される請求項1に記載のグラフィカルユーザインターフェース。
19. 前記タッチスクリーンがアクティブ化状態のときに、前記アイコンのうちの少なくとも1つの視覚的特性を変更する請求項1に記載のグラフィカルユーザインターフェース。
20. 前記視覚的特性は、配色の変化である請求項19に記載のグラフィカルユーザインターフェース。
21. 前記視覚的特性は、前記アイコンのうちの少なくとも1つを囲む輪郭である請求項19に記載のグラフィカルユーザインターフェース。
22. さらに、補助ポインティングデバイスを備える請求項1に記載のグラフィカルユーザインターフェース。
23. 前記補助ポインティングデバイスを等距離ジョイスティックまたは外部マウスを含む群から選択する請求項22に記載のグラフィカルユーザインターフェース。
24. 前記タッチスクリーンは、前記ドライバがアクティブ化されていないときに製造業者のロゴを表示する請求項1に記載のグラフィカルユーザインターフェース。
25. 前記アイコンのうちの少なくとも1つがユーザ入力に応答して前記タッチスクリーン上に表示される請求項1に記載のグラフィカルユーザインターフェース。
26. 前記アイコンのうちの少なくとも1つがキーボード上でキーをアクティブ化したことに応答して前記タッチスクリーン上に表示される請求項1に記載のグラフィカルユーザインターフェース。
27. 前記アイコンのうちの少なくとも1つがタッチ領域をアクティブ化したことに応答して前記タッチスクリーン上に表示される請求項1に記載のグラフィカルユーザインターフェース。
28. 前記アイコンのうち少なくとも1つが、製造業者のロゴを表示する請求項1に記載のグラフィカルユーザインターフェース。
29. 前記アイコンのうち少なくとも1つが、キーボードのロック状態を表示する請求項1に記載のグラフィカルユーザインターフェース。
30. 前記アイコンのうち少なくとも1つが電池の状態を表示する請求項1に記載のグラフィカルユーザインターフェース。
31. 前記アイコンのうちの少なくとも1つが、前記物体が前記アイコンのうちの少なくとも1つに接触したことに応答して拡大される請求項1に記載のグラフィカルユーザインターフェース。
32. 前記アイコンのうちの少なくとも1つが、前記物体が前記アイコンのうちの少なくとも1つに接触したことに応答して変位される請求項1に記載のグラフィカルユーザインターフェース。
33. 前記アイコンのうちの少なくとも1つが、前記アイコンのうちの少なくとも1つの近くで接触している前記物体により選択される請求項1に記載のグラフィカルユーザインターフェース。
34. 前記物体が、指、ペン、鉛筆、およびポインタを含む群から選択される請求項1に記載のグラフィカルユーザインターフェース。
35. 前記アイコンのうち少なくとも1つが、ディスクドライブの活動を表示する請求項1に記載のグラフィカルユーザインターフェース。
36. 前記アイコンのうちの少なくとも1つがコンピューティングデバイスのカバーが閉じられたときでも見えるように配置されている請求項1に記載のグラフィカルユーザインターフェース。

Images