JP2012094176A - ディスプレイ装置およびディスプレイ方法 - Google Patents

Abstract

【課題】メモリ内に記憶され、プロセッサにより実行されるように適合されたシステムコードを含むハンドヘルドコンピュータ機器を含んでいるシステムを提供する。
【解決手段】システムコードは、タッチセンシティブディスプレイに表示されるコンテンツの表示である入力バイトストリームを処理することができ、コンテンツの内部を表わすコンテンツドキュメントファイルを生成することができる。ツールドキュメントファイルもメモリ内に記憶されることができ、グラフィカルツールを表わすイメージを供給するドキュメントの内部表現を供給することができる。ツールコードはツールドキュメントと関連付けられることができ、そしてそれはコンテンツドキュメントファイルを処理し、ツールに関連付けられた表示効果を達成する方法でコンテンツを示すコンテンツの内部表現を生成することを可能とする。
【選択図】図１

Description

ユーザインターフェースシステムおよびデジタルドキュメントの処理および見る方法に関する。

ここに記載されたシステムおよび方法は、先に出願された英国特許出願第０００９１２９．８および先に出願された米国特許出願第０９／７０３，５０２に関連する。また、その米国特許出願は、デジタルドキュメント処理のシステムおよび方法と表題を付けられ、ここに同日付けで出願され、発明者名は全てマジッドアンワーであり、その内容は参照によりここに関連付けられる。
ここに記載されるシステムと方法は、デジタルドキュメントの表示を拡大および処理するためのシステムおよび方法に関し、さらに詳しくは、ハンドヘルドコンピュータ、移動通信機、または電話のような電気機器のディスプレイ、あるいは触感による命令に関連したディスプレイ機器のようなディスプレイ上に表示されたデジタルドキュメントをユーザが処理し見ることができるユーザインタフェースシステムと方法に関する。

今日、簡単にユーザがドキュメント、Ｅメール、ビデオ映画、および他の形式のコンテンツを見ることができる移動体およびハンドヘルドコンピュータ機器を作るために大きな苦労がある。この集中化を実現するため、技術者および科学者は、ここに参照により関連する内容である、デジタルドキュメント処理のためのシステムおよび方法、と表題が付けられた上記米国特許出願に記載されたシステムを含むシステムを発達させた。そこに記載されているように、ドキュメント、オーディオビジュアル表現、あるいはいくつかの他の形式のコンテンツにかかわらずデジタルコンテンツは、ハンドヘルド、移動体機器、またはいくつかの他のプラットホーム上で動作するソフトウェアシステムにより処理され、ソフトウェアシステムにより処理され操作されることができる均一の内部表現に翻訳され、異なった形式のコンテンツの表示がシステムによって生成され、各々の機器のスクリーンディスプレイ上に表示される。

特開平１１−２４２５３９号公報 特開平０９−２３１００４号公報 特開平０８−０７６９２６号公報

それ故に、これらのシステムは、パームパイロット（Palm Pilot）、コンパックアイパック（Compaq Ipaq）、および移動体電話のような他のハンドヘルドおよび移動体コンピュータシステムでも同様に、ユーザにコンテンツの表示を供給することができる。しかし、これらのハンドヘルドおよび移動体のシステムは典型的に、通常携帯電話機上にあるキーボードである小さく、制限されたキーボードのような簡単な入力機器、またはパームコンピュータ機器に設けられたタッチスクリーンのような小さなタッチスクリーンシステムにより制限されている。それゆえ、これらのシステムは極めて複雑でもユーザにコンテンツを示すことができるが、これらのシステムは、ドキュメントの異なるページまたはドキュメントの異なる部分を選択すること等によってユーザがコンテンツの表示を処理することができる許容度は制限される。それゆえ、これらのハンドヘルドおよび携帯システムはとても使いやすいが、操作をサポートし、それらの機器上に表示されたコンテンツを見ることを可能とするユーザインターフェイスの部分に起因したその使用の制限がある。

結果として、この技術分野において、より容易にハンドヘルドまたは携帯機器により表示されたコンテンツを処理し見えるようにする改良されたユーザインターフェイスを提供するシステムおよび方法が必要とされる。

さらに、この技術分野において、そのコンテンツがその基礎をなすアプリケーションプログラムから分離されたときに、コンテンツの処理を可能とするユーザインターフェイスツールが必要とされる。

ここに記載されるシステムと方法は、移動体機器またはハンドヘルド機器上に表示されたコンテンツをユーザがより簡単に処理し見ることができる進歩したユーザインタフェイスツールを供給する。

一つの特定の実施態様によれば、ここに記載されるシステムと方法は、タッチアンドフィールユーザインターフェースの一例を示すグラフィカルユーザインターフェースを供給する。より具体的には、ここに記載されたシステムと方法は、その機器自体の上で、または遠隔指示を通して、または遠隔指示を通して、または他のユニット上の遠隔ディスプレイを通して見えるドキュメント上で触感制御をシミュレートしたシステムを有するハンドヘルドまたは移動体機器を含む。

これらのシステムは、プロセッサ、メモリ、およびタッチセンシティブディスプレイ（またはリモートタッチセンシティブコントロールを有するディスプレイ）を指示するハウジングを含み、システムコードはメモリ内に記憶され、プロセッサにより実行されるように適合される。システムコードはドキュメントのデジタル表現を生成しまたは供給し、そのデジタル表現はデータコンテンツとドキュメントのページレイアウトを表わすページ構造とを含む。そのため、あるアプリケーションでは、レンダーされたイメージは、ドキュメントのレイアウトと同様にドキュメントのコンテンツを含み、それによりドキュメントが物理的にどのように見えるかのイメージを供給する。

システムはレンダーされたエンジンも含み、それはタッチセンシティブディスプレイ上のデジタル表現のページレイアウトの少なくとも一部分に表示されたパーサおよびレンダラーを含む。

スクリーンモニタは、タッチセンシティブスクリーンの表面を横切る動きを検出するためにタッチセンシティブスクリーンをモニタすることができ、インターフェースプロセスは、デジタル表現のページ構造を変えるべく、コマンドを表わす動きを検出して、検出された動きを処理する。

ナビゲーションモジュールは、インターフェースプロセスに応答でき、ページレイアウト表示部を変えることができる。そのため、ページレイアウト表示部を変えることにより、システムはドキュメントのデジタル表現を通してユーザをナビゲートすることができる。

本発明のシステムと方法は他のアプリケーションおよび他の形式のシステムで使用された時に適用性と価値を有するが、説明の目的のために、本発明は、そのシステムがハンドヘルドコンピュータ機器上に表示されたドキュメントのナビゲーションを容易にするそれらのアプリケーションを参照して記載される。

より具体的には、ここに記載されるシステムと方法は、とりわけドキュメント上で触感制御をシミュレートするシステムを有するコンピュータ機器を提供する。

一つの実施態様では、これらのシステムは、プロセッサ、メモリ、およびディスプレイを含み、メモリ内に記憶されプロセッサにより実行されるように適合されたシステムコードであって、そのシステムコードはデータコンテンツおよびドキュメントのページレイアウトを表わすページ構造を含むドキュメントのデジタル表現を供給し、ディスプレイ上のデジタル表現のページレイアウトの少なくとも一部分を表示するためのレンダリングエンジンと、ディスプレイ上に表示されたイメージを横切った物体の動きを検出するスクリーンをモニタするためのスクリーンモニタと、デジタル表現のレンダーされたページ構造を変えるべく、コマンドを表わす動きを検出して、検出された動きを処理するためのインターフェイスプロセスと、およびページレイアウトのレンダーされた部分を変化させるためにインターフェースプロセスに応答できるナビゲーションモジュールを含み、ページレイアウトのレンダーされた部分を変更することはドキュメントのデジタル表現を通してユーザをナビゲートすることを可能にする。

これらのコンピュータ機器は、スクリーンを横切って動くカーソルを描くことができるコンピュータディスプレイと同様に、スクリーンモニタがタッチセンシティブスクリーンディスプレイの表面を横切る動きを検出するためにタッチセンシティブスクリーンをモニタするタッチセンシティブディスプレイを含むことができ、そしてそのスクリーンモニタはディスプレイの表面を横切るカーソルの動きを検出する。プロセッサ、メモリ、スクリーンモニタおよびディスプレイは、複数のアプリケーション、およびハンドヘルドコンピュータ、電話、移動体データ端末、セットトップボックス、埋め込み型プロセッサ、ノートブックコンピュータ、コンピュータワークステーション、プリンタ、コピー機、およびファックス機を含む機器で使用できるデータ処理プラットフォームとして設計される。

ある任意の実施態様では、コンピュータ機器は、ディスプレイ中のドキュメントに速度特性を適用する手段と同様に、タッチセンシティブディスプレイの表面を横切って検出された動作に関連した速度ベクトルを決定するための速度ディテクタも含む。

さらに、これらのコンピュータ機器は、ドキュメントまたはドキュメントの集合体および他のコンテンツを通してナビゲートすることをより容易にするインターフェースプロセスを持つことができる。これらのインターフェースプロセスは、ドキュメントの角を図式的に示したページレイアウトの一部分を表わす位置でタッチスクリーンの表面を横切る動作を検出するためのページフリップディテクタを含むことができる。ページフリップディテクタは、現在表示されているページに隣接するページを表わすページレイアウトの部分を表示することができる。同様に、機器は現在のページに隣接するページの部分を表わすページレイアウトの部分を表示するためにページカールディテクタを含むことができる。

さらに、インターフェースプロセスは、レンダーされるべきページレイアウトの部分を選択するための、あるいはドキュメントのデジタル表現のデータコンテンツを変えるためのコマンドを表わす所定の動きを検出するためのジェスチャリングプロセスを含むことができる。なお、また、インターフェースの制御は、ディスプレイ上に表示されたドキュメントの透明性を制御するための、およびドキュメントの他の部分に対する選択された部分の視認性を調整するためにドキュメントの選択された部分の透明性を制御するためのプロセスを含むことができる。他のインターフェースプロセスは、拡大ツール、ルーラ、テキスト入力カーソル、サムネイルナビゲーション欄、リンクしたコンテンツのサムネイルビュー、および質問ツールを示す表示ツールを含むツールを供給する。

なお他の態様では、本発明は、文脈依存グラフィカルインターフェイスツールを有するコンピュータ機器および関連するプロセスを供給する。

これらの機器は、プロセッサ、メモリ、およびタッチセンシティブディスプレイを含み、メモリ内に記憶されコンテンツの内部表現を表わすコンテンツドキュメントファイルと、メモリ内に記憶されグラフィカルインターフェイスツールを表わすイメージを提供するドキュメントの内部表現を供給するツールドキュメントファイルと、プロセッサを実行し、ツールドキュメントファイルに関連付けられることができ、そしてレンダーされるときにはツールに関連付けられた表示効果を達成できるような方法でコンテンツを示すコンテンツの内部表現を生成するためにコンテンツドキュメントファイルを処理することができるツールコードと、コンテンツドキュメントファイル、ツールドキュメントファイルと、および処理された内部表現を処理してディスプレイのためにスクリーンドキュメントを生成するパーシングコードと、ユーザがレンダーされたコンテンツ上の選択されたコンテキスト上の関係中にグラフィカルインターフェイスツールのイメージを配置することができるための、および選択された部分に関連したコンテンツドキュメントファイルの部分をツールコードが処理するようにするためのインターフェースコードを含む。

グラフィカルインターフェースツールおよび表示されたコンテンツの間のコンテキスト上の関係はアプリケーションによって変化し、例えば、グラフィカルインターフェースツールおよび表示されたコンテンツの相対的な位置、表示されたコンテンツ上でグラフィカルインターフェースツールが作動する時間、および表示されたコンテンツの状態から成る群から選択され得る。これらの装置は融通がきき、移動体システム内、およびオーディオプレーヤー、電子レンジ、冷蔵庫、および洗濯機等の家庭機器と同様に、ハンドヘルドコンピュータ、電話、移動体データ端末、セットトップボックス、埋め込みプロセッサ、ノートブックコンピュータ、コンピュータワークステーション、プリンタ、コピー機、およびファック機を含み、しかしこれらに制限されない異なる形態および装置で具体化できる。

しかし、標準的なキーボードおよびマウスのような典型的な入力ツールを含む従来のコンピュータワークステーション上でコンテンツが表示されるアプリケーションを含む他のアプリケーション中でも、これらのインターフェースツールは役立つことが、この技術分野の通常の技術を有する者により理解される。さらに、ここに記載されたシステムと方法は、出力機器として用いられる埋込みビジュアルディスプレイのような内蔵ディスプレイシステムのためのインターフェースを提供する有用なツールも提供する。このような埋込みディスプレイシステムの例は、携帯電話や、ユーザがコピー機能を働かせるために異なるオプションを選択することができるようにし、コピーされるドキュメントのユーザにイメージを提供するビジュアルタッチスクリーンディスプレイを含むコピー機を含む。他の例では、ビジュアルディスプレイがユーザが入って来たファックスの描画を見えるようにするためにユーザに提供される。ここに記載されたユーザインターフェースシステムおよび方法の他の実施態様および適用は、この技術分野の通常の技術を有する者に明らかである。

より具体的には、ここに記載されるシステムと方法は、ユーザがスクリーン上に表示されたコンテンツを処理することができるようにするユーザインターフェースツールを提供する。特に、ここに記載されるシステムと方法は、ディスプレイ上に表示される情報のためのアブストラクトレイヤーを生成するソフトウェアシステムを提供する。このアブストラクトレイヤーはドキュメントオブジェクトを含み、ドキュメントオブジェクトはスクリーン上に表示されるべき情報またはコンテンツを有する。ある実施では、スクリーン上に表示された全ての情報が一つのドキュメントとして扱われる。そのため、最も高い水準では、スクリーンの全てのコンテンツが一つのドキュメントオブジェクトとして理解される。この実施態様に加えて、ドキュメントオブジェクトは他のドキュメントオブジェクトを含んでいても良く、それらの各々がユーザに表示されたコンテンツの部分集合を含むことが理解される。そのため、スクリーンレベルでは、表示された全ての情報は、スクリーン上に表示されたウェブページ、ストリームビデオ、およびグラフィカルアイコンといったアイテムが、高レベルのスクリーンドキュメントオブジェクト内に含まれるドキュメントオブジェクトとして各々別々に理解される単一のドキュメントとして理解される。

それゆえ、スクリーン上に表示された全てのコンテンツは抽象的にドキュメントとして扱われ、この例は表示されているコンテンツがテキストのページを表わす情報であるか、あるいはユーザインターフェースツールを表わす情報であるか、あるいはウインドウ／デスクトップファーニチャーであるか判断する。したがって、ここに記載されたユーザインターフェースシステムおよび方法は、スクリーンディスプレイ上に表示されたドキュメントオブジェクトをユーザが処理することができるようにするためのユーザインターフェースツールと機能を提供する。

加えて、ここに記載されたシステムおよび方法は、一つの実施態様では、プロセッサ、メモリ、およびタッチセンシティブディスプレイを支持するハウジングを含むハンドヘルドコンピュータ機器を提供する。さらに、コンピュータ機器はメモリ内に記憶され、プロセッサにより実行されるように適合されたシステムコードを含む。システムコードは、タッチセンシティブディスプレイ上に表示されるべきコンテンツを表わす入力バイトストリームを処理することができ、コンテンツの内部表現を表わすコンテンツドキュメントファイルを生成することができる。

ツールドキュメントファイルもメモリ内に記憶され、グラフィカルツールの表示であるイメージを提供するドキュメントの内部表現を提供する。ツールコードはツールドキュメントに関連付けられることができ、それは、ツールに関連した表示効果を達成するような方法でコンテンツを示すコンテンツの内部表現を生成するために、コンテンツドキュメントファイルを処理することができる。この装置は、コンテンツドキュメントファイル、ツールドキュメントファイル、および表示効果を描写するような方法でタッチセンシティブディスプレイ上に表示するためのスクリーンドキュメントを生成するための処理された内部表現を処理するパーシングコードも含む。
また、ドキュメントに対する触感制御をサポートするディスプレイ装置であって、プロセッサ及び触感方式ディスプレイと、前記プロセッサによって実行されるように適応され、データコンテンツと前記ドキュメントのページレイアウトを表わすページ構造を含む前記ドキュメントのデジタル表現を提供するシステムコードを格納するメモリと、前記触感方式ディスプレイ上のデジタル表現のためにページレイアウトの少なくとも一部に対応するイメージをレンダリングするエンジンと、前記触感方式ディスプレイ上でポインタの動きを検出するために前記触感方式ディスプレイと通信するディスプレイモニタと、前記検出された動きの速度に基づいて速度ベクトルを決定する速度検出器と、前記ディスプレイモニタにより検出された動きを処理して複数の命令のうちの一つを検出するために前記ディスプレイモニタと通信するインターフェイプロセスと、を含み、ここで、前記複数の命令は、移動命令を含み、前記インターフェイプロセスにより検出された前記移動命令に応答して前記エンジンが前記検出された速度ベクトルに基づいて前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させ、ここで、前記エンジンは、前記ドキュメントの相異なるビューワーのレンダリングで構成され、前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させることにあって、前記検出された速度ベクトルと共にページ惰性を追加で利用し、前記任意の方向へ移動する前記ドキュメントのデジタル表現は、前記ドキュメントの移動を中止させるユーザの指示が検出されるか、または前記速度ベクトルに基づく移動速度がゼロ速度に到達するまで前記速度検出器により設定された方向に移動し続き、前記移動速度は、前記ドキュメントのデジタル表現の継続移動を可能にするページ惰性により漸進的に減少することを特徴とする。
さらに、プロセッサ、メモリ、及び接続方式プロセッサを含むディスプレイ装置におけるドキュメントに対する触感制御をサポートするディスプレイ方法であって、データコンテンツと前記ドキュメントのページレイアウトを表わすページ構造を含むシステムコードを使用して前記ページレイアウトの少なくとも一部に対応するイメージをレンダリングする過程と、前記レンダリングによりデジタル表現がディスプレイされた前記触感方式ディスプレイ上でポインタの動きを検出する過程と、前記検出された動きの速度に基づいて速度ベクトルを決定する過程と、前記ディスプレイモニタにより検出された動きを処理して移動命令を含む複数の命令のうちの一つを検出する過程と、前記移動命令が検出されると、前記検出された速度ベクトルに基づいて前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させる過程と、を含み、ここで、前記ドキュメントの相異なるビューワーのレンダリングで構成され、前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させることにあって前記検出された速度ベクトルと共にページ惰性を追加で利用し、前記任意の方向へ移動する前記ドキュメントのデジタル表現は、前記ドキュメントの移動を中止させるユーザの指示が検出されるか、または前記速度ベクトルに基づく移動速度がゼロ速度に到達するまで前記速度検出器により設定された方向に移動し続き、前記移動速度は、前記ドキュメントのデジタル表現の継続移動を可能にするページ惰性により漸進的に減少することを特徴とする。
前述の、およびその他のもの、および本発明の利点は、添付の図面を参照して、さらに以下の記載からより完全に認識される。

本発明による１つのシステムの機能ブロック図である。 図１に示されたシステムによって生成されたツールの一例を示す。 複数のページを持つドキュメントを通してナビゲートするために複数のサムネイルを提供するグラフィカルユーザインターフェースツールを示す。 拡大された範囲内で追加の情報を提供する本発明による拡大するグラフィカルユーザインターフェースツールを示す。 半透明性で大きさを合わせられるルーラグラフィカルツールを示す。 透明性の質問マーカグラフィカルユーザインターフェースツールを示す。 グラフィカルツールを活動化および不活動化するためのユーザインターフェースの機構を示す。 図８ａおよび図８ｂは、表示されたドキュメントの選択された部分を視覚的に強調するためのユーザインターフェースツールを示す。 本発明によるさらなるユーザインターフェースツールを示す。 本発明によるテキストエントリーツールを示す。 本発明によるテキストエントリーツールを示す。 図１２ａ〜図１２ｇは、ハンドヘルドシステムにコマンドを供給するための一連のストロークを示す。 図１３Ａ〜１３Ｂは、表示されているドキュメントに速度特性を適用することによりドキュメントを通してスクロールするためのユーザインターフェースツールを示す。

ここに記載されたシステムと方法は、コンピュータ端末、ディスプレイスクリーン、プリンタ、プロッタ、または人間が読むことができる視覚的表示を生成するのに適した他の全ての出力機器等の表示面上に表示されたドキュメントを処理し見るためのシステムと方法を含む。説明の目的のために、システムおよび方法は、タッチスクリーンディスプレイを含み、異なった形式で作られたコンテンツの一体化されたビューを表示することができるハンドヘルドコンピュータシステムを含む、いくつかの見本的な実施形態を参照して記載される。特に、ここに記載されたシステムと方法は、スクリーン上に表示された他のコンテンツと共に一体化したコンテンツとして提供されることができるツールを提供することができるグラフィカルユーザインターフェースツールを含む。

図１は本発明によるシステム１０を描写する。システム１０は、プロセッサ、メモリおよびディスプレイを一般に含む型のコンピュータ機器の機能ブロック線図として示される。しかし、システム１０は、全体的または部分的に、本発明のシステムとしてプロセッサを配設するためプロセッサ上で実行することができるシステムコードを構成するソフトウェアシステムとして実現できる。描写されたシステム１０は、コンピュータプロセス８、複数のソースドキュメント１１、ツールドキュメントファイル３０、形状プロセッサ２２およびビデオディスプレイ２６を含む。コンピュータプロセス８は、複数のドキュメントエージェント１２、ジェネリックデータオブジェクトのライブラリ１６、内部表現ファイル１４、メモリバッファまたはファイル１５、およびパーサ／レンダラーエンジン１８を含む。

描写された実施形態において、ディスプレイ２６は複数の異なるドキュメントのイメージを提供することができる。ディスプレイ２６上に現れる各々の出力表示は、ドキュメントと呼ばれ、各々の描写されたドキュメントは、ワード（Word）、ネットスケープナビゲータ（Netscape Navigator）、リアルプレイヤー（Real Player）、アドベ（Adobe）、ビジオ（Visio）および他の型式のアプリケーションのような一つの別個のアプリケーションプログラムに関連付けられる。ここで使われるドキュメントという言葉は、ドキュメント、ストリームビデオ、ウェブページおよびコンピュータプロセス８により処理され表示されることができるいずれかの他の形式のデータを含むことが理解される。

コンピュータプロセス８は、一以上のドキュメントを表示するものを含む単一の出力表示を生成する。表示されたドキュメントの集合は、アプリケーションプログラムにより生成されたコンテンツを表示し、このコンテンツはコンピュータプロセス８により生成されたプログラムウィンドウ内で表示される。コンピュータプロセス８のためのプログラムウィンドウは、グラフィカルユーザインターフェースに設けられ、ディスプレイの場合は、プログラムウィンドウ上に現れたドキュメントの動作を制御することができるようにするツールを表わす一組のアイコンも含む。

例示された実施形態では、ディスプレイ２６は、単一の一体化した表示中で異なるデータ形式を表わすコンテンツを表示する。これは、各々のアプリケーションプログラムにそれ自身の表示を形成される従来のアプローチと対照的であり、ディスプレイ２６上の表示はいくつかのプログラムウィンドウを含み、典型的には各々のプログラム毎に一つのプログラムウィンドウを含む結果となる。加えて、各々異なる形式のプログラムウィンドウは、そのウィンドウ内に表示されたコンテンツを処理するための異なる一組のユーザインターフェースツールを含む。

よって、図１に描写されたシステムは、異なる形式のドキュメントの見ることができるイメージを含む一体化された表示を造る。これは、通常はブラウザで見られるウェブページ、通常はビューワーまたはワード処理ドキュメントで見られるワードドキュメント、通常はベクトルグラフィックリーダで見られるＰＤＦドキュメント、および通常はビデオプレーヤで見られるストリーミングビデオを含む。よって、描写されたシステム１０は、基礎をなすアプリケーションプログラムからそれらのドキュメントのコンテンツを分離し、それらをスクリーン２６上の表示のため提供する。

ユーザが描写されたドキュメントを処理することができるようにするために、図１に描画されたシステム１０は、それが複数ページのテキストドキュメント、ウェブサイトのページ、あるいはビデオ表示を作る一連の経時変化するイメージであるか否かにかかわらず、ドキュメントの集合を通してナビゲートするために使うことができる一組のツールを供給する。このために、以下、より詳細に説明されるように、システム１０は、ツールを表示し、システム１０がちょうど他の形式のドキュメントを表示していた時にシステム１０によって表示されて良いドキュメントを造る。よって、本発明のシステム１０は、一貫したユーザインターフェースを提供し、異なるドキュメントを表示し制御するために一組のツールの知識が必要となるだけであるという長所を持つ。

前述のように、各々のソースドキュメント１１は、入ってくるドキュメントをそのソースドキュメントのコンテンツの内部表現に翻訳することができるドキュメントエージェント１２に関連付けられる。ソースドキュメント１１を処理するために適当なドキュメントエージェント１２を確認するために、図１のシステム１０は、アプリケーションプログラムとシステム１０の間のインターフェイスを制御するアプリケーションディスパッチャ（不図示）を含む。一つの実施によると、外部アプリケーションプログラミングインターフェース（ＡＰＩ）は、データを通過させ、適当なドキュメントエージェント１２を呼び出し、あるいはその逆にアプリケーションプログラムにより作られた要求を実行するアプリケーションディスパッチャと通信する。

特定のソースドキュメント１１のために適当なドキュメントエージェント１２を選択するため、アプリケーションディスパッチャは、ソースドキュメント１１を全てのロードされたドキュメントエージェント１２に通知する。その後、これらのドキュメントエージェント１２は、通知されたソースドキュメント１１のコンテンツの翻訳のためのその特有の適合性についての情報で応答する。一度、ドキュメントエージェント１２が応答すると、アプリケーションディスパッチャはドキュメントエージェント１２を選択し、ソースドキュメント１１のＵＲＩのようなポインタを選択されたドキュメント１２に渡す。

図１に示すように、ドキュメントエージェント１２は、ドキュメント内の様々なドキュメントオブジェクトの特定のインスタンスの特性を定義するパラメータと一緒に、ライブラリ１６内で定義されたドキュメントオブジェクトの集合によって、ソースドキュメント１１のコンテンツを記述する内部表現１４を生成するための標準オブジェクト型のライブラリ１６を用いる。この内部表現１４内で用いられるドキュメントオブジェクト型は典型的に、テキストと動画化できてもできなくとも良く、および２次元でも３次元でも良い、ビットマップグラフィックスおよびベクトルグラフィックス、ビデオ、オーディオ、ボタンおよびアイコンのような対話式のオブジェクトの様々な型を含む。ベクトルグラフィックスのドキュメントオブジェクトは、特定の塗りつぶしと透明性を有するポストスクリプトのようなパスとすることができる。テキストドキュメントオブジェクトは、スタイルの決められたテキストの領域を宣言する。

一度、ドキュメントがドキュメントオブジェクトの内部表現に翻訳されたなら、これらのオブジェクトはパーサ／レンダラー１８に通される。パーサ／レンダラー１８は、コンテキスト特定表示または内部表現１４により表示されたドキュメントの「眺め」を生成する。要求されたビューは、全てのドキュメントの、ドキュメント全体または部分の、またはドキュメントの内の幾つかのものとできる。パーサ／レンダラー１８は、見るコンテキストと、生成される特定のドキュメントビューのいずれか関連した時間的なパラメータとを定義するビュー制御入力を受ける。例えば、システム１０は、ドキュメントの一部をズームしたビューを生成し、そこで、ドキュメントの付近の部分を表示するためにズームしたビューをパンまたはスクロールすることが要求されて良い。ビュー制御入力は、どの内部表現の部分が特定のビューのために必要とされ、どのように、いつ、およびどれだけ長くビューが表示されるかを決定するため、パーサ／レンダラー１８により解釈される。

コンテキスト特定表示／ビューは、基本的な図およびパラメータにより表現される。あるいは、内部表現１４によって表示されるソースドキュメント１１が経時変化するマルチフレームの動画から成る場合のように、例えば内部表現１４の内容の更新をトリガする目的のため、パーサ／レンダラー１８および内部表現１４との間にフィードバックパス４２があっても良い。

各々のソースドキュメント１１は、テキストドキュメント、スプレッドシート、または他のドキュメントのようなドキュメントのデジタル表現を提供する。ドキュメントエージェント１２はそのドキュメントの内部表現を造る。ある実施では、造られたデジタル表現は、ページサイズ、余白、およびその他のレイアウト情報についての情報を含むドキュメントのページレイアウトを記載する情報を含む。デジタル表現は、テキスト、図、およびドキュメント内に現れたその他のコンテンツ情報のようなソースドキュメントのコンテンツについての情報も含む。ページ構造とコンテンツ情報を認識するシステムを含む、既知のファイル構造を他の構造に翻訳するためのプロセスはこの技術分野では知られている。この動作をするためのいずれか適当な技術が、本発明の範囲から外れないで実行されることができる。

パーサ／レンダラー１８からの出力は、基本的な図によってドキュメントを表現する。各々のドキュメントオブジェクトのために、パーサ／レンダラー１８からの表現は、少なくとも物理的に直方体のバウンディングボックス、バウンディングボックスにより区切られた実際の形のオブジェクト、オブジェクトのデータコンテンツ、およびその透明性でオブジェクトと境界を隔てられる。形状プロセッサ２２は原始のオブジェクトを翻訳し、それを、例えばプリンタのためのドットマップ、プロッタのためのベクトル命令の一組、またはディスプレイ機器のためのビットマップといった目標出力機器２６に適当な出力フレームフォーマットに変換する。出力制御入力４４は形状プロセッサ２２に接続され、ユーザインタフェース制御信号を、特定の出力機器２６に適当な出力を生成するために伝える。よって、パーサ／レンダラー１８および形状プロセッサ２２は、ディスプレイ上のページレイアウトおよびページコンテンツの部分をレンダーするエンジンとして作用する。

加えて、図１はツールドキュメントファイル３０を示す。ツールドキュメントファイル３０は、イメージを表わす情報を格納するコンピュータデータファイルとでき、イメージは、拡大鏡、カーソル、ルーラ、またはいずれか他の型のツールのようなツールを表示することができる。例示のため、図１に示されたシステム１０は、ツールドキュメントファイル３０が、拡大鏡のグラフィックのイメージを表わすデータを含む例を参照して、これより記載される。拡大鏡のイメージは、ユーザがディスプレイ２６に格納されたドキュメントのイメージを、それぞれのイメージに拡大鏡を通すことにより拡大することを可能とする機能と結びつけられる。

以下により詳細に記載されるように、拡大鏡は、拡大鏡のレンズ下となるドキュメントの部分がユーザには拡大されて見え、それゆえ基礎をなすドキュメントの残りの部分に比べて拡大されたフォーマットで表示される中央レンズ部分を含むことができる。以下の例は主に拡大鏡を参照して記載されるが、この技術における通常の技術を有する者には、他の形式のツールがここに記載されたシステムおよび方法を使用して提供され、全てのそのようなツールは本発明の範囲内になることが理解されることが自明である。

図２を見ると、拡大鏡ツールの動作が判る。具体的には、図２は、ディスプレイ２６が、ドキュメント４４、サムネイルドキュメント４６、拡大鏡ドキュメント４８、レンズドキュメント５０を含む複数の下位構成要素から成るスクリーンドキュメント４２を表示するディスプレイ２６を示す。ディスプレイ２６は、下位ドキュメント４４〜５０から成る一体化した単一のドキュメントとしてスクリーン４２を表示する。スクリーン４２を造るために提供されたコンテンツは、そのコンテンツがドキュメント４４およびサムネイルドキュメント４６として見える一つまたは複数のソースドキュメント１１から生じることができる。スクリーンドキュメント４２は、この例では、そのデータが拡大鏡４８のイメージを表示する内部表現データフォーマットによるデータを内包するツールドキュメントファイル３０によって提供されたコンテンツも含む。

加えて、ツールドキュメントファイル３０は、拡大鏡４８のレンズ内に見える拡大されたドキュメント５０として見えるための拡大されたフォーマットのコンテンツを提供するために、スクリーンドキュメント４２の適当な部分を処理することによってさらなるドキュメントを造るポータルドキュメントを内包していても良い。よって、レンズ５０内に見えるドキュメントは基礎をなすドキュメントから引き出され、この引き出されたドキュメントは拡大鏡ツール４８が用いられるコンテキストによって変わる。従って、ツールの特定のふるまいは、その用いるコンテキストによって変化する。

例えば、拡大鏡ツールは、テキストを持つコンテンツドキュメントとは別に、地図データを持つコンテンツドキュメントのコンテンツを処理するツールコードに関連しても良い。例えば、地図と共に拡大鏡ツールは、拡大鏡によって造られたビュー内に示されるためだけとしてタグされる関連付けられたドキュメント構造内にハンドルを表示するため、関連付けられたコンテンツドキュメントを処理できる。よって、拡大鏡ツール４８内に表示された引き出されたドキュメントは、通りの名前、観光地、公共の交通機関の位置、表記、またはその他の情報といった追加の情報を含むことができる。

この動作において、拡大鏡ツールは、地図のビューの表示である、アプリケーションのコンテキストに応答する。他のアプリケーションにおいては、拡大鏡ツールがテキスト上で用いられる場合、ツールのふるまいは、テキストの色またはスタイルを変化させ、または、コントロールボタン、プルダウンメニュー、注釈情報、テキストバブル、または他の形式の情報のような、エデットツールおよびユーザインターフェース制御の表示とできる。

したがって、スクリーンドキュメント４２は、ソースドキュメント１１およびツールドキュメントファイル３０内に内包された情報の統合体および集合体である。ツールドキュメントファイル３０に関連付けられたアプリケーションプログラムは、拡大されたビュー５０を造るために適当なコンテンツを処理することができる。拡大するツール４８および関連付けられたソースコードは、拡大されたビュー５０を造るために拡大されたフォーマット内に提供されるべきスクリーンドキュメント４２のその部分を認識することができる。ツールコードはまた、拡大されたビュー５０を造るため選択されたコンテンツを処理することができ、スクリーン２６の拡大された領域の表示効果を達成するため、拡大鏡４８のレンズ範囲内に、その拡大されたビューをクリップする。よって、ツールドキュメントおよびソースドキュメント１１は同じ内部表現であり、よってパーサ／レンダラー１８によって表示されることができるスクリーンドキュメント４２内に併合されることができる。

一つの実施形態では、グラフィカルツール５０はカーソルでドラッグすることによって、またはタッチセンシティブスクリーンが提供されるなら、スタイラスまたはディスプレイのスクリーンを横切るその他のポインタをドラッグすることにより、スクリーン上を動かされる。この動きを処理するために、ディスプレイ２６は、カーソル、スタイラスまたはスクリーン上に表示されたドキュメントのイメージを横切るその他のポインタの動きを検出するため、ディスプレイ２６のスクリーンをモニタするためにスクリーンモニタリングプロセスを含む。そのようなスクリーンモニタリングプロセスは、この技術分野で知られており、あらゆる適当なプロセスが用いられて良い。それゆえにモニタプロセスは、ドキュメント４４の視覚的表現を超える触感制御のユーザ感覚を与える。

スクリーンモニタプロセスにより検出される動きは、既知コマンドを表わす動作を検出するために検出された動作を処理するインターフェースプロセスに通される。この技術分野で一般的であるように、インターフェースプロセスは、分離されたプロセスで良く、またはスクリーンモニタプロセスの一部で良い。インターフェースモジュールがツール５０を動かすためにコマンドを検出するように、ナビゲーションモジュールは、ディスプレイ上でユーザが望むように再び位置づけられたツール５０を示す、ユーザへの表示のための新しいディスプレイを造るようにパーサ／レンダーラー１８に指示する入力信号を造ることができる。

従って、図１に示されたシステムは、複数の下位ドキュメントを内包し、そして、いくつかの下位ドキュメントはグラフィックをそれ自体に含む、する単一のドキュメントを表示するスクリーンディスプレイに一体化されることができるグラフィカルユーザインターフェースツールを提供することができる。このアプローチの力は、ユーザがディスプレイ上のドキュメントを処理し見ることができるようにし、表示されたドキュメント上の触感制御をシミュレートすることができるようにする新しいグラフィカルユーザインタフェースツールの進歩を可能にする。これらのシステムと方法は、特に、従来の入力ツールが十分にないハンドヘルドおよび移動体コンピュータプラットホーム上での使用に適している。

ここに記載されたシステムと方法によって提供されるさらなるグラフィカルユーザインターフェースツールは、図３に示されたバブルサブネイルグラフィカルツールを含む。特に、図３は、ドキュメント４４とサムネイルドキュメント６０〜７２を含む複数のサブドキュメントから成るスクリーンドキュメント５２を含むスクリーンディスプレイ２６を示す。図３に示すように、ドキュメント４４はディスプレイ２６の見える範囲の大部分を使う大きなドキュメントとして表示されることができる。この実施態様では、サムネイルドキュメント６０〜７２は、ディスプレイ２６の左側に近接した位置でスクリーンドキュメント５２内の縦の欄に配置される。サムネイルドキュメント６０〜７２は、最も大きいサムネイルドキュメント６０がサムネイルドキュメントの縦列内で中心に置かれている状態で一緒に大きさが変わる。

図３によりさらに示されるように、縦列中のドキュメントが中心のドキュメント６０からの距離が増加するにつれて、ドキュメントの大きさは減少する。中心のドキュメントからの距離の基準は、ドキュメント４４からのページにおける距離を表示するものとでき、ドキュメントを最後に見てから経過した時間等の違い、アルファベット順の違い、またその他の特性の違いを表示するものとすることができる。

よって、中央のドキュメント６０に隣接したドキュメント６２および６８は、ドキュメント６０よりも多少小さい。各々のドキュメント６２および６８に隣接し、ドキュメント６０からより遠い、さらなるドキュメント６４および７０は、ドキュメント６４および６８より一層小さい。サムネイルドキュメント６０〜７２の列により造られた印象は、最も大きいドキュメントであるドキュメント６０が、スクリーンドキュメント５２の最も大きな表示面において表示されているドキュメント４４を表示することを示すために働く。ドキュメント６２〜７２は、現在見えているページ６０からの「距離」に比例して小さくなる。したがって、サムネイルドキュメント６０〜７２の縦の欄は、ユーザがディスプレイ２６の大きな表示面内に現れるようにドキュメントを選択するのに用いることができるナビゲーションツールを提供する。

例えば、スクリーンディスプレイ２６がタッチセンシティブスクリーンディスプレイであるそれらの適用において、ドキュメント６０〜７２の列内にサムネイルドキュメント表示を触れることにより、ユーザが新しいドキュメントが表示面内に現れるように動かすことができる。ユーザがキーボードまたはマウスを提供されているそれらの適用において、ユーザが表示面内に現したいドキュメントの列の中のドキュメントの内のいずれかを選択するためにそれらの特定の入力機器を用いることができる。任意の実施形態においては、ユーザが、関心のあるドキュメントを見つけるためにサムネイルドキュメントをスクロールさせることができる。また、サムネイルドキュメントのスクロールは、ドキュメント４４が、ドキュメントのスクロールと一緒に変化することとなる。あるいは、サムネイルドキュメントのスクロールは、ドキュメント４４の変化とは独立しており、新しいサムネイルドキュメントが選択されたときにドキュメント４４が変化することとだけと一緒に起こることができる。

したがって、ここに記載されたシステムと方法がサムネイルイメージを生成するためにナビゲーション中のユーザを待たせている間にサムネイルイメージを用いることができるように、ここに記載されたシステムと方法は、この技術分野において知られているものを含み、ライブまたは動画のサムネイルを生成するサムネイル生成を含む、適当なサムネイルジェネレータプロセスを含むことができる。

図４は、ここに記載されたシステムと方法のさらなる実施形態を示し、先に図２に示した拡大ツールがツールコードに関連付けられ、拡大鏡オブジェクトのレンズ領域内に現れるドキュメント内で以前は表示されていなかった情報となる。より詳しくは、図４は、地図としてこの視点内で見える、スクリーンドキュメント４２を含むディスプレイ２６を含む。図４はさらに、レンズ領域５０を含む拡大鏡ツール４８を示す。図４に示すように、拡大ツール４８は地図４２の一部上に位置付けられる。上述のように、拡大鏡４８に関連付けられたツールコードは、スクリーンドキュメント４２の適切な部分の拡大視を提供することができる。図４にさらに示すように、拡大された部分５０も追加の情報を含む。

例えば、図４に示した地図アプリケーションでは、拡大ビュー５０は、小さい道、重要物の位置、または拡大されたコンテンツに関するその他の情報のような追加の地図情報を含む。加えて、とは言え、拡大鏡は、表示面５０内で情報のその色または情報の位置を変える、またはコントロールボタン、プルダウンメニュー、注釈情報、テキストバブル、またはその他の形式の情報等のユーザインターフェース情報を提供するツールコードに関連付けられる。したがって、ツールの特定のふるまいは、その適用のコンテキストによって変化する。例えば、上述のように、拡大鏡ツールは、テキストを有するコンテンツドキュメントとは、地図データを有するコンテンツドキュメントのコンテンツを異なって処理するツールコードに関連付けられる。よって、ここに記載されたシステムは文脈依存ツールとプロセスを提供する。

図５および６は、ここに記載されたシステムおよび方法によって提供されるグラフィカルユーザインターフェースツールのさらなる実施形態を示す。特に図５は、２つのドキュメント８０と８１、およびルーラ８２から成るスクリーンドキュメント４２を含むスクリーン２６を示す。２つのドキュメント８０および８１は、類似の形式のドキュメントを表示するようにされ、Ａ４紙のように各々は同じ大きさの紙に印刷されたテキストドキュメントである。しかし、ドキュメント８１の表示の縮尺は、ドキュメント８０のための表示の縮尺よりも大きいため、図５は２つのドキュメント８０と８１を、一方が他方よりも大きいテキストのページとして示す。よって、ドキュメント８０と８１は、異なる縮尺要素を表示する類似のドキュメントである。

図５に示すように、ルーラ８２は、各々のドキュメントの縮尺を示し、基礎をなすドキュメントの縮尺を調整する、浮かんでいる半透明性ルーラとすることができる。これは、ルーラの区間がドキュメント８０からドキュメント８１に移動するにつれて、ルーラ８２の目盛りの大きさが増加することによって示される。図５は、基礎をなすドキュメントの縮尺に比例してルーラ８２の目盛りが変化するように描かれる。よって、ルーラ８２は、コンテンツの表示縮尺に応じてルーラの目盛りを調整することができる文脈依存ユーザインターフェースツールを提供する。

図６を参照すると、浮かんでいる半透明性の質問マーク８４であるさらなるユーザインターフェースツールが、ディスプレイ２６がドキュメント８０と浮かんでいる半透明性質問ツール８４から成るスクリーンドキュメント４２を含むのを示す図６によって、基礎をなすオブジェクトのための注釈を表示することが示される。質問ツール８４は、ドキュメント上の質問ツールのイメージをドラッグすることによって、またはドキュメント上にすでに位置する質問ツールアイコンを選択することによって作動されると、基礎をなすドキュメント８０の注釈を表わす情報を含むテキスト８８を提供する。

図７ａは、利用可能なユーザインターフェースツールをユーザに提供するための一つの方法を示す。特に、図７ａは、ツールボタン９０を含むスクリーン２６を示す。ツールボタン９０は、拡大ツール４８のグラフィクの表示を提供する。拡大ツール４８を起動するために、ユーザは、マウス、キーパッド、またはタッチスクリーンの使用、および拡大ツールボタンのドラッグによって、ツール４８のイメージをクリックすることができる。ツールボタン９０をクリックすることによって、このシステムはツールドキュメントファイルからの情報を処理し、図７ａに示すようにドキュメント４８のイメージを造る。図７ｂは、ユーザインターフェースが、一つの実施において、ユーザが拡大ツール４８をスクリーン２６の外に、あるいは任意の方向に押出せるようにすることができることを示す。スクリーン２６の外にツールを押出すことによって、ユーザはツール４８を取り除き、アイコンまたはツールボタン９０をスクリーンに戻す。

図８ａおよび８ｂは、リンク、または他のドキュメントへのその他の形式のポインタ、またはその他のコンテンツを含むドキュメントを見るときに用いられることができる形式のさらなるツールを示す。具体的には、図８は、ドキュメント１００が他のドキュメントへのリンク１０２を含むツールを示す。これらのドキュメントのために、ここに記載されたシステムと方法は、ボタン、スィッチ、または幾つかのその他の制御と同様に、スライダ制御１０４が設けられる。示されたスライダ制御１０４は、ドキュメント１００のユーザインターフェースビューを増大させることができ、コントロール１０４をスライドさせることによって、ユーザがドキュメント内のリンク１０２の目立ち方を制御できる。よって、ツール１０４は、ドキュメント１００のようなドキュメント内のリンクの目立ち方をユーザが調整することができるようにし、従ってリンクはユーザにより簡単に認識される。

図８ａおよび８ｂは、ドキュメント１００が、示された強調されたテキスト１０８のように強調されたテキストを含むことができることをさらに示す。リンク１０２について、ドキュメント１００の残りの部分の透明性がスライダ制御１０４がユーザによって変えられるに伴なって変化する一方で、スライダ制御１０４が強調されたテキスト１０８がその透明性を維持することができるようにする。動作中は、スライダ制御１０４は、リンク１０２または強調されたテキスト１０８を作るオブジェクトの他に、ドキュメント１００を作るオブジェクトの透明性または書式をユーザが調整できるようにすることができる。しかし、ドキュメントの部分を消滅させ強調するその他の技術が、実施されても良い。

図９を参照すると、ドキュメント１００がリンク１０２を含むグラフィカルユーザインタフェースツールが示される。さらに、リンク１０２は浮上がっているサムネイルドキュメント１１０に関連する。図９に示すように、コントロール１１２がユーザに提供される。コントロール１１２の起動中は、ドキュメント１００内のそれらのリンク１０２は、各々のリンク１０２に関連したページのページビューの浮上がったサムネイル表示に関連することができる。加えて、図９は、一つの任意の実施において、ディスプレイが先に読んだサムネイルドキュメントの集合をさらに含むことができることを示す。サムネイルドキュメント１１４は、ドキュメント１００内のリンク１０２に関連した、あるいはそのドキュメント１００が複数ページのドキュメントであるときにドキュメント１００の他のページに関連したそれらのドキュメントの表示とすることができる。

図１０は、本発明によるグラフィカルユーザインターフェースツールの更なる例を示す。具体的には、ハンドヘルドコンピュータ機器１２０がそのディスプレイ上に現れた一組の文字１２２を有することを示す。図１０にさらに示すように、カーソルウィンドウ１２４が、テキストディスプレイ１２２内の一つの文字上に現れる。示された実施態様では、カーソルウィンドウ１２４は、現在のテキスト位置上に浮かぶ、ソフトの、半透明性のテキストエントリープレートを設けられている。プレートはテキスト位置が移動するのと一緒に移動することができ、および／または、プレートはプレート１２４の下のテキストの移動に適応するためにテキストがそれ自体で左側にスクロールするように、その位置を維持することができる。

上述したように、テキストプレートカーソル１２４は、図１のシステム１０によって処理されたツールドキュメントファイル３０から生じる。ツールドキュメントファイルは、機器１２０上に現れるテキストプレート１２４の内部表現を含む。ある実施形態では、ハンドヘルド機器１２０は、ユーザが、テキストエントリプレート１２４内のスクリーン上に現れるスタイラスを文字を形成するために用いることができるようにするタッチセンシティブスクリーンを含む。そのようなテキストが入ることができるそのようなシステムの設計と開発は、この技術分野で良く知られており、あらゆる適当なシステムがここに記載されたシステムと方法と一緒に用いられることができる。動作中は、ユーザは、テキストエントリプレート１２４内に現れる文字を形成するために機器１２０のスクリーンを横切ってスタイラスを動かすことができる。この動作は、一連のテキスト導入行程１３０〜１３８が示された図１１に示されている。

具体的には、図１１は、カーソルプレート１２４が機器１２０のディスプレイ上に現れるテキスト導入行程１３０を示している。ユーザはカーソル１２４によって区切られたスペース内、または他の区域内の文字をトレースすることができ、トレーシングは任意にテキストエントリカーソル１２４によって区切られた範囲内に現れる。ユーザによって記入されたトレーシングは、この例では文字Ｌのような、それらのマークを文字と関連付けるためのこの技術分野で知られている型の文字認識システムによって処理される。行程１３２に示すように、一度、文字認識が完了すると、認識された文字Ｌはディスプレイ上に表示され、カーソルは動くことができ、またテキストはスクロールすることができ、しかしどちらにしてもカーソル１２４はユーザがさらにテキストを入力するために利用できるようになる。

行程１３４に示すように、単語が形成されるまで、ユーザはテキストを入れることができる。行程１３８において、完成した単語が入るときは、ユーザはカーソル１２４を書かれた単語から間を隔てて動かすことができ、テキストエントリカーソル１２４内に現れる文字を再びトレースし始めることができる。よって、示されたカーソル１２４は、ドキュメント内に生じたテキストの現存する線の中にテキストのセクションを挿入すること等によって、ドキュメントへのコンテンツのインライン挿入を可能とするツールを提供する。その他の適用では、コンテンツを削除すること、色を変える、または他のアプリケーションを働かせること等によってイメージを校正するツールが提供される。

上述したように、タッチセンシティブディスプレイを含むそれらのシステムのために、ここに記載されたシステムと方法は、ユーザがディスプレイ上のマークをトレースするためにスタイラスを使うことができるために提供され、それらのマークは文字が入ることができるためのシステムによって翻訳される。加えて、図１２ａ〜１２ｂは、タッチセンシティブスクリーンを横切ってスタイラスを動かすことによってユーザが導入できる一連の表示コマンドストロークを示す。図１２ａ〜１２ｇに示された各々のコマンドストロークは、ユーザがドキュメントを処理し見ることに用いることができるユーザインターフェースコマンドと関連付けられる。例えば、１２ａは、システムがシステムによって示された動作を肯定するコマンドに関連付けられた丸いチェックマークをユーザが形成するストロークを示している。同様に、図１２ｂは、ディスプレイ上に複数の山と谷を形成し、ディスプレイからコンテンツを削除するためのコマンドに関連付けられたストロークを示す。

図１２ｃは、ドキュメントをホームページに戻す、またはやり直すことに関連付けられる円形の時計周りのストロークを示し、図１２ｄは、削除、クリア、またはコマンドがないことを示す上方への対角直線ストロークを示す。図１２ｅは反時計周りに走り、パラグラフセレクトコマンドを表示する四角いストロークを示し、図１２ｅと１２ｇは、それぞれ次のまたは各々以前のドキュメントに移動するためのユーザによる要求を示すストロークを示す。ここに記載されたシステムと方法が、ワードドキュメント、ウェブページ、ストリーミングメディア、および他の形式のコンテンツ等の異なる形式のドキュメントと一緒に働くシステムと方法を含む時、異なるストロークの意味はそのアプリケーションによって変化することが当事者により理解される。

例えば、１２ｃの円形の時計周りの回転は、ウェブページを表わすドキュメントのために、ウェブページドキュメントに関連付けられたウェブページに戻ることを要求することを示すことができる。あるいは、ストリームドメディアコンテンツを見る時に、１２ｃの円形の時計周りのストロークを使うことは、ストリームドビデオを停止させ、最初から再開始させることを要求することを示して良い。したがって、図１２ａ〜１２ｂに示されたストロークコマンドはそれらのアプリケーションによって異なる意味を持つことが、この技術分野の通常の技術を有する者に明らかである。

図１３ａおよび１３ｂは、表示面内でそのドキュメントのページの動きを起こすためにドキュメントをクリックおよびドラッグするためユーザによって用いられるコマンドストロークを示す。示された実施形態では、ドキュメントをドラッグする動作中において、速度検出プロセスは、１００秒毎というように、周期的に読み込み位置を取る。これらのページ読み込み位置から、ページ速度決定がなされる。ページ速度決定は、表示域を通るより自然なドキュメントの動き方をユーザインターフェースが提供できるようにするために用いられる。このために、パーサ／レンダラー１８に、スクリーンを横切って動くようにドキュメントを描く一連の画像中のドキュメントを再び書くことを指示するために、プロセスが速度決定を使用することができる。

例えば、ユーザはある速度でドキュメントをドラッグでき、そこでドキュメントからスタイラス、マウス、またはその他の入力機器を放すことができる。または、放した時に、ドキュメントは移動を止める。しかし、代わりの実施では、ドキュメント上をクリックする等してドキュメントが移動を停止すべきことをユーザが示すまで、ページが既定の方向に動き続ける。複数ページのドキュメントのために、ユーザがスクリーンを横切ってドキュメントの１ページをドラッグしたときに設定された一組のページ速度によって決定された速度でスクリーンを横切るドキュメントの異なるページをパンするために、速度測定を使うことができる。あるいは、速度は速度０になるまで一定のページの惰性により減少し、ページのスクロールは止る。すなわち、ページがパンしている間に、さらなる速度検出がページ速度を減速（加速）させるために用いられ、これゆえに、ページの惰性に対する動きは、速い連続したドラッグ動作中でページの連続した滑らかな動きを可能にする。

加えて、あるいは、その他のユーザインターフェースプロセスが、ドキュメント上での触感制御を有することのユーザの経験を増大させるべく提供されて良い。例えば、ユーザインターフェースは、図２のドキュメント４４の右上角に対応したディスプレイの位置にディスプレイ２６上の動きを検出するためのページフリップディテクタを含む。もし、ページフリップディテクタまたはスクリーンモニタがドキュメント４４の表面を横切る払う動きを検出したなら、ページフリップディテクタは、パーサ／レンダラー１８にページを「めくる」ように指示する。動作は、ページをめくり戻すおよび先にめくる両方の方法で検出され、ページフリップディテクタは文脈依存とでき、アプリケーションおよびコンテンツの形式に適した新しいディスプレイを生成することができる。

あるいは、インタフェースプロセスは、ドキュメント４４の右上角の動きがスクリーン４２またはドキュメント４４を書き直すようにパーサ／レンダラー１８にページカールディテクタが指示するようにすることができるようにし、ドキュメント４４の角が下に巻き込まれ、基礎をなすページの部分が表示されること以外は、ページフリップディテクタに類似して動作できるページカールディテクタを含むことができる。ページフリップおよびページカールディテクタの両方とも、望まれる効果を達成するためにパーサ／レンダラー１８への指示を生成することができるコンピュータプロセスとできる。加えて、ページズームディテクタ（ページ領域上をダブルクリック等）が、視点のズームイン／アウトへの上向き／下向きの動きより、追随される。この作用は、内部拡大機能を提供する速度ディテクタと都合よく結合される。

図１はユーザインタフェースシステム１０を作用のブロック要素として図示するが、本発明によるシステムとしてデータプロセッサをそれによって構成するためのデータプロセッサプラットホーム上で動作できるコンピュータプログラムまたはコンピュータプログラムの一部として、それらの要素は実現できることが、この技術分野の技術を持つものには自明である。さらに、図１はシステム１０を一体化されたユニットとして示すが、これは一つの実施形態に過ぎず、本発明は複数のプラットホーム上にまたがって分布したコンピュータプログラムとして実現できることが、この技術分野の技術を持つものには自明である。

上述のように、ユニックスワークステーションのようなより従来のコンピュータプラットホームと、ハンドヘルドコンピュータプラットホームを含む、データ処理システム上で動作するソフトウェアコンポーネントとして、上述のユーザインターフェースシステムは実現できる。これらの実施形態では、ユーザインターフェースシステムは、Ｃ言語コンピュータプログラム、Ｃ＋＋、フォートラン（Fortran）、ジャバ（Java（登録商標））、またはベーシック（BASIC）を含む高レベル言語で書かれたコンピュータプログラムとすることができる。さらに、プラットホームが主としてマイクロプロセッサ、マイクロコントロール、またはＤＳＰである実施態様では、ユーザインタフェースシステムは、マイクロコードで書かれた、または高レベル言語で書かれた、および用いられるプラットホーム上で実行されるマイクロコードにコンパイルされたコンピュータプログラムとして実現できる。

そのようなシステムの開発はこの技術分野の技術を有する者に知られており、そのような技術は例えば、Digital Signal Processing Applications with theTMS320 Family, Volumes I, II, III, Texas Instruments (1990)を含む文献により明らかにされている。さらに、高レベルプログラミングのための一般的技術が知られており、例えば、Stephen G. Kochan, Programming in C, Hayden Pubulishing (1983)で明らかにされている。ＤＳＰは特に、コントラスト、端部輪郭、および輝度の調整によるイメージ改良等の作用を処理することを含む信号処理機能を実行するために特に適していることが注目される。ＤＳＰおよびマイクロコントローラシステムのためにコードを開発することは、この技術分野の良く知られた原理から判る。

さらに、図１はコンピュータプロセス８を複数の機能ブロック要素から成るように示しているが、本発明によるシステムとして、それによりデータ処理するプラットホームを構成するためのデータ処理するプラットホーム上で動作することができるコンピュータプログラムまたはコンピュータプログラムの部分として、これらの要素を実現することができることが理解される。さらに、図１はシステム１０をプロセス８およびディスプレイ機器２６の一体化されたユニットとして示しているが、これは一つの実施形態に過ぎず、ここに記載されたシステムは、ディスプレイ２６によって行われるドキュメントディスプレイ動作から、プロセス８のドキュメントを処理する機能とユーザインタフェース機能を分離するシステムアーキテクチャを含む、その他のアーキテクチャおよび配列として実現できることが明らかである。

この技術分野の技術を持つ者は、ここに記載された実施形態と実施に相当する多くのものをただの通常の試行を用いて知り、または確かめることができるであろう。さらに、本発明のシステムとプロセスは多くの適用を有し、ハンドヘルドコンピュータ、電話、移動体データ端末、セットトップボックス、内蔵プロセッサ、ノートブックコンピュータ、コンピュータワークステーション、プリンタ、コピー機、ファックス機およびその他のシステムを含む機器の範囲で使用することができる。さらに、ここに記載されたシステムは、タッチセンシティブスクリーンおよびパッド、マウス入力機器、キーボードおよびキーパッド、ジョイスティク、サムホィール機器、マウス、トラックボール、仮想現実入力システム、音声制御システム、眼球動作制御システム、およびその他のあらゆる適当な機器を含む適当なインターフェース機器と一緒に実施することができることがこの技術分野の技術を有する者によって理解される。よって、ここに記載されたシステムは多くの用途を持ち、他のドキュメント形式の洗練された処理を提供する一組のインターフェースプロセスおよびシステムを提供することを含む先行技術を超える利点を提供することも理解される。

したがって、本発明はここに記載された実施形態に限定されるべきではなく、法の下で許容される限り広く解釈されるべきである後述の請求の範囲から理解されるべきであることが理解される。

８…コンピュータプロセス、
１１…ソースドキュメント、
１２…ドキュメントエージェント、
１４…内部表現ファイル、
１５…メモリバッファまたはファイル、
１６…ライブラリ、
１８…パーサ／レンダラー、
２２…形状プロセッサ、
２６…ビデオディスプレイ、
３０…ソースドキュメントファイル、
４２…フィードバックパス、
４４…出力制御入力、
４２…スクリーンドキュメント、
４４…ドキュメント、
４６…サムネイルドキュメント、
４８…拡大鏡ツール、
５０…レンズドキュメント、
５２…スクリーンドキュメント、
６０，６２，６４，６６，６８，７０，７２…サムネイルドキュメント、
８０，８１…ドキュメント、
８２…ルーラ、
８４…質問ツール、
８８…テキスト、
９０…ツールボタン、
１００…ドキュメント、
１０２…リンク、
１０４…スライダ制御、
１０８…テキスト、
１１０…サムネイルドキュメント、
１１２…コントロール、
１１４…サムネイルドキュメント、
１２０…ハンドヘルドコンピュータ機器、
１２２…文字、
１２４…カーソル、
１３０，１３２，１３４，１３８…テキスト導入行程。

Claims (8)

1. ドキュメントに対する触感制御をサポートするディスプレイ装置であって、
   プロセッサ及び触感方式ディスプレイと、
   前記プロセッサによって実行されるように適応され、データコンテンツと前記ドキュメントのページレイアウトを表わすページ構造を含む前記ドキュメントのデジタル表現を提供するシステムコードを格納するメモリと、
   前記触感方式ディスプレイ上のデジタル表現のためにページレイアウトの少なくとも一部に対応するイメージをレンダリングするエンジンと、
   前記触感方式ディスプレイ上でポインタの動きを検出するために前記触感方式ディスプレイと通信するディスプレイモニタと、
   前記検出された動きの速度に基づいて速度ベクトルを決定する速度検出器と、
   前記ディスプレイモニタにより検出された動きを処理して複数の命令のうちの一つを検出するために前記ディスプレイモニタと通信するインターフェイプロセスと、を含み、
   ここで、前記複数の命令は、移動命令を含み、前記インターフェイプロセスにより検出された前記移動命令に応答して前記エンジンが前記検出された速度ベクトルに基づいて前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させ、
   ここで、前記エンジンは、前記ドキュメントの相異なるビューワーのレンダリングで構成され、前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させることにあって、前記検出された速度ベクトルと共にページ惰性を追加で利用し、
   前記任意の方向へ移動する前記ドキュメントのデジタル表現は、前記ドキュメントの移動を中止させるユーザの指示が検出されるか、または前記速度ベクトルに基づく移動速度がゼロ速度に到達するまで前記速度検出器により設定された方向に移動し続き、
   前記移動速度は、前記ドキュメントのデジタル表現の継続移動を可能にするページ惰性により漸進的に減少することを特徴とするディスプレイ装置。
2. 前記ページ惰性による前記ドキュメントのデジタル表現の移動は、前記ドキュメントを表す一連のページで前記ドキュメントのデジタル表現の再描写(redraw)を伴うことを特徴とする請求項１に記載のディスプレイ装置。
3. 前記触感方式ディスプレイを横切る前記ポインタの後続する動きに基づいて、前記インターフェイプロセッサにより検出されたパン命令語に応答して、前記エンジンは前記速度検出器が前記後続する動きと関連して決定した速度ベクトルに基づいて一連のページを表現する速度を変更することを特徴とする請求項１に記載のディスプレイ装置。
4. 前記ドキュメントのデジタル表現を通じてユーザがナビゲートできるように前記ページレイアウトのレンダリングされた部分を変更するために前記インターフェイプロセスに応答するナビゲーションモジュールをさらに含むことを特徴とする請求項１に記載のディスプレイ装置。
5. プロセッサ、メモリ、及び接続方式プロセッサを含むディスプレイ装置におけるドキュメントに対する触感制御をサポートするディスプレイ方法であって、
   データコンテンツと前記ドキュメントのページレイアウトを表わすページ構造を含むシステムコードを使用して前記ページレイアウトの少なくとも一部に対応するイメージをレンダリングする過程と、
   前記レンダリングによりデジタル表現がディスプレイされた前記触感方式ディスプレイ上でポインタの動きを検出する過程と、
   前記検出された動きの速度に基づいて速度ベクトルを決定する過程と、
   前記ディスプレイモニタにより検出された動きを処理して移動命令を含む複数の命令のうちの一つを検出する過程と、
   前記移動命令が検出されると、前記検出された速度ベクトルに基づいて前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させる過程と、を含み、
   ここで、前記ドキュメントの相異なるビューワーのレンダリングで構成され、前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させることにあって前記検出された速度ベクトルと共にページ惰性を追加で利用し、
   前記任意の方向へ移動する前記ドキュメントのデジタル表現は、前記ドキュメントの移動を中止させるユーザの指示が検出されるか、または前記速度ベクトルに基づく移動速度がゼロ速度に到達するまで前記速度検出器により設定された方向に移動し続き、
   前記移動速度は、前記ドキュメントのデジタル表現の継続移動を可能にするページ惰性により漸進的に減少することを特徴とするディスプレイ方法。
6. 前記ページ惰性による前記ドキュメントのデジタル表現の移動は、前記ドキュメントを表す一連のページで前記ドキュメントのデジタル表現の再描写(redraw)を伴うことを特徴とする請求項５に記載のディスプレイ方法。
7. 前記触感方式ディスプレイを横切る前記ポインタの後続する動きに基づいて検出されたパン命令語に応答して前記後続する動きと関連して決定された速度ベクトルに基づいて一連のページを表現する速度を変更する過程をさらに含むことを特徴とする請求項５に記載のディスプレイ方法。
8. 前記ドキュメントのデジタル表現を通じてユーザがナビゲートできるように前記ページレイアウトのレンダリングされた部分を変更するために前記インターフェイプロセスに応答する過程をさらに含むことを特徴とする請求項５に記載のディスプレイ方法。

Images