JP2003531429A - デジタルドキュメント処理 - Google Patents

Abstract

(57)【要約】 デジタルドキュメント処理システムは、複数の所定データ形式の一つでソースデータを表す入力バイトストリームを受け取り、そのバイトストリームを解釈し、バイトストリームから解釈されたコンテンツを内部表現データ形式に変換し、その内部表現データを、画像表示又はプリンタのような出力装置を動作するのに適合した出力表現データを生成するように処理する。このシステムは、入力ストリームを受け取って前記視覚映像の内部表現を生成するための適応可能な前部と、前記内部表現を処理するためで、かつ視覚映像を与えるべく出力装置を動作するのに適した出力データストリームを生成するためのレンダリングエンジンとを有する。

Description

【発明の詳細な説明】

【０００１】 本発明はデータ処理システムに関する。より詳しくは、本発明は、（ここで定
められるような）「デジタルドキュメント」を処理するための方法及びシステムに
関し、ならびに、そのような方法及びシステムを組み込む装置に関する。通常、
本発明は、例えば画像表示としてまたはハードコピーとして、ソースドキュメン
トの出力表現を生成することに関する。

【０００２】 発明の背景 ここで用いられるような用語「デジタルドキュメント（ｄｉｇｉｔａｌ ｄｏ
ｃｕｍｅｎｔ）」は、典型的には、視覚的に表示又は再生されることにより（例
えば、画像表示装置又はプリンタにより）、あるいはテキスト音声変換によるな
どして、全部又は一部が最終的には人間のユーザーへの幾つかの形式の出力にな
ることを意図されたデータ処理システムにより処理されるいずれかのタイプのデ
ータのデジタル表現を示すのに用いられる。デジタルドキュメントは、表示可能
ないずれかの特徴を含んで良く、これらに制限されないが、テキスト、グラフィ
ックイメージ、動画のグラフィックイメージ、フルモーションのビデオ画像、イ
ンタラクティブアイコン（ｉｎｔｅｒａｃｔｉｖｅ ｉｃｏｎ）、ボタン、メニ
ュー、あるいはハイパーリンクを含む。デジタルドキュメントは、聴覚（音）の
要素のように視覚でない要素を含んでも良い。

【０００３】 パーソナルコンピューターシステムのようなデータ処理システムは、幾つかの
ローカル又はリモートソースのいずれか一つからもたらされ、また幅広い種類の
データ形式（「ファイル形式」）のいずれか一つで存在し得る「デジタルドキュメ
ント」を処理することを要求されるのが典型的である。画像表示としてであろう
と、プリントコピーとしてであろうと、このドキュメントを出力したものを生成
するためには、例えば、コンピューターシステムが元のデータファイルを翻訳し
、関連する出力装置（例えば、モニター、あるいは他の画像表示装置又はプリン
タ）と互換性のある出力を生成する必要がある。通常、この処理は、データファ
イルを翻訳するのに適合したアプリケーションプログラム、コンピューターのオ
ペレーティングシステム、所望の出力装置に特有のソフトウェア「ドライバ」、そ
して場合によっては（特に、モニター、又は他の画像表示装置のために）、拡張
カードの形態の追加のハードウェアを含むことになる。

【０００４】 出力を生成するためのデジタルドキュメントの処理に対するこの従来のアプロ
ーチは、ハードウェア資源、ソフトウェアのオーバーヘッド、ならびに処理時間
の点で不十分であり、ワイヤレス電気通信システムを含む低電力のポータブルデ
ータ処理システム、あるいはネットワーク端末のような低コストのデータ処理シ
ステム等に対しては、完全には適合しない。従来のデジタルドキュメント処理シ
ステムでは、（ハードウェアとソフトウェアの両方の構成要素を含む）複数のシ
ステム構成要素を構成して所望の手段で対話する必要性と、異なるシステム（例
えば、フォーマティング、色再生等の違い）による同一のソースマテリアルの処
理の不一致とを含む他の問題に直面した。加えて、デジタルドキュメント処理に
対するこの従来のアプローチは、ファイル形式の構成要素の共通性及び／又は再
利用性を利用することができない。

【０００５】 発明の概略 従来の方法及びシステムの前記不都合を回避しあるいは減じる、デジタルドキ
ュメント処理方法及びシステム、ならびに、そのような方法及びシステムを組み
込む装置を提供することが、本発明の目的である。

【０００６】 本発明は、様々な態様で、ここに添付された請求の範囲に定められる。本発明
のさらなる態様及び特徴が、以下の記載から明らかになる。

【０００７】 ここに記載されたシステム及び方法は、ファイルタイプを決定してソースアプ
リケーションからの出力と結び付けるため、ならびにファイルタイプのファンク
ションとしてその出力を処理してオブジェクトとデータの視覚的表現内の構成要
素を表す形状とを示す表示リストを生成するための適応可能な前部を用いるシス
テムを含む。それから、表示リストは、付随的に埋め込み型装置に設置できるレ
ンダリングエンジンにより処理される。このレンダリングエンジンは、表示リス
ト内に含まれる構成要素を処理して、装置のディスプレイに表されるソースアプ
リケーションの出力の画像をレンダリングする。以下に記載されるように、適応
可能な前部は、処理されるソースのファイル構造を決定し、それにより、複数の
異なるファイルタイプ及びソースアプリケーションで動作することのできる装置
を提供する。

【０００８】 加えて、及び付随的に、ここに記載されるレンダリングエンジンは、装置のデ
ィスプレイに画像を連続的にレンダリングするために提供する。これは、表現内
のより細かな特徴を、その表現内のより簡単にレンダリングされる特徴の後に現
れるようにすることにより、より速く画像をレンダリングする画像表示インター
フェースを提供する。加えて、ここに記載されるシステムが、ドキュメントを構
成要素のオブジェクトにばらすと、それぞれのオブジェクトは、別々に、シェー
ディング、カラーリング、及び透明化のような特別な効果でオブジェクトを処理
することを含む処理をされ、それにより、ここに記載されるシステムにより与え
られる画像に層状の外観を提供する。

【０００９】 第一の態様では、ここに記載されるシステム及び方法は、デジタルドキュメン
ト処理システムであって、 複数の所定データ形式の一つでソースデータを表す入力バイトストリームを受
け取るための機構と、 前記バイトストリームを解釈するための解釈機構と、 前記バイトストリームからの解釈されたコンテンツを、内部表現データ形式に
変換するための変換機構と、 前記内部表現データを、出力装置を動作するのに適合した出力表現データを生
成するように処理するための処理機構 を含むデジタルドキュメント処理システムに関する。

【００１０】 第２の態様では、本発明は、ユーザーインターフェースにより用いられる対話
式の画像表示が本発明の第一の態様によるデジタルドキュメント処理システムに
より生成されるデータ処理システムのためのグラフィカルユーザーインターフェ
ースに関し、ならびに、そのようなグラフィカルユーザーインターフェースを組
み込むデータ処理システムに関する。

【００１１】 さらなる態様では、本発明は、ハードウェア装置、データ処理システム、及び
周辺装置を含む、本発明の第一の態様によるデジタルドキュメント処理システム
を組み込む様々なタイプの装置に関する。

【００１２】 さらに別の態様では、本発明は、幾つかの新規及び／又は向上した特徴の一つ
以上を有するデータ処理システムのためのグラフィカルユーザーインターフェー
スに関し、ならびに、そのようなグラフィカルユーザーインターフェースを組み
込むデータ処理システムに関する。

【００１３】 本発明の態様が、単なる一例として、添付の図面を参照して記載される。

【００１４】 本発明の前記及び他の目的ならびに利点が、以下のそのさらなる記載から、添
付の図面を参照して、さらに十分に理解される。

【００１５】 好ましい態様の詳細な説明 ここに記載されるシステム及び方法が、ワードプロセッシングアプリケーショ
ンにより作成されるドキュメントのような、ソースアプリケーションの出力と結
び付けられたファイルタイプを同定してその出力の画像表示の表現を生成するの
によく適している態様であって、そしてその表現は、ハンドヘルド装置のような
特定のプラットフォームのために適合したレンダリングエンジンによりレンダリ
ングされる抽象的形態で与えられるものである態様を含む、幾つかの実例となる
適用及び態様を参照して記載される。しかし、ここに記載されたシステム及び方
法は、本発明のある態様の単なる例示であって、いずれかの手段に制限すること
として理解されるべきでない。

【００１６】 図１を参照すると、本発明による一つのシステム８が描かれる。特に、図１は
、システム８、複数の実行処理を有するデータプロセッサ１３、複数の出力ソー
スストリーム１０、及び出力表示２６を描く。データプロセッサ１３は、ＰＣワ
ークステーション又はサーバのような従来のデータ処理プラットフォームを含む
いずれか適当なデータ処理プラットフォームであることができる。データプロセ
ッサで実行する処理は、ディスプレイにレンダリングされるべき、又はされて良
い出力ソースを作成するいずれかのアプリケーションであって良い。例えば、描
かれた処理は、画像表示でページとして表される．ｄｏｃファイルを生成するワ
ードプロセッシングプログラムを含むことができる。同様に、処理１３は、ブラ
ウザによる表示のための、ＨＴＭＬ、ＸＭＬ、ストリーミィングマルチメディア
、又はＰＤＦファイルを引き渡すウェブサーバを含むことができる。描かれた出
力目標装置２６は、処理により引き渡されるソースのためのディスプレイとして
動作することのできるいずれか適当な装置であって良い。

【００１７】 したがって、図１は、本発明のシステム８が、形式の異なる出力ソースと同様
に、複数の異なるアプリケーションの出力ソースに結び付くことができることを
描く。システム８は、それぞれのソースの形式を同定することができ、そのソー
スをその形式のファンクションとして処理する。この処理されたソースは、目標
装置２６のディスプレイでの表示に適した形式で表されることができる。

【００１８】 図２は、図１のシステム８をより詳細に描く。特に、図２は、複数のアプリケ
ーションソース１０と、入力モジュール１１又は前部を含むシステム８と、処理
されるアプリケーションソース１０と結び付けられる視覚映像の内部表現を表す
表示リスト１４と、レンダリングモジュール１８と、ジェネリックオブジェクト
タイプのライブラリ１９を描く。

【００１９】 適応可能な前部１１は、複数のドキュメントエージェント１２を含む。それぞ
れのドキュメントエージェント１２は、アプリケーションソース１０と結び付け
られるユニックスストリーム（Ｕｎｉｘ ｓｔｒｅａｍ）又はジャバストリーム
（Ｊａｖａ ｓｔｒｅａｍ）のようなストリームを受け取ることができるソフト
ウェア又はハードウェアモジュールであることができる。ドキュメントエージェ
ント１２は、ストリームをソートして、エージェント１２がそのストリームの形
式を認識するかどうかを決定することができる。もし、その形式がそのエージェ
ント１２に属するとして認識されるなら、エージェント１２は入力ストリームを
十分に処理し始めることができる。出力ソースのこの処理は、ソースを解析して
、表示されるべき画像を表すソース内でトークンを同定することを含むことがで
きる。これらのトークンは、テスト、フォント、ビットマップ、及び他のそのよ
うな識別子を含むことができる。

【００２０】 描かれた態様では、前部１１は、複数の異なるドキュメントエージェントを含
み、それぞれが異なる形式の出力ソースと結び付けられる。複数のドキュメント
エージェントを提供することにより、そしてそれぞれのドキュメントエージェン
ト１２が、処理されるべき出力ソースを調べることを可能にすることにより、図
２のシステムは、複数のファイルの出力ソースを表示することができる多能性処
理エンジンになる。

【００２１】 ドキュメントエージェント１２が出力ストリームを処理すると、エージェント
１２は、出力ソースで表される視覚映像をコード化した新しいデータファイル、
表示リスト１４を作成する。この表示リスト１４は、視覚映像の内部表現からな
る。表示リスト１４は、表示リスト内の情報を処理して目標出力装置２６に視覚
映像を生成するレンダリングエンジン１８に渡される。このために、ドキュメン
トエージェント１２は、既知オブジェクトタイプのライブラリへのポインタのセ
ットを含むファイルを作成することにより、視覚映像の内部表現を作成する。レ
ンダリングエンジン１８が動作すると、既知オブジェクトタイプのライブラリ１
９が参照されて、そのオブジェクトが、目標出力装置２６に表示するためにライ
ブラリ１９から取り出される。

【００２２】 図１及び図２は、システム８を機能ブロック要素からなるとして図式的に描く
が、これらの要素は、目標装置２６のようなデータプロセッサのプラットフォー
ムで実行して、それにより本発明によるシステムとしてそのデータプロセッサを
構成できるコンピュータプログラム又はコンピュータプログラムの部分として実
現できることが当業者には明らかである。これらのプログラムは、Ｃ言語のコン
ピュータプログラムか、あるいはＣ＋＋、フォートラン（Ｆｏｒｔｒａｎ）、ジ
ャバ（Ｊａｖａ）、又はベーシック(Ｂａｓｉｃ）を含むいずれかの高レベル言
語かで記述されたコンピュータプログラムとして実行できる、ユニックスワーク
ステーションのような従来のデータ処理システムで動作するソフトウェア構成要
素として実現できる。加えて、マイクロコントローラ又はＤＳＰが用いられる態
様では、ここに記載されるシステムは、マイクロコードで記述されるか、あるい
は、高レベル言語で記述されそして用いられるプラットフォームで実行できるマ
イクロコードにコンパイルされるかするコンピュータプログラムとして実現でき
る。

【００２３】 図面の図３を参照すると、本発明を具体化したデジタルドキュメント処理シス
テム８及びその動作の方法が、より詳細に説明される。

【００２４】 通常、システム８は、既知形式のデータファイルからなるソースドキュメント
１０を処理する。システム８への入力は、ソースドキュメントのコンテンツを含
むバイトストリームである。入力モジュール１１は、ソースドキュメントのファ
イル形式を、例えば、ファイル名（特に、ファイル名の拡張子）からの又は特定
ファイルタイプのコンテンツの既知特徴からのドキュメント内の明示ファイルタ
イプの識別といった様々な基準のいずれか一つに基づき同定する。入力バイトス
トリームは、ソースドキュメントのファイル形式に特有の「ドキュメントエージ
ェント」１２への入力である。ドキュメントエージェント１２は、入力バイトス
トリームを解釈し、それをシステム８により用いられる標準的な形式に変換して
、システム８で処理するのに適した「固有の」形式のソースデータの内部表現１４
にするのに適合される。システム８は、通常複数の異なるドキュメントエージェ
ント１２を含み、それぞれが、対応する複数の所定ファイル形式の一つを処理す
るのに適合される。

【００２５】 システム８は、デジタルカメラ又はスキャナのような入力装置から受け取った
入力に適用されても良い。この場合、入力バイトストリームは、「ソースドキュ
メント」自体からよりもむしろ入力装置から直接もたらされて良い。しかし、入
力バイトストリームは、やはりこのシステムにより処理するのに適した予測可能
なデータ形式であり、本発明の目的のために、このような入力装置からの入力は
、「ソースドキュメント」とみなされて良い。

【００２６】 ドキュメントエージェント１２は、標準のオブジェクトのライブラリ１６を用
いて、ドキュメント内の様々なジェネリックオブジェクトの特定のインスタンス
の特性を定義するパラメーターと、タイプがライブラリ１６で定義されるような
ものであるジェネリックオブジェクトの集合とでソースドキュメントのコンテン
ツを記述する内部表現１４を生成する。内部表現は、そのシステムに固有のファ
イル形式で保存／格納されて良く、そしてシステム８へ入力可能なソースドキュ
メント１０の範囲は、システム固有のファイル形式でのドキュメントを含んで良
いことが理解される。内部表現１４は、必要であれば、適当な変換エージェント
（不図示）を用いて、いずれかの範囲の他のファイル形式に変換されることもで
きる。

【００２７】 内部表現１４で用いられるジェネリックオブジェクトは、典型的には、テキス
トと、（動画化されてもされなくても良く、あるいは２次元でも３次元でも良い
）ビットマップグラフィックス及びベクトルグラフィックスと、ビデオと、音声
と、ボタンやアイコンのような様々なタイプの対話式オブジェクトとを含む。通
常、ジェネリックオブジェクトの特定のインスタンスを定義するパラメーターは
、オブジェクトの物理的形状、サイズ、及び位置を決める次元座標と、（このシ
ステムが動的ドキュメント構造及び／又は表示機能を扱うことを可能にする）特
性が時間で変化するオブジェクトを規定するためのいずれか関連した時間的デー
タとを含む。パラメーターは、テキストのオブジェクトのために、通常、文字列
に適用されるべきフォント及びサイズも含む。オブジェクトのパラメーターは、
透明性のような他の特性を規定しても良い。

【００２８】 内部表現１４の形式は、オブジェクトのタイプ及びそのパラメーターにより記
述されるようなドキュメントの「構造」（あるいは「レイアウト」）を、様々な
オブジェクトの「コンテンツ」から切り離し、例えば、テキストオブジェクトの
文字列（コンテンツ）が、オブジェクトの次元のパラメーターから切り離され、
グラフィックオブジェクトの画像データ（コンテンツ）が、その次元のパラメー
ターから切り離される。これは、ドキュメント構造が非常に圧縮した手段で規定
されるのを可能にし、そして遠隔で格納されるために、また必要な時にのみシス
テムにより取り出されるためにコンテンツデータのためのオプションを提供する
。

【００２９】 内部表現１４は、「高レベルの」記述で、ドキュメント及びその構成オブジェ
クトを記述する。

【００３０】 内部表現データ１４は、内部表現１４により表されるドキュメントのコンテキ
スト特定表現２０又は「ビュー」を生成する解析及びレンダリングモジュール１
８への入力である。要求されるビューは、ドキュメント全体又はその一部（サブ
セット）であることができる。そのパーサ（ｐａｒｓｅｒ）／レンダラー（ｒｅ
ｎｄｅｒｅｒ）１８は、生成されるべき特定のドキュメントビューの表示コンテ
キストと、いずれか関連する時間的パラメーターとを規定するビュー制御入力４
０を受け取る。例えば、システムは、ドキュメントの一部をズームしたビューを
生成し、それからそのズームしたビューをドキュメントの隣接した部分を表示す
るためにパン又はスクロールすることを要求されて良い。このビュー制御入力４
０は、パーサ／レンダラー１８により解釈されて、内部表現のどの部分が特定の
ビューを要求されるのか、そしてどのように、いつ、どのくらいビューが表示さ
れるべきなのかを決める。

【００３１】 コンテキスト特有の表現／ビュー２０は、基本の形状及びパラメーターで表さ
れる。

【００３２】 パーサ／レンダラー１８は、ソースドキュメント１０の要求されたビュー２０
を生成する時に、内部表現１４の関連部分に追加の前処理機能を果たしても良い
。このビュー表現２０は、表示装置又はプリンタのような出力装置２６（又は複
数の出力装置）を動作するのに適した形式での最終出力２４を生成すべく最終処
理するための形状プロセッサモジュール２２への入力である。

【００３３】 パーサ／レンダラー１８の前処理機能は、色補正、解像度の調整／向上、なら
びにエイリアス除去を含むことができる。解像度の向上は、目標の出力装置によ
り表示又は再生される時の、オブジェクトのコンテンツの読みやすさを保つスケ
ーリング機能を含んで良い。解像度の調整は、コンテキスト依存であって良く、
例えば、特定のオブジェクトの表示解像度は、表示ドキュメントのビューがパン
又はスクロールされる間は減じられ、またドキュメントビューが静的である時は
上げられて良い。

【００３４】 例えば、内部表現により表されるドキュメント１０がマルチフレームの動画を
含むような場合に、内部表現１４のコンテンツの更新をトリガする目的で、レン
ダラー／パーサ１８と内部表現１４の間にフィードバック経路４２があって良い
。

【００３５】 パーサ／レンダラー１８からの出力表現２０は、「基本の」オブジェクトでド
キュメントを表す。それぞれのドキュメントオブジェクトのために、表現２０は
、少なくとも、物理的に長方形のバウンディングボックスと、そのバウンディン
グボックスにより境界をつけられたオブジェクトの実際の形状と、オブジェクト
のデータコンテンツと、その透明性とでオブジェクトを規定するのが好ましい。

【００３６】 形状プロセッサ２２は表現２０を解釈し、それを、例えば、プリンタのために
ドットマップ、プロッタのためにベクトル命令のセット、あるいは表示装置のた
めにビットマップといった、目標の出力装置２６に適切な出力のフレーム形式２
４に変換する。形状プロセッサ２２への出力制御の入力４４は、特定の出力装置
２６にとって適切な出力２４を生成すべく形状プロセッサ２２のために必要なパ
ラメータを決める。

【００３７】 形状プロセッサ２２は、「形状」（すなわち、オブジェクトのアウトラインの形
）、「塗り潰し」（オブジェクトのデータコンテンツ）、及び「アルファ」（オブジ
ェクトの透明性）でビュー表現２０により規定されるオブジェクトを完全に処理
し、そして指定のビュー及び出力装置に適切なスケーリング及びクリッピングを
行い、出力装置に適切なもので（典型的には、ほとんどのタイプの表示装置又は
プリンタのために、走査変換等によりピクセルで）オブジェクトを表す。

【００３８】 好ましくは、形状プロセッサ２２は、走査変換したピクセルでオブジェクトの
形状を決めるエッジバッファ（ｅｄｇｅ ｂｕｆｆｅｒ）を含み、好ましくは、
アウトライン形状にエイリアス除去を適用する。エイリアス除去は、出力装置２
６の特性により決められる手段で（すなわち、制御入力４４に基づいて）、オブ
ジェクトの境界を横切るグレースケールランプを適用することにより行われる。
このアプローチは、形状クリッピング処理及び形状交差処理に有効なメモリを可
能とする。

【００３９】 ルックアップテーブルが、多階調応答曲線を決めるのに用いられ、非線形のレ
ンダリング制御（ガンマ補正）を可能とする。

【００４０】 形状プロセッサ２２により処理される個々のオブジェクトが、合成出力フレー
ム２４で結合される。最終出力の質は、出力制御入力４４によって、ユーザーに
より制御されることもできる。

【００４１】 形状プロセッサ２２は、形状プロセッサパイプラインの複数のインスタンスを
用いることによる、複数のオブジェクト、複数のドキュメント、あるいは一つ以
上のドキュメントの複数サブセットの並行処理に適する多段パイプラインアーキ
テクチャを有する。このパイプラインアーキテクチャは、必要であれば追加の処
理機能（例えば、フィルタ機能）を設ける改変も容易にされる。複数の形状プロ
セッサ２２からの出力が、複数の出力フレーム２４を生成して良く、あるいは単
一の出力フレーム２４に結合されて良い。

【００４２】 このシステムアーキテクチャは、本質的にはモジュール方式である。例えば、
これは、追加のソースファイル形式を扱うのに、必要であるならその時には、さ
らなるドキュメントエージェントを追加できる。このモジュールのアーキテクチ
ャは、ライブラリ１６、パーサ／レンダラー１８、あるいは形状プロセッサ２２
のような個々のモジュールが、他のモジュールへの変更を必要としないで改変又
はアップグレードされることも可能にする。

【００４３】 概して、このシステムアーキテクチャは、一つ以上のドキュメントエージェン
ト１２、１２aによる、一つ以上のファイル形式の複数の入力ドキュメント１０
ａ、１０ｂ等又はドキュメントのサブセットの同時処理のための全部又は一部で
の並行処理にも適する。このシステムの統合されたモジュールの性質は、システ
ムモジュールの複数のインスタンスが、必要であるならその時に、利用可能な処
理及びメモリリソースによってのみ制限されてデータ処理システム又は装置内に
生じることを可能にする。

【００４４】 概してこのシステム及び特には形状プロセッサ２２により提供される柔軟性の
ある並行処理の能力は、所定装置のための表示パスが、利用可能なバンド幅及び
メモリのために最適化されるのを可能にする。表示の更新及び動画が改良され、
より速くなり、メモリをあまり必要としなくなる。用いられるオブジェクト／パ
ラメータードキュメントモデルは、決定的であり一貫性がある。このシステムは
、十分に拡大縮小可能であり、このシステムの複数のインスタンスが複数のＣＰ
Ｕにわたるのを可能にする。

【００４５】 パーサ／レンダラー１８及び形状プロセッサ２２は、利用可能なメモリ及びバ
ンド幅の利用を最適化する手段で、ビュー制御入力４０に応じて動的に相互作用
する。これは、特に、例えば表示がユーザーによりスクロールされ、あるいはパ
ンされる時といった画像表示を動作する時の再描画に適用する。

【００４６】 最初に、システムは、ドキュメントのビュー又はビュー内の一つ以上のオブジ
ェクトの解像度が表示が改変される手段により動的に変化するような、拡大縮小
可能遅延再描画モデルを実行する。先に記載したように、典型的には、これは、
画面上で動かされている間は低解像度で表示され、静止時は最大解像度で表示さ
れているオブジェクトを含む。このシステムは、この目的のために複数のレベル
の表示の質を用いることができる。典型的には、これは、ドキュメントオブジェ
クトの予め作成された低解像度のビットマップ表現、及び／又は補間あり又はな
しでの動的に作成され拡大縮小されるビットマップを含む。このアプローチは、
利用可能なメモリ／バンド幅を最大限に利用する高応答性の表示を提供する。

【００４７】 好ましくは、レンダラー／パーサ１８及び形状プロセッサ２２の相互作用は、
表示されるページをゾーンに分割することも含む。それぞれのゾーンは、それと
、そのゾーン内に含有された又は重複する全てのオブジェクトのリストを結び付
けている。その後、再描画は、ゾーンに基づき処理され、したがって、このシス
テムは、再描画により影響される関連のゾーンと結び付けられたオブジェクトの
処理のみを必要とする。このアプローチは、並行処理を容易にし、効率を向上し
、冗長を減じる。ゾーンのこの利用は、（例えば、並んだ別々の表示画面による
表示のために合成／モザイク出力を生成するために）異なる表示装置のための異
なる出力を生成するためにこのシステムの利用を容易にする。

【００４８】 透過的なオブジェクトを処理する能力は、このシステムの重要な特徴である。
しかし、これは、最終出力フレームを作成するために、形状プロセッサ２２で画
面外バッファリングの利用を必要とする。典型的には、画面外バッファリングは
、即時の表示領域よりも広い領域をカバーし、バッファ領域内である程度制限の
あるパニング／スクローリングを可能としているが、全体のバッファは、所望の
表示がこれらの制限の外に動く時には再びセンタリングされ、再作成される必要
がある。好ましくは、このシステムは、順序付リストで索引を付けられたタイル
の配列としてバッファコンテンツを定義することにより、そのようなバッファリ
ング処理の効率を向上させる。所望の表示ビューが、バッファ領域の外に動く時
には、もはや必要とされないこれらのタイルを捨て、表示の新しい領域をカバー
するために新しいタイルを作成し、タイルリストを更新することが必要とされる
のみである。これは、従来のバッファリング処理よりも速く、より効率的であり
、複数のバッファリング及び画面外キャッシングの利用を容易にする。それは、
（例えば、現在の再描画が中断され、新しい再描画がユーザー入力に応答して初
期化されるように）解釈可能再描画機能も円滑にする。

【００４９】 以上に記載したゾーンの及びタイルの技法は、原理的に独立であるが、都合で
結合されて良く、すなわち、ゾーンが一以上のタイルに対応して良い。これは、
並行処理を円滑にもし、システムリソースの利用も最適化する。

【００５０】 このシステムは、ＣＩＥ Ｌ^★ａ^★ｂ １９７６モデルのようなルミナンス／
クロミナンスモデルに適した装置独立の色モデルを用いるのが好ましい。これは
、グラフィックのオブジェクトの冗長を減じ、データの圧縮性を向上し、異なる
出力装置間での色出力の一貫性を改善する。装置依存の色補正は、形状プロセッ
サ２２への装置独立の制御入力４４に基づき適用できる。

【００５１】 図２は、ソースバイトストリームが受け取られる入力末端と、最終出力フレー
ム２４がシステムからの出力である出力末端とを有するシステムを示す。しかし
、システムは、例えば、データコンテンツを取り出すため、又は処理の最中に生
成されたデータを保存／変換するためといった他の中間ステージでの中間の入力
及び出力を含んで良いことが理解される。

【００５２】 システム８は、多くの異なる手段で、様々なタイプのデータ処理システム及び
装置に、また周辺装置に組み込まれて良い。

【００５３】 通常の目的のデータ処理システム（「ホストシステム」）では、本発明のシステ
ムは、ホストシステムのオペレーティングシステム及びアプリケーションといっ
しょに組み込まれて良く、あるいは全体的又は部分的にホストオペレーティング
システムに組み込まれて良い。

【００５４】 例えば、本発明のシステムは、ブラウザ又はアプリケーションプログラムの利
用を必要としないで、ＬＣＤディスプレイを有する携帯用データ処理装置上で様
々なタイプのデータファイルの即時の表示を可能にする。この種のデータ処理装
置は、携帯性のために小型で、低電力のプロセッサを必要とする。典型的には、
これは、エレクトロニクスパッケージができるだけ小さく高集積化されるように
、エイシック（ＡＳＩＣ）（特定用途向け集積回路、ａｐｐｌｉｃａｔｉｏｎ
ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｕｉｒｃｉｔ）に設計された新型
のＲＩＳＣタイプのコアプロセッサを用いる必要がある。また、このタイプの装
置は、制限のあるランダムアクセスメモリを有し、典型的には、非揮発性データ
記憶装置（例えば、ハードディスク）を有しない。

【００５５】 標準のデスクトップ計算機システム（ＰＣ）に用いられるような従来のオペレ
ーティングシステムモデルは、デジタルドキュメントを処理しまた有用な出力を
生成するのに高出力の中央演算処理装置と大量のメモリを必要とし、このタイプ
のデータ処理装置には全く相応しくない。特に、従来のシステムは、統合された
手段で、複数のファイル形式の処理を提供しない。反対に、本発明は、全てのフ
ァイル形式のために共通の処理及びパイプラインを利用し、これにより、消費電
力量及びシステムのリソースの用法に関して優れた効果がある高集積のドキュメ
ント処理システムを提供する。

【００５６】 本発明のシステムは、従来のシステムモデルより少ないオーバーヘッドでのド
キュメント処理及び出力を可能にするために携帯用データ処理装置のバイオス（
ＢＩＯＳ）レベルで集積されて良い。代わりに、本発明は、トランスポートプロ
トコルスタックのすぐ上の最も低いシステムレベルで実行されて良い。例えば、
このシステムは、（例えば、ＴＣＰ／ＩＰシステムのパケットレベルで作業する
）ネットワークトラフィックのインライン処理を提供するために、ネットワーク
デバイス（カード）又はシステムに組み込まれて良い。

【００５７】 特定の装置では、本発明のシステムは、所定セットのデータファイル形式と、
例えば、装置の映像表示部及び／又は少なくとも一つのタイプのプリンタといっ
た所定の出力装置とで動作すべく構成される。

【００５８】 本システムを用いて良い携帯用データ処理装置の例には、「パルムトップ（ｐ
ａｌｍｔｏｐ）」コンピューター、携帯用デジタル補助装置（ＰＤＡ、主要なユ
ーザーインターフェースが、スタイラス装置により直接ユーザーが対話するグラ
フィック表示を含むタブレットタイプのＰＤＡを含む）、インターネット可能な
携帯電話、及び他の通信装置等が含まれる。

【００５９】 このシステムは、例えば拡張された電話及び「シン」ネットワーククライアン
ト端末（例えば、制限のある構内処理及び格納リソースのネットワーク端末）と
いった低費用のデータ処理端末と、対話式／インターネット可能ケーブルＴＶシ
ステムでの利用のための「セットトップボックス」とに組み込まれても良い。

【００６０】 本発明のシステムは、データ処理システムのオペレーティングシステムと統合
されると、オペレーティングシステム（ＯＳ）のために新しいグラフィカルユー
ザーインターフェース（ＧＵＩ）の基礎を形成しても良い。このシステムにより
処理されそして表示されるドキュメントは、オペレーティングシステムの基礎を
なす機能にユーザーインターフェースを提供するメニュー、ボタン、アイコン等
のような対話型の特徴を含むことができる。拡張により、完全なＯＳ／ＧＵＩが
、システムの「ドキュメント」で表現され、処理され、そして表示されることが
できる。ＯＳ／ＧＵＩは、複数の「チャプター（ｃｈａｐｔｅｒ）」を有する単
一のドキュメントからなることができる。

【００６１】 このシステムは、制限されないが以下に含まれる様々な新しい及び／又は向上
したＧＵＩの特徴を可能及び／又は容易にする。

【００６２】 − ナビゲーションの目的のため、及びユーザーの動作（履歴）を記録するため
のドキュメントのサムネイル画像の利用；例えば、ネットワークコンテンツをブ
ラウズしている時の。 − ポインティング装置及び／又はタッチスクリーン技術を用いたドキュメント
の対話機能及びジェスチャベースの命令；例えば、 ページをめくるためにページを横切ってポインタをドラッグし（「ページめく
り」）、ページの角をめくりかえして、次のページの基礎をなす部分を見るため
にポインタをドラッグする（「ページカール」）といった、有形のドキュメント
又は本で用いられる動作に類似したジェスチャによりドキュメントの対話を可能
にすること、 ツールをドラッグすることによりツールバーからのツールの選択を可能にし、
そして表示の所定部分にツールをドラッグすることにより選択解除を可能にする
こと、 「ＯＫ」、「削除」、及び「選択」のために「クリック」、「バツ印」、及び「円」の動
作といった、特定のＯＳ命令を示すための記号的なカーソル動作、及び 従来の「プルーフリーダー」の注釈に基づいた命令を編集すること。 − 回転又は風景画書式及び肖像画書式の間で切り替わることによりドキュメン
トのビューをリフォーマットすること。 − ユーティリティ及びツール；例えば、 基礎をなすドキュメントの範囲を拡大し、そしてその拡大したビューはドキュ
メントのビットマップ表現にというよりもむしろソースドキュメントの内部表現
１４に基づくものであり、かつ背景及び／又は前景の色といったドキュメントの
パラメーターを改変できる浮遊した仮想の「拡大鏡」、 ポインティング装置／タッチスクリーンを用いるテキスト入力のための浮遊した
仮想の半透明キーボード、及び 様々なユーザーの選択可能なユニットのいずれかを用いて繰り返し拡大縮小可
能である浮遊した仮想の半透明ルーラ。 − 代わりのメニュー又は「タブページ」のドラッグアウト／プルダウン機能。 − ページのスクローリング／パニング機能に適用された物理的な慣性／運動量
のシミュレーション（例えば、ページのズームされた表示が、表示をスクロール
するためにドラッグされ、そして放される時に、その動いている表示は、放され
た後で徐々に減速する）。

【００６３】 このタイプのＧＵＩの特徴は、新しい又は向上した機能性を提供し、及び／又
はユーザーインターフェースの主観的な質を改善する。

【００６４】 本発明のシステムは、例えば、ハードコピー装置（プリンタ及びプロッタ）と
、表示装置（例えば、デジタルプロジェクタ）と、ネットワーキング装置と、入
力装置（カメラ、スキャナ等）と、また多機能周辺装置（ＭＦＰ）といったよう
な周辺装置に組み込まれても良い。

【００６５】 システムは、プリンタに組み込まれると、そのプリンタが、ホストシステムに
より提供される特定のアプリケーション又はドライバを必要とせずに、生データ
ファイルをホストデータ処理システムから受け取り、そして元のデータファイル
のコンテンツを正確に再現することを可能にする。これは、特定のタイプのプリ
ンタを動作するのにコンピューターシステムを構成する必要を避ける。本システ
ムは、プリンタによる出力に適したソースドキュメントのドットマップの画像を
直接生成する（これは、システムがプリンタ自体に組み込まれるか、ホストシス
テムに組み込まれるかによる）。同様の検討が、プロッタのような他のハードコ
ピー装置にあてはまる。

【００６６】 このシステムは、プロジェクタのような表示装置に組み込まれると、デバイス
が、ホストシステムのアプリケーション又はドライバを利用せずに、そしてホス
トシステム及び／又は表示装置の特定の構成を必要とせずに正確に元のデータフ
ァイルのコンテンツを表示することも可能にする。これらのタイプの周辺装置が
、本システムを備えると、いずれかのタイプのデータ通信ネットワークを経由し
て、いずれかのソースからデータファイルを受け取り、そして出力することが可
能になる。

【００６７】 前記のものから、本発明のシステムは、例えば、ロム（ＲＯＭ）で実行され、
及び／又はエイシック（ＡＩＳＣ）か他のシングルチップシステムかに集積され
るといったように「ハードワイヤード」されて良く、あるいはファームウェア（フ
ラッシュ性イーピーロム（ｅＰＲＯＭ）のようにプログラム可能ロム（ＲＯＭ）
）として、又は、構内又は遠隔で格納され、特定の装置により要求されると取り
出されそして実行されるソフトウェアとして実行されて良いことが理解される。

【００６８】 改良及び改変が、本発明の範囲から外れないで組み込まれて良い。

【図面の簡単な説明】

【図１】 本発明によるデジタルドキュメント処理システムのある態様を説明する機能ブ
ロック線図である。

【図２】 本発明のシステムをより詳細に示す機能ブロック線図である。

【図３】 本発明によるデジタルドキュメント処理システムのある態様をさらに説明する
機能ブロック線図である。

【符号の説明】

８…システム、 １０…ソースドキュメント、 １１…入力モジュール、 １
２…ドキュメントエージェント、 １３…データプロセッサ、 １４…表示リス
ト、内部表現、 １６、１９…ライブラリ、 １８…パーサ／レンダラー、 ２
０…ビュー、 ２２…形状プロセッサ、 ２４…最終出力、 ２６…出力表示、
４０…ビュー制御入力、 ４２…フィードバック経路、 ４４…出力制御入力
。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ，ＴＲ)，ＯＡ(ＢＦ ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ， ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，Ｇ Ｍ，ＫＥ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ， ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＧ，ＡＬ，ＡＭ， ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，Ｂ Ｚ，ＣＡ，ＣＨ，ＣＮ，ＣＯ，ＣＲ，ＣＵ，ＣＺ，ＤＥ ，ＤＫ，ＤＭ，ＤＺ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ， ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，Ｉ Ｓ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＡ，ＭＤ，ＭＧ， ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＭＺ，ＮＯ，ＮＺ，ＰＬ，Ｐ Ｔ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ，ＵＳ， ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ

Claims (36)

【特許請求の範囲】
1. 【請求項１】 デジタルドキュメント処理システムであって、 複数の所定データ形式の一つでソースデータを表す入力バイトストリームを受
   け取るための手段と、 前記バイトストリームを解釈するための解釈手段と、 前記バイトストリームからの解釈されたコンテンツを、内部表現データ形式に
   変換するための変換手段と、 前記内部表現データを、出力装置を動作するのに適合した出力表現データを生
   成するように処理するための手段 を含むデジタルドキュメント処理システム。
2. 【請求項２】 デジタルドキュメント処理システムであって、 複数の所定データ形式の一つでソースデータを表し、かつ視覚映像を表す情報
   を含む入力ストリームを受け取るための適応可能な前部と、 前記入力ストリームを解釈して、前記視覚映像の内部表現を生成するための解
   釈モジュールと、 前記内部表現を処理するためで、かつ視覚映像を与えるべく出力装置を動作す
   るのに適した出力データストリームを生成するためのレンダリングエンジン を含むデジタルドキュメント処理システム。
3. 【請求項３】 前記適応可能な前部が、データストリームをモニターするため
   で、かつ、ＨＴＭＬ、ＸＭＬ、ＰＤＦ、ＤＯＣ、ＲＭ、ＶＲＭＬ、及びＳＧＭＬ
   からなるセットからのいずれかの形式のファイルを同定するための処理を含むこ
   とを特徴とする請求項２に記載のシステム。
4. 【請求項４】 前記ソースデータが、デジタルドキュメントのコンテンツ及び
   構造を決め、前記内部表現データが、前記コンテンツとは別に、複数のデータタ
   イプを定義するジェネリックオブジェクトと、ジェネリックオブジェクトの特定
   のインスタンスの特性を定義するパラメーターとで前記構造を記述することを特
   徴とする請求項１乃至請求項３のいずれかに記載のシステム。
5. 【請求項５】 さらに、ジェネリックオブジェクトのタイプのライブラリを含
   み、前記内部表現データは前記ライブラリのコンテンツに基づくものである請求
   項４に記載のシステム。
6. 【請求項６】 解析及びレンダリングモジュールへの最初の制御入力に基づき
   、前記内部表現の少なくとも一部の特定ビューのオブジェクト及びパラメーター
   ベース表現を生成するのに適合した解析及びレンダリングモジュールを含む請求
   項４又は請求項５に記載のシステム。
7. 【請求項７】 さらに、前記解析及びレンダリングモジュールから、前記特定
   ビューの前記オブジェクト及びパラメーターベース表現を受け取ること、及び前
   記オブジェクト及びパラメータベース表現を、特定の出力装置を動作するのに適
   した出力データ形式に変換することに適合した形状処理モジュールを含む請求項
   ６に記載のシステム。
8. 【請求項８】 前記形状処理モジュールが、オブジェクトの境界を決めるバウ
   ンディングボックス、及びバウンディングボックスにより境界をつけられたオブ
   ジェクトの実際の形状と、オブジェクトのデータコンテンツと、オブジェクトの
   透明性とで規定する形状に基づいて前記オブジェクトを処理することを特徴とす
   る請求項７に記載のシステム。
9. 【請求項９】 前記形状プロセッサが、前記オブジェクトのエッジにグレース
   ケールのエイリアス除去を適用するのに適合されることを特徴とする請求項８に
   記載のシステム。
10. 【請求項１０】 前記形状処理モジュールが、パイプラインアーキテクチャを
    有することを特徴とする請求項７、請求項８、又は請求項９に記載のシステム。
11. 【請求項１１】 前記形状プロセッサが、少なくとも一つの画面外表示バッフ
    ァを用いて前記出力データを生成し、前記少なくとも一つの画面外表示バッファ
    が、タイルの索引付き配列により決められることを特徴とする請求項７乃至請求
    項１０のいずれか１項に記載のシステム。
12. 【請求項１２】 前記少なくとも一つの画面外表示バッファのコンテンツの更
    新は、選択されたタイルを前記配列から除去し、前記配列に新しいタイルを加え
    、そして前記タイルの索引を更新することにより行われることを特徴とする請求
    項１１に記載のシステム。
13. 【請求項１３】 前記解析及びレンダリングモジュールが、複数のゾーンで前
    記内部表データの少なくとも一部を決めるのに適合され、それぞれのゾーンは、
    前記ゾーン内に含まれ又は重複するオブジェクトの結び付けられるリストを有し
    、そして、前記形状プロセッサが、前記ゾーン及び結び付けられるリストに基づ
    き前記オブジェクト及びパラメーターベース表現を処理するのに適合されること
    を特徴とする請求項７乃至請求項１２のいずれか１項に記載のシステム。
14. 【請求項１４】 前記出力データにより表される表示ビューの質は、前記最初
    の制御入力により変えられることを特徴とする請求項７乃至請求項１３のいずれ
    か１項に記載のシステム。
15. 【請求項１５】 前記表示ビューの質は、複数のステップで変えられることを
    特徴とする請求項１４に記載の方法。
16. 【請求項１６】 前記オブジェクトのパラメーターは、次元的、物理的、及び
    時間的パラメーターを含むことを特徴とする請求項４乃至請求項１４のいずれか
    １項に記載のシステム。
17. 【請求項１７】 前記システムが、色データを記述するのに、クロミナンス／
    ルミナンスベースの色モデルを用いることを特徴とする前記いずれかの請求項に
    記載のシステム。
18. 【請求項１８】 前記システムが、一以上のデータソースからの一以上のセッ
    トのソースデータを処理するためで、かつ一以上のセットの出力表現データを生
    成するために、全部又は一部でのデータの複数の並行の実行に適合されることを
    特徴とする前記いずれかの請求項に記載のシステム。
19. 【請求項１９】 ユーザーインターフェースで用いられる対話式の画像表示が
    、請求項１乃至請求項１８のいずれか１項に記載のデジタルドキュメント処理シ
    ステムにより生成されるデータ処理システムのためのグラフィカルユーザーイン
    ターフェース。
20. 【請求項２０】 請求項１９に記載のグラフィカルユーザーインターフェース
    を組み込むデータ処理装置。
21. 【請求項２１】 請求項１乃至請求項１８のいずれか１項に記載のデジタルド
    キュメント処理システムをコード化するデータ処理及び／又は格納のためのハー
    ドウェア装置。
22. 【請求項２２】 さらに、コアプロセッサシステムを含む請求項２１に記載の
    ハードウェア装置。
23. 【請求項２３】 前記コアプロセッサが、ＲＩＳＣプロセッサであることを特
    徴とする請求項２２に記載のハードウェア装置。
24. 【請求項２４】 請求項１乃至請求項１８のいずれか１項に記載のデジタルド
    キュメント処理システムを含むデータ処理システム。
25. 【請求項２５】 前記データ処理システムが、携帯用データ処理装置からなる
    ことを特徴とする請求項２４に記載のデータ処理システム。
26. 【請求項２６】 前記携帯用データ処理装置が、ワイヤレス電気通信装置から
    なることを特徴とする請求項２５に記載のデータ処理システム。
27. 【請求項２７】 前記データ処理システムが、ネットワークのユーザー端末か
    らなることを特徴とする請求項２４に記載のデータ処理システム。
28. 【請求項２８】 請求項１乃至請求項１８のいずれか１項に記載のデジタルド
    キュメント処理システムを含む、データ処理システムと共に用いるための周辺装
    置。
29. 【請求項２９】 前記周辺装置が、画像表示装置であることを特徴とする請求
    項２８に記載の周辺装置。
30. 【請求項３０】 前記周辺装置が、ハードコピー出力装置であることを特徴と
    する請求項２８に記載の周辺装置。
31. 【請求項３１】 前記周辺装置が、入力装置であることを特徴とする請求項２
    ８に記載の周辺装置。
32. 【請求項３２】 前記周辺装置が、ネットワーク装置であることを特徴とする
    請求項２８に記載の周辺装置。
33. 【請求項３３】 前記周辺装置が、多機能周辺装置であることを特徴とする請
    求項２８に記載の周辺装置。
34. 【請求項３４】 データ処理システムのためのグラフィカルユーザーインター
    フェースであって、 ナビゲーションの目的のため、及びユーザーの動作を記録するためのドキュメ
    ントのサムネイル画像の利用と、 有形のドキュメント又は本で用いられる動作に類似したジェスチャによるドキ
    ュメントの対話を含む、ポインティング装置及び／又はタッチスクリーン技術を
    用いたドキュメントの対話機能及びジェスチャベースの命令と、 ツールをドラッグすることによるツールバーからのツールの選択、及び表示の
    所定部分にツールをドラッグすることによる選択解除と、 命令を示すための記号的なカーソル動作と、 回転又は風景画書式及び肖像画書式の間で切り替わることによりドキュメント
    のビューをリフォーマットすること、 代わりのメニュー又は「タブページ」のドラッグアウト／プルダウン機能と、 ページのスクローリング／パニング機能に適用された、シミュレートされた物
    理的な慣性／運動量と の特徴の少なくとも一つを含むデータ処理システムのためのグラフィカルユー
    ザーインターフェース。
35. 【請求項３５】 データ処理システムのためのグラフィカルユーザーインター
    フェースであって、 基礎をなすドキュメントの範囲を拡大するのに適合され、そしてその拡大した
    ビューはソースドキュメントデータに基づくものである浮遊した仮想の拡大鏡と
    、 ポインティング装置／タッチスクリーンを用いるテキスト入力のための浮遊し
    た仮想の半透明キーボードと、 様々なユーザーの選択可能なユニットのいずれかを用いて繰り返し拡大縮小可
    能である浮遊した仮想の半透明ルーラと のユーティリティ／ツールの少なくとも一つを含む、データ処理システムのた
    めのグラフィカルユーザーインターフェース。
36. 【請求項３６】 請求項３４又は請求項３５に記載のグラフィカルユーザーイ
    ンターフェースを組み込むデータ処理システム。