JP3697276B2 - 画像ディスプレイ方法及び画像ディスプレイ装置並びに画像スケーリング方法 - Google Patents
画像ディスプレイ方法及び画像ディスプレイ装置並びに画像スケーリング方法 Download PDFInfo
- Publication number
- JP3697276B2 JP3697276B2 JP25221594A JP25221594A JP3697276B2 JP 3697276 B2 JP3697276 B2 JP 3697276B2 JP 25221594 A JP25221594 A JP 25221594A JP 25221594 A JP25221594 A JP 25221594A JP 3697276 B2 JP3697276 B2 JP 3697276B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- panel
- focus
- corner
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 16
- 230000009466 transformation Effects 0.000 claims description 15
- 238000009877 rendering Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000000844 transformation Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 239000000872 buffer Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 239000007787 solid Substances 0.000 description 4
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000010008 shearing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- NLYAJNPCOHFWQQ-UHFFFAOYSA-N kaolin Chemical compound O.O.O=[Al]O[Si](=O)O[Si](=O)O[Al]=O NLYAJNPCOHFWQQ-UHFFFAOYSA-N 0.000 description 1
- 239000012925 reference material Substances 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G06T3/053—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
Description
【０００１】
【産業上の利用分野】
本発明は情報の視覚的ディスプレイの分野に係り、特にディテール（細部）やコンテクスト情報を全体的にロスしないでディスプレイ装置へ充分な解像度でディスプレイされることが不可能な画像表現の問題を解決する。
【０００２】
【従来の技術】
画像は、情報の視覚的ディスプレイであるか又は情報の視覚ディスプレイとなることの論理的表現である。一つのタイプの画像はテキスト画像である。テキスト画像の情報内容は画像のテキスト内にあるが、画像内のテキストの配置内にもある。ビュアー（見る人）にとって有用な画像では、情報内容がビュアーへ伝えられ得るように、ディスプレイ装置にディスプレイされなければならない。その全体画像が画像の充分な解像度でディスプレイ装置にディスプレイされ得るならば、情報は全く損失されない。しかしながら、細部（ディテール）を見えるようにする最小解像度で画像の一部のみを示すか又は画像のグローバル（大域）パターンを示すが細部を損失してしまうような解像度で全体画像を示すかの一方を選択しなければならない場合に情報はしばしば損失される。テキスト画像内で細部を大きく損失するとテキストが読解不可能になる。
【０００３】
ディスプレイの解像度の限界はディスプレイの繊細さ又は繊細な特徴を見るビュアーの能力に依存する。例えば、二つの線が画素表示されるディスプレイ装置上で二つの線へ解像されることができない場合、これらの線は一本の線として現れる。これらの線のマージャー（合併）は、ディスプレイがこれらの二つの線に対して分離した画素を使用できないこと又はビュアーがこれら二つの線の分離した画素を見ることができないことのいづれかによって生じ得る。
【０００４】
画素表示されたコンピュータモニタのようなディスプレイシステムにディスプレイされようとする時、画像は、通常、理想的なディスプレイが与えられると、それらの全体にわたってディスプレイ可能であるかもしれないディスプレイシステムが解釈可能な形態でオブジェクトの集合としてディジタルコンピュータ内に記憶される。この定義によって記憶された形態の画像又は「全（フル）」画像はその情報内容の全てを含む。記憶された形態の例は、（ローエンド描画プログラム又は写真編集システムにおけるような）ビットマップ、（ＣＡＤシステムにおけるように）オブジェクト特性と位置を提供するオブジェクトリストファイル、ベクトル画像ファイル、又は文字とフォーマッティングコードの形態におけるテキストである。
【０００５】
画像内の情報の損失は、画像が全画像の全ての情報をディスプレイすることができないディスプレイ上にディスプレイされようとする時に発生する。例えば、ビットマップがディスプレイ上で使用可能な画素より多くの画素を有する場合、ディスプレイは画像を表示することができず、従って、より低い解像度のビットマップ又はビットマップの一部の画像のような代替画像のみがディスプレイされ得るにすぎない。全画像がディスプレイされることができない時、ディスプレイされるものは、本明細書中において「代替（substitute）」画像と呼ばれる。
【０００６】
全画像から特定のディスプレイ装置に対して代替画像を発生するための幾つかのシステムが提供されてきた。このようなシステムの一つにおいて、代替画像は全画像の（全てより少ない）一部への「ウィンドウ」であり且つこのシステムはそのウィンドウを全画像を「端から端まで（over）」移動する手段をビュアーに提供する。大部分のワードプロセッサはこのシステムを使用する。あるワードプロセッサにおいて、一般的な全画像とは、あまりにも長すぎるのでディスプレイスクリーンへその全体がディスプレイできない文書である。ワードプロセッサによって提供される代替画像は一般に２５行ぐらいの文書へのウィンドウであり、且つそのウィンドウは「ページダウン（前頁）」、「ページアップ（次頁）」、「ラインダウン（次行）」その他のようなコマンドによって文書全体に対して移動する。
【０００７】
いくつかのワードプロセッサも「ページビュー」モードを含み、このモードはテキストがテキスト文書全頁にどのように現れるかを示す。単一ページ文書の場合でさえ、テキストの文字はディスプレイ装置が従来のコンピュータモニタである場合は識別できない。当然、ディスプレイデバイスが高解像度のプリンタである場合、１ページ文書の画像は完全にディスプレイされ得るが、プリンタでも多数ページの文書画像を完全に詳細にはディスプレイすることができない。
【０００８】
他のタイプの代替画像は分割画像であり、ディスプレイされた代替画像のある部分は全画像のグローバルであるがあまり詳細でないビューを示し且つディスプレイされた代替画像の他の部分は必要な細部において全画像の副領域の細部のサブ画像を示す。詳細なサブ画像がグローバルコンテクストから切離されるのでこのアプローチはあまり歓迎されない。結果的にビュアーは、提供される情報の細部とコンテクストの両方を観察するためにグローバル画像と詳細な画像の間を前方及び後方に飛越さなけれがならなくなる。ワードプロセッサの上記の例において、分割画像は語句を読み取ったり且つそれが全画像のどこにあるかを見る能力を文書のビュアーへ全く提供しない。
【０００９】
他の分割スクリーンアプローチは、対象となるサブ画像の細部をビューするために拡大鏡（物理的なもの又は電子的に実行されるもの）によって部分的に拡大されたグローバル画像である代替画像を使用する。これは、グローバル画像と詳細なサブ画像の関係が失われるので、前出の分割スクリーンの例と同じ問題を抱えることになる。さらに、拡大鏡を用いると、拡大された詳細なサブ画像において表示されるよりも多くのグローバル画像が不明瞭になる。
【００１０】
この拡大鏡の問題を図１に示す。図１は、文書画像１０の三つのビューを示す。この実施例に使用されている全画像１０はあらゆる実践的なアプリケーショに対して実際にディスプレイ可能であるが、全画像はあまりにも多くのテキストを含んでいるのでそのディスプレイフレーム内にディスプレイすることができない。
【００１１】
図１の（ｂ）は拡大鏡１２によって得られた、画像１０の領域１３の詳細な画像１４への拡大の影響を示す。領域１３の拡大の結果として、画像１０の他の領域は不明瞭とされ、且つ詳細な画像１４のコンテクストは領域１３と画像１０の不連続性によって損失される。この不連続性は拡大鏡１２のエッジで発生することに注目されたい。
【００１２】
コンテクストの不明瞭化及び損失は物理的な拡大鏡と論理的な拡大鏡の両方によって発生し、且つその原因は図１の（ｃ）に示す。図１の（ｃ）は、拡大鏡１２を介した視点１６から領域１３へのビューを示す。拡大鏡１２は事実上、領域１３を視点１６へより接近させるので、前進した領域が境界を作る立体角がより大きくなり且つ画像１０内の不明瞭な領域１８の境界に対応する。
【００１３】
米国特許第4,790,028 号は「可変的に拡大縮小された(variably-scaled) 」ディスプレイを用いることによってグローバル画像を不明瞭にする拡大された領域の問題を解決するための一つの試行を開示している。このようなディスプレイにおいて、対象となる領域の座標が拡大される一方で対象の領域のすぐ外側の領域の座標が対応して圧縮されるように画像は歪められる。つまり画像の圧縮部分とその残りの部分が情報を損失しながらディスプレイされ且つその損失部分は圧縮された領域でより大きくなる。しかしながら、このアプローチは計算上実用的でなく、これによってビュアーの拡大及び移動の要求に対する応答時間が遅延することになる。このディスプレイは、余りにも歪みが大きすぎて対象の領域内だけでなく周辺の領域においても読み取ることができなくテキスト画像にも不向きである。さらに、このようなシステムは、圧縮が詳細な画像近隣の低圧縮部分からより大きな周辺領域のより高い高圧縮部分へ徐々に変化していく場合には保存されてもよいコンテクスト情報を考慮に入れていない。
【００１４】
【発明が解決しようとする課題】
上記から、細部の拡大とその細部の画像内におけるコンテクスト（脈絡、関係）保存の両方が必要とされる画像をディスプレイ装置に収めるための改良されたシステムが提供されることが理解される。
【００１５】
本発明は改良された画像ディスプレイシステムを提供する。
【００１６】
【課題を解決するための手段】
本発明の一つの実施例において、代替画像は全画像をセンター（又はフォーカス）パネルによって定義される複数のパネルへ分割することによって発生される。特定の実施例において、全画像は境界矩形によって境界付けされ、フォーカス（焦点合わせ）パネルはこの境界矩形のサイドに平行なサイドを有する矩形であり、且つフォーカスパネルはこのフォーカスパネルのエッジの全画像のエッジへの延長によって８つの他のパネルを定義する。これらの８つのパネルの内、４つはフォーカスパネルの４つの側に隣接するサイドパネルであり、他の４つはコーナーがフォーカスパネルのコーナーと接触しており、且つ各々が二つのサイドパネルに隣接している。この代替画像は、それがシートが９つのパネルをカバーする３次元空間においてそのシート上へマッピングされる画像の３次元透視ビュー（視界）であるので「透視シート」と呼ばれる。
【００１７】
全画像をディスプレイ装置のディスプレイ面へディスプレイすることが不可能な時、透視シートが代替画像として発生されるのは、３次元（”３Ｄ”）空間内の平面上に全画像を配し、視点（viewpoint ）と３次元空間でディスプレイ平面を表示する視平面（view plane）を配置し、サイドパネルをこの視点から離れるように折り曲げ、これによりこれらのサイドパネルが視点及び視平面上のディスプレイ面によって定義されるビュー（視界）の中へ収められ、コーナーパネルのエッジを折り曲げ、回転させ、且つ剪断することによってそれらの隣接するサイドパネルのエッジとマッチング（整合）させ、次いでこのようにして形成されて得られた折られた３次元面の３次元透視投射をディスプレイ面上にディスプレイすることによって行われる。定義的なこととしては、パネルが「折り曲げられた」時、パネルは３次元空間において目視面に平行な回転軸の回りを回転し、且つパネルが「回転した」時、パネルは３次元空間において目視面に垂直な回転の軸の回りを回転することである。本明細書中に記述された実施例において、サイドパネルはフォーカスパネルに隣接するこれらのサイドパネルのエッジに沿って折り曲げられるが、コーナーパネルは隣接するサイドパネルの折り曲げから作られる角度をとるように剪断（切断）され且つフォーカスパネルと共通である頂点の回りを回転される。この回転は、コーナーパネルが折り曲げられた時、二つの先に折り曲げられたサイドパネルと同一平面であったコーナーパネルのエッジが再びこれらのエッジと同一平面となるように行われる。
【００１８】
対向するサイドパネル（上下、左右）は３次元空間において自然なビューイングのために同じ角度だけ離れるように折られるのが好ましいが、これは必要とはされない。これらのサイドパネルはディスプレイ面の境界内に収まるように充分に深く折られるか、固定角度で折られるか、又はビュアーが指定する角度で折られるかのいづれかである。コーナーパネルは３次元空間内では自然に折られているように見える。
【００１９】
一般に、自然なビューイング及び計算の簡単化のために、このフォーカスパネルは視平面に平行な平面内にある。特定の実施例において、視点はフォーカスパネルに対して中心に置かれたままであり、そこでフォーカスパネルが全画像の端から端まで移動する時、代替画像は固定されたフォーカスパネルの下で回転しているように見える。当然、フォーカスパネルに相対して視点を移動することを準備することも可能である。サイド及びコーナーのパネルは３次元空間における視点から離れるように折り曲げられるので、これらのパネルは、それらが平らであった時よりも簡単にディスプレイ面の境界へ収まると共に、折られた時に画像の必要な周辺グローバルビューも提供する。
【００２０】
対話的な実施例において、ビュアーは全画像のどの部分がフォーカスパネルの下へ入るか、全画像とディスプレイ面境界に相対するフォーカスパネルのサイズ、サイドパネルが折り曲げられる角度、及び、調整できれば、折られた面に相対して視点を置く場所を示すためにマウス又はキーボードのような入力デバイスを具備する。この情報から、ディスプレイシステムは、フォーカスパネル、サイドパネル、及びコーナーパネルがディスプレイ面上に現れる場所、サイド及びコーナーのパネルが取るべき形状、及びこれらのパネルに収まるようにいかにして全画像を変換するかを決定する。
【００２１】
全画像の新しいエリア（領域）をフォーカスパネル下で移動するため、ユーザは新しいエリアの中心点を選択する（指す）。ディスプレイシステムは、この選択された中心点がフォーカスパネルの中心の下へくるように画像を移動することによってこの選択に応答する。ディスプレイシステムは、移動の際にコンテクストが損失されないように、新しい中心点へジャンプ（飛び越し）するのではなく画像を徐々に適所へ移動させることができる。ディスプレイシステムが画像を徐々に移動させるようにセットされる場合、定速で漸次移動を行うように、又はどれだけ遠方へ移動するかに関わらず同じ期間で移動が終了するようにセットされる。
【００２２】
全画像を代替画像の中へ操作するために使用される画像プロセッサにおいて、インタラクティブ（対話的）環境におけるビュアーのコマンドへの迅速な応答を確実とするためにいくつかの方法が使用される。第１に、所与のパネルをレンダリングするために必要とされる計算の量が最小化される。第２に、大量に出現しそうにないオブジェクトは簡単化される。
【００２３】
パネルをレンダリングする際の計算の量を減少するための一つの方法は、パネルに現れない画像オブジェクトについての計算を取り除くことである。全画像上のパネルの境界がわかっているので、パネルの境界内に収まっていない全画像内のオブジェクトを考慮から選定することができる。パネルが全画像を水平及び垂直に分割するので、パネルに対するオブジェクトの選定及びクリッピングは、システムの応答性を減少する追加計算を行わずにオブジェクト位置を折り曲げ位置と比較することによってしばしば実行され得る。
【００２４】
計算を減少する他の方法は変換マトリックスを使用することである。全画像の代替画像への変換は、全画像を３次元画像の平面上へマッピングし、パネルに輪郭を付け、全画像を９つのパネル画像と対応させ、９つのパネル画像を選定し、これらのパネル画像をパネル境界へクリッピングし、これらのパネルを必要に応じて３次元空間の適所へ折り曲げ、回転し、及び／又は剪断し、次いで最後に３次元の折られた面のビューを２次元のディスプレイ面へ変換する。ある変換マトリックス（１パネル当たり１マトリックス）が選定且つクリッピングされた画像というより操作された画像である。次いで、全画像と代替画像の変換マトリックスが計算される時、全画像は変換マトリックスを通過して代替画像が得られる。
利用可能であれば、これらの変換は３次元のグラフィックス画像を操作するのに特に適したハードウェアと共に実行される。
【００２５】
全画像がテキストの行及び行のページとなるように編成されたテキスト文字を有する場合にオブジェクトを簡単化する方法は、テキストの行を単なる行と置換することであり、これはテキストを「グリーキング」（画像表示した時に不明瞭なテキストを表現するための方法）することとして知られている。
【００２６】
いくつかのテキスト画像ディスプレイシステムによって検索能力が追加されて文書が検索用語を整合するストリングを求めて検索される。次いで整合ストリングはハイライト（強調表示）され、そうでなければ区別される。次いでこれらの強調表示が代替画像上に現れ、これによって全体画像に相対して検索用語が存在する場所がビュアーに示され、且つビュアーは強調表示された領域を細部にわたってビューするためにフォーカスパネルを移動することができる。
【００２７】
本明細書の本発明の性質及び利点のさらなる理解は、明細書の残りの部分と添付図面を参照することによって実現され得る。
【００２８】
請求項１に係る本発明は、画像があまり詳細過ぎて、ディスプレイ面へ全てを同時ディスプレイできない時、コンテクスト及び細部情報を保存しながら、前記ディスプレイ面上に前記画像をディスプレイするための方法であって、前記画像内に現れるオブジェクトを表示するデータブロックを記憶するステップを有し、全画像が、前記データブロックから情報を損失せずに発生された画像であり、視点を３次元の空間内に配するステップを有し、前記ディスプレイ面の表示を前記空間内に配するステップを有し、前記表示が前記ディスプレイ面の境界に対応する境界によって境界付けられ、前記空間内にフォーカスパネルを配するステップを有し、前記フォーカスパネルが前記ディスプレイ面の前記表示の前記境界内に配され、前記全画像を表示するレイアウトを前記空間内の前記フォーカスパネル、四つのサイドパネル、及び四つのコーナーパネルと一致するレイアウト平面へマッピングするステップを有し、前記四つのサイドパネルが前記フォーカスパネルのエッジ、前記フォーカスパネルの前記エッジの延長部、及び前記レイアウトのエッジによって定義され、且つ前記四つのコーナーパネルが前記サイドパネルのエッジ及び前記レイアウトのエッジによって定義され、前記空間内の前記サイドパネルを、前記フォーカスパネルと隣接する前記サイドパネルのエッジによって定義される回転の軸の回りを前記レイアウト平面から離れるように折り曲げるステップを有し、折り曲げる前のサイドパネルエッジと一致するコーナーパネルエッジが再び前記サイドパネルエッジと一致するように前記コーナーパネルを操作するステップを有し、前記空間内の折り曲げられた面上にレンダリングされた画像を形成するために前記フォーカスパネル、前記サイドパネル、及び前記コーナーパネルへ前記画像をレンダリングするステップを有し、且つ前記折り曲げられた面の透視ビューをディスプレイするステップを有する画像ディスプレイ方法である。
【００２９】
請求項２に係る本発明は、画像の細部において詳細情報内容及び前記画像内への前記細部の配置においてコンテクスト情報を含む画像をディスプレイするための画像ディスプレイ装置であって、ディスプレイ面を有し、前記ディスプレイ面の一部を占有するフォーカスパネル画像を有し、前記フォーカスパネル画像が前記画像のフォーカスサブ画像の細部のビューであり、前記フォーカスパネル画像の上にあり且つそれと隣接する前記ディスプレイ面の一部を占有する第１のサイドパネル画像を有し、前記第１のサイドパネル画像が第１の角度でビューされる前記フォーカスサブ画像の上にあり且つそれと隣接する前記画像の第１のサイドサブ画像の透視ビューを示し、前記フォーカスパネル画像の右側に隣接する前記ディスプレイ面の一部を占有する第２のサイドパネル画像を有し、前記第２のサイドパネル画像が第２の角度でビューされる前記フォーカスサブ画像の右側に隣接する画像の第２のサイドサブ画像の透視ビューを示し、前記フォーカスパネル画像の下にあり且つそれと隣接する前記ディスプレイ面の一部を占有する第３のサイドパネル画像を有し、前記第３のサイドパネル画像が第３の角度でビューされる前記フォーカスサブ画像の下にあり且つそれと隣接する画像の第３のサイドサブ画像の透視ビューを示し、前記フォーカスパネル画像の左側に隣接する前記ディスプレイ面の一部を占有する第４のサイドパネル画像を有し、前記第４のサイドパネル画像が第４の角度でビューされる前記フォーカスサブ画像の左側に隣接する画像の第４のサイドサブ画像の透視ビューを示し、前記第１のサイドパネル画像及び前記第２のサイドパネル画像に隣接する前記ディスプレイ面の一部を占有する第１のコーナーパネルを有し、前記第１のコーナーパネル画像が前記画像の第１のコーナーサブ画像の透視ビューを示し、且つ前記第１のコーナーサブ画像が前記第１のサイドサブ画像及び前記第２のサイドサブ画像に隣接しており、前記第２のサイドパネル画像及び前記第３のサイドパネル画像に隣接する前記ディスプレイ面の一部を占有する第２のコーナーパネルを有し、前記第２のコーナーパネル画像が前記画像の第２のコーナーサブ画像の透視ビューを示し、且つ前記第２のコーナーサブ画像が前記第２のサイドサブ画像及び前記第３のサイドサブ画像に隣接しており、前記第３のサイドパネル画像及び前記第４のサイドパネル画像に隣接する前記ディスプレイ面の一部を占有する第３のコーナーパネルを有し、前記第３のコーナーパネル画像が前記画像の第３のコーナーサブ画像の透視ビューを示し、且つ前記第３のコーナーサブ画像が前記第３のサイドサブ画像及び前記第４のサイドサブ画像に隣接しており、且つ前記第４のサイドパネル画像及び前記第１のサイドパネル画像に隣接する前記ディスプレイ面の一部を占有する第４のコーナーパネルを有し、前記第４のコーナーパネル画像が前記画像の第４のコーナーサブ画像の透視ビューを示し、前記第４のコーナーサブ画像が前記第４のサイドサブ画像及び前記第１のサイドサブ画像に隣接している、画像ディスプレイ装置である。
【００３０】
請求項３に係る本発明は、画像をスケーリングする方法であって、ディスプレイエリア内でフォーカスパネルを配置するステップを有し、画像平面上で矩形を境界付ける画像内で配置されたオブジェクトのセットによって前記画像を記述するステップを有し、前記画像を境界付ける矩形を、フォーカス部分、各々が前記フォーカス部分の一つのエッジと隣接している四つのサイド部分、及び各々が前記フォーカス部分と共通の頂点を有し且つ前記四つのサイド部分の内の二つと共通するエッジを有する四つのコーナー部分へ分割するステップを有し、前記フォーカス部分の前記フォーカスパネルへのフォーカス変換を定義するステップを有し、前記各サイド部分と前記フォーカス部分に共通する軸に沿った空間内で折り曲げられた四つのサイドパネルの透視ビューによって定義された前記四つのサイド部分の各々に対してサイド変換を定義するステップを有し、前記各サイド部分と前記フォーカス部分に共通する軸に沿った空間内で操作された四つのコーナーパネルの透視ビューによって定義された前記四つのコーナー部分の各々に対してコーナー変換を定義し、これによって各コーナーパネルが二つの隣接するサイドパネルとエッジを共有し且つ各コーナーパネルが前記フォーカスパネルと頂点を共有するステップを有し、且つ前記フォーカス、サイド、及びコーナー変換を介して前記オブジェクトのセットをディスプレイ面へレンダリングするステップを有する画像スケーリング方法である。
【００３１】
【実施例】
図２は、本発明によるディスプレイシステム１００を示し、全画像がディスプレイシステムのディスプレイ面へ収まらない時に使用できる画像及び代替画像をこのディスプレイシステムのディスプレイ面へディスプレイするために使用される。
【００３２】
ディスプレイシステム１００は、ディスプレイ面１０４、画像プロセッサ１０６、プロセッサ１０６へのインターフェース１４２を有するマウス１０８、及びプロセッサ１０６へのインターフェース１４４を有するキーボード１１０を含むディスプレイ１０２を備える。ディスプレイ１０２とプロセッサ１０６の間のインターフェース１４０も示されている。特定の実施例においては、ディスプレイ１０２はシリコングラフィックス（Silicon Graphics）によって製造された１２８０×１０２４カラーモニタであり且つ画像プロセッサ１０６はシリコングラフィックスアイリス（Silicon Graphics Iris ）ワークステーションのモデル４Ｄ／４２０ＧＴＸである。他の実施例においては、マウス１０８及び／又はキーボード１１０は他の入力装置によって代用される。
【００３３】
一般に、ディスプレイシステム１００は、ワークステーション又はコンピュータアプリケーションの一部として複数の画像を生成する汎用目的のコンピュータの一部である。例えば、画像はワードプロセッシングプログラム又はドキュメント（文書）データベース検索プログラムによって出力されるマルチページ（複数頁）文書であってもよい。画像は数のスプレッドシート（表計算）、プロジェクト（投射）のタイムライン、及び会計（課金処理）データの時間周期、又は複数周期であってもよい。どんなアプリケーションであっても、ディスプレイシステム１００は、そのアプリケーションによって出力された画像が余りにも大きすぎて、画像の細部（ディテール）を可視化するのに充分な解像度でディスプレイシステム１００によってディスプレイできない場合に最も有用である。ディスプレイ面１０４にディスプレイされた画像は以下に詳細に説明するプロセッサ１０６によって生成される。
【００３４】
図３はプロセッサ１０６を示すブロック図であり、このプロセッサ１０６は、中央処理装置（ＣＰＵ）１３０、ディスプレイされる画像（全画像）の論理表現を記憶するための画像記憶装置１３２、変数及びＣＰＵ１３０の中間（演算）結果を記憶するためのメモリ１３４、及びディスプレイシステム１００の種々の機能を実行するＣＰＵ命令を含むプログラム記憶装置１３６を有する。いくつかの実施例においては、３次元グラフィックス・エンジン１３８を含む。図３はまたインターフェース１４０（ディスプレイ出力）、インターフェース１４２（マウス入力）、及びインターフェース１４４（キーボード入力）を示す。グラフィックス・エンジン１３８は通常、シリコングラフィックスアイリス（Silicon Graphics Iris ）４Ｄ／４２０ＶＧＸのような専用集積回路によって実行される。
【００３５】
ディスプレイシステム１００が操作可能である時、ＣＰＵ１３０は画像記憶装置１３２から全画像を検索し且つインターフェース１４０を介して必要な信号を送り、全画像又は透視シート代替画像のいずれかをディスプレイする。代替画像が使用される場合、全画像内のオブジェクトが通過する全画像の変換が発生し、次いで代替画像はディスプレイ面１０４の特徴（characteristics ）へレンダリング（描写）される。さもなければ、全画像がディスプレイ面１０４の特徴へレンダリングされる。レンダリング処理において使用されるディスプレイ面の特徴は、ディスプレイ（高さ及び幅）における（画素表示されるディスプレイと想定する）画素の数、及び単一画素によってディスプレイすることが可能なカラーの数と範囲を含む。
【００３６】
図４は画像記憶装置１３２（図３参照）に記憶された全画像２００の論理表現である。画像２００は矩形であり、その上にフォーカスパネル２０２が配されている。フォーカスパネル２０２のエッジはライン２０３のような延長線を定義し、それはまた、上部サイドパネル２０４、下部サイドパネル２０６、左サイドパネル２０８、右サイドパネル２１０、及び四つのコーナーパネル２１２のような複数のサイドパネルと複数のコーナーパネルを定義する。各コーナーパネル２１２が一つのコーナーをフォーカスパネル２０２と共有し且つ二つのエッジを隣接サイドパネルと共有していることに注意されたい。ディスプレイ装置が全画像２００を必要な解像度で収容することができる場合、画像２００はそのままディスプレイされる。そうでない場合、画像２００は代替画像へ変換されなければならない。この代替画像は、フォーカスパネル内に必要な細部を示し、且つフォーカス、サイド、及びコーナーパネルの間でコンテクスト情報を保存すると同時にディスプレイ面の境界内へこれらの情報を収める。
【００３７】
図５はこのような透視シート代替画像２００’のディスプレイである。画像２００’は、フォーカスパネル２０２’、上部サイドパネル２０４’、下部サイドパネル２０６’、左サイドパネル２０８’、右サイドパネル２１０’、及び四つのコーナーパネル２１２’を備える。代替画像２００’は、ディスプレイ面１０４がその空間の透視図を示す３次元空間における一連の変換を介して形成される。これらの変換は図６に関してより詳細に示されている。
【００３８】
これらの変換のパラメータは、ビューポイント（視点）とビュープレーン（視平面）とこの視平面へマッピングされるディスプレイ面の境界とフォーカスパネルの３次元の空間配置、このフォーカスパネルに相対する３次元空間内での全画像の配置、及びこれらのサイドパネルが折り曲げられる角度から導出される。これらのパラメータは、サイド及びコーナーのパネルの連続画像によって提供されるコンテクスト情報によって画像の細部を同時にビューするようにユーザによって調整され得る。例えば、細部を増加するため、ビュアーは画像をフォーカスパネルへより接近するように移動し、次いで画像の回りを移動するようにＣＰＵ１３０へコマンドを発行し、ここでユーザはフォーカスパネルの中心へ移動されつつある画像上の点を選択するためにマウスを使用してもよい。一般に、フォーカスパネルは定常であり且つディスプレイ面の中心に置かれ（即ち、視点はフォーカスパネルより上の中心に置かれ）、従って、フォーカスパネルが画像上で移動するというよりもむしろ画像がフォーカスパネルの下で移動するように見える。
【００３９】
図６は、本発明によるディスプレイシステム１００の特定の実施例においてプログラム記憶装置１３６内に記憶されたＣＰＵプログラム命令内に組み込まれたハイレベル機能を記述するフローチャートである。これらの機能はＣＰＵ１３０によって実行され、画像記憶装置１３２に記憶された画像２００から代替画像２００’を発生し且つディスプレイする。他の方法が示されない限り、プログラムのフローはブロック番号順に進む。
【００４０】
ブロック３００において、視平面、視点、及びフォーカス点は３次元空間内に位置する。これはこれらのオブジェクトの位置を表現するためにメモリ１３４において予約された変数へ値を割り当てることによって行われる。一つの実施例において、視点はフォーカスパネルの中心より上に固定され（即ち、同じｘ軸及びｙ軸の座標を有し、）且つ視点はフォーカスパネルに相対する正のｚ値を有する。視平面は最初は画像と平行であり且つ画像と視点の間に置かれる。この時点で、必要ならば、視平面上のディスプレイ面の境界が計算される。
【００４１】
特定の実施例において、ディスプレイ面の境界の座標は、（０、０、０）、（x max 、０、０）（x max 、y max 、０）及び（０、y max 、０）であるように任意に選択され、これによってｚ＝０の平面の正のコードラント（四分円）内に矩形を定義することになる。これは図４に示されている。一旦視点と視平面が配されると、他のオブジェクトも３次元空間内に配されることができ且つこれらの他のオブジェクトの透視ビューが視平面の位置から決定され且つディスプレイされるこれらの他のオブジェクトの部分は、もしあれば、視平面上のディスプレイ面の境界によって決定される。以下にまた参照されるべき特定の実施例において、x max ＝１４４．０ｄｕ（display unit）（ディスプレイユニット）、y max ＝１０８．０ｄｕであり、フォーカスパネルは点（７２．０、５４．０、０．０）で中心に置かれ、１０．０ｄｕの幅、focus width 及び１０．０ｄｕの高さ、focus heightを有する。視点は（７２．０、５４．０、３８．０）にある。３次元空間における全ての座標は、他の方法で示さない限り、ディスプレイユニット（display unit）（ｄｕ）内にある。いくつかの実施例において、視点、視平面、及びフォーカスパネルは互いに関連し合って移動され得る。
【００４２】
ブロック３０１において、ＣＰＵ１３０は全画像即ち全画像の境界のレイアウトだけを３次元空間内に位置する。全画像のレイアウトは必ずしも全画像それ自体ではないが、複雑な画像の場合は簡単に操作された全画像の表現である。以下の実施例において、レイアウトは操作された表面のボーダー（境界線）及び特徴を備える。レイアウトは操作するのが非常に簡単であるので、レイアウトはそのスピードの為に画像に代わりそれ自体が操作される。一旦変換が決定されると、全画像はレイアウト上で行われる変換に従ってレンダリングされることができる。レイアウトの位置決定は通常、レイアウトの四つのコーナーの座標のトリプレット（３ビットバイト）用に可変メモリをメモリ１３４内に確保することによって実行される。画像即ちそのレイアウトは、フォーカスパネルの中心に位置合わせされた画像上で選択されたフォーカス点によってフォーカスパネルと同じ平面内の３次元空間内に置かれる。
【００４３】
次いで、ブロック３０２においては、パネルのボーダーが画像上で配置される。最初に、画像はフォーカスパネル上の中心に置かれる。図４に示したように、一旦画像上のフォーカスパネルの境界が判ると、これらの境界が９つのサブ画像を形成し、これらのサブ画像が、フォーカス、サイド、及びコーナーのパネルに適用される。また、これは通常、パネルのコーナーに対する値へこの目的のために確保された変数をセットすることによって実行される。フォーカスパネルの四つのコーナーの位置はそれぞれ四つの点（focus x ,focus y, 0）、（focus x ＋focus width, focus y , 0 ）、（focus x ＋focus width, focus y ＋focus height, 0 ）、及び（0, focus y ＋focus height, 0 ）によって表現されることができ、ここでfocus x と focus y は画像上のフォーカスパネルの下部左コーナーを定義し、且つfocus width とfocus lengthは画像上のフォーカスパネルのサイズを定義する。或いはfocus x と focus y がフォーカスパネルの中心を定義することもある。
【００４４】
次いで、ブロック３０３において、ＣＰＵ１３０は全画像内のオブジェクトが種々のパネル上に現れる場所を識別する。画像が複数ページ文書の画像である場合、このステップは、文書を行やページへ解析（パージング）し、何ページ必要かを決定し、且つそれらのページを２次元のページ配列に置くことを含む。以下の例において、矩形の画像及び矩形のフォーカスパネルが想定される。上記の例のどのオブジェクト即ちページがどのパネル上に現れるかを識別することが、各パネルがレンダリングされるステップ３０８で使用される。
【００４５】
パネルの境界に相対して画像内でオブジェクトを配置した後、ＣＰＵ１３０はブロック３０４へ進む。ブロック３０４において、ＣＰＵ１３０はサイドパネルごとに折り角度を決定する。種々の実施例において、折り角度は、固定されたり、ビュアーによってセットされたり、ディスプレイ面の視点から境界付けられる立体角から計算されたり、又は上記を組み合わせることによって決定される。折り角度が変数である場合、メモリ１３４内に記憶された様々な変数であるtop fold、 right fold、bottom fold、及び left foldが、これらの折り曲げの値を保持してもよい。本明細書中に使用されているように、折り曲げの角度は折られたサイドパネルがｚ＝０平面となす角度を指す。サイドパネルは、これらのサイドパネルがディスプレイ面によって定義される立体角内に収まるようにｚ＜０で半空間折り曲げられる。この角度は０度（パネルが折り曲げられない）乃至９０度より少ない角度の範囲に及ぶ。９０度（直角）の折り曲げは、折られたサイドパネルが視点から見えないのであまり有用ではない。これらのサイドパネルはフォーカスパネルと共通して有するエッジの回りを回転し、これによってコンテクスト及び連続性が折り曲げを横切って保存される。
【００４６】
折り角度を決定する一つの方法は、例えば、上部と下部のサイドパネルに対しては７０度及び左右のサイドパネルに対しては６０度で折り曲げを固定するような角度でそれらを単純にセットすることである。他の方法は、ビュアーに折り角度を変えるコマンドを入力させることである。さらに他の方法は、ディスプレイ面内のどれだけの領域が利用可能であるかを計算して、これらの透視投射がディスプレイ面内に収まるまでサイドパネルを折り曲げることである。例えば、上部パネルに対する折り角度が計算されると仮定する。最初に、視平面上のフォーカスパネルへの投影の上部エッジから視平面上のディスプレイ面の上部エッジまでの距離が測定される。次いで、上部パネルの高さが測定される。これらの二つの値、フォーカスパネルのパラメータ及び視点の位置から、ＣＰＵ１３０は上部パネル全体をディスプレイ面のビューへ収めるのに必要な最小の折り角度を計算することができる。
【００４７】
四つのサイドパネルに対する折り角度が一旦決定されると、ＣＰＵ１３０はブロック３０５へ進む。ブロック３０５において、ＣＰＵ１３０は折り角度を介してサイドパネルを折り曲げる。グラフィックス（図形）・エンジン１３８が使用される場合、サイドパネルの変換がグラフィックス・エンジン１３８によって実行される。或いは、ＣＰＵ１３０はサイドパネルの新しいコーナー及びそれらの視平面への投射を計算する。一旦サイドパネルが適所に配されると、ＣＰＵ１３０はブロック３０６へ進む。
【００４８】
ブロッック３０６において、四つのコーナーパネルがサイドパネルと再結合するために移動される。サイドパネルが折られた時、これらのコーナーパネルは、コーナーパネルの二つの隣接するサイドパネル及びフォーカスパネルにタッチ（接触）している１つの点を除いてはそれらと隣接するサイドパネルに取り付けられない。タッチングコーナーでのコーナーパネルの角度は直角であり、且つ前に隣接していた二つのサイドパネルのエッジ同士の間の角度はもはや直角ではないので、コーナーパネルはタッチングコーナーがこれらの二つの隣接するサイドパネルのエッジが成す角度に等しい角度を有するように切られる。この例は図５に示され、ここで、タッチング点２２０でサイドパネルエッジ２２２と２２４が角度Ａを定義している。
【００４９】
一旦ＣＰＵ１３０がコーナーパネルを剪断すると、ＣＰＵ１３０はコーナーパネルを回転し、次いでそれを折り曲げて二つの隣接するサイドパネルを再結合する。いくつかの実施例においては、当然、剪断、回転、及び折り曲げのステップが異なる順序で実行されてもよい。その隣接するサイドパネルの特定の折り角度に依存して、コーナーパネルは一つのサイドパネルと再結合するために１回折り曲げられてもよく、次いで、他のサイドパネルのエッジと再結合するため、再結合されたエッジに沿って折り曲げられてもよい。
【００５０】
折り曲げ後、フォーカスパネルと続いているサイドパネルと、折り曲げ後、サイドパネルと続いているコーナーパネルによって、ディスプレイ面の立体角内で全画像のレイアウトを有している３次元の連続的に折られた面が作成される。
【００５１】
ブロック３０７において、全画像を一体化する３次元の折られた面が視平面へ投射される。サイドパネルとコーナーパネルがｚ＝０の平面と成す角度で折られたので、それらの透視投射は頭を上にしてビューした場合よりも小さくなり、且つ画像の細部はフォーカスパネルよりさらに小さくなる。
【００５２】
ブロック３０８において、ＣＰＵ１３０はフォーカス、サイド、及びコーナーパネルの各々をレンダリングする。パネルは、ディスプレイ面へのパネルの投射の境界を識別し、これらの境界内にあるディスプレイ装置の画素を識別し、元の全画像上のパネルの境界を識別し、そのパネルに対して計算された変換を用いて元の全画像のレンダリング点へディスプレイ装置の画素をマッピングし、元の全画像のレンダリング点ごとに画素カラーを決定し、次いでこれらの画素カラーをディスプレイ装置の画素へ割り当てることによってレンダリングされる。フォーカスパネル及びディスプレイ面の３次元空間への配置によって、フォーカスパネルの変換は、（３次元空間内の視点からはるかに離れている）サイド又はコーナーのパネルの離れたエッジ近傍のレンダリング点の濃度より高い濃度セットの全画像のフォーカスパネル上のレンダリング点を生じる。これによって、フォーカスパネルはより微細な細部で現われ、且つパネルはフラット（平坦）であり且つ３次元空間において連続的であるのでコンテクスト情報が保存される。パネルがフラットであるので、変換の演算は単純であり、これによって得られた画像は識別可能に保たれる。レンダリング速度の改善の為には、画像がテキストであれば、サイド及びコーナーパネル内のテキストが常時又は画像移動の間だけグリーキング（読みにくいテキストを表現するための方法）されてもよい。グリーキングが使用される場合、フォーカスパネル内のテキストはそのテキスト用のフォントでレンダリングされるが、サイド及びコーナーパネル内のテキストはグリーキングされたフォントでレンダリングされる。グリーキングされたフォントにおいて、テキストの行は単一行としてレンダリングされる。
【００５３】
特定のパネル上で呼び出す全画像のオブジェクトが識別された場合、与えられたパネル上でその全体も部分も現れない全てのオブジェクトは、そのパネルがレンダリングされている時に全画像から取り除くことができる。
【００５４】
いくつかの実施例において画像をレンダリングした後で、ＣＰＵ１３０はブロック３０９、３１０、オブジェクト３１１によって示される一つ又はそれより多くの任意のステップを実行する。ブロック３０９において、サイド及びコーナーパネル上の画像部分を可視に保ちながら、これらのサイド及びコーナーパネルは、フォーカスパネルへビュアーの注意を向けるためにシェーディング（射影付け）される。ブロック３１０においては、望まれれば、ＣＰＵ１３０はこれらのパネルの回りに境界線を追加する。或いは、ＣＰＵ１３０はフォーカスパネルの回りにだけ境界線を追加することもある。
【００５５】
ブロック３１１において、フレームバッファを使用している場合、これらのバッファはこのブロックでスワッピング（交換）される。フレームバッファは現在ディスプレイされているように画像を操作することが所望されない場合に使用される。このような場合、画像はディスプレイされているフレームバッファではない一つのフレームバッファへレンダリングされ、そのフレームバッファは現在ディスプレイとなるためにスワッピングされる。次いで他のフレームバッファは引き続く画像のレンダリングを形成するために使用される。
【００５６】
ブロック３１２において、いくつかの所定の終了条件が合った場合、ＣＰＵ１３０はプログラムを終了する。そうでない場合はブロック３１３へ進む。ブロック３１３において、ＣＰＵ１３０は移動コマンドをチェックして、フォーカス面に相対して画像を移動するか（パン）又は視点を拡大縮小して移動するか（ズーム）を決定し、且つ許容される実施例において、ＣＰＵ１３０は視点移動コマンドをチェックする。移動コマンドが入力されなかった場合、ＣＰＵ１３０はブロック３１２へ戻るか、或いはブロック３００へループバックして、移動コマンドに基づいて新しいディスプレイを作成する。
【００５７】
図７及び図８は透視シートである代替画像の例である。図７における全画像は画像のほぼ中心にある"Read me if you can.（できれば私を読み取りなさい）" のセンテンスを有する均一グリッドである。図７はそのグリッドによって各パネルに対してどのように画像が形付けられるかを示す。図８における全画像は６×３のページアレイにおける１７ページ文書である。上記のブロック３０８（図６）に説明されているように図８のディスプレイのレンダリングにおいて、１ページのみを有する簡単化された画像はフォーカスパネルをレンダリングするために使用されるが、左のサイドパネルは３ページの簡単化された画像を使用することができる。他のパネルに対するレンダリングも同様に簡単化される。
【００５８】
上記の説明は例示目的であり、この例に限定するものではない。この開示内容を検討すれば、本発明の多くの変形が可能であることが技術上の当業者に容易に理解されよう。
【００５９】
例えば、本明細書中に使用されている「ディスプレイ装置」又はディスプレイシステムは、対話的な画像ディスプレイのためにはコンピュータモニタが好ましいが、コンピュータモニタ、プリンタ、その他であってもよい。ディスプレイシステムはまた、ディスプレイ（表示）の前に画像の専用処理のために画像プロセッサ又は他のコンピュータシステムを含んでいてもよい。ディスプレイ装置はまた、それが画像をディスプレイしたように振る舞うが実際には画像をディスプレイしない装置であってもよい。例えば、ファクシミリ装置は、コンピュータディスプレイとほぼ同様に画像操作をするが、必ずしも画像をディスプレイするわけではなく、代わりに、提供された画像をディスプレイする他のシステムへその画像を送る。
【００６０】
従って、本発明の範囲は上記の説明によってではなく、同等の全範囲を有する添付請求項によって決定されるべきである。
【００６１】
参考に透視シートディスプレイシステムの特定の実施例用のソースコードのリストを本願の参考資料として添付する。
【００６２】
【発明の効果】
本発明は、細部の拡大と画像内でのその細部のコンテクスト保存の両方を必要とするが画像をディスプレイ装置へ収めるための改良されたディスプレイシステムを提供する。
【図面の簡単な説明】
【図１】拡大が画像の部分を不明瞭にする過程を示す図である。
【図２】画像プロセッサを含む本発明の一つの実施例による画像ディスプレイシステムを示す図である。
【図３】図２に示した画像プロセッサのブロック図である。
【図４】パネルへ分割された全画像を示す図である。
【図５】図４に示した全画像の分割をベースとしてディスプレイ面の境界内にディスプレイされた透視シートの形態における代替画像のレイアウトを示す図である。
【図６】本発明により透視シート代替画像を発生するプロセスを記述するフローチャートを示す図である。
【図７】一つのセンテンスと均一グリッドを有するテキスト文書である全画像に対する透視シート代替画像を示す図である。
【図８】数ページのテキスト文書である全画像に対する透視シート代替画像を示す図である。
【符号の説明】
１００ ディスプレイシステム
１０２ ディスプレイ
１０４ ディスプレイ面
１０６ プロセッサ
１０８ マウス
１１０ キーボード
１４０、１４２、１４４ インターフェース
【産業上の利用分野】
本発明は情報の視覚的ディスプレイの分野に係り、特にディテール（細部）やコンテクスト情報を全体的にロスしないでディスプレイ装置へ充分な解像度でディスプレイされることが不可能な画像表現の問題を解決する。
【０００２】
【従来の技術】
画像は、情報の視覚的ディスプレイであるか又は情報の視覚ディスプレイとなることの論理的表現である。一つのタイプの画像はテキスト画像である。テキスト画像の情報内容は画像のテキスト内にあるが、画像内のテキストの配置内にもある。ビュアー（見る人）にとって有用な画像では、情報内容がビュアーへ伝えられ得るように、ディスプレイ装置にディスプレイされなければならない。その全体画像が画像の充分な解像度でディスプレイ装置にディスプレイされ得るならば、情報は全く損失されない。しかしながら、細部（ディテール）を見えるようにする最小解像度で画像の一部のみを示すか又は画像のグローバル（大域）パターンを示すが細部を損失してしまうような解像度で全体画像を示すかの一方を選択しなければならない場合に情報はしばしば損失される。テキスト画像内で細部を大きく損失するとテキストが読解不可能になる。
【０００３】
ディスプレイの解像度の限界はディスプレイの繊細さ又は繊細な特徴を見るビュアーの能力に依存する。例えば、二つの線が画素表示されるディスプレイ装置上で二つの線へ解像されることができない場合、これらの線は一本の線として現れる。これらの線のマージャー（合併）は、ディスプレイがこれらの二つの線に対して分離した画素を使用できないこと又はビュアーがこれら二つの線の分離した画素を見ることができないことのいづれかによって生じ得る。
【０００４】
画素表示されたコンピュータモニタのようなディスプレイシステムにディスプレイされようとする時、画像は、通常、理想的なディスプレイが与えられると、それらの全体にわたってディスプレイ可能であるかもしれないディスプレイシステムが解釈可能な形態でオブジェクトの集合としてディジタルコンピュータ内に記憶される。この定義によって記憶された形態の画像又は「全（フル）」画像はその情報内容の全てを含む。記憶された形態の例は、（ローエンド描画プログラム又は写真編集システムにおけるような）ビットマップ、（ＣＡＤシステムにおけるように）オブジェクト特性と位置を提供するオブジェクトリストファイル、ベクトル画像ファイル、又は文字とフォーマッティングコードの形態におけるテキストである。
【０００５】
画像内の情報の損失は、画像が全画像の全ての情報をディスプレイすることができないディスプレイ上にディスプレイされようとする時に発生する。例えば、ビットマップがディスプレイ上で使用可能な画素より多くの画素を有する場合、ディスプレイは画像を表示することができず、従って、より低い解像度のビットマップ又はビットマップの一部の画像のような代替画像のみがディスプレイされ得るにすぎない。全画像がディスプレイされることができない時、ディスプレイされるものは、本明細書中において「代替（substitute）」画像と呼ばれる。
【０００６】
全画像から特定のディスプレイ装置に対して代替画像を発生するための幾つかのシステムが提供されてきた。このようなシステムの一つにおいて、代替画像は全画像の（全てより少ない）一部への「ウィンドウ」であり且つこのシステムはそのウィンドウを全画像を「端から端まで（over）」移動する手段をビュアーに提供する。大部分のワードプロセッサはこのシステムを使用する。あるワードプロセッサにおいて、一般的な全画像とは、あまりにも長すぎるのでディスプレイスクリーンへその全体がディスプレイできない文書である。ワードプロセッサによって提供される代替画像は一般に２５行ぐらいの文書へのウィンドウであり、且つそのウィンドウは「ページダウン（前頁）」、「ページアップ（次頁）」、「ラインダウン（次行）」その他のようなコマンドによって文書全体に対して移動する。
【０００７】
いくつかのワードプロセッサも「ページビュー」モードを含み、このモードはテキストがテキスト文書全頁にどのように現れるかを示す。単一ページ文書の場合でさえ、テキストの文字はディスプレイ装置が従来のコンピュータモニタである場合は識別できない。当然、ディスプレイデバイスが高解像度のプリンタである場合、１ページ文書の画像は完全にディスプレイされ得るが、プリンタでも多数ページの文書画像を完全に詳細にはディスプレイすることができない。
【０００８】
他のタイプの代替画像は分割画像であり、ディスプレイされた代替画像のある部分は全画像のグローバルであるがあまり詳細でないビューを示し且つディスプレイされた代替画像の他の部分は必要な細部において全画像の副領域の細部のサブ画像を示す。詳細なサブ画像がグローバルコンテクストから切離されるのでこのアプローチはあまり歓迎されない。結果的にビュアーは、提供される情報の細部とコンテクストの両方を観察するためにグローバル画像と詳細な画像の間を前方及び後方に飛越さなけれがならなくなる。ワードプロセッサの上記の例において、分割画像は語句を読み取ったり且つそれが全画像のどこにあるかを見る能力を文書のビュアーへ全く提供しない。
【０００９】
他の分割スクリーンアプローチは、対象となるサブ画像の細部をビューするために拡大鏡（物理的なもの又は電子的に実行されるもの）によって部分的に拡大されたグローバル画像である代替画像を使用する。これは、グローバル画像と詳細なサブ画像の関係が失われるので、前出の分割スクリーンの例と同じ問題を抱えることになる。さらに、拡大鏡を用いると、拡大された詳細なサブ画像において表示されるよりも多くのグローバル画像が不明瞭になる。
【００１０】
この拡大鏡の問題を図１に示す。図１は、文書画像１０の三つのビューを示す。この実施例に使用されている全画像１０はあらゆる実践的なアプリケーショに対して実際にディスプレイ可能であるが、全画像はあまりにも多くのテキストを含んでいるのでそのディスプレイフレーム内にディスプレイすることができない。
【００１１】
図１の（ｂ）は拡大鏡１２によって得られた、画像１０の領域１３の詳細な画像１４への拡大の影響を示す。領域１３の拡大の結果として、画像１０の他の領域は不明瞭とされ、且つ詳細な画像１４のコンテクストは領域１３と画像１０の不連続性によって損失される。この不連続性は拡大鏡１２のエッジで発生することに注目されたい。
【００１２】
コンテクストの不明瞭化及び損失は物理的な拡大鏡と論理的な拡大鏡の両方によって発生し、且つその原因は図１の（ｃ）に示す。図１の（ｃ）は、拡大鏡１２を介した視点１６から領域１３へのビューを示す。拡大鏡１２は事実上、領域１３を視点１６へより接近させるので、前進した領域が境界を作る立体角がより大きくなり且つ画像１０内の不明瞭な領域１８の境界に対応する。
【００１３】
米国特許第4,790,028 号は「可変的に拡大縮小された(variably-scaled) 」ディスプレイを用いることによってグローバル画像を不明瞭にする拡大された領域の問題を解決するための一つの試行を開示している。このようなディスプレイにおいて、対象となる領域の座標が拡大される一方で対象の領域のすぐ外側の領域の座標が対応して圧縮されるように画像は歪められる。つまり画像の圧縮部分とその残りの部分が情報を損失しながらディスプレイされ且つその損失部分は圧縮された領域でより大きくなる。しかしながら、このアプローチは計算上実用的でなく、これによってビュアーの拡大及び移動の要求に対する応答時間が遅延することになる。このディスプレイは、余りにも歪みが大きすぎて対象の領域内だけでなく周辺の領域においても読み取ることができなくテキスト画像にも不向きである。さらに、このようなシステムは、圧縮が詳細な画像近隣の低圧縮部分からより大きな周辺領域のより高い高圧縮部分へ徐々に変化していく場合には保存されてもよいコンテクスト情報を考慮に入れていない。
【００１４】
【発明が解決しようとする課題】
上記から、細部の拡大とその細部の画像内におけるコンテクスト（脈絡、関係）保存の両方が必要とされる画像をディスプレイ装置に収めるための改良されたシステムが提供されることが理解される。
【００１５】
本発明は改良された画像ディスプレイシステムを提供する。
【００１６】
【課題を解決するための手段】
本発明の一つの実施例において、代替画像は全画像をセンター（又はフォーカス）パネルによって定義される複数のパネルへ分割することによって発生される。特定の実施例において、全画像は境界矩形によって境界付けされ、フォーカス（焦点合わせ）パネルはこの境界矩形のサイドに平行なサイドを有する矩形であり、且つフォーカスパネルはこのフォーカスパネルのエッジの全画像のエッジへの延長によって８つの他のパネルを定義する。これらの８つのパネルの内、４つはフォーカスパネルの４つの側に隣接するサイドパネルであり、他の４つはコーナーがフォーカスパネルのコーナーと接触しており、且つ各々が二つのサイドパネルに隣接している。この代替画像は、それがシートが９つのパネルをカバーする３次元空間においてそのシート上へマッピングされる画像の３次元透視ビュー（視界）であるので「透視シート」と呼ばれる。
【００１７】
全画像をディスプレイ装置のディスプレイ面へディスプレイすることが不可能な時、透視シートが代替画像として発生されるのは、３次元（”３Ｄ”）空間内の平面上に全画像を配し、視点（viewpoint ）と３次元空間でディスプレイ平面を表示する視平面（view plane）を配置し、サイドパネルをこの視点から離れるように折り曲げ、これによりこれらのサイドパネルが視点及び視平面上のディスプレイ面によって定義されるビュー（視界）の中へ収められ、コーナーパネルのエッジを折り曲げ、回転させ、且つ剪断することによってそれらの隣接するサイドパネルのエッジとマッチング（整合）させ、次いでこのようにして形成されて得られた折られた３次元面の３次元透視投射をディスプレイ面上にディスプレイすることによって行われる。定義的なこととしては、パネルが「折り曲げられた」時、パネルは３次元空間において目視面に平行な回転軸の回りを回転し、且つパネルが「回転した」時、パネルは３次元空間において目視面に垂直な回転の軸の回りを回転することである。本明細書中に記述された実施例において、サイドパネルはフォーカスパネルに隣接するこれらのサイドパネルのエッジに沿って折り曲げられるが、コーナーパネルは隣接するサイドパネルの折り曲げから作られる角度をとるように剪断（切断）され且つフォーカスパネルと共通である頂点の回りを回転される。この回転は、コーナーパネルが折り曲げられた時、二つの先に折り曲げられたサイドパネルと同一平面であったコーナーパネルのエッジが再びこれらのエッジと同一平面となるように行われる。
【００１８】
対向するサイドパネル（上下、左右）は３次元空間において自然なビューイングのために同じ角度だけ離れるように折られるのが好ましいが、これは必要とはされない。これらのサイドパネルはディスプレイ面の境界内に収まるように充分に深く折られるか、固定角度で折られるか、又はビュアーが指定する角度で折られるかのいづれかである。コーナーパネルは３次元空間内では自然に折られているように見える。
【００１９】
一般に、自然なビューイング及び計算の簡単化のために、このフォーカスパネルは視平面に平行な平面内にある。特定の実施例において、視点はフォーカスパネルに対して中心に置かれたままであり、そこでフォーカスパネルが全画像の端から端まで移動する時、代替画像は固定されたフォーカスパネルの下で回転しているように見える。当然、フォーカスパネルに相対して視点を移動することを準備することも可能である。サイド及びコーナーのパネルは３次元空間における視点から離れるように折り曲げられるので、これらのパネルは、それらが平らであった時よりも簡単にディスプレイ面の境界へ収まると共に、折られた時に画像の必要な周辺グローバルビューも提供する。
【００２０】
対話的な実施例において、ビュアーは全画像のどの部分がフォーカスパネルの下へ入るか、全画像とディスプレイ面境界に相対するフォーカスパネルのサイズ、サイドパネルが折り曲げられる角度、及び、調整できれば、折られた面に相対して視点を置く場所を示すためにマウス又はキーボードのような入力デバイスを具備する。この情報から、ディスプレイシステムは、フォーカスパネル、サイドパネル、及びコーナーパネルがディスプレイ面上に現れる場所、サイド及びコーナーのパネルが取るべき形状、及びこれらのパネルに収まるようにいかにして全画像を変換するかを決定する。
【００２１】
全画像の新しいエリア（領域）をフォーカスパネル下で移動するため、ユーザは新しいエリアの中心点を選択する（指す）。ディスプレイシステムは、この選択された中心点がフォーカスパネルの中心の下へくるように画像を移動することによってこの選択に応答する。ディスプレイシステムは、移動の際にコンテクストが損失されないように、新しい中心点へジャンプ（飛び越し）するのではなく画像を徐々に適所へ移動させることができる。ディスプレイシステムが画像を徐々に移動させるようにセットされる場合、定速で漸次移動を行うように、又はどれだけ遠方へ移動するかに関わらず同じ期間で移動が終了するようにセットされる。
【００２２】
全画像を代替画像の中へ操作するために使用される画像プロセッサにおいて、インタラクティブ（対話的）環境におけるビュアーのコマンドへの迅速な応答を確実とするためにいくつかの方法が使用される。第１に、所与のパネルをレンダリングするために必要とされる計算の量が最小化される。第２に、大量に出現しそうにないオブジェクトは簡単化される。
【００２３】
パネルをレンダリングする際の計算の量を減少するための一つの方法は、パネルに現れない画像オブジェクトについての計算を取り除くことである。全画像上のパネルの境界がわかっているので、パネルの境界内に収まっていない全画像内のオブジェクトを考慮から選定することができる。パネルが全画像を水平及び垂直に分割するので、パネルに対するオブジェクトの選定及びクリッピングは、システムの応答性を減少する追加計算を行わずにオブジェクト位置を折り曲げ位置と比較することによってしばしば実行され得る。
【００２４】
計算を減少する他の方法は変換マトリックスを使用することである。全画像の代替画像への変換は、全画像を３次元画像の平面上へマッピングし、パネルに輪郭を付け、全画像を９つのパネル画像と対応させ、９つのパネル画像を選定し、これらのパネル画像をパネル境界へクリッピングし、これらのパネルを必要に応じて３次元空間の適所へ折り曲げ、回転し、及び／又は剪断し、次いで最後に３次元の折られた面のビューを２次元のディスプレイ面へ変換する。ある変換マトリックス（１パネル当たり１マトリックス）が選定且つクリッピングされた画像というより操作された画像である。次いで、全画像と代替画像の変換マトリックスが計算される時、全画像は変換マトリックスを通過して代替画像が得られる。
利用可能であれば、これらの変換は３次元のグラフィックス画像を操作するのに特に適したハードウェアと共に実行される。
【００２５】
全画像がテキストの行及び行のページとなるように編成されたテキスト文字を有する場合にオブジェクトを簡単化する方法は、テキストの行を単なる行と置換することであり、これはテキストを「グリーキング」（画像表示した時に不明瞭なテキストを表現するための方法）することとして知られている。
【００２６】
いくつかのテキスト画像ディスプレイシステムによって検索能力が追加されて文書が検索用語を整合するストリングを求めて検索される。次いで整合ストリングはハイライト（強調表示）され、そうでなければ区別される。次いでこれらの強調表示が代替画像上に現れ、これによって全体画像に相対して検索用語が存在する場所がビュアーに示され、且つビュアーは強調表示された領域を細部にわたってビューするためにフォーカスパネルを移動することができる。
【００２７】
本明細書の本発明の性質及び利点のさらなる理解は、明細書の残りの部分と添付図面を参照することによって実現され得る。
【００２８】
請求項１に係る本発明は、画像があまり詳細過ぎて、ディスプレイ面へ全てを同時ディスプレイできない時、コンテクスト及び細部情報を保存しながら、前記ディスプレイ面上に前記画像をディスプレイするための方法であって、前記画像内に現れるオブジェクトを表示するデータブロックを記憶するステップを有し、全画像が、前記データブロックから情報を損失せずに発生された画像であり、視点を３次元の空間内に配するステップを有し、前記ディスプレイ面の表示を前記空間内に配するステップを有し、前記表示が前記ディスプレイ面の境界に対応する境界によって境界付けられ、前記空間内にフォーカスパネルを配するステップを有し、前記フォーカスパネルが前記ディスプレイ面の前記表示の前記境界内に配され、前記全画像を表示するレイアウトを前記空間内の前記フォーカスパネル、四つのサイドパネル、及び四つのコーナーパネルと一致するレイアウト平面へマッピングするステップを有し、前記四つのサイドパネルが前記フォーカスパネルのエッジ、前記フォーカスパネルの前記エッジの延長部、及び前記レイアウトのエッジによって定義され、且つ前記四つのコーナーパネルが前記サイドパネルのエッジ及び前記レイアウトのエッジによって定義され、前記空間内の前記サイドパネルを、前記フォーカスパネルと隣接する前記サイドパネルのエッジによって定義される回転の軸の回りを前記レイアウト平面から離れるように折り曲げるステップを有し、折り曲げる前のサイドパネルエッジと一致するコーナーパネルエッジが再び前記サイドパネルエッジと一致するように前記コーナーパネルを操作するステップを有し、前記空間内の折り曲げられた面上にレンダリングされた画像を形成するために前記フォーカスパネル、前記サイドパネル、及び前記コーナーパネルへ前記画像をレンダリングするステップを有し、且つ前記折り曲げられた面の透視ビューをディスプレイするステップを有する画像ディスプレイ方法である。
【００２９】
請求項２に係る本発明は、画像の細部において詳細情報内容及び前記画像内への前記細部の配置においてコンテクスト情報を含む画像をディスプレイするための画像ディスプレイ装置であって、ディスプレイ面を有し、前記ディスプレイ面の一部を占有するフォーカスパネル画像を有し、前記フォーカスパネル画像が前記画像のフォーカスサブ画像の細部のビューであり、前記フォーカスパネル画像の上にあり且つそれと隣接する前記ディスプレイ面の一部を占有する第１のサイドパネル画像を有し、前記第１のサイドパネル画像が第１の角度でビューされる前記フォーカスサブ画像の上にあり且つそれと隣接する前記画像の第１のサイドサブ画像の透視ビューを示し、前記フォーカスパネル画像の右側に隣接する前記ディスプレイ面の一部を占有する第２のサイドパネル画像を有し、前記第２のサイドパネル画像が第２の角度でビューされる前記フォーカスサブ画像の右側に隣接する画像の第２のサイドサブ画像の透視ビューを示し、前記フォーカスパネル画像の下にあり且つそれと隣接する前記ディスプレイ面の一部を占有する第３のサイドパネル画像を有し、前記第３のサイドパネル画像が第３の角度でビューされる前記フォーカスサブ画像の下にあり且つそれと隣接する画像の第３のサイドサブ画像の透視ビューを示し、前記フォーカスパネル画像の左側に隣接する前記ディスプレイ面の一部を占有する第４のサイドパネル画像を有し、前記第４のサイドパネル画像が第４の角度でビューされる前記フォーカスサブ画像の左側に隣接する画像の第４のサイドサブ画像の透視ビューを示し、前記第１のサイドパネル画像及び前記第２のサイドパネル画像に隣接する前記ディスプレイ面の一部を占有する第１のコーナーパネルを有し、前記第１のコーナーパネル画像が前記画像の第１のコーナーサブ画像の透視ビューを示し、且つ前記第１のコーナーサブ画像が前記第１のサイドサブ画像及び前記第２のサイドサブ画像に隣接しており、前記第２のサイドパネル画像及び前記第３のサイドパネル画像に隣接する前記ディスプレイ面の一部を占有する第２のコーナーパネルを有し、前記第２のコーナーパネル画像が前記画像の第２のコーナーサブ画像の透視ビューを示し、且つ前記第２のコーナーサブ画像が前記第２のサイドサブ画像及び前記第３のサイドサブ画像に隣接しており、前記第３のサイドパネル画像及び前記第４のサイドパネル画像に隣接する前記ディスプレイ面の一部を占有する第３のコーナーパネルを有し、前記第３のコーナーパネル画像が前記画像の第３のコーナーサブ画像の透視ビューを示し、且つ前記第３のコーナーサブ画像が前記第３のサイドサブ画像及び前記第４のサイドサブ画像に隣接しており、且つ前記第４のサイドパネル画像及び前記第１のサイドパネル画像に隣接する前記ディスプレイ面の一部を占有する第４のコーナーパネルを有し、前記第４のコーナーパネル画像が前記画像の第４のコーナーサブ画像の透視ビューを示し、前記第４のコーナーサブ画像が前記第４のサイドサブ画像及び前記第１のサイドサブ画像に隣接している、画像ディスプレイ装置である。
【００３０】
請求項３に係る本発明は、画像をスケーリングする方法であって、ディスプレイエリア内でフォーカスパネルを配置するステップを有し、画像平面上で矩形を境界付ける画像内で配置されたオブジェクトのセットによって前記画像を記述するステップを有し、前記画像を境界付ける矩形を、フォーカス部分、各々が前記フォーカス部分の一つのエッジと隣接している四つのサイド部分、及び各々が前記フォーカス部分と共通の頂点を有し且つ前記四つのサイド部分の内の二つと共通するエッジを有する四つのコーナー部分へ分割するステップを有し、前記フォーカス部分の前記フォーカスパネルへのフォーカス変換を定義するステップを有し、前記各サイド部分と前記フォーカス部分に共通する軸に沿った空間内で折り曲げられた四つのサイドパネルの透視ビューによって定義された前記四つのサイド部分の各々に対してサイド変換を定義するステップを有し、前記各サイド部分と前記フォーカス部分に共通する軸に沿った空間内で操作された四つのコーナーパネルの透視ビューによって定義された前記四つのコーナー部分の各々に対してコーナー変換を定義し、これによって各コーナーパネルが二つの隣接するサイドパネルとエッジを共有し且つ各コーナーパネルが前記フォーカスパネルと頂点を共有するステップを有し、且つ前記フォーカス、サイド、及びコーナー変換を介して前記オブジェクトのセットをディスプレイ面へレンダリングするステップを有する画像スケーリング方法である。
【００３１】
【実施例】
図２は、本発明によるディスプレイシステム１００を示し、全画像がディスプレイシステムのディスプレイ面へ収まらない時に使用できる画像及び代替画像をこのディスプレイシステムのディスプレイ面へディスプレイするために使用される。
【００３２】
ディスプレイシステム１００は、ディスプレイ面１０４、画像プロセッサ１０６、プロセッサ１０６へのインターフェース１４２を有するマウス１０８、及びプロセッサ１０６へのインターフェース１４４を有するキーボード１１０を含むディスプレイ１０２を備える。ディスプレイ１０２とプロセッサ１０６の間のインターフェース１４０も示されている。特定の実施例においては、ディスプレイ１０２はシリコングラフィックス（Silicon Graphics）によって製造された１２８０×１０２４カラーモニタであり且つ画像プロセッサ１０６はシリコングラフィックスアイリス（Silicon Graphics Iris ）ワークステーションのモデル４Ｄ／４２０ＧＴＸである。他の実施例においては、マウス１０８及び／又はキーボード１１０は他の入力装置によって代用される。
【００３３】
一般に、ディスプレイシステム１００は、ワークステーション又はコンピュータアプリケーションの一部として複数の画像を生成する汎用目的のコンピュータの一部である。例えば、画像はワードプロセッシングプログラム又はドキュメント（文書）データベース検索プログラムによって出力されるマルチページ（複数頁）文書であってもよい。画像は数のスプレッドシート（表計算）、プロジェクト（投射）のタイムライン、及び会計（課金処理）データの時間周期、又は複数周期であってもよい。どんなアプリケーションであっても、ディスプレイシステム１００は、そのアプリケーションによって出力された画像が余りにも大きすぎて、画像の細部（ディテール）を可視化するのに充分な解像度でディスプレイシステム１００によってディスプレイできない場合に最も有用である。ディスプレイ面１０４にディスプレイされた画像は以下に詳細に説明するプロセッサ１０６によって生成される。
【００３４】
図３はプロセッサ１０６を示すブロック図であり、このプロセッサ１０６は、中央処理装置（ＣＰＵ）１３０、ディスプレイされる画像（全画像）の論理表現を記憶するための画像記憶装置１３２、変数及びＣＰＵ１３０の中間（演算）結果を記憶するためのメモリ１３４、及びディスプレイシステム１００の種々の機能を実行するＣＰＵ命令を含むプログラム記憶装置１３６を有する。いくつかの実施例においては、３次元グラフィックス・エンジン１３８を含む。図３はまたインターフェース１４０（ディスプレイ出力）、インターフェース１４２（マウス入力）、及びインターフェース１４４（キーボード入力）を示す。グラフィックス・エンジン１３８は通常、シリコングラフィックスアイリス（Silicon Graphics Iris ）４Ｄ／４２０ＶＧＸのような専用集積回路によって実行される。
【００３５】
ディスプレイシステム１００が操作可能である時、ＣＰＵ１３０は画像記憶装置１３２から全画像を検索し且つインターフェース１４０を介して必要な信号を送り、全画像又は透視シート代替画像のいずれかをディスプレイする。代替画像が使用される場合、全画像内のオブジェクトが通過する全画像の変換が発生し、次いで代替画像はディスプレイ面１０４の特徴（characteristics ）へレンダリング（描写）される。さもなければ、全画像がディスプレイ面１０４の特徴へレンダリングされる。レンダリング処理において使用されるディスプレイ面の特徴は、ディスプレイ（高さ及び幅）における（画素表示されるディスプレイと想定する）画素の数、及び単一画素によってディスプレイすることが可能なカラーの数と範囲を含む。
【００３６】
図４は画像記憶装置１３２（図３参照）に記憶された全画像２００の論理表現である。画像２００は矩形であり、その上にフォーカスパネル２０２が配されている。フォーカスパネル２０２のエッジはライン２０３のような延長線を定義し、それはまた、上部サイドパネル２０４、下部サイドパネル２０６、左サイドパネル２０８、右サイドパネル２１０、及び四つのコーナーパネル２１２のような複数のサイドパネルと複数のコーナーパネルを定義する。各コーナーパネル２１２が一つのコーナーをフォーカスパネル２０２と共有し且つ二つのエッジを隣接サイドパネルと共有していることに注意されたい。ディスプレイ装置が全画像２００を必要な解像度で収容することができる場合、画像２００はそのままディスプレイされる。そうでない場合、画像２００は代替画像へ変換されなければならない。この代替画像は、フォーカスパネル内に必要な細部を示し、且つフォーカス、サイド、及びコーナーパネルの間でコンテクスト情報を保存すると同時にディスプレイ面の境界内へこれらの情報を収める。
【００３７】
図５はこのような透視シート代替画像２００’のディスプレイである。画像２００’は、フォーカスパネル２０２’、上部サイドパネル２０４’、下部サイドパネル２０６’、左サイドパネル２０８’、右サイドパネル２１０’、及び四つのコーナーパネル２１２’を備える。代替画像２００’は、ディスプレイ面１０４がその空間の透視図を示す３次元空間における一連の変換を介して形成される。これらの変換は図６に関してより詳細に示されている。
【００３８】
これらの変換のパラメータは、ビューポイント（視点）とビュープレーン（視平面）とこの視平面へマッピングされるディスプレイ面の境界とフォーカスパネルの３次元の空間配置、このフォーカスパネルに相対する３次元空間内での全画像の配置、及びこれらのサイドパネルが折り曲げられる角度から導出される。これらのパラメータは、サイド及びコーナーのパネルの連続画像によって提供されるコンテクスト情報によって画像の細部を同時にビューするようにユーザによって調整され得る。例えば、細部を増加するため、ビュアーは画像をフォーカスパネルへより接近するように移動し、次いで画像の回りを移動するようにＣＰＵ１３０へコマンドを発行し、ここでユーザはフォーカスパネルの中心へ移動されつつある画像上の点を選択するためにマウスを使用してもよい。一般に、フォーカスパネルは定常であり且つディスプレイ面の中心に置かれ（即ち、視点はフォーカスパネルより上の中心に置かれ）、従って、フォーカスパネルが画像上で移動するというよりもむしろ画像がフォーカスパネルの下で移動するように見える。
【００３９】
図６は、本発明によるディスプレイシステム１００の特定の実施例においてプログラム記憶装置１３６内に記憶されたＣＰＵプログラム命令内に組み込まれたハイレベル機能を記述するフローチャートである。これらの機能はＣＰＵ１３０によって実行され、画像記憶装置１３２に記憶された画像２００から代替画像２００’を発生し且つディスプレイする。他の方法が示されない限り、プログラムのフローはブロック番号順に進む。
【００４０】
ブロック３００において、視平面、視点、及びフォーカス点は３次元空間内に位置する。これはこれらのオブジェクトの位置を表現するためにメモリ１３４において予約された変数へ値を割り当てることによって行われる。一つの実施例において、視点はフォーカスパネルの中心より上に固定され（即ち、同じｘ軸及びｙ軸の座標を有し、）且つ視点はフォーカスパネルに相対する正のｚ値を有する。視平面は最初は画像と平行であり且つ画像と視点の間に置かれる。この時点で、必要ならば、視平面上のディスプレイ面の境界が計算される。
【００４１】
特定の実施例において、ディスプレイ面の境界の座標は、（０、０、０）、（x max 、０、０）（x max 、y max 、０）及び（０、y max 、０）であるように任意に選択され、これによってｚ＝０の平面の正のコードラント（四分円）内に矩形を定義することになる。これは図４に示されている。一旦視点と視平面が配されると、他のオブジェクトも３次元空間内に配されることができ且つこれらの他のオブジェクトの透視ビューが視平面の位置から決定され且つディスプレイされるこれらの他のオブジェクトの部分は、もしあれば、視平面上のディスプレイ面の境界によって決定される。以下にまた参照されるべき特定の実施例において、x max ＝１４４．０ｄｕ（display unit）（ディスプレイユニット）、y max ＝１０８．０ｄｕであり、フォーカスパネルは点（７２．０、５４．０、０．０）で中心に置かれ、１０．０ｄｕの幅、focus width 及び１０．０ｄｕの高さ、focus heightを有する。視点は（７２．０、５４．０、３８．０）にある。３次元空間における全ての座標は、他の方法で示さない限り、ディスプレイユニット（display unit）（ｄｕ）内にある。いくつかの実施例において、視点、視平面、及びフォーカスパネルは互いに関連し合って移動され得る。
【００４２】
ブロック３０１において、ＣＰＵ１３０は全画像即ち全画像の境界のレイアウトだけを３次元空間内に位置する。全画像のレイアウトは必ずしも全画像それ自体ではないが、複雑な画像の場合は簡単に操作された全画像の表現である。以下の実施例において、レイアウトは操作された表面のボーダー（境界線）及び特徴を備える。レイアウトは操作するのが非常に簡単であるので、レイアウトはそのスピードの為に画像に代わりそれ自体が操作される。一旦変換が決定されると、全画像はレイアウト上で行われる変換に従ってレンダリングされることができる。レイアウトの位置決定は通常、レイアウトの四つのコーナーの座標のトリプレット（３ビットバイト）用に可変メモリをメモリ１３４内に確保することによって実行される。画像即ちそのレイアウトは、フォーカスパネルの中心に位置合わせされた画像上で選択されたフォーカス点によってフォーカスパネルと同じ平面内の３次元空間内に置かれる。
【００４３】
次いで、ブロック３０２においては、パネルのボーダーが画像上で配置される。最初に、画像はフォーカスパネル上の中心に置かれる。図４に示したように、一旦画像上のフォーカスパネルの境界が判ると、これらの境界が９つのサブ画像を形成し、これらのサブ画像が、フォーカス、サイド、及びコーナーのパネルに適用される。また、これは通常、パネルのコーナーに対する値へこの目的のために確保された変数をセットすることによって実行される。フォーカスパネルの四つのコーナーの位置はそれぞれ四つの点（focus x ,focus y, 0）、（focus x ＋focus width, focus y , 0 ）、（focus x ＋focus width, focus y ＋focus height, 0 ）、及び（0, focus y ＋focus height, 0 ）によって表現されることができ、ここでfocus x と focus y は画像上のフォーカスパネルの下部左コーナーを定義し、且つfocus width とfocus lengthは画像上のフォーカスパネルのサイズを定義する。或いはfocus x と focus y がフォーカスパネルの中心を定義することもある。
【００４４】
次いで、ブロック３０３において、ＣＰＵ１３０は全画像内のオブジェクトが種々のパネル上に現れる場所を識別する。画像が複数ページ文書の画像である場合、このステップは、文書を行やページへ解析（パージング）し、何ページ必要かを決定し、且つそれらのページを２次元のページ配列に置くことを含む。以下の例において、矩形の画像及び矩形のフォーカスパネルが想定される。上記の例のどのオブジェクト即ちページがどのパネル上に現れるかを識別することが、各パネルがレンダリングされるステップ３０８で使用される。
【００４５】
パネルの境界に相対して画像内でオブジェクトを配置した後、ＣＰＵ１３０はブロック３０４へ進む。ブロック３０４において、ＣＰＵ１３０はサイドパネルごとに折り角度を決定する。種々の実施例において、折り角度は、固定されたり、ビュアーによってセットされたり、ディスプレイ面の視点から境界付けられる立体角から計算されたり、又は上記を組み合わせることによって決定される。折り角度が変数である場合、メモリ１３４内に記憶された様々な変数であるtop fold、 right fold、bottom fold、及び left foldが、これらの折り曲げの値を保持してもよい。本明細書中に使用されているように、折り曲げの角度は折られたサイドパネルがｚ＝０平面となす角度を指す。サイドパネルは、これらのサイドパネルがディスプレイ面によって定義される立体角内に収まるようにｚ＜０で半空間折り曲げられる。この角度は０度（パネルが折り曲げられない）乃至９０度より少ない角度の範囲に及ぶ。９０度（直角）の折り曲げは、折られたサイドパネルが視点から見えないのであまり有用ではない。これらのサイドパネルはフォーカスパネルと共通して有するエッジの回りを回転し、これによってコンテクスト及び連続性が折り曲げを横切って保存される。
【００４６】
折り角度を決定する一つの方法は、例えば、上部と下部のサイドパネルに対しては７０度及び左右のサイドパネルに対しては６０度で折り曲げを固定するような角度でそれらを単純にセットすることである。他の方法は、ビュアーに折り角度を変えるコマンドを入力させることである。さらに他の方法は、ディスプレイ面内のどれだけの領域が利用可能であるかを計算して、これらの透視投射がディスプレイ面内に収まるまでサイドパネルを折り曲げることである。例えば、上部パネルに対する折り角度が計算されると仮定する。最初に、視平面上のフォーカスパネルへの投影の上部エッジから視平面上のディスプレイ面の上部エッジまでの距離が測定される。次いで、上部パネルの高さが測定される。これらの二つの値、フォーカスパネルのパラメータ及び視点の位置から、ＣＰＵ１３０は上部パネル全体をディスプレイ面のビューへ収めるのに必要な最小の折り角度を計算することができる。
【００４７】
四つのサイドパネルに対する折り角度が一旦決定されると、ＣＰＵ１３０はブロック３０５へ進む。ブロック３０５において、ＣＰＵ１３０は折り角度を介してサイドパネルを折り曲げる。グラフィックス（図形）・エンジン１３８が使用される場合、サイドパネルの変換がグラフィックス・エンジン１３８によって実行される。或いは、ＣＰＵ１３０はサイドパネルの新しいコーナー及びそれらの視平面への投射を計算する。一旦サイドパネルが適所に配されると、ＣＰＵ１３０はブロック３０６へ進む。
【００４８】
ブロッック３０６において、四つのコーナーパネルがサイドパネルと再結合するために移動される。サイドパネルが折られた時、これらのコーナーパネルは、コーナーパネルの二つの隣接するサイドパネル及びフォーカスパネルにタッチ（接触）している１つの点を除いてはそれらと隣接するサイドパネルに取り付けられない。タッチングコーナーでのコーナーパネルの角度は直角であり、且つ前に隣接していた二つのサイドパネルのエッジ同士の間の角度はもはや直角ではないので、コーナーパネルはタッチングコーナーがこれらの二つの隣接するサイドパネルのエッジが成す角度に等しい角度を有するように切られる。この例は図５に示され、ここで、タッチング点２２０でサイドパネルエッジ２２２と２２４が角度Ａを定義している。
【００４９】
一旦ＣＰＵ１３０がコーナーパネルを剪断すると、ＣＰＵ１３０はコーナーパネルを回転し、次いでそれを折り曲げて二つの隣接するサイドパネルを再結合する。いくつかの実施例においては、当然、剪断、回転、及び折り曲げのステップが異なる順序で実行されてもよい。その隣接するサイドパネルの特定の折り角度に依存して、コーナーパネルは一つのサイドパネルと再結合するために１回折り曲げられてもよく、次いで、他のサイドパネルのエッジと再結合するため、再結合されたエッジに沿って折り曲げられてもよい。
【００５０】
折り曲げ後、フォーカスパネルと続いているサイドパネルと、折り曲げ後、サイドパネルと続いているコーナーパネルによって、ディスプレイ面の立体角内で全画像のレイアウトを有している３次元の連続的に折られた面が作成される。
【００５１】
ブロック３０７において、全画像を一体化する３次元の折られた面が視平面へ投射される。サイドパネルとコーナーパネルがｚ＝０の平面と成す角度で折られたので、それらの透視投射は頭を上にしてビューした場合よりも小さくなり、且つ画像の細部はフォーカスパネルよりさらに小さくなる。
【００５２】
ブロック３０８において、ＣＰＵ１３０はフォーカス、サイド、及びコーナーパネルの各々をレンダリングする。パネルは、ディスプレイ面へのパネルの投射の境界を識別し、これらの境界内にあるディスプレイ装置の画素を識別し、元の全画像上のパネルの境界を識別し、そのパネルに対して計算された変換を用いて元の全画像のレンダリング点へディスプレイ装置の画素をマッピングし、元の全画像のレンダリング点ごとに画素カラーを決定し、次いでこれらの画素カラーをディスプレイ装置の画素へ割り当てることによってレンダリングされる。フォーカスパネル及びディスプレイ面の３次元空間への配置によって、フォーカスパネルの変換は、（３次元空間内の視点からはるかに離れている）サイド又はコーナーのパネルの離れたエッジ近傍のレンダリング点の濃度より高い濃度セットの全画像のフォーカスパネル上のレンダリング点を生じる。これによって、フォーカスパネルはより微細な細部で現われ、且つパネルはフラット（平坦）であり且つ３次元空間において連続的であるのでコンテクスト情報が保存される。パネルがフラットであるので、変換の演算は単純であり、これによって得られた画像は識別可能に保たれる。レンダリング速度の改善の為には、画像がテキストであれば、サイド及びコーナーパネル内のテキストが常時又は画像移動の間だけグリーキング（読みにくいテキストを表現するための方法）されてもよい。グリーキングが使用される場合、フォーカスパネル内のテキストはそのテキスト用のフォントでレンダリングされるが、サイド及びコーナーパネル内のテキストはグリーキングされたフォントでレンダリングされる。グリーキングされたフォントにおいて、テキストの行は単一行としてレンダリングされる。
【００５３】
特定のパネル上で呼び出す全画像のオブジェクトが識別された場合、与えられたパネル上でその全体も部分も現れない全てのオブジェクトは、そのパネルがレンダリングされている時に全画像から取り除くことができる。
【００５４】
いくつかの実施例において画像をレンダリングした後で、ＣＰＵ１３０はブロック３０９、３１０、オブジェクト３１１によって示される一つ又はそれより多くの任意のステップを実行する。ブロック３０９において、サイド及びコーナーパネル上の画像部分を可視に保ちながら、これらのサイド及びコーナーパネルは、フォーカスパネルへビュアーの注意を向けるためにシェーディング（射影付け）される。ブロック３１０においては、望まれれば、ＣＰＵ１３０はこれらのパネルの回りに境界線を追加する。或いは、ＣＰＵ１３０はフォーカスパネルの回りにだけ境界線を追加することもある。
【００５５】
ブロック３１１において、フレームバッファを使用している場合、これらのバッファはこのブロックでスワッピング（交換）される。フレームバッファは現在ディスプレイされているように画像を操作することが所望されない場合に使用される。このような場合、画像はディスプレイされているフレームバッファではない一つのフレームバッファへレンダリングされ、そのフレームバッファは現在ディスプレイとなるためにスワッピングされる。次いで他のフレームバッファは引き続く画像のレンダリングを形成するために使用される。
【００５６】
ブロック３１２において、いくつかの所定の終了条件が合った場合、ＣＰＵ１３０はプログラムを終了する。そうでない場合はブロック３１３へ進む。ブロック３１３において、ＣＰＵ１３０は移動コマンドをチェックして、フォーカス面に相対して画像を移動するか（パン）又は視点を拡大縮小して移動するか（ズーム）を決定し、且つ許容される実施例において、ＣＰＵ１３０は視点移動コマンドをチェックする。移動コマンドが入力されなかった場合、ＣＰＵ１３０はブロック３１２へ戻るか、或いはブロック３００へループバックして、移動コマンドに基づいて新しいディスプレイを作成する。
【００５７】
図７及び図８は透視シートである代替画像の例である。図７における全画像は画像のほぼ中心にある"Read me if you can.（できれば私を読み取りなさい）" のセンテンスを有する均一グリッドである。図７はそのグリッドによって各パネルに対してどのように画像が形付けられるかを示す。図８における全画像は６×３のページアレイにおける１７ページ文書である。上記のブロック３０８（図６）に説明されているように図８のディスプレイのレンダリングにおいて、１ページのみを有する簡単化された画像はフォーカスパネルをレンダリングするために使用されるが、左のサイドパネルは３ページの簡単化された画像を使用することができる。他のパネルに対するレンダリングも同様に簡単化される。
【００５８】
上記の説明は例示目的であり、この例に限定するものではない。この開示内容を検討すれば、本発明の多くの変形が可能であることが技術上の当業者に容易に理解されよう。
【００５９】
例えば、本明細書中に使用されている「ディスプレイ装置」又はディスプレイシステムは、対話的な画像ディスプレイのためにはコンピュータモニタが好ましいが、コンピュータモニタ、プリンタ、その他であってもよい。ディスプレイシステムはまた、ディスプレイ（表示）の前に画像の専用処理のために画像プロセッサ又は他のコンピュータシステムを含んでいてもよい。ディスプレイ装置はまた、それが画像をディスプレイしたように振る舞うが実際には画像をディスプレイしない装置であってもよい。例えば、ファクシミリ装置は、コンピュータディスプレイとほぼ同様に画像操作をするが、必ずしも画像をディスプレイするわけではなく、代わりに、提供された画像をディスプレイする他のシステムへその画像を送る。
【００６０】
従って、本発明の範囲は上記の説明によってではなく、同等の全範囲を有する添付請求項によって決定されるべきである。
【００６１】
参考に透視シートディスプレイシステムの特定の実施例用のソースコードのリストを本願の参考資料として添付する。
【００６２】
【発明の効果】
本発明は、細部の拡大と画像内でのその細部のコンテクスト保存の両方を必要とするが画像をディスプレイ装置へ収めるための改良されたディスプレイシステムを提供する。
【図面の簡単な説明】
【図１】拡大が画像の部分を不明瞭にする過程を示す図である。
【図２】画像プロセッサを含む本発明の一つの実施例による画像ディスプレイシステムを示す図である。
【図３】図２に示した画像プロセッサのブロック図である。
【図４】パネルへ分割された全画像を示す図である。
【図５】図４に示した全画像の分割をベースとしてディスプレイ面の境界内にディスプレイされた透視シートの形態における代替画像のレイアウトを示す図である。
【図６】本発明により透視シート代替画像を発生するプロセスを記述するフローチャートを示す図である。
【図７】一つのセンテンスと均一グリッドを有するテキスト文書である全画像に対する透視シート代替画像を示す図である。
【図８】数ページのテキスト文書である全画像に対する透視シート代替画像を示す図である。
【符号の説明】
１００ ディスプレイシステム
１０２ ディスプレイ
１０４ ディスプレイ面
１０６ プロセッサ
１０８ マウス
１１０ キーボード
１４０、１４２、１４４ インターフェース
Claims (3)
- 画像があまり詳細過ぎて、ディスプレイ面へ全てを同時ディスプレイできない時、コンテクスト及び細部情報を保存しながら、前記ディスプレイ面上に前記画像をディスプレイするための方法であって、
前記画像内に現れるオブジェクトを表示するデータブロックを記憶するステップを有し、全画像が、前記データブロックから情報を損失せずに発生された画像であり、
視点を３次元の空間内に配するステップを有し、
前記ディスプレイ面の表示を前記空間内に配するステップを有し、前記表示が前記ディスプレイ面の境界に対応する境界によって境界付けられ、
前記空間内にフォーカスパネルを配するステップを有し、前記フォーカスパネルが前記ディスプレイ面の前記表示の前記境界内に配され、
前記全画像を表示するレイアウトを前記空間内の前記フォーカスパネル、四つのサイドパネル、及び四つのコーナーパネルと一致するレイアウト平面へマッピングするステップを有し、前記四つのサイドパネルが前記フォーカスパネルのエッジ、前記フォーカスパネルの前記エッジの延長部、及び前記レイアウトのエッジによって定義され、且つ前記四つのコーナーパネルが前記サイドパネルのエッジ及び前記レイアウトのエッジによって定義され、
前記空間内の前記サイドパネルを、前記フォーカスパネルと隣接する前記サイドパネルのエッジによって定義される回転の軸の回りを前記レイアウト平面から離れるように折り曲げるステップを有し、
折り曲げる前のサイドパネルエッジと一致するコーナーパネルエッジが再び前記サイドパネルエッジと一致するように前記コーナーパネルを操作するステップを有し、
前記空間内の折り曲げられた面上にレンダリングされた画像を形成するために前記フォーカスパネル、前記サイドパネル、及び前記コーナーパネルへ前記画像をレンダリングするステップを有し、且つ
前記折り曲げられた面の透視ビューをディスプレイするステップ
を有する画像ディスプレイ方法。 - 画像の細部において詳細情報内容及び前記画像内への前記細部の配置においてコンテクスト情報を含む画像をディスプレイするための画像ディスプレイ装置であって、
ディスプレイ面を有し、
前記ディスプレイ面の一部を占有するフォーカスパネル画像を有し、前記フォーカスパネル画像が前記画像のフォーカスサブ画像の細部のビューであり、
前記フォーカスパネル画像の上にあり且つそれと隣接する前記ディスプレイ面の一部を占有する第１のサイドパネル画像を有し、前記第１のサイドパネル画像が第１の角度でビューされる前記フォーカスサブ画像の上にあり且つそれと隣接する前記画像の第１のサイドサブ画像の透視ビューを示し、
前記フォーカスパネル画像の右側に隣接する前記ディスプレイ面の一部を占有する第２のサイドパネル画像を有し、前記第２のサイドパネル画像が第２の角度でビューされる前記フォーカスサブ画像の右側に隣接する画像の第２のサイドサブ画像の透視ビューを示し、
前記フォーカスパネル画像の下にあり且つそれと隣接する前記ディスプレイ面の一部を占有する第３のサイドパネル画像を有し、前記第３のサイドパネル画像が第３の角度でビューされる前記フォーカスサブ画像の下にあり且つそれと隣接する画像の第３のサイドサブ画像の透視ビューを示し、
前記フォーカスパネル画像の左側に隣接する前記ディスプレイ面の一部を占有する第４のサイドパネル画像を有し、前記第４のサイドパネル画像が第４の角度でビューされる前記フォーカスサブ画像の左側に隣接する画像の第４のサイドサブ画像の透視ビューを示し、
前記第１のサイドパネル画像及び前記第２のサイドパネル画像に隣接する前記ディスプレイ面の一部を占有する第１のコーナーパネルを有し、前記第１のコーナーパネル画像が前記画像の第１のコーナーサブ画像の透視ビューを示し、且つ前記第１のコーナーサブ画像が前記第１のサイドサブ画像及び前記第２のサイドサブ画像に隣接しており、
前記第２のサイドパネル画像及び前記第３のサイドパネル画像に隣接する前記ディスプレイ面の一部を占有する第２のコーナーパネルを有し、前記第２のコーナーパネル画像が前記画像の第２のコーナーサブ画像の透視ビューを示し、且つ前記第２のコーナーサブ画像が前記第２のサイドサブ画像及び前記第３のサイドサブ画像に隣接しており、
前記第３のサイドパネル画像及び前記第４のサイドパネル画像に隣接する前記ディスプレイ面の一部を占有する第３のコーナーパネルを有し、前記第３のコーナーパネル画像が前記画像の第３のコーナーサブ画像の透視ビューを示し、且つ前記第３のコーナーサブ画像が前記第３のサイドサブ画像及び前記第４のサイドサブ画像に隣接しており、
且つ前記第４のサイドパネル画像及び前記第１のサイドパネル画像に隣接する前記ディスプレイ面の一部を占有する第４のコーナーパネルを有し、前記第４のコーナーパネル画像が前記画像の第４のコーナーサブ画像の透視ビューを示し、前記第４のコーナーサブ画像が前記第４のサイドサブ画像及び前記第１のサイドサブ画像に隣接している、
画像ディスプレイ装置。 - 画像をスケーリングする方法であって、
ディスプレイエリア内でフォーカスパネルを配置するステップを有し、
画像平面上で矩形を境界付ける画像内で配置されたオブジェクトのセットによって前記画像を記述するステップを有し、
前記画像を境界付ける矩形を、フォーカス部分、各々が前記フォーカス部分の一つのエッジと隣接している四つのサイド部分、及び各々が前記フォーカス部分と共通の頂点を有し且つ前記四つのサイド部分の内の二つと共通するエッジを有する四つのコーナー部分へ分割するステップを有し、
前記フォーカス部分の前記フォーカスパネルへのフォーカス変換を定義するステップを有し、
前記各サイド部分と前記フォーカス部分に共通する軸に沿った空間内で折り曲げられた四つのサイドパネルの透視ビューによって定義された前記四つのサイド部分の各々に対してサイド変換を定義するステップを有し、
前記各サイド部分と前記フォーカス部分に共通する軸に沿った空間内で操作された四つのコーナーパネルの透視ビューによって定義された前記四つのコーナー部分の各々に対してコーナー変換を定義し、これによって各コーナーパネルが二つの隣接するサイドパネルとエッジを共有し且つ各コーナーパネルが前記フォーカスパネルと頂点を共有するステップを有し、且つ
前記フォーカス、サイド、及びコーナー変換を介して前記オブジェクトのセットをディスプレイ面へレンダリングするステップ
を有する画像スケーリング方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14423893A | 1993-10-27 | 1993-10-27 | |
| US144238 | 2009-01-13 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07181951A JPH07181951A (ja) | 1995-07-21 |
| JP3697276B2 true JP3697276B2 (ja) | 2005-09-21 |
Family
ID=22507697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25221594A Expired - Fee Related JP3697276B2 (ja) | 1993-10-27 | 1994-10-18 | 画像ディスプレイ方法及び画像ディスプレイ装置並びに画像スケーリング方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5689287A (ja) |
| EP (1) | EP0651350B1 (ja) |
| JP (1) | JP3697276B2 (ja) |
| DE (1) | DE69428323T2 (ja) |
Families Citing this family (265)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6397233B1 (en) * | 1995-11-22 | 2002-05-28 | Fujitsu Limited | Document processing apparatus and computer program product therefor |
| US6127990A (en) * | 1995-11-28 | 2000-10-03 | Vega Vista, Inc. | Wearable display and methods for controlling same |
| US5754348A (en) * | 1996-05-14 | 1998-05-19 | Planetweb, Inc. | Method for context-preserving magnification of digital image regions |
| US6198483B1 (en) * | 1997-01-30 | 2001-03-06 | Ken Launais | Motion user interface |
| US6417866B1 (en) * | 1997-02-26 | 2002-07-09 | Ati Technologies, Inc. | Method and apparatus for image display processing that reduces CPU image scaling processing |
| US6043824A (en) * | 1997-06-27 | 2000-03-28 | Xerox Corporation | Composing layered synthetic graphics filters with limited scopes of operation |
| US6072501A (en) * | 1997-06-27 | 2000-06-06 | Xerox Corporation | Method and apparatus for composing layered synthetic graphics filters |
| US6044385A (en) * | 1997-09-10 | 2000-03-28 | International Business Machines Corporation | Method and system for efficiently managing the manipulation of large documents displayed within a computer screen |
| US6260044B1 (en) * | 1998-02-04 | 2001-07-10 | Nugenesis Technologies Corporation | Information storage and retrieval system for storing and retrieving the visual form of information from an application in a database |
| US6459439B1 (en) * | 1998-03-09 | 2002-10-01 | Macromedia, Inc. | Reshaping of paths without respect to control points |
| US6166738A (en) * | 1998-09-14 | 2000-12-26 | Microsoft Corporation | Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects |
| US6243093B1 (en) | 1998-09-14 | 2001-06-05 | Microsoft Corporation | Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and which visually groups matching objects |
| US6414677B1 (en) | 1998-09-14 | 2002-07-02 | Microsoft Corporation | Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and which visually groups proximally located objects |
| US6160553A (en) * | 1998-09-14 | 2000-12-12 | Microsoft Corporation | Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and in which object occlusion is avoided |
| US6188405B1 (en) | 1998-09-14 | 2001-02-13 | Microsoft Corporation | Methods, apparatus and data structures for providing a user interface, which exploits spatial memory, to objects |
| EP1116211A4 (en) | 1998-09-22 | 2001-11-21 | Vega Vista Inc | INTUITIVE CONTROL OF A PORTABLE DATA PRESENTATION SCREEN |
| US7071949B1 (en) * | 1998-11-18 | 2006-07-04 | Microsoft Corporation | View dependent tiled textures |
| GB2344453B (en) * | 1998-12-01 | 2002-12-11 | Eidos Technologies Ltd | Multimedia editing and composition system having temporal display |
| JP3612458B2 (ja) * | 1998-12-11 | 2005-01-19 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 映像遷移管理システム及び方法、並びにコンピュータ読み取り可能なプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US6486898B1 (en) | 1999-03-31 | 2002-11-26 | Koninklijke Philips Electronics N.V. | Device and method for a lattice display |
| US6417867B1 (en) * | 1999-05-27 | 2002-07-09 | Sharp Laboratories Of America, Inc. | Image downscaling using peripheral vision area localization |
| US6326988B1 (en) * | 1999-06-08 | 2001-12-04 | Monkey Media, Inc. | Method, apparatus and article of manufacture for displaying content in a multi-dimensional topic space |
| US7263667B1 (en) * | 1999-06-09 | 2007-08-28 | Microsoft Corporation | Methods, apparatus and data structures for providing a user interface which facilitates decision making |
| US7434177B1 (en) | 1999-12-20 | 2008-10-07 | Apple Inc. | User interface for providing consolidation and access |
| JP2001188639A (ja) * | 1999-12-28 | 2001-07-10 | Internatl Business Mach Corp <Ibm> | 拡大および縮小領域を表示する方法および装置 |
| US6686938B1 (en) * | 2000-01-05 | 2004-02-03 | Apple Computer, Inc. | Method and system for providing an embedded application toolbar |
| US7082436B1 (en) | 2000-01-05 | 2006-07-25 | Nugenesis Technologies Corporation | Storing and retrieving the visual form of data |
| US6750886B1 (en) * | 2000-01-26 | 2004-06-15 | Donald B. Bergstedt | Method and software for displaying information on a display area of a screen of an electronic device |
| US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| US6938218B1 (en) | 2000-04-28 | 2005-08-30 | James Nolen | Method and apparatus for three dimensional internet and computer file interface |
| GB2366978A (en) * | 2000-09-15 | 2002-03-20 | Ibm | GUI comprising a rotatable 3D desktop |
| CA2323569A1 (en) * | 2000-10-18 | 2002-04-18 | Advanced Numerical Methods Ltd. | Elastic presentation space |
| US7134092B2 (en) * | 2000-11-13 | 2006-11-07 | James Nolen | Graphical user interface method and apparatus |
| CA2328795A1 (en) * | 2000-12-19 | 2002-06-19 | Advanced Numerical Methods Ltd. | Applications and performance enhancements for detail-in-context viewing technology |
| ITMI20010538A1 (it) * | 2001-03-14 | 2002-09-14 | Phoenix Tools S R L | Sistema per la creazione la visualizzazione e la gestione di oggetti tridimensionali su pagine web e metodo relativo |
| JP3597792B2 (ja) * | 2001-04-05 | 2004-12-08 | コナミ株式会社 | ３次元画像処理方法、装置、３次元画像処理プログラム及びビデオゲーム装置 |
| CA2345803A1 (en) | 2001-05-03 | 2002-11-03 | Idelix Software Inc. | User interface elements for pliable display technology implementations |
| US8416266B2 (en) | 2001-05-03 | 2013-04-09 | Noregin Assetts N.V., L.L.C. | Interacting with detail-in-context presentations |
| US8035635B2 (en) * | 2001-05-22 | 2011-10-11 | Yoav Shefi | Method and system for displaying visual content in a virtual three-dimensional space |
| US7213214B2 (en) * | 2001-06-12 | 2007-05-01 | Idelix Software Inc. | Graphical user interface with zoom for detail-in-context presentations |
| US7084886B2 (en) | 2002-07-16 | 2006-08-01 | Idelix Software Inc. | Using detail-in-context lenses for accurate digital image cropping and measurement |
| US9760235B2 (en) | 2001-06-12 | 2017-09-12 | Callahan Cellular L.L.C. | Lens-defined adjustment of displays |
| US20030034990A1 (en) * | 2001-08-17 | 2003-02-20 | Roelofs Gregory Robert | Nonlinear display method for data of infinite extent |
| JP3577016B2 (ja) * | 2001-08-24 | 2004-10-13 | コナミ株式会社 | ３次元画像処理プログラム、３次元画像処理方法及びビデオゲーム装置 |
| US6956979B2 (en) | 2001-10-04 | 2005-10-18 | International Business Machines Corporation | Magnification of information with user controlled look ahead and look behind contextual information |
| CA2361341A1 (en) | 2001-11-07 | 2003-05-07 | Idelix Software Inc. | Use of detail-in-context presentation on stereoscopically paired images |
| CA2370752A1 (en) * | 2002-02-05 | 2003-08-05 | Idelix Software Inc. | Fast rendering of pyramid lens distorted raster images |
| US7249327B2 (en) * | 2002-03-22 | 2007-07-24 | Fuji Xerox Co., Ltd. | System and method for arranging, manipulating and displaying objects in a graphical user interface |
| US7308421B2 (en) * | 2002-04-12 | 2007-12-11 | Vendavo, Inc. | System and method for grouping products in a catalog |
| US7233928B2 (en) * | 2002-04-12 | 2007-06-19 | Vendavo, Inc. | Rule-based system for determining price adjustments in a product catalog |
| US7912792B2 (en) * | 2002-07-12 | 2011-03-22 | Vendavo, Inc. | Systems and methods for making margin-sensitive price adjustments in an integrated price management system |
| US8120624B2 (en) | 2002-07-16 | 2012-02-21 | Noregin Assets N.V. L.L.C. | Detail-in-context lenses for digital image cropping, measurement and online maps |
| CA2393887A1 (en) | 2002-07-17 | 2004-01-17 | Idelix Software Inc. | Enhancements to user interface for detail-in-context data presentation |
| CA2406131A1 (en) | 2002-09-30 | 2004-03-30 | Idelix Software Inc. | A graphical user interface using detail-in-context folding |
| CA2449888A1 (en) | 2003-11-17 | 2005-05-17 | Idelix Software Inc. | Navigating large images using detail-in-context fisheye rendering techniques |
| CA2411898A1 (en) | 2002-11-15 | 2004-05-15 | Idelix Software Inc. | A method and system for controlling access to detail-in-context presentations |
| US7015912B2 (en) * | 2003-01-13 | 2006-03-21 | Vendavo, Inc. | System and method for the visual display of data in an interactive zebra chart |
| JP2004252245A (ja) * | 2003-02-21 | 2004-09-09 | Graphin:Kk | コンピュータ支援による教育訓練装置及び方法並びにプログラム |
| KR101007798B1 (ko) * | 2003-12-08 | 2011-01-14 | 엘지전자 주식회사 | 디지털방송수신기의 주영상의 일부영역에 대한 스케일링방법 |
| US7486302B2 (en) | 2004-04-14 | 2009-02-03 | Noregin Assets N.V., L.L.C. | Fisheye lens graphical user interfaces |
| US8106927B2 (en) | 2004-05-28 | 2012-01-31 | Noregin Assets N.V., L.L.C. | Graphical user interfaces and occlusion prevention for fisheye lenses with line segment foci |
| US20060004861A1 (en) * | 2004-05-28 | 2006-01-05 | Albanese Michael J | System and method for displaying price modeling data |
| US20050278227A1 (en) * | 2004-05-28 | 2005-12-15 | Niel Esary | Systems and methods of managing price modeling data through closed-loop analytics |
| US8458060B2 (en) * | 2004-05-28 | 2013-06-04 | Vendavo, Inc. | System and method for organizing price modeling data using hierarchically organized portfolios |
| US7640198B1 (en) | 2004-05-28 | 2009-12-29 | Vendavo, Inc. | System and method for generating and displaying indexed price modeling data |
| GB2415562B (en) * | 2004-06-23 | 2007-11-21 | Hewlett Packard Development Co | Image processing |
| US9317945B2 (en) | 2004-06-23 | 2016-04-19 | Callahan Cellular L.L.C. | Detail-in-context lenses for navigation |
| US7490295B2 (en) | 2004-06-25 | 2009-02-10 | Apple Inc. | Layer for accessing user interface elements |
| US7173619B2 (en) * | 2004-07-08 | 2007-02-06 | Microsoft Corporation | Matching digital information flow to a human perception system |
| US20060022979A1 (en) * | 2004-07-27 | 2006-02-02 | Jonathan Sevy | Method and apparatus for presenting information with varying levels of detail |
| US8396814B1 (en) | 2004-08-09 | 2013-03-12 | Vendavo, Inc. | Systems and methods for index-based pricing in a price management system |
| US20060031179A1 (en) * | 2004-08-09 | 2006-02-09 | Vendavo, Inc. | Systems and methods for making margin-sensitive price adjustments in an integrated price management system |
| US7613626B1 (en) | 2004-08-09 | 2009-11-03 | Vendavo, Inc. | Integrated price management systems with future-pricing and methods therefor |
| US20060047574A1 (en) * | 2004-08-27 | 2006-03-02 | Shankar Sundaram | Methods and systems for managing hierarchically organized objects in a pricing adjustment system |
| US7714859B2 (en) | 2004-09-03 | 2010-05-11 | Shoemaker Garth B D | Occlusion reduction and magnification for multidimensional data presentations |
| US7715656B2 (en) * | 2004-09-28 | 2010-05-11 | Qualcomm Incorporated | Magnification and pinching of two-dimensional images |
| US7995078B2 (en) | 2004-09-29 | 2011-08-09 | Noregin Assets, N.V., L.L.C. | Compound lenses for multi-source data presentation |
| US8744852B1 (en) | 2004-10-01 | 2014-06-03 | Apple Inc. | Spoken interfaces |
| US7360697B1 (en) | 2004-11-18 | 2008-04-22 | Vendavo, Inc. | Methods and systems for making pricing decisions in a price management system |
| JP4900640B2 (ja) * | 2005-03-30 | 2012-03-21 | 京セラ株式会社 | 携帯端末装置およびその文書表示制御方法 |
| US7580036B2 (en) * | 2005-04-13 | 2009-08-25 | Catherine Montagnese | Detail-in-context terrain displacement algorithm with optimizations |
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US8031206B2 (en) | 2005-10-12 | 2011-10-04 | Noregin Assets N.V., L.L.C. | Method and system for generating pyramid fisheye lens detail-in-context presentations |
| US7752556B2 (en) | 2005-10-27 | 2010-07-06 | Apple Inc. | Workflow widgets |
| US7707514B2 (en) | 2005-11-18 | 2010-04-27 | Apple Inc. | Management of user interface elements in a display environment |
| EP1958090A4 (en) * | 2005-12-07 | 2008-12-03 | 3Dlabs Inc Ltd | METHOD FOR MANIPULATING WEBSITES |
| KR100723212B1 (ko) | 2005-12-09 | 2007-05-29 | 엘지전자 주식회사 | 화면 분할 표시 기능을 구비한 전자 단말기 및 그 화면표시 방법 |
| US7657848B2 (en) * | 2006-01-09 | 2010-02-02 | Sas Institute Inc. | Computer-implemented node-link processing systems and methods |
| US7983473B2 (en) | 2006-04-11 | 2011-07-19 | Noregin Assets, N.V., L.L.C. | Transparency adjustment of a presentation |
| US8301487B2 (en) * | 2006-05-02 | 2012-10-30 | Vendavo, Inc. | System and methods for calibrating pricing power and risk scores |
| US20090259522A1 (en) * | 2006-05-02 | 2009-10-15 | Jamie Rapperport | System and methods for generating quantitative pricing power and risk scores |
| GB0613508D0 (en) * | 2006-07-07 | 2006-08-16 | Spiratech Ltd | Apparatus and method for magnifying an image |
| US7680686B2 (en) * | 2006-08-29 | 2010-03-16 | Vendavo, Inc. | System and methods for business to business price modeling using price change optimization |
| WO2008030236A1 (en) * | 2006-09-06 | 2008-03-13 | Ken Launais | Parallel temporal synchronization of inter-looping circular chained indexes |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US20080065992A1 (en) * | 2006-09-11 | 2008-03-13 | Apple Computer, Inc. | Cascaded display of video media |
| US8218895B1 (en) * | 2006-09-27 | 2012-07-10 | Wisconsin Alumni Research Foundation | Systems and methods for generating and displaying a warped image using fish eye warping |
| US8570278B2 (en) | 2006-10-26 | 2013-10-29 | Apple Inc. | Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker |
| US7856605B2 (en) | 2006-10-26 | 2010-12-21 | Apple Inc. | Method, system, and graphical user interface for positioning an insertion marker in a touch screen display |
| FR2912238B1 (fr) * | 2007-02-01 | 2009-07-10 | Valeo Vision Sa | Procede de traitement d'images prises par une camera embarquee sur vehicule. |
| US8972898B2 (en) * | 2007-02-06 | 2015-03-03 | Novell Intellectual Properties, Inc. | Techniques for representing and navigating information in three dimensions |
| US7904355B1 (en) | 2007-02-20 | 2011-03-08 | Vendavo, Inc. | Systems and methods for a revenue causality analyzer |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| TWI418200B (zh) * | 2007-04-20 | 2013-12-01 | Lg Electronics Inc | 行動式終端機與其螢幕顯示方法 |
| US20080282153A1 (en) * | 2007-05-09 | 2008-11-13 | Sony Ericsson Mobile Communications Ab | Text-content features |
| CA2601154C (en) | 2007-07-07 | 2016-09-13 | Mathieu Audet | Method and system for distinguising elements of information along a plurality of axes on a basis of a commonality |
| US8954871B2 (en) | 2007-07-18 | 2015-02-10 | Apple Inc. | User-centric widgets and dashboards |
| US9026938B2 (en) | 2007-07-26 | 2015-05-05 | Noregin Assets N.V., L.L.C. | Dynamic detail-in-context user interface for application access and content access on electronic displays |
| US8601392B2 (en) * | 2007-08-22 | 2013-12-03 | 9224-5489 Quebec Inc. | Timeline for presenting information |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US8412598B2 (en) | 2008-02-06 | 2013-04-02 | John Early | Systems and methods for a causality analyzer |
| CA2657835C (en) | 2008-03-07 | 2017-09-19 | Mathieu Audet | Documents discrimination system and method thereof |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| TW201003421A (en) * | 2008-04-28 | 2010-01-16 | Alexandria Invest Res And Technology Llc | Adaptive knowledge platform |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| KR101484278B1 (ko) * | 2008-06-16 | 2015-01-19 | 삼성전자주식회사 | 비선형 압축을 이용한 맵 표시 방법 및 장치 |
| US20090309826A1 (en) | 2008-06-17 | 2009-12-17 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Systems and devices |
| US20090310038A1 (en) | 2008-06-17 | 2009-12-17 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Projection in response to position |
| US8641203B2 (en) | 2008-06-17 | 2014-02-04 | The Invention Science Fund I, Llc | Methods and systems for receiving and transmitting signals between server and projector apparatuses |
| US8936367B2 (en) | 2008-06-17 | 2015-01-20 | The Invention Science Fund I, Llc | Systems and methods associated with projecting in response to conformation |
| US8723787B2 (en) | 2008-06-17 | 2014-05-13 | The Invention Science Fund I, Llc | Methods and systems related to an image capture projection surface |
| US8733952B2 (en) | 2008-06-17 | 2014-05-27 | The Invention Science Fund I, Llc | Methods and systems for coordinated use of two or more user responsive projectors |
| US8944608B2 (en) | 2008-06-17 | 2015-02-03 | The Invention Science Fund I, Llc | Systems and methods associated with projecting in response to conformation |
| US8608321B2 (en) | 2008-06-17 | 2013-12-17 | The Invention Science Fund I, Llc | Systems and methods for projecting in response to conformation |
| US8955984B2 (en) | 2008-06-17 | 2015-02-17 | The Invention Science Fund I, Llc | Projection associated methods and systems |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| JP2012510676A (ja) | 2008-12-01 | 2012-05-10 | ビジュアル ドメインズ リミテッド | 仮想３次元空間に表示されたビジュアルコンテンツをブラウズするための方法およびシステム |
| US9959870B2 (en) | 2008-12-11 | 2018-05-01 | Apple Inc. | Speech recognition involving a mobile device |
| US20100235784A1 (en) | 2009-03-16 | 2010-09-16 | Bas Ording | Methods and Graphical User Interfaces for Editing on a Multifunction Device with a Touch Screen Display |
| US20100262931A1 (en) * | 2009-04-10 | 2010-10-14 | Rovi Technologies Corporation | Systems and methods for searching a media guidance application with multiple perspective views |
| CN101876875B (zh) * | 2009-04-28 | 2012-05-30 | 太瀚科技股份有限公司 | 具有局部打印功能的电子白板 |
| CN101546248B (zh) * | 2009-05-05 | 2014-04-09 | 阿里巴巴集团控股有限公司 | 一种级联式选择菜单的呈现方法及装置 |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US20120311585A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Organizing task items that represent tasks to perform |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| KR20110036463A (ko) * | 2009-10-01 | 2011-04-07 | 엘지전자 주식회사 | 이동단말기 및 그의 브라우징 방법 |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| DE112011100329T5 (de) | 2010-01-25 | 2012-10-31 | Andrew Peter Nelson Jerram | Vorrichtungen, Verfahren und Systeme für eine Digitalkonversationsmanagementplattform |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| US9189143B2 (en) * | 2010-04-30 | 2015-11-17 | American Teleconferencing Services, Ltd. | Sharing social networking content in a conference user interface |
| KR20120017649A (ko) * | 2010-08-19 | 2012-02-29 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
| US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
| US9122374B2 (en) | 2011-02-01 | 2015-09-01 | 9224-5489 Quebec Inc. | Expandable and collapsible arrays of documents |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| AU2011202182B1 (en) | 2011-05-11 | 2011-10-13 | Frequency Ip Holdings, Llc | Creation and presentation of selective digital content feeds |
| US9223488B1 (en) * | 2011-05-26 | 2015-12-29 | Lucasfilm Entertainment Company Ltd. | Navigable interfaces for graphical representations |
| US8661339B2 (en) | 2011-05-31 | 2014-02-25 | Apple Inc. | Devices, methods, and graphical user interfaces for document manipulation |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| CN103609101A (zh) * | 2011-06-16 | 2014-02-26 | 爱信精机株式会社 | 车辆周边监视装置 |
| US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
| US10289657B2 (en) | 2011-09-25 | 2019-05-14 | 9224-5489 Quebec Inc. | Method of retrieving information elements on an undisplayed portion of an axis of information elements |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| JP2013186247A (ja) * | 2012-03-07 | 2013-09-19 | Mitsubishi Electric Corp | 動画表示装置 |
| US8836721B1 (en) * | 2012-03-09 | 2014-09-16 | Google Inc. | Visualizing alternate information |
| US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| US9519693B2 (en) | 2012-06-11 | 2016-12-13 | 9224-5489 Quebec Inc. | Method and apparatus for displaying data element axes |
| US9646080B2 (en) | 2012-06-12 | 2017-05-09 | 9224-5489 Quebec Inc. | Multi-functions axis-based interface |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
| US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
| US20140208263A1 (en) * | 2013-01-24 | 2014-07-24 | Victor Maklouf | System and method for dynamically displaying characters over a screen of a computerized mobile device |
| KR102579086B1 (ko) | 2013-02-07 | 2023-09-15 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
| MX364063B (es) * | 2013-03-05 | 2019-04-11 | Fasetto Inc | Sistema y metodo para usuarios de interfaces de graficas cubicas. |
| US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
| WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
| US9922642B2 (en) | 2013-03-15 | 2018-03-20 | Apple Inc. | Training an at least partial voice command system |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| EP3937002A1 (en) | 2013-06-09 | 2022-01-12 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
| JP2016521948A (ja) | 2013-06-13 | 2016-07-25 | アップル インコーポレイテッド | 音声コマンドによって開始される緊急電話のためのシステム及び方法 |
| JP6163266B2 (ja) | 2013-08-06 | 2017-07-12 | アップル インコーポレイテッド | リモート機器からの作動に基づくスマート応答の自動作動 |
| AP00651S1 (en) * | 2013-08-30 | 2014-12-16 | Samsung Electronics Co Ltd | Graphical user interfaces for display screens or portions thereof |
| US10095873B2 (en) | 2013-09-30 | 2018-10-09 | Fasetto, Inc. | Paperless application |
| USD763305S1 (en) * | 2014-01-08 | 2016-08-09 | Mitsubishi Electric Corporation | Display screen with remote controller animated graphical user interface |
| US9584402B2 (en) | 2014-01-27 | 2017-02-28 | Fasetto, Llc | Systems and methods for peer to peer communication |
| US20150235344A1 (en) * | 2014-02-18 | 2015-08-20 | International Business Machines Corporation | Image magnifier with focus plus context |
| US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
| US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
| US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| EP3149728B1 (en) | 2014-05-30 | 2019-01-16 | Apple Inc. | Multi-command single utterance input method |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
| US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| CN113222558A (zh) | 2014-07-10 | 2021-08-06 | 法斯埃托股份有限公司 | 用于消息编辑的系统和方法 |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| KR102455532B1 (ko) | 2014-10-06 | 2022-10-25 | 파세토, 인크. | 휴대용 저장 디바이스를 위한 시스템 및 방법 |
| US10437288B2 (en) | 2014-10-06 | 2019-10-08 | Fasetto, Inc. | Portable storage device with modular power and housing system |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
| TWI554107B (zh) * | 2015-01-12 | 2016-10-11 | 晶睿通訊股份有限公司 | 可改變縮放比例的影像調整方法及其攝影機與影像處理系統 |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| CA2979043C (en) | 2015-03-11 | 2021-10-26 | Fasetto, Llc | Systems and methods for web api communication |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10929071B2 (en) | 2015-12-03 | 2021-02-23 | Fasetto, Inc. | Systems and methods for memory card emulation |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
| US10817126B2 (en) | 2016-09-20 | 2020-10-27 | Apple Inc. | 3D document editing system |
| JP7104701B2 (ja) | 2016-11-23 | 2022-07-21 | ファセット・インコーポレーテッド | メディア・ストリーミング・システムおよび方法 |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| JP7181882B2 (ja) | 2017-02-03 | 2022-12-01 | ファセット・インコーポレーテッド | 連携デバイスにおけるデータ格納システムおよび方法 |
| US10277943B2 (en) | 2017-03-27 | 2019-04-30 | Microsoft Technology Licensing, Llc | Selective rendering of sparse peripheral displays based on user movements |
| US10216260B2 (en) * | 2017-03-27 | 2019-02-26 | Microsoft Technology Licensing, Llc | Selective rendering of sparse peripheral displays based on element saliency |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| CA3007166C (en) | 2017-06-05 | 2024-04-30 | 9224-5489 Quebec Inc. | Method and apparatus of aligning information element axes |
| WO2019079628A1 (en) | 2017-10-19 | 2019-04-25 | Fasetto, Inc. | PORTABLE ELECTRONIC DEVICE CONNECTING SYSTEMS |
| US10979466B2 (en) | 2018-04-17 | 2021-04-13 | Fasetto, Inc. | Device presentation with real-time feedback |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0757003B2 (ja) * | 1983-05-09 | 1995-06-14 | 大日本スクリ−ン製造株式会社 | 画像走査記録装置 |
| CA1274919C (en) * | 1985-07-27 | 1990-10-02 | METHOD AND DEVICE FOR FORMING CURVE SURFACES | |
| GB8611554D0 (en) * | 1986-05-12 | 1986-06-18 | Crosfield Electronics Ltd | Image display |
| US4790028A (en) * | 1986-09-12 | 1988-12-06 | Westinghouse Electric Corp. | Method and apparatus for generating variably scaled displays |
| GB8909367D0 (en) * | 1989-04-25 | 1989-06-14 | Quantel Ltd | Manipulating electronically stored images |
| JP3245655B2 (ja) * | 1990-03-05 | 2002-01-15 | インキサイト ソフトウェア インコーポレイテッド | 作業スペースの表示処理方法 |
| FR2662009B1 (fr) * | 1990-05-09 | 1996-03-08 | Apple Computer | Icone manupulable a faces multiples pour affichage sur ordinateur. |
| US5341466A (en) * | 1991-05-09 | 1994-08-23 | New York University | Fractal computer user centerface with zooming capability |
| JPH06205764A (ja) * | 1992-12-09 | 1994-07-26 | Philips Electron Nv | ケーブルデフレクタを設けられた車輪を有するｘ線装置 |
-
1994
- 1994-10-18 JP JP25221594A patent/JP3697276B2/ja not_active Expired - Fee Related
- 1994-10-21 EP EP94307776A patent/EP0651350B1/en not_active Expired - Lifetime
- 1994-10-21 DE DE69428323T patent/DE69428323T2/de not_active Expired - Lifetime
-
1996
- 1996-01-22 US US08/589,433 patent/US5689287A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP0651350B1 (en) | 2001-09-19 |
| DE69428323T2 (de) | 2002-04-18 |
| EP0651350A1 (en) | 1995-05-03 |
| JPH07181951A (ja) | 1995-07-21 |
| DE69428323D1 (de) | 2001-10-25 |
| US5689287A (en) | 1997-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3697276B2 (ja) | 画像ディスプレイ方法及び画像ディスプレイ装置並びに画像スケーリング方法 | |
| EP0650144B1 (en) | Image lens | |
| EP0447095B1 (en) | Workspace displays | |
| US5943679A (en) | Multi-page document viewer having a focus image and recursively nested images of varying resolutions less than the resolution of the focus image | |
| US9396578B2 (en) | Method and system for displaying visual content in a virtual three-dimensional space | |
| US7983473B2 (en) | Transparency adjustment of a presentation | |
| US7995078B2 (en) | Compound lenses for multi-source data presentation | |
| US8687017B2 (en) | Method and system for generating pyramid fisheye lens detail-in-context presentations | |
| USRE43742E1 (en) | Method and system for enhanced detail-in-context viewing | |
| US7667699B2 (en) | Fast rendering of pyramid lens distorted raster images | |
| US8350872B2 (en) | Graphical user interfaces and occlusion prevention for fisheye lenses with line segment foci | |
| US20070097109A1 (en) | Method and system for generating detail-in-context presentations in client/server systems | |
| US9501811B2 (en) | Resizing an image | |
| US20110069086A1 (en) | Detail-in-Context Presentations in Client/Server Systems | |
| JP3715336B2 (ja) | システム動作方法 | |
| JP2642374B2 (ja) | 図形クリツピング方法 | |
| KR20200075628A (ko) | 관심 객체 처리 장치 및 그 방법 | |
| IL159013A (en) | Method and system for displaying visual content in a virtual three-dimensional space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050330 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050621 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050704 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080708 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130708 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |