JP2004527046A - 限定された帯域幅の通信チャネルに対して最適化された動的視錘台を用いたネットワーク画像送信システムおよび方法 - Google Patents

Abstract

ネットワーク通信チャネル（図１，４）を介して供給された画像データの動的可視化は、パーセル要求サブシステムとパーセル描写サブシステムとを含むクライアントシステムによって実行される。パーセル要求サブシステムは、パーセル要求待ち行列５２を含み、優先順位に従って離散的画像データパーセルを要求し、受信した画像データパーセルをパーセルデータ記憶へ格納する機能を持つ。パーセル要求サブシステムは、割当てられた優先度の画像パーセル要求へ応答し、画像パーセル要求を、割当てられた優先度に対応して順序付けられたパーセル要求待ち行列内に配置する。パーセル描写サブシステム４８は、選択的に取得し受信した画像データパーセル４２をディスプレイメモリに描写するパーセルデータ記憶に連結されている。パーセル描写システムは、パーセル要求サブシステムへ、割当てられた優先度５２の画像パーセル要求を供給する。
【選択図】図４

Description

【技術分野】
【０００１】
本発明は、ネットワークベースの画像送信システムに関し、特に、動的視錘台を用いる高解像度画像の提示をサポートするために、狭帯域幅あるいは限定された帯域幅の通信チャネルを介して画像パーセルを効率的に選択し、配信するためのシステムおよび方法に関する。
【背景技術】
【０００２】
インターネットや他のネットワークシステムにより、複雑な画像、典型的には大規模なビットマップ（特に写真解像度レベルに近いもの）を、長距離間で送信することが可能となった。一般例としては、これらの画像は、地理的、地形的、あるいは他の高精細化されたマップである。これらの画像のデータ記憶に必要な容量やしばしば財産的価値のために、従来は、これらの画像は、必要な都度に送信されていた。
【０００３】
従来の固定サイトでの適用例では、画像データは、比較的広帯域なネットワークを経由して、送信された画像を順に表示するクライアントコンピュータシステムに送信されている。クライアントシステムは、一般的に、ユーザとのやりとりに基づいてズームやパン機能を提供するために、ローカルイメージナビゲーションシステムを導入している。このような従来のシステムにおいて、全解像度の画像表示が、ネットワークに固有の転送待ち時間に影響されることが問題であることはよく認識されている。現状のクライアント視野内で画像の解像度を徐々に増加させることに対応した高密度圧縮フォーマットで画像を送信することによって待ち時間の影響を抑制する様々なシステムが、従来提案されている。圧縮画像送信機能を用いることにより、固定帯域幅のネットワーク経由で単位時間内に転送される画像のフィールドが増加する。解像度を徐々に増加させる画像転送は、一般的に差分解像度法を用い、概略画像をすばやく表示すると共に、画像の詳細部分を連続的にだんだんと追加していく方法である。
【０００４】
Ｔｚｏｕは、米国特許第4,698,689号において、画像を描写するための差分係数を転送する二次元データ変換システムを開示している。後続する転送された係数セットは、先に転送されたセットに漸次累積され、連続的に微細化される画像を提供する。しかし、クライアントコンピュータで実行される逆変換は、極めて多くの計算を必要とする。変換の実施を簡略化し、概略画像の任意の部分を表示する際の待ち時間をさらに削減するために、画像は、標準アレイに分割される。これにより、スピードが重視されるクライアントの逆変換機能が取り扱う係数データセットを、実質的に小さくすることができる。Ｔｚｏｕにおけるアレイサイズは固定であるので、画像の詳細レベルが高くなるほど、係数データセットはだんだんと大きくなる。従って、細かい部分をより詳細なレベルに分解する際には、本質的に待ち時間が増加することとなる。
【０００５】
Ｙａｐらによって提案された画像可視化システム（米国特許第6,182,114号）は、前述した問題のいくつかを解決するものである。Ｙａｐらのシステムは、画像転送ストリームを圧縮するために、プログレッシブ符号化変換を採用している。この変換は、分割された画像でも機能するが、この分割は、変換の符号化レベルに索引付けされている。符号化された変換係数データセットは、従って、一定のサイズであり、クライアントで要求される逆変換処理のアルゴリズム的なパフォーマンスにある程度の改良をもたらしている。
【０００６】
Ｙａｐらは、中心視ベースの操作者が分割された画像ブロックの取得順序を操作することを支援するために、クライアント画像のパンやその他の画像の位置指示の入力情報を活用している。この二次元ナビゲーション情報は、クライアントシステムユーザの注視点であると見なされる中心視領域を特定するために用いられる。中心視操作者は、対応する画像ブロックを、可変解像度画像を表す係数セットの取得順序の中心点として定義する。注視点の画像ブロックは、画像解像度が最も高い領域を表し、解像度は、中心視操作者により決定された注視点から離れるほど、注視点からの距離の関数として減少する。このように、この技術は、注視点の画像解像度を徐々に構築し、比較的計算量の多い関数に基づいて、継続的に外側の解像度を構築する。注視点におけるシフトには、新しい中心視領域においておよびその近傍で優先的に係数セットを取得することにより、相対的速度で対応することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
様々な種類のクライアントシステムにおいて複雑な画像の便利でかつ有効な利用を可能とするためには、種々の従来システムで提供された改良によっても、また顕著な問題が残っている。特に、従来の画像可視化システムの導入は、一般的に、画像可視化が明らかに有効であると思われる、より小さな、しばしば専用または埋め込み型のクライアントでは作動不可能である。従来のアプローチは、クライアントシステムは、事実上、余分なコンピュータ性能、メモリ、および記憶装置を有するものとの仮定に立ったものである。しかしながら、小さなクライアントは、通常、特に一般的な画像サイズに比較して、浮動小数点に専用に対応しない限られた性能のプロセッサと、小容量の多目的メモリと、極めて限られた持続的記憶容量を持つ。ＰＤＡは、特徴的な小さなクライアントである。埋め込み型で低コストのキオスクおよび自動車ナビゲーションシステムは、他の典型例である。このようなシステムは、仮にあったとしても、複雑で計算量の多いフーリエやウェーブレット変換を、特に極めて限られたメモリアドレススペース内で実行することは、容易ではない。
【０００８】
クライアントが実質的なコンピュータシステムであると仮定した結果として、従来の画像可視化システムは、クライアントが完全なオペレーティングシステムにサポートされているとも仮定している。実際、多くは、送信された画像データの表示をサポートするために、グラフィック抽出レイヤの拡張セットがクライアントシステムによって提供されることを期待し要求している。一般に、これらの抽出レイヤは、従来、画像データの解像度の、クライアントシステムの表示解像度能力へのマッピングを取り扱うために必要とされていると見なされていた。つまり、解像度に分解され、クライアントへ供給された画像データは、対応する画像を実際に表示するクライアントシステムにおいては何の制約も受けない。従って、従来、実質的なプロセッサ性能とメモリが、表示されないあるいは表示できない画像データを扱うために充てられる可能性があった。
【０００９】
小さなクライアントは、特にワイアレス状態で動作する場合に、一般に非常に限られたネットワーク帯域幅に制限されるという別の問題がある。このような限られた帯域幅の条件は、低域のデータチャネルを用いることに影響される直接的な技術的制限か、あるいは、比較的広域チャネルであることから生じるユーザ負荷の同時多発による間接的な制限のいずれかに起因する。ＰＤＡに接続された携帯電話やウェブ電話は、限られた帯域幅条件によって頻繁に制限される小さなクライアントの例である。このような小さなデバイスに対して従来実現可能な最大のネットワーク転送帯域幅は、１キロビット／秒以下から数十キロビット／秒である。Ｙａｐらは、開示したシステムは低域ライン上でも動作すると述べているが、低通信帯域で効果的な動作を可能とするとしてウェーブレットベースのデータ圧縮を利用することが優れているのとあまり代わりはない。サーバからクライアントへ運ばなければならないデータの量を削減することは顕著であるが、Ｙａｐらは、圧縮された画像データの効率的な転送を実現するために、単にデータパケット転送プロトコルに依存しているだけである。しかしながら、信頼できる転送プロトコルは、単にパケット損失をマスクするだけであり、結果として、リカバリ待ち時間を拡大する場合があった。しかし、このようなカバーされたエラーが発生すると、接続の統合された帯域幅が減少し、クライアントシステムは、処理すべき次の画像データを待つ状態に陥る可能性がある。
【００１０】
従って、小さなクライアントシステムをサポートでき、そのクライアントのハードウェアおよびソフトウェア資源に多くを要求せず、低域および極めて低域帯域幅のネットワーク接続を有効利用する画像可視化システムの必要性は残っている。
【課題を解決するための手段】
【００１１】
このように、本発明の一般的な目的は、限られた処理性能、資源、および通信帯域幅を用いて、画像データをクライアントシステムで最適に表示する効率的なシステムおよび方法を提供することにある。
【００１２】
これは、本発明において、ネットワーク通信チャネルを介してパーセル要求サブシステムとパーセル描写サブシステムとを含むクライアントシステムから提供される画像データの動的可視化を実現することにより達成される。パーセル要求サブシステムは、パーセル要求待ち行列を含み、離散的な画像データパーセルを優先的な順序で要求し、受信した画像データパーセルをパーセルデータ記憶に記憶するように動作可能である。パーセル要求サブシステムは、指定された優先度の画像パーセル要求に応答し、その画像パーセル要求を、指定された優先度に応じて順序付けられたパーセル要求待ち行列の中に置く。パーセル描写サブシステムは、受信した画像データパーセルを選択的に取り出してディスプレイメモリに描写するパーセルデータ記憶と連結されている。パーセル描写システムは、パーセル要求サブシステムに、指定された優先度の画像パーセル要求を提供する。
【００１３】
本発明の利点は、画像パーセルデータ要求と画像データの描写との両方が、ディスプレイをアドレスするために、クライアントシステムの表示解像度に基づいて最適化されることにある。
【００１４】
本発明の他の利点は、画像パーセル要求の優先順位が、適応性のあるパラメータに基づいていることにある。このパラメータは、要求優先順位を決定するための計算の複雑さと、クライアントディスプレイに表示されている視野内の表示解像度の連続的な向上とを最小化する。
【００１５】
本発明のさらなる利点は、クライアントソフトウェアシステムが、比較的最小のクライアント処理パワーと記憶容量を有していれば良いという点にある。コンピュータに負荷をかける数値計算は最小限しか要求されず、画像パーセルデータは効率的なデータ構造でコンパクトに格納される。クライアントソフトウェアシステムは、非常に小さく、従来のコンピュータシステムに容易にダウンロードされ、あるいは、ＰＤＡやウェブ電話等の携帯型機器を含む従来の専用機能デバイスに埋め込まれる。
【００１６】
本発明のさらに他の利点は、画像パーセルデータ要求および表示を、低域から極めて低域ネットワーク接続を用いるように容易に最適化できる点にある。本発明のソフトウェアシステムは、視点ナビゲーションレートがデータ要求レートを超えた場合、画像パーセルデータ要求および表示の再優先順位を提供する。
【００１７】
本発明のさらに他の利点は、複雑なハードウェアあるいはソフトウェアのディスプレイサブシステムを前提として必要とせずに、画像パーセルデータの表示が実行される点にある。本発明のクライアントソフトウェアシステムは、ディスプレイのビデオメモリへ直接書き込みを行うビットマップ描写エンジンを含んでおり、これにより、埋め込まれたシステムまたはディスク起動システムやディスプレイドライバに必要な条件を最小にできる。複雑なグラフィクスやアニメーション抽出レイヤは必要とされない。
【００１８】
本発明のさらに他の利点は、画像パーセルブロックの圧縮が、固定サイズの転送データブロックを得るために用いられることにある。画像パーセルデータは、比較的単純なクライアント伸長アルゴリズムを用いて、転送データから再構成可能である。固定サイズの転送データブロックを用いることにより、画像データパーセルをクライアントへ有限の時間フレーム内に転送することが可能である。
【００１９】
本発明のさらに他の利点は、複数のデータフォームを、同時に表示するために、クライアントソフトウェアシステムへ転送可能である点にある。画像パーセルデータに位置的に相関付けられ、一般的に画像パーセル解像度に無関係なスパース行列オーバレイデータが、構文解析およびクライアントディスプレイ画像ビューでの並行表示のために、初期的にあるいは漸次的にクライアントへ提供され得る。
【発明を実施するための最良の形態】
【００２０】
本発明のこれらのおよび他の利点および特徴は、添付の図面を参照して以下の詳細な説明を考慮すれば、より良く理解されるであろう。前記図面において、全図を通して、同様の参照番号は同様の部材を示す。
【００２１】
本発明の好ましい動作環境１０は、概ね、図１に示されている。画像データのデータ記憶およびサーバとして動作するネットワークサーバシステム１２は、通信ネットワークを介して受信した要求に応答する。この通信ネットワークは、一般的にはインターネット１４および無線接続プロバイダ１６を含むインターネットサービスプロバイダ（ＩＳＰ）の様々な層等で構成される。従来のワークステーションやパーソナルコンピュータ１８と、より小さい、通常はＰＤＡやウェブ電話２０や自動車ナビゲーションシステムなどの無線ネットワーク接続を経由してリンクされる専用機能デバイスとを含むクライアントシステムは、クライアントディスプレイを備え、クライアントシステムのユーザによる画像ナビゲーション入力が可能である。あるいは、専用機能クライアントシステム２０は、別個のあるいはプラグインのローカルネットワークサーバ２２（小さな、組み込みのウェブサーバを導入していることが好ましい）を経由して、固定または脱着可能なストレージローカル画像リポジトリ２４に接続されていても良い。特質上、クライアントシステム１８，２０のディスプレイは、一般にクライアントシステム１８，２０を構成するディスプレイハードウェアに依存したある固定解像度で操作される。
【００２２】
本発明によりサポートされる画像ナビゲーション能力は、三次元空間においてクライアント１８，２０に表示された画像上に配置された視錘台を包含する。クライアントユーザのナビゲーション入力は、画像平面に関するカメラの取り付け角だけでなく、視錘台の横方向の位置ｘ，ｙ、回転位置、高さ位置ｚを制御するためにサポートされる。これらの制御を実効化するために、クライアントシステム１８，２０は、サーバ１２，２２から供給された画像データの三次元変換をサポートする。
【００２３】
本発明の好ましい実施形態によれば、図２に概略を示すように、ネットワーク画像サーバシステム３０が、ソース画像データ３２とソースオーバレイデータ３４との組み合わせを格納する。ソース画像データ３２は、典型的には、地理的領域の高解像度ビットマップの衛星画像であり、商業的な供給業者から入手することができる。オーバレイ画像データ３４は、典型的には、ソース画像データ３２に関して定義された座標における画像注釈情報を提供する別個のデータファイルである。本発明の好ましい実施形態において、画像注釈は、例えば、代表的な二次元および三次元オブジェクト、グラフィカルアイコン、ディーキャル（decal）、ラインセグメント、テキストおよび他の文字等の他に、通り、ビル、およびランドマークの名称を含む。
【００２４】
ネットワーク画像サーバシステム３０は、ソース画像データ３２およびソースオーバレイ３４に対して、格納およびネットワークサーバ１２，２２によるサービス提供に適した形式になるよう、前処理を行うことが好ましい。ソース画像データ３２は、漸次的に画像解像度が低下する派生画像のＫ_1-Nの系を得るために、前処理されることが好ましい。系画像Ｋ₀に対応するソース画像データ３２も、各々の結果として得られるアレイの画像パーセルが６４×６４画素解像度となるように、標準アレイに分割される。ここで、画像データは、８Ｋバイトのデータパーセルサイズを表す１６ビットの画素深さ毎にカラーまたはビットを持つ。派生画像の系Ｋ_1-Nの解像度は、ソース画像データ３２または前記系の中で先行する画像の解像度に対して４分の１となるよう関係付けられていることが好ましい。アレイの分割は、同様に、各々の画像パーセルが８Ｋバイトの固定サイズとなるよう、４分の１に関連づけられている。
【００２５】
本発明の好ましい実施形態において、画像パーセルは、ネットワークサーバ１２，２２によりさらに圧縮され格納される。圧縮アルゴリズムは、圧縮され格納された画像パーセルが２Ｋバイトの固定サイズとなるよう、４：１の固定圧縮比を用いることが好ましい。全ての画像パーセルが、画像セット解像度インデックスＤと対応する画像アレイ座標を表すＫ_D，Ｘ，Ｙ値の記述により配置されるように、画像パーセルを、規定構造のファイルに格納することが好ましい。
【００２６】
ソースオーバレイ３４は、前処理３６を施すことにより、オープンＧＩＳコンソーシウム（ＯＧＣ; www.opengis.org）によって開発された地理的情報のＸＭＬベースの符号化標準であるジオグラフィマークアップランゲージ（ＧＭＬ）のようなオープンＸＭＬフォーマット、または、独自のバイナリ表現に変換することが好ましい。ＸＭＬ／ＧＭＬ表現は、異なる商業団体間での相互変換が容易となる点において好ましい。一方、バイナリ表現は、よりコンパクトであり、クライアントシステム１８，２０へ容易に転送可能である点において好ましい。いずれの場合においても、ソースオーバレイデータ３４は、ソース画像データ３２に関するディスプレイ座標記述と共に、好ましくは解像度とは独立した形式の記述データを含むように、前処理される。ＸＭＬ，ＧＭＬまたはバイナリのオーバレイデータを、ネットワークサーバ１２，２２に格納する前に圧縮しても良い。
【００２７】
クライアントシステム１８，２０の好ましいアーキテクチャを、本発明の実施の目的で、図３に示す。アーキテクチャ４０は、クライアントシステム１８，２０により実行されるソフトウェアプラグインまたはアプリケーションにより実施されることが好ましく、クライアントシステム１８，２０により提供される基本的なソフトウェアおよびハードウェアサービスを利用する。パーセル要求クライアント４２は、クライアントシステム１８，２０により提供されるネットワークプロトコルスタックおよびハードウェアネットワークインタフェースを用いてサーバ１２，２２とのＨＴＭＬベースのやりとりをサポートするＨＴＭＬクライアントを導入していることが好ましい。中央パーセル処理制御ブロック４４は、クライアントプロセスおよび制御アルゴリズムを実行することが好ましい。制御ブロック４４は、ローカルパーセルデータ記憶４６への、受信した画像パーセルとＸＭＬ／ＧＭＬ／バイナリのオーバレイデータとの転送を指揮する。画像データパーセルは、従来の四分木データ構造で格納されることが好ましい。ここで、深さＤの木ノードは、解像度Ｋ_Dの派生画像の格納画像パーセルに対応する。ＸＭＬ／ＧＭＬ／バイナリのオーバレイデータは、制御ブロック４４の一部として導入されたＸＭＬ／ＧＭＬ／バイナリの構文解析ツールによって連続的に読み取ることが可能なデータオブジェクトとして格納されることが好ましい。
【００２８】
制御ブロック４４は、描写エンジン４８によるローカルディスプレイに対する画像パーセルの伸長および描写指揮の機能も担う。描写エンジン４８は、一般的グラフィック加速化ハードウェア機能にのみ依存する潜在的なクライアントディスプレイハードウェアのビデオメモリへ書き込みを行うことが好ましい。通常、前記の依存される機能は、従来のディスプレイ制御ハードウェアによって容易にサポートされるビット−ビットおよびビット対応機能を含む。描写エンジン４８は、画像パーセルテクスチャマッピングを、複雑な浮動小数点演算に依存せずに実行するために最適化され、比較的単純なプロセッサでも描写エンジン４８を効率的に実行することを可能とする。
【００２９】
視錘台の変換は、ユーザ入力のナビゲーションコマンドから、視錘台ナビゲーションブロック５０により決定される。本発明の好ましい実施形態において、入力されたナビゲーション制御は、表示された画像の三次元上空通過（フライオーバー）ナビゲーションにモデル化される。ナビゲーション制御は、表示画像上で、視点回転、翻訳、姿勢、高度をサポートする。視錘台ナビゲーションブロック５０により決定された視錘台の有効な変化は、制御ブロック４４へ与えられる。
【００３０】
制御ブロック４４は、表示画像の漸次的な描写をサポートするために、視錘台の変化に部分的に基づいて、サーバ１２，２２から要求される画像パーセルの順序付けられた優先度を決定する。画像パーセル要求は、パーセル要求クライアント４２による発行のために、要求待ち行列５２に配置される。待ち状態の要求は優先順位に従って発行されることが好ましく、これにより、視錘台の変化を最小の待ち時間で動的に反映させることができる。
【００３１】
本発明の好ましい実施形態で用いられるように構成された、最適画像パーセルデータフロー６０を、図４に示す。クライアント１８，２０へ画像パーセルを送信するために、ＴＣＰ／ＩＰネットワークプロトコルを用いることが好ましい。本実施形態では、ネットワークの帯域幅が限定され、あるいは非常に限定されており、全体の画像パーセルは、対応するデータパケットにより送られることが好ましい。この好ましい態様によれば、実質的な待ち時間や、複数のネットワークパケットに分割された画像パーセルデータを管理する処理に要するオーバヘッドを生じずに、データ転送効率を最大化できる。これにより、２Ｋバイトの圧縮された画像パーセル６２が、ＴＣＰ／ＩＰパケット６４のデータペイロードとして転送される。圧縮されていない８Ｋバイトの画像パーセル６２は、従来のマイクロプロセッサ６８のＬ１データキャッシュ６６の名目上最小のサイズであるとして、本発明の一部と見なされる。圧縮されていない画像パーセルがＬ１キャッシュに収まることを保証することにより、テクスチャマップ描写アルゴリズムは、最小のメモリ管理オーバヘッドで実行することができ、これにより、マイクロプロセッサ６８の処理能力を最適に利用することができる。さらに、描写アルゴリズムの結果としてのビデオデータの書き込みは均一であり、これにより、ユーザに対する表示の見かけのビデオ安定性を向上させることができる。
【００３２】
クライアントアーキテクチャ４０は、複数の処理スレッド中で、個々のネットワークデータ要求トランザクション用に追加スレッドを利用しながら、実行することが好ましい。図５に示すように、画像パーセル管理プロセス８０は、更新８２の対象となる画像パーセルを決定し、対応する画像パーセルのダウンロード要求８４を生成するループを実行する。視錘台を変更するナビゲーションイベントは、部分的に、現在の視野を決定するものと見なされる。四分木構造が、パーセルデータ記憶４６において現時点で利用可能な解像度よりも高解像度の可視画像パーセルを特定するために検索される（８６）。
【００３３】
画像要求スレッドのプールを、画像パーセルダウン処理を管理するために利用することが好ましい。本発明の好ましい実施形態においては、４つのネットワーク要求スレッドのプールが利用される。プールスレッドの数は、ネットワーク接続の利用可能な帯域幅を与えられ、利用可能なシステム資源とネットワーク応答待ち時間とのバランスとして決定される。経験的に、多数の無線デバイスに対して、４つの同時スレッドがあれば、ディスプレイ処理のために、クライアント２０へ、画像データパーセルの転送が比較的連続して生じても、この転送をサポートすることが可能である。画像パーセルがダウンロード用に漸次的に特定されるので、サーバ１２，２２へ対応するネットワーク要求を発行（８８）するために、フリー要求スレッドが用いられる。ネットワーク応答を受信したとき、対応するスレッドは、画像パーセルデータを回収する（９０）。受信された画像パーセルは、その後、対応する四分木構造ノードへ格納される（９２）。
【００３４】
小さなクライアント２０の場合、パーセルデータ記憶４６として利用可能なメモリは、通常、極めて限られている。利用可能なメモリを最適利用するために、現時点で可視状態の画像パーセルのみがダウンロードされる。パーセルデータ記憶４６のサイズがあまり限定されない場合は、この制限は緩和できる。いずれの場合でも、メモリ管理プロセス９４は、パーセルデータ記憶４６の利用をモニタし、画像パーセルを選択的に除去して新たに要求される画像パーセル用の空きメモリを確保するために、実行される。メモリ管理プロセス９４は、現在の視錘台から最も遠く、かつ、データ構造の深さが最も高い画像パーセルを、優先的に除去する機能を持つことが好ましい。子ノードの画像パーセルは、必ず、親ノードパーセルが除去される前に除去される。
【００３５】
図６に、ネットワーク要求管理プロセス１００の好ましい例を示す。プロセス１００は、優先待ち行列５２内にダウンロード要求が存在するのを待つ状態となる（１０２）。プロセス１００は、その後、ネットワーク要求プールスレッドが空きになるのを待つ（１０４）。ネットワーク要求スレッドが利用可能になったとき、プロセス１００は、優先要求待ち行列５２内の全ての待ち要求を調べ（１０６）、割り当てられた優先度が最も高い要求を選択する（１０８）。これにより、待ち行列に順次入れられた要求を、独立して割り当てられた要求優先度に基づいて、順序に従わずに発行することができる。次に、その要求が発行され（１１０）、要求管理プロセス１００は、要求スレッドを、ネットワーク応答を待つ状態にしておく。
【００３６】
図７は、ディスプレイ管理プロセス１２０の好ましい例を示す。イベント起動されたユーザナビゲーション情報は、表示画像に関連する三次元空間において現在の視錘台の位置および方向を決定するために評価される（１２０）。次に描写される画像パーセルのアルゴリズム的な優先度選択（１２４）が、次に実行される。選択された画像パーセルは、ディスプレイメモリ７０に描写される（１２６）。描写処理は、現在の視錘台位置および方向に対応するパーセルデータのテクスチャマップ変換を実行することが好ましい。その後、いずれかのオーバレイ記述の画像座標が現在の画像パーセル位置に対応するか否かを決定するために、オーバレイデータが、構文解析され、あるいは、予備的に構文解析される（１２８）。座標が一致したら、オーバレイ記述はビデオディスプレイメモリ７０に描写される（１３０）。プロセス１２０は、その後、視錘台の位置および方向における変化の対象となる、描写すべき画像パーセルの次の選択（１２４）を続ける。
【００３７】
本発明にかかる画像パーセルの選択（１２４）および描写（１２６）の好ましい態様を、図８〜図１０に詳細に示す。最初に、図８に示すように、優先待ち行列５２内の未処理の要求のいずれも、視錘台の位置および方向の変化に応じて、クリアされる（１４２）ことが好ましい。視錘台の有効高さおよびクライアントディスプレイの解像度は、表示される詳細部分の最適レベルＬを決定する根拠として用いられる。詳細レベルＬの値は、視錘台の位置および方向を与えられた場合にクライアントディスプレイにおいて有効に見ることのできる画像データの最大解像度Ｋ_Lを決定するための底（floor）として機能する。画像パーセル要求を解像度範囲Ｋ_N〜Ｋ_Lに制限することにより（Ｋ_Nは、ネットワークサーバ１２，２２により格納される最も解像度の低い派生画像）、表示画像に知覚可能な改良を与えない画像パーセルのダウンロードおよび処理を防止することができる。
【００３８】
詳細部分の最適レベルＬの再帰的な評価の一部として、画像表示空間は、ポリゴンへの４分の１縮小により、漸次的に分割される（１４６）。パーセルデータ記憶４６内に現存する画像パーセルデータを保持する四分木データ構造は、ポリゴンマップとの対応を明らかにするために、同時に探索される（１４８）。ポリゴンＰに対するノードインデックスＬの四分木データ構造の探索が完了（１５０）したところで、画像パーセルに対応するノードが、ポリゴンＰに関連づけられる。このポリゴンＰはこれ以上分割されず、ポリゴンＰで表される領域内の画像のどの部分についても、より高い解像度の画像パーセルは要求されない。探索が、ポリゴンＰ’に対する最大ノードインデックスＤまで達した（１５２）ところで（Ｎ≦Ｄ＜Ｌ、かつ、Ｎは、ネットワークサーバ１２，２２に格納された最低解像度の派生画像のインデックス）、そのノードに関連付けられている画像パーセルは、ポリゴンＰ’に関連づけられる。このポリゴンＰ’は、後にさらに分割され、詳細レベルＬに至るまで、より高い解像度の画像パーセルを漸次的に要求される。
【００３９】
ここで、図９に示すように、表示画像は、既に見つかった最大深さのポリゴンから描写される（１６０）。最大深さのポリゴンのセットについて繰り返し処理を行いながら、視錘台の外部のポリゴンはいずれもスキップされる（１６２）。少なくとも一部が見えるポリゴンは、視錘台の適用可能な境界に留め付けられる（１６４）。画像パーセルデータに対応するポリゴンは、ビデオメモリ７０の座標に対応するポリゴンにテクスチャマップされる（１６６）。描写される画像パーセルのノードインデックス深さが、その前に決定された最適詳細レベルＬと少なくとも等しければ（１６８）、ポリゴンＰについての繰り返しは継続する。
【００４０】
ノードインデックス深さが最適詳細レベルＬ未満であれば（１７０）、ポリゴンＰ’は、４つのポリゴンに分割され、これに相当して、関連づけられた四分木データ構造内の４つの子ノードの生成により表現される（１７２）。そして、４つの画像パーセルダウンロード要求が生成される（１７４）。
【００４１】
各要求に関連づけられたダウンロード優先度は、二次元ポリゴン引数（argument）Ｐで作用し、要求優先度を表す実数を返す関数Ｓの実行により、決定される（１７６）。関数の引数Ｐは、現在の視錘台内に適合するよう留め付けられた後のスクリーン座標における現在のポリゴンの頂点の実座標（ｘ、ｙ）のリストである。すなわち、関数Ｓは、
【００４２】
【数１】

という系によって頂点が特定される、二次元空間内の一般的なポリゴン上で動作する。Ｓに送られる引数Ｐの頂点は、視錘台に留め付けられた後に、固定解像度（ｘＲｅｓ，ｙＲｅｓ）の表示空間内で見ることのできる各ポリゴンを構成する頂点の位置を表す。これにより、留め付けられたポリゴンは、全て、（０，ｘＲｅｓ）×（０，ｙＲｅｓ）の矩形内にあることとなる。
【００４３】
関数Ｓの実行時に、Ｐ座標の各々は、最初に、スクリーン座標空間の線形写像により、
ｘ（ｉ）：＝（ｘ（ｉ）−ｘＲｅｓ／２）／（ｘＲＥＳ／２）；
ｙ（ｉ）：＝（ｙ（ｉ）−ｙＲｅｓ／２）／（ｙＲＥＳ／２）
という演算によって、矩形（−１，１）×（−１，１）に変換される。各頂点（ｘ（ｉ），ｙ（ｉ）；ｉ＝１〜ｎ）のｘおよびｙ座標値は、それから、関数Ｔ（ａ）＝ｓｇｎ（ａ）＊ｐｏｗ（｜ａ｜，ｄ）によって変換される。なお、制御パラメータｄは、０〜１の範囲の定数、または、これと同等に、０＜ｄ≦１の間隔である。関数Ｓは、適用された座標変換の対象となった引数ポリゴンＰの頂点で覆われる領域に等しい実数値を返す。これにより、ダウンロード待ちの画像パーセルに対して累積された優先度は、ポリゴンのテクスチャマップ描写のソースデータとして画像パーセルのある部分を必要とする可視ポリゴンの各々に対して関数Ｓから返された値の和になる。要求待ち行列５２の優先度処理は、ダウンロード要求が、優先度が最大値をとる画像パーセルに対して優先的に発行されるように行われる。
【００４４】
本発明の好ましい実施形態によれば、制御パラメータｄの値は、ダウンロード要求優先度を決定するときに関数Ｓの作用に最大限に影響を与えるように、調整することができる。通常、より低い解像度レベルの画像パーセルは、与えられた低解像度の画像パーセルを描写データソースとして用いるポリゴンの数が多いため、より大きな優先度の値を累積する。このようなより低解像度の画像パーセルは、従って、優先的にダウンロードされる傾向にある。本発明によれば、このため、少なくとも低解像度で描写用に完全な画像を得られることが保証される。
【００４５】
射影変換によって生成される領域変形と関数Ｓの実行とに適用される制御パラメータｄは、関数Ｓにより返される値にも影響を与える。すなわち、画像視点の近くにある比較的高解像度の画像パーセルは、比較的離れた場所にあって一部が見える低解像度の画像パーセルよりも、高い優先度を持つことがある。１よりも小さい値を制御パラメータｄに用いることにより、観察者の焦点近傍の領域（表示空間の中心点と見なされる）をカバーするパーセルに対して、絶対的な表現における中心点であって同じ解像度深さＤを持つ中心点から遠い位置にあるパーセルに対する要求と比較して、より高い優先度を持つ要求を発行することができる。これにより、本発明によれば、画像パーセル要求に割当てられた優先度は、画像パーセルデータが全体画像表示品質に与える相対的な寄与に基づき、要求の順序に効果的に影響を与える。経験的には、ＰＤＡやウェブ電話のような小さな画面を持つデバイスに対しては、制御パラメータｄの値を０．３５とすれば、好ましい結果が得られることが分かっている。
【００４６】
新たに生成された４つの画像パーセル要求のそれぞれについて計算された優先度は、割当てられ（１７８）、要求は、優先要求待ち行列５２に入れられる。そして、画像パーセル描写プロセス１６０のループの中で、次のポリゴンＰが考慮される。
【００４７】
与えられた視錘台に対する詳細レベルＬの値を決定するためのアルゴリズム１８０の好ましい例を、図１０に示す。本発明によれば、最適詳細レベルＬは、実効的に、画像パーセルデータの解像度が、クライアントディスプレイの解像度を関数的に超える限界である。最適詳細レベルＬを決定するために、視錘台の視点またはカメラ位置が、表示画像に関連して決定される（１８２）。次に、深さＤの最近のポリゴンＰが、有効高度および視点の姿勢から決定される（１８４）。そして、ポリゴンＰの最も近い点Ａが決定される（１８６）。この点Ａは、ほとんどの場合、ポリゴンＰの頂点に位置するが、ポリゴンＰの内部またはエッジにある場合もある。
【００４８】
そして、四分木のルート画像であり全体画像マップをカバーする画像領域に対応する最低解像度Ｋ_Nの画像の画像パーセルからの単一の画素でカバーされる画面上の画素数の底４の対数として、点Ａの最適詳細レベルＬが計算される（１８８）。点Ａの最適詳細レベルＬは、点Ａにおいて評価された、三次元画像座標空間を画面座標に変換するために用いられた射影変換の関数行列式（Jacobian）のローカル値から、分析的に計算されることが好ましい。
【００４９】
ポリゴンＰの深さＤが、計算された最適詳細レベルＬの深さよりも大きい場合、詳細レベルＬは、最適詳細レベルＬとして採用される（１９０）。このように、プロセス１４０により、画像パーセル、または、四分木データ構造において深さレベルＬに関して親ノードに関連づけられた、最も近い解像度の画像パーセルの対応するセクションは、ポリゴンＰを描写するためのテクスチャとして用いられる。その逆に、深さＤが最適詳細レベルＬの深さ未満である場合、ポリゴンＰは、クワドラントに分割され、最適詳細レベルは再評価される。プロセス１８０は、このように、最適詳細レベルＬが見つかるまで、再帰的に続けられる。
【００５０】
以上のように、潜在力に制限された処理性能、資源、通信帯域幅を用いて、画像データをクライアントシステム上で最適に表示するためのシステムおよび方法は開示された。本発明は、特に、地理的画像データの通信および表示に関して説明したが、本発明は、その他の高解像度情報の効率的な通信および表示にも、同様に適用可能である。
【００５１】
本発明の好ましい実施形態に関する上述の説明を鑑みれば、当業者によれば、開示された実施形態の様々な変更や変形は容易に理解できる。従って、添付の特許請求の範囲内で、本発明は、特に上述した以外の態様で実施可能であることは理解できるであろう。
【図面の簡単な説明】
【００５２】
【図１】本発明の種々の実施形態が利用された好ましいシステム環境を示す。
【図２】本発明の好ましい実施形態にかかるネットワークサーバシステムにより記憶され提供される画像パーセルおよびオーバレイデータセットの準備を示すブロック図である。
【図３】本発明の好ましい実施形態にかかるクライアントシステム画像表示システムのブロック図である。
【図４】本発明の好ましい実施形態により構築された、最適化されたクライアント画像ブロックの処理経路を示すデータブロック図である。
【図５】本発明の好ましい実施形態で実施される主な処理スレッドを示す処理フロー図である。
【図６】本発明の好ましい実施形態で実施されるネットワーク要求スレッドを示す処理フロー図である。
【図７】本発明の好ましい実施形態で実施される表示画像描写スレッドを示す処理フロー図である。
【図８】本発明の好ましい実施形態により、画像データパーセルの描写に先だって実行されるパーセルマップ処理を示す処理フロー図である。
【図９】本発明の好ましい実施形態による、画像パーセルデータダウンロード要求の描写および漸次的優先順位を詳細に示す処理フロー図である。
【図１０】本発明の好ましい実施形態による、現状の視錘台に対する画像パーセル表示の最適詳細レベルの決定の詳細を示す処理フロー図である。

Claims (20)

1. ネットワーク通信チャネルを介して提供された画像データの動的可視化用のクライアントシステムであって、
   前記クライアントシステムが、
   ａ）パーセル要求待ち行列を含み、離散的画像データパーセルを優先順位に従って要求し、受信した画像データパーセルをパーセルデータ記憶へ格納する機能を持ち、割り当てられた優先度の画像パーセル要求に応答して、当該画像パーセル要求を、前記割り当てられた優先度に応じて順序付けられたパーセル要求待ち行列内に配置するパーセル要求サブシステムと、
   ｂ）受信した画像データパーセルを選択的に取得しディスプレイメモリへ描写するパーセルデータ記憶に連結されたパーセル描写サブシステムとを備え、
   前記パーセル描写システムが、前記パーセル要求サブシステムへ、前記割り当てられた優先度の前記画像パーセル要求を供給する、クライアントシステム。
2. 前記パーセル描写サブシステムが、決定された最適画像解像度レベルに基づいて、前記割り当てられた優先度を決定する、請求項１に記載のクライアントシステム。
3. 前記ディスプレイメモリが所定解像度の画像ディスプレイに連結され、前記決定された最適画像解像度レベルが前記所定解像度に基づく、請求項２に記載のクライアントシステム。
4. 前記割り当てられた優先度は、所定の焦点に対する前記画像パーセル要求により参照される前記画像パーセルの近接性をさらに反映する、請求項３に記載のクライアントシステム。
5. 前記離散的画像データパーセルは、前記パーセル要求サブシステムにより受信された際は第１の固定サイズを持ち、前記パーセル描写サブシステムにより描写される際は第２の固定サイズを持つ、請求項４に記載のクライアントシステム。
6. 前記離散的画像データパーセルの各々が、画素データの固定サイズアレイを含む、請求項５に記載のクライアントシステム。
7. 無線ネットワーク通信チャネルを介して供給された画像データの動的可視化をサポートする携帯型ディスプレイクライアントシステムであって、
   前記クライアントシステムが、
   ａ）グラフィカル画像の視覚表示に適した規定解像度を持ち、前記グラフィカル画像を代表する画像データを格納するビデオメモリを含むディスプレイと、
   ｂ）画像データパーセルを要求し受信するために用いる無線ネットワークに連結可能なネットワークインタフェースと、
   ｃ）画像データパーセルの記憶場所を提供する画像パーセルデータ記憶と、
   ｄ）前記グラフィカル画像に関連した視点位置を定義する入力情報を供給するナビゲーション制御と、
   ｅ）前記ビデオメモリ、ネットワークインタフェース、画像パーセルデータ記憶、およびナビゲーション制御に連結され、前記ディスプレイの規定解像度に関連して計算された優先順位で、前記ネットワークインタフェースを介して規定解像度の画像データパーセルを選択的に要求する機能を持つプロセッサとを備えた、携帯型ディスプレイクライアントシステム。
8. 前記プロセッサが、画像データパーセルの待ち要求の優先待ち行列を含み、前記プロセッサが、画像データパーセルに対する要求を、前記待ち要求のそれぞれの計算された優先度が反映された前記優先待ち行列へ追加する、請求項７に記載の携帯型ディスプレイクライアントシステム。
9. 前記プロセッサが、前記画像パーセルデータ記憶からの前記画像データパーセルを前記ビデオメモリへ描写する機能を持つ、請求項８に記載の携帯型ディスプレイクライアントシステム。
10. 前記画像データパーセルは、ネットワークデータパケットのそれぞれの中で、圧縮されたデータブロックとして受信される、請求項９に記載の携帯型ディスプレイクライアントシステム。
11. 前記ネットワークデータパケットのそれぞれが、画素画像データパーセルの最小１６ずつのアレイに対応する、固定ブロックサイズの圧縮された画像データパーセルを含む、請求項１０に記載の携帯型ディスプレイクライアントシステム。
12. 動的視点に関連した画像の三次元視を提供するクライアントシステムであって、
    前記クライアントシステムが、
    ａ）規定解像度の二次元ディスプレイに対応するディスプレイメモリと、
    ｂ）各画像パーセル解像度の画像データパーセルを要求し受信するために用いるネットワークインタフェースと、
    ｃ）画像視点の定義を提供するナビゲーション制御と、
    ｄ）画像データパーセルを前記ディスプレイメモリへ漸次的に描写し、画像データパーセルを、前記ネットワークインタフェースを介して、前記二次元ディスプレイの規定解像度および前記画像視点の位置について決定される優先順位で漸次的に要求する機能を持つプロセッサとを備えた、クライアントシステム。
13. 前記プロセッサが、画像データパーセルの漸次的な要求を、前記規定解像度に対応する解像度に限定する機能を持つ、請求項１２に記載のクライアントシステム。
14. 前記優先順位内の所定の画像パーセルの優先度が、前記所定の画像パーセルの前記画像視点に関連する前記二次元ディスプレイ内の三次元投影領域に基づいて決定される、請求項１３に記載のクライアントシステム。
15. 前記所定の画像パーセルの優先度が、さらに、前記画像視点に関連して前記二次元ディスプレイ内の前記画像パーセルの位置に基づいて決定される、請求項１４に記載のクライアントシステム。
16. 通信チャネルを介して転送された画像データの動的可視化をサポートする方法であって、
    前記方法が、
    ａ）ユーザのナビゲーションコマンドに応答して、三次元空間に表示される画像に対する視点の方向を決定するステップと、
    ｂ）前記画像の対応する領域として描写可能な画像パーセルを、前記画像パーセルの各々が描写されるときに前記画像の漸次的な領域解像度の増大を提供するように決定された優先順位に従って要求するステップと、
    ｃ）複数の画像パーセルを前記通信チャネルを介して受信するステップと、
    ｄ）前記画像を提供するための前記複数の画像パーセルを描写するステップとを有する方法。
17. 前記受信ステップが、前記複数の画像パーセルを画像記憶に格納するステップを含み、前記描写ステップが、前記画像の対応領域に対して最も高い関連解像度を持つ複数の画像パーセルの選択的な描写を提供する、請求項１６に記載の方法。
18. 前記描写ステップが、前記画像パーセルの前記選択的な描写を、所定レベル未満の関連解像度を持つ画像パーセルに限定する、請求項１７に記載の方法。
19. 前記描写ステップが、前記複数の画像パーセルを、前記画像の対応領域に対する均一なテクスチャで選択的に描写する、請求項１８に記載の方法。
20. 前記優先順位が、前記視点の方向変化に応じて再評価される、請求項１９に記載の方法。

Images