JP2012501029A

JP2012501029A - ３次元画像データの動的伝送のための方法及び装置

Info

Publication number: JP2012501029A
Application number: JP2011524483A
Authority: JP
Inventors: ジョンシーハフマン
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2008-08-29
Filing date: 2009-08-11
Publication date: 2012-01-12
Also published as: CN102197649A; CN102197649B; US20110142321A1; WO2010023580A1; US8948496B2

Abstract

サーバーから少なくとも一つのクライアントへボリューム画像のデータを伝送する方法であって、ボリューム画像を複数の係数を有する階層的表現に変換する変換ステップであって、前記階層的表現が本質的に非冗長的データの複数のレベルを有し、前記階層的表現のレベルが、当該レベルに対応する解像度で前記画像を再構成するのに充分な変換データを有する、当該変換ステップと、前記係数を複数のボクセルへ分割する分割ステップであって、各ボクセルが水平方向に「ｎ」個の係数、垂直方向に「ｍ」個の係数、深さ方向に「ｐ」個の係数を持つ当該分割ステップと、前記ボリューム画像の少なくとも一部を再構成するのに必要な前記階層的表現の一つ以上のレベルからボクセルの形式で、変換データをクライアントからサーバーへ要求する要求ステップと、前記ボリューム画像の少なくとも一部の係数に対するリクエストをクライアントからサーバーへ伝送する伝送ステップと、前記リクエストに応答して、少なくとも一つのボクセルを前記サーバーから前記クライアントへ伝送する伝送ステップと、少なくとも一つの伝送されたボクセルから前記ボリューム画像のボリューム表示を、前記クライアントで再構成するステップとを有する、方法が開示される。

Description

以下の開示は、画像処理技術、画像伝送技術、データネットワーク技術、医療画像技術、医療診断技術等に関する。以下の開示は、３次元又はボリューム画像の配信及び処理についての一般的アプリケーションで見られ、診断、臨床、臨床前及び他のアプリケーションのための医療画像の配信及び処理を例証的に参照して説明される。

ＣＴスキャナのようなスライスベースのスキャナは、３次元ボリュームを規定するために連続してスタックされる２次元のスライスへ編成される患者の３次元的又はボリューム画像を得るために一般に用いられる。ＭＲ撮像のような幾つかの撮像モダリティは、もともと連続的に得られるスライスへ分離されているか、又は平面的でない軌跡に沿って得られる３次元画像データを得ることができる。しかしながら、ＭＲ撮像でさえ、３次元ボリュームを規定する連続するスライスのスタックへ画像データを編成することが通常である。益々洗練されているＣＴ、ＭＲ及び他のボリューム医療撮像モダリティスキャナから得られる結果的な画像データは、数千の個々の画像スライスを含み、各々が数千以上のピクセルを有する。画像スライスを得た後で、医療従事者は、従来、プリンタ又は他の記録エンジンを使用して、スライスを印刷するか又はフィルム上に対象のスライスを選択した。

もっと最近では、画像は、ソフトコピーコンピュータベースの撮像を使用して、コンピュータディスプレイ上に順次にスタックできるようになった。コンピュータディスプレイ上にスタックされた画像を表示する技術は、医師又は医療従事者に、擬似ボリューム技術で、画像をスクロールし速く見るための手段を提供する。これは、ピクチャアーカイブ通信システム（ＰＡＣＳ）を通じて達成される。典型的なＰＡＣＳ装置では、画像は、離隔してＰＡＣＳサーバーに格納されていて、放射線技師又は医師は、従来の病院ネットワーク又は専用のＰＡＣＳネットワークを介してＰＡＣＳと接続されたオフィスコンピュータ又は他のクライアント装置側にいる。放射線技師又は医師は、ワークリスト内の患者調査のリストから、ある時間にある患者調査を開き、解剖学的オリエンテーションを得るため調査されるべき関連の解剖的特徴の完全な画像（例えば、患者の頭全体のＣＴ画像）を見る。斯様な「画像全体」表現は、好ましくは低解像度で表示される。ユーザは、次に、医学的関連特徴が疑われる又は見つけられるまで、画像スライスのスタックをスクロールするだろう。しかしながら、腫瘍、瘤等のような確かな医学的関連特徴は、小さくて比較的に低コントラストである傾向がある。従って、医学的関連特徴を持つ、又は持つと疑わしい何れの特定の画像についても、放射線技師又は医師は、対象の特徴を含むであろう位置で、高解像度で速く「ズームイン」するだろう。画像表示及び画像処理のためのスライスベースのパラダイムは、画像データセットのサイズが、より高いスキャナ解像度、より速い取得レート及び他のファクタのために増大しているので、実行することが益々困難になった。その上、（例えば）ＣＴ及びＰＥＴのような種々異なるモダリティにより得られる画像が合せられ、並んで比較され、又はさもなければ結合され若しくは統合される、マルチモダリティ撮像及び解析が益々実行されている。

他のタイプの処理は、ボリュームベースの処理である。しかしながら、ボリューム画像データセットは、大きくて、存在するデジタルデータネットワークを介して伝送するには難しい。コンピュータ端末又はネットワーク化されたコンピュータの激増は、斯様な画像データセットが医師のパソコン、看護師のステーションモニタ、及び病院全体にわたってどこででもユビキタス的に利用可能であるべきであるという医療専門家の期待を導く。しかしながら、ボリュームベースの処理は、医療専門家の斯様な期待の実現を妨害する欠点を持つ。例えば、ボリュームベースの処理の一つの方法は、３Ｄオブジェクトとして画像データセットのレンダリングされた表示を作るために何れの方向でも画像データのスタックされたスライスを、リサンプリングし処理することを伴う。これらのボリューム画像表示は、理想的には、ユーザがボリューム画像データセットのグローバルな表示を速く得られるようにする。斯様な処理では、ボリューム画像データセットは、スタックされた画像スライスとしての代わりに、ボリュームのサンプルとして扱われる。３次元画像データセットでのボリュームベースの処理を実施するために、全体のボリューム画像データセットが、ＰＡＣＳサーバーからクライアント装置へ伝送される。よって、全体のボリューム画像データセットが、デジタルネットワーク間でダウンロードされる。これは、かなり大きな問題であり、数百のスライスだけを含むボリューム画像データセットでも、画像視聴者への少なくとも１００ＭＢのダウンロードを伴い、また伝送されたデータは、より大きな画像データセットに対してはギガバイトレンジまで容易に増大してしまう。これらの大きなデータ伝送は、デジタルデータネットワークが収容するには、困難であり又は不可能である。巨大なサイズの３次元画像データセットのため、病院のデジタルデータ伝送ネットワークは、３次元データセットのユビキタス伝送を遅くし、又は禁止するボトルネックとなり得る。

その上、データ伝送は、断続的であり、上手く配信されない。デジタルデータネットワークは、ＰＡＣＳシステムからクライアントへ全体のボリューム画像データセットのバルク伝送に対処するために充分な帯域幅を持たなければならないが、その後、画像解析のための伝送レートは大幅に低減されるか、全く停止してしまう。結果として、クライアント側のこれらの大きなボリュームデータセットの再構成は、診断ツールとして又はナビゲーション目的としてボリュームデータセットを使用する際に、重要なボトルネックとなった。

可能性がある解決策は、専用のＰＡＣＳデジタルデータ伝送ネットワークを提供することであるが、これはコスト的に効果的ではない。又はＰＡＣＳデータトラフィックを扱うために存在する「汎用の」病院ネットワークに頼ることであるが、この後者の解決策は、病院ネットワークに大きな帯域幅要求を課し、大きなボリューム画像データセット伝送中、断続的ネットワークのスローダウン又は停止を導き得る。このネットワークスローダウン又は停止は、ライフクリティカルな患者の監視又は器具制御データを伝送するためにも頼りにされる病院ネットワークに対して特に関心事である。

他にまだ、大きなボリュームデータセットの処理がクライアント側で起こるという困難性がある。全体の画像データセットがクライアントへ伝送され、クライアントは、３次元データセットを構築しローカルへナビゲートする。これは、クライアントに膨大な計算及びメモリのリソースを要求する。言い換えると、（例えば）クライアントが医師又は放射線技師のパソコンである場合、そのコンピュータは、大きなボリューム画像データセットをローカルへナビゲートするために、膨大なメモリ及び高速プロセッサを持たなければならない。これは、リソースの非効率的使用であり、医師のパソコンの他の使用がワード処理、Ｅメール、又は計算処理的に軽いアプリケーションだけの場合、特にそうである。

代わりのアプローチでは、ＰＡＣＳサーバーは、ボリューム画像データをそのメモリへロードし、サーバーでボリューム画像モデルを構成し、遠隔のクライアントからの要求に応える。数百より少ないスライスを持つ画像データセットの場合、これは、冗長な待ち時間なしに達成されるだろうが、サーバー側にメモリ、ネットワーク帯域幅及び計算リソースのような大きなリソースを要求する。数千のスライスのボリューム画像データセットに対して、又は多数の異なるボリューム画像データセットについて多くのユーザの同時の操作に対して、ボリュームナビゲーションを供給する重い使用のＰＡＣＳシステムにとって、計算の負荷を坦持するＰＡＣＳサーバーに頼るこの中央集権化アプローチは、コスト高であるか、実際的ではない。

以下では、上述の問題等を克服する新たな改善された装置及び方法を提供する。

開示される態様によると、ボリューム画像のユニタリピラミッド的表現を格納するストレージ及びプロセッサを含むサーバーであって、前記ユニタリピラミッド的表現は、係数ボクセルのセットを有し、各連続的レベルが、増大した空間解像度を供給するための情報を加える、階層的レベルを持ち、各係数ボクセルは、前記ボリューム画像の規定された３次元空間領域に対応し、及び階層の選択されたレベルに対応する、当該サーバーと、選択された空間領域に対応し、選択された空間解像度に対応する前記ボリューム画像の撮像データに対するリクエストに応答して、ネットワークを介して、選択された係数ボクセルを伝達するネットワークインタフェースとを有する、画像処理システムが開示される。

他の開示される態様によると、サーバーから少なくとも一つのクライアントへボリューム画像のデータを伝送する方法であって、ボリューム画像を複数の係数を有する階層的表現に変換する変換ステップであって、前記階層的表現が本質的に非冗長的データの複数のレベルを有し、前記階層的表現のレベルが、当該レベルに対応する解像度で前記画像を再構成するのに充分な変換データを有する、当該変換ステップと、前記係数を複数のボクセルへ分割する分割ステップであって、各ボクセルが水平方向に「ｎ」個の係数、垂直方向に「ｍ」個の係数、深さ方向に「ｐ」個の係数を持つ当該分割ステップと、前記ボリューム画像の少なくとも一部を再構成するのに必要な前記階層的表現の一つ以上のレベルからボクセルの形式で、変換データをクライアントからサーバーへ要求する要求ステップと、前記ボリューム画像の少なくとも一部の係数に対するリクエストをクライアントからサーバーへ伝送する伝送ステップと、前記リクエストに応答して、少なくとも一つのボクセルを前記サーバーから前記クライアントへ伝送する伝送ステップと、少なくとも一つの伝送されたボクセルから前記ボリューム画像のボリューム表示を、前記クライアントで再構成する再構成ステップとを有する、方法が開示される。

他の開示される態様によると、ボリューム画像を表示するため選択された３次元空間領域及び空間解像度を特定するステップと、前記ボリューム画像の規定された３次元空間領域及び空間解像度に対応する係数ボクセルへ分割されたユニタリピラミッド的表現として前記ボリューム画像を格納するサーバーに問い合わせるステップと、問い合わせに応答して、前記選択された空間解像度で前記ボリューム画像の前記選択された空間領域を再構成するのに充分な画像データを含む前記ユニタリピラミッド的表現の係数ボクセルを前記サーバーから受信する受信ステップと、受信した係数ボクセルに基づいて、前記選択された空間解像度で前記ボリューム画像の前記選択された空間領域を表す画像を再構成して表示するステップとを有する、画像ナビゲーション及び処理方法が開示される。

一つの利点は、ネットワーク帯域幅要件を低減するようにした時間にわたる画像データ伝送の配信にある。

他の利点は、サーバーからクライアントへのボリューム画像全体の伝送を要求することなく、ボリューム画像のナビゲーションを可能にすることにある。

他の利点は、よりコンパクトな画像データ伝送にある。

更に他の利点は、以下に詳細な説明を読んで理解すると、当業者には明らかになるであろう。

図１Ａは、サーバー／クライアントベースの画像アーカイブ、ナビゲーション及び処理システムを例証的に示す。図１Ａは、図１Ｂのサーバー部分の選択された機能的部品を示す。図１Ｂは、サーバー／クライアントベースの画像アーカイブ、ナビゲーション及び処理システムを例証的に示す。図２Ａは、スライスベースの画像システムにより得られるボリューム画像を例証的に示す。図２Ｂは、スライスベースの画像システムにより得られるボリューム画像を例証的に示す。図３は、図２Ａ及び図２Ｂのボリューム画像データセットの矢状面を例証的に示す。図４は、図２Ａ及び図２Ｂのボリューム画像データセットの冠状面を例証的に示す。図５は、図１Ａの分解プロセッサにより実施される画像分解を例証的に示す。図６は、ボリューム分割された係数ボクセルのセットとして、組織化された分解されたボリューム画像を例証的に示す。図７は、図６のボリューム分割された係数ボクセルのＬＬＬオクタント（８半部、ｏｃｔａｎｔ）を例証的に示す。図８は、選択された機能的態様の例証的表示を含む、図１Ｂのシステムのサーバー／クライアント対の一つを例証的に示す。図９は、図１Ｂ及び図８のサーバーにより実施される処理のフローチャートを示す。図１０は、図１Ｂ及び図８の選択されたクライアントにより実施される処理のフローチャートを示す。図１１は、様々な選択空間解像度での様々な選択空間領域の一つに対応する、図６のボリューム分割係数ボクセルのセットのボクセルの識別を例証的に示す。図１２は、様々な選択空間解像度での様々な選択空間領域の一つに対応する、図６のボリューム分割係数ボクセルのセットのボクセルの識別を例証的に示す。図１３は、様々な選択空間解像度での様々な選択空間領域の一つに対応する、図６のボリューム分割係数ボクセルのセットのボクセルの識別を例証的に示す。図１４は、様々な選択空間解像度での様々な選択空間領域の一つに対応する、図６のボリューム分割係数ボクセルのセットのボクセルの識別を例証的に示す。図１５は、様々な選択空間解像度での様々な選択空間領域の一つに対応する、図６のボリューム分割係数ボクセルのセットのボクセルの識別を例証的に示す。図１６は、様々な選択空間解像度での様々な選択空間領域の一つに対応する、図６のボリューム分割係数ボクセルのセットのボクセルの識別を例証的に示す。

ソースボリュームデータセット及び特にボリューム画像データ（すなわち、３次元画像データ）を処理するためのシステム及び方法が、ここで開示される。図２Ａ及び図２Ｂを参照して、ソースボリュームデータセット１０が、Ｘ線、ＣＴ又はＭＲ画像スキャナのようなスライスベースの医療画像スキャナ（図示されず）により得られた画像スライスのスタック２２０として図示されている。ソースボリュームデータセット１０は、画像スキャナから直接得られるか、又は過去に記録されて、後で適当なデータベース若しくはアーカイブから取り出されたものである。例証的図２Ａでは、患者２００は、俯きの位置で上を向いて横になっている。患者２００を通る符号２１０の例証的矢印は、医療画像スキャナを介して患者の身体をスキャンする軸及び方向両方を図示する。ＣＴスキャナのようなスライスベースのスキャナは、矢印２１０に沿った患者２００により示される向きで生成される画像スライスのスタック２２０として、ソースボリュームデータセット１０を得る。画像スライスのスタック２２０は、スライスベースのスキャナによりスキャンされる患者２００の部分にわたって延在するソースボリュームデータセット１０を集合的に規定する。

幾つかのスキャナジオメトリでは、矢印２１０により表わされる方向は、軸方向又はｚ方向と従来から呼ばれている。画像スライス２２０は、例えば傾斜したガントリＣＴスキャナが利用される場合、スライス２２０と軸方向２１０との間の幾らかの傾斜が考察されるが、矢印２１０の軸方向に対して概して横断方向に向いている。画像スライス２２０は、横軸方向に分割される。軸方向がｚ方向を表わす従来のスライスベースのスキャナジオメトリ表記において、これら横軸座標は、ときどきｘ軸及びｙ軸と呼ばれ、一般に互いに直角であり、軸方向２１０に直角である。この従来のジオメトリは、図２Ｂに図示されている（図２Ａでは、ｙ軸が図面に対して垂直に向いていることに注意）。図２Ａに示されるように、画像スライス２２０は、ｘ軸が水平方向、ｙ軸が垂直方向であるように向いている。しかしながら、図示された（ｘ、ｙ、ｚ）座標は、図示の例として提供されていて、他の座標系及び呼称が考察されてもよいことは、理解されるべきである。円筒座標系、球座標系、又は他の座標系のような様々なデカルト座標系でない座標系もあり、例えば、図２Ａが左手方向のデカルト座標系を図示する一方、右手方向のデカルト座標系も考察される。その上、ＭＲスキャナのような幾つかの画像ソースは、スライス以外の態様でデータを得てもよい。

医師、放射線技師又は他の医療従事者は、ディスプレイ上にソースボリュームデータセット１０の種々異なる平面又は方位を観察したいと所望する。図２Ｂは、ソースボリュームデータセット１０の軸方向面の表示又は前面表示のためのジオメトリを図示する。更に特に、図２Ｂは、ディスプレイ上の画像スライス２２０の軸方向面の表示を図示する。図２Ｂに示されるように、画像スライス２２０は、水平方向にｘ、垂直方向にｙ、及び軸方向すなわち深度方向にｚで患者２００を基準に配向される。ディスプレイ上の軸方向の表示の画像スライス２２０のｘ、ｙ及びｚの次元は、図２Ａの例証的表示の次元と一致する。画像スライス２２０は、各スライスの前が、スタックの前からスタックの後ろへｚ次元で画像スライス２２０のスタックをユーザがスクロールして観察できるように、スペース内に配向される。画像スライス２２０の順番は、図２Ａの矢印２１０により示されるようにスキャン方向と一致する。

ボリュームデータセット１０が１方向でのスキャンにより得られたが、図３及び図４を参照して、医師、放射線技師又は医療従事者は、ソースボリュームデータセット１０の種々異なる面を見ることを所望する。図３は、ボリュームデータセットを見るための他の面を図示する。図２Ａに示される解剖学的ジオメトリにおいて矢状面表示と呼ばれるこの表示に対して、ボリュームデータのスライスは、元のスキャンされた画像の方位に対して、左から右へ見られる。図３は、元のスキャンされたｘ、ｙ及びｚ次元それぞれに対する矢状面表示の画像スライス３００の向き及び次元を示す。矢状面表示に対して、画像のスライスは、画像スライスの元のｚ次元が水平方向に見え、画像スライスの元のｙ次元が垂直方向に見えるような出力ディスプレイ上に見える。ユーザは、ｘ次元に画像スライスのスタックをスクロールする。

図４は、ソースボリュームデータセット１０を見るための他の解剖学的に興味がある平面を図示する。この例では、画像スライスの冠状面が示される。冠状面表示に対して、画像４００のスライスは、図２Ａの患者スキャン方向に対して、上から下へ見られる。冠状面表示に対して、画像スライスの元のｘ次元が水平方向に見え、画像スライスの元のｚ次元が垂直方向に見える。ユーザは、ｙ次元で画像スライスのスタックをスクロールする。

もっと一般的に、斜面（すなわち、図２Ａ、図３及び図４それぞれに図示される軸方向の面、矢状面及び冠状面以外の任意の平面）が、ボリュームデータセット１０から生成されて見るために選択されてもよい。例えば、斜面は、水平軸の法線面から３０°の面として規定されてもよい（すなわち、画像がスキャンされる元の平面から３０°）。

ソースボリュームデータセット１０を処理するための一つの例示的システム及び方法が、図１Ａ及び図１Ｂにブロック図の概観で示されている。全体的に、ソースボリュームデータセット１０は、サーバー１６０に格納と、クライアントコンピュータ１６２、１６４及び１６６上のディスプレイのためのネットワーク１６８を介した配信とのために処理される。クライアント−サーバー関係は、図１Ｂに詳細に示される。サーバー１６０及びクライアントコンピュータ１６２、１６４、１６６は、ネットワークインタフェース、又はサーバー−クライアントアーキテクチャでのネットワーク通信のための他の通信手段を通じて互いに通信する。

図１Ａ及び図１Ｂを継続して参照すると、サーバー１６０は、分解処理を実施するための分解プロセッサ１２０、分割処理を実施するための分割プロセッサ１４０、及び適当なデータメモリ又はボリューム分割された係数の格納のためのストレージ１４４を含むか、具現化する。ストレージ１４４は、例えば、ＲＡＭ、磁気的、光学的、又は不揮発性ソリッドステートメモリ等を有する。サーバー１６０は、ＲＡＭ；磁気的、光学的、若しくは不揮発性ソリッドステートメモリ；又は磁気的、光学的、若しくは不揮発性ソリッドステート、ＲＯＭ等がプロセッサ要素１２０、１４０を規定する実行可能なコードを格納して、プロセッサ要素１２０、１４０を具現化する。サーバー１６０は、適当なサーバー−クライアント若しくは他のネットワークアーキテキチャを利用する図示されているクライアント１６２、１６４、１６６のような一つ以上のクライアントを介してネットワークを通じてアクセス可能な、適当なデジタル装置又はデジタル装置の組み合わせである。もっと一般的には、クライアントは、画像、画像部分、画像レンダリング等を表示するために適当なディスプレイを含む、ネットワーク１６８を介してサーバー１６０と通信するように構成された何れかのデジタル装置であると考察される。クライアントは、例えば、パソコン、ダム端末、ＰＤＡ、セルラフォン、表示機能を含む他のネットワークサーバー等を含む。クライアント１６２、１６４、１６６は、ボリューム画像ナビゲーション又は他の画像処理を実施するための適当なソフトウェアを含むか又は具現化する。ネットワーク１６８は、例えば、有線、無線又はハイブリッド有線／無線デジタルデータネットワークであり、更に特には、インターネット、ホスピタルデータネットワーク、専用ＰＡＣＳデータネットワーク等、又はこれらの様々な組み合わせである。

図１Ａでは、ソースボリュームデータセット１０は、ＣＴスキャナのような画像取得システム１１０により得られるか、又はメモリから取り出され、分解プロセッサ要素１２０及び分割プロセッサ１４０により処理される。オプションで、量子化及び圧縮処理（図示されず）が、当業者に知られるように使用されている。分解プロセッサ１２０により実施される分解処理及び分割プロセッサ１４０により実施される分割処理（量子化及び圧縮処理のような他のオプション的な処理だけでなく）は、サーバー１６０で直接実施されるか、又はサーバー１６０によりアクセス可能であるか若しくはサーバー１６０と通信する幾つかの他のコンピュータ（図示されず）で実施される。

図１Ａに戻って、分解プロセッサ１２０の幾つかの適当な実施例及び対応する分解処理が、更に詳細に説明される。一般に、「分解処理」は、例えば様々なレベルで階層的に設けられる変換係数を含むピラミッド的データ構造を生成するために、ウェーブレット変換のようなユニタリピラミッド的変換の使用を示す。ソースボリュームデータセット１０のようなデータのボリュームに対して、分解処理は、様々なレベルでボリューム変換係数を含む３次元のピラミッド的データ構造３０を生成するために変換の使用を必要とする。当該変換は、例えば３次元ピラミッド的データ構造３０（例えば、図５参照）を生成するために３つの直角又は直交次元に適用される。分解プロセッサ１２０から生成されるボリューム変換係数は、元のソースボリュームデータセット１０へ可逆的である。その上、変換係数が空間的に局在化するので、変換係数は、画像の特定の領域に対応するデータを保存する。高い（すなわち低い解像度）レベル（もしあれば）からの係数と共に、生成された３次元のピラミッド的データ構造３０の各レベルでの変換係数は、変換係数に対応する解像度でソースボリュームデータセット１０を再構成するのに充分である。３次元のピラミッド的データ構造３０内の係数を特定する係数座標に沿った変換係数は、これ以降ボリューム内の変換データと集合的に呼ぶ。

３次元のピラミッド的データ構造３０は、サーバー１６０上で直接生成されるか、又はサーバー１６０によりアクセス可能であるか若しくはサーバー１６０と通信するか、さもなければ、サーバー１６０と３次元のピラミッド的データ構造３０を共有できる関連するコンピュータ若しくはプロセッサ（図示されず）上で生成される。

分解処理は、ボリューム係数を備える３次元のピラミッド的データ構造３０を生成するため、実行可能な指示を持つソフトウェア若しくはハードウェア又はこれらの組み合わせとして具現化する。分解プロセッサの適切なハードウェア及びソフトウェアは、参照によりここに完全に組み込まれるＣｈａｎｇらによる米国特許第６７１１２９７号に更に充分に説明されている。例証的例として、一つの適当な分解変換は、ウェーブレット変換である。ウェーブレット変換処理は、ローパス情報からハイパス情報を分離することから成るサブバンド分解の形式である。サブバンド分解は、ＦＩＲフィルタが使用される。同一の又は異なるＦＩＲフィルタが、分解処理の各ステージで使用でき、結果的に図５に概略的に図示される３次元のピラミッド的データ構造３０となる。一つの適当なＦＩＲフィルタのファミリは、ウェーブレットフィルタである。一つの適当なウェーブレットフィルタは、ＪＰＥＧ２０００規格で特定され使用される浮動小数点５、７双直交ウェーブレットカーネル（Daubechies）である。他の適当なウェーブレットフィルタは、例えばＪＰＥＧ２０００画像圧縮規格で特定されるような５、３整数ウェーブレットカーネル又は７、９浮動小数点ウェーブレットカーネルである。斯様なウェーブレットシステム及びフィルタ、又は類似のシステム及びフィルタが使用されるとき、適切には、変換はウェーブレット変換と呼ばれる。

ウェーブレット（又は有限サポートサブバンド）分解の一つの利点は、元のデータセット１０のジオメトリが、生成された変換係数により保存されていることである。これは、サブ解像度又は画像のサブ部分を再構築するために必要とされる係数のサブセットの識別を可能にする。この特性は、参照によりここに完全に組み込まれるＣｈａｎｇらによる米国特許第６７１１２９７号に説明されている。

ウェーブレット変換は、３次元のピラミッド的データ構造３０を生成するために様々なタイプのカーネルを利用できる。固定小数点のカーネルは、ウェーブレット変換カーネルの一つの適当なタイプである。固定小数点カーネルの使用は、浮動小数点記憶を要求することなく、完全な再構成（元の入力のロスがない再構成）を可能にする３次元のピラミッド的データ構造３０に対する固定小数点係数を生成する。

他の適当なウェーブレット変換カーネルのタイプは、浮動小数点係数から成る３次元のピラミッド的データ構造３０を生成するために使用できる浮動小数点カーネルのタイプである。所与のフィルタ長に対して、浮動小数点カーネルでのウェーブレット変換は、固定小数点カーネルでの変換よりも高品質の低解像度画像データを作る。浮動小数点カーネルでのウェーブレット変換は、圧縮アプリケーションでの改善されたＳＮ比のために使用される。よって、浮動小数点カーネルでのウェーブレット変換は、高いＳＮ比（ＳＮＲ）を持つロスがある圧縮であって、視覚的にはロスがないレベルでのロスがある圧縮を可能にする。このアプローチは、３から２０又は更に１までの画像に対する圧縮比を達成することを許容し、従って画像の一般的配信に適切である。浮動小数点カーネルの使用は、また、３次元のピラミッド的データ構造の低い構成要素内に凝集された高いパーセントの情報を生成するが、係数のフルの浮動小数点解像度が保存されていない（すなわち、記憶されていない）場合、ロスなしには可逆的ではない。

浮動小数点カーネルでのウェーブレット変換を利用する例証的分解が、分解関数

により適当に規定され、ここで、

は浮動小数点カーネルを利用する変換に対する変換関数を規定し、Ｉはソースデータ１０（すなわち、画像）を表わし、Ｃは変換されたデータ（すなわち、変換された画像）を表わす。

マルチ解像度フォーマットは、分解プロセッサ及び対応するウェーブレット変換関数が、３次元のピラミッド的データ構造３０の階層的レベル内で独立した情報を数学的に生成するので、３次元のピラミッド的データ構造３０内に内在する。従って、３次元のピラミッド的データ構造３０は各異なる階層的レベルで固有のデータを含むので、３次元のピラミッド的データ構造３０内には冗長な情報がない。３次元のピラミッド的データ構造３０は、冗長な情報からなる種々異なる解像度でのソースデータの単なる複数のレプリカではない。ウェーブレット変換の数学的に独立である性質は、例えば、所与の画像を構成するためのより深い階層レベル（サーバーからクライアントへ以前に伝送されていない）に対応する「追加データ」の伝送だけを要求することにより、ネットワークを介して伝送されるデータの量を最小にする。例えば、ユーザが画像のナビゲーション中に特定の領域を拡大するので、拡大された領域の高い解像度を供給する、より深い階層レベルに対応するデータだけが、拡大動作を実行するためにクライアントに伝送される。

３次元ピラミッド的データ構造３０を生成するためのウェーブレット変換の使用は、大きなボリュームデータファイルの種々異なる部分を伝送するために拡張性のある解像度を提供する。「拡張性のある」ことにより、サーバーデータベースから要求されるデータの量は、クライアントで表示されるべきピクセルと直接的に比例する。すなわち、サーバーから要求される情報の量は、全体のボリュームのサイズとは無関係であり、クライアントでの表示のための要求にだけ依存する。例えば、クライアントが軸方向の画像の１／４解像度（ＸＹ）のバージョンを表示する必要だけがある場合、これらの係数だけがサーバーから要求される。ボリュームソース画像１０が３次元ピラミッド的データ構造３０に分解されるとき、サブ画像及びサブ解像度画像を表わす係数は、サーバー１６０のメモリから直接抽出される。サーバー１６０は、クライアントでの表示のために所望の画像の正確なサイズを再構成するために要求されるこのデータだけを、係数の形式で伝送する。

ウェーブレット変換は、元のソースデータからのデータが、階層的データ表現へ分解される際に失われないという点で、損失がない。ウェーブレット変換は、分解処理の例証的例としてここで説明されるが、他のユニタリピラミッド的表現を利用する分解処理も考察され得る。

図５を参照すると、ボリューム画像ナビゲーションアプリケーションに対して、３つの空間的方向全て（例えば、図の例証的座標に対するｘ、ｙ及びｚ）に沿ったウェーブレット係数を持つユニタリピラミッド的表現３０を生成するために、３次元での変換を実施することが有益であることが、ここで認識される。図５は、面内ウェーブレット変換５００が、中間データ５１０を生成するために個々の軸ソース画像スライス２２０に先ず適用され、次に、最終の３次元ピラミッド的データ構造３０及びボリューム係数を生成するために軸方向、すなわちｚ方向に沿って中間データ５１０にウェーブレット変換が適用される。もっと一般的には、３次元ピラミッド的データ構造３０を生成するために、同一の又は異なる変換５００、５２０が、３つの直角又は直交空間方向に適用される。分解プロセッサ１２０により使用される変換５００、５２０の選択は、３次元ピラミッド的データ構造３０の特定の特徴に依存する。階層を生成するために、３次元ピラミッド的データ構造３０の各レベルは、以前のより高いレベルのローパス「ＬＬＬ」の再帰（リカーシブ）的分解により生成される。再帰は、同一の変換パターン及びカーネル、又は異なるセットの変換カーネル若しくはパターンであり得る。３次元ピラミッド的データ構造３０のレベルが既定のサイズに達するまで、この再帰が続く。例えば、１対１のアスペクト比を持つソースボリュームデータセット１０に対する３次元ピラミッド的データ構造３０の最も低いレベルは、１２８〜１２８〜１２８のローパス成分から成る。しかしながら、解像度の他の粒度が生成されてもよい。その上、４半部（クアドラント、ｑｕａｄｒａｎｔ）が所望の変換での再帰プロセスに使用されてもよい。図５に図示されるアプローチでは、得られる軸方向のスライス２２０は、３次元ピラミッド的データ構造３０の変換データと元のソースボリュームデータセット１０との間の同じアスペクト比を維持するために、同じ回数列及び行次元で（すなわち、ｘ及びｙ方向で）、平面内（インプレイン）変換５００により変換される一方、軸、すなわちｚ方向に適用される変換５２０は、何れの数の変換レベル（０以上）でもあり得る。変換アプリケーションの順番は、図５に示されるものと異なってもよく、例えば軸方向変換５２０が、平面内変換５００の前に適用できることも留意されるべきである。

図５を継続して参照すると、分解の一部として、情報が、分解の「低、低、低」（ＬＬＬ）４半部に凝集される。分解の一つの非限定的例として、変換の計算効率を維持しながら、ウェーブレット変換のカーネルは、元のデータセットについての情報の最大量を３次元分解のＬＬＬ（低、低、低）へ凝集するように選択できる。ウェーブレット変換のこの特性は、変換の計算効率を維持しながら、特定の解像度でソース画像の良好な表現の変換及び後続の表示を可能にする。ウェーブレットカーネルの選択の基準の一つは、係数のＬＬＬ４半部に凝集するデータが完全なデータセットの良好な表現であること、すなわち、係数のＬＬＬ４半部により表わされるデータの低減された解像度セットがその解像度に対する表示データセットとして使用するのに適当かどうかである。よって、ピクセルとして様々なレベルでＬＬＬ変換係数４半部を直接利用することが可能である。浮動小数点カーネルの使用は、３次元ピラミッド的データ構造３０の低い成分内に凝集された高い割合の情報を生成するが、係数のフルの浮動小数点解像度を保存することなしに、損失なく不可逆にはできない。

図５を続けて参照すると、分解プロセッサ１２０により実施される最初の、すなわち平面内変換５００が、第１の繰り返しで、成分画像スライス２２０の各々に対して、図５に示される中間データ５１０に対応する一つのレベルのＭａｌｌｅｔ（分割可能な）変換構造を生成する。ローパスＬＬ４半部が、分解５００の低−高（ＬＨ）、高−低（ＨＬ）、及び高−高（ＨＨ）４半部からなるハイパス４半部と共に生成される。分解プロセスの第２の、すなわち軸方向変換５２０が、最終の３次元ピラミッド的データ構造３０を作るために軸方向、すなわちｚ方向に適用される。軸方向、すなわちｚ方向に沿ったこの第２の変換は、また、ローパス及びハイパス領域を作るので、最終の３次元構造は、８個のオクタント（８半部、ｏｃｔａｎｔ）、ＬＬＬ、ＬＬＨ、ＬＨＬ、ＬＨＨ、ＨＬＬ、ＨＬＨ（図５の斜視図では見えない）、ＨＨＬ、及びＨＨＨを含む。階層レベルを生成するための再帰分解を実施するために、ＬＬＬオクタントは分解処理への新しい入力として使用され、分解プロセスは、入力データのサイズに依存して一つ以上の追加のレベルを生成するために再帰できる。最小のｘ、ｙ、ｚ次元のような終了状況は、分解の幾つのレベル及びどの方向で変換が使用されるべきかを決定するために使用できる。

留意すべきは、第２の、すなわち軸方向の変換５２０が省略されてもよいことである。斯様な状況では、３次元ピラミッド的データ構造３０は、データセットの順次のスライスから情報を凝集することにより形成される。ＬＬＬオクタント及び対応するＬＨＬ、ＨＬＬ及びＨＨＬオクタントは、中間データ５１０間に係数を凝集することにより作られて、対応するＬＬＨ、ＬＨＨ、ＨＬＨ、及びＨＨＨオクタントがない。継続される変換処理が、係数のＬＬＬオクタントに適用される。

代わりに、低い周波数の詳細を効率的に保存する何れの整数ウェーブレットカーネルも使用できたが、分解プロセッサ１２０により実施される分解処理は、ＪＰＥＧ２０００画像圧縮規格に特定される固定小数点５、３整数ウェーブレットカーネルを持つウェーブレット変換を使用してもよい。固定小数点カーネル変換の使用の特性は、参照によりここに組み込まれる米国特許第６７１１２９７号に開示されているように、表現において整数係数を持つことにより完全な再構成表現を保存することである。他の代替として、浮動小数点カーネルを使用するウェーブレット変換が利用され、結果的な係数は、整数ピクセル値を供給するためにスケーリングされるか、又は量子化される。斯様な実施例では、浮動小数点ウェーブレットカーネルは、ＪＰＥＧ２０００画像圧縮規格に特定されるように、７、９浮動小数点ウェーブレットカーネルを有する。

ウェーブレット変換、及び一般にサブバンド符号器の特性は、変換データが、入力サンプルと同じ数の係数を作ることである。ＦＩＲ及びコンパクトサポートウェーブレットのようなジオメトリ保存変換の特性と組み合わせた、この１対１対応は、元のデータセットの何れの解像度でも対象の何れのボリュームも再構成するために拡張係数の計算を可能にする。一般に、Ｎ個のピクセルを再構成するために要求される係数の数は、Ｎに比例するので、対象のボリュームを伝送し、再構成するために必要とされるネットワーク及び計算の帯域幅は、親のデータセットのサイズに無関係であり、クライアントで要求される対象のサブボリュームのサイズにだけ依存する。

左手デカルト座標系の状況で説明されたが、分解プロセッサ１２０により実施される分解処理は、右手デカルト座標系、極座標系、円筒座標系等のような他の座標系でも、一般に動作できる。３次元直交座標系の場合、３次元ピラミッド的データ構造３０を生成するために、３次元直交座標系の３つの座標方向に沿ったユニタリピラミッド的変換を適用することが、通常便利である。図示される実施例では、直交座標系は、左手デカルト座標系であり、ウェーブレット変換５００、５２０が、ｘ、ｙ及びｚ座標方向に沿って適用される。

図１Ａ及び図１Ｂと更に図６及び図７とを参照して、３次元ピラミッド的データ構造３０のオクタントが、係数１５０のボリューム分割ブロックのセットを生成するために分割プロセッサ１４０により処理される。分割により生成される係数の各ブロックは、ここでは、ボリュームピクセル要素、又は短くボクセルと呼ばれ、図７ではボクセル７１０として説明されている。変換データ３０の分割は、参照によりここに組み込まれるＨｕｆｆｍａｎによる米国特許第６９２５２０８号に説明されているように適当に実施される。しかしながら、分割プロセッサ１４０により実施される分割は、各々が元のボリューム画像１０の規定された３次元空間範囲に対応する、３次元ボクセル７１０を作るために、全てのオクタントＬＬＬ、ＬＬＨ、ＬＨＬ、ＬＨＨ、ＨＬＬ、ＨＬＨ、ＨＨＬ、ＨＨＨ上で３次元内にある。

図６は、３次元ピラミッド的データ構造３０のＬＬＬオクタントをボクセル８１０のブロックへの分割を示す。同様に、３次元ピラミッド的データ構造３０のＬＨＬオクタントが、ボクセル８２０のブロックへ分割される。３次元ピラミッド的データ構造３０のＨＬＬオクタントが、ボクセル８３０のブロックへ分割される。３次元ピラミッド的データ構造３０のＨＨＬオクタントが、ボクセル８４０のブロックへ分割される。３次元ピラミッド的データ構造３０のＬＬＨオクタントが、ボクセル８５０のブロックへ分割される。３次元ピラミッド的データ構造３０のＬＨＨオクタントが、ボクセル８６０のブロックへ分割される。３次元ピラミッド的データ構造３０のＨＬＨオクタントが、ボクセル８７０のブロックへ分割される（図７の斜視図では見えない）。３次元ピラミッド的データ構造３０のＨＨＨオクタントが、ボクセル８８０のブロックへ分割される。

図７は、３次元ピラミッド的データ構造３０のＬＬＬオクタントの分割に対応するボクセル８１０のブロックを示す。個別のボクセルは、参照符号７１０により示される。各ボクセル７１０は、元の画像１０のｎｘｍｘｐブロックの空間ピクセルに対応する係数を含む。図示される実施例では、寸法「ｎ」は水平方向、すなわちｘ方向に沿っていて、寸法「ｍ」は垂直方向、すなわちｙ方向に沿っていて、寸法「ｐ」は軸方向又は深さ方向、すなわちｚ方向に沿っている。例えば、一つのボクセル７１０は、ボリューム画像の４ｘ４ｘ４ブロックのピクセルにマッピングする係数を有する。すなわち、斯様な実施例では、ｎ＝ｍ＝ｐ＝４である。他の例証的実施例では、一つのボクセル７１０は、ボリューム画像の８ｘ８ｘ８ブロックのピクセルにマッピングする係数を有する。すなわち、斯様な実施例では、ｎ＝ｍ＝ｐ＝８である。もっと一般的には、ボクセル７１０の寸法ｎ、ｍ、ｐは異なっていてもよく、例えば８ｘ８ｘ４のボクセルは、ｎ＝ｍ＝８及びｐ＝４であると考察され得る。一般に、３次元ピラミッド的データ構造３０は、何れのサイズのボクセル７１０に分割されてもよい。更に、ボリューム分割係数の種々異なる階層レベルは、種々異なるサイズのボクセルを有する。

図６が３次元ピラミッド的データ構造３０の一つのレベルの分割を示すのに対し、図７は一つのオクタントの分割（すなわち、ＬＬＬオクタントの分割）を示す。ボリューム分割された係数１５０のセットの単一のボクセルの完全なラベル付け又は識別は、座標系のセット（＜レベル＞、＜オクタント＞、＜ｘ＞、＜ｙ＞、＜ｚ＞）により適当に与えられ、＜レベル＞は３次元ピラミッド的データ構造３０のボクセルの階層レベル（ボクセルにより供給される空間解像度情報に対応する）を特定し、＜オクタント＞はオクタント（すなわち、３次元ピラミッド的データ構造３０に対する図５に図示されるようなＬＬＬ、ＬＬＨ、ＬＨＬ、ＬＨＨ、ＨＬＬ、ＨＬＨ、ＨＨＬ、又はＨＨＨ）を特定し、＜ｘ＞、＜ｙ＞、及び＜ｚ＞はボクセルの空間座標である。よって、例えば、ボクセル（２、ＬＬＬ、＜ｘ＞、＜ｙ＞、＜ｚ＞）は、階層レベル２、オクタントＬＬＬに対する空間座標＜ｘ＞、＜ｙ＞、＜ｚ＞により示される空間領域に対応するボクセルを表わす。座標系のセット（＜レベル＞、＜オクタント＞、＜ｘ＞、＜ｙ＞、＜ｚ＞）は例証的であり、座標及び座標値の表記法の他の取り決めも利用できる。

分割プロセッサ１４０は、サーバー１６０からクライアント１６２、１６４、１６６へ画像データの効率的伝送を促進するために、ボクセル７１０の圧縮をオプションとして実施する。データ圧縮の実質的に何れのタイプも実行でき、ボクセルの係数のデータ圧縮を実行しないことも考察される。一つの適当な圧縮技術では、各ボクセルの係数が、浮動小数点値により量子化される。結果は、０に向かって丸められ、整数として格納される。一般に、この動作は

として表わされ、

はボクセルを作る係数のブロックを表わし、

は量子化関数を表わす。この表現で、０に向かう丸めが使用される場合、量子化関数

は以下のように表わされる。

さもなければ

ここで、Ｑは浮動小数点値であり、Ｒ_Ｑが量子化クラス幅Ｑの乗数であるように、結果が一定して丸められる（すなわち、０に向かうか又は０から離れる）。量子化クラス幅Ｑは、異なる階層レベルに対して、異なるオクタントに対して、又は最も一般的には異なるボクセルに対して異なる。Ｒｉｃｅ符号関数又はハフマンコード関数のようなロスがない符号器は、ボクセルを作る係数を圧縮するためにボクセルの量子化係数Ｒ_Ｑに適用される。分割プロセッサ１４０の出力は、ボクセルのセットであり、各々が座標のセット（＜レベル＞、＜オクタント＞、＜ｘ＞、＜ｙ＞、＜ｚ＞）によりインデックスを付けられ、各々が効率的な伝送のため圧縮されている。ボリューム分割係数１５０を作る係数ボクセルのセットが、ボリューム画像データセット１０より大きい空間ボリュームをカバーするが（例えば、「エッジ」係数ボクセルが元の画像１０の空間ボリュームを超えて延在する）、ボリュームデータセット１０の各ピクセルは固有の係数ボクセルに内在する（すなわち、固有の係数ボクセルにより表わされる）。

量子化を実行する上記圧縮は、量子化により生じる「残余」情報が失われるので、損失のある圧縮である。しかしながら、この残余情報が充分に小さい場合、結果的に画像は「視覚上損失がない」、すなわち、失われた情報が視覚的に感知できないことを意味する。オプションとして、残余情報は、例えば圧縮された係数から再構成された視覚的に損失がない画像から実際の画像を差し引くことにより計算でき、再生成されるべき完全に損失がない画像を可能にするためにサーバー１６０に格納できる。他のアプローチでは、損失がない圧縮が、係数ボクセルを圧縮するために実行される。

図８を参照すると、代表的なクライアント１６６がサーバー１６０とインタラクトする例証的配置が説明される。通常、病院又は他の医療施設のような事業環境は、図１Ｂに示されるような少なくとも一つのサーバー１６０及び複数のクライアント１６２、１６４、１６６を含むが、図８に図示される例は、単一のクライアント１６６にフォーカスする。クライアント１６６は、サーバー１６０に格納される非常に多くのあり得る他のボリューム画像と一緒に、適当なストレージ媒体９１５内のボリューム分割係数のセット（すなわち、係数ボクセル）として格納される、ボリュームデータセット１０の部分に対してサーバー１６０へリクエストを伝送する。クライアントのリクエストに応答して、サーバー１６０は、ボリュームデータセット１０の要求される部分に対応する一つ以上の係数ボクセルを伝送する。ボリュームデータセット１０の部分に対するリクエストを生成するために、クライアント１６６は、クライアントリクエスト生成モジュール９５５及びクライアントアプリケーション９７５を含むか具現化する。クライアントアプリケーション９７５は、例えば、クライアントコンピュータ１６６上で動作する画像ナビゲーション及び処理アプリケーションプログラムである。特定のボリュームデータセットの表示のための初期化の間、サーバー１６０が、画像の空間的大きさ及び変換構造の詳細のようなボクセル分割係数１５０のセットを説明するパラメータを送信する（例えば、ウェーブレット変換パラメータ、分割空間及び階層レベルサイズ、データ圧縮アルゴリズムパラメータ等）。クライアントアプリケーション９７５は、クライアントで見るためのボリュームソース画像の部分を特定する。例えば、クライアントアプリケーション９７５は、ユーザからの入力選択に基づいて医療画像の部分を特定する医療撮像アプリケーションのためのユーザインタフェースを有する。入力選択は、キーボード、マウス、トラックボール、トラックパッド、タッチスクリーン等のような何れかの適当なユーザ入力装置を介してユーザから受信される。図１Ｂは、クライアント１６６に対する入力装置として例証的キーボード１６６ｋを示す。クライアントアプリケーション９７５は、画像ブロック又はスライスを規定する３次元のピクセル座標、及びボリュームソース画像の解像度を特定する。代わりに、解像度は、クライアントコンピュータ１６６の表示装置の表示解像度の経験的知識と共に、規定された画像ブロック又はスライスの空間サイズに基づいて計算される。クライアントリクエスト生成モジュール９５５は、３次元的に分割された３次元ピラミッド的構造の係数座標へピクセル座標をマッピングする。クライアント側のネットワーク処理インタフェース９５０が、デジタルネットワーク１６８を介してサーバー１６０への伝送のためにクライアントリクエストをフォーマットする。

サーバー１６０で、クライアントリクエストが、クライアントリクエスト処理モジュール９３０（例えば、適当なソフトウェアを実行するサーバー１６０のプロセッサ及び／又はメモリとして適当に具現化される）により処理される。ネットワーク処理インタフェース９４０は、ネットワーク１６８との通信を促進する。一つ以上の係数ボクセルが、特定の解像度でボリュームデータセットを再構成するために関連して、クライアントリクエスト処理モジュール９３０により特定される。特定されるボクセルは、永続的ストレージ媒体９１５に格納されるボクセル分割係数１５０のセットから抽出され、データが適当なネットワーク伝送プロトコルのためにフォーマットされる。ボクセルはクライアント１６６へ伝送され、クライアントキャッシュ９８０に格納され、受信されてキャッシュされたボクセルが、ネットワークプロトコルフォーマットから抽出される（圧縮されたフォーマットでサーバーに格納されている場合、必要な伸長がなされる）。受信され伸長された係数が、表示のために新しい又は更新された画像を生成するために、逆変換処理モジュールにより処理される。一般に、逆変換プロセッサ９６０は、３次元ピラミッド的データ構造３０を生成するために使用される変換５００、５２０（図５参照）の逆変換を実行し、この逆変換動作により、ボリュームデータセット１０内の所望の画像又は画像部分に対する画像ピクセル（又は損失がある圧縮の場合には視覚的に損失がない等価の画像ピクセル）を再生成する。画像レンダリングモジュール９７０は、クライアント１６６の出力ディスプレイ９９０上に表示のためピクセルから人間が知覚できる表示をレンダリングする。

幾つかの場合に、クライアントリクエスト生成モジュール９５５は、選択された空間領域及び選択された空間解像度を特定するクライアントリクエストを生成してサーバー１６０へ送信し、クライアントリクエストからサーバー１６０は、必須の係数ボクセルを決定し、クライアント１６６へ送信する。他の場合には、クライアントリクエスト生成モジュール９５５は、クライアントエンドでの選択された空間領域及び選択された空間解像度に対応する係数ボクセルを特定し、必須の係数ボクセルの識別をサーバー１６０へ伝達する。後者の幾つかの場合では、クライアントリクエスト生成モジュール９５５は、サーバー１６０からのこれら係数ボクセルの２重の再伝達を回避するために、レンダリングのために必要なボクセルがキャッシュ９８０内に既に格納されているかどうかを決定するために、キャッシュ９８０に先ず問い合わせる。前者の幾つかの場合では、サーバー１６０は、どの係数ボクセルが所与のクライアントへ送信されたかを追跡し、この情報に基づいてキャッシュ９８０に既に格納された係数ボクセルの２重の再伝送を回避する。

図９を参照すると、フローチャート図は、３次元画像を配布するためのサーバープロセスに対する一つの実施例を図示する。サーバー１６０は、フローチャート図のブロック１０１０において、処理のためのボリュームデータセット１０を受信又は格納する。ボリュームソースデータセット１０は、処理ブロック１０２０において、３次元ピラミッド的データ構造３０を生成するために分解プロセッサ１２０により変換される。３次元階層データ構造３０は、複数のボクセルに分割され、オプションで、各ボクセルの係数が処理ブロック１０３０において、圧縮される。分割され、オプションで圧縮された係数ボクセルは、処理ブロック１０４０において、サーバー１６０で永続的ストレージ媒体９１５に格納される。サーバー１６０は、係数に対するリクエストを受信しない限り（決定ブロック１０５０の一部として「いいえ」決定を参照）、クライアントから係数に対するリクエストを継続して聞く。サーバー１６０が処理ブロック１０５０において、係数に対するリクエストを受信するとき（決定ブロック１０５０の一部として「はい」決定を参照）、サーバー１６０は、処理ブロック１０６０において、クライアントリクエストで特定される係数座標から必須のボクセルを特定する。特定されたボクセルは、ブロック１０７０において、クライアントリクエストに応答して、クライアントへ伝送される。

図１０を参照すると、フローチャート図は、３次元画像配布のクライアント処理のための一つの実施例を図示する。クライアントで動作するクライアントアプリケーション９７５は、画像を表示するための要求を持つ。例えば、クライアントアプリケーションは、様々な解像度で医療画像の表示のための医療画像アプリケーションを有する。クライアントアプリケーション９７５は、処理ブロック１１１０において、ボリュームソース画像の画像表示のための３次元ピクセル座標を決定する。ピクセル座標及び解像度を使用して、クライアントは、処理ブロック１１２０において、ピクセル座標を３次元ピラミッド的データ構造の係数座標へマッピングする。クライアントは、係数座標でリクエストを定式化し、処理ブロック１１３０において、リクエストをサーバー１６０へ伝送する。リクエストに応答して、クライアントは、ブロック１１４０において、リクエストで特定される係数座標を含む、又は係数座標に対応する一つ以上の係数ボクセルを、サーバー１６０から受信する。クライアントは、処理ブロック１１５０において、ボクセルでソース画像の一つ以上のボリューム表示を構築する。例えば、ボクセル係数をピクセルに変換した後、クライアントは、ボクセル係数から軸方向の、矢状面の冠状面の又は斜面の表示を構築する。これらの表示は、何れかの解像度であるし、親ボリュームデータセット１０の何れかの一部であり、解像度は、階層レベル又は受信したボクセルのレベル＜レベル＞により制御され、再構成のために利用可能な親ボリュームデータセット１０の一部は受信したボクセルの空間座標＜ｘ＞、＜ｙ＞、＜ｚ＞により制御される。

クライアントアプリケーション９７５が新しい画像表示に対する新しいピクセル座標及び解像度を特定する場合、クライアントは、あるならばどの係数座標が新しい画像表示をレンダリングするために要求されるかを決定する。新しい係数座標がクライアントキャッシュ９８０に既にキャッシュされている場合、クライアントアプリケーションは、キャッシュされたボクセルで新しい表示をレンダリングする。他方、クライアントがキャッシュ９８０に新しい表示に対して要求される全ての係数を持たない場合、クライアントは、新しい係数のための新しいリクエストを生成して送信し、サーバーは、処理及び表示のためにこれらのボクセルをクライアントへ伝送する。

図１１−図１６を参照すると、選択された空間解像度でボリューム画像の選択された部分を再構成するために充分な係数ボクセルの選択の幾つかの例が図示されている。図１１−図１６の例は、概略的に図６に示されるボリューム分割係数ボクセル１５０のセットを利用する。図１１−図１６の各々は、対応する階層レベル解像度を持つ一つの例証的階層レベルでのボリューム分割係数ボクセルを示す。ユニタリピラミッド的表現の冗長でない階層配置のため、示される階層レベルが最上の（最も低い解像度の）階層レベルではない場合、（示されてはいないが）示されるレベルよりもユニタリピラミッド的表現における「上の」レベル、すなわちより低い解像度である階層レベルの選択された空間平面又は領域に対する係数ボクセルが、選択される高い解像度での画像を再構成するために要求されることは、理解されるべきである。

図１１及び図１２は、「ズーム」動作を概略的に図示する。図１１は、軸方向、すなわちｚ方向に沿ったフルの階層レベル解像度の半分であって、ｘ−ｙ（軸）平面でのフル階層レベル解像度の４分の１で軸方向表示を再構成するために要求される係数ボクセル１２００を特定する。係数ボクセル１２００は、ボリューム分割係数ボクセル１５０のセットのＬＬＬオクタントのｘ−ｙ平面のボクセルである。図１２は、軸方向すなわちｚ方向では同じ解像度であるが、ｘ−ｙ平面では高い解像度で、図１１と同じ軸平面の「ズームされた」軸方向表示を再構成するために要求される追加の係数ボクセル１２１０を特定する。ズームされる領域の空間範囲が小さいので、追加の係数ボクセル１２１０は、係数ボクセル空間内の全軸（ｘ−ｙ）平面に及ばないが、むしろ低減された又はズームされた表示に対応する低減された（ｘ−ｙ）スパンを持つ。ズームされた表示に対して、図１１の係数ボクセル１２００のセットの最も外側のボクセルは、もはや必要ないが、オプションとして、例えば医師又は放射線技師が大きな表示まで「拡大」することを選ぶ場合のような後の使用のためにキャッシュ９８０に残ることに留意されたい。

好適には、係数ボクセル１２００、１２１０だけが、ズーム動作を含む軸方向スライス表示を実現するために、サーバー１６０からクライアント１６６へ伝送される必要がある。ボリューム分割係数ボクセル１５０の全セットが、伝送される必要はない。他の利点は、係数ボクセルの伝送がナビゲーションセッションにわたって配信されることであり、すなわち係数ボクセル１２００の第１のブロックがグループとして伝送されて医師又は放射線技師により見られ、後でズームを達成するために追加の画像データを供給する係数ボクセル１２１０を伝送する。医師が特定の領域（例えば、関心のある病変又は腫瘍の低いコントラスト表現を含む領域）にフォーカスして更に高い解像度まで連続してズームする通常の画像ナビゲーションセッションにおいて、残り（必須でないボクセルの部分）は以前の（より低い解像度の）画像表示のためにクライアントに既にキャッシュされているので、各連続するズーム動作が小さな部分の必須のボクセルの伝送を伴って、係数ボクセルの伝送は依然良好に配信される。

図１３及び図１４は、ズーミングが軸方向、すなわちｚ方向に実施される他の例を図示する。図１３は、軸方向すなわちｚ方向に沿った階層レベル解像度の半分で、ｘ−ｙ（軸）平面でフルの階層レベル解像度で、軸方向表示を再構成するために要求される係数ボクセル１３００を特定する。係数ボクセル１３００は、ボリューム分割係数ボクセル１５０のセットのＬＬＬ、ＬＨＬ、ＨＬＬ、及びＨＨＬオクタントのｘ−ｙ平面のボクセルである。図１４は、軸方向すなわちｚ方向に沿ったフルの階層レベル解像度で、ｘ−ｙ（軸）平面でフルの階層レベル解像度で、係数ボクセル１３００を、図１３の軸方向表示を再構成するために要求される追加の係数ボクセル１３１０と共に図示する。必須の追加の係数ボクセル１３１０は、グループ１３００に対する同じｘ−ｙ平面のボクセルであるが、ＬＬＨ、ＬＨＨ、ＨＬＨ、及びＨＨＨオクタント内にある。再び、伝送されるボクセルは、ボリューム分割係数ボクセル１５０の全セットの小さなサブセットであり、ボクセル１３００、１３１０の伝送は画像ナビゲーションセッションで配信される。

ボリューム分割係数ボクセル１５０のセットは性質的に３次元なので、医師又は他のユーザは、観察し、ズームし、若しくはパンニングの方向又は向きに限定されない。

例えば、図１５は、ｘ方向に沿った階層レベル解像度の半分で、矢状（ｙ−ｚ）面内で階層レベル解像度の４分の１で、矢状面表示を再構成するために要求される係数ボクセル１４００を特定する。係数ボクセル１４００は、ボリューム分割係数ボクセル１５０のセットのＬＬＬオクタントのｙ−ｚ平面のボクセルである。

同様に、図１６は、ｙ方向に沿った階層レベル解像度の半分で、冠状（ｘ−ｚ）面内で階層レベル解像度の４分の１で、冠状面表示を再構成するために要求される係数ボクセル１５００を特定する。係数ボクセル１５００は、ボリューム分割係数ボクセル１５０のセットのＬＬＬオクタントのｘ−ｚ平面のボクセルである。

示されてはいないが、ズーミング動作は、図１１、図１２及び図１３、図１４で示された軸方向平面ズーミング動作と類似して、矢状又は冠状面で実施できる。同様に、ズーミング動作は、斜面の空間画像ピクセルに対応する係数を含む係数ボクセルのサーバー−クライアント間の伝送及び適用な選択により、斜面上で実施できる。パンニング動作も、示されてはいないが、パンニング動作により表示に加えられる追加の空間ボリュームに対応する係数ボクセルを伝送し、パンニング動作により表示から除かれる空間ボリュームをカバーする何れのボクセルも廃棄する（すなわち、キャッシュに残す）ことを伴う。

図示された係数ボクセルは、空間の隣接する３次元ブロック又は領域に対応する。幾つかのアプリケーションでは、ボリューム画像は、時間の次元も持つ。例えば、シネマ的すなわち「シネ」表示は、サブジェクトのボリューム画像の時間的連続を有する。時間の次元に沿ってユニタリピラミッド的変換を更に適用し、「４次元」ボクセルを規定するために時間の次元に沿って分割することにより、第４の次元として時間の次元をボクセル表現に導入することが、考察される。各４次元のボクセルは、座標（＜レベル＞、＜ｏｒｔｈａｎｔ（ｎ半部、ｎ象限）＞、＜ｘ＞、＜ｙ＞、＜ｚ＞、＜ｔ＞）により適当に示され、ここで、＜レベル＞は４次元ピラミッド的データ構造３０のボクセルの階層レベル（ボクセルにより供給される空間及び時間解像度情報に対応する）を特定し、＜ｏｒｔｈａｎｔ＞はｎ半部（ここでは、１６半部、すなわちＬＬＬＴ_Ｌ、ＬＬＨＴ_Ｌ、ＬＨＬＴ_Ｌ、ＬＨＨＴ_Ｌ、ＨＬＬＴ_Ｌ、ＨＬＨＴ_Ｌ、ＨＨＬＴ_Ｌ、ＨＨＨＴ_Ｌ、ＬＬＬＴ_Ｈ、ＬＬＨＴ_Ｈ、ＬＨＬＴ_Ｈ、ＬＨＨＴ_Ｈ、ＨＬＬＴ_Ｈ、ＨＬＨＴ_Ｈ、ＨＨＬＴ_Ｈ、ＨＨＨＴ_Ｈがあり、Ｔ_Ｌ及びＴ_Ｈは時間の次元に沿って適用されるユニタリピラミッド的変換により課される分割を示す）を特定し、＜ｘ＞、＜ｙ＞及び＜ｚ＞は空間座標であり、＜ｔ＞は時間座標である。適当なビデオナビゲーション及び処理ソフトウェアを使用して、クライアントは、サーバーが所望の空間及び時間的解像度でＣＩＮＥデータの空間及び時間的領域を再構成するために充分なこれらの４次元係数ボクセルだけを伝送して、空間及び時間両方について同様にズームできる。

要約すると、ソースボリュームデータセット、特にボリューム画像データ（すなわち、３次元画像データ）を処理するためのシステム及び方法の様々な実施例が開示され、これらの実施例では、画像データが階層レベルを持つユニタリピラミッド的表現へ変換され、当該階層レベルの各連続するレベルは、増大した解像度を供給する情報を加え、空間的に局在化した画像情報を供給する。適当なユニタリピラミッド的表現は、例えば参照によりここに完全に組み込まれるＣｈａｎｇらによる米国特許第６７１１２９７号に開示されているように、ウェーブレット表現を含む。ここで開示されるシステム及び方法は、更に、例えば参照によりここに完全に組み込まれるＨｕｆｆｍａｎによる米国特許第６９２５２０８号に開示されている技術を使用して、変換されたユニタリピラミッド的表現を分割する。

ここで開示されるシステム及び方法は、（ｉ）３次元でユニタリピラミッド的表現への変換を実施し、（ｉｉ）また、３次元で分割を実施することにより、階層レベルを持つボクセルベースのユニタリピラミッド的表現を生成し、階層レベルの各連続するレベルは、増大した解像度を供給する冗長的でない情報を本質的に加え、当該情報は元のボリューム画像データのピクセルの規定された３次元ブロックの係数を各々が表わす係数ボクセルへグループ化されるという認識に基づいて、これらの技術を拡張する。従って、このデータ表現は、全体のボリューム画像データセットの大半の伝送を伴うことなく、ボリューム画像の３次元ナビゲーションを可能にするために充分なデータの速い伝達を可能にする。ボリュームモデルは、何れの所与の時間でも表示されるべきボリューム及び解像度に基づいて問い合わせられるＰＡＣＳ又は他の画像データベースで構成でき、ＰＡＣＳ及び他の画像データベースは、要求される解像度でその要求されるボリュームをレンダリング又は表示するために充分な情報だけを伝達する。

この開示されたアプローチは、伝送されるべきデータの総量を低減し、ボリュームベースのナビゲーションの典型的なシーケンスの場合の時間にわたってデータ伝送を配信する。例えば、解剖的配向を提供するために使用される初期の表示において、システムは、最高の階層レベルで、又は低解像度に対応するユニタリピラミッド的表現のレベルだけで、全画像を伝達できる。医師は、対象の特徴又は領域に「ズームイン」するので、システムは、ズームされる領域の対象の強化された解像度及び低減されたボリュームに対応するユニタリピラミッド的表現の係数ボクセルだけを伝達し、よって、伝達される画像データの量を限定し、ボリュームベースのナビゲーションセッションの時間にわたってそのデータの伝達を配信できる。結局、医師は、通常は小さく比較的低コントラストである対象の特徴を見えるようになるまで、通常はズームするだろう。この最終的ポイントで、システムは、対象の特徴を含む画像の部分を含むユニタリピラミッド的表現の比較的小さな数のボクセルだけに対して、ユニタリピラミッド的表現のフルの階層の残りを伝達する。

更にまた、開示されたシステム及び方法は、ボクセルベースのユニタリピラミッド的表現を利用するので、ボリュームベースのナビゲーションは、画像の何れの部分及び何れの方向に対しても実施できる。ボリュームベースのナビゲーションは、スライスベースのジオメトリに向けてバイアス又は限定されず、むしろ医師は、ボクセルベースのユニタリピラミッド的表現により与えられる効率的なデータ伝送の利点を常に享受しながら、種々異なる表示角、表示、又は他のパラメータを選択できる。

幾つかの好ましい実施例が、ここで説明されてきた。変形及び代替が、前述の説明を読んで理解すると、他に見出されてもよい。説明は、添付の請求項又は等価物の趣旨又は範囲内にある限り、全ての斯様な変形及び代替を含むものとして解釈されることが意図される。

Claims

ボリューム画像のユニタリピラミッド的表現を格納するストレージ及びプロセッサを含むサーバーであって、前記ユニタリピラミッド的表現は、係数ボクセルのセットを有し、各連続的レベルが、増大した空間解像度を供給するための情報を加える、階層的レベルを持ち、各係数ボクセルは、前記ボリューム画像の規定された３次元空間領域に対応し、及び階層の選択されたレベルに対応する、当該サーバーと、
選択された空間領域に対応し、選択された空間解像度に対応する前記ボリューム画像の撮像データに対するリクエストに応答して、ネットワークを介して、選択された係数ボクセルを伝達するネットワークインタフェースとを
有する、画像処理システム。
前記サーバーが、ウェーブレット表現として前記ボリューム画像の前記ユニタリピラミッド的表現を格納し、各係数ボクセルが、更に、前記ウェーブレット表現の選択された４半部又はオクタントに対応する、請求項１に記載の画像処理システム。
前記サーバーが、３次元直交座標系の３次元方向に沿って、ユニタリピラミッド的変換を適用することにより、前記ユニタリピラミッド的表現を生成する、請求項１に記載の画像処理システム。
前記サーバーが、更に、前記ユニタリピラミッド的表現を格納する前に、前記係数ボクセルを圧縮する、請求項３に記載の画像処理システム。
プロセッサ、ストレージ、及びディスプレイを含むクライアントを更に有し、前記クライアントは、伝達された選択された係数ボクセルを前記サーバーから受信し、選択された空間領域及び選択された空間解像度に対応する受信された係数ボクセルから画像を再構成し、再構成された画像を前記ディスプレイに示す、請求項１に記載の画像処理システム。
前記クライアントが、前記空間領域及び前記ディスプレイのディスプレイ解像度に基づいて、選択された空間解像度を決定する、請求項５に記載の画像処理システム。
前記クライアントが、少なくとも一つのユーザ入力装置を含み、前記ディスプレイと前記少なくとも一つのユーザ入力装置と協力して動作する画像ナビゲーション及び処理アプリケーションプログラムを実行し、画像ナビゲーション及び処理アプリケーションプログラムを実行することが前記空間領域及び前記空間解像度を選択し、前記クライアントが、選択された空間領域及び選択された空間解像度を特定するか、又は前記選択された空間領域及び前記選択された空間解像度に対応する係数ボクセルを特定するクライアントリクエストを生成して前記サーバーに送信する、請求項５に記載の画像処理システム。
前記クライアントが、更に、係数ボクセルキャッシュを含み、前記クライアントが、前記選択された空間領域及び前記選択された空間解像度に対応する何れのキャッシュされた係数ボクセルも特定し、前記サーバーに送信される前記クライアントリクエストから、キャッシュされた係数ボクセルを省く、請求項７に記載の画像処理システム。
前記ボリューム画像が時間の次元を含む４次元画像であり、前記サーバーは、係数ボクセルのセットを有し、各連続するレベルが増大した空間及び時間的解像度を供給する情報を加える階層レベルを持つ、前記ユニタリピラミッド的表現を格納し、各係数ボクセルが、４次元ボリューム画像の規定された４次元の空間及び時間的領域に対応し、且つ階層の選択されたレベルに対応する、請求項１に記載の画像処理システム。
サーバーから少なくとも一つのクライアントへボリューム画像のデータを伝送する方法であって、
ボリューム画像を複数の係数を有する階層的表現に変換する変換ステップであって、前記階層的表現が本質的に非冗長的データの複数のレベルを有し、前記階層的表現のレベルが、当該レベルに対応する解像度で前記画像を再構成するのに充分な変換データを有する、当該変換ステップと、
前記係数を複数のボクセルへ分割する分割ステップであって、各ボクセルが水平方向に「ｎ」個の係数、垂直方向に「ｍ」個の係数、深さ方向に「ｐ」個の係数を持つ当該分割ステップと、
前記ボリューム画像の少なくとも一部を再構成するのに必要な前記階層的表現の一つ以上のレベルからボクセルの形式で、変換データをクライアントからサーバーへ要求する要求ステップと、
前記ボリューム画像の少なくとも一部の係数に対するリクエストをクライアントからサーバーへ伝送する伝送ステップと、
前記リクエストに応答して、少なくとも一つのボクセルを前記サーバーから前記クライアントへ伝送する伝送ステップと、
少なくとも一つの伝送されたボクセルから前記ボリューム画像のボリューム表示を、前記クライアントで再構成する再構成ステップとを
有する、方法。
前記ボリューム画像の新しい部分を再構成するために必要な前記階層的表現からの変換データを、前記クライアントから前記サーバーへ要求する要求ステップと、
前に伝送されたレベルに対して前記階層的表現の一つ以上低いレベルである、前記ボリューム画像の前記新しい部分に対応する、前記階層的表現のレベルからの追加の変換データを、前記サーバーから前記クライアントへ伝送する伝送ステップと、
元々伝送されていた変換データ及び前記追加の変換データで前記ボリューム画像の前記新しい部分を再構成するステップとを更に有し、
これにより、前記クライアントで前記ボリューム画像の前記新しい部分を構成するために必要な増分の変換データだけが、前記サーバーから前記クライアントへ伝送される、
請求項１０に記載の方法。
前記ボリュームデータの係数に対するリクエストを伝送する前記伝送ステップが、前記ボリューム画像の前記部分を規定するためにピクセル座標を生成するステップと、
前記ピクセル座標により規定された一つ以上のボクセルを、前記サーバーから前記クライアントへ伝送するステップと、特定された前記ボクセルを前記サーバーから前記クライアントへ伝送するステップとを有する、請求項１０に記載の方法。
前記ボリュームデータの係数に対するリクエストを伝送する前記伝送ステップが、前記ボリューム画像の前記部分を規定するためにボクセル指標を生成するステップと、
前記ピクセル座標により規定された一つ以上のボクセルを、前記サーバーから前記クライアントへ伝送するステップと、特定された前記ボクセルを前記サーバーから前記クライアントへ伝送するステップとを有する、請求項１０に記載の方法。
前記ボリューム画像は医療撮像スキャナからの画像のスライスを有する、請求項１０に記載の方法。
前記クライアントで前記ボリューム画像のボリューム表示を再構成する前記再構成ステップが、軸方向の平面表示を生成するステップを有する、請求項１０に記載の方法。
前記クライアントで前記ボリューム画像のボリューム表示を再構成する前記再構成ステップが、矢状面表示を生成するステップを有する、請求項１０に記載の方法。
前記クライアントで前記ボリューム画像のボリューム表示を再構成する前記再構成ステップが、冠状面表示を生成するステップを有する、請求項１０に記載の方法。
前記クライアントで前記ボリューム画像のボリューム表示を再構成する前記再構成ステップが、斜面表示を生成するステップを有する、請求項１０に記載の方法。
前記ボリューム画像を階層的表現へ変換する前記変換ステップが、固定小数点カーネルでのウェーブレット変換を使用して、前記ボリューム画像を階層的表現へ変換するステップを有する、請求項１０に記載の方法。
ボリューム画像を表示するため選択された３次元空間領域及び空間解像度を特定するステップと、
前記ボリューム画像の規定された３次元空間領域及び空間解像度に対応する係数ボクセルへ分割されたユニタリピラミッド的表現として前記ボリューム画像を格納するサーバーに問い合わせるステップと、
問い合わせに応答して、前記選択された空間解像度で前記ボリューム画像の前記選択された空間領域を再構成するのに充分な画像データを含む前記ユニタリピラミッド的表現の係数ボクセルを前記サーバーから受信する受信ステップと、
受信した係数ボクセルに基づいて、前記選択された空間解像度で前記ボリューム画像の前記選択された空間領域を表す画像を再構成して表示するステップとを
有する、画像ナビゲーション及び処理方法。
前記受信ステップは、以前に受信されキャッシュされた何れの係数ボクセルも省き、前記サーバーから受信された係数ボクセルをキャッシュするステップを更に有する、請求項２０に記載の画像ナビゲーション及び処理方法。
前記サーバーから受信された係数ボクセルをキャッシュするステップと、
前記選択された解像度に関する増大及び前記選択された３次元空間領域の減少を有する更新を特定するステップと、
前記更新に応答して前記サーバーに更新問い合わせをするステップと、
前記更新問い合わせに応答して、更新により増大された選択された空間解像度で前記ボリューム画像の更新により減少した選択された空間領域を再構成するのに充分な画像データを、キャッシュされた係数ボクセルと共に含む追加の係数ボクセルを前記サーバーから受信する受信ステップであって、受信された追加の係数ボクセルがまたキャッシュされる当該受信ステップと、
キャッシュされた係数ボクセルに基づいて、更新により増大した選択された空間解像度で前記ボリューム画像の更新により減少した選択された空間領域を表す画像を再構成し表示するステップとを
更に有する、請求項２１に記載の画像ナビゲーション及び処理方法。