JP2007531554A - 管状構造を立体的に表示するディスプレイ及び該ディスプレイのための改善された技術（「ステレオ・ディスプレイ」） - Google Patents

Abstract

管状の解剖学的構造を立体視的に表示するとともに仮想観察するための改善されたシステム並びに方法が提供される。このような構造を立体視表示することにより、観察者は観察対象であるこの構造の奥行き感をよりよく知覚できるから、より現実に近い仮想検査を行うことができる。本発明の好適な実施形態において、光線技術と適切なエラー補正技術を組み合わせて用いることにより、立体ディスプレイのための輻輳点を動的に調節可能となる。本発明の好適な実施形態において、輻輳点の正確さが点検され、無秩序な或いは不快な視覚化が防止される。加えて、本発明の好適な実施形態においては、連続する時間フレームにおける輻輳点が比較される。急速な変化が検知された場合、過渡的な輻輳点を補間することにより補正を行う。本発明の好適な実施形態においては、光線照射を用いて、結腸内壁の襞状部分及び突起部分の裏に隠れた領域を表示することが可能である。本発明の好適な実施形態において、相互作用的ディスプレイ制御機能は、ゲーム・タイプのジョイスティック或いはその他の３次元コントローラにマッピング可能である。これにより、ユーザが、標準的なマウス或いはトラックボールのような２次元コンピュータ・インターフェース・デバイスの制約を受けることがなくなる。

Description

本発明は医療用撮像に関し、より詳しくは管状の解剖学的構造に関する３次元（３Ｄ）データ・セットを視覚化並びに立体表示するための改善されたシステム及び方法に関する。

医療従事者や医療専門家が、例えば血管或いは結腸などの管状解剖学的構造の内部を調べるには、従来の内視鏡法／結腸内視鏡法において行われるように、プローブとカメラを挿入する以外の方法はこれまで存在しなかった。磁気共鳴撮影（MRI、magnetic resonance imaging）やコンピュータ断層撮影（CT、computerized tomography）などの高度な撮像技術の出現とともに、管腔組織（及びその他の組織）のボリューム・データ・セット表現（３次元データ・セット表現）を作成可能となった。これらボリューム・データ・セットを提供された放射線専門医或いはその他の使用者は、侵襲性の処置を行うことなく患者の管状組織内部を検査できる。
例えば、結腸内視鏡法の分野では、下腹部を撮影した多数のＣＴ断層画像からボリューム・データ・セットが作成される。一般的にこの技術において、３００乃至６００若しくはそれ以上の断層画像が用いられる。様々な補間方法を用いてこれらＣＴ断層画像を融合することにより、３次元（３Ｄ）ボリューム画像が生成される。従来のボリューム・レンダリング技術を用いると、結腸のような３Ｄボリュームの一部を区画化及びレンダリングすることができる。また、このような技術を用いて、患者の結腸に関する３次元データ・セットを適切なディスプレイ上に表示することが可能である。使用者はこのようなディスプレイを見ながら、患者の結腸に沿って観察できるから、実際の観測計器を挿入する必要がない。このような過程は、「仮想結腸内視鏡」として知られる。仮想結腸内視鏡（より一般的には仮想内視鏡）によると、結腸内視鏡或いはその他の内視鏡を実際に挿入する場合と比べて、侵襲性技術の必要性が大幅に低減されるから、患者にとって魅力的な方法である。

利便性や利点の一方で、従来の「仮想結腸内視鏡」或いは「仮想内視鏡」には、多数の課題も存在する。標準的な技術を用いて管状構造の仮想検査を行うときには、管状構造の種類に関わらず、同様の問題が生じる。例えば、従来の「仮想結腸内視鏡」では、使用者の視点は結腸の内部に位置する。この視点は通常、算出された中心線に沿って結腸内を移動する。従来の仮想結腸内視鏡は標準的な平面視コンピュータ・ディスプレイに表示される。よって環境の奥行き手掛りは通常表示されない（すなわち奥行き方向の情報を十分に得ることはできない）。結果として解剖学的構造の重要な特性が表示されなかったり、看過されたりする。
大型の管状組織（例えば結腸或いは血管）を仮想検査する手順を改善して、このような手順を最適化し、対象である管状組織を含む解剖学的領域のスキャン・データから構築される３次元ボリューム・データ・セットにおいて利用可能な情報を最大限生かすことが当該技術分野において必要とされている。このことは、立体視ディスプレイを介して実行される。したがって、管状構造のリアルタイム立体視的ディスプレイのための改善された方法が必要である。

本発明は、管状の解剖学的構造を立体視表示及び仮想表示するための改善されたシステム並びに方法を提供する。このような構造を立体視表示することにより、使用者が表示される構造の奥行きをより明確に認識できるから、より現実に近い仮想検査を行うことができる。
本発明は更に、適切なエラー補正技術と光線照射技術を組み合わせて用いることにより、立体視表示のための輻輳点を動的に調整可能であることを特徴とする。本発明は更に、輻輳点の正確さを検証可能であるから、無秩序或いは不快な視覚化が防止されることを特徴とする。本発明は更に、連続する時間フレームにおける輻輳点が比較されることを特徴とする。もし急な変化が検知されると、システムは過渡的な輻輳点を補間することにより埋め合わせを行う。本発明は更に、光線照射技術を用いて結腸内壁の襞状部分及び突起部の後ろに隠れた領域を表示することを特徴とする。本発明は更に、相互作用的ディスプレイ・コントロール機能が、ゲーム・タイプ・ジョイスティック或いはその他の３次元コントローラにマップされ、これにより、例えば標準的なマウス或いはトラックボールといった２次元のコンピュータ・インターフェース・デバイスに起因する制約を使用者が受けないようにすることを特徴とする。

本発明の更なる特徴、性質及び利点は、図面と様々な実施形態に関する以下の詳細な説明により明らかにされる。

本発明の更なる目的及び利点が以下の詳細な説明において開示される。本発明のこれら目的及び利点は以下の説明或いは慣例に従って理解される。本発明の目的及び利点は、請求の範囲に示す本発明の構成及びこれらを組み合わせたものにより実施される。

上記の一般的説明及び以下の詳細な説明は例示のためにのみ示されたものであって、本発明の範囲を限定するものではない。

本出願は、以下の米国仮特許出願に基づくものであり、以下の出願それぞれの記載事項は本明細書中に組み込まれている。米国特許出願第６０／５１７，０４３号及び第６０／５１６，９９８号（出願日：２００３年１１月３日）、並びに第６０／５６２，１００号（出願日：２００４年４月１４日）。

本発明の特許出願書類は少なくとも１つのカラー図面を含む。カラー図面が添付されたこの特許或いは特許出願公報の写しは、米国特許庁に請求し、必要な費用を支払えば入手可能である。

本出願においては、様々なカラー図面をグレースケール図面にした図面が多数用いられているが、カラー図面についての言及は、対応するグレースケール図面についての言及として理解されるべきものである。逆も同じである。記述を簡略化するために、カラー図面についての説明或いは言及を、対応するグレースケール図面について繰り返すことはしないが、特に別途記載のない限り、このような対応する図面にも等しく当てはまるものとする。

本発明の実施形態においては、３次元モデル空間内の任意の第１位置から、該３次元モデル空間内の任意の第２の位置まで光線が照射される。このような光線が通過するボクセルのそれぞれの値を所定の閾値と比較することにより、本発明の一実施形態に係るシステムは任意の２点の視認度（visibility）に関する情報を得る。例えば、図６Ａに示すごとく、点Ａから点Ｂまで光線が照射される。光線は多数のボクセルを通って進む。これらボクセルのいずれもが所定の閾値より大きな濃淡値（intensity value）を有さなければ、この光線が通過するボクセルは不可視であり、点Ａと点Ｂは互いに可視である。一方で光線の経路内で、任意のボクセルの濃淡値が閾値を超えると、点Ａ及びＢはこのボクセルによりブロックされ、互いに不可視となる。したがって光線が障害ボクセルに最初に当たる第１の点（例えば図６Ａの点Ｃ）は、点Ａから点Ｂへ向かう方向において、点Ａから最大視認距離に位置する。この距離すなわち、点Ａと点Ｃの距離は計算可能である。本発明においては、特に光線照射などの技術を用いて、３次元管状構造の相互作用的表示を改善してもよい。

（ステレオ・ディスプレイ）
本発明においては、管状解剖学的構造を立体視的に表示することにより、使用者が奥行きを寄り明確に認識し、表示された視覚データに含まれる利用可能な奥行き手がかりを処理できるようにしてもよい。平面視的に表現された場合、管腔内から管腔壁内部の映像において、管腔壁上に位置し、使用者から隠れた位置にある壁面内の窪んだ領域或いは穴から、使用者に向かって立上がった物体を見分けることが難しい。このような状況を示す図として、図１Ａは窪んだ領域或いは穴部の一例を示し、図１Ｂはポリープの一例を示す。結腸管腔内に視点を有する者には、ポリープは凸状部分として見える。これらの構造は、平面視的に表示されると識別が難しい。

立体的な仮想表示を行うことによりこの不明確さを解決可能である。例えば図２は、対象物（図１Ｂのポリープ）の画像であり、この画像は左眼と右眼それぞれのために形成されている。例えば、インタレース表示と３Ｄグラスを用いると、使用者はこの対象物の立体表示から、周囲から「突出した（popping up）」ポリープを容易に識別できる。両眼の視線を交差させて、左眼で右側の「左眼」画像を、右眼で左側の「右眼」画像を見ると、図２の画像を融合して得られる立体効果を知覚できる。図３は、結腸で撮影された対象物の別の例を示し、この画像はアナグリフ赤−緑立体画像として表示されている。この画像は、赤−緑眼鏡を用いて見るための画像である。赤−緑眼鏡は、手品用品や科学プロジェクト用品を扱う小売店で一般的に入手可能である。この画像の対象物は結腸から突出するポリープである。図２と同様に、図３（ａ）及び図３（ｂ）は図３の左眼用（赤）のチャネルと右眼用（緑）のチャネルをそれぞれ示す。図３（ａ）と図３（ｂ）を横に並べて（右に左眼用、左に右眼用）手に持ち、視線を交差させると、立体効果が知覚できる。このように立体視的に画像を見る方法は、本明細書中で説明する全ての立体視画像の左眼用及び右眼用チャネルの組に対して適用される。記述を簡略化するために、以下ではこのような方法がとられることを前提として、左眼用及び右眼用チャネルの組について説明し或いは論じる度に説明を繰り返すことはしない。

図３Ａ乃至図３Ｊは更に、例えばヒトの結腸といった管状の解剖学的構造の検査における立体視画像の利点を示す図である。図３Ａは、結腸の典型的な分節を立体視的に示す。この典型的な結腸の分節は、アナグリフ（赤−緑）立体画像を用いて示されている。適切な眼鏡（手品用品店や、教育／科学用品店、或いは玩具店にて入手可能な赤―緑「３Ｄ眼鏡」程度の簡便なものでよい）を用いてこのような画像を見ると、容易に奥行き感が得られる。このような奥行き感は、立体視ディスプレイを用いなければ得られないものである。図３Ａにおいて、結腸の上側のカーブに沿って形成された結腸の襞状部分は、全ての奥行き手掛かりと、容易に視認可能な３次元情報を用いて描かれている。図３Ａ（ａ）及び（ｂ）はそれぞれ、図３Ａに示される立体視画像の左眼用チャネルと右眼用チャネルを示す。

図３Ｂは、図３Ａに示す典型的な結腸分節を示すが、画像の一部に番号を付してよりわかりやすく示している。図３Ｂ（ａ）及び（ｂ）はそれぞれ、図３Ｂに示される立体視画像の左眼用（赤）チャネルと右眼用（緑）チャネルを示す。図３Ｂに示すごとく、この結腸分節には、上方結腸分節（３００）の上方襞状部分（１００）と下方襞状部分（２００）が存在する。図３Ｂにおいて、上方結腸分節（３００）はズーム・ボックスのフォワード・プレーン（ディスプレイ・デバイスのフォワード垂直プレーンとして知覚される）により長手方向に両断された状態で示されている。上方結腸分節とは明らかに不連続である下方結腸分節（５００）及び（６００）も同様に示されている。図３Ｂの大部分を占める上方結腸分節（３００）の下方に当たる図の下部中央には、２つの別の結腸分節（５００）及び（６００）が見えている。これらの分節は、ズーム・ボックスのフォワード・プレーンにより軸方向に両断されている。これらの分節がズーム・ボックスのフォワード・プレーンにより軸方向に両断されているのは、これら分節を多少なりとも内視鏡的に観察できるようにするためである。上方結腸分節の上方襞状部分（１００）と下方襞状部分（２００）の間には、ポリープ状の２つの突起部分（３５０）が見える。これらポリープが起こりそうな部分を取囲む矩形状領域は、図３Ｃ乃至図３Ｆおいて拡大して示される。

図３Ｃは２つのポリープ（図３Ｂの符号（３５０）で示す部分）とこれらを取囲む組織を示す。一方のポリープは画像の中央に示され、他方のポリープは画像の右端に示されている。図３Ｃはこの領域の平面視画像であるから、容易に使用可能な状態にない奥行き情報が存在する。管腔内壁の周辺領域に対するこれらのポリープと疑われる突起部分の方向及び大きさは容易には判断できない。

図３Ｄ乃至図３Ｆは、図３Ｃに示す典型的な結腸分節を拡大して示したアナグリフ立体視画像である。図３Ｄは赤−青立体画像、図３Ｅは赤−シアン立体画像、図３Ｆは赤−緑立体画像である。図３Ｄ乃至図３Ｆを適切な立体視眼鏡を用いて見ると、利用可能な奥行き手掛かりを簡単に視認できる。つまり、ポリープと疑われる領域の突起部分が管腔内壁からの突起する方向と、この突起部分の周辺組織の輪郭を観察できる。図３Ｆ（ａ）及び（ｂ）はそれぞれ、図３Ｆに示す立体視画像の左眼用チャネルと右眼用チャネルを示す。図３Ｄ及び図３Ｄに示す左眼用（赤）チャネル及び右眼用（緑）チャネルと、図３Ｆ（ａ）及び（ｂ）は基本的に同一である。

図３Ｇ乃至図３Ｊは別の典型的な結腸分節を示す。以下で述べるように、この結腸分節は凹状の「穴」或いは憩室を有する。図３Ｇに示すごとく、この分節は２つの憩室を有し、位法の憩室は中央に、他方は画像の右端付近に位置する。図３Ｇは平面視的画像であるから、憩室と疑われる部分の形状は把握できても、この部分が周辺組織に対して凹状の領域であるか否か、或いは凸状の領域であるか否かはすぐには判断できない。このような不明確さは、同一の画像を立体視的に表示することにより解決できる。このような立体視的画像は、例えば図３Ｈ、図３Ｉ、及び図３Ｊに示す本発明の好適な実施形態において表示されている。図３Ｈ、図３Ｉ、及び図３Ｊは、異なるステレオ・フォーマット（すなわち、それぞれ赤−青、赤−シアン、赤−緑ステレオ）を用いて描画されている。これらの画像からは、容易に奥行き情報を得て、２つの疑わしい領域が実際は、周辺組織に対して凹状の領域であると判断できる。よって、画像に示された結腸の一部において、これらの領域が実際は、憩室或いは凹状の「穴」領域であることがわかる。

本発明の実施例において、立体視ディスプレイ技術は対象となる構造の全体的な「マップ」画像のためにも使用可能である。例えば図４は従来の「全体マップ」を示し、この「全体マップ」は多数の仮想結腸内視鏡ディスプレイ・システムにおいて用いられる一般的な画像である。図４（ａ）はこのような画像のグレースケール画像の例を示す。図４に示すごとく、このようなマップを用いると、使用者は管状組織（例えば結腸）を溯る或いは下る間、自らの位置及び向きに関する情報を得られる。このようなマップは、例えば、本発明の実施例において、メイン・ビュー・ウィンドウの横に表示される。メイン・ビュー・ウィンドウは例えば、管状構造の一部の局所的画像を提供する。これにより、使用者は、管状組織内を移動する間、管状構造内における自身の総合位置をメイン・ビュー・ウィンドウ内で追跡することが可能である。追加的な視覚表示を表示することにより、このような全体表示マップが、使用者の現在の位置及び向きを示すだけでなく、使用者が通過してきた経路を表示することも可能となる。このような全体マップは有用であるが、このマップを平面視的に表示すると、使用者に多くの奥行き情報をもたらすことはできない。或いは奥行き情報を全くもたらすことができない。結腸を表示する場合にしばしば起こるように、表示される構造の一部が重なりあって表示される場合、奥行き情報は非常に重要な意味を持ちうる。例えば、図４の画像に表示されている結腸の左上部分と右上部分はそれぞれ、これら領域において、表示されている結腸が重なり合っていることを示している。しかしながら、奥行き手掛かりなしには、どちらの部分が上（使用者の視点に対してディスプレイの前方）になり、どちらが下（使用者の視点に対してディスプレイの後方）になって重なり合っているのか判断することは出来ない。このような不明確さを解消するために、本発明の実施例においては、全体的構造の立体視的画像、すなわち「マップ」表示が、追加的な視覚表示を用いて立体視的に表示される。追加的な視覚表示としては、例えば、その時点までの通過経路を示す曲線及び／又は現在位置及び視線方向を示す矢印などを用いる。このような表示により、使用者に、より明確且つ直感的な奥行き情報と向きに関する情報がもたらされる。

図５は、本発明の一実施例にしたがって立体視的に描画された全体的画像の例を示す。図５に示す例において、２つのわずかに異なる結腸全体の静止画像のそれぞれが、左眼と右眼の視野角に対して予めレンダリングされている。これら画像を用いると例えば、現在位置と通過経路のみを更新しながら、動作中に立体画像を表示することが可能である。この場合、全てのディスプレイ・ループで立体画像が再描画されることはない。これにより例えば、情報が結果的に失われることなく計算リソースの節約が可能となる。結腸全体において描画される視野はマップ表示であり、基本的に一定だからである。管状構造の形状が処理中に変化することはない。マップ表示の要素は変化しない。すなわち視覚表示は立体視的に動的に表示されるが、レンダリングに必要なコストは非常に低い。本発明の変更形態において、結腸或いはその他の管状構造の全体としての形状、向き、或いは位置は結腸管腔の軸方向に沿って変化する。使用者が結腸を通って移動する間、マップ・ウィンドウ内に、連続して立体視的に結腸全体を描画することが可能である。図５（ａ）及び図５（ｂ）はそれぞれ、図５の画像の左眼用（赤）チャネルと右眼用（緑）チャネルをグレースケールで示している。

（最適化された中心線の生成）
本発明のいくつかの実施例においては、上記した光線照射アルゴリズムを様々な方法で用いることにより、管状構造の相互作用的ディスプレイを最適化する。例えば、図６（ａ）に示すごとく、典型的な管状構造内部に位置する任意の開始位置において、一連の光線が、例えば３次元空間内に向けて照射される。これらの光線は、最終的に管状構造の内壁に衝突し、結果的な「衝突点」（管状構造の壁部表面において、照射された光線の衝突を受ける点）が計算され、記録される。

十分な数の光線が照射されると、結果的な「衝突点」（すなわち、図６（ａ）の管腔表面の白い点）により管状構造の内部空間の形状を概略的に示すことが可能となる。例えば、このような構造が円筒形状を有するとき、全ての衝突点はこの円筒形状の表面上に位置するから、全ての衝突点を総合すると円筒形状が形成される。

衝突点の群の３Ｄ座標を用いると、全ての衝突点の座標の平均を求めることにより、平均点（６１０）を計算できる。平均点（６１０）は全ての衝突点の平均を表すから、管状構造において光線により検査される部分の中心に近い位置に位置することになる。

結果として得られる平均点はその後、新たな開始点として使用される。更に例えば、上記の処理が繰り返されてもよい。図６（ｂ）に示すごとく、一例としての新たな光線の群が最初の平均点（６１０）から照射され、例えば新たな平均点（６２０）が計算される。

このような処理段階を連続的に実行することにより、このような平均点が、例えば図６（ｃ）に示すように、管状構造の管腔の軸方向に沿って連続的に決定される。このような一連の点は例えば、３次元空間における曲線（６３０）の制御点の群として用いられる。このような一連の点からなる曲線は、管状構造の有する形状の中心線を描いている。この中心線を生成する段階は、以下で説明する図７に詳細に示される。

上記の中心線を生成する段階においては、実際の地理的な「中心」に対する近似的な中心が求められているから、更にチェックを行い、このような近似的な中心が適切であることを確認する。例えば、平均点のそれぞれが求められると、この平均点から周壁に対して追加的な光線が照射され、この平均点と壁面の間の距離がチェックされる。平均点が管腔の一方の壁面に近すぎるとわかった場合は、この平均点が他方に向けて「押さ」れる。この段階は、以下で説明する図８に示される。

本発明のいくつかの実施形態において、上記の光線照射アルゴリズムは、例えば以下の擬似コードにしたがって実行される。

（光線照射により中心線を生成するための擬似コードの例）
Function GenerateCenterline:

Input: The lumen volume,
the starting point and starting direction (by user or by program),
the end point (by user or by program)

Output: A series of points inside the lumen forming a centerline of the lumen

Function body:

{
Create empty centerline_point_list; //initialization
current_seed=starting point; //initialization
current_direction=starting direction; //initialization
centerlne_point_list.add(current_seed); //add the starting point

While((distance between current_seed and end point)>MIN_DISTANCE)
{
hit_points=ShootRays(current_seed, current_direction,N);

//shoot N rays from current_seed, towards current_direction, spread the
//rays out in a pattern such that they cover the whole image plane;
//collect N hit points resulting from the shooting ray;

p=avrg(hit_points.x, hit_ponts.y, hit_points.z);
//compute the averages of x, y, z coordinates of all the N hit points;
//set a new point p=(avrg(x), avrg(y), avrg(z));

ErrorCorrection(p); //error correction if p happens
//to be not at center of lumen

current_direction=p-current_seed; //new direction from the
//seed to new point
current_seed=p; //new seed point
centerline_point _list.add(current_seed); //add as centerline_point
}

}//end of function GenerateCenterline

Function ShootRays:

Input: vol- The lumen volume,
Start- the ray start point
Direction- the main direction,
N- the number of rays to shoot

Output: The hit points

Function Body:
{
InitRays(N); //initialize the directions of the N rays to
//cover the current image plane
For(all N rays R_n)
hitPoints _n=ShootSingleRay();
Return hitPoints;
}

Function ErrorCorrection:
//this can be done in various ways
//one way:

Shoot M Rays to all the directions perpendicular to the current_direciton;
Calculate the distances between the hit points and point P;
If some of the distance is too short comparing with the average of all the distances, the point P might be too close to one side of the lumen wall, so put it to another side.

図７（ａ）乃至図７（ｆ）は、平均点の位置にエラーが存在しない場合に実行されるGenerateCenterline関数の各段階を示す。図８（ａ）乃至図８（ｄ）は平均点の位置にエラーが見つかった場合に実行されるErrorCorrection関数の各段階を示す。ErrorCorrection関数は、上記した例の擬似コードを用いて実行される。図９は、平均点が決定された後に、この平均点の位置が正しいことを確認するためにどのようにして平均点から光線が照射されるかを詳しく示す。図９の例においては、最初の平均点が左側の管腔壁に近すぎたことから、修正した点が次のシード点として採用され、この点から次の光線の群が照射される。

（動的立体視輻輳）
本発明の光線照射技術はまた、立体視的に表示された管状構造の最適な輻輳を維持するために用いられてもよい。この機能を説明するために、立体輻輳に関する基本的な事項を以下で簡単に説明する。

三次元の物体を立体視的に表示するとき、使用者に正しい立体視的効果をもたらすとともに表示される物体の対象領域を強調するためには、輻輳点を注意深く配置しなければならない。管状構造の立体視的内視鏡表示を行う場合、３次元仮想空間における輻輳点の位置は、ディスプレイの質を左右する重要な要素となるから、この問題はより複雑な問題となる。

当該技術分野において知られているように、人間の両眼は互いから平均で６５ｍｍ離れている。したがってそれぞれの眼はわずかに異なる角度から、それぞれ異なる映像を知覚している。このように両眼が離れて位置することから起こる両眼視差は、立体視（steropsis或いはstereo vision）と称される強力な奥行き手掛かりをもたらす。人間の脳はこれら２つの画像を処理して１つの画像にまとめ、この画像が立体を表すものとして解釈される。これら２つの画像はステレオ・ペアと呼ばれる。脳は、ステレオ・ペアの間の差を用いて、２つの画像をまとめた画像における相対的な奥行き感を得る。

（人間の眼はどのように対象を見るか）
実生活において、人が特定の対象を見るとき、ヒトの両眼はその対象に焦点を合わせる。すなわち、それぞれの眼の視線は、この対象上の一点で交差する。この点の画像が両眼の視界中央に映像化される。人が最も明瞭且つ快適に物を見る点であるこのような点は、輻輳点として知られている。この点以外の位置において視認される対象は、両眼の視界中央に位置づけられず、すなわち焦点から外れている。したがって、人は輻輳点から離れて位置する対象にはあまり注目しない或いは明瞭に視認しない。図１０はこのような状況を示す。図１０はティーポットの注ぎ口を注視する両眼を示す上面図である。ティーポットのその他の部分と他の描画された対象は、視野の中央に位置せず、両眼からの距離が近すぎる或いは遠すぎるから、明瞭に見えない。

ある視野において、視野の中央以外の部分を見ようとすると、人の眼は焦点を別の位置に移し、対象となる新たなスポット上に焦点（新たな視線の交差点）が位置するようにする。

（カメラを用いた擬似実験）
図１１及び図１２において、両眼を同一の点に焦点を合わせた２つのカメラとして示している。図１１及び図１２は、これら２つのカメラと、その視線と、視野角錐体を示す。視野角錐体は３次元空間の一部であり、この範囲内の全ての対象はカメラから見えるが、この範囲より外の対象はカメラから見えない。図１１において、視野角錐体はそれぞれのカメラを頂点とする三角形により表されている。視野角錐体は立体であるから、図１２においてはより正確に角錐体として示されている。この角錐体の頂点はそれぞれのカメラのレンズである。

図１３（ａ）及び（ｂ）はそれぞれ、図１１の左のカメラと右のカメラによりそれぞれ捕捉された画像の例を示す。これらのカメラにより得られた画像は、両眼により観察される画像と同様であり、図１３（ａ）は左眼の画像を示し、図１３（ｂ）は右眼の画像を示す。これら画像は異なる角度からの画像であるから、わずかに異なる。しかしながら、焦点（ここではティーポットの注ぎ口）は、両方の画像において中央に投影されている。これは、２つのカメラ（両眼）の視線がこの点において交差するからである。別の対象に焦点を合わすと、２つのカメラは新たな焦点を定めるように調節され、新たな焦点上の画像が新たな画像の中心に投影される。

（コンピュータ・グラフィックスにおける立体効果）
コンピュータ・グラフィックス・アプリケーションにおいて、例えば立体画法技術を用いて図１３（ａ）及び（ｂ）に示す２つの画像をコンピュータ・モニタに表示して、使用者の左眼が左側の表示のみを観察し、使用者の右眼が右側の表示のみを観察するようにすると、この使用者は、例えば対象の奥行き感を得られる。したがって、立体効果が生じる。

２つの画像のそれぞれを正確に描画するには、プログラムはそれぞれのカメラの視野角錐体を構築し、これら角錐体を正しい位置と向きに配置することが必要である。これらカメラは両眼を模擬しているから、これら角錐体は同一の形状を備えるが、両眼の位置及び向きが異なるように、これら角錐体の位置及び向きは異なる。

このプロセスにおいては通常、使用者の体格は重要ではないから、例えば、使用者の現在位置は近似的に１つの点として表される。使用者の両眼は使用者の現在位置の両側に位置付けられる。人間の両眼は通常互いから約６５ｍｍ離れているから、コンピュータ・グラフィクス・プログラムは２つの角錐体の間に６５ｍｍの間隔を設ける必要がある。このような配置を図１４に示す。図１４において、両眼の間の大きな点は、ここでの輻輳点に対応する使用者の視点を表す。また、角錐体は視点を中心にして６５ｍｍの間隔を開けて位置付けられている。

両眼の位置を正しく決定した後、プログラムは正確な輻輳点を設定する。輻輳点は両眼の視線が交差する点であるから、輻輳点を設定すると、両眼の視線方向が設定される。

立体画法の分野において、２つの視線が交差する位置は輻輳点として知られている。コンピュータ・グラフィクス・アプリケーションの立体ディスプレイにおいては、輻輳点の画像は左眼用表示と右眼用表示について同じスクリーン位置に投影される。これにより、観察者はこの点の画像を自然に且つ快適に詳しく観察できる。実生活において人間の脳は両眼が同じ位置に輻輳点を投影するように両眼を調節する。２つのカメラを用いる場合は、２つの画像において輻輳点の位置が同じ位置にあるように撮影者が注意する。コンピュータ・グラフィックス・アプリケーションにおいては、プログラムが輻輳点の正しい位置を計算し、輻輳点を正しくディスプレイに投影しなければならない。

一般的に、人間の視線は対象より手前の空中で交差したり、対象の内部で交差することはない。実生活において、人が室内やトンネル内（部屋やトンネル内部は空いており、考慮すべき物体が存在しないものとする）を歩くとき、人は自然に（隆起した部分や絵画などがある）壁或いは表面上に焦点を合わせる。つまり、両眼の輻輳点は対象表面上の対象となる領域内の１つのスポット上にある。したがって、仮想内視鏡により実際の内視鏡を最適に模擬するためには、使用者は、仮想管腔の表面を注視するように導かれる必要がある。つまり、使用者の視線が対象の表面より手前の空中で交差したり、管腔壁面を越えて管腔壁内部で交差したりしないようにする。これを避けるために、仮想内視鏡を好適に実施するためには、輻輳点の正確な位置を適宜決定して、輻輳点が検査する管腔の対象領域表面上に常に位置するようにしなければならない。このことは、図１５（ａ）乃至（ｃ）に示される。この例においては、上記のカメラが用いられており、これらカメラの焦点は３次元空間内の１点上に合わされている。

同様に、図１６は、立方体（１６１０）手前のボール（１６２０）を注視する両眼（１６０１）及び（１６０２）を示す。既に述べたように、人間の眼は互いから数インチ離れているから、図１７（ａ）及び（ｂ）にそれぞれ示すごとく、左眼と右眼のそれぞれにはこれら対象のわずかに異なる映像が見えている。また、既に述べたように、人間の眼が対象の或る１点（例えば、図１７（ａ）及び（ｂ）におけるボール表面の明るい点）に焦点を合わせると、それぞれの眼の視線はこの点において交差し、すなわちこの点が輻輳点となる。

コンピュータ・スクリーン上の立体視ディスプレイにおいて、図１７（ａ）及び（ｂ）に示すような画像はスクリーンの同じ領域に表示されてもよい。本発明の好適な実施形態においては、例えば使用者が立体眼鏡をかけると立体視が可能になる。別の好適な実施形態においては、視差バリア方式のＬＣＤモニタを用いて立体視を可能とする。このようなモニタでは、右眼用と左眼用である別個の画像のそれぞれが３Ｄ表示のためのディスプレイ上に投影される。更に別の好適な実施形態においては、裸眼立体視モニタにより立体視を可能とする。裸眼立体視モニタは、現在例えばSiemens社から入手可能である。更に別の好適な実施形態においては、２つの高解像度ディスプレイ或いはデュアル・プロジェクション・システム（二重投影システム）により立体視を可能とする。或いは立体視パネル及び偏光レンズ・ビュー眼鏡を用いてもよい。この場合、輻輳点はスクリーンの同じ場所（例えば中心）に設定され、観察者は例えばこの点に焦点を合わせるように導かれる。視野内の他の物体は、輻輳点よりも使用者から近い或いは遠い位置にあるとき、様々な相対的な奥行きを有するように映し出される。

管状構造の内視鏡映像を立体視的に表示するとき、輻輳点が正確に計算されており、立体画像がスクリーン上に正確に表示されていることが重要である。このようにすると、使用者が注目すべき領域を観察可能となるとともに、注目すべき対象以外に注意が集まることが回避される。

本発明の好適な実施形態においては例えば、画像の中心が最も重要な部分であり、使用者は常にこの点に焦点を合わせると仮定する。（運転者は通常運転中に真直ぐ前方を見るという仮定と同じ程度に妥当な仮定である。）したがって、本発明の好適な実施形態において、ディスプレイの中で、使用者正面のスクリーンの中心である領域は、立体輻輳点として表現される。本発明の別の実施形態において、輻輳点は必要なときに変更可能であるか、或いは動的に設定可能である。輻輳点を動的に設定可能とする場合、例えば、使用者の視点を示す方向ベクトルが管腔内壁と交差する或いは「衝突する」点である「衝突点」に、使用者が焦点を合わせる。この好適な機能は以下で詳しく説明する。

図１８は管状構造の内部管腔の典型例を示す。この例には、輻輳点に関する問題が存在する。図１８（ａ）に示す局所領域（１８０１）と同様の構造に対して、使用者が観察したい領域は例えば点Ａ近傍に設定される。したがって、仮想内視鏡システムは例えば、計算を行い、点Ａに輻輳点を位置付けする。図１８（ｂ）及び図１８（ｃ）のそれぞれにおいて、同様の影を付けた領域（１８０１）が、図１８（ａ）に比べて縮小して示されている。輻輳点が不正確な位置（図１８（ａ）（遠すぎる例）及び図１８（ｂ）（近すぎる例）に示される）にあると、使用者が領域（１８０１）を検査しようとすると、使用者に不快な画像が見えることになる。したがって、使用者が最適に立体視を行うためには、立体視輻輳点を正確に計算しその位置を決定することが重要である。

本発明の好適な実施形態において、いくつかの方法を用いて、管状の解剖学的構造を観察する時間中、正確な立体視輻輳点を確実に計算することが可能である。これらの方法を例えば組み合わせて用いて輻輳点の非常に正確な位置を定めてもよい。またこれら方法の一部を用いると、より簡便な計算により良い結果を得ることが可能である。

本発明の好適な実施形態において、上述の光線照射技術を用いて更に、左眼及び右眼の視野の輻輳点を動的に調節することが可能である。これにより、左眼及び右眼の視野の立体輻輳点が常に管状組織の表面に位置するようになる。この管状構造は視野中央から使用者の視線の方向に延出する。上述のごとく、仮想管状組織の立体ディスプレイは、奥行き感の点において非常に大きな利点を有する。立体視ディスプレイの分野で知られているように、立体視ディスプレイは、使用者の視点からの任意の輻輳距離を仮定する。使用者の視点とは、使用者の両眼が注視していると考えられる点をいう。この輻輳距離において、左眼用画像と右眼用画像は最も快適な輻輳を有する。この距離が一定に保たれるならば、使用者が管状組織を通って移動しながら、この視点から輻輳距離とは異なる距離を有する対象を注視するとき、両眼が常に調節されなければならない。したがって、立体画像の輻輳点を動的に調節して、使用者が現在検査している対象或いはその付近に輻輳点を位置づけすることが望ましい。この点は、視点（すなわち、立体ディスプレイに使用される左眼位置と右眼位置の中央）から結腸壁へ、左眼と右眼の視点を結ぶ線に直角の方向に光線を照射することにより、自動的に取得される。

したがって、本発明の好適な実施形態において、使用者が管状構造を通って移動するのにしたがって、両眼が新たな位置に移ったとき、システムは例えば、両眼の中央にある点から視線方向に光線を照射する。

光線照射について、両眼の間隔が、使用者から使用者正面の壁面までの距離と比べて大きな影響を与えない場合、本発明の好適な実施形態において、両眼が同じ位置にあると仮定してもよい。或いは同様に１つの眼しか存在しないと仮定してもよい。したがって、大部分の計算はこの仮定に基づいて行われてもよい。両眼間の距離が重要である場合、両眼は別個のものとしてみなされ、光線は両眼それぞれの位置から照射される。このような光線はその経路上の最初の不透明な点をピックアップする。この点は両眼の正面にある表面であるか、或いは観察対象の点である。システムはその後、例えばこの点を輻輳点として用いて、ディスプレイのために画像を描画する。

図１９は本発明の好適な実施形態にしたがって輻輳点を決定する方法を示す。１つの瞬間において、光線は両眼間の中央にある点から照射され、点Ａをピックアップする。システムは点Ａを描画過程における輻輳点として設定する。両眼がわずかに右方向に移動した後の次の瞬間において、別の光線が照射され、描画を更新するときの輻輳点として点Ａ’をピックアップする。したがって、使用者の輻輳点は、被写体の観察対象点の方向に向けられる。この様な方法は、多くの場合に有効である。

上記の本発明の好適な実施形態において、光線照射アルゴリズムは例えば以下の擬似コードにしたがって実行される。
For every display loop,

shoot ray to get a hit point;
if get a hit point, set it as the convergence point.

Thus:

Input: user's position, viewing direction, volume
Output: new convergence point

Function UpdateConvergencePoint:

{
Create ray from the user's position along the viewing direction;
hitPoint=shootSingleRay(ray);
distance=CalculateDistanceFromUserPosition(hitPoint);
if(distance>MIN_CONVERGENCE_DISTANCE) set as new convergence point;
}

両眼の間隔が、使用者から使用者正面の壁面までの距離に対して意味が大きいとき、この方法は有効ではない。図２０に示すごとく、上記の方法を用いて決定される輻輳点は、点Ａ’となる。これは、この点が視点と点Ａ’の間の長いベクトルにより示される視線方向で最も近い衝突点であるからである。点Ａを観察可能な左眼に対してはこの輻輳点は正しい輻輳点であるといえるが、右眼に対しては、輻輳点は実際には点Ａとなるべきである。なぜならば、管腔壁の一部が突起していることから、右眼には点Ａ’は観察できず、点Ａが見えるからである。輻輳点が点Ａ’として設定されると、使用者の右眼には不明瞭な障害物が見えて邪魔となり、不快感を与えかねない。

したがって、本発明の好適な実施形態において、上記の方法を用いて輻輳点を決定した後、システムは例えば、２本の光線を照射することにより、結果を二重にチェックする。この２本の光線は左眼と右眼のそれぞれから照射され、その後例えば、管腔表面上の２つの衝突点が得られる。上記の方法を用いて見出された輻輳点がこれらの新たな点と一致しているとシステムが判断すると、システムは輻輳点が適切であると確認する。このような例を示す図１８（ａ）及び図１９において、両眼の視線の輻輳点は同じ点Ａ及びＡ’である。しかしながら、図２０に示す状況が起こると、実際の輻輳点が視線方向上の衝突点Ａと一致しないという矛盾が生じる。このような状況が検知される場合、使用者が管腔壁から近すぎるために、管腔壁が障害物として使用者の視界に映っている。使用者が管腔に過度に近づけないようにすると、この問題は解決できる。若しくは、輻輳点が別の点に設定される。点Ａ及びＡ’が輻輳点からわずかに外れているが、短時間であれば許容できる。本発明の好適な実施形態において、このような場合、使用者はポップアップ或いはその他のプロンプトにより、現在の視点において、両眼に対する立体輻輳が得られていないことを通知される。

本発明の好適な実施形態において、図７に示すごとく衝突点に関する情報を収集することにより、システムは例えば、使用者の視点から周囲の壁面までの距離を用いて「激突（collision）」の可能性を検知し、警告ポップアップ或いはその他の通知プロンプトを表示することにより、使用者が壁面内部に侵入することを防いでもよい。

観察者が管状構造内部を移動するとき、輻輳点は前後に激しく移動する。これは使用者に混乱や不快感を与える。本発明の好適な実施形態において、連続的な時間フレームにおける輻輳点は例えば、記憶される或いはトラックされる。輻輳点が激しく移動する場合、システムは例えば、いくつかの立体輻輳点をこれら輻輳点の間に挿入することにより、意図的にこの移動を遅らせる。例えば、図２１に示すごとく、使用者が視線を左（反時計回り）に動かすと、輻輳点は点Ａから点Ａ’に移動されなければならない。しかしながらこのシステムは点Ａと点Ａ’の間にいくつかの補間された輻輳点を挿入することにより、輻輳点が点Ａから点Ａ’まで素早く「ジャンプ」する（通常目立つ）のではなく、滑らかに移動しているような視覚効果を使用者に与える。

（襞状部分を透明に描画して該襞状部分後方に隠れたボクセルを表示する方法）
本発明の好適な実施形態において、適切な立体視輻輳を維持するとともに中心線を生成する方法に関して上記で説明した光線照射技術は、「隠れたスポット」の特定にも同様に適用可能である。本発明の好適な実施形態において、この技術は図２２に示すように実行される。図２２は結腸管腔の縦断面を示す。この図には上方結腸壁（２２７５）及び下方結腸壁（２２７６）が示されている。また、中心線（２２１０）が示されており、この中心線（２２１０）は上記の光線照射技術にしたがって、或いは当該技術分野において既知であるその他の技術を用いて計算される。最後に、結腸壁下部から突起部（２２５０）が突出している。このような突起部は、例えば結腸壁の襞状部分、或いは例えば図２２に示すようなポリープである。突起部が襞状部分或いはポリープのいずれであっても、このような突起部付近において結腸管腔の直径は減少する。したがって中心線（２２１０）をポリープ（２２５０）より上まで情報に移動して調整し、このような直径の減少に対応させる。図２２に概略的に示す例において、使用者は図の左から図の右まで移動しながらフライ・スルー（fly-through）或いは内視鏡画像により、仮想の結腸を観察する。よって、使用者が結腸を通って左から右の方向（中心線（２２１０）端部の矢印が示す方向）に移動する間、結腸のうち、ポリープ（２２５０）のような突起部後方の領域に関連するボクセルを、中心線（２２１０）に沿って移動する視点からでは、使用者は観察できない。

従来、仮想結腸内視鏡の使用者が結腸内のフライ・スルー画像を観察するときの視点は中心線に沿って前方に方向付けられ、図２２に示す中心線に沿って移動する。ポリープ（２２５０）或いは結腸壁の襞状部分などの突起部の前方（すなわち「裏」）にあるボクセルが観察できないときには、まず突起部を通過した後に、停止して視点の向きを下方或いは上方に変更し、続いて突起部を振り返らなければならなかった。振り返る位置は、図２２においては視点Ｂとして示される。点Ａにおいてポリープ（２２５０）に気付いた使用者には、ポリープが結腸管腔内に突出しているせいでポリープの後方に隠れたスポット（２２２０）が存在することがわかる。ポリープ（２２５０）の「隠れたスポット」内のボクセル（２２２０）を検査する唯一の方法は、例えば点Ｂのような視点で立止まり、視線の向きを下方に変更して隠れたスポット（２２２０）の領域を観察することである。このような作業は時間を要する退屈な作業であり、単純にスクリーン上のフライ・スルー表示を観察する以上に使用者による相互作用を必要とする。よってこのような作業は使用者（例えば放射線専門医）には好まれない。したがって、本発明の好適な実施形態においては、光線照射技術を用いて隠れたスポット（２２２０）のような隠れたスポットを位置付けする。一度位置付けされると、本発明の好適な実施形態において、使用者の視点が突起部付近（例えば図２２の点Ａ）に来ると、このような突起部は透明に描画される。

図２２は、多数の光線（２２３０）と、１つの特別な光線（２２３８）を示す。光線（２２３０）は例えば、中心線から結腸壁の内表面へ照射される。中心線の生成と立体視輻輳点に関して上述したように、結腸内管腔（通常空気で満たされている）と結腸内管腔の壁面の間には、ボクセル強度の差があるから、光線が壁面のボクセルに衝突したことを検知することは容易である。２つの光線（２２３０）のそれぞれが中心線（２２１０）から、中心線の方向とほぼ等しい角度で照射されると、これら光線は中心線を始点とするという理由により、２つの光線の結腸内壁までの距離は互いから特定の割合の範囲内にあると考えられる。しかしながら、ポリープ（２２５０）付近のように、突起部が結腸壁の一方の側に存在して他方には存在しない場合、本発明の好適な実施形態において、突起部が存在し、したがって隠れたスポットが存在することが検知可能である。ポリープ（２２５０）付近においては、点Ｒ（２２３０）から照射される上側の光線は結腸壁に当たるが、下側の光線は、ポリープ（２２５０）頂部の結腸管腔と結腸壁の界面上に位置する点Ｔに当った後、ポリープ内を通って点Ｔ’を通過して、第３の結腸管腔（の空気）と結腸壁の界面Ｔ”を照射する。

本発明の変更形態において、別のアルゴリズムを用いて、１つの光線が管腔と管腔壁界面を通過する回数だけでなく、突起部が発生しているか否かを決定することができる。突起部の発生は、突起部から上流の適切な点（突起部に達する前に通過する点、すなわち図２２の点Ｒより左側）から照射された場合と比べて、光線（２２３０）と（２２３８）の間の求められた距離が非常に短いことから決定される。結腸管腔に突起部或いはポリープが検知されると、本発明の好適な実施形態において、様々な機能を実行可能である。システムは例えば、使用者に隠れたスポットに接近していることを警告したり、使用者に「突起部を透明に表示する」というコマンドを入力するように促す。或いはシステムは使用者が結腸管腔内部を移動する速度を減少させる。これにより、使用者は十分に時間を掛けて突起部を観察するとともに突起部を透明にモーフィングするかどうかを決定することができる。したがって結腸を通って移動するときにその視点を変更することなく使用者がボクセル及び隠れたスポットを観察可能となる。

本発明の好適な実施形態において、隠れたスポットは例えば次のように検知される。使用者が短い（２乃至５分）休憩を取る間に、システムが例えば結腸内壁のポリゴン表面を生成し、各ポリゴンの空間位置が既知となる。若しくは、管腔（空気）と結腸壁の界面に沿って位置する全てのボクセルのマップが生成され、これらボクセルの位置が特定される。その後、システムは例えば、結腸管腔の中心線に沿って肛門から盲腸まで、カメラとともに移動しているかのような画像を提供するとともに、移動中に光線を照射する。続いて、このような光線と結腸内壁の交差の全てが検知される。このような光線は例えば４ｍｍ^２ごとに１光線の密度で結腸壁を照射するように多数回放射される。この手順にしたがって、例えば、中心線に沿って自動的に移動する間に、観察可能な結腸表面のマップが生成される。この観察可能な表面を上記のように予め生成された結腸壁全体の表面から取除くと、隠れたスポットが残る。このようなスポットはその後、例えば色付けされて、移動中結腸壁上に表示される。或いはこれらのスポットを用いて、いつ、どの程度、特定の部分を透明に描画するかを予め決定してもよい。

本発明の変更形態において、隠れたスポットを観察する別の方法は、中心線に沿ってこの隠れたスポットまで自動的に移動してそこで移動を停止し、その後隠れたスポットの方向に視線を向ける方法である。この方法においては、全てのポリープを透明に設定する必要はない。このためには例えば、任意の隠れたスポットの周辺領域内に或いは周辺領域上の点のうちいずれかの点と、中心線の間の最短距離を決定した後、中心線上の平均点を決定する。この平均点からは、隠れたスポット上の全ての点を観察できる。中心線に沿って移動中にこの点に達すると例えば、表示は自動的に隠れたスポットに切替わる。隠れたスポットが大きすぎて１つのショットで観察できないならば、例えば、「俯瞰的（fly-over）」視野が自動的に採用される、或いは隠れたスポット全体が見えるまで視点を移動する。このような自動化されたアクションの全ては、フィードバック・ループを用いる光線照射に基づく。

本発明の好適な実施形態において、上記したように、隠れたスポットを検知する過程は事前に前処理段階として行われてもよい。これによりシステムは使用者が隠れたスポットに至る前にこのスポットの位置を知っておくことができる。或いは、本発明の変更形態においては、隠れたスポットの検知はリアルタイムで動的に行われる。この場合、使用者が突起部及び隠れたスポットに達すると、システムは例えば、（ｉ）使用者に上記の透明性コマンドを使用するように促す（ｉｉ）使用者が結腸を通って移動する速度を変更して、特定の時間をおいて自動的に突起部を透明に表示する。或いは（ｉｉｉ）その他望ましい手順を用いる。

（相互作用的ディスプレイ制御インターフェース）
上記のように、３次元データ・セットの仮想表示が最初標準的なパーソナル・コンピュータ及びこれと同様のデバイス上で実施されたことから、管状構造（例えば結腸）といった３次元ボリュームを通って移動しながら仮想表示を行うための従来のシステムは、使用者制御インターフェースとして、通常マウス（或いは、例えばトラックボールなどのその他同様のデバイス）のみを用いる。よってマウス或いはその他の２次元デバイスは、実際はドキュメント、画像、或いはスプレッド・シートの範囲内の２次元空間におけるナビゲーションのために設計されているから、３次元におけるナビゲーションのためにはマウスの使用が好ましくない場合がある。２自由度である２次元空間と比べて、３次元空間には６つの自由度が存在するからである。

一般的に、従来の２ボタンマウス或いはホイールマウスはそれぞれ、２つのボタン、或いは２つのボタンと１つのボタンを備え、これらを用いて、様々な動きと相互作用的ディスプレイのパラメータの全てを制御する。この相互作用的ディスプレイのパラメータは、例えば結腸といった管状の解剖学的構造の仮想画像の観察に関連している。結腸、血管、及びこれに類するものを描画した３次元空間を通ってのナビゲーションは、３よりも格段に多いアクションを必要とする。この問題を解決するために、本発明の好適な実施形態において、結腸の仮想画像を観察するために、ゲームタイプのジョイスティックにより以下の表１に示す制御オペレーションを提供する。ジョイスティックは通常Ｘ、Ｙ、及びＺ方向での移動を可能にする。ジョイスティックはまた、その上部及び下部に多数のボタンを有し、このボタンを用いて多数の相互作用的ディスプレイ・パラメータが制御される。図２３はこのようなジョイスティックの一例を示す。

上記の表１に示すごとく、本発明の好適な実施形態において、以下のような相互作用的仮想観察オペレーションが使用可能である。

（Ａ．ナビゲーション）
本発明の好適な実施形態において、仮想結腸を通ってのナビゲーションは、ジョイスティック上部の２つのボタンを用いて制御可能である。このようなボタンは、通常使用者の手の親指により操作される。例えば、ジョイスティックの左上部に位置するボタン０２は、盲腸方向への誘導された移動と、盲腸方向への手動による移動の間で切替えを行う。ボタン０３は、直腸方向（標準的な仮想結腸内視鏡用語では、後方方向）への誘導された移動と手動による移動の間で切替えを行うために用いられる。標準的な仮想結腸内視鏡では、使用者は直腸から盲腸に向けて移動する。この方向を「前方」方向と称する。したがって、本発明の好適な実施形態において、１つのボタンを盲腸方向への手動による移動と誘導された移動の間の切替えに割当て、別のボタンを直腸方向への手動による移動と誘導された移動の間の切替えに割当てると便利である。これらの方向を「前方」或いは「後方」のいずれで呼ぶかは、用途により決まる。仮想結腸の軸方向での方向が、直腸或いは結腸に向かう方向のいずれであるかに関わらず、使用者は、視線方向を直腸方向或いは盲腸方向のいずれかに自由に決定してよい。したがって次の４つの可能性がある。移動の方向が直腸方向で視線方向が「後方」或いは盲腸方向、移動の方向が盲腸方向で視線方向が盲腸方向、或いは移動の方向が盲腸方向で視線方向が直腸方向となる可能性がある。本発明の好適な実施形態においては、ボタン０４を用いて視線方向を盲腸方向へ変更可能であり、ボタン０５を用いて視線方向を直腸方向へ変更可能である。

（Ｂ．回転（見回す））
一般的に知られているように、３次元データ・セット、或いはより一般的にいうと３次元における任意の動きにおいて、Ｘ、Ｙ、或いはＺ軸周囲で回転しながら、仮想三次元立体描画により描画された解剖学的管状構造を観察できる。回転を用いて使用者の仮想の視点が存在する領域を「見回す」ことはしばしば有用である。また、回転の方向は時計回り又は反時計回り、すなわち回転軸の右側又は左側へ回転可能であるから、６つの回転自由度が存在する。ジョイスティックを左或いは右に動かすことにより、揺れを制御できる。本発明の好適な実施形態において、表１に示したように、これら６つの回転自由度は、６つの制御アクションを用いて生み出される。ジョイスティックを左右に動かすとこれら方向のうちいずれかの方向への揺れを制御できる。またジョイスティックを前後に動かすと、これらいずれかの方向への揺れを制御できる。ジョイスティックを時計回り或いは反時計回りに捻ると、時計回り或いは反時計回りに向きが変わる。ジョイスティックを時計回り或いは反時計回りに捻る動作は、ジョイスティックのＺ軸正側周囲で行われる。Ｚ軸はジョイスティック内を縦方向に下から上へ通過している。

（Ｃ．ズーム／ズーム・アップ三面表示）
仮想結腸内視鏡の多くの実施形態において、使用者が観察するボクセルのディスプレイに対する大きさを拡大するためのある種のズーム機能が非常に有用であるとともに必要である。このためには、実際にはボクセルの特定の群がデジタル式に拡大される。本発明の好適な実施形態において、ジョイスティックを用いて相互作用的ディスプレイ制御を行いながら、トリガ・ボタンを用いてズームを行うことが可能である。このようなズームは、使用者が結腸を通って移動する間結腸の一部を拡大したいと思ったときいつでも、トリガを引くだけで実行可能である。対象として選んだ点を中心にしてズームは実行される。

変更例として、トリガ・ボタン或いはその他のボタンが、体軸、冠状、及び矢印画像のそれぞれのディスプレイに対して断層面上の点を変更するようにプログラムされてもよい。例えば、トリガ・ボタン或いはトリガに関連するボタンが押されないと、体軸、冠状、及び矢印画像のそれぞれのディスプレイに対しての断層面は、使用者のオンライン位置に向けられる。トリガ・ボタン或いはトリガに関連するボタンが押されると、断層面は例えば管状組織の内壁上の１点となる。この点は、視点からの仮想光線が照射する点である。このことを用いて、任意の点（例えばポリープが疑われる点）における壁面の特性を調べることが可能である。このような点の体軸、冠状、及び矢印画像をデジタル拡大モードで表示可能である。デジタル拡大モードの画像として例えば、１つのＣＴピクセルが２つのモニターピクセルにマッピングされた画像が挙げられる。その他所望のズーム・マッピングを画像に施してもよい。

（Ｄ．場所のマーキング）
仮想結腸内視鏡法及び内視鏡法において、結腸の一部を通る特定のパス上で始点と終点が観察されることが望ましい。本発明の好適な実施形態において、使用者はボタン０６を押すことにより始点を設定でき、ボタン０６を再度押すことにより終点を設定してマーカーを終了することができる。本発明の好適な実施形態において、ボタン０６は、ジョイスティック本体部のボタンにより実行される他の機能のように仮想観察中常に使用されるボタンではないから、ジョイスティック底部に配される。使用者がボタン０６を用いて設定された最新のマーカー（終点が設定されていても、されていなくてもよい）を取除くことを希望する場合には、本発明の好適な実施形態において、使用者は好ましくはジョイスティックの底部に配されるボタン０７を押す。

本発明の変更形態において、制御機能は６自由度（６Ｄ）コントローラにマッピングされる。このコントローラの一例を図２４に示す（図中コントローラは右に示され、スタイラスがその左に示されている）。６Ｄコントローラは６自由度トラッカーを備え、このトラッカーは１若しくはそれ以上のボタンを有する。このトラッカーは、例えば高周波を用いるトラッカー又は光学トラッカーであってもよい。或いは当該技術分野において既知のその他の技術を用いてもよい。デバイスに配されたボタンを用いると、使用者はコンピュータにオン／オフ信号を送信できる。このボタンと、これらデバイスからの６Ｄ情報を組み合わせることにより、管状構造内を移動しながら観察する間、使用者のコマンドを実行すべき動きにマッピングすることが可能となる。例えば、使用者がスクリーン上にトゥールの仮想表現（デバイスの形状モデルではなく象徴的なモデル）として示されてもよい。これにより、デバイスの移動並びに回転が、この動き或いは回転をコンピュータがどのように解釈しているかを正確に反映することになる。

６Ｄコントローラはより多くの自由度を提供して、アクションのコマンドへのマッピングにおける自在性を増大させることが可能である。更に、このような制御インターフェースは機械的部分が比較的少ないから（一実施形態においてはトラッカーとボタンのみ）、耐久性に優れている。使用者とトラッカー（通常高周波或いは光学的要素）の間に物理的接触がないから、トラッカーはより頑健性を保つことができる。

（システムの例）
本発明は、データ・プロセッサ上のソフトウェア・ラン、１若しくはそれ以上の専用チップ、或いはこれらを組み合わせたものとして実施可能である。システムは例えば、立体視ディスプレイ、データ・プロセッサ、１若しくはそれ以上のインターフェース（相互作用的ディスプレイ制御コマンド及び機能がマップされる）、１若しくはそれ以上のメモリ或いはストレージ・デバイス、グラフィックス・プロセッサ、及び関連するシステムを備える。例えば、RadioDexterソフトウェアを実行するDextroscope及びDextrobeamシステム（Volume Interactions Pte Ltd社製（シンガポール））上では、本発明の方法を容易に実行可能である。

本発明の好適な実施形態は、本発明の好適な実施形態を実行可能である適切なデータ・プロセッサにより実行可能な命令のモジュラー・ソフトウェア・プログラムとして実行可能である。このソフトウェア・プログラムは例えば、ハード・ドライブ、フラッシュ・メモリ、メモリ・スティック・光学記憶媒体、或いは当該技術分野において既知のその他のデータ記憶デバイスに記憶される。適切なデータ・プロセッサのＣＰＵによりこのようなプログラムがアクセスされるとともに実行されると、本発明の好適な実施形態において、このプログラムは、上記の管状構造の３Ｄコンピュータ・モデルを３Ｄデータ・ディスプレイ・システム内に表示する方法を実行する。

本発明は好適な実施形態を例に説明されてきたが、これらの例は例示のためにのみ示されたものである。当業者であれば、以下の請求の範囲により定められる本発明の範囲及び要旨を実質的に離れることなく、これら好適な実施形態に容易に変更を加えることが可能であることが理解できる。

図１Ａ及び図１Ｂはそれぞれ結腸分節に位置する「凹状部分」及びポリープを示す図であり、この「凹状部分」及びポリープは、従来の平面視的描画により描画されているから、周辺部分から区別しにくい。 図１（ａ）Ａ及び図１（ａ）Ｂはそれぞれ図１の画像のグレースケール画像である。この画像においても、凹状部分及びポリープは、周辺部分から区別しにくい。 図１Ｂのポリープを本発明の好適な実施形態にしたがって立体視的に描画した画像を示す図である。左の写真は右眼用画像を示し、右の写真は左眼用画像を示す。 図２（ａ）はそれぞれ、図１の画像のグレースケール画像を示す図である。左右の図は1つの対象の立体画像を分けて示したものであり、左の写真は右眼用画像を示し、右の写真は左眼用画像を示す。 図３は、結腸分節内のポリープの例を示す図であり、本発明の好適な実施形態にしたがって、一体的な立体視画像であるアナグリフ（赤−緑）立体画像として描画されている。 図３の左眼用或いは赤色のチャネルのグレースケール画像を示す図である。 図３の右眼用或いは緑色のチャネルのグレースケール画像を示す図である。 結腸分節の一例を示す図であり、本発明の好適な実施形態にしたがって一体的な立体視画像として描画されている。 図３Ａの左眼用或いは赤色のチャネルのグレースケール画像を示す図である。 図３Ａの右眼用或いは緑色のチャネルのグレースケール画像を示す図である。 図３Ａの結腸分節の一例の一体的な立体視画像を示す図であり、特定の領域が符号により標識されている。 図３Ｂの左眼用或いは赤色のチャネルのグレースケール画像を示す図である。 図３Ｂの右眼用或いは緑色のチャネルのグレースケール画像を示す図である。 図３Ａ及び図３Ｂの結腸分節の一部を本発明の好適な実施形態にしたがって平面視的に描画した部分拡大画像を示す図である。 図３Ｃの結腸分節を本発明の好適な実施形態にしたがって３Ｄ立体視画像として描画した拡大アナグリフ（赤−青）画像を示す図である。 図３Ｃの結腸分節を本発明の好適な実施形態にしたがって立体視的に描画した拡大アナグリフ（赤−シアン）画像を示す図である。 図３Ｃの結腸分節を本発明の好適な実施形態にしたがって立体視的に描画した拡大アナグリフ（赤−緑）画像を示す図である。 図３Ｆの左眼用或いは赤色のチャネルのグレースケール画像を示す図である。 図３Ｆの右眼用或いは緑色のチャネルのグレースケール画像を示す図である。 結腸分節の一例の２つの憩室を本発明の好適な実施形態にしたがって平面視的に表示した画像を示す図である。 図３Ｇに示される結腸分節を本発明の好適な実施形態にしたがって立体視的に描画したアナグリフ（赤−青）画像を示す図である。 図３Ｇに示される結腸分節を本発明の好適な実施形態にしたがって立体視的に描画したアナグリフ（赤−シアン）画像を示す図である。 図３Ｇに示される結腸分節を本発明の好適な実施形態にしたがって立体視的に描画したアナグリフ（赤−緑）画像を示す図である。 図３Ｊの左眼用或いは赤色のチャネルのグレースケール画像を示す図である。 図３Ｊの右眼用或いは緑色のチャネルのグレースケール画像を示す図である。 管状構造の一例の従来の全体的画像を示す図である。 図４のグレースケール画像を示す図である。 結腸の全体的画像を示す図であり、本発明の好適な実施形態にしたがって赤−緑立体画像として示されている。 図５の左眼用或いは赤色のチャネルのグレースケール画像を示す図である。 図５の右眼用或いは緑色のチャネルのグレースケール画像を示す図である。 図６（ａ）乃至図６（ｃ）は、本発明の好適な実施形態にしたがって光線を照射することにより、管状構造の長手方向に連続した中心点の群を計算し、中心線を生成する過程を示す図である。 モデル空間内の点Ａから点Ｂに照射される光線の一例を示す図であり、この光線はその経路において様々なボクセルを通過する。 図７（ａ）乃至図７（ｆ）は、本発明の好適な実施形態にしたがった図６の光線照射過程を詳細に示す図である。 図８（ａ）乃至図８（ｄ）は本発明の好適な実施形態にしたがって光線を照射することにより得られた平均点を修正する過程を示す図である。 光線を照射することにより平均点の位置を確認するための本発明の好適な実施形態にしたがった過程を示す図である。 ２つの対象を注視すると同時に任意の点に焦点を合わせた両眼を示す上面図である。 同一の点に焦点を合わせた２つのカメラを示す上面図である。 図１１のカメラを示す概略側面図である。 図１３（ａ）及び図１３（ｂ）はそれぞれ、図１１及び図１２のカメラを示す右眼用画像及び左眼用画像である。 本発明の好適な実施形態にしたがった観察者の位置、観察者の眼の位置、及び視線方向の配置を示す図である。 図１５（ａ）乃至図１５（ｃ）は、壁を撮影する２つのカメラの輻輳点を示す図であり、順に、適切な輻輳点、壁手前の空中の近過ぎる位置にある不適切な輻輳点、壁を越えた遠過ぎる位置にある不適切な輻輳点を示す図である。 ２つの対象を注視する両眼を示す上面図である。 図１７（ａ）及び図１７（ｂ）は、図１６の２つの対象をそれぞれ左眼及び右眼から見た画像の一例を示す図である。 図１８（ａ）乃至図１８（ｃ）は順に、本発明の好適な実施形態にしたがって一領域を観察するときの適切な輻輳点Ａ、不適切な（遠すぎる）輻輳点Ｂ、及び不適切な（近すぎる）輻輳点Ｃを示す図である。 本発明の好適な実施形態にしたがって輻輳点を決定する過程を示す図である。 観察者の視線方向に存在する障害物を示す図である。 本発明の好適な実施形態にしたがって遅い速度で輻輳点の位置を変更する様子を示す図である。 本発明の好適な実施形態にしたがって検知された結腸壁内部の襞状部分及びその後方の「隠れたスポット」を示す図である。 様々なコントロール・インターフェースを有するジョイスティックの例を示す図である。 本発明の好適な実施形態にしたがってディスプレイを相互作用的に操作するためのスタイラス及び６自由度コントローラの例を示す図である。

Claims (31)

1. 観察対象物の管状構造を有する領域に関するスキャン・データを取得する段階と、
   前記スキャン・データからボリューム・データ・セットを構築する段階と、
   前記ボリューム・データ・セットを処理することにより、管状構造の一部或いは全体を仮想表示する段階を備え、
   前記管状構造が立体視表示されることを特徴とする管状解剖学的構造を仮想表示する方法。
2. 前記管状構造の小区画が主表示ウィンドウに表示され、隣接する全体表示ウィンドウに前記管状構造全体の内壁の透明画像が表示されることを特徴とする請求項1記載の方法。
3. 前記全体表示ウィンドウが、前記管状構造内における軌跡の１つと現在位置を表示する追加的な視覚表示を備えることを特徴とする請求項２記載の方法。
4. 前記管状構造が赤−緑アナグリフ立体表示、赤−青アナグリフ立体表示、赤−シアン・アナグリフ立体表示、インタレース表示、及び裸眼立体表示を含む様々な立体視フォーマットを用いて表示可能であることを特徴とする請求項１記載の方法。
5. 様々なカラー・ルックアップ・テーブルを用いて、前記管状構造の壁面の半透明画像が表示されることを特徴とする請求項１記載の方法。
6. 様々なカラー・ルックアップ・テーブルを用いて、前記管状構造の壁面の不透明画像が表示されることを特徴とする請求項１記載の方法。
7. 前記管状組織と該管状組織内の空気の間のボクセル強度の差に基づいて、前記管状構造の壁面が前記ボリューム・データ・セットから抽出されることを特徴とする請求項１記載の方法。
8. 前記管状構造がヒト或いは哺乳類の結腸であることを特徴とする請求項１乃至７いずれかに記載の方法。
9. 前記管状構造がヒト或いは哺乳類の動脈であることを特徴とする請求項１乃至７いずれかに記載の方法。
10. 管状構造の中心線を生成するための方法であって、
    視点から複数の光線を照射する段階と、
    前記光線が照射する前記構造の内壁上の複数の照射点を求める段階と、
    前記照射点の３次元座標の平均化することにより、中心線上の１点を求める段階と、
    前記中心線上の点を次の視点として用いる段階からなることを特徴とする方法。
11. 第１の視点として前記管状構造の一端上の点を選択し、該一端上の点から前記管状構造の他端まで処理が反復されることを特徴とする請求項１１記載の方法。
12. 前記管状構造が結腸であり、
    前記第１の視点が直腸近傍の点であることを特徴とする請求項１１記載の方法。
13. 中心線上の点のそれぞれを求めた後に、該中心線上の点から追加的な複数の光線が照射され、該中心線上の点が中心線上の点として適切であることが検証されることを特徴とする請求項１０記載の方法。
14. 前記追加的な複数の光線が、前記暫定的な中心線上の点から現在の方向に対して直角の方向照射されることを特徴とする請求項１３記載の方法。
15. エラーが発見されるとエラー補正操作が実行され、補正した位置に前記中心線上の点が動かされることを特徴とする請求項１３記載の方法。
16. 立体輻輳点を動的に調節しながら管状構造を表示する方法であって、
    視点から視線方向に光線を照射する段階と、
    前記光線が照射する前記構造の内壁上の１点を求める段階と、
    前記光線が照射する点を、前記立体輻輳点として設定する段階を備えることを特徴とする方法。
17. それぞれの眼点から追加的な光線を照射することにより、前記立体輻輳点をテストする段階を更に備えることを特徴とする請求項１６記載の方法。
18. 視点が変更される度に、前記テストする段階が反復されることを特徴とする請求項１６記載の方法。
19. 立体輻輳点の座標が第１の座標から所定量を超えて第２の座標に変更されるとき、１若しくはそれ以上の中間立体輻輳点が、以前の立体輻輳点と次の立体輻輳点の間に補間されることを特徴とする請求項１８記載の方法。
20. 管状組織のディスプレイと使用者の間の相互作用と、管状組織のディスプレイに対する使用者のコントロールを最適化する方法であって、
    ３次元データ・セットのボリューム・レンダリングにより該管状組織のディスプレイが得られ、
    ナビゲーション及びコントロール機能を１若しくはそれ以上のジョイスティック及び６Ｄコントローラにマッピングする段階を備えることを特徴とする方法。
21. 前記管状組織がヒトの結腸であり、
    前記マッピングされた機能が、３次元空間における３方向それぞれへの移動、横揺れ、縦揺れ、時計回りの回転、反時計回りの回転、盲腸方向への誘導された移動、直腸方向への誘導された移動、盲腸方向への手動による移動、直腸方向への手動による移動、視線方向の変更、始点の設定、終点の設定、及びズームからなる群から選択される１若しくはそれ以上の機能を含むことを特徴とする請求項２０記載の方法。
22. 管状構造を相互作用的に仮想表示する方法であって、
    観察対象物の管状構造を有する領域に関するスキャン・データを取得する段階と、
    前記スキャン・データからボリューム・データ・セットを構築する段階と、
    前記ボリューム・データ・セットを処理することにより、管状構造の一部或いは全体を仮想表示する段階と、
    前記管状構造の立体視表示を行う段階と
    光線照射技術を用いて、前記管状構造の中心線を算出し、視点が前記管状構造内部を動かされるとき、該視点の立体輻輳点を動的に調整する段階を備えることを特徴とする方法。
23. 前記視点が前記管状構造内部で自動的に動かされることを特徴とする請求項２２記載の方法。
24. 使用者の相互作用的コントロールにより、前記視点が前記管状構造内部を動かされることを特徴とする請求項２２記載の方法。
25. 光線照射技術が更に、視点が障害物から所定距離内にあることを使用者に警告するためにも用いられることを特徴とする請求項２２記載の方法。
26. 光線照射技術が更に、前記管状構造の壁面上の１若しくはそれ以上の襞状部分と該襞状部分の裏に隠れたスポットを検知するためにも用いられることを特徴とする請求項２２記載の方法。
27. 前記襞状部分が検知された場合に、前記視点が該襞状部分から所定距離内に入ると、該襞状部分が透明に設定されることを特徴とする請求項２６記載の方法。
28. コンピュータ可読のプログラム・コード手段が埋め込まれたコンピュータ上で使用可能な媒体を備え、
    該コンピュータ可読のプログラム・コード手段は、コンピュータに、観察対象物の管状構造を有する領域に関するスキャン・データを取得し、該スキャン・データからボリューム・データ・セットを構築し、該ボリューム・データ・セットを処理することにより前記管状構造の一部或いは全体を仮想表示させるための手段を備え、
    前記管状構造が立体視的に表示されることを特徴とするコンピュータ・プログラム製品。
29. マシンにより読み取り可能なプログラム格納デバイスであって、
    該デバイスが、該マシンにより実行可能な命令プログラムを実行することにより、管状解剖学的構造を仮想表示する方法が行われ、
    該方法が、観察対象物の管状構造を有する領域に関するスキャン・データを取得する段階と、
    前記スキャン・データからボリューム・データ・セットを構築する段階と、
    該ボリューム・データ・セットを処理することにより、前記管状構造の一部或いは全体を仮想表示する段階を備え、
    前記管状構造が立体視的に表示されることを特徴とするデバイス。
30. コンピュータ可読のプログラム・コード手段が埋め込まれたコンピュータ上で使用可能な媒体を備え、
    該コンピュータ可読のプログラム・コード手段は、コンピュータに、観察対象物の管状構造を有する領域に関するスキャン・データを取得し、該スキャン・データからボリューム・データ・セットを構築し、該ボリューム・データ・セットを処理することにより前記管状構造の一部或いは全体を仮想表示し、光線照射技術を使用させるための手段を備え、
    該光線照射技術を用いることにより、前記管状構造の中心線が算出され、視点が前記管状構造内を動かされるとき、該視点の立体輻輳点が動的に調整されることを特徴とするコンピュータ・プログラム製品。
31. マシンにより読み取り可能なプログラム格納デバイスであって、
    該デバイスが、該マシンにより実行可能な命令プログラムを実行することにより、管状解剖学的構造を仮想表示する方法が行われ、
    該方法が、観察対象物の管状構造を有する領域に関するスキャン・データを取得する段階と、
    該スキャン・データからボリューム・データ・セットを構築する段階と、
    該ボリューム・データ・セットを処理することにより前記管状構造の一部或いは全体を仮想表示する段階と、
    前記管状構造を立体視する段階と、
    光線照射技術を用いる段階を備え、
    該光線照射技術を用いることにより、前記管状構造の中心線が算出され、視点が前記管状構造内を動かされるとき、該視点の立体輻輳点が動的に調整されることを特徴とするデバイス。

Images