JP2005514086A - 仮想内視鏡検査のための自動ナビゲーション - Google Patents

Abstract

構造体の内腔内で仮想内視鏡の視点をナビゲーションする方法が提供される。この方法は、（ａ）仮想内視鏡の初期視点を決定し、ここで初期視点は第１の中心点と第１の方向を有し、（ｂ）初期視点から内腔までの最長射線を決定し、ここで最長射線は第１の最小射線方向を有し（ステップ２０４）、（ｃ）初期視点の第１の方向と第１の最長射線方向との間にある第２の方向を決定し（ステップ２１０）、（ｄ）視点を第２の方向に転じ（ステップ２１２）、初期視点を第１の所定の距離だけ初期視点の第１の方向に移動し（ステップ２１４）、（ｅ）視点の第２の中心点を計算し（ステップ２１６）、（ｆ）視点を第２の中心点に移動し（ステップ２１８）、そしてステップ（ｂ）から（ｆ）を視点が意図するターゲットに到達するまで繰り返す。

Description

本発明は一般的にはコンピュータビジョンおよび画像システムに関するものであり、より詳細には仮想内視鏡検査での自動ナビゲーションシステムおよび自動ナビゲーション方法に関する。

仮想内視鏡検査（ＶＥ）とは、患者固有の３Ｄ解剖データセットを使用する標準的最小侵襲性内視鏡的処置のコンピュータシミュレーションに基づく診断方法である。現在の内視鏡的処置の例は、気管支鏡検査法、膀胱鏡検査法、心臓鏡検査法、および尿道鏡検査法を含む。非侵襲性に得られた患者固有の解剖構造をＶＥ可視化することにより、実際の内視鏡検査に関連する危険性（例えば穿孔、感染、出血等）が回避される。そして内視鏡検査者に実際の内視鏡検査を実行する前に重要な情報を提供する。このような理解は手続き的な困難性を最小にし、患者の罹患率を低減し、トレーニングを向上させ、診断結果のよりよい理解を促進する。

仮想内視鏡検査では、３Ｄ画像が２次元（２Ｄ）コンピュータトモグラフ（ＣＴ）または磁気共鳴データから形成される。これは例えばボリュームレンダリングによって行われる。これらの３Ｄ画像は実際の内視鏡、例えばファイバ光学的内視鏡から到来する画像をシミュレートするために形成される。これの意味するのは、仮想内視鏡の視点を器官内腔の内側または他の人体構造の内側に選択しなければならないことである。さらに器官のレンダリングは広い視覚を以て、典型的には１００゜での遠近的レンダリングを使用して実行しなければならないであろう。この視点は、内腔の内側に沿って移動しなければならず、このことは３Ｄ平行移動および３Ｄ回転を適用しなければならないことを意味する。これらのパラメータをインタラクティブに制御することは挑戦である。

仮想内視鏡の視点をナビゲーションするために共通に使用される技術は、「フライト」経路を事前に計算すること、および仮想内視鏡の視点をこの経路に沿って自動的に移動することである。しかしこの技術は、セグメント化と軌道計算ステップを必要とし、これは時間がかかり、失敗することもある。

発明の要約
仮想内視鏡検査における内視鏡の視点を自動的にナビゲーションするためのシステムおよび方法が提案される。本発明のシステムおよび方法は自動的に仮想内視鏡の方向および配向を決定する。従ってユーザは、１つのパラメータ、すなわち前進または後進速度だけをコントロールすればよい。本発明により器官内部での即時のインタラクティブなナビゲーションが可能になり、その際に例えばセグメント化および経路発生を前処理する必要はない。

本発明の一側面によれば、構造体内の内腔で仮想的内視鏡の視点をナビゲーションする方法が提供される。この方法は、（ａ）仮想内視鏡の初期視点を決定するステップ（この初期視点は第１の中心点と第１の方向を有する）、（ｂ）初期視点から内腔までの最長射線を決定するステップ（最長射線は第１の最長射線方向を有する）、（ｃ）初期視点の第１の方向と第１の最長射線方向との間で第２の方向を決定するステップ、（ｄ）視点を第２の方向に転じ、初期視点を第１の所定の距離だけ初期視点の第１の方向に移動させるステップ、（ｅ）視点の第２の中心点を計算するステップ、そして（ｆ）視点を第２の中心点に移動するステップを有する。この方法はさらに、ステップ（ｂ）から（ｆ）を視点が意図するターゲットに到達するまで繰り返すステップも含む。

この方法はさらに、構造体の３Ｄ画像をレンダリングするステップを含み、ここでレンダリングステップは、構造体を走査し、複数の２次元（２Ｄ）画像を獲得し、複数の２Ｄ画像から３Ｄ画像をレンダリングするステップを含む。

本発明の別の側面では、視点の第２の方向が初期視点と第１の最長射線方向の重み付けされた和として検出される。

本発明の別の側面では、第２の中心点の計算は、視点の第２の方向に対して垂直の面内で複数の射線を配列するステップ；各複数の射線と内腔との交点を決定するステップ；そして交点の平均を第２の中心点として決定するステップを有する。択一的に第２の中心点の計算は、第１の中心点と交差する複数の面を決定するステップ（ここで各面は異なる配向を有する）；複数の射線を各複数の面内に配列するステップ；各複数の射線と内腔との交点を決定するステップ；そして交点の平均を第２の中心点として決定するステップを有する。

本発明の別の側面では、マシンにより読出すことのできるプログラム記憶デバイスが気化により実行可能なプログラム命令を含み、構造体の内腔内で仮想内視鏡の視点をナビゲーションするための方法ステップを実行する。この方法は、（ａ）仮想内視鏡の初期視点を決定するステップ（初期視点は第１の中心点と第１の方向を有する）；（ｂ）初期視点から内腔までの最長射線を決定するステップ（最長射線は第１の最長射線方向を有する）；（ｃ）初期視点の第１の方向と最小射線方向との間にある第２の方向を決定するステップ；（ｄ）視点を第２の方向に転じ、初期視点を第１の所定の距離だけ初期視点の第１の方向に移動するステップ；（ｅ）視点の第２の中心点を計算するステップ；（ｆ）視点を第２の中心点に移動するステップ；そして視点が意図するターゲットに到達するまで前記（ｂ）から（ｆ）を繰り返すステップを有する。

本発明の別の側面では、仮想内視鏡に対するシステムが、複数の２次元（２Ｄ）画像から構造体の３次元（３Ｄ）画像をレンダリングするための画像レンダリング装置と、構造体の３Ｄ画像中で仮想内視鏡の視点をナビゲーションするためのプロセッサと、視点を表示するための表示デバイスを有する。プロセッサは仮想内視鏡の初期視点を決定する。この初期視点は第１の中心点を有する。プロセッサはさらに初期視点から内腔までの最長射線を決定する。この最長射線は第１の最長射線方向を有する。プロセッサはさらに、初期視点の第１の方向と第１の最長射線方向との間にある第２の視点を決定する。次にプロセッサは視点を第２の方向に転じ、初期視点を第１の所定距離だけ初期視点の第１の方向に移動する。そしてプロセッサは視点の第２の中心点を計算し、視点を第２の中心点に移動する。

このシステムはさらに、構造体の複数の２次元（２Ｄ）画像を走査する走査デバイスと、視点の移動速度を決定するためのカーソルコントロールデバイスを有する。

図面の簡単な説明
以下本発明を図面に基づき詳細に説明する。
図１は、本発明による仮想内視鏡での自動ナビゲーションのための実施例のブロック回路図を示す。
図２は、本発明による仮想内視鏡での自動ナビゲーション方法に対するフローチャートである。
図３（ａ）から（ｅ）は、器官または構造体の内腔に挿入された仮想内視鏡の複数の視点を示すものであり、本発明による実施例の仮想内視鏡での自動ナビゲーション方向を説明する線図である。
図４は、本発明による図２の方法のセンタリング技術を説明する線図である。

有利な実施例の説明
本発明の有利な実施例を、添付図面に基づいて説明する。以下の説明で周知の機能または構造は、不要な説明により本発明を曖昧にすることを避けるため詳細には説明しない。

仮想内視鏡での視点を自動ナビゲーションするシステムおよび方法が提供される。本発明はレイキャスタリング技術を使用し、ヒトの構造体または内部器官、例えば結腸のレンダリング遠近画像を形成する。レイキャスタリングでは、表示された画像の各ピクセルに対して射線を配列し、器官壁とのその交点を計算する。本発明の方法では、最長射線が記憶され、器官壁とのその交点が仮想内視鏡の配向のために計算される。仮想内視鏡の位置は最長射線の方向の見るように選択される。このようにして仮想内視鏡は常に視点の最も遠い点の方向を見る。次に内視鏡はこの方向に沿って選択されたユーザ速度に相応する量だけ移動される。

しかしこのことは、仮想内視鏡の視点が湾曲または褶曲の場合に常に器官壁に近接して移動することを意味する。従って付加的射線が視点の周囲に直交して選択され、視点を再センタリングする。これら側方射線と器官壁とのすべての交点は加算され、その結果が仮想内視鏡の直交面に投影され、仮想内視鏡の新たな位置とする。

付加的に振動運動を回避するために、新たに計算された配向が以前の配向と混合される。この混合は、仮想内視鏡の視点の速度（Δ変位）に依存する重み付け係数を使用して行われる。速度が高ければ、新たな配向が比較的高いウェイトを有する。速度が低ければ以前の配向が比較的高いウェイトを有する。

本発明は、ハードウエア、ソフトウエア、ファームウエア、専用プロセッサ、またはそれらの組合せといった種々異なる形態で実現できることは理解されよう。実施例では本発明は、アプリケーションプログラムとしてのソフトウエアで実現されており、プログラム記憶デバイスに含まれている。アプリケーションプログラムはアップロードされ、図１に示されるような適切なアーキテクチャを有するマシンにより実行される。有利にはマシン１００は、１つまたは複数の中央演算ユニット（ＣＰＵ）１０２，ランダムアクセスメモリ（ＲＡＭ）１０４，読出し専用メモリ（ＲＯＭ）１０６、キーボード１０８、カーソルコントロールデバイス（例えばマウス、ジョイスティック）１１０のような入出力インタフェース（Ｉ／Ｏ）、および表示デバイス１１２を有するコンピュータプラットフォームに実現される。このコンピュータプラットフォームはまたオペレーティングシステムとマクロ命令コードを含んでいる。ここで説明される種々の処理および機能はマクロ命令コードの一部、またはアプリケーションプログラムの一部であり、これらはオペレーティングシステムを介して実行される。付加的に種々の別の端末デバイスをこのコンピュータプロッタフォームに接続することができる。これは例えば付加的データ記憶デバイス１１４およびプリントデバイスである。さらに走査デバイス１１６，例えばＸ線装置またはＭＲＩ（磁気共鳴画像装置）をマシン１００と接続し、２次元（２Ｄ）画像データを収集することができる。この画像データは処理され、レンダリングされ、表示デバイス１１２に３次元（３Ｄ）画像として表示される。

いくつかのシステムコンポーネントおよび方法ステップをソフトウエアとして実現できることも理解されよう。システムコンポーネント間の実際に接続（またはプロセスステップ）は本発明がどのようにプログラムされるかに依存して変化する。

図２と図３を参照すると、本発明の実施例による仮想内視鏡での視点の自動ナビゲーション方法が示されている。ここで図２は方法を示すフローチャートであり、図３は器官、例えば結腸をナビゲートした仮想内視鏡の複数の視野を示す。動作中にユーザは仮想内視鏡の視点を表示デバイス１１２に、実際の内視鏡検査手続きが実行されているかのように見ることが理解されよう。図３のこの視野は視点をナビゲーションする実施例を説明するためのものであり、これそれ以上のものは示されていない。

付加的に、結腸が本発明のシステムおよび方法の説明に使用されたが、本発明のシステムおよび方法を他のヒトまたは動物の器官、または血管、気管支等の空洞内腔を有する構造体に適用できることは理解されよう。

ナビゲーション方法を実行する前に、被験者は走査デバイス１１６、例えばヘリカルコンピュータトモグラフ（ＣＴ）スキャナまたは磁気共鳴画像スキャナ（ＭＲＩ）による走査手続きを受ける。種々の走査が実行され、一連の２次元（２Ｄ）画像が収集されると、観察すべき器官の３Ｄ画像が表示デバイス１１２上に、従来のレンダリング方法（ステップ２０２）によりレンダリングされる。これはレイキャスタリング、スプラッティング、シェアワープ、３Ｄテクスチャマッピング等のハードウエアアプローチである。

図３（ａ）は、レンダリングされた画像の仮想内腔３０４に挿入された初期位置で仮想内視鏡３０２が視点Ｖの方向を見た様子を示す。最長射線方向Ｒは画像をレンダリングした後（ステップ２０４）に得られる。レイキャスタリングがレンダリング方法として使用されるなら、最長射線Ｒは自動的に計算される。それ以外の場合、最長射線は画像が上記の公知の画像レンダリング技術によりレンダリングされた後にレイキャスティングによって計算することができるであろう。最長射線Ｒが計算された後、ユーザ、例えば外科医または放射線医は仮想内視鏡の視点を距離ｄだけ移動することが求められる（ステップ２０６）。これは例えばマウスの移動またはジョイステックを使用して行われる。

図３（ｂ）を参照すると、新たに配向された視点Ｖ’は、初期方向Ｖと最長射線方向Ｒとの重み付けされた和として計算される（ステップ２０８と２１０）。これは以下のような計算である：
ｗ＝最小（ａｂｓ（ｄ／ｆ），１．０） （１）
ここでｆはスケーリング係数であり、そして
Ｖ’＝ｗＲ＋（１−ｗ）Ｖ （２）
ウェイトｗは、低速（小さい距離ｄ）では初期方向Ｖが優勢であり（方向での変化が小さい）、高速では最長射線方向Ｒが優勢（方向での変化が大きい）であるように選択される。重み付けステップは振動および不安定な運動を低減するために実行される。これについては以下に説明する。スケーリング係数ｆは仮想内視鏡の速度を調整するために使用される。ここでｆの値が大きいと仮想内視鏡は高速になり、ｆの値が小さいと仮想内視鏡は低速になる。

図３（ｃ）を参照すると、内視鏡１１８は新たな視線方向Ｖ’を見るように転じる（ステップ２１２）。そして距離ｄだけ初期視線方向Ｖに沿って移動する（ステップ２１４）。次に新たな中心点Ｓが、図３（ｄ）に示されるように仮想内視鏡３０２に対して計算される。

内視鏡をセンタリングするために（ステップ２１６）、側方射線が仮想内視鏡３０２の視点に対して垂直な面にすべての方向で配列される。例えば図４に示されるように、長さの異なる８つの射線が４０゜ごとに配列され、円形パターン４０２を形成する。射線と構造体壁との交点が計算され、垂直面に投影される。中心点しゃこれらの点の平均として計算される。

択一的に中心点Ｓは、前方を指す８つの射線の円形パターンと、後方４０６を指す８つの射線の円形パターンを使用して計算することもできる。それ以上の射線を用いることはさらに安定性と精度を高める。別の実施例では、８つの射線による５つの円形パターンがそれぞれ使用される。すなわち、直交面の射線、２０゜前方に傾斜された射線、２０゜後方に傾斜された射線、そして４５゜前方に傾斜された射線と４５゜後方に傾斜された射線である。仮想内視鏡位置から構造体表面との交点までのすべてのベクトルは加算され、結果のベクトルが直交面に投影される。このポイントは中心の近似点であり、新たな視点位置として使用される。

仮想内視鏡３０２が１つの視点から別の視点に側方に移動するとき（センタリングステップのため）、振動が発生することは正当に評価すべきである。仮想内視鏡がゆっくりと押し出されると、最長射線方向での変化はセンタリングステップでの変化を引き起こすことになる。その結果が側方運動である。このことはとりわけ内腔の湾曲または褶曲の周囲で転回するときに観察される。この場合、ウェイトを変更すると配向の変化とセンタリングステップの変化が低減され、従って側方運動が低減される。

仮想内視鏡３０２は次に中心位置Ｓにシフトされ、前方視点Ｖ’への配向を維持する（ステップ２１８）。これが図３（ｅ）に示されている。この方法は、仮想内視鏡３０２がその意図するターゲット、例えば腫瘍、ノジュール等に達するまで繰り返される（ステップ２２０）。

内部構造内を「飛行」する従来技術の方法とは異なり、本発明の方法はナビゲーションの開始前に飛行経路を計算する必要がなく、従って有利に時間を節約することができる。

本発明を有利な実施例に基づいて説明したが、これは単なる例であり、当業者であれば本発明の枠内で種々の変形が可能である。

図１は、本発明による仮想内視鏡での自動ナビゲーションのための実施例のブロック回路図を示す。

図２は、本発明による仮想内視鏡での自動ナビゲーション方法に対するフローチャートである。

図３（ａ）から（ｅ）は、器官または構造体の内腔に挿入された仮想内視鏡の複数の視点を示すものであり、本発明による実施例の仮想内視鏡での自動ナビゲーション方向を説明する線図である。

図４は、本発明による図２の方法のセンタリング技術を説明する線図である。

Claims (23)

1. 構造体の内腔内で仮想内視鏡の視点をナビゲーションする方法において、
   （ａ）仮想内視鏡の初期視点を決定し、ここで初期視点は第１の中心点と第１の方向を有し、
   （ｂ）初期視点から内腔までの最長射線を決定し、ここで最長射線は第１の最小射線方向を有し、
   （ｃ）初期視点の第１の方向と第１の最長射線方向との間にある第２の方向を決定し、
   （ｄ）視点を第２の方向に転じ、初期視点を第１の所定の距離だけ初期視点の第１の方向に移動し、
   （ｅ）視点の第２の中心点を計算し、
   （ｆ）視点を第２の中心点に移動する、
   ことを特徴とする方法。
2. ステップ（ｂ）から（ｆ）を、視点が意図するターゲットに到達するまで繰り返す、請求項１記載の方法。
3. 構造体の３次元（３Ｄ）画像のレンダリングステップを含む、請求項１記載の方法。
4. レンダリングステップは、複数の２次元（２Ｄ）画像を収集するために構造体を走査し、複数の２Ｄ画像から３Ｄ画像をレンダリングするステップを含む、請求項３記載の方法。
5. 最長射線を決定するステップと、レンダリングステップはレイキャスタリング画像レンダリング技術により実行される、請求項３記載の方法。
6. 視点の第２の方向は、初期視点の第１の方向と第１の最長射線方向との重み付けされた和として決定する、請求項１記載の方法。
7. 重み付けされた和は
   Ｖ’＝ｗＲ＋（１−ｗ）Ｖ
   として計算され、ここでＶは初期視点の方向、Ｒは第１の最長射線方向、ｗは重み付け係数である、請求項６記載の方法。
8. 重み付け係数ｗは
   ｗ＝最小（ａｂｓ（ｄ／ｆ），１．０）
   として計算され、ここでｄは第１の所定距離、ｆはスケーリング係数である、請求項７記載の方法。
9. 第２の中心点の計算は次のステップを有する：
   ・複数の射線を視点の第２の方向に対して垂直な面に配列するステップ；
   ・各複数の射線と内腔との交点を決定するステップ；
   ・交点の平均を第２の中心点として決定するステップ、請求項１記載の方法。
10. 第２の中心点の計算は次のステップを有する：
    ・第１の中心点と交差する複数の面を決定するステップ、ここで各面は異なる配向を有している；
    ・複数の射線を複数の面の各々で配列するステップ；
    ・各複数の射線と内腔との交点を決定するステップ；
    ・交点の平均を第２の中心点として決定するステップ、請求項１記載の方法。
11. マシンにより読出すことのできるプログラム記憶デバイスであって、該デバイスはマシンにより実行可能なプログラム命令を含んでおり、該プログラム命令は構造体の内腔内で仮想内視鏡の視点をナビゲートするための方法ステップを実行させ、当該方法は次のステップを有する：
    （ａ）仮想内視鏡の初期視点を決定するステップ、ここで初期視点は第１の中心点と第１の方向を有し；
    （ｂ）初期視点から内腔への最長射線を決定するステップ、ここで最長射線は第１の最長射線方向を有し；
    （ｃ）初期視点の第１の方向と第１の最長射線方向との間の第２の方向を決定するステップ；
    （ｄ）視点を第２の方向に転じ、初期視点を第１の所定距離だけ初期視点の第１の方向に移動するステップ；
    （ｅ）視点の第２の中心点を計算するステップ；
    （ｆ）視点を第２の中心点に移動するステップ。
12. ステップ（ｂ）から（ｆ）を、視点が意図するターゲットに到達するまで繰り返すステップを有する、請求項１１記載のプログラム記憶デバイス。
13. 構造体の画像の３次元（３Ｄ）レンダリングステップを有する、請求項１１記載のプログラム記憶デバイス。
14. レンダリングステップはさらに、構造体を走査して複数の２次元（２Ｄ）画像を収集し、複数の２Ｄ画像から３Ｄ画像をレンダリングするステップを含む、請求項１３記載のプログラム記憶デバイス。
15. 最長射線決定ステップとレンダリングステップはレイキャスティング画像レンダリング技術によって実行される、請求項１３記載のプログラム記憶デバイス。
16. 視点の第２の方向は、初期視点の第１の方向と第１の最長射線方向との重み付けされた和として決定する、請求項１１記載のプログラム記憶デバイス。
17. 重み付けされた和は
    Ｖ’＝ｗＶ＋（１−ｗ）Ｒ
    として計算され、ここでＶは初期視点の方向、Ｒは第１の最長射線方向、ｗは重み付け係数である、請求項１６記載のプログラム記憶デバイス。
18. 重み付け係数ｗは
    ｗ＝最小（ａｂｓ（ｄ／ｆ），１．０）
    として計算され、ここでｄは第１の所定距離、ｆはスケーリング係数である、請求項１７記載のプログラム記憶デバイス。
19. 第２の中心点の計算は次のステップを含む：
    ・第１の中心点と交差する複数の面を決定するステップ、ここで各複数の面は異なる配向を有している；
    ・複数の各射線が内腔と交差する点を決定するステップ；
    ・前記交差する点の平均を第２の中心点として決定するステップ；
    請求項１１記載のプログラム記憶デバイス。
20. 仮想内視鏡のためのシステムにおいて、
    構造体の３次元（３Ｄ）画像を複数の２次元（２Ｄ）画像からレンダリングするための画像レンダリング装置と、構造体の３Ｄ画像中で仮想内視鏡の視点をナビゲーションするためのプロセッサと、視点を表示するための表示デバイスとを有する、
    ことを特徴とするシステム。
21. 前記プロセッサは、仮想内視鏡の初期視点を決定し、該初期視点は第１の中心点と第１の方向を有し、
    前記プロセッサは、初期視点から内項までの最長射線を決定し、該最長射線第１の最長射線方向を有し、
    前記プロセッサは、第２の方向を初期視点の第１の方向と第１の最長射線方向との間で決定し、視点を第２の方向に転じ、初期視点を第１の所定距離だけ初期視点の第１の方向に移動し、
    前記プロセッサは、視点の第２の中心点を計算し、視点を該第２の中心点に移動する、請求項２０記載のシステム。
22. 構造体の複数の２次元（２Ｄ）画像を走査するための走査デバイスを有する、請求項２０記載のシステム。
23. 視点の運動速度を決定するためのカーソルコントロールデバイスを有する、請求項２１記載のシステム。

Images