JP2018522610A - 解剖学的モデルの増補によって腹腔鏡外科処置を誘導するためのシステムおよび方法 - Google Patents

Abstract

モデルを増補するためのシステムおよび方法は、変形状態における解剖学的関心対象の術中画像化データを受信することを含む。前記術中画像化データは、ステッチングされて、前記変形状態における前記解剖学的関心対象の術中モデルにされる。前記変形状態における前記解剖学的関心対象の前記術中モデルは、初期状態における前記解剖学的関心対象の術前モデルに位置合わせされ、このとき当該位置合わせは、前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形することによって実施される。前記変形状態における前記解剖学的関心対象の前記術中モデルからのテクスチャ情報が、変形された前記術前モデルにマッピングされ、前記解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルが生成される。

Description

本発明は、概して、腹腔鏡外科処置を画像に基づいて誘導することに関し、より詳細には、解剖学的モデルの増補によって腹腔鏡外科処置中に解剖学的組織を標的設定および位置特定することに関する。

現在、低侵襲性の腫瘍切除のような低侵襲性の腹部処置中に、重要組織を回避しながら臨床医を標的の腫瘍部位に誘導することを補助するために、立体腹腔鏡検査または従来の映像腹腔鏡検査が使用される。腫瘍および重要組織は、腹腔鏡画像から直接的には見えないので、処置中に術前画像化情報にアクセスできることは極めて有用である。腹腔鏡映像による外科医の視野に合わせられた術前情報は、腫瘍をより良好に標的設定する点と、標的の周囲の重要組織を回避する点とにおいて外科医の知覚および能力を向上させる。

外科処置は、しばしば腹腔内への送気を必要とし、これによって初期の臓器移動および組織変形が引き起こされ、これを調整しなければならない。この位置合わせの問題は、呼吸や、器具−組織間に起こり得る相互作用によって引き起こされる連続的な組織変形に起因して処置自体の間にさらに複雑になる。

光学的な術中画像と術前画像とを融合させるために利用可能な従来のシステムには、マルチモーダルな基準点に基づいたシステムと、手動位置合わせに基づいたシステムと、３次元表面位置合わせに基づいたシステムとが含まれる。基準点に基づいた技術は、術前の画像取得および術中の画像取得の両方での共通の基準点の集合を必要とし、このことは本質的に、基準点を用いて患者を余分なステップで画像化しなければならないが故に、臨床ワークフローに対して破壊的な影響を与える。手動位置合わせは、特に１つまたは複数の２次元画像に基づいて方向性のアライメントを処置の全期間にわたって連続的に調整しなければならない場合には、時間がかかり、かつ潜在的に不正確である。さらに、このような手動位置合わせ技術は、位置合わせ時点での組織変形または処置全体にわたる一時的な組織変形を説明することができない。生体力学的特性を用いた３次元表面に基づく位置合わせは、解剖学的関心対象の表面組織の視野が制限されており、実時間（リアルタイム）で変形を補償する際における計算が複雑であるせいで、精度および性能を損ねる可能性がある。

発明の概要
１つの実施形態によれば、モデルを増補するためのシステムおよび方法は、変形状態における解剖学的関心対象の術中画像化データを受信することを含む。前記術中画像化データは、ステッチングされて、前記変形状態における前記解剖学的関心対象の術中モデルにされる。前記変形状態における前記解剖学的関心対象の前記術中モデルは、初期状態における前記解剖学的関心対象の術前モデルに位置合わせされ、このとき当該位置合わせは、前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形することによって実施される。前記変形状態における前記解剖学的関心対象の前記術中モデルからのテクスチャ情報が、変形された前記術前モデルにマッピングされ、前記解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルが生成される。

本発明の上記の利点および他の利点は、以下の詳細な説明および添付の図面を参照することによって当業者に明らかとなるであろう。

１つの実施形態による、解剖学的モデルの増補による腹腔鏡外科処置中の誘導のための概要的なフレームワークを示す。 １つの実施形態による、解剖学的モデルの増補による腹腔鏡外科処置中の誘導のためのシステムを示す。 １つの実施形態による、初期の術中画像化データから解剖学的関心対象の３次元モデルを生成するための概観図を示す。 １つの実施形態による、解剖学的モデルの増補による腹腔鏡外科処置中の誘導のための方法を示す。 １つの実施形態による、解剖学的モデルの増補による腹腔鏡外科処置中の誘導のためのコンピュータの概要的なブロック図を示す。

詳細な説明
本発明は、概して、腹腔鏡外科処置中の誘導のための解剖学的モデルの増補に関する。本発明の実施形態は、解剖学的モデルを増補するための方法の視覚的な理解を提供するために本明細書に記載されている。デジタル画像は、多くの場合、１つまたは複数の対象（または形状）のデジタル表示から構成されている。対象のデジタル表示は、多くの場合、対象の識別および操作という観点から本明細書に記載されている。このような操作は、コンピュータシステムのメモリまたは他の回路／ハードウェアにおいて実現される仮想の操作である。したがって、本発明の実施形態は、コンピュータシステムの内部に記憶されたデータを使用してコンピュータシステムの内部で実行され得るということが理解されるべきである。

さらに、本明細書において議論される実施形態は、患者の医療処置に関して議論され得るが、本発明の原理がこれに限定されていないことを理解すべきである。本発明の実施形態は、任意の主題に関してモデルを増補するために使用することができる。

図１は、１つまたは複数の実施形態による、腹腔鏡外科処置中の誘導のための概要的なフレームワーク１００を示す。外科処置が実施されている間、ワークステーション１０２は、画像誘導を提供し、他の関連情報を表示することによってユーザ（例えば外科医）を補助する。ワークステーション１０２は、例えば肝臓のような患者の解剖学的関心対象の術前モデル１０４と、術中画像化データ１０６とを受信する。術前モデル１０４は、初期状態（例えば弛緩状態または非変形状態）における解剖学的関心対象に関し、その一方で、術中画像化データ１０６は、変形状態における解剖学的関心対象に関する。術中画像化データ１０６は、初期の術中画像化データ１１０と、実時間（リアルタイム）の術中画像化データ１１２とを含む。初期の術中画像化データ１１０は、解剖学的関心対象の完全な走査を提供するために処置の初期段階で取得される。実時間の術中画像化データ１１２は、処置中に取得される。

術前モデル１０４は、肝臓の術前画像化データ（図示せず）から生成することができ、この術前画像化データは、例えばコンピュータ断層撮影法（ＣＴ）や磁気共鳴画像化法（ＭＲＩ）等のような任意のモダリティとすることができる。例えば術前画像化データを、任意のセグメンテーションアルゴリズムを使用してセグメンテーションし、計算幾何学アルゴリズムライブラリ（ＣＧＡＬ）を使用して術前モデル１０４に変換することができる。他の公知の方法を使用することもできる。術前モデル１０４は、例えば肝臓の表面または４面体メッシュとすることができる。術前モデル１０４は、肝臓の表面だけでなく表面下標的および重要組織も含む。

肝臓の術中画像化データ１０６は、任意のモダリティの画像取得装置から受信することができる。１つの実施形態では、術中画像化データ１０６は、立体腹腔鏡画像化装置から取得された光学的な２次元（２Ｄ）および３次元（３Ｄ）の深度マップを含む。術中画像化データ１０６は、変形状態における肝臓の画像、映像（ビデオ）、または他の任意の画像化データを含む。変形は、腹腔内への送気に起因し得るか、もしくは例えば患者の自然な内部運動（例えば呼吸）や画像化装置または外科装置からの変位等のような他の任意の要因に起因し得る。

ワークステーション１０２は、術前モデル１０４と、初期の術中画像化データ１１０とから、患者の現在の状態（すなわち変形状態）にアライメントされた、肝臓のテクスチャリングされたモデルを生成する。特に、ワークステーション１０２は、ステッチングアルゴリズムを適用し、初期の術中画像化データ１１０のフレーム同士をアライメントして、変形状態における解剖学的関心対象のただ１つの３Ｄ術中モデル（例えば表面メッシュ）にする。術中モデルは、術前モデル１０４に剛体位置合わせされる。術前モデル１０４は、変形された術前モデルが、ステッチングされた術中モデルに一致するように、肝臓に内在する生体力学的特性に基づいて局所的に変形される。ステッチングされた術中モデルからのテクスチャ情報は、変形された術前モデルにマッピングされ、変形されテクスチャマッピングされた術前モデルが生成される。

変形されテクスチャマッピングされた術前モデルと、処置中に取得された実時間の術中画像化データ１１２との間で、非剛体位置合わせが実施される。ワークステーション１０２は、変形されテクスチャマッピングされた術前モデルを、実時間の術中画像化データ１１２と共に手術中に表示するための増補された表示１０８を出力する。例えば、変形されテクスチャマッピングされた術前モデルを、実時間の術中画像化データ１１２と共にオーバーレイ配置またはサイドバイサイド配置で表示することができ、これによって治療の効果的なナビゲーションおよび配信のために、表面下標的および重要組織のより良好な理解を臨床医に提供することができる。

図２は、１つまたは複数の実施形態による、解剖学的モデルの増補による腹腔鏡外科処置中の誘導のためのシステム２００の詳細図を示す。システム２００の各要素は、同じ場所に配置してもよく（例えば１つの手術室環境または施設の内部に）、または離れた場所に配置してもよい（例えば１つの施設の異なる領域に、または異なる施設に）。システム２００は、ワークステーション２０２を含み、このワークステーション２０２は、外科処置（または他の任意の種類の処置）のために使用することができる。ワークステーション２０２は、１つまたは複数のプロセッサ２１８を含むことができ、このプロセッサ２１８は、１つまたは複数のデータ記憶装置２１６と、１つまたは複数のディスプレイ２２０と、１つまたは複数の入力／出力装置２２２とに通信可能に結合されている。データ記憶装置２１６は、プロセッサ２１８上で実行された場合に実施される、ワークステーション２０２の機能を表す複数のモジュールを記憶する。ワークステーション２０２が例えば通信インターフェースのような追加的な要素を含み得ることを理解すべきである。

ワークステーション２０２は、外科処置中の手術中に、被験者２１２（例えば患者）の関心対象２１１の画像化データを画像取得装置２０４から受信する。画像化データは、画像（例えばフレーム）、映像（ビデオ）、または他の任意の種類の画像化データを含むことができる。画像取得装置２０４からの術中画像化データは、初期の術中画像化データ２０６と、実時間の術中画像化データ２０７とを含むことができる。初期の術中画像化データ２０６は、関心対象２１１の完全な走査を提供するために外科処置の初期段階で取得することができる。実時間の術中画像化データ２０７は、処置中に取得することができる。

術中画像化データ２０６，２０７は、関心対象２１１が変形状態にある間に取得することができる。変形は、関心対象２１１への送気に起因し得るか、もしくは例えば患者の自然な運動（例えば呼吸）や画像化装置または外科装置によって引き起こされる変位等のような他の任意の要因に起因し得る。１つの実施形態では、術中画像化データ２０６，２０７は、被験者２１２を画像化する画像取得装置２０４から直接的に、ワークステーション２０２によって手術中に受信される。別の実施形態では、画像化データ２０６，２０７は、画像取得装置２０４を使用して取得された、以前に記憶された被験者２１２の画像化データをロードすることによって受信される。

いくつかの実施形態では、画像取得装置２０４は、被験者２１２の関心対象２１１を画像化するための１つまたは複数のプローブ２０８を使用することができる。関心対象２１１は、例えば器官（例えば肝臓）のような標的とされる解剖学的関心対象とすることができる。プローブ２０８は、１つまたは複数の画像化装置（例えばカメラ、プロジェクタ）を含むことができるのと同様に、例えば送気装置、切開装置、または他の任意の装置のような他の外科用機器または装置を含むこともできる。例えば送気装置は、外科用バルーンや、空気（例えば二酸化炭素のような不活性で非毒性の気体）を吹き込むための導管等を含むことができる。画像取得装置２０４は、接続部２１０を介してプローブ２０８と通信可能に結合されており、この接続部２１０は、電気的接続部、光学的接続部、送気用接続部（例えば導管）、または他の任意の適切な接続部を含むことができる。

１つの実施形態では、画像取得装置２０４は、解剖学的関心対象２１１の実時間の２次元（２Ｄ）および３次元（３Ｄ）深度マップを生成することができる立体腹腔鏡画像化装置である。例えば立体腹腔鏡画像化装置は、実時間の２Ｄおよび３Ｄ深度マップを生成するために、２つのカメラ、または１つのプロジェクタを有する１つのカメラ、または１つのプロジェクタを有する２つのカメラを使用することができる。立体腹腔鏡画像化装置の他の構成も可能である。画像取得装置２０４は、立体腹腔鏡画像化装置に限定されておらず、例えば超音波（ＵＳ）のような任意のモダリティとすることができることを理解すべきである。

ワークステーション２０２は、被験者２１２の解剖学的関心対象２１１の術前モデル２１４を受信することもできる。術前モデル２１４は、初期状態（例えば弛緩状態または非変形状態）における解剖学的関心対象２１１から取得された術前画像化データ（図示せず）から生成することができる。術前画像化データは、例えばＣＴ、ＭＲＩ等のような任意のモダリティとすることができる。術前画像化データは、解剖学的関心対象２１１の、術中画像化データ２０６に比べてより詳細な図を提供する。

表面標的（例えば肝臓）、重要組織（例えば門脈、肝臓系、胆道）、および他の標的（例えば原発性腫瘍および転移性腫瘍）を、術前画像化データから任意のセグメンテーションアルゴリズムを使用してセグメンテーションすることができる。例えばセグメンテーションアルゴリズムは、機械学習に基づいたセグメンテーションアルゴリズムとすることができる。１つの実施形態では、例えば「３次元画像における心腔をセグメンテーションするためのシステムおよび方法（System and Method for Segmenting Chambers of a Heart in a Three Dimensional Image）」と題する米国特許第７９１６９１９号明細書（United States Patent No. 7,916,919）に記載されている方法を使用して、境界空間学習（marginal space learning）（ＭＳＬ）に基づいたフレームワークを使用することができ、なお、同明細書の全内容は、参照によって本明細書に組み込まれる。別の実施形態では、例えばグラフカットセグメンテーションまたはランダムウォーカーセグメンテーションのような半自動のセグメンテーション技術を使用することができる。セグメンテーションは、バイナリボリュームとして表現することができる。術前モデル２１４は、例えばＣＧＡＬ、ＶＴＫ（視覚化ツールキット）、または他の任意の公知のツールを使用してバイナリボリュームを変換することによって生成される。１つの実施形態では、術前モデル２１４は、表面メッシュまたは４面体メッシュである。いくつかの実施形態では、ワークステーション２０２は、術前画像化データを直接的に受信して、術前モデル２１４を生成する。

ワークステーション２０２は、初期の術中画像化データ２０６を使用して、変形状態における解剖学的関心対象２１１の３Ｄモデルを生成する。図３は、１つまたは複数の実施形態による、３Ｄモデルを生成するための概観図を示す。ステッチングモジュール２２４は、初期の術中画像化データ２０６からの個々に走査されたフレーム同士を相互にマッチングし、検出された画像ランドマークに基づいて、対応するフレーム同士を推定するように構成されている。個々に走査されたフレームは、被験者２１２の複数の位置３０４でプローブ２０８を使用して画像取得装置２０４を使用して取得することができる。次いで、これらの対応するフレーム同士の間の相対的な姿勢に関する仮定を、ペア毎に計算することができる。１つの実施形態では、対応するフレーム同士の間の相対的な姿勢に関する仮定は、対応する２Ｄ画像測定値および／または２Ｄ画像ランドマークに基づいて推定される。別の実施形態では、対応するフレーム同士の間の相対的な姿勢に関する仮定は、利用可能な３Ｄ深度チャネルに基づいて推定される。対応するフレーム同士の間の相対的な姿勢に関する仮定を計算するための他の方法を使用することもできる。

その後、ステッチングモジュール２２４は、後続するバンドル調整ステップを適用し、３Ｄ点間で３Ｄ距離が最小化されているピクセル空間または３Ｄ距離空間における２Ｄ再投影誤差を最小化することによって、２Ｄ画像領域内で定義された誤差距離に関して、推定された相対的な姿勢に関する仮定の集合と、元々のカメラ姿勢とにおける最終的な幾何学的なスパース構造を最適化する。最適化の後、取得されたフレームは、単一の正準座標系で表現される。ステッチングモジュール２２４は、画像化データ２０６の３Ｄ深度データをステッチングして、単一の正準座標系における解剖学的関心対象２１１の高品質かつ高密度の術中モデル３０２にする。術中モデル３０２は、表面メッシュとすることができる。例えば術中モデル３０２は、３Ｄ点群として表現することができる。術中モデル３０２は、解剖学的関心対象２１１の詳細なテクスチャ情報を含む。例えば３Ｄ三角測量に基づく公知の表面メッシュ生成処置を使用して、画像化データ２０６の視覚的印象を生成するために追加的な処理ステップを実施することができる。

剛体位置合わせモジュール２２６は、事前剛体位置合わせ（または融合）を適用して、術前モデル２１４と、ステッチングモジュール２２４によって生成された術中モデルとを１つの共通座標系にアライメントする。１つの実施形態では、位置合わせは、術前モデル２１４と術中モデルとの間において３つ以上の対応関係を識別することによって実施される。これらの対応関係は、解剖学的ランドマークに基づいて手動で識別することができるか、または術前モデル２１４および術中モデルの２Ｄ／３Ｄ深度マップの両方で認識される特有のキー（顕著な）点を決定することによって半自動で識別することができる。他の位置合わせ方法を使用することもできる。例えば、より高度に全自動化された位置合わせ方法は、プローブ２０８の追跡システムを術前画像化データの座標系に先験的に位置合わせすることによる（例えば術中解剖学的走査による、または一般的な基準の集合による）プローブ２０８の外部の追跡を含む。

術前モデル２１４と術中モデルとが粗くアライメントされると、変形モジュール２２８は、術前モデル２１４の頂点と術中モデル（例えば点群）との間において密な対応関係を識別する。密な対応関係は、例えば解剖学的ランドマークに基づいて手動で識別することができるか、または顕著な点を決定することによって半自動で識別することができるか、または全自動で識別することができる。次いで、変形モジュール２２８は、識別されたそれぞれの対応関係に関して偏差の最頻値を導出する。偏差の最頻値は、識別されたそれぞれの対応関係における、術前モデル２１４と術中モデルとの間の空間分布したアライメント誤差を符号化または表現したものである。偏差の最頻値は、局所的に一致した力の３Ｄ範囲に変換され、これが術前モデル２１４に適用される。１つの実施形態では、正規化または重み付けの概念を実施することによって３Ｄ距離を力に変換することができる。

非剛体位置合わせを達成するために、変形モジュール２２８は、術前モデル２１４に基づいて解剖学的関心対象２１１の生体力学的モデルを定義する。生体力学的モデルは、機械的パラメータおよび圧力レベルに基づいて定義される。この生体力学的モデルを位置合わせフレームワークに組み込むために、パラメータは、モデルパラメータを調整するために使用される類似性測定値と結合される。１つの実施形態では、生体力学的モデルは、弾性力学方程式によって運動が支配されている均質な線形の弾性固体として解剖学的関心対象２１１を記述する。

この方程式を解くために、いくつかの異なる方法を使用することができる。例えば、術前モデル２１４において定義された４面体メッシュ要素上で計算されるように、全ラグランジュ陽的力学（ＴＬＥＤ）有限要素アルゴリズム（the total Lagrangian explicit dynamics (TLED) finite element algorithm）を使用することができる。生体力学的モデルは、メッシュ要素を変形させ、組織の弾性エネルギを最小化することによって、上記の局所的に一致した力の範囲に一致している関心対象２１１のメッシュ点の変位を計算する。

生体力学的モデルは、生体力学的モデルを位置合わせフレームワークに含めるために、類似性測定値と組み合わされる。これに関して、生体力学的モデルパラメータは、生体力学的モデルが更新された術前モデルと術中モデルとの間の類似性を最適化することによって、モデルが収束するまで（すなわち移動モデルが標的モデルと同様の幾学構造に到達するまで）反復的に更新される。したがって、生体力学的モデルは、手術中に収集された点と、生体力学的モデルが更新された術前モデルとの間における点毎の距離計量を最小化することを目標として、術中モデルにおける変形に一致するような、術前モデル２１４の物理的に健全な変形を提供する。

解剖学的関心対象２１１の生体力学的モデルは、弾性力学方程式に関して説明されているが、器官の内部組織の動力学を考慮するために他の構造モデル（例えばより複雑なモデル）を使用してもよいことを理解すべきである。例えば、解剖学的関心対象２１１の生体力学的モデルを、非線形弾性モデル、粘性効果モデル、または非均質材料特性モデルとして表現することができる。他のモデルも考えられる。

１つの実施形態では、生体力学的モデルの解を使用して、画像取得装置２０４の操作者に触覚フィードバックを提供することができる。別の実施形態では、生体力学的モデルの解を使用して、画像化データ２０６のセグメンテーションの編集を誘導することができる。他の実施形態では、識別されたパラメータ（例えば組織の剛性または粘性）のために生体力学的モデルを使用することができる。例えば、既知の力を加えて変位を観察するプローブ２０８によって、患者の組織を能動的に変形させることができる。生体力学的モデルを、利用可能なデータに適合する最適モデルパラメータを探索する順問題のためのソルバーとして使用して、逆問題を解決することができる。例えば、生体力学的モデルに基づく変形は、パラメータを更新するために既知の変形に基づくことができる。いくつかの実施形態では、生体力学的モデルを、非剛体位置合わせのために使用する前にパーソナライズすることができる（すなわち逆問題を解くことによって）。

位置合わせモジュール２２６によって実施される剛体位置合わせは、術中モデルおよび術前モデル２１４のそれぞれのフレームの復元した姿勢を共通座標系の内部でアライメントする。テクスチャマッピングモジュール２３０は、術中モデルのテクスチャ情報を、共通座標系を使用して、変形モジュール２２８によって変形された術前モデル２１４にマッピングする。変形された術前モデルは、複数の三角形化された面として表現される。画像化データ２０６の視覚データの高冗長性に起因して、変形された術前モデルのそれぞれの可視の三角形化された面の高度なラベリング戦略が、テクスチャマッピングのために使用される。

変形された術前モデルは、ラベリングされたグラフ構造として表現され、このグラフ構造では、変形された術前モデルのそれぞれの可視の三角面が１つのノードに対応しており、隣り合う面（例えば２つの共通の頂点を共有する）が、グラフ内でエッジによって接続されている。例えば、３Ｄ三角形の逆投影を実施して２Ｄ画像にすることができる。変形された術前モデルにおける可視の三角面のみがグラフ内に表現される。可視の三角面は、可視性テストに基づいて判定することができる。例えば、ある１つの可視性テストは、三角面の３つの点全てが可視であるどうかを判定する。可視の点が３つ全てより少ない三角面（例えば三角面のうちの２つの点のみが可視）は、グラフ内で省略することができる。別の例示的な可視性テストは、オクルージョンを考慮して、手前側の三角面によって遮蔽されている術前モデル２１４の背後側の三角面を省略する（例えばＯｐｅｎＧＬを使用したＺバッファの読み出しを使用して）。他の可視性テストを実施することもできる。

グラフ内のそれぞれのノードに対して、収集されたそれぞれの画像フレームにおける可視性テスト（例えば投影された２Ｄ被覆率）に基づいて電位の集合（データ項）が生成される。グラフ内のそれぞれのエッジには、術前モデル２１４の幾何学的特性を考慮したペア毎の電位が割り当てられる。類似の方向性を有する三角面には、類似のラベルが割り当てられる可能性が高く、このことはつまり、テクスチャが単一のフレームから抽出されることを意味する。三角面に対応する画像がラベルである。目標は、画像内に大きな三角面を提供することであり、鮮明な高品質のテクスチャを提供する一方で、考慮される画像の数を十分に削減して（すなわちラベルジャンプの数を削減して）隣り合う三角面同士の間の滑らかな移行を提供する。それぞれの三角面のラベリングを決定するために、条件付き確率場の定式化の範囲内でアルファ拡張アルゴリズムを使用することによって推理を実施することができる。最終的な三角形のテクスチャは、術中モデルから抽出することができ、ラベリングおよび共通座標系に基づいて、変形された術前モデルにマッピングすることができる。

次いで、非剛体位置合わせモジュール２３２は、変形されテクスチャマッピングされた術前モデルと、実時間の術中画像化データ２０７との実時間の非剛体位置合わせを実施する。１つの実施形態では、変形されテクスチャマッピングされた術前モデルと、実時間の術中画像化データ２０７とのオンライン位置合わせが、生体力学的モデルを使用して、上述したアプローチと同様のアプローチにしたがって実施される。特に、変形されテクスチャマッピングされた術前モデルの表面は、第１のステップにおいて、術中モデルの３Ｄ深度およびテクスチャの両方の間のミスマッチを最小化することによって実時間の術中画像化データ２０７にアライメントされる。第２のステップでは、オフライン段階で計算された、変形されテクスチャリングされた解剖学的モデルを初期状態として使用し、かつモデル表面の新しい位置を境界条件として使用することによって、生体力学的モデルが解かれる。

別の実施形態では、実時間の術中画像化データ２０７上での特定の特徴またはランドマークの追跡に基づいて、変形されテクスチャマッピングされた術前モデルを漸増的に更新することによって、非剛体位置合わせが実施される。例えば特定の画像パッチを、実時間の術中画像化データ２０７上で経時的に追跡することができる。追跡は、輝度特徴および深度マップの両方を考慮に入れる。１つの例では、追跡を、既知の方法を使用して実施することができる。追跡情報に基づいて、実時間の術中画像化データ２０７の漸増的なカメラ姿勢が推定される。パッチの位置の漸増的な変化は、境界条件として使用され、以前のフレームからモデルが変形されて、これが現在のフレームにマッピングされる。

有利には、実時間の術中画像化データ２０７と、変形された術前モデル２１４との位置合わせは、プローブ２０８のフリーハンドのナビゲーション、またはロボット制御されたナビゲーションの改善を可能にする。さらに、ワークステーション２０２は、変形された術前モデルを用いて、実時間の術中画像化データ２０７の実時間のフレーム毎の更新を提供する。ワークステーション２０２は、手術中に、ディスプレイ２２０を使用して、変形された術前モデルを表示することができる。１つの実施形態では、ディスプレイ２２０は標的組織および重要組織を、混合モードにおいて実時間の術中画像化データ２０７にオーバーレイされた状態で表示する。別の実施形態では、ディスプレイ２２０は、標的組織および重要組織をサイドバイサイドで表示することができる。

図４は、１つまたは複数の実施形態による、ワークステーションにおける腹腔鏡外科処置を誘導するための方法４００を示す。ステップ４０２において、初期状態（例えば弛緩状態または非変形状態）における解剖学的関心対象の術前モデルが受信される。術前モデルは、任意のモダリティの画像取得装置から生成することができる。例えば術前モデルは、ＣＴまたはＭＲＩからの術前画像化データから生成することができる。

ステップ４０４において、変形状態における解剖学的関心対象の初期の術中画像化データが受信される。初期の術中画像化データは、解剖学的関心対象の完全な走査を提供するために処置の初期段階で取得することができる。初期の術中画像化データは、任意のモダリティの画像取得装置から生成することができる。例えば初期の術中画像化データは、実時間の２Ｄおよび３Ｄ深度マップを生成することができる立体腹腔鏡画像化装置からのデータとすることができる。変形状態における解剖学的関心対象は、腹腔内への送気に起因して、もしくは例えば患者の自然な内部運動や画像化装置または外科装置からの変位等のような他の任意の要因に起因して変形されたものとすることができる。

ステップ４０６において、初期の術中画像化データがステッチングされて、変形状態における解剖学的関心対象の術中モデルにされる。初期の術中画像化データからの個々に走査されたフレーム同士が相互にマッチングされ、検出された画像化ランドマークに基づいて、対応するフレーム同士が識別される。対応するフレーム同士の間の相対的な姿勢に関する仮定の集合が決定される。これらの仮定は、対応する画像測定値およびランドマークに基づいて、または利用可能な３Ｄ深度チャネルに基づいて推定することができる。仮定の集合は、変形状態における解剖学的関心対象の術中モデルを生成するために最適化される。

ステップ４０８において、変形状態における解剖学的関心対象の術中モデルは、初期状態における解剖学的関心対象の術前モデルに剛体位置合わせされる。剛体位置合わせは、術前モデルと術中モデルとの間において３つ以上の対応関係を識別することによって実施することができる。これらの対応関係は、手動で、または半自動で、または全自動で識別することができる。

ステップ４１０において、初期状態における解剖学的関心対象の術前モデルが、変形状態における解剖学的関心対象の術中モデルに基づいて変形される。１つの実施形態では、術前モデルと術中モデルとの間において密な対応関係が識別される。術前モデルと術中モデルとの間におけるミスアライメントを表現している偏差の最頻値が決定される。このミスアライメントは、局所的に一致した力の範囲に変換され、この一致した力の範囲が、変形を実施するために術前モデルに適用される。

１つの実施形態では、解剖学的関心対象の生体力学的モデルが、術前モデルに基づいて定義される。生体力学的モデルは、局所的に一致した力の範囲に一致する解剖学的関心対象の形状を計算する。生体力学的モデルは、非剛体位置合わせを実施するために強度類似性測定値と組み合わされる。生体力学的モデルパラメータは、生体力学的モデルが更新された術前モデルと術中モデルとの間の距離計量を最小化するために収束するまで反復的に更新される。

ステップ４１２において、変形状態における解剖学的関心対象の術中モデルからのテクスチャ情報が、変形された術前モデルにマッピングされて、解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルが生成される。マッピングは、変形された術前モデルをグラフ構造として表現することによって実施することができる。変形された術前モデル上の可視の三角面は、グラフのノードに対応しており、隣り合う面（例えば２つの共通の頂点を共有する）は、エッジによって接続されている。ノードはラベリングされ、テクスチャ情報はラベリングに基づいてマッピングされる。

ステップ４１４において、実時間の術中画像化データが受信される。実時間の術中画像化データは、処置中に取得することができる。

ステップ４１６において、解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルが、実時間の術中画像化データに非剛体位置合わせされる。１つの実施形態では、まず第１に、３Ｄ深度およびテクスチャの両方におけるミスマッチを最小化することにより、変形されテクスチャマッピングされた術前モデルを実時間の術中画像化データにアライメントすることによって、非剛体位置合わせを実施することができる。第２のステップにおいて、変形されテクスチャリングされた術前モデルを初期状態として使用し、当該モデルの表面の新しい位置を境界条件として使用して、生体力学的モデルが解かれる。別の実施形態では、実時間の術中画像化データの特徴の位置を経時的に追跡し、さらには変形されテクスチャマッピングされた術前モデルを、追跡された特徴の位置に基づいて変形することによって、非剛体位置合わせを実施することができる。

ステップ４１８において、実時間の術中画像化データの表示が、変形されテクスチャマッピングされた術前モデルによって増補される。例えば、変形されテクスチャマッピングされた術前モデルを、実時間の術中画像化データ上にオーバーレイされた状態で表示すること、またはサイドバイサイド配置で表示することができる。

本明細書に記載されたシステム、装置、および方法は、デジタル回路を使用して実装することができるか、もしくは周知のコンピュータプロセッサ、メモリユニット、記憶装置、コンピュータソフトウェア、および他のコンポーネントを使用する１つまたは複数のコンピュータを使用して実装することができる。典型的には、コンピュータは、命令を実行するためのプロセッサと、命令およびデータを記憶するための１つまたは複数のメモリとを含む。コンピュータは、１つまたは複数の磁気ディスク、内蔵ハードディスク、リムーバブルディスク、光磁気ディスク、光ディスク等のような１つまたは複数の大容量記憶装置を含むこともできるか、またはこれらに結合させることもできる。

本明細書に記載されたシステム、装置、および方法は、クライアント−サーバ関係で動作するコンピュータを使用して実装することができる。典型的に、このようなシステムではクライアントコンピュータは、サーバコンピュータから遠く離れて位置し、ネットワークを介して相互作用する。クライアント−サーバ関係は、それぞれのクライアントコンピュータおよびサーバコンピュータ上で動作するコンピュータプログラムによって定義および制御することができる。

本明細書に記載されたシステム、装置、および方法は、ネットワークに基づいたクラウドコンピューティングシステムの内部に実装することができる。このようにネットワークに基づいたクラウドコンピューティングシステムでは、ネットワークに接続されたサーバまたは別のプロセッサが、ネットワークを介して１つまたは複数のクライアントコンピュータと通信する。クライアントコンピュータは、例えばクライアントコンピュータ上で常駐および動作するネットワークブラウザアプリケーションを介してサーバと通信することができる。クライアントコンピュータは、サーバ上にデータを格納し、ネットワークを介してデータにアクセスすることができる。クライアントコンピュータは、データ要求またはオンラインサービス要求を、ネットワークを介してサーバに送信することができる。サーバは、要求されたサービスを実行し、（１つまたは複数の）クライアントコンピュータにデータを提供することができる。サーバは、例えばクライアントコンピュータに計算を実行させたり、指定されたデータをクライアントコンピュータに画面上に表示させたりといったように、指定された機能をクライアントコンピュータに実行させるように適合されたデータを送信することもできる。例えばサーバは、図４の１つまたは複数のステップを含む、本明細書に記載された１つまたは複数の方法ステップをクライアントコンピュータに実行させるように適合された要求を送信することができる。図４の１つまたは複数のステップを含む、本明細書に記載された方法の特定のステップは、ネットワークに基づいたクラウドコンピューティングシステムにおけるサーバまたは別のプロセッサによって実行することができる。図４の１つまたは複数のステップを含む、本明細書に記載された方法の特定のステップは、ネットワークに基づいたクラウドコンピューティングシステムにおけるクライアントコンピュータによって実行することができる。図４の１つまたは複数のステップを含む、本明細書に記載された方法のステップは、ネットワークに基づいたクラウドコンピューティングシステムにおけるサーバおよび／またはクライアントコンピュータによって任意の組み合わせで実行することができる。

本明細書に記載されたシステム、装置、および方法は、プログラミング可能なプロセッサによって実行するために、例えば非一時的機械可読記憶装置などの情報担体に有形に実現されたコンピュータプログラム製品を使用して実装することができ、図４の１つまたは複数のステップを含む、本明細書に記載された方法ステップは、そのようなプロセッサによって実行可能な１つまたは複数のコンピュータプログラムを使用して実装することができる。コンピュータプログラムは、特定の行動を実行するため、または特定の結果をもたらすための、コンピュータにおいて直接的または間接的に使用することができるコンピュータプログラム命令の集合である。コンピュータプログラムは、コンパイル言語またはインタプリタ言語を含む任意の形式のプログラミング言語で記述することができ、コンピュータプログラムは、スタンドアロンプログラムとしての形態、もしくはモジュール、コンポーネント、サブルーチン、またはコンピューティング環境での使用に適した他のユニットとしての形態を含む任意の形態でデプロイすることができる。

本明細書に記載されたシステム、装置、および方法を実装するために使用することができる例示的なコンピュータの概要的なブロック図５００が、図５に図示されている。コンピュータ５０２は、データ記憶装置５１２およびメモリ５１０に動作可能に結合されたプロセッサ５０４を含む。プロセッサ５０４は、コンピュータ５０２の全体的なオペレーションを制御し、この制御は、そのようなオペレーションを定義するコンピュータプログラム命令を実行することによって実施される。コンピュータプログラム命令を、記憶装置５１２または他のコンピュータ可読媒体に記憶させておくことができ、コンピュータプログラム命令の実行が望まれたときにメモリ５１０にロードすることができる。したがって、図４の方法ステップは、メモリ５１０および／またはデータ記憶装置５１２に記憶されたコンピュータプログラム命令によって定義することができ、コンピュータプログラム命令を実行するプロセッサ５０４によって制御することができる。例えば、コンピュータプログラム命令は、図４の方法ステップおよび図１および図２のワークステーション１０２および２０２をそれぞれ実行するように当業者によってプログラミングされたコンピュータ実行可能コードとして実装することができる。したがって、コンピュータプログラム命令を実行することによって、プロセッサ５０４は、図４の方法ステップおよび図１および図２のワークステーション１０２および２０２をそれぞれ実行する。コンピュータ５０２は、ネットワークを介して他の装置と通信するための１つまたは複数のネットワークインターフェース５０６を含むこともできる。コンピュータ５０２は、コンピュータ５０２とのユーザインタラクションを可能にする１つまたは複数の入力／出力装置５０８（例えばディスプレイ、キーボード、マウス、スピーカ、ボタン等）を含むこともできる。

プロセッサ５０４は、汎用マイクロプロセッサおよび専用マイクロプロセッサの両方を含むことができ、コンピュータ５０２の唯一のプロセッサとすることができるか、または複数のプロセッサのうちの１つとすることができる。プロセッサ５０４は、例えば１つまたは複数の中央処理ユニット（ＣＰＵ）を含むことができる。プロセッサ５０４、データ記憶装置５１２、および／またはメモリ５１０は、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）および／または１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むことができるか、またはこれらによって補完することができるか、またはこれらに組み込むことができる。

データ記憶装置５１２およびメモリ５１０はそれぞれ、有形の非一時的コンピュータ可読記憶媒体を含む。データ記憶装置５１２およびメモリ５１０はそれぞれ、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダブルデータレート同期ダイナミックランダムアクセスメモリ（ＤＤＲ ＲＡＭ）、または他のランダムアクセスソリッドステートメモリ装置のような、高速ランダムアクセスメモリを含むことができる。データ記憶装置５１２およびメモリ５１０は、内蔵ハードディスクおよびリムーバブルディスクのような１つまたは複数の磁気ディスク記憶装置、光磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリ装置、もしくは消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク読み出し専用メモリ（ＤＶＤ−ＲＯＭ）ディスクのような半導体メモリ装置、もしくは他の不揮発性のソリッドステート記憶装置のような、不揮発性メモリを含むことができる。

入力／出力装置５０８は、プリンタ、スキャナ、ディスプレイスクリーン等のような周辺機器を含むことができる。例えば、入力／出力装置５０８は、ユーザに情報を表示するための陰極線管（ＣＲＴ）モニタまたは液晶ディスプレイ（ＬＣＤ）モニタのようなディスプレイ装置と、キーボードと、ユーザによるコンピュータ５０２への入力の提供を可能にするマウスまたはトラックボールのようなポインティング装置とを含むことができる。

それぞれ図１および図２のワークステーション１０２および２０２の各要素を含む、本明細書に記載された任意のまたは全てのシステムおよび装置は、コンピュータ５０２のような１つまたは複数のコンピュータを使用して実装することができる。

当業者であれば、実際のコンピュータまたはコンピュータシステムの実装が他の構造を含み得ること、また同様にして他のコンポーネントを含み得ること、さらには図５が、そのようなコンピュータのコンポーネントのいくつかを例示目的で概要的に表したものであることを認識するであろう。

ここで理解されたいのは、これまで述べてきた詳細な説明は、あらゆる点で例示的なものであり具体例であって、何ら限定的なものではないことであり、本明細書で開示した本発明の範囲は、詳細な説明に基づき決定されるべきものではなく、特許法によって認められる範囲全体にしたがって解釈される各請求項に基づき決定されるべきものである。さらに理解されたいのは、本明細書で示し説明した実施形態は、本発明の原理を例示したものにすぎないこと、当業者であれば本発明の範囲および着想を逸脱することなく様々な変更を実現できることである。当業者であるならば、本発明の範囲および着想を逸脱することなく、さらに別の様々な特徴の組み合わせを実現できるであろう。

Claims (34)

1. モデルを増補するための方法において、
   変形状態における解剖学的関心対象の術中画像化データを受信することと、
   前記術中画像化データをステッチングして、前記変形状態における前記解剖学的関心対象の術中モデルにすることと、
   前記変形状態における前記解剖学的関心対象の前記術中モデルを、初期状態における前記解剖学的関心対象の術前モデルに位置合わせし、このとき当該位置合わせを、前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形することによって実施することと、
   前記変形状態における前記解剖学的関心対象の前記術中モデルからのテクスチャ情報を、変形された前記術前モデルにマッピングして、前記解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルを生成することと、
   を含む、方法。
2. 前記術中画像化データをステッチングして、前記変形状態における前記解剖学的関心対象の術中モデルにすることは、
   前記術中画像化データにおいて対応するフレーム同士を識別することと、
   前記対応するフレーム同士の間の相対的な姿勢に関する仮定を計算することと、
   前記仮定に基づいて前記術中モデルを生成することと、
   をさらに含む、請求項１記載の方法。
3. 前記対応するフレーム同士の間の相対的な姿勢に関する仮定を計算することは、
   対応する画像測定値およびランドマークと、
   ３次元深度チャネルと、
   のうちの少なくとも一方に基づく、
   請求項２記載の方法。
4. 前記変形状態における前記解剖学的関心対象の前記術中モデルを、初期状態における前記解剖学的関心対象の術前モデルに位置合わせすることは、
   前記変形状態における前記解剖学的関心対象の前記術中モデルを、前記初期状態における前記解剖学的関心対象の前記術前モデルに剛体位置合わせし、このとき当該剛体位置合わせを、前記変形状態における前記解剖学的関心対象の前記術中モデルと、前記初期状態における前記解剖学的関心対象の前記術前モデルとの間において少なくとも３つの対応関係を識別することによって実施すること
   をさらに含む、請求項１記載の方法。
5. 前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形することは、
   前記初期状態における前記解剖学的関心対象の前記術前モデルと、前記変形状態における前記解剖学的関心対象の前記術中モデルとの間において密な対応関係を識別することと、
   識別された前記密な対応関係において、前記初期状態における前記解剖学的関心対象の前記術前モデルと、前記変形状態における前記解剖学的関心対象の前記術中モデルとの間におけるミスアライメントを決定することと、
   前記ミスアライメントを、一致した力の範囲に変換することと、
   前記一致した力の範囲を、前記初期状態における前記解剖学的関心対象の前記術前モデルに適用することと、
   をさらに含む、請求項１記載の方法。
6. 前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形することは、
   前記解剖学的関心対象の前記術前モデルを、前記一致した力の範囲に基づいて、前記解剖学的関心対象の前記生体力学的モデルにしたがって変形することと、
   前記変形された術前モデルと、前記術中モデルとの間の距離計量を最小化することと、
   をさらに含む、請求項５記載の方法。
7. 前記変形状態における前記解剖学的関心対象の前記術中モデルからのテクスチャ情報を、変形された前記術前モデルにマッピングして、前記解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルを生成することは、
   前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルをグラフとして表現することであって、前記グラフは、当該グラフのノードに対応している前記術中モデル上の可視の三角面と、当該グラフ内でエッジによって接続された隣り合う面とを有する、ことと、
   １つまたは複数の可視性テストに基づいてノードをラベリングすることと、
   前記テクスチャ情報を前記ラベリングに基づいてマッピングすることと、
   をさらに含む、請求項１記載の方法。
8. 前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルを、前記解剖学的関心対象の実時間の術中画像化データに非剛体位置合わせすること
   をさらに含む、請求項１記載の方法。
9. 前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルを、前記解剖学的関心対象の実時間の術中画像化データに非剛体位置合わせすることは、
   深度およびテクスチャにおけるミスマッチを最小化することによって、前記変形されテクスチャマッピングされた術前モデルと前記実時間の術中画像化データとをアライメントすることと、
   前記変形されテクスチャマッピングされた術前モデルを初期状態として使用し、かつ前記変形されテクスチャマッピングされた術前モデルの表面の新しい位置を境界条件として使用することによって、前記解剖学的関心対象の前記生体力学的モデルを解くことと、
   をさらに含む、請求項８記載の方法。
10. 前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルを、前記解剖学的関心対象の実時間の術中画像化データに非剛体位置合わせすることは、
    前記実時間の術中画像化データの特徴の位置を経時的に追跡することと、
    前記変形されテクスチャマッピングされた術前モデルを、追跡された前記特徴の位置に基づいて変形することと、
    をさらに含む、請求項８記載の方法。
11. 前記変形されテクスチャマッピングされた術前モデルによって、前記実時間の術中画像化データの表示を増補すること
    をさらに含む、請求項８記載の方法。
12. 前記変形されテクスチャマッピングされた術前モデルによって、前記実時間の術中画像化データの表示を増補することは、
    前記変形されテクスチャマッピングされた術前モデルを、前記実時間の術中画像化データ上にオーバーレイされた状態で表示することと、
    前記変形されテクスチャマッピングされた術前モデルと前記実時間の術中画像化データとを、サイドバイサイドで表示することと、
    のうちの少なくとも一方を含む、請求項１１記載の方法。
13. モデルを増補するための装置において、
    変形状態における解剖学的関心対象の術中画像化データを受信する手段と、
    前記術中画像化データをステッチングして、前記変形状態における解剖学的関心対象の術中モデルにする手段と、
    前記変形状態における前記解剖学的関心対象の前記術中モデルを、初期状態における前記解剖学的関心対象の術前モデルに位置合わせする手段であって、このとき当該位置合わせを、前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形することによって実施する、手段と、
    前記変形状態における前記解剖学的関心対象の前記術中モデルからのテクスチャ情報を、変形された前記術前モデルにマッピングして、前記解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルを生成する手段と、
    を含む、装置。
14. 前記術中画像化データをステッチングして、前記変形状態における前記解剖学的関心対象の術中モデルにする前記手段は、
    前記術中画像化データにおいて対応するフレーム同士を識別する手段と、
    前記対応するフレーム同士の間の相対的な姿勢に関する仮定を計算する手段と、
    前記仮定に基づいて前記術中モデルを生成する手段と、
    をさらに含む、請求項１３記載の装置。
15. 前記対応するフレーム同士の間の相対的な姿勢に関する仮定を計算する前記手段は、
    対応する画像測定値およびランドマークと、
    ３次元深度チャネルと、
    のうちの少なくとも一方に基づく、
    請求項１４記載の装置。
16. 前記変形状態における前記解剖学的関心対象の前記術中モデルを、初期状態における前記解剖学的関心対象の術前モデルに位置合わせする前記手段は、
    前記変形状態における前記解剖学的関心対象の前記術中モデルを、前記初期状態における前記解剖学的関心対象の前記術前モデルに剛体位置合わせする手段であって、このとき当該剛体位置合わせを、前記変形状態における前記解剖学的関心対象の前記術中モデルと、前記初期状態における前記解剖学的関心対象の前記術前モデルとの間において少なくとも３つの対応関係を識別することによって実施する、手段
    をさらに含む、請求項１３記載の装置。
17. 前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形する前記手段は、
    前記初期状態における前記解剖学的関心対象の前記術前モデルと、前記変形状態における前記解剖学的関心対象の前記術中モデルとの間において密な対応関係を識別する手段と、
    識別された前記密な対応関係において、前記初期状態における前記解剖学的関心対象の前記術前モデルと、前記変形状態における前記解剖学的関心対象の前記術中モデルとの間におけるミスアライメントを決定する手段と、
    前記ミスアライメントを、一致した力の範囲に変換する手段と、
    前記一致した力の範囲を、前記初期状態における前記解剖学的関心対象の前記術前モデルに適用する手段と、
    をさらに含む、請求項１３記載の装置。
18. 前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形する前記手段は、
    前記解剖学的関心対象の前記術前モデルを、前記一致した力の範囲に基づいて、前記解剖学的関心対象の前記生体力学的モデルにしたがって変形する手段と、
    前記変形された術前モデルと、前記術中モデルとの間の距離計量を最小化する手段と、
    をさらに含む、請求項１７記載の装置。
19. 前記変形状態における前記解剖学的関心対象の前記術中モデルからのテクスチャ情報を、変形された前記術前モデルにマッピングして、前記解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルを生成する前記手段は、
    前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルをグラフとして表現する手段であって、前記グラフは、当該グラフのノードに対応している前記術中モデル上の可視の三角面と、当該グラフ内でエッジによって接続された隣り合う面とを有する、手段と、
    １つまたは複数の可視性テストに基づいてノードをラベリングする手段と、
    前記テクスチャ情報を前記ラベリングに基づいてマッピングする手段と、
    をさらに含む、請求項１３記載の装置。
20. 前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルを、前記解剖学的関心対象の実時間の術中画像化データに非剛体位置合わせする手段
    をさらに含む、請求項１３記載の装置。
21. 前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルを、前記変形状態における前記解剖学的関心対象の術中画像化データに非剛体位置合わせする前記手段は、
    深度およびテクスチャにおけるミスマッチを最小化することによって、前記変形されテクスチャマッピングされた術前モデルと前記術中画像化データとをアライメントする手段と、
    前記変形されテクスチャマッピングされた術前モデルを初期状態として使用し、かつ前記変形されテクスチャマッピングされた術前モデルの表面の新しい位置を境界条件として使用することによって、前記解剖学的関心対象の前記生体力学的モデルを解く手段と、
    をさらに含む、請求項２０記載の装置。
22. 前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルを、前記変形状態における前記解剖学的関心対象の術中画像化データに非剛体位置合わせする前記手段は、
    前記実時間の術中画像化データの特徴の位置を経時的に追跡する手段と、
    前記変形されテクスチャマッピングされた術前モデルを、追跡された前記特徴の位置に基づいて変形する手段と、
    をさらに含む、請求項２０記載の装置。
23. 前記変形されテクスチャマッピングされた術前モデルによって、前記実時間の術中画像化データの表示を増補する手段
    をさらに含む、請求項２０記載の装置。
24. 前記変形されテクスチャマッピングされた術前モデルによって、前記実時間の術中画像化データの表示を増補する前記手段は、
    前記変形されテクスチャマッピングされた術前モデルを、前記実時間の術中画像化データ上にオーバーレイされた状態で表示する手段と、
    前記変形されテクスチャマッピングされた術前モデルと前記実時間の術中画像化データとを、サイドバイサイドで表示する手段と、
    のうちの少なくとも一方を含む、請求項２３記載の装置。
25. モデルを増補するためのコンピュータプログラム命令を記憶する非一時的コンピュータ可読媒体であって、前記コンピュータプログラム命令は、プロセッサによって実行された場合に、
    変形状態における解剖学的関心対象の術中画像化データを受信することと、
    前記術中画像化データをステッチングして、前記変形状態における前記解剖学的関心対象の術中モデルにすることと、
    前記変形状態における前記解剖学的関心対象の前記術中モデルを、初期状態における前記解剖学的関心対象の術前モデルに位置合わせし、このとき当該位置合わせを、前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形することによって実施することと、
    前記変形状態における前記解剖学的関心対象の前記術中モデルからのテクスチャ情報を、変形された前記術前モデルにマッピングして、前記解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルを生成することと、
    を含むオペレーションを、プロセッサに実行させる、
    非一時的コンピュータ可読媒体。
26. 前記術中画像化データをステッチングして、前記変形状態における前記解剖学的関心対象の術中モデルにすることは、
    前記術中画像化データにおいて対応するフレーム同士を識別することと、
    前記対応するフレーム同士の間の相対的な姿勢に関する仮定を計算することと、
    前記仮定に基づいて前記術中モデルを生成することと、
    をさらに含む、請求項２５記載の非一時的コンピュータ可読媒体。
27. 前記変形状態における前記解剖学的関心対象の前記術中モデルを、初期状態における前記解剖学的関心対象の術前モデルに位置合わせすることは、
    前記変形状態における前記解剖学的関心対象の前記術中モデルを、前記初期状態における前記解剖学的関心対象の前記術前モデルに剛体位置合わせし、このとき当該剛体位置合わせを、前記変形状態における前記解剖学的関心対象の前記術中モデルと、前記初期状態における前記解剖学的関心対象の前記術前モデルとの間において少なくとも３つの対応関係を識別することによって実施すること
    をさらに含む、請求項２５記載の非一時的コンピュータ可読媒体。
28. 前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形することは、
    前記初期状態における前記解剖学的関心対象の前記術前モデルと、前記変形状態における前記解剖学的関心対象の前記術中モデルとの間において密な対応関係を識別することと、
    識別された前記密な対応関係において、前記初期状態における前記解剖学的関心対象の前記術前モデルと、前記変形状態における前記解剖学的関心対象の前記術中モデルとの間におけるミスアライメントを決定することと、
    前記ミスアライメントを、一致した力の範囲に変換することと、
    前記一致した力の範囲を、前記初期状態における前記解剖学的関心対象の前記術前モデルに適用することと、
    をさらに含む、請求項２５記載の非一時的コンピュータ可読媒体。
29. 前記初期状態における前記解剖学的関心対象の前記術前モデルを生体力学的モデルに基づいて変形することは、
    前記解剖学的関心対象の前記術前モデルを、前記一致した力の範囲に基づいて、前記解剖学的関心対象の前記生体力学的モデルにしたがって変形することと、
    前記変形された術前モデルと、前記術中モデルとの間の距離計量を最小化することと、
    をさらに含む、請求項２８記載の非一時的コンピュータ可読媒体。
30. 前記変形状態における前記解剖学的関心対象の前記術中モデルからのテクスチャ情報を、変形された前記術前モデルにマッピングして、前記解剖学的関心対象の、変形されテクスチャマッピングされた術前モデルを生成することは、
    前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルをグラフとして表現することであって、前記グラフは、当該グラフのノードに対応している前記術中モデル上の可視の三角面と、当該グラフ内でエッジによって接続された隣り合う面とを有する、ことと、
    １つまたは複数の可視性テストに基づいてノードをラベリングすることと、
    前記テクスチャ情報を前記ラベリングに基づいてマッピングすることと、
    をさらに含む、請求項２５記載の非一時的コンピュータ可読媒体。
31. 前記オペレーションは、
    前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルを、前記解剖学的関心対象の実時間の術中画像化データに非剛体位置合わせすること
    をさらに含む、請求項２５記載の非一時的コンピュータ可読媒体。
32. 前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルを、前記解剖学的関心対象の実時間の術中画像化データに非剛体位置合わせすることは、
    深度およびテクスチャにおけるミスマッチを最小化することによって、前記変形されテクスチャマッピングされた術前モデルと前記実時間の術中画像化データとをアライメントすることと、
    前記変形されテクスチャマッピングされた術前モデルを初期状態として使用し、かつ前記変形されテクスチャマッピングされた術前モデルの表面の新しい位置を境界条件として使用することによって、前記解剖学的関心対象の前記生体力学的モデルを解くことと、
    をさらに含む、請求項３１記載の非一時的コンピュータ可読媒体。
33. 前記解剖学的関心対象の、前記変形されテクスチャマッピングされた術前モデルを、前記解剖学的関心対象の実時間の術中画像化データに非剛体位置合わせすることは、
    前記実時間の術中画像化データの特徴の位置を経時的に追跡することと、
    前記変形されテクスチャマッピングされた術前モデルを、追跡された前記特徴の位置に基づいて変形することと、
    をさらに含む、請求項３１記載の非一時的コンピュータ可読媒体。
34. 前記オペレーションは、
    前記変形されテクスチャマッピングされた術前モデルによって、前記実時間の術中画像化データの表示を増補すること
    をさらに含む、請求項３１記載の非一時的コンピュータ可読媒体。

Images