JP2022523445A - 動的な介入的３次元モデル変形 - Google Patents

Abstract

介入手術における誘導を支援するコントローラは、命令を格納するメモリ、及び命令を実行するプロセッサ３１０を備えている。命令は、プロセッサ３１０によって実行されると、コントローラに、介入手術の前に、介入手術の対象者の多数の分岐を有する経路をセグメント化することに基づいて生成される、３次元モデルを取得するステップ（Ｓ４１０）を有する、プロセスを実施させる。このプロセスは、介入手術中に、追跡対象デバイス２５０の現在の位置が３次元モデルの経路の外側にあるかどうかを決定するステップ（Ｓ４７０）も有する。追跡対象デバイス２５０の現在の位置が３次元モデルの経路の外側にある場合、このプロセスは、３次元モデルを、追跡対象デバイス２５０の現在の位置に合わせて変形させるステップ（Ｓ４８０）を有する。

Description

[001] 光形状検知（ＯＳＳ）は、光ファイバに沿った光を使用して光ファイバの形状を決定するために使用され得る。光ファイバは、介入的医療デバイスの形状を決定するために、介入的医療デバイスの中又は介入的医療デバイスに接して備えられ得る。光ファイバの形状の情報は、外科的介入中に介入的医療デバイスの位置を推定して誘導するために使用され得る。光形状検知は、異なる状況下では反射光の波長が異なるという原則に基づいている。したがって、光ファイバの分布ひずみの測定値を使用し、特徴的なレイリー後方散乱又は被制御格子パターンを使用して、光ファイバの形状を決定することができる。

[002] 介入的医療デバイスの例には、ガイドワイヤ、カテーテル、シース、及び気管支鏡が含まれ、光形状検知を使用して、最小侵襲性手術中にかかる介入的医療デバイスを案内するため、実際の位置及び方向を提示することができる。

[003] 介入的デバイスと共に光形状検知を使用する一例は、光ファイバをガイドワイヤに埋め込み、介入的デバイスの本体内のチャネルを通してガイドワイヤを誘導することである。図１Ａは、ガイドワイヤ１０２に埋め込まれた光ファイバ１０１の仮想的な画像を示している。次いで、ガイドワイヤ１０２及びガイドワイヤ１０２が挿入又は装着されている介入的形状検知デバイス（たとえば、気管支鏡）の解剖学的状況を提示するために、ガイドワイヤ１０２の３次元位置を、Ｘ線又はコンピュータ断層撮影（ＣＴ）などの解剖学的画像化モダリティに位置合わせすることができる。

[004] 上記とは別に、気管支鏡が気道に沿って案内される気管支内手法を使用して、肺の病変を生検することができる。気管支鏡の端部にあるカメラが気道の映像を提示し、気管支鏡の作業チャネルを通して挿入される小さなツールを使用して、気道の異常な部分を生検することができる。肺の生検手法は、以下を含む課題に直面している。
〇気管支鏡は、大きな上気道にしか適合できない。
〇多くの病変が、大小を問わず、どの気道にも結合されておらず、また他の多くの病変が、介入的ツールが到達できない小さな気道内にしかないか、又は小さな気道にしか結合されていない。
〇呼吸性体動及び心運動により、肺に大きな変形が生じる。
気管支鏡が上気道にしか適合できないので、気管支内手法は、上気道内又は上気道に結合されている病変に限定されている。それ以外は、視覚化が失われ、その結果介入的医療デバイスは、気道の内外を盲目的に誘導され、無作為に組織サンプルを採取することになる。さらに、病変が気道に結合されていない場合、経気管支的生検を実行するために、介入的医療デバイスが、気道の壁に穴を開け、肺実質を通って気道の外側へ移動する必要がある。経気管支的生検は、病変に最も近い気道が、ツールを誘導するには小さすぎる場合にも実行される。

[005] こうした気管支内の課題に対処し、医師により適切な誘導を提供するために、いくつかの方法が進化してきた。こうした方法のいくつかでは、気道及び病変の３次元モデルを作り出すために、肺の術前の３次元画像が取得され、アルゴリズムを使って処理される。次いで、医師は、Ｘ線及び／又は気管支鏡の有無にかかわらず、この３次元モデルを使用して誘導することができる。ただし、３次元モデルは、術前に画像化する時の気道の外観に限定される。画像化に加えて、一部の誘導方法では、介入的デバイスの特定の場所の３次元位置を追跡する、電磁誘導のような追跡技術も使用する。ただし、光形状検知以外のほとんどの追跡技法は、介入的医療デバイスの先端の位置を探し出すことに依存しており、これは呼吸性体動及び心運動に起因する課題がある。

[006] 上記で説明されている肺生検の課題に加えて、肺腫瘍手術では、実行されている肺腫瘍手術の種類にかかわらず、３つの主要な課題に直面する。腫瘍の場所は、最初に、肺が膨張した状態で実行される術前のコンピュータ断層撮影（ＣＴ）走査に基づいて決定される。手術中に肺がしぼむため、肺の３次元の向き、及び腫瘍の場所が、計画するのに使用される術前の画像と一致しない。図１Ｂは、肺の膨張した図と肺のしぼんだ図との比較を示している。これは、肺が通常、外科手術の間ずっと動き、再び位置に戻るという事実によってさらに複雑になる。この動きにより、外科医は、肺の表面及び葉の向きに対する腫瘍の場所を追跡できなくなる可能性がある。第２に、肺は非常に複雑で、多くの血管と気道があり、腫瘍及びどんな供給気道（ｆｅｅｄｉｎｇ ａｉｒｗａｙ）又は栄養血管も切除される前に、注意深く解剖して対処する必要がある。第３に、特にビデオ補助下胸腔鏡手術（ＶＡＴＳ）又はロボット手術では、肺の中の小さな触知できない腫瘍の位置を探し出すのは非常に困難である。

[007] 図１Ｃは、腫瘍に到達するための計画された進路を含む、気道及び腫瘍の３次元モデルを示している。図１Ｃはまた、気道及び腫瘍のリアルタイムＸ線透視画像上に、介入手術のための計画された進路の重ね合わせも示している。気管からの計画された進路１０３は、上から細線で示されている。気管支鏡の現在の位置１０６は、Ｘ線透視画像の、計画された進路１０３の右側にも見られる。腫瘍の位置１０４は、計画された進路１０３の終わりに示されている。しかし、図１Ｃの３次元モデルは静的である。したがって、３次元モデルを調整するやり方は提供されていない。

[008] 本明細書で説明されているように、動的な介入的３次元モデル変形を使用して、介入的医療デバイスの位置特定及び誘導を向上させることができる。
[009] 本開示の代表的な実施形態によれば、介入手術における誘導を支援するコントローラは、命令を格納するメモリ、及び命令を実行するプロセッサを備えている。命令は、プロセッサによって実行されると、コントローラにプロセスを実施させる。このプロセスは、介入手術の前に、介入手術の対象者の多数の分岐を有する経路をセグメント化することに基づいて生成される、３次元モデルを取得するステップを有する。このプロセスは、介入手術中に、追跡対象デバイスの現在の位置が３次元モデルの経路の外側にあるかどうかを決定するステップも有する。追跡対象デバイスの現在の位置が３次元モデルの経路の外側にある場合、このプロセスは、３次元モデルを、追跡対象デバイスの現在の位置に合わせて変形させるステップを有する。

[010] 本開示の別の代表的な実施形態によれば、介入手術における誘導を支援する方法は、介入手術の前に、介入手術の対象者の多数の分岐を有する経路をセグメント化することに基づいて生成される、３次元モデルを取得するステップを有する。この方法は、介入手術中に、プロセッサを使って命令を実行するコントローラによって、追跡対象デバイスの現在の位置が３次元モデルの経路の外側にあるかどうかを決定するステップも有する。追跡対象デバイスの現在の位置が３次元モデルの経路の外側にある場合、この方法は、３次元モデルを、追跡対象デバイスの現在の位置に合わせて変形させるステップも有する。

[011] さらに別の代表的な実施形態によれば、介入手術において誘導を支援するシステムは、画像化装置及びコンピュータを備える。画像化装置は、介入手術の対象者の多数の分岐を有する経路をセグメント化することに基づいて、介入手術の前に３次元モデルを生成する際に使用されるべき、介入手術の対象者のコンピュータ断層撮影画像を、介入手術の前に生成する。コンピュータは、命令を格納するメモリ、及び命令を実行するプロセッサを備えている。命令は、プロセッサによって実行されると、システムに、介入手術の前に生成される、３次元モデルを取得するステップを有するプロセスを実行させる。プロセスが命令を実行するときに実行されるプロセスは、追跡対象デバイスの現在の位置が３次元モデルの経路の外側にあるかどうかを決定するステップも有する。追跡対象デバイスの現在の位置が３次元モデルの経路の外側にある場合、このプロセスは、３次元モデルを、追跡対象デバイスの現在の位置に合わせて変形させるステップを有する。

[012] 例示的な実施形態は、添付図面の図と併せて読まれるとき、以下の詳細な説明によって最もよく理解される。様々な機能は、必ずしも原寸に比例して描かれているわけではないことを強調しておく。実際、議論を明確にするために、寸法は任意に拡大又は縮小されている。適用可能且つ実用的である限り、同様の参照番号は同様の要素を指す。

[013] 気管支鏡の作業チャネルに挿入された光ファイバの仮想的な画像である。 [014] 肺の膨張した図と肺のしぼんだ図との比較を示す図である。 [015] 腫瘍に到達するための計画された進路を含む、気道及び腫瘍の３次元モデルを示し、さらに介入手術中の、気道内の介入的デバイスの位置を含む、リアルタイムでの解剖学的構造のＸ線透視画像の重ね合わせも示す図である。 [016] 代表的な実施形態による、動的な介入的３次元モデル変形のシステムを示す図である。 [017] 別の代表的な実施形態による、動的な介入的３次元モデル変形の方法を実施することができる、汎用のコンピュータシステムを示す図である。 [018] 代表的な実施形態による、動的な介入的３次元モデル変形の方法を示す図である。 [019] 代表的な実施形態による、動的な介入的３次元モデル変形が適用される前の、追跡対象デバイスと、複数の分岐を有する経路の３次元モデルとの比較図である。 [020] 代表的な実施形態による、光形状検知を使用した動的な介入的３次元モデル変形の進行を示す図である。 [021] 代表的な実施形態による、動的な介入的３次元モデル変形の別の方法を示す図である。 [022] 代表的な実施形態による、動的な介入的３次元モデル変形を使用して決定された、追跡対象デバイスの現在の位置からの気道の、仮想的な気管支鏡の図である。 [023] 代表的な実施形態による、動的な介入的３次元モデル変形の別の方法を示す図である。 [024] 代表的な実施形態による、動的な介入的３次元モデル変形の別の方法を示す図である。 [025] 代表的な実施形態による、動的な介入的３次元モデル変形の別の方法を示す図である。 [026] 代表的な実施形態による、動的な介入的３次元モデル変形の別の方法を示す図である。 [027] 代表的な実施形態による、動的な介入的３次元モデル変形の別の方法を示す図である。 [028] 代表的な実施形態による、動的な介入的３次元モデル変形を使用して決定された、追跡対象デバイスの現在の位置からの気道の、管腔内の図である。 [029] 代表的な実施形態による、動的な介入的３次元モデル変形の別の方法を示す図である。

[030] 以下の詳細な記述では、限定ではなく説明することを目的として、本教示による実施形態の完全な理解を提供するために、具体的な詳細を開示する代表的な実施形態が示されている。代表的な実施形態の記述を曖昧にすることを避けるために、よく知られたシステム、デバイス、材料、操作方法、及び製造方法の記述は省略されている。それにもかかわらず、当業者の範囲内にあるシステム、デバイス、材料、及び方法は、本教示の範囲内にあり、代表的な実施形態にしたがって使用される。本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、限定することを意図するものではないことを理解されたい。定義された用語は、本教示の技術分野において一般に理解され受け入れられている定義された用語の、技術的及び科学的意味に追加するものである。

[031] 第１、第２、第３などの用語が、本明細書では様々な要素又は構成要素を説明するために使用されているが、この要素又は構成要素は、こうした用語によって限定されるべきではないことが理解されよう。こうした用語は、ある要素又は構成要素を、別の要素又は構成要素と区別するためだけに使用されている。したがって、以下で論じられている第１の要素又は構成要素は、本発明の概念の教示から逸脱することなく、第２の要素又は構成要素と名付けられ得る。

[032] 本明細書で使用されている用語は、特定の実施形態を説明することのみを目的としており、限定することを意図するものではない。本明細書及び添付の特許請求の範囲で使用されている、単数形の用語は、コンテキストが明らかに規定していない限り、単数形及び複数形の両方を含むことを意図している。さらに、この明細書で使用されているときの用語「備える（現在形）」、「備える（現在進行形）」、及び／又は同様の用語は、述べられている特徴、要素、及び／又は構成要素の存在を特定するが、他の１つ又は複数の特徴、要素、構成要素、及び／又はそれらの群の、存在又は追加を排除するものではない。本明細書で使用されている用語「及び／又は」は、関連する列挙された項目のうちの１つ又は複数の、ありとあらゆる組合せを含んでいる。

[033] 別段の記載がない限り、要素又は構成要素が別の要素又は構成要素に「結合されている」、「結び付けられている」、又は「隣接している」と言われる場合、要素又は構成要素は、他の要素若しくは構成要素に直接結合されてもよく、又は介在する要素若しくは構成要素が存在してもよいことが理解されよう。すなわち、これらの用語及び同様の用語は、１つ又は複数の介在する要素又は構成要素が、２つの要素又は構成要素を結合するために使用される場合を包含している。ただし、要素又は構成要素が別の要素又は構成要素に「直接結合されている」と言われている場合、これは、２つの要素又は構成要素が、中間の又は介在するどんな要素又は構成要素もなしに、互いに結合される場合のみを包含する。

[034] 前述に鑑みて、本開示は、したがって、本開示の様々な態様、実施形態、及び／又は特定の特徴若しくは２次的構成要素のうちの１つ又は複数によって、以下に具体的に述べる１つ又は複数の利点を明らかにすることを意図している。限定ではなく説明することを目的として、本教示による実施形態の完全な理解を提供するために、具体的な詳細を開示する例示的な実施形態が示されている。ただし、本明細書に開示された具体的な詳細から逸脱する、本開示と一貫する他の実施形態は、依然として添付の特許請求の範囲内にある。さらに、例示的な実施形態の記述を不明瞭にしないように、よく知られた装置及び方法の記述は省略されている。かかる方法及び装置は、本開示の範囲内にある。

[035] 図２は、代表的な実施形態による、動的な介入的３次元モデル変形のシステムを示している。

[036] 図２のシステム２００は、第１の医療画像化システム２１０、コンピュータ２２０、ディスプレイ２２５、第２の医療画像化システム２４０、及び追跡対象デバイス２５０を備えている。図２のシステムは、肺などの臓器を修復、交換、又は調節するための、さもなければ対象者の身体に介入するための、医療介入用などの、動的な介入的３次元モデル変形に使用される。

[037] 第１の医療画像化システム２１０の例は、Ｘ線機械装置を備えるＸ線システムである。第１の医療画像化システム２１０は、本明細書で説明されている３次元モデル変形を必要とする医療介入の前に、コンピュータ断層撮影走査又はコーンベースのコンピュータ断層撮影走査を実行する。３次元モデルは、第１の医療画像化システム２１０による走査に基づいて、医療介入の前又は医療介入中に生成される。さらに、第１の医療画像化システム２１０による医療画像化は、医療介入の前に実行されるが、この医療画像化は、医療介入中にも実行される。

[038] 追跡対象デバイス２５０は、光形状検知又はセンサベースの電磁気のような他の任意の追跡技術を使用して、追跡される。追跡対象デバイス２５０は、位置情報をコンピュータ２２０に送信する。コンピュータ２２０は、第１の医療画像化システム２１０からの医療画像を処理して、３次元モデルを生成する。コンピュータ２２０はまた、追跡対象デバイス２５０からのデータを処理して、３次元モデルに対する変形及び調整を実行する。

[039] 第２の医療画像化システム２４０の例は、本明細書で説明されている３次元モデル変形を必要とする医療介入中に、超音波画像を取得するために使用される超音波装置である。第２の医療画像化システム２４０の別の例は、本明細書で説明されている３次元モデル変形を必要とする医療介入中に、Ｘ線透視画像を取得するために使用されるＸ線機械装置を備える、別のＸ線システムである。第２の医療画像化システム２４０は、通常なら追跡されない医療デバイスを追跡するために使用され、それにより医療デバイスは、追跡対象デバイス２５０になる。たとえば、一部の医療デバイスは、医療デバイス内又は医療デバイス上に配設される、光形状検知又は電磁追跡構成要素を備えていない。Ｘ線画像内でかかる医療デバイスの位置を探し出すか、又は超音波画像からの解剖学的情報を使用することにより、医療デバイスが追跡対象デバイス２５０になるように、通常なら追跡されない医療デバイスの位置情報が提供される。もちろん、医療デバイスは、医療デバイス内又は医療デバイス上に組み込まれた追跡技術（たとえば、光形状検知）と、さらに一方で、第２の医療画像化システム２４０の医療画像化モダリティを使って同時に追跡されることとの、両方を有する追跡デバイス２５０であってもよい。

[040] さらに、第１の医療画像化システム２１０が医療介入中に、Ｘ線透視画像化に使用されるＸ線システムであり、第２の医療画像化システム２４０が医療介入中に、超音波画像化に使用される超音波システムである場合などに、第１の医療画像化システム２１０及び第２の医療画像化システム２４０の両方が、医療介入中に存在し、使用されてもよい。別法として、第１の医療画像化システム２１０又は第２の医療画像化システム２４０のうちの一方だけが、医療介入中に存在し、使用される。たとえば、第１の医療画像化システム２１０は、特定の種類の医療介入中に使用され、一方、第２の医療画像化システム２４０は、Ｘ線又は超音波が追跡方法として使用される場合などに、単に追加の構成要素として使用される。

[041] 第１の医療画像化システム２１０は、本明細書で説明されている３次元モデルを生成するためのベースとして機能する、コンピュータ断層撮影画像を生成するために使用される。コンピュータ断層撮影画像は、３次元の解剖学的画像の一例である。第２の医療画像化システム２４０は、追跡対象デバイスを追跡するために使用される、画像化を実行するために使用される。追跡対象デバイスは、センサ、光形状検知要素、又は他の追跡要素がその上又はそれに接して設けられている、介入的医療デバイスを指す。図２では、追跡対象デバイスを追跡するために使用される画像化は、第２の医療画像化システム２４０だけを使用して、又は第２の医療画像化システム２４０と第１の医療画像化システム２１０との両方を使用して、リアルタイムに実行される。言い換えれば、第２の医療画像化システム２４０は、介入手術中に、第１の医療画像化システム２１０なしで、又は第１の医療画像化システム２１０と共に存在し、使用される。第２の医療画像化システム２４０は、画像化データをコンピュータ２２０に供給する。

[042] 図２では、コンピュータ２２０は、ディスプレイ２２５を備えている。ディスプレイは、医療介入中に、第２の医療画像化システム２４０によって実行された画像化に基づいて取得される映像と共に、第１の医療画像化システム２１０によって実行された画像化に基づく３次元モデルを表示するために使用される。医療介入中に取得される映像は、たとえば、医療介入中に収縮する、膨張した肺の映像である。本明細書で「ディスプレイ」という用語が使用されるとき、この用語は、「ディスプレイデバイス」又は「ディスプレイユニット」などの機能の部類を含むと解釈されるべきであり、これらの用語は、出力デバイス、又は画像及び／若しくはデータを表示するよう適合されたユーザインタフェースを包含している。ディスプレイは、視覚、音声、及び／又は触覚データを出力する。ディスプレイの例には、コンピュータモニタ、テレビ画面、タッチ画面、触覚電子ディスプレイ、点字画面、陰極線管（ＣＲＴ）、蓄積管、双安定ディスプレイ、電子ペーパ、ベクトルディスプレイ、平面パネルディスプレイ、真空蛍光ディスプレイ（ＶＦ）、発光ダイオード（ＬＥＤ）ディスプレイ、電界発光ディスプレイ（ＥＬＤ）、プラズマディスプレイパネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）、プロジェクタ、ヘッドマウントディスプレイが含まれるが、それに限定されるものではない。

[043] 図２の要素のいずれも、本明細書で説明されているコントローラを備えていてもよい。本明細書で説明されているコントローラは、本明細書で説明されているプロセスを実施するために、命令を格納するメモリと、命令を実行するプロセッサとの組合せを備えている。コントローラは、コンピュータ２２０、又は独立型のコンピュータ処理システム、サーバシステムのクライアントコンピュータ、デスクトップ、若しくはタブレットの形態の、１つ若しくは複数のコンピュータ処理デバイス、ディスプレイ／モニタ、並びに１つ若しくは複数の入力デバイス（たとえば、キーボード、ジョイスティック、及びマウス）の、別の組立体などの、ワークステーション内に収容されているか又はワークステーションにリンクされている。本明細書での「コントローラ」という用語の説明ラベルは、「コントローラ」という用語に対してさらなるどんな限定をも明示又は含意することなく、本明細書で説明されているコントローラ間の区別を容易にする。「コントローラ」という用語は、本開示の技術分野で理解され、また本開示で例示的に説明されている、本開示に記載の様々な原理の適用を制御するための、特定用途向けメイン基板又は特定用途向け集積回路のすべての構造的構成を、広義に包含している。コントローラの構造的構成には、プロセッサ、コンピュータ使用可能／コンピュータ可読記憶媒体、オペレーティングシステム、アプリケーションモジュール、周辺デバイスコントローラ、スロット、及びポートが含まれるが、それに限定されるものではない。

[044] さらに、図２は互いにネットワーク化された構成要素を示しているが、かかる２つの構成要素が、単一のシステムに統合されてもよい。たとえば、コンピュータ２２０は、第１の医療画像化システム２１０と統合されてもよい。すなわち、実施形態では、コンピュータ２２０がもつ機能は、第１の医療画像化システム２１０を備えるシステムによって実施（たとえば、実行）されてもよい。一方、図２に示されているネットワーク化された構成要素は、相異なる部屋又は相異なる建物に分散されることなどによって、空間的に分散されてもよく、その場合、ネットワーク化された構成要素は、データ接続を介して接続される。さらに別の実施形態では、図２の１つ又は複数の構成要素は、データ接続を介して他の構成要素に接続されるのではなくて、メモリスティック又は他の形態のメモリなどによって、手作業での入力又は出力が行われる。さらに別の実施形態では、本明細書に説明されている機能は、図２の要素の機能に基づいて実行されるが、図２に示されているシステムの外側にある。

[045] 図２の第１の医療画像化システム２１０、コンピュータ２２０、及び第２の医療画像化システム２４０のいずれも、図３について以下で説明されている汎用のコンピュータシステムの一部又はすべての要素及び機能を有する。たとえば、コンピュータ２２０は、追跡対象デバイスの現在の位置が３次元モデルの経路の外側にあるかどうかを決定する、コントローラを備えている。コントローラによって実行されるプロセスは、介入手術の対象者の複数の分岐を有する経路の３次元モデルを受信するステップ、又は画像データを受信し、画像データに基づいて、介入手術の対象者の複数の分岐を有する経路の３次元モデルを生成するステップを有する。

[046] コンピュータ２２０のコントローラが命令を実行すると実施されるプロセスは、追跡対象デバイスの現在の位置が３次元モデルの経路の外側にあるかどうかを決定するステップ、及び追跡対象デバイスの現在の位置が３次元モデルの経路の外側にある場合に、３次元モデルを、追跡対象デバイスの現在の位置に合わせて変形させるステップも有する。同コントローラはまた、介入手術の対象者の、多数の分岐を有する経路をセグメント化することに基づいて、３次元モデルを生成する機能を実行する。しかし、追跡対象デバイスの位置を追跡するコントローラは、第１の医療画像化システム２１０、又は第１の医療画像化システム２１０によって作成された医療映像を処理するための命令を実行するコンピュータ２２０などによって、他の場所で生成及びセグメント化された、セグメント化された３次元モデルを取得してもよい。すなわち、本明細書で説明されているコントローラによって実施されるプロセスは、介入手術の前に生成された３次元モデルを取得するステップを有し、ここで３次元モデルは、介入手術の対象者の、多数の分岐を有する経路をセグメント化することに基づいて生成されたものである。ただし、３次元モデルは、介入手術の「前」に生成される必要はない。たとえば、いくつかの実施形態では、モデルは、介入手術中に生成又は更新され、次いで、後に続くプロセスがやはり実行される。上記のように、第１の医用画像化システム２１０による医療画像化でさえ、介入的３次元モデル変形が実行される、同じ医療介入中に実行されてもよい。

[047] 図３は、別の代表的な実施形態による、動的な介入的３次元モデル変形の方法を実施することができる、汎用のコンピュータシステムを示している。

[048] コンピュータシステム３００は、コンピュータシステム３００に、本明細書で開示されている、１つ又は複数の任意の方法或いはコンピュータベースの機能を実行させるように実行され得る、１組の命令を有することができる。コンピュータシステム３００は、独立型のデバイスとして動作してもよく、又はたとえばネットワーク３０１を使用して、他のコンピュータシステム若しくは周辺デバイスに接続されてもよい。

[049] ネットワーク化された配備において、コンピュータシステム３００は、サーバ－クライアントユーザネットワーク環境では、サーバの能力の下で、若しくはクライアントユーザコンピュータとして、又はピアツーピア（又は分散）ネットワーク環境では、ピアコンピュータシステムとして動作する。コンピュータシステム３００はまた、第１の医療画像化システム２１０、コンピュータ２２０、第２の医療画像化システム２４０、据置型コンピュータ、携帯型コンピュータ、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、タブレットコンピュータ、又は機械装置によって行われるべき動作を指定する１組の命令（順次、又はその他）を実行することができる他の任意の機械装置など、様々なデバイスとして実施され、又は様々なデバイスに組み込まれ得る。コンピュータシステム３００は、さらに、追加のデバイスを備える統合システム内にあるデバイスとして、又はデバイスの中に、組み込まれ得る。一実施形態では、コンピュータシステム３００は、音声、ビデオ、又はデータ通信を提供する電子デバイスを使用して、実施され得る。さらに、ただ１つのコンピュータシステム３００が示されているが、「システム」という用語は、１つ又は複数のコンピュータの機能を実行するために、１組又は複数組の命令を、個別に又は一緒に実行するシステム又はサブシステムの、任意の集まりも含むと解釈されるものとする。

[050] 図３に示されているように、コンピュータシステム３００は、プロセッサ３１０を備えている。コンピュータシステム３００用のプロセッサは、有形、且つ非一時的である。本明細書で使用されている「非一時的」という用語は、状態が永遠に続く特性ではなく、ある期間にわたって状態が続くことになる特性と解釈されるべきである。「非一時的」という用語は、具体的には、搬送波若しくは信号の特性などのごく短時間の特性、又はいつでもどこにでも一時的にしか存在しない他の形態を、否定するものである。プロセッサは、製品及び／又は機械装置の構成要素である。コンピュータシステム３００用のプロセッサは、本明細書の様々な実施形態で説明されている機能を実行するために、ソフトウェア命令を実行するよう構成されている。コンピュータシステム３００用のプロセッサは、汎用プロセッサであってもよく、又は特定用途向け集積回路（ＡＳＩＣ）の一部であってもよい。コンピュータシステム３００用のプロセッサはまた、マイクロプロセッサ、マイクロコンピュータ、プロセッサチップ、コントローラ、マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、ステートマシン、又はプログラム可能な論理デバイスであってもよい。コンピュータシステム３００用のプロセッサはまた、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラム可能なゲートアレイ（ＰＧＡ）を含む論理回路、又はディスクリートゲート及び／又はトランジスタ論理回路を含む別の種類の回路であってもよい。コンピュータシステム３００用のプロセッサは、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、又はその両方であってもよい。さらに、本明細書で説明されている任意のプロセッサには、複数のプロセッサ、並列プロセッサ、又はその両方が含まれる。複数のプロセッサが、単一のデバイス又は複数のデバイス内に備えられるか、又はそれらに結び付けられてもよい。

[051] 本明細書で使用される「プロセッサ」は、プログラム又は機械装置が実行可能な命令を実行することができる電子構成要素を包含している。「プロセッサ」を含むコンピュータ処理デバイスへの言及は、場合によっては、複数のプロセッサ又は処理コアを含むと解釈されるべきである。プロセッサは、たとえば、マルチコアプロセッサである。プロセッサは、単一のコンピュータシステム内の、又は複数のコンピュータシステム間に分散された、プロセッサの集合も指す。コンピュータ処理デバイスという用語はまた、場合によっては、それぞれが１つ又は複数のプロセッサを備えるコンピュータ処理デバイスの集合又はネットワークを指すと解釈されるべきである。多くのプログラムは、同じコンピュータ処理デバイス内にあってもよく、又は複数のコンピュータ処理デバイスにわたって分散されていてもよい、複数のプロセッサによって実行される命令を有する。

[052] さらにコンピュータシステム３００は、メインメモリ３２０及びスタティックメモリ３３０を備え、メモリは、バス３０８を介して互いに通信することができる。本明細書で説明されているメモリは、データ及び実行可能な命令を格納することができ、命令がその中に格納されている間は非一時的な、有形の記憶媒体である。本明細書で使用される「非一時的」という用語は、状態が永遠に続く特性ではなく、ある期間にわたって状態が続くことになる特性と解釈されるべきである。「非一時的」という用語は、具体的には、搬送波若しくは信号の特性などのごく短時間の特性、又はいつでもどこにでも一時的にしか存在しない他の形態を、否定するものである。本明細書で説明されているメモリは、製品及び／又は機械装置の構成要素である。本明細書で説明されているメモリは、データ及び実行可能な命令がコンピュータによって読み出され得る、コンピュータ可読媒体である。本明細書で説明されているメモリは、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、電気的にプログラム可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、電気的に消去及びプログラム可能な読出し専用メモリ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、取外し可能なディスク、テープ、コンパクトディスク型読出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、フロッピディスク（登録商標）、ブルーレイディスク、又は当技術分野でよく知られている記憶媒体の他の任意の形態である。メモリは、揮発性又は不揮発性であってもよく、安全且つ／又は暗号化されていてもよく、安全でなく且つ／又は暗号化されていなくてもよい。

[053] 「メモリ」は、コンピュータ可読記憶媒体の一例である。コンピュータメモリは、プロセッサに直接アクセス可能な任意のメモリである。コンピュータメモリの例には、ＲＡＭメモリ、レジスタ、及びレジスタファイルが含まれるが、それに限定されるものではない。「コンピュータメモリ」又は「メモリ」への言及は、場合によっては、複数のメモリであると解釈されるべきである。メモリは、たとえば、同じコンピュータシステム内の複数のメモリである。メモリはまた、複数のコンピュータシステム又はコンピュータ処理デバイス間に分散された複数のメモリであってもよい。

[054] 図示のように、コンピュータシステム３００はさらに、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、平面パネルディスプレイ、固体ディスプレイ、又は陰極線管（ＣＲＴ）などのビデオディスプレイユニット３５０を備える。コンピュータシステム３００はさらに、キーボード／仮想キーボード、接触感知入力画面、又は音声認識を用いた音声入力などの入力デバイス３６０、及びマウス、又は接触感知入力画面若しくはパッドなどのカーソル制御デバイス３７０を備える。コンピュータシステム３００は、ディスク駆動ユニット３８０、スピーカ又はリモコンなどの信号生成デバイス３９０、及びネットワークインタフェースデバイス３４０も備えることができる。

[055]一実施形態では、図３に示されるように、ディスク駆動ユニット３８０は、１組又は複数組の命令３８４、たとえばソフトウェアが組み込まれ得る、コンピュータ可読媒体３８２を備える。複数組の命令３８４が、コンピュータ可読媒体３８２から読み取られ得る。さらに、命令３８４は、プロセッサによって実行されると、本明細書で説明されている方法及びプロセスのうちの１つ又は複数を実行するために使用され得る。一実施形態では、命令３８４は、コンピュータシステム３００によって実行される際に、全部が、又は少なくとも部分的に、メインメモリ３２０、スタティックメモリ３３０内、及び／又はプロセッサ３１０内に存在する。

[056] 代替の実施形態では、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能な論理アレイ、及び他のハードウェア構成要素などの、専用ハードウェアの実施態様が、本明細書で説明されている方法のうちの１つ又は複数を実施するよう構築され得る。本明細書で説明されている１つ又は複数の実施形態は、複数の特定の相互接続されたハードウェアモジュール又はデバイスを、関連する制御信号及びデータ信号がモジュール間で、またモジュールを介して通信され得る状態で使用して、機能を実施する。したがって、本開示は、ソフトウェア、ファームウェア、及びハードウェアの実施態様を包含している。本出願におけるいかなるものも、有形の非一時的プロセッサ及び／又はメモリなどのハードウェアなしで、ソフトウェアのみで実施される、又は実施可能であると解釈されるべきではない。

[057] 本開示の様々な実施形態によれば、本明細書で説明されている方法は、ソフトウェアプログラムを実行するハードウェアコンピュータシステムを使用して実施される。さらに、例示的で非限定的な実施形態では、実施態様には、分散処理、構成要素／オブジェクト分散処理、及び並列処理が含まれ得る。仮想コンピュータシステム処理を、本明細書で説明されている方法又は機能のうちの１つ又は複数を実施するように構成することができ、本明細書で説明されているプロセッサは、仮想処理環境をサポートするために使用されてもよい。

[058]本開示は、命令３８４を有するか、又は伝播された信号に応答して命令３８４を受信及び実行する、コンピュータ可読媒体３８２を意図しており、それにより、ネットワーク３０１に接続されたデバイスは、ネットワーク３０１を介して音声、ビデオ、又はデータを通信できる。さらに、命令３８４は、ネットワークインタフェースデバイス３４０を通して、ネットワーク３０１を介して送受信される。

[059] 図４は、代表的な実施形態による、動的な介入的３次元モデル変形の方法を示している。

[060] 図４の方法は、Ｓ４０５において、介入手術の対象者の医療画像を生成し、取り込み、記憶するステップから始まる。動的な介入的３次元モデル変形のいくつかの実施形態では、気道の術前のコンピュータ断層撮影（ＣＴ）又はコーンビームコンピュータ断層撮影（ｃｏｎｅ－ｂｅａｍ ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）（コーンビームコンピュータ断層撮影）画像が取得される。コーンビームコンピュータ断層撮影は、Ｘ線が発散し、結果として円錐を形成するＸ線コンピュータ断層撮影を含む、医療画像化技法である。気道は、本明細書で説明されているように、ほとんどの実施形態においてセグメント化される。コンピュータ断層撮影又はコーンビームコンピュータ断層撮影による画像化及びセグメント化は、ほとんどの実施形態において、介入手術の前に実行される。３次元画像は、コンピュータ断層撮影、コーンビームコンピュータ断層撮影、磁気共鳴、又は解剖学的構造の３次元表現を提供する他の画像化モダリティを使用して取得される。

[061] 図４の方法は、Ｓ４１０において、介入手術の対象者の、複数の（多数の）分岐を有する経路をセグメント化することに基づいて、３次元モデルを生成するステップを有する。経路の３次元モデルは、コーンビームコンピュータ断層撮影、又は他の任意の３次元画像化モダリティに基づいて生成される。３次元モデルは、肺の例における気道の３次元モデルであるが、代替の実施形態では血管である。さらに、Ｓ４１０は、セグメント化することによって３次元モデルが作成されることを特定しているが、３次元モデルはまた、レンダリングなどの他の仕組みによって作成されてもよい。セグメント化は、肺の経路及び分岐、又は心臓の構成要素などの構造体の表面の表現であり、たとえば、器官の表面の３次元（３－Ｄ）座標における１組の点、及び構造体全体が交切しない三角形の平面のメッシュで覆われるように、隣り合う３つの点の群を接続することによって画定される３角形の平面セグメントで、構成される。

[062] 図４の方法は、Ｓ４１５において、３次元モデルの開始点から対象物の点までの進路を生成するステップを有する。

[063] 後述される実施形態に関して明示されるように、追跡対象デバイスは、３次元モデルに位置合わせされる。位置合わせは、相異なる要素又はシステムを共通の座標系上に置くことを含む。たとえば、追跡される介入的医療デバイスの形状が、術前の肺画像に位置合わせされ得る。次いでこれが、追跡対象の介入的医療デバイスとの相互作用に基づいて、呼吸運動、解剖学的構造の転位（たとえば、肺の変形）、及び他の動きを考慮する機能だけでなく、気道内での肺への誘導を計画する機能ももたらす。形状検知は、呼吸性体動／心運動の存在下で、計画された進路からの現在の進路の誤差偏差を使用したリアルタイムでの案内に使用でき、ユーザが気道の内側及び外側（道を外れた）での誘導タイミングを合わせるのに役立つ。

[064] 図４の方法は、Ｓ４７０において、追跡対象デバイスの現在の位置が３次元モデルの経路の外側にあるかどうかを決定するステップを有する。図４では、追跡対象デバイスが気道内を誘導されるように、追跡対象デバイスが３次元で追跡される。追跡は、光形状検知を使用して実行されるが、他の実施形態では、追跡は、電磁センサ、超音波ベースのセンサ、又はＸ線透視画像の動的な分析に基づくＸ線ベースのデバイス認識を含む。本明細書で説明される方法では、全般的に光形状検知が説明されている。しかし、本明細書で説明されている追跡対象デバイスは、別法として、電磁センサ、超音波ベースのセンサ、又はＸ線透視画像からのＸ線ベースのデバイス認識などを用いて追跡され得る。

[065] 図４の方法は、Ｓ４８０において、追跡対象デバイスの現在の位置が３次元モデルの経路の外側にあるときに、追跡対象デバイスの現在の位置に合わせて３次元モデルを変形させるステップを有する。Ｓ４８０での変形により、気道の術前の３次元モデル及びリアルタイムでの介入的医療デバイスの位置を使用して、医師が見る視覚化が調整される。したがって、Ｓ４８０における変形は、追跡対象デバイスの現在の進路が気道の管腔（開放空間）と比較されている限り、追跡の結果として生じ、現在の進路が最も近い気道の外側にある場合、コンピュータ断層撮影／コーンビームコンピュータ断層撮影画像及び３次元モデルが変形される。

[066] 図４の方法は、Ｓ４８５において、追跡対象デバイスの現在の位置が経路の内側にある場合、追跡対象デバイスを３次元モデルの現在の進路内の中心に合わせるように、３次元モデルを変形させるステップを有する。Ｓ４８５の代替として、この方法は、追跡対象デバイスの現在の位置が経路の内側にある場合に、３次元モデルをまったく変形させないステップを有する。

[067] 図４の方法は、医師に、実際の解剖学的構造に対して介入的医療デバイスの位置を探し出す機能を提供する。３次元モデルをもたらす解剖学的セグメント化において、３次元モデルは、Ｓ４０５での画像取得に基づいている。この３次元モデルをリアルタイムでの案内のために使用している医師は、解剖学的構造がリアルタイムでどのように変化しているかについて、他の方法では欠落している情報を取得することができる。たとえば、気道は、１回の呼吸サイクルにわたって数センチメートルだけ伸縮し得るものであり、また気管支鏡のような剛性のデバイスが挿入されると、シフトされることになる。介入的医療デバイスを追跡することにより、位置に関するリアルタイムでの情報を使用して、３次元モデルを、術前の状態から更新することができる。

[068] 図４の方法の個々のステップは、全般的に、本明細書で説明されている実施形態に適用される特定の順序で示されている。しかし、本明細書で説明されている方法の他のステップは、示されているものとは相異なる順序で実行されてもよく、又は互いに並行して継続的に実行されてもよい。

[069] さらに、図４におけるステップの番号づけは、本明細書で説明されている他の実施形態にも部分的又は完全に適用される。たとえば、図６におけるＳ６８０の番号づけは、Ｓ６８０のステップが、図４においてＳ４８０の代わりに実行され得ることを意味すると解釈される。同様に、図６におけるＳ６６０の番号づけは、図４について説明されている機能に関して、このステップが、Ｓ４７０の前であるがＳ４１５の後に実行され得ることを意味すると解釈される。したがって、様々な実施形態について本明細書で説明されているステップの最後の２つの数字の関係する値は、図４におけるステップの番号づけに関係する、全般的な又は特定の位置づけと解釈される。

[070] 図５Ａは、代表的な実施形態による、動的な介入的３次元モデル変形が適用される前の、追跡対象デバイスと、複数の分岐を有する経路の３次元モデルとの比較図を示している。

[071] 図５Ａでは、経路構造体の３次元モデルは、画像に基づいて、セグメント化を使用して３次元モデルを生成する前の、コンピュータ断層撮影映像が取得された時点に基づいている。図５Ａは、解剖学的構造がリアルタイムで変化するにつれて、追跡対象の介入的医療デバイスが３次元モデルからどのように外れる可能性があるかを示している。これは、図５Ａの画像＃２、画像＃４、及び画像＃６に示されている。したがって、医師が、リアルタイムでの案内のために、基礎となる３次元モデルを使用している場合、医師は、解剖学的構造がリアルタイムでどのように変化しているかに関する情報を失っている。たとえば、気道は、１回の呼吸サイクルにわたって数センチメートル伸縮し得るものであり、また気管支鏡のような剛性のデバイスが挿入されるとシフトされることになる。図５Ａは、術前に取得されたモデルに対して、介入的医療デバイスがどのように表示されるかを、視覚的に示している。追跡対象の介入的医療デバイスは、位置に関するリアルタイムでの情報を可能にし、本明細書では、術前の３次元モデルが医師にどのように見えるかを更新するために使用される。これは、術中にＸ線透視が使用されていない場合に、特に有用である。

[072] 図５Ａでは、追跡対象デバイスは、気道に沿って誘導されている。画像＃１、画像＃３、画像＃５、及び画像＃７では、追跡対象デバイスが、気道に整列されている。しかし、画像＃２、画像＃４、及び画像＃６では、追跡対象デバイスが実際には気道の管腔内にある場合でも、介入的医療デバイスが、気道の外側にあるように表示されている。すなわち、図５Ａに示されている呼吸サイクルのいくつかのフェーズにおいて、実際には介入的医療デバイスが依然として管腔内にあるときに、介入的医療デバイスが、気道の外側にあるように表示されている。

[073] 図５Ｂは、代表的な実施形態による、光形状検知を使用した動的な介入的３次元モデル変形の進行を示している。

[074] 図５Ｂでは、３次元のセグメント化された気道は、追跡対象デバイスとの相互作用による呼吸性体動、心運動、及び解剖学的運動（たとえば、肺の変形）についての、光形状検知のフィードバックを使用して変形されている。画像＃１に示されているセグメント化された気道は、術前のセグメント化された気道であり、ここで、Ｒ＝０は、基礎となる医療画像が呼吸サイクルの１つの特定のフェーズ（たとえば、完全な吸気）に撮影されたことを示している。たとえば、画像＃１の基礎となる医療映像は、医療介入のかなり前に第１の医療画像化システム２１０によって撮影された、コンピュータ断層撮影画像である。画像＃１は、追跡対象の介入的医療デバイスがない、気道の術前のセグメント化されたモデルを示しており、画像＃２は、気道の術前のセグメント化されたモデルを、気道を進む気管支内の介入的医療デバイスと共に示している。画像＃２では、追跡は、本明細書で説明されている光形状検知を使用して実行される。画像＃２でのＲ＝０は、医療介入におけるこの時点での呼吸フェーズが、術前の画像が取得されたときに見られたのと同じ呼吸フェーズにあることを意味すると解釈される。

[075] 図５Ｂでは、Ｒ＝１で気道が呼吸サイクル中に移動するため、気道の現在の場所は、画像＃１に示されている術前のセグメント化されたモデルの元の場所から、部分的、大部分、又は完全にオフセットされている。これは、画像＃１から引き継がれた、術前のセグメント化されたモデルの元の経路の上にあり、元の経路からオフセットされている、画像＃３の複製された経路によって示されている。すなわち、画像＃３に示されるように、時間Ｒ＝１（たとえば、呼吸サイクルの完全な呼気）で、追跡対象の介入的医療デバイス及び実際の経路構造体は、画像＃１に示されている術前のセグメント化されたモデルから離れる方向に移動している。したがって、画像＃４では、追跡対象の介入的医療デバイス及び実際の経路構造体が、Ｒ＝１において存在する実際の経路構造体にぴったり合うように、セグメント化されたモデルが変形されている。

[076] 画像＃４に示されているように、変形は、追跡対象デバイスの現在の場所を嵌め込むために３次元モデルを縮小すること、拡大すること、シフトすること、又はさもなければ移動させることを含む。図５Ｂでは、術前の３次元走査が取得された呼吸フェーズ中の肺の位置は、Ｒ＝０と定義され、術前の取得とは相異なる呼吸サイクルの別のフェーズは、Ｒ＝１と定義されている。Ｒ＝０での３次元のセグメント化された気道は、画像＃１、画像＃２、画像＃３、及び画像＃４のそれぞれに示されているが、画像＃３及び画像＃４では、オフセットされた構造体が、変形前及び変形後の３次元のセグメント化された気道の上に重ね合わされている。オフセットされた構造体は、Ｒ＝１での経路の実際の場所を表している。追跡対象の介入的医療デバイス５０１が、画像＃２、画像＃３、及び画像＃４のそれぞれにラベルづけされている。

[077] 図５Ｂの例は、光形状検知によって追跡される、追跡対象の介入的医療デバイスを使用して説明されている。しかし別法として、追跡対象デバイスの先端にある単一のセンサ、又は追跡対象デバイスの長手方向に沿った複数のセンサのいずれかを用いた、電磁検知を使用することができる。先端にある電磁センサの場合、先端位置の記録が連続的に実行され、追跡対象デバイス全体が辿る進路を追跡することができる。

[078] 図４について上記で説明されているように、本明細書で説明されている方法の主要な要素は、術前のコンピュータ断層撮影又は術中のコーンビームコンピュータ断層撮影のいずれかによって、患者の気道の３次元走査を取得するステップを有する。術前のコンピュータ断層撮影又は術中のコーンビームコンピュータ断層撮影は、典型的には、呼吸サイクルの１つのフェーズにおいて実行される。気道及び病変は、気道の３次元モデルを作成するために、コンピュータ断層撮影データからセグメント化される。その結果得られる気道の３次元モデルは、図５Ｂの画像＃１の開始点である。気管支内の肺手術中に、介入的医療デバイスが、気道のセグメント化されたモデルの上で所望の場所に誘導され、心運動又は呼吸性体動がない場合は、気道内に安定して表示させることができる。気管支内の肺手術の例には、病変又はリンパ節の生検、腫瘍焼灼、気道ステント留置、腫瘍摘除、及び他の形態の肺手術が含まれる。心運動又は呼吸性体動がない場合、介入的医療デバイスは、気道のセグメント化されたモデルの上で誘導することができ、介入的医療デバイスは、常に気道内に留まっているように表示される。しかし、心運動及び呼吸性体動、並びに患者及び挿入されたデバイスの小さな動きに起因する、重大な動きが生じる。動きが生じると、介入的医療デバイスは、モデルの気道の外側に出ているように表示され、医師に誤解を与える可能性がある。光形状検知の利点の１つは、介入的医療デバイスの全長の位置情報が常にわかっていることである。この情報を使用して、気道のモデルをリアルタイムで更新し、介入的医療デバイスが解剖学的構造に対してどこにあるかについて、より現実的な画像を提示することができる。上気道は非常に硬いため、介入的医療デバイスは、気道の管腔の内側にある可能性が最も高い。しかし、末梢（遠くの）気道では壁が非常に薄く、介入的医療デバイスの先端が容易に、壁の外側に突き出る。したがって、モデルの変形は、上気道内にある場合の介入的医療デバイスの場所の情報を、主に使用する必要がある。

[079] 図６は、代表的な実施形態による、動的な介入的３次元モデル変形の別の方法を示している。

[080] 図６のプロセスは、Ｓ６３０において、経路内の追跡対象デバイスを３次元モデルへ位置合わせするステップから始まる。位置合わせは、相異なる座標系を整列させるステップ、又は既存の座標系の座標を新しく導入された要素に割り当てるステップを有するプロセスである。Ｓ６３０では、３次元モデルの座標系を使用して、追跡対象デバイスに座標を割り当て、それにより追跡対象デバイスが、３次元モデルの座標系で追跡され得る。追跡対象デバイスは、光形状検知を使用して追跡され、３次元モデルは、図５Ｂの４つの画像すべてなどの、術前のモデルである。

[081] 図６のプロセスは、Ｓ６７５において、３次元モデルに対する追跡対象デバイスの直前の位置と追跡対象デバイスの現在位置との間の、オフセットを計算するステップを有する。追跡対象デバイスの位置が、介入手術中に、連続的且つ迅速に計算される限り、オフセットは、追跡対象デバイスの軌跡及び進路をプロットするのを補助し、また図４のＳ４８０又は以下で説明されるＳ６８０における、変形させるステップに役立つように使用される。Ｓ６７５における計算するステップは、追跡対象デバイスが３次元モデルのメッシュの気道の管腔内にあるかどうかに関してチェックが行われる、図４のＳ４７０などでの決定の後に実行される。

[082] 図６のプロセスは、Ｓ６８０において、オフセットに基づいて、３次元モデルを追跡対象デバイスの現在の位置に合わせて変換するステップを有する。たとえば、Ｓ６８０において、変換は、３次元モデルが、追跡対象デバイスの１つ又は複数の直前の位置及び追跡対象デバイスの現在の位置を含むように、３次元モデルを調整することによる変形を含む。

[083] Ｓ６８０における変換するステップは、術前の３次元モデル全体を追跡対象デバイスの現在の位置に合わせて変形させるステップを有する。変換するステップは、追跡対象デバイスの最後の既知の位置及び追跡対象デバイスの現在の位置を記録するステップ、並びに位置を記録するステップが、たとえば、追跡対象の介入的医療デバイスが既にどの分岐を通過したかを識別するのに役立つ限り、Ｓ６７５でオフセットを計算するステップに基づく。システム２００は、Ｓ６７５における計算するステップ及びＳ６８０における変換するステップを容易にするため、追跡対象デバイスの履歴を常にすべての位置で記憶している。

[084] Ｓ６８０の代替として、追跡対象デバイスが、Ｓ４７０で決定される、３次元モードのメッシュの気道の管腔内にある場合、図６のプロセスは、変形されていない状態の、術前の３次元モデルを示すステップを有する。別法として、介入的医療デバイスを管腔の中心に維持するために、小さな変形の補正が加えられる。

[085] 図６のプロセスは、Ｓ６９０において、追跡対象デバイスが新しい分岐に移動するたびに、追跡対象デバイスを含む３次元モデルの新しい各分岐を繰り返し変形させるステップを有する。Ｓ６９０では、追跡対象デバイスを気道の管腔の中心に維持するために、各時点での各気道内の追跡対象デバイスの場所を繰り返し使用して、追跡対象デバイスを嵌め込むように気道を局所的に変形させることができる。場所は、変形させるたびに、また追跡対象の介入的医療デバイスがさらに前進するたびに識別することができ、追跡対象デバイスがさらに前進するたびに、局所的な変形が再び実行され得る。

[086] 図６の方法では、図５Ｂの画像＃４に示されている変形が得られ得る。図６では、追跡対象デバイスは、光形状検知によって追跡される。追跡対象デバイスが経路の外側にある場合、３次元モデルの経路は、追跡対象デバイスの場所に合わせて調整される。図６の方法の重要な部分は、追跡対象デバイスが気道全体にわたって移動するときに、システム２００が、追跡対象デバイスの複数の履歴、又はすべての時点及び位置の履歴でさえも記憶することである。こうした時点及び位置は、追跡対象デバイスが、先端だけ追跡される場合、又は追跡対象デバイスの長手方向に沿って最小限に追跡する場合に重要となる。位置の履歴を使用して、追跡対象デバイスの先端だけでなく、デバイスの軌道全体に沿って３次元モデルを変形させることができる。

[087] 図６の実施形態では、この方法は、図５Ｂの画像＃２、画像＃３、及び画像＃４に示されているやり方で、光形状検知デバイスを誘導しながら実行される。光形状検知デバイスは、術前の３次元モデルに位置合わせされる。光形状検知デバイスが気道の管腔／モデルメッシュ内にあるかどうかをチェックすると、イエスの場合は、術前の３次元モデルが変形されていない状態で表示されるか、又は別法として、追跡対象デバイスを管腔の中心に維持するために、小さく変形可能な補正だけが加えられる。一方、光形状検知デバイスが気道の管腔／モデルのメッシュ内にない場合、術前の３次元モデルは、光形状検知デバイスの現在の位置に合わせて変形される。光形状検知デバイスの位置は継続的に記録されているので、最後の位置と現在の位置との間のオフセットは、どの分岐を既に通過したかを識別するのを補助するために、気道の術前の３次元モデルにおける位置に対して計算され得る。この実施形態では、システムは、光形状検知デバイスのすべての時点及び位置の履歴を記憶する。

[088] やはり図６の実施形態に関して説明されているように、術前の３次元モデルは、全体にわたり、新しいデバイスの場所に合わせて変換される。その後、光学形状検知デバイスが気道内で前進するにつれて、各時点での場所が記録され、次いで、光形状検知デバイスを気道の管腔の中心に維持することなどによって、光形状検知デバイスを嵌め込むよう気道を変形させるのに使用される。図６の方法では、介入的医療デバイスが気道全体にわたって移動するときに、システムは、すべてのデバイスの時点及び位置の履歴を記憶する。こうした時点及び位置は、デバイスが、先端だけ追跡される場合、又は介入的医療デバイスの長手方向に沿って最小限に追跡する場合に、重要となる。位置の履歴を使用して、介入的医療デバイスの先端だけでなく、デバイスの軌道全体に沿ってモデルを変形させることができる。

[089] 図６の実施形態は、光形状検知デバイスを使用して説明されている。しかし、介入的医療バイスの先端にある単一のセンサ、又は長手方向に沿った複数のセンサのいずれかを備える、電磁検知デバイスを使用することができる。先端にある電磁センサの場合、先端位置の記録が連続的に行われ、電磁検知デバイスが辿る進路を追跡する。

[090] 図７は、代表的な実施形態による、動的な介入的３次元モデル変形を使用して決定された、追跡対象デバイスの現在の位置からの気道の、気管支鏡の図を示している。

[091] 図７では、気管支鏡の図が、３次元モデルの画像とは別個の画像として示されている。追跡対象デバイスは、追跡対象デバイスが辿る進路と共に、３次元モデルの経路内に表示されている。図４及び図６で説明されている方法を使用して、解剖学的構造の３次元モデルに対する追跡対象の介入的医療デバイスの位置が決定され得る。気管支鏡の図は、追跡対象の介入的医療デバイスが光形状検知によって追跡されている場合などに、追跡対象の介入的医療デバイスの先端の位置に基づいて作成され得る。気管支鏡の図はまた、関心のある医療デバイスの他の任意の固定位置から示されてもよい。

[092] 仮想的な気管支鏡の図は、コンピュータ断層撮影データに基づいて、セグメント化された３次元モデルから形成される。追跡対象デバイスの位置情報を使用して、追跡対象デバイスの、計画された進路に最も近い場所を決定することができる。単に計画された進路と現在の進路との間の距離を計算し、１つ又は複数の誤差最小化ルーチンを実行するだけで、計画された進路に沿った介入的医療デバイスの先端の位置を決定することができる。次いで、ユーザに対して、この位置での気管支鏡の図が表示され、追跡対象デバイスが気道全体にわたって移動するにつれて、自動的に更新され得る。

[093] ３次元モデルに対する追跡対象デバイスの３次元位置情報を使用して、気道内の仮想的な気管支鏡の図を表示することができる。

[094] たとえば、３次元モデルは動的に更新され、追跡対象デバイスの先端は、変形された３次元モデルと共に表示され得る。別法として、気管から対象物までの進路を計画することができ、次いで、追跡対象デバイスの位置を計画された進路と比較することができる。誤差最小化を使用して、計画された進路に対するデバイスの先端の最適な場所を選択し、この点からの気管支鏡の図を３次元モデルに表示することができる。コントローラによって実施される方法の例として、追跡対象デバイスの固定点の位置に基づいて、仮想的な気管支鏡の図を作成し、計画された進路の、追跡対象デバイスの固定点の位置に最も近い位置を決定し、追跡対象デバイスが３次元モデルを通って移動するにつれて、気管支鏡の図を自動的に更新することができる。

[095] 一実施形態では、追跡対象デバイスの向きが識別され、次いで、追跡対象デバイスの向きに基づいて、仮想的な気管支鏡の図の視点を決定するために使用され得る。たとえば、ユーザが、追跡対象デバイスの先端の前方の気管支鏡の図を表示し、デバイスの先端が次に移動するだろう場所を表示することを望む場合は、ユーザが確実に先端の横又は後ろの領域を見ていないようにするために、向きが使用され得る。同様に、側部の図をいつ表示するべきかを知ることはまた、追跡対象デバイスの先端が３次元モデルの分岐に近づくときなどに、ユーザへ利点をもたらす。分岐への近接を自動的に使用して、ユーザが正しい分岐に沿って移動させるのを補助するために、複数の仮想的な気管支鏡の図の表示をトリガする。

[096] 図８は、代表的な実施形態による、動的な介入的３次元モデル変形の別の方法を示している。

[097] 図８の方法は、Ｓ８１０において、介入手術の対象者の、複数の（多数の）分岐を有する経路をセグメント化することに基づいて、３次元モデルを生成するステップから始まる。

[098] 図８の方法は、Ｓ８１５において、３次元モデルの開始点から対象物の点までの進路を生成するステップを有する。

[099] 図８の方法は、Ｓ８３０において、経路内の追跡対象デバイスを３次元モデルに位置合わせするステップを有する。

[0100] Ｓ８５０では、肺が収縮しているときに、３次元モデルに対する、追跡対象デバイスの位置が追跡される。

[0101] 図８の方法は、Ｓ８７０において、追跡対象デバイスを含む経路の局所的な分岐だけを、又は追跡対象デバイスの経時的な移動量に基づいて、追跡対象デバイスに最も近い、経路の２つの局所的な分岐を、変形させるステップを有する。たとえば、移動量は、オフセットを計算するためのベースとして使用され、次いで、３次元モデルが、オフセットに基づいて補正される。

[0102] 図８の方法は、多くの重要な態様において図４の方法と重複しているが、やはりいくつかの点で異なっている。たとえば、図８の方法は、肺が関係する医療介入に特有のものであり、肺が収縮しているときに追跡対象デバイスの位置を追跡するステップさえも有する。さらに、Ｓ８８０において、変形は１つ又は２つの局所的な分岐だけに制限されているが、これはＳ４８０では禁止されていない。むしろ、明らかなはずであるが、図８の実施形態などの様々な実施形態の特徴は、他の実施形態の特徴と交換されるか、又は他の実施形態に追加されてもよい。

[0103] 上記で説明されているように、図８の方法は、介入的医療デバイスを追跡するステップを使用して、収縮した肺のモデルと膨張した肺のモデルとを位置合わせするステップを有する。光形状検知デバイス（又は別の追跡対象デバイス）は、術前の３次元モデルに位置合わせされる。手術の前に、光形状検知デバイス（又は他の追跡対象デバイス）が、対象物の病変の場所に（気管支内に）誘導される。誘導するステップは、たとえば、上記で説明されている方法を使用して実行され得る。どの分岐が通過され、どの肺葉に光形状検出デバイスがあるかを識別するために、術前のモデルに対する、すべてのデバイスの時点及び位置の履歴が記録される。次いで肺が収縮し、このときの、術前のモデルに対する光形状検知デバイスの位置が追跡される。次いで、術前のモデルは、光形状検知デバイスの現在の位置に合わせて変形される。変形は、光形状検知デバイスを含む葉及び対象物の病変だけを変形させるなど、局所的であり得る。別法として、病変が２つの葉間にある場合、両方の葉が変形され得る。収縮した肺の状態を表す、新しい変形された３次元モデルが、ユーザに提示される。

[0104] 図９は、代表的な実施形態による、動的な介入的３次元モデル変形の別の方法を示している。

[0105] 図９では、Ｓ９５０において、肺が動いている間に、追跡対象デバイスを連続的に追跡するステップからプロセスが始まる。

[0106] 図９のプロセスは、Ｓ９８０において、肺の運動を補正するために、追跡対象デバイスを含む経路の局所的な分岐だけを、又は追跡対象デバイスに最も近い、経路の２つの局所的な分岐を、変形させるステップを有する。

[0107] 上記で説明されているように、図９の方法では、外科的摘除中に、本明細書で説明されている変形を使用して肺の運動が追跡され得る。他の実施形態と同様に、図９の実施形態は、光形状検知デバイス（又は他の追跡デバイス）を、術前のモデルに位置合わせするステップを有する。追跡対象デバイスは、手術前に、気管支内の対象物の病変の場所に誘導される。

[0108] 外科的解剖の際に、肺が、外科医によって引っ張られるか、伸ばされるか、又ははじかれることなどで動かされている間、位置合わせされた光形状検知デバイスの動きが追跡される。光形状検知デバイスの動きに基づいて、術前のモデルは、光形状検知デバイスの現在の位置に合わせて変形される。変形は、光形状検知デバイスを含む葉及び対象物の病変だけを変形させることなどによって、局所的である。別法として、病変が２つの葉間にある場合、両方の葉が変形され得る。

[0109] 図６、図８、及び図９の方法は、ある程度の類似性を有しているが、３つの相異なる使用例を説明している。図６の使用例では、光形状検知する追跡対象デバイスを、気管から末梢気道に移動させている。図８の使用例では、光形状検知する追跡対象デバイスを、１つの気道内に維持し、肺をしぼませている。図９の使用例では、光形状検知する追跡対象デバイスを、１つの気道内に維持するが、外科手術で行われるように、ツールを用いて肺の外面から肺を物理的に動かしている。

[0110] ここで図９の外科的方法のアルゴリズムが説明され、これは図６及び図８の実施形態にも適用可能である。以下の記述は、図９の外科的方法を実施するための、実際のデータを使用するアルゴリズムを詳述している。最初に、関心のある解剖学的構造の３次元画像を術前又は術中に取得することができ、３次元の解剖学的画像は、セグメント化され、気道などの関心のある解剖学的構造のメッシュを形成する。３次元メッシュは、いくつかの面及び頂点（すなわち、３次元座標系の点）で構成される。光形状検知デバイス及び画像化モダリティの座標系は、光形状検知デバイスのｘ、ｙ、ｚ位置が、気道のメッシュのｘ、ｙ、ｚ位置と同じ座標系になるように位置合わせされる。光形状検知デバイスの位置は、作業の流れにおけるこの時点で連続的に測定され、位置座標がコンピュータプロセッサに送信される。

[0111] フレーム（ｎ－１）から始まる一連のフレームでは、光形状検出デバイスの座標が記憶される。ここで組織の手技（ｍａｎｉｐｕｌａｔｉｏｎ）は特に必要ないが、この時点で組織は、多くのやり方で処置される。フレーム（ｎ）で、フレーム（ｎ）及びフレーム（ｎ－１）における光形状検出デバイスの座標間の距離が計算される。光形状検知デバイスが複数の位置の点で構成される場合、光形状検知デバイスに沿ったそれぞれの点間の距離が計算される。次いで、フレーム間のこのオフセットが記憶される。メッシュの点ごとに、メッシュの点（ｉ）と光形状検出デバイスの点（ｊ：ｊ＋Ｎ）との間の距離が計算される。メッシュの点（ｉ）に最も近い光形状検出デバイスの点が、距離最小化計算によって決定される。この光形状検出デバイスの点において以前に計算されたオフセットが、メッシュの点（ｉ）に加算され、新しいメッシュの点（ｉ）の座標が記憶される。これが、すべてのメッシュの点に対して繰り返される。すべてのメッシュの点が光形状検出デバイスのオフセットを使って調整された後、光形状検出デバイスの位置に基づいて動的に変形された、新しいメッシュが表示され得る。この連続プロセスは、光形状検知データ（ｎ：ｎ＋Ｍ）のすべてのフレームに対して実行され、結果的に、リアルタイムでのメッシュの視覚化をもたらすことができる。

[0112] 図９の実施形態に関する上記の実施態様は、デバイスの移動及び肺の収縮に関して、それぞれ、図６及び図８の実施形態にも適用される。ただし、距離計算に閾値を追加すること、及びメッシュの一部を変形から除外するオフセットを追加することなどによって、アルゴリズムが変更されてもよい。たとえば、光形状検知デバイスが肺の右側の気道にある場合、左側の肺がどれだけ動いているかに関する情報が利用できないので、肺の左側の変形は望ましくない。さらに、光形状検知デバイスが存在する肺葉だけを変形させ、同じ肺の他の葉は変形させないことが最適である。光形状検知デバイスからメッシュの点までの許容可能な最大距離に閾値を設定すると、どのメッシュの点が調整されるかが限定され得る。

[0113] さらに、メッシュは、解剖学的構造の３次元ボリュームである。メッシュ内に、中心線が引かれる。光形状検知デバイスがメッシュのボリューム内にあるかどうか、又はさもなければ、メッシュがどれだけ中心を外れているかに関して、決定が行われる。光形状検知デバイスの位置は、メッシュの中心線と比較され得る。誤差最小化技法を使用して、中心線に最もよく合致する位置に対する光形状検知デバイスの位置が計算され得る。

[0114] 一実施形態では、閾値は、光形状検知デバイスがメッシュのボリュームの外側にあるかどうかを決定するために実施される。メッシュに対する微調整が行われ、それに応じて変形させる。

[0115] 別の実施形態では、最もよく合致する位置は、光形状検知デバイスが現在どの分岐、葉、又は肺の中にあるかを決定することになる。さらにこの情報を使用して、メッシュの変形されないまま残される部分に対する変形される部分を制限する。

[0116] さらに別の実施形態では、中心線からの距離も使用して、メッシュを変換する。たとえば、光形状検知デバイスが中心線からわずかだけオフセットされている場合、メッシュに対して光形状検知デバイスを再び中心に合わせるのに必要な変換（又はシフト）を計算することができ、これにより光形状検知デバイスが、常にメッシュの中心にあるように「見える」ことが可能となる。

[0117] 別の実施形態では、光形状検知デバイスの位置の連続的な保存を使用して、光形状検知デバイスが存在する現在の分岐を決定することができる。たとえば上記で説明されている最良の合致を使用して、どの分岐内に光形状検知デバイスがあるかを決定するが、履歴情報は、現在の分岐を決定するための計算処理時間を短縮するのに有用である。履歴データが、光形状検知デバイスが既に肺の左側にあることを示している場合、上記で説明されている中心線を使用した計算では、計算から右側の分岐を削除し、左側の分岐だけに焦点を当てることができる。

[0118] デバイス位置の連続的な保存は、光形状検知を使用しないデバイス、又は１つ又はいくつかの選択点だけを追跡するデバイスにも使用される。これらの座標は、次いで、上記で説明されている実施態様と同様のやり方で使用され得る、デバイス追跡を構築するために、データのフレームごとに保存される。

[0119] 図１０は、代表的な実施形態による、動的な介入的３次元モデル変形の別の方法を示している。

[0120] 図１０では、プロセスは、Ｓ１０３０において、３次元モデルを２次元Ｘ線画像空間に位置合わせするステップから始まる。

[0121] 図１０のプロセスは、Ｓ１０５０において、Ｘ線画像化に基づいて追跡対象デバイスを２次元で追跡するステップ、及びＸ線画像化に基づいてＸ線透視画像内で、追跡対象デバイスの場所を識別するステップに進む。

[0122] 図１０のプロセスは、Ｓ１０５５において、追跡対象デバイスがＸ線ベースの追跡による案内の下で、経路を通って誘導されるように、３次元モデルを投影して、３次元モデルを２次元Ｘ線画像空間に重ね合わせるステップを有する。

[0123] 上記で説明されているように、図１０の方法は、デバイスのＸ線ベースの追跡を使用して、介入的医療デバイスの場所を２次元で識別するステップ、及び３次元のセグメント化されたモデルの、３次元の向き及び位置を調整するステップを有する。図１０の方法は、基準、マーカ、又はアイソセンタを使用することなどによって、３次元のセグメント化されたモデルを２次元Ｘ線画像空間に位置合わせするステップを有する。３次元のセグメント化されたモデルは、２次元に投影され、モデルをＸ線画像に重ね合わせる。次に、追跡対象デバイスは、２次元Ｘ線透視による案内の下で気道に沿って誘導され、Ｘ線透視による画像フレームは、介入的医療デバイスを自動的に識別するために、画像処理技法を使って分析される。追跡対象デバイスの位置は、画像から抽出され、３次元モデルの投影画像と比較され得る。追跡対象デバイスが投影された気道内にあるかどうかを確認するために、追跡対象デバイスの位置がチェックされ得る。別法として、介入的医療デバイスの位置と投影された気道の中心線との間の距離は、介入的医療デバイスが気道内にあるかどうかを明らかにするために設定された閾値を使って計算され得る。

[0124] 図１０の方法は、気道の代わりに血管のセグメント化に適用するよう修正され得る。この場合も、介入的医療デバイスの位置と投影された血管の中心線との間の距離が計算され得る。同様に、図１０の方法は、介入的医療デバイスが実際の気道又は血管の外側にあることが判明した場合に、気道の投影されたモデルが変形されて実際のデバイスの位置を嵌め込むことができるように、調整され得る。２次元Ｘ線画像の動きの平面から外れた構成要素は、３次元の投影だけを使用すると難しいので、小さな基準を使用することが考慮され得る。さらに、平面から外れた情報を調整することがあるため、Ｘ線画像が、別の角度から取得される。

[0125] さらに、図２には示されていないが、追跡対象デバイス２５０は、追跡対象デバイス２５０が図１０のようにＸ線透視画像化を使用して位置合わせされているときなどに、ハブの助けを借りて追跡される。追跡対象デバイスをＸ線透視に位置合わせする代替方法は、以下のように説明される。本明細書で説明されているハブは、気管に配置される。ハブは、知られているパターンの進路を含んでいる。追跡対象デバイス２５０がハブを通って案内されるとき、追跡対象デバイス２５０の軌道は、この特別な進路について検討される。デバイスの軌道に特別なハブの進路が見つかると、この進路を使用して、追跡対象デバイス２５０をハブに位置合わせすることができる。次いで、Ｘ線透視画像を使用して、Ｘ線透視に対してハブを位置合わせすることができる。ハブは、Ｘ線透視画像に対するハブの位置を突き止める助けになる、放射線不透過性マーカ又は他の識別可能な機構を含んでいる。これにより、ハブ及びＸ線透視を相互に位置合わせすることができる。ハブ及びＸ線透視を、２次的な位置合わせに組み合わせると、追跡対象デバイス２５０とＸ線透視との間の完全な位置合わせが実現する。

[0126] 図１１は、代表的な実施形態による、動的な介入的３次元モデル変形の別の方法を示している。

[0127] 図１１では、プロセスは、Ｓ１１４９において、３次元モデルに対する（相対する）追跡対象デバイスの先端の位置を決定するステップから始まる。プロセスは、Ｓ１１５０において、追跡対象デバイスの先端の位置に基づいて、仮想的な気管支鏡の図を作成するステップに進む。

[0128] Ｓ１１６０で、追跡対象デバイスは計画された進路に沿って移動し、プロセスは、Ｓ１１４９及びＳ１１５０に戻って、先端の位置及び仮想的な気管支鏡の図を更新する。

[0129] 図１１の方法は、光形状検知位置を使用して、介入的医療デバイスの先端の気管支鏡の図を表示するステップを有する。図１１の方法では、介入的医療デバイスの位置は、解剖学的モデルに対して決定され、気管支鏡の図は、介入的医療デバイスの先端の位置に基づいて作成され得る。追跡対象デバイスの固定点の位置での介入的医療デバイスの位置情報を使用して、計画された進路の最も近い場所を決定することができる。単に計画された進路と現在の進路との間の距離を計算し、誤差最小化ルーチンを実行するだけで、計画された進路に沿った介入的医療デバイスの先端の位置を決定することができる。次いで、ユーザに対して、この位置での気管支鏡の図が表示され、介入的医療デバイスが気道全体にわたって移動するにつれて、自動的に更新され得る。たとえば、コントローラによって実施される方法は、追跡対象デバイスの固定点の複数の位置のそれぞれに基づいて、仮想的な気管支鏡の図を作成するステップと、計画された進路の、追跡対象デバイスの固定点の位置に最も近い場所を決定するステップと、追跡対象デバイスが３次元モデルを通って移動するにつれて、気管支鏡の図を自動的に更新するステップとを有する。追跡対象デバイスの固定点は、追跡対象デバイスの先端であってもよい。

[0130] 図１１で取得された術前の３次元モデル上にマークされた点での、気道の気管支鏡の図の例が、図７に示されている。単に管腔だけでなく、解剖学的特徴が、図７に示されている。図１１の方法は、気道の壁のすぐ外側にあるものを追加で画像化した図を提示して、いつ気道から出るべきかについて、より適切な案内を提供することができる。気道の壁の外側にあるものの画像化は、たとえば、気道の壁のすぐ外側に大きな血管がある場合には出て行かないように、視覚的な案内を提示することによって、介入者（ｉｎｔｅｒｖｅｎｔｉｏｎｉｓｔ）を支援することができる。

[0131] 図１２は、代表的な実施形態による、動的な介入的３次元モデル変形の別の方法を示している。

[0132] 図１２では、プロセスは、Ｓ１２２２において、経路内の進路の各分岐に、３次元モデルにわたって漸増的順序であるラベルを付けるステップから始まる。

[0133] Ｓ１２２５において、追跡システム（たとえば、光形状検知）は、追跡対象デバイスを追跡するために、追跡対象デバイスに位置合わせされる。この位置合わせは、追跡要素が追跡対象デバイスの遠位の先端に固定されているなど、追跡部を追跡対象デバイスへ機械的に統合した形態に特有のものである。形状検知の場合、ハブを所定のやり方で追跡対象デバイスに固定することができ、次いで、これにより、形状検知ファイバを追跡対象デバイスに位置合わせすることができる。ただし、図１２の位置追跡は、光形状検知に限定されるものではなく、センサなどの位置追跡の他の形態もさらに、又は別法として使用される。

[0134] Ｓ１２３０で、３次元モデルが追跡対象デバイスに位置合わせされる。

[0135] 図１２のプロセスは、Ｓ１２３５において、対象者の実際の解剖学的構造に合わせて３次元モデルを更新するステップを有する。

[0136] 図１２のプロセスは、Ｓ１２４０において、３次元モデルの経路を通る計画された進路を強調表示し、追跡対象デバイスが計画された進路から離れる方向に移動すると、介入者に警告するステップを有する。

[0137] 図１２のプロセスは、Ｓ１２５２において、追跡対象デバイスが誘導されるように、追跡対象デバイスに近接する３次元モデルの経路の分岐のラベルを、ディスプレイ上に提示するステップを有する。

[0138] 図１２のプロセスは、Ｓ１２８０において、追跡対象デバイスが複数の（多数の）分岐のそれぞれに接近するときに、追跡対象デバイスの軌道に基づいて、３次元モデルの経路の複数の（多数の）分岐のそれぞれを変形させるステップを有する。

[0139] 図１２の方法では、上記で説明されているように、気道が最初にセグメント化され、計画された進路が作成される。加えて、気道のモデルの各分岐には、明確にラベルが付けられている。直感的なラベルづけ方式は、階層的であり、且つ／又は臨床的命名法に基づく。正味の効果は、視覚的に連続したコースに加えて、計画された進路が、一連の分岐の観点から通知され得ることである。図１２の方法は、気管支鏡が、形状検知ファイバ、若しくは気管支鏡が完全に追跡されるように内部に埋め込まれた、別の位置追跡の仕組み備えるという前提、形状検知されるデバイスが、気管支鏡の作業チャネルを通して提供されるという前提、又は形状検知されるデバイスが、作業チャネルを通して提供され、ハブが、形状検知されない気管支鏡を追跡するために使用されるという前提に基づいている。光形状検知ファイバが使用されるが、必ずしも必要とはされていない実施形態では、動くハブ（ｗｏｒｋｉｎｇ ｈｕｂ）が使用される。

[0140] さらに図１２の方法では、気道のモデルが、形状検出されるデバイス、気管支鏡の画像、及び／又はＸ線透視に位置合わせされ、これにより、システムは、手術の後半で、コンピュータ断層撮影から画像へ、分岐ラベルを伝達することができる。介入的医療デバイスが気道内にある限り、呼吸運動ばかりでなく患者の動きも、光形状検知又は別の位置追跡の仕組みによって追跡される。上気道は比較的硬いので、生理的な動きによる上気道の変形はより少ない。気道のモデルは、Ｘ線透視画像で見られる上気道に対するモデルの位置及び向きを初期化し、次いで追跡対象の呼吸運動／患者の動きを追って、連続的に更新することにより、実際の解剖学的構造に合わせて更新され得る。光形状検知デバイス又は別の位置追跡デバイスの場合の位置合わせをさらに支援するために、動的ハブと同様に動作する小さなデバイスが気管内に配置され、気管支鏡の場所に対する身体内の基準を提供する。

[0141] 気道のモデル及びラベルづけを使用して、図１２の方法に関与する技師は、気管支鏡を計画された進路上の次の分岐に誘導する。誘導中、気管支鏡が分岐に接近するにつれて、気管支鏡の画像に分岐ラベルが表示されるか、又は形状検出されるデバイスが作業チャネルを通って、気管支鏡自体を超えて気道の奥深くまで誘導される場合は、仮想的な気管支鏡の画像に分岐ラベルが表示される。これは、すぐに誘導の決定を行う必要があること、及びユーザが気管支鏡又は光形状検知デバイス（若しくは他の位置追跡デバイス）をどの分岐の方へ案内しなければならないかを、ユーザに指示する。

[0142] ユーザが、図１２で、気管支鏡又は光形状検知デバイス（又は他の位置追跡デバイス）を、分岐を通して誘導すると、システムは、分岐が通過されたこと、及びどの分岐を辿ったかを検出する。この決定は、コンピュータ断層撮影及びセグメント化された気道が、形状検出される気管支鏡又はデバイスに位置合わせされているので可能である。気道のモデルのこの特定のセグメントは、介入的医療デバイスの軌道に基づいて変形される。分岐のラベルの場所が、変形されたモデルに合わせて更新されることに留意されたい。さらに、変形は、変形がより少ない上気道の場所、及び辿る分岐の場所で固定される。デバイスがまだ到達していない気道の遠位セグメントは、ユーザへの残りの気道の実用的な視覚化を維持するために、近似して、新しく変形された気道のセグメントにしっかりと結合される。所望の計画された進路に基づいて正しい分岐を辿ると、首尾よく分岐を辿ったことを示すために、進路が強調表示される。それ以外の場合は、警告が与えられる。誘導が進むにつれて、現在の進路に関係のない気道は、全体的な関係を提示するために依然として見える状態で保持されながらも、見た目には徐々に強調されなくなる。さらに、ユーザが、実際の画像で通過された進路／分岐を見ることができるように、通過された各分岐が、Ｘ線透視画像でラベルづけされ得る。

[0143] 上記の一連の分岐通過及び進路強調は、対象物に到達するまで続く。図１２の手法の正味の効果は、モデルの変形が、モデル全体ではなく、計画された進路及び辿った進路だけに対処すればよく、これにより視覚的混乱がなくなり、実施がより簡単になること、ユーザが、不確実な位置合わせ及びモデルの不完全な変形が存在する場合でも正しい進路に沿って誘導することに、より大きな自信を保つこと、並びにユーザが、気管支鏡の画像、及び気管支鏡が管腔の中心にあるのか又は壁により近いのかを知ることに基づいて、位置合わせの精度を向上させることができることである。

[0144] さらに図１２の気管支鏡は、追跡しない場合でも、気管支鏡の図の分岐の位置／向きだけに基づいて、術前のセグメント化モデルに位置合わせされ得る。

[0145] 位置合わせの前に誘導を可能にするなど、３次元モデルを術中に解剖学的構造に位置合わせする、ハイブリッド手法も可能である。追跡対象の気管支鏡が気管に沿って誘導されるときに、モデルを解剖学的構造に位置合わせするのに十分な情報が追跡システムにまだない場合、気管支鏡の進路及び姿勢を推定するために、気管支鏡の画像がリアルタイムで分析され得る。次いで、気管支鏡の画像に見られる分岐を使用して、位置合わせをさらに精緻化することができる。これは、特に硬い上気道における気管支鏡の軌道の合理的な早期推定を可能にする。次いで、分岐を辿るにつれて、追跡並びに辿った分岐及び進路の情報を使用して、位置合わせが精緻化される。

[0146] 既に説明したものに代わる１つ又は複数の実施形態では、術前の３次元モデルは静止状態で保持され、その代わりに、追跡対象の介入的医療デバイスが、気管の基準、通過された進路、辿った分岐などに基づいて変形される。

[0147] 図１３は、代表的な実施形態による、動的な介入的３次元モデル変形を使用して決定された、追跡対象デバイスの現在の位置からの気道の、管腔内の図を示している。

[0148] 図１３では、放射状気管支内超音波（ＲＥＢＵＳ）カテーテルが、右主分岐に沿って小さな末梢気道内へ誘導されている。超音波トランスデューサは、超音波トランスデューサがある気道の放射状画像を作り出す。気道の壁との接触があると、画像は白く表示され、分岐した気道があると、その場所の空気によりすべての信号が失われるので、画像は黒く表示される。

[0149] 図１３の実施形態では、ＲＥＢＵＳカテーテルは、光形状検知ではなく、疑似追跡の仕組みである、超音波画像化情報を使って追跡されている。しかし、図１３に基づく実施形態では、ＲＥＢＵＳカテーテルは、超音波画像化情報と共に、光形状検知を使って追跡される。

[0150] 図１４は、代表的な実施形態による、動的な介入的３次元モデル変形の別の方法を示している。

[0151] 図１４では、プロセスは、Ｓ１４３０において、超音波画像に基づいて経路の分岐が最初に取得されると、超音波プローブと３次元モデルとを位置合わせするステップから始まる。

[0152] 図１４のプロセスは、Ｓ１４４５において、追跡対象デバイスが経路上を誘導されるように、対象者の超音波画像を連続的に取得するステップを有する。

[0153] 図１４のプロセスは、Ｓ１４５４において、超音波プローブの現在の場所を３次元モデル上に仮想的にマークし、超音波画像を連続的に取得して、超音波プローブが誘導されるように、経路の各分岐を３次元モデルに位置合わせするステップを有する。たとえば、追跡対象デバイスがどの分岐にあるかについての大まかな状況を提示するために、気道の直径が３次元モデルと比較される。さらに、図１４の実施形態では、超音波自体が追跡方法である。ただし、超音波カテーテルなどの介入的ツールは、光形状検知又は電磁気などの別の種類の追跡技術も使って追跡される。

[0154] 上記で説明されている図１４の方法では、放射状気管支内超音波（ＲＥＢＵＳ）を使用して、気道を評価して針生検を案内し、また誘導を案内して、３次元セグメント化されたモデルに対するトランスデューサの場所を決定する。（Ｒ）ＥＢＵＳで案内され追跡される誘導を使用する方法が、図１４で部分的に説明されている。（Ｒ）ＥＢＵＳプローブは、左又は右の主分岐で誘導され、超音波画像化は、（Ｒ）ＥＢＵＳプローブから連続的に取得される。図１４のような超音波画像化は、良好な画質であり、トランスデューサと気道の壁との間にエアポケットがないことを前提としている。超音波画像に最初の分岐が見られると、プローブと３次元セグメント化されたモデルとの間で、最初の位置合わせが確立される。最初の分岐は、図１３で暗い間隙として示されている。トランスデューサの現在の場所を示すために、仮想マーカが、３次元モデル上に配置される。プローブがさらに気道内に誘導されると、超音波画像が連続的に取得され、各分岐が、術前のコンピュータ断層撮影又はセグメント化された３次元モデルに位置合わせされる。さらに、分岐が視覚化されるたびに、仮想マーカの位置が３次元モデル上で更新され、超音波画像内に分岐がない場合は、場所の不確実さに関する何らかの指標を使って、仮想マーカの位置が推定され得る。

[0155] 以前の実施形態で説明されている自動ラベルづけは、図１４の実施形態と組み合わされ得る。たとえば、ＥＢＵＳトランスデューサが現在ある気道の直径及び壁の厚さが計算され、３次元モデルに戻って参照され得る。３次元画像化によって生成された３次元モデルは、すべての位置での気道の直径及び気道の壁の厚さに関する情報も含んでいる。ＲＥＢＵＳプローブと３次元モデルとの間でこの情報を位置合わせすると、トランスデューサのおおよその位置が決まる。どの分岐が通過されたかに関する追加情報を加えることで、トランスデューサの正確な場所を決定することができる。さらに、図１４及び本明細書のほとんどの実施形態の説明は、気道に着目しているが、自動ラベルづけを使用して更新される方法を含む図１４などの方法は、血管の誘導においても使用され得る。

[0156] コントローラによって実施される方法は、超音波画像を取得するために使用される超音波プローブの先端の位置を、超音波画像から経路の直径及び壁の厚さを計算し、直径及び壁の厚さを３次元モデルと比較することにより、自動的に決定するステップを有する。コントローラはまた、超音波プローブの以前の場所に基づいて、超音波プローブの先端の位置を最適化する。

[0157] 図１４では、画像内のトランスデューサに対する、分岐した気道の直径及び気道の向きを測定することにより、トランスデューサの場所及び向きがさらに精緻化され得る。トランスデューサが通過する各分岐を追跡し続けることで、どの分岐及び進路をデバイス全体が下りて行ったかに関して、より適切な評価を行うことができる。次いで、（Ｒ）ＥＢＵＳプローブ全体の仮想画像が、３次元セグメント化されたモデル上に表示され得る。

[0158] さらに、図１４では、追跡対象の（Ｒ）ＥＢＵＳに基づいて、気道の仮想的な３次元超音波画像又はロードマップが構築される。これは、術前のセグメント化モデル上に表示される。さらに、術前のモデルは、たとえば、前述の変形可能な補正技術に基づいて、仮想的な（Ｒ）ＥＢＵＳのロードマップに合致するよう更新される。

[0159] 断続的なＸ線画像も使用して、仮想マーカの場所を更新するか、又は図１４の実施形態と一致する、仮想デバイスの配置をチェックすることができる。同様に、光形状検知などの追跡は、超音波ベースの手法に組み込まれ、特に画質が低下した分岐場所での不確実性を低減する。

[0160] したがって、動的な介入的３次元モデル変形は、介入手術中の動的な誘導の補正を可能にする。動的な介入的３次元モデル変形は、Ｘ線及び超音波などの複数の相異なる画像化モード、及び肺ばかりでなく血管系も含む、ヒト対象者の複数の相異なる臓器に適用可能である。動的な介入的３次元モデル変形は、デバイス追跡製品などの既存の製品に機能として追加されてもよい。動的な介入的３次元モデル変形は、外科的切除又は組織の焼灼など、他の呼吸器科の用途にも使用されるので、肺生検について論じられている主要な用途が、絶対的な要件というわけではない。さらに、動的な介入的３次元モデル変形は、血管又は胃腸などの他の分野に適用される。さらに、動的な介入的３次元モデル変形は、形状検知ファイバのレイリー（拡張及び通常）並びにファイバブラッグの両方の実施態様ばかりでなく、かかるデバイスの手作業での手技及びロボット手技の両方に適用される。最後に、動的な介入的３次元モデル変形は、光形状検知の実施態様に加えて、デバイスのＸ線ベースの追跡とデバイスの超音波追跡との両方に適用される。

[0161] 動的な介入的３次元モデル変形が、いくつかの例示的な実施形態を参照して説明されてきたが、使用されてきた言葉は限定する言葉ではなく、説明及び例示する言葉であることを理解されたい。動的な介入的３次元モデル変形が、その態様で実施可能な範囲及び精神から逸脱することなく、ここで述べられ補正されている添付の特許請求の範囲内で、変更が加えられてもよい。特定の手段、材料、及び実施形態を参照して、動的な介入的３次元モデル変形が実施可能なものが説明されてきたが、動的な介入的３次元モデル変形が実施可能なものが、開示されている詳細に限定されることは意図しておらず、むしろ動的な介入的３次元モデル変形が実施可能なものは、添付の特許請求の範囲内にあるものなど、機能的に同等のすべての構造体、方法、及び使用法にまで広がる。

[0162] 本明細書で説明されている実施形態の図は、様々な実施形態の構造体の一般的な理解をもたらすことが意図されている。図は、本明細書で説明されている開示の要素及び特徴のすべての、完全な説明として機能することが意図されたものではない。本開示を検討すれば、他の多くの実施形態が当業者には明らかとなる。本開示の範囲から逸脱することなく、構造的且つ論理的な置換及び変更が行なわれるように、他の実施形態が利用され本開示から導き出される。さらに、図は単に典型的なものであり、原寸に比例して描かれてはいない。図中の特定の比率は誇張され、一方他の比率は最小化されている。したがって、本開示及び図は、限定的ではなく例示的と見なされるべきである。

[0163] 本開示の１つ又は複数の実施形態は、本明細書では、単に便宜上、またこの出願の範囲をどんな特定の発明又は発明の概念に自発的に限定することも意図することなく、個別に且つ／又はまとめて「発明」という用語で参照される。さらに、本明細書では特定の実施形態が例示され説明されているが、同じ又は類似の目的を達成するように設計された、後に来る任意の構成部が、示された特定の実施形態と置換されてもよいことを理解されたい。この開示は、様々な実施形態の、ありとあらゆる後に来る適合形態又は変形形態を網羅することが意図されている。本記述を検討すれば、上記の実施形態と、本明細書で具体的に説明されていない他の実施形態との組合せが、当業者には明らかとなろう。

[0164] 本開示の要約は、米国特許法施行規則第１．７２条第（ｂ）項に準拠するために提供され、特許請求の範囲又は意味を解釈又は限定するために使用されないであろうという理解の下に提出される。加えて、前述の「発明を実施するための形態」では、開示を簡素化するために、様々な特徴が１つにまとめられるか、又は単一の実施形態で説明されている。この開示は、特許請求されている実施形態が、各請求項に明示的に列挙されているものよりも多くの特徴を必要とするという意図を反映しているものと解釈されるべきではない。むしろ、添付の特許請求の範囲が反映するように、発明の主題は、開示されている実施形態のうちのいずれかの、特徴のすべてを対象としているわけではない。したがって、添付の特許請求の範囲は、「発明を実施するための形態」に組み込まれ、各請求項は、別々に特許請求される主題を定義するものとしてそれ自体で成り立つ。

[0165] 開示されている実施形態の前述の説明は、任意の当業者が、本開示で説明されている概念を実施するのを可能にするために提供されている。このように、上記で開示されている主題は、例示的であって限定的ではないと考えられるべきであり、添付の特許請求の範囲は、本開示の真の精神及び範囲に入る、すべてのかかる修正形態、改良形態、及び他の実施形態を網羅することが意図されている。したがって、法律で許容される最大限の広がりで、本開示の範囲は、添付の特許請求の範囲及びその同等物の最も広い許容可能な解釈によって決定されるべきであり、前述の詳細な記述によって限定又は制限されないものとする。

Claims (17)

1. 介入手術における誘導を支援するコントローラであって、前記コントローラが、
   命令を格納するメモリと、
   前記命令を実行するプロセッサと
   を備え、前記命令が、前記プロセッサによって実行されると、前記コントローラにプロセスを実施させ、前記プロセスが、
   前記介入手術の前に、前記介入手術の対象者の多数の分岐を有する経路をセグメント化することに基づいて生成される、３次元モデルを取得することと、
   前記介入手術中に、追跡対象デバイスの現在の位置が前記３次元モデルの前記経路の外側にあるかどうかを決定することと、
   前記追跡対象デバイスの前記現在の位置が前記３次元モデルの前記経路の外側にある場合、前記３次元モデルを、前記追跡対象デバイスの前記現在の位置に合わせて変形させることと
   を有する、コントローラ。
2. 前記プロセッサが前記命令を実行すると実施される前記プロセスが、
   前記経路内の前記追跡対象デバイスを、前記３次元モデルに位置合わせすることと、
   前記３次元モデルに対する、前記追跡対象デバイスの直前の位置と前記追跡対象デバイスの前記現在の位置との間の、オフセットを計算することと、
   前記オフセットに基づいて、前記３次元モデルを前記追跡対象デバイスの前記現在の位置に合わせて変換することと、
   前記追跡対象デバイスが新しい分岐に移動するたびに、前記追跡対象デバイスを含む前記３次元モデルの新しい各分岐を、繰り返し局所的に変形させることと
   をさらに有する、請求項１に記載のコントローラ。
3. 前記プロセッサが前記命令を実行すると実施される前記プロセスが、
   前記経路内の前記追跡対象デバイスを、前記３次元モデルに位置合わせすることと、
   前記追跡対象デバイスの前記現在の位置が、前記３次元モデルの前記経路の外側にある場合、前記追跡対象デバイスを含む前記経路の局所的な分岐だけを、又は前記追跡対象デバイスに最も近い、前記経路の２つの局所的な分岐を変形させることを有する、前記３次元モデルを変形させることと
   をさらに有し、前記経路が、肺を通り、前記追跡対象デバイスが、前記介入手術の前に前記肺内の場所に誘導される、請求項１に記載のコントローラ。
4. 前記プロセッサが前記命令を実行すると実施される前記プロセスが、前記肺が収縮しているときに、前記３次元モデルに対する、前記追跡対象デバイスの位置を追跡することをさらに有する、請求項３に記載のコントローラ。
5. 前記プロセッサが前記命令を実行すると実施される前記プロセスが、
   前記追跡対象デバイスの前記現在の位置が、前記３次元モデルの、肺を通る前記経路の外側にある場合、前記追跡対象デバイスを含む前記経路の局所的な分岐だけを、又は前記追跡対象デバイスに最も近い、前記経路の２つの局所的な分岐を変形させることを有する、前記３次元モデルを変形させることと、
   肺の運動又は肺の変形を補正するために、前記３次元モデルを、前記追跡対象デバイスの前記現在の位置に合わせて変形させることと、
   前記肺が動いている間に、前記追跡対象デバイスを連続的に追跡することと
   をさらに有する、請求項１に記載のコントローラ。
6. 前記プロセッサが前記命令を実行すると実施される前記プロセスが、
   Ｘ線画像化に基づいて、前記追跡対象デバイスを２次元で追跡することと、
   前記３次元モデルを、２次元Ｘ線画像空間に位置合わせすることと
   をさらに有する、請求項１に記載のコントローラ。
7. 前記プロセッサが前記命令を実行すると実施される前記プロセスが、
   前記追跡対象デバイスが、Ｘ線画像化に基づく前記追跡による案内の下で、前記経路を通って誘導されるように、前記３次元モデルを投影して、前記３次元モデルを前記２次元Ｘ線画像空間に重ね合わせることと、
   前記Ｘ線画像化に基づいて、Ｘ線透視画像内の前記追跡対象デバイスの場所を識別することと
   をさらに有する、請求項６に記載のコントローラ。
8. 前記プロセッサが前記命令を実行すると実施される前記プロセスが、
   前記追跡対象デバイスの固定点の位置に基づいて、仮想的な気管支鏡の図を作成することと、
   前記追跡対象デバイスの前記固定点の前記位置に最も近い、計画された進路の場所を決定することと、
   前記追跡対象デバイスが前記３次元モデルを通って移動すると、前記仮想的な気管支鏡の図を自動的に更新することと
   をさらに有する、請求項１に記載のコントローラ。
9. 前記プロセッサが前記命令を実行すると実施される前記プロセスが、
   前記経路内の進路の各分岐に、前記３次元モデルにわたって漸増的順序であるラベルを付けることと、
   前記３次元モデルを、前記追跡対象デバイスに位置合わせすることと、
   前記対象者の実際の解剖学的構造に合わせて、前記３次元モデルを更新することと、
   前記追跡対象デバイスが誘導されるように、前記追跡対象デバイスに近接する前記３次元モデルの前記経路の分岐のラベルを、ディスプレイ上に提示することと
   をさらに有する、請求項１に記載のコントローラ。
10. 前記プロセッサが前記命令を実行すると実施される前記プロセスが、
    前記追跡対象デバイスが前記多数の分岐のそれぞれに接近するときに、前記追跡対象デバイスの軌道に基づいて、前記３次元モデルの前記経路の前記多数の分岐のそれぞれを変形させること
    をさらに有する、請求項１に記載のコントローラ。
11. 前記３次元モデルの前記経路を通る、計画された進路を強調表示し、前記追跡対象デバイスが前記計画された進路から離れる方向に移動すると、ユーザに警告すること
    をさらに含む、請求項１に記載のコントローラ。
12. 前記プロセッサが前記命令を実行すると実施される前記プロセスが、
    前記追跡対象デバイスが前記経路上を誘導されるように、前記経路の超音波画像を連続的に取得することと、
    前記超音波画像に基づいて、前記経路の分岐が最初に取得されると、超音波プローブと前記３次元モデルとを位置合わせすることと、
    前記超音波プローブの現在の場所を、前記３次元モデル上に仮想的にマークし、前記超音波画像を連続的に取得して、前記超音波プローブが誘導されるように、前記経路の各分岐を前記３次元モデルに位置合わせすることと
    をさらに有する、請求項１に記載のコントローラ。
13. 前記プロセッサが前記命令を実行すると実施される前記プロセスが、
    前記追跡対象デバイスが前記経路上を誘導されるように、前記経路の超音波画像を連続的に取得することと、
    前記経路の分岐が視覚化されるたびに、前記３次元モデルに仮想的にマークすることと
    をさらに有する、請求項１に記載のコントローラ。
14. 前記プロセッサが前記命令を実行すると実施される前記プロセスが、
    前記超音波画像を取得するために使用される超音波プローブの先端の位置を、前記超音波画像から経路の直径及び壁の厚さを計算し、前記直径及び壁の厚さを前記３次元モデルと比較することにより、自動的に決定することと、
    前記超音波プローブの以前の場所に基づいて、前記超音波プローブの前記先端の前記位置を最適化することと
    をさらに有する、請求項１３に記載のコントローラ。
15. 介入手術における誘導を支援する方法であって、前記方法が、
    前記介入手術の前に、前記介入手術の対象者の多数の分岐を有する経路をセグメント化することに基づいて生成される、３次元モデルを取得するステップと、
    前記介入手術中に、プロセッサを使って命令を実行するコントローラによって、追跡対象デバイスの現在の位置が、前記３次元モデルの前記経路の外側にあるかどうかを決定するステップと、
    前記追跡対象デバイスの前記現在の位置が前記３次元モデルの前記経路の外側にある場合、前記３次元モデルを、前記追跡対象デバイスの前記現在の位置に合わせて変形させるステップと
    を有する、方法。
16. 介入手術における誘導を支援するシステムであって、前記システムが、
    前記介入手術の対象者の多数の分岐を有する経路をセグメント化することに基づく３次元モデルを、前記介入手術の前に生成する際に使用されるべき、前記介入手術の前記対象者の３次元解剖学的画像を、前記介入手術の前に生成する画像化装置と、
    命令を格納するメモリ、及び前記命令を実行するプロセッサを備えているコンピュータと
    を備え、前記命令が、前記プロセッサによって実行されると、前記システムにプロセスを実行させ、前記プロセスが、
    前記介入手術の前に生成される、前記３次元モデルを取得することと、
    追跡対象デバイスの現在の位置が、前記３次元モデルの前記経路の外側にあるかどうかを決定することと、
    前記追跡対象デバイスの前記現在の位置が前記３次元モデルの前記経路の外側にある場合、前記３次元モデルを、前記追跡対象デバイスの前記現在の位置に合わせて変形させることと
    を有する、システム。
17. 前記プロセッサが前記命令を実行すると実施される前記プロセスが、
    前記追跡対象デバイスの向きを決定し、前記追跡対象デバイスの前記向きに基づいて、前記仮想的な気管支鏡の図の視点を決定すること
    をさらに有する、請求項８に記載のコントローラ。

Images