JP2017523836A - 手術中のセグメンテーションについてのシステム及び方法 - Google Patents

Abstract

方法が、感知ツールを含む医療器具を用いて患者の解剖学的構造をナビゲートするステップを含む。この方法は、器具の位置を患者の解剖学的構造のモデルと関連付けるステップをさらに含む。この方法は、患者の解剖学的構造をナビゲートしながら、感知ツールによって得られたデータに基づいてモデルを更新するステップをさらに含む。

Description

関連出願
本特許出願は、２０１４年７月２８日に出願された、”SYSTEMS AND METHODS FOR INTRAOPERATIVE SEGMENTATION”という標題の米国仮特許出願第６２／０２９，９２７号について優先権を主張するとともに、その出願日の利益を主張するものであり、この文献は、その全体を参照することにより本明細書に組み込まれる。

本開示は、セグメンテーション(segmentation)と呼ばれるプロセスを使用して患者の解剖学的構造のモデルを作成するためのシステム及び方法を対象とし、より具体的には、医療器具を用いて患者の解剖学的構造をナビゲートする間のセグメンテーションについてのシステム及び方法を対象とする。

低侵襲性医療技術は、医療処置中に損傷を受ける組織の量を減らし、それによって患者の回復時間、不快感、及び有害な副作用を低減させることを意図している。そのような低侵襲性技術は、患者の解剖学的構造の自然オリフィスを介して、又は１つ又は複数の外科的切開部を介して行うことができる。臨床医は、これらの自然オリフィス又は切開部を介して医療ツールを挿入して、標的組織の位置に到達させることができる。医療ツールには、治療器具、診断器具、手術器具等の器具が含まれる。標的組織の位置に到達させるために、低侵襲性の医療器具は、肺、結腸、腸、腎臓、心臓、循環系等の解剖学系において自然に又は外科的に形成された通路をナビゲートさせることができる。

画像誘導手術プロセスは、典型的には、患者の標的解剖学的構造についていくつかのタイプの手術前イメージングを行うステップを含む。例えば、磁気共鳴イメージング（MRI: Magnetic Resonance Imaging）画像又はコンピュータ断層診断（CT: Computed Tomography）画像を得てもよい。手動及び／又はコンピュータソフトウェアベースのプロセスによって、画像は、色、密度、強度、及びテクスチャ(texture)等の特定の特性又は計算された特性を共有するセグメント（例えば、ピクセル又はボクセル）に区分けされる。このセグメンテーション・プロセスは、得られた画像に基づいて標的の解剖学的構造のモデルを形成する２次元又は３次元再構成をもたらす。モデルを表現するために、セグメンテーション・プロセスは、標的の解剖学的構造を表すボクセルのセットを図で表現し、次に、マーチングキューブ関数等の関数を適用して、ボクセルを取り囲む３Ｄ表面を得ることができる。

セグメンテーションは、解剖学的通路をモデリングする際に特に有用となり得る。セグメンテーション・プロセスの後に、得たモデルは、患者の解剖学的構造のセグメント化された通路を通して医療器具をナビゲートするために使用することができる。時として、患者の解剖学的構造内の様々な分岐部が、セグメンテーション・プロセスによって適切にセグメント化されないことがある。例えば、患者の解剖学的構造内に存在する一部の通路は、モデルから省略される可能性がある。あるいは、セグメンテーション・プロセスは、実際には存在しない分岐部の存在を示すことがある。従って、特定の解剖学的位置にナビゲーションするためにモデルを使用している外科医又は医療器具のオペレータは、モデルの不正確性によって阻害される可能性がある。このような問題を回避するために、正確なセグメンテーション機能を有することが望ましい。

本発明の実施形態は、以下に続く特許請求の範囲によって要約される。

一実施形態では、方法は、感知ツールを含む医療器具を用いて患者の解剖学的構造をナビゲートするステップを含む。この方法は、器具の位置を患者の解剖学的構造のモデルと関連付けるステップをさらに含む。この方法は、患者の解剖学的構造をナビゲートしながら、感知ツールによって得られたデータに基づいてモデルを更新するステップをさらに含む。

別の実施形態では、手術中のセグメンテーションについての方法は、医療器具の感知ツールを用いて、解剖学的構造内をナビゲートしながら患者の解剖学的構造のデータを取得するステップを含む。この方法は、このデータと患者の解剖学的構造のモデルとを比較するステップをさらに含む。この方法は、モデルと、そのデータによって規定される患者の解剖学的構造との間に差異があるという判定に応答して、モデルを更新するステップをさらに含む。

一実施形態では、コンピュータシステムは、プロセッサと、機械可読命令を含むメモリとを含み、機械可読命令は、プロセッサによって実行されると、システムに、患者の解剖学的構造の３次元画像にセグメント化関数を適用してモデルを作成し、患者の解剖学的構造をナビゲートしながら医療器具から位置データを受け取り、器具の位置をモデルに位置合わせし、医療器具の感知ツールから患者の解剖学的構造に関連するデータを受け取り、モデルと患者の解剖学的構造との間の差異を検出することに応答して、モデルを更新させる。

一実施形態では、手術中のセグメンテーションについての方法は、感知ツールを含む医療器具を用いて患者の解剖学的構造をナビゲートするステップを含む。この方法は、器具の位置を一般的な解剖学的モデルと関連付けるステップをさらに含む。この方法は、患者の解剖学的構造をナビゲートしながら、感知ツールによって得られたデータに基づいて、患者の解剖学的構造に適合するように一般的な解剖学的モデルを更新するステップをさらに含む。

一実施形態では、手術中のセグメンテーションについての方法は、感知ツールを含む医療器具を用いて患者の解剖学的構造をナビゲートするステップを含む。この方法は、患者の解剖学的構造をナビゲートしながら、感知ツールを使用して患者の解剖学的構造に関するデータを取得するステップをさらに含む。この方法は、データに基づいて患者の解剖学的構造のモデルをリアルタイムで構築するステップをさらに含む。この方法は、器具の位置をモデルと関連付けるステップをさらに含む。

本明細書に記載の原理の一例による例示的な遠隔操作可能な医療システムを示す図である。 本明細書に記載の原理の一例による、内視鏡視覚化システムを含む例示的な医療器具システムを示す図である。 本明細書に記載の原理の一例による患者の解剖学的構造のモデルを示す図である。 本明細書に記載の原理の一例による、内視鏡器具からの患者の解剖学的構造の画像を示す図である。 本明細書に記載の原理の一例による例示的な標的の解剖学的構造を示す図である。 本明細書に記載の原理の一例による、標的の解剖学的構造の例示的な解剖学的構造のモデルを示す図である。 解剖学的セグメンテーションのための例示的な方法を示すフローチャートである。 本明細書に記載の原理の一例による、モデルに対する手術中の変化を示す図である。 本明細書に記載の原理の一例による、時間的な位置情報に基づいたモデルの追加の通路の検出を示す図である。 本明細書に記載の原理の一例による、空間的な位置情報に基づいたモデルの追加の通路の検出を示す図である。 本明細書に記載の原理の一例による、取得された表面ポイントのセットに基づいた、モデルの追加の通路の検出を示す図である。 本明細書に記載の原理の一例による、手術中のセグメンテーションについての例示的な方法を示すフローチャートである。

本開示の態様は、添付図面と併せて確認するとき、以下の詳細な説明から最も良く理解される。この業界の一般的な慣例に従って、様々な特徴について一定の縮尺で描いていないことを強調しておく。実際には、議論を明確にするために、様々な特徴の寸法を適宜拡大又は縮小することがある。また、本開示は、様々な例において参照符号及び／又は記号を繰り返して使用し得る。この繰返しは、簡略化及び明確化を目的として行われており、議論される様々な実施形態及び／又は構成の間の関係をそれ自体で規定するものではない。

本開示の原理の理解を促す目的のために、ここで図面に示される実施形態について参照を行う。特定の用語が、図面に示される実施形態を説明するために使用される。それにもかかわらず、本開示の範囲の限定を意図するものではないことが理解されるであろう。本発明の態様の以下の詳細な説明において、多数の特定の詳細が、開示される実施形態の完全な理解を与えるために記載されている。しかしながら、本開示の実施形態が、これらの特定の詳細無しに実施し得ることは当業者には明らかであろう。他の例では、周知の方法、手順、構成要素、及び回路について、本発明の実施形態の態様を不必要に曖昧にしないように詳細に説明していない。

記載される装置、器具、方法に対するあらゆる変更及び更なる修正、並びに本開示の原理の更なる応用は、本開示に関係する当業者に通常想起されるように、完全に企図される。特に、ある実施形態に関して説明した特徴、構成要素、及び／又はステップは、本開示の他の実施形態に関して説明した特徴、構成要素、及び／又はステップと組み合わせてもよいことが完全に企図される。また、本明細書で与えられる寸法は、特定の例のためのものであり、異なるサイズ、寸法、及び／又は比率を利用して、本開示の概念を実現してもよいことが企図される。不必要な説明の繰返しを避けるために、ある例示的な実施形態に関して説明した１つ又は複数の構成要素又は動作は、他の例示的な実施形態から適用可能として使用される又は省略される。簡潔にするために、これらの組合せの多数の繰返しについて、別に説明しない。簡略化するために、いくつかの例では、同じ参照符号が、図面全体を通して同じ又は同様の部品を指すために使用される。

以下の実施形態は、３次元空間内の状態の観点から、様々な器具及び器具の部分について説明する。本明細書で使用される場合に、用語「位置」は、３次元空間（例えば、デカルト座標Ｘ，Ｙ，Ｚに沿った並進３自由度）における対象物又は対象物の一部の位置を指す。本明細書で使用される場合に、用語「向き」は、対象物又は対象物の一部の回転配置（例えば、ロール、ピッチ、及びヨーの回転３自由度）を指す。本明細書で使用される場合に、用語「姿勢」は、少なくとも１つの並進自由度における対象物又は対象物の一部の位置、及び少なくとも１つの回転自由度における対象物又は対象物の一部の向き（合計６つの自由度まで）を指す。本明細書で使用される場合に、用語「形状」は、対象物に沿って測定された姿勢、位置、又は向きのセットを指す。

図１の図面を参照すると、例えば診断、治療、又は外科的処置を含む医療処置で使用するための遠隔操作可能な医療システムが、概して参照符号１００で示されている。説明するように、本開示の遠隔操作可能な医療システムは、外科医の遠隔操作制御下にある。代替実施形態では、遠隔操作可能な医療システムは、処置又はサブ処置を行うようにプログラムされたコンピュータの部分的な制御下にあってもよい。さらに他の代替実施形態では、処置又はサブ処置を行うようにプログラムされたコンピュータの完全な制御下で完全に自動化された医療システムを使用して、処置又はサブ処置を行うことができる。

図１Ａに示されるように、遠隔操作可能な医療システム１００は、一般的に、様々な処置を患者Ｐに行う際に医療器具システム１０４を操作するための遠隔操作可能なアセンブリ１０２を含む。このアセンブリ１０２は、患者Ｐが位置付けされる手術台Ｏに又はこの近くに取り付けられる。医療器具システム１０４は、遠隔操作可能なアセンブリ１０２に動作可能に結合される。オペレータ入力システム１０６によって、外科医又は他のタイプの臨床医Ｓが、手術部位を表す画像を視認して、医療器具システム１０４の動作を制御することを可能にする。

代替実施形態では、遠隔操作可能なシステムは、複数のマニピュレータアセンブリを含んでもよい。マニピュレータアセンブリの正確な数は、数ある要因の中でも、外科的処置及び手術室内の空間制約に依存するだろう。

オペレータ入力システム１０６は、通常、手術台Ｏと同じ部屋に位置する外科医コンソールＣに配置することができる。もっとも、外科医Ｓは、患者Ｐとは異なる部屋に又は完全に異なる建物に位置し得ることを理解すべきである。オペレータ入力システム１６は、一般的に、医療器具システム１０４を制御するための１つ又は複数の制御装置（複数可）を含む。制御装置（複数可）は、ハンドグリップ、ジョイスティック、トラックボール、データグローブ、トリガーガン、手動操作制御装置、音声認識装置、タッチスクリーン、身体動き又は存在センサー等の多数の様々な入力装置のうちの１つ又は複数を含んでもよい。いくつかの実施形態では、制御装置（複数可）は、遠隔操作可能なアセンブリの医療器具と同じ自由度で提供され、外科医が手術部位に存在しているかの様に器具を直接的に制御する強い感覚を有するよう制御装置（複数可）が器具と一体化されるような知覚、テレプレゼンスを外科医に提供する。他の実施形態では、制御装置（複数可）は、関連する医療器具より多い又は少ない自由度を有しており、依然としてテレプレゼンスを外科医に提供することができる。いくつかの実施形態では、制御装置（複数可）は、６つの自由度で動く手動入力装置であり、（例えば、顎部を把持して閉じる、電位を電極に印加する、薬物療法を送達等するために）器具を作動させるための作動可能なハンドルも含み得る。

遠隔操作可能なアセンブリ１０２は、医療器具システム１０４を支持しており、１つ又は複数の非サーボ制御リンク（例えば、所定の位置に手動で位置付けされロックされ得る１つ又は複数のリンク、一般にセットアップ構造と呼ばれる）及び遠隔操作マニピュレータを含むことができる。遠隔操作可能なアセンブリ１０２は、制御システム（例えば、制御システム１１２）からのコマンドに応答して、医療器具システム１０４上の入力部を駆動させる複数のアクチュエータ又はモータを含む。モータは、医療器具システム１０４に結合された場合に、自然に又は手術によって形成された解剖学的オリフィス内に医療器具を前進させることができる駆動システムを含む。他の電動駆動システムは、医療器具の先端部を複数の自由度で動かすことができ、その複数の自由度は、３つの自由度の直線運動（例えば、Ｘ，Ｙ，Ｚ座標軸に沿った直線運動）及び３つの自由度の回転運動（例えば、Ｘ，Ｙ，Ｚ座標軸回りの回転）を含むことができる。また、モータを使用して、生検装置等の顎部で組織を把持するために、器具の関節接合可能なエンドエフェクタを作動させることができる。

遠隔操作可能な医療システム１００は、遠隔操作可能なアセンブリの器具に関する情報を受け取るための、１つ又は複数のサブシステムを有するセンサーシステム１０８も含む。このようなサブシステムは、位置センサーシステム（例えば、電磁（EM）センサーシステム）；器具システム１０４の可撓性本体に沿ったカテーテルチップ及び／又は１つ又は複数のセグメントの位置、向き、速さ、速度、姿勢、及び／又は形状を決定するための形状センサーシステム；及び／又はカテーテルシステムの先端部から画像を取り込むための視覚化システムを含むことができる。

視覚化システム（例えば、図２の視覚化システム２３１）は、手術部位の並行画像(concurrent image)又はリアルタイム画像が外科医コンソールＣに提供されるように、視野スコープ(viewing scope)アセンブリ（以下に詳述する）を含むことができる。並行画像は、例えば、手術部位内に位置付けされた内視鏡によって取り込まれた２次元又は３次元画像であってもよい。この実施形態では、視覚化システムは、医療器具１０４に一体的に又は取外し可能に結合される内視鏡の構成要素を含む。しかしながら、代替実施形態では、別のマニピュレータアセンブリに取り付けられた別個の内視鏡を医療器具と共に使用して、手術部位を撮像することができる。視覚化システムは、制御システム１１２（後述する）のプロセッサを含み得る１つ又は複数のコンピュータプロセッサと対話するか、又は他にそれらコンピュータプロセッサによって実行されるハードウェア、ファームウェア、ソフトウェア、又はこれらの組合せとして実装してもよい。

遠隔操作可能な医療システム１００は、センサーシステム１０８のサブシステムによって生成された手術部位及び医療器具システム１０４の画像又は表現を表示するための表示システム１１０も含む。オペレータが、テレプレゼンスの知覚によって医療器具システム１０４及びオペレータ入力システム１０６を制御できるように、ディスプレイ１１０及びオペレータ入力システム１０６を向き合せしてもよい。

表示システム１１０は、視覚化システムによって取り込まれた手術部位及び医療器具の画像も表示することができる。ディスプレイ１１０及び制御装置は、スコープアセンブリ内の撮像装置と医療器具との相対位置が外科医の目と手との相対位置と同様となるように向き合せされ、それによってオペレータが、あたかも実質的に真の存在下で作業空間を見ているかのように医療器具１０４及びハンド・コントロールを操作することができる。真の存在とは、提示される画像が、器具１０４を物理的に操作しているオペレータの視点をシミュレートする真の視点画像であることを意味する。

代替的に又は追加的に、ディスプレイ１１０は、コンピュータ断層撮影（CT）、磁気共鳴画像法（MRI）、蛍光透視法、サーモグラフィ、超音波、光コヒーレンストモグラフィ（OCT）、熱イメージング、インピーダンスイメージング、レーザーイメージング、又はナノチューブＸ線イメージング等の画像化技術を使用して手術前に記録及び／又はモデル化された手術部位の画像を提示することができる。提示された手術前画像は、２次元、３次元、又は４次元画像を含んでもよい。提示された手術前画像又は手術中画像は、２次元、３次元、又は４次元（例えば、時間ベース又は速度ベースの情報を含む）画像、及び画像を再生するための関連画像データセットを含んでもよい。

いくつかの実施形態では、ディスプレイ１１０は、医療器具１０４の実際の位置が手術前画像又は並行画像に位置合わせ（すなわち、動的に参照）されて、器具１０４のチップ位置の内部手術部位の仮想画像を外科医Ｓに提示する仮想ナビゲーション画像を表示することができる。外科医が医療器具を制御するのを支援するために、器具１０４のチップの画像又は他のグラフィカルインジケータ又は英数字インジケータを仮想画像に重ね合わせてもよい。あるいはまた、器具１０４は、仮想画像内で見えないことがある。

他の実施形態では、ディスプレイ１１０は、医療器具の実際の位置が手術前画像又は並行画像に位置合わせされて、外部視点からの手術部位内の医療器具の仮想画像を外科医Ｓに提示する仮想ナビゲーション画像を表示することができる。外科医が器具１０４を制御するのを支援するために、医療器具の一部の画像又は他のグラフィカルインジケータ又は英数字インジケータを仮想画像に重ね合わせてもよい。

遠隔操作可能な医療システム１００は、制御システム１１２も含む。制御システム２０は、少なくとも１つのメモリ、及び少なくとも１つのプロセッサ（図示せず）を含み、典型的には医療器具システム１０４と、オペレータ入力システム１０６と、センサーシステム１０８と、表示システム１１０との間で制御を行うための複数のプロセッサを含む。制御システム１１２は、本明細書に開示される態様に従って説明される方法の一部又は全てを実施するようにプログラムされた命令（例えば、命令を記憶するコンピュータ可読媒体）も含む。制御システム１１２が、図１の簡略化した図に単一のブロックとして示されているが、このシステムは、オプションで、処理の一部が遠隔操作可能なアセンブリ１０２で又はこのアセンブリ１０２に隣接して実行され、処理の別の部分がオペレータ入力システム１０６等で実行される２つ以上のデータ処理回路を含むことができる。多種多様の集中型又は分散型データ処理アーキテクチャのいずれかを使用してもよい。同様に、プログラムされた命令は、多数の別個のプログラムやサブルーチンとして実装してもよく、又はそれら命令は、本明細書に記載される遠隔操作可能なシステムの多数の他の態様に組み込んでもよい。一実施形態では、制御システム１１２は、ブルートゥース（登録商標）、ＩｒＤＡ、ホームＲＦ、ＩＥＥＥ８０２．１１、ＤＥＣＴ、及び無線テレメトリ等の無線通信プロトコルをサポートする。

いくつかの実施形態では、制御システム１１２は、医療器具システム１０４から力及び／又はトルクフィードバックを受け取る１つ又は複数のサーボコントローラを含むことができる。フィードバックに応答して、サーボコントローラは、オペレータ入力システム１６に信号を送信する。サーボコントローラ（複数可）は、遠隔操作可能なアセンブリ１０２に命令する信号を送信して、医療器具システム（複数可）１０４を移動させ、このシステム１０４を、患者の身体の開口部を介してこの身体の内部手術部位に延ばすことができる。任意の適切な従来の又は専用のサーボコントローラを使用してもよい。サーボコントローラは、遠隔操作可能なアセンブリ１０２とは別にしてもよく、又は一体化してもよい。いくつかの実施形態では、サーボコントローラ及び遠隔操作可能なアセンブリは、患者の身体に隣接して位置付けされた遠隔操作可能なアームカートの一部として提供される。

制御システム１１２は、医療器具システム（複数可）１０４にナビゲーション支援を提供する仮想視覚化システムをさらに含むことができる。仮想視覚化システムを使用する仮想ナビゲーションは、解剖学的通路の３次元構造に関連して取得されたデータセットを参照することに基づく。より具体的には、仮想視覚化システムは、コンピュータ断層撮影（CT）、磁気共鳴画像法（MRI）、蛍光透視法、サーモグラフィ、超音波、光コヒーレンストモグラフィ（OCT）、熱イメージング、インピーダンスイメージング、レーザーイメージング、ナノチューブＸ線イメージング等の画像化技術を使用して撮像された手術部位の画像を処理する。ソフトウェアのみ又は手動入力と組み合わせて使用され、記録された画像を、部分的又は全体的な解剖学的臓器又は解剖学的領域のセグメント化された２次元又は３次元の合成表現に変換する。画像データセットは、この合成表現に関連付けられる。合成表現及び画像データセットは、通路の様々な位置及び形状、並びにそれらの接続性を表す。合成表現を生成するために使用される画像は、臨床診断中に、手術前に又は手術中に記録することができる。代替実施形態では、仮想視覚化システムは、標準的な表現（すなわち、患者固有ではない）、又は標準的な表現及び患者固有データのハイブリッドを使用することができる。合成表現及び合成表現によって生成された任意の仮想画像は、１つ又は複数の動作段階中（例えば、肺の吸気／呼気サイクル中）の変形可能な解剖学的領域の静的姿勢を表すことができる。

仮想ナビゲーション処置の間に、センサーシステム１０８を使用して、患者の解剖学的構造に対する器具のおおよその位置を計算することができる。この位置を使用して、患者の解剖学的構造のマクロレベルの追跡画像と患者の解剖学的構造の仮想的な内部画像との両方を生成することができる。仮想視覚化システムからの画像等の手術前に記録された外科画像と一緒に医用器具を位置合わせして表示するために、光ファイバーセンサーを使用する様々なシステムが知られている。例えば、米国特許出願第１３／１０７，５６２号（２０１１年５月１３日出願）（”Medical System Providing Dynamic Registration of a Model of an
Anatomical Structure for Image-Guided Surgery”）を開示する）は、そのようなシステムの１つを開示しており、この文献は、参照によりその全体が本明細書に組み込まれる。

遠隔操作可能な医療システム１０は、照明システム、操縦制御システム、洗浄システム、及び／又は吸引システム等のオプションのオペレーション及びサポートシステム（図示せず）をさらに含むことができる。代替実施形態では、遠隔操作可能なシステムは、複数の遠隔操作可能なアセンブリ及び／又は複数のオペレータ入力システムを含んでもよい。マニピュレータアセンブリの正確な数は、数ある要因の中でも、外科的処置及び手術室内の空間的制約に依存するだろう。オペレータ入力システムを併置してもよく、又はそれらシステムを別々の位置に位置付けしてもよい。複数のオペレータ入力システムによって、複数のオペレータが１つ又は複数のマニピュレータアセンブリを種々の組合せで制御することを可能にする。

図２は、遠隔操作可能な医療システム１００の医療器具システム１０４として使用することができる医療器具システム２００を示す。あるいはまた、医療器具システム２００は、非遠隔操作の診査的処置、又は内視鏡検査等の従来の手動操作の医療器具を伴う処置で使用することができる。

器具システム２００は、器具本体２０４に結合されたカテーテルシステム２０２を含む。カテーテルシステム２０２は、基端部２１７、及び先端部又はチップ部分２１８を有する細長い可撓性カテーテル本体２１６を含む。一実施形態では、可撓性本体２１６は、約３ｍｍの外径を有する。他の可撓性本体の外径は、これよりも大きくても小さくてもよい。カテーテルシステム２０２は、必要に応じて、先端部２１８におけるカテーテルチップの及び／又は本体２１６に沿った１つ又は複数のセグメント２２４の、位置、向き、速さ、速度、姿勢、及び／又は形状を決定するための形状センサー２２２を含むことができる。先端部２１８と基端部２１７との間の本体２１６の全長を、複数のセグメント２２４に効果的に分割してもよい。器具システム２００が遠隔操作可能な医療システム１００の医療器具システム１０４である場合に、形状センサー２２２は、センサーシステム１０８の構成要素であってもよい。器具システム２００が手動操作される又は他に非遠隔操作処置で使用される場合に、形状センサー２２２を、形状センサーに問い合わせして受信した形状データを処理するような追跡システムに結合することができる。

形状センサーシステム２２２は、可撓性カテーテル本体２１６と整列した（例えば、内部チャネル（図示せず）内に設けられ又は外付けされた）光ファイバを含んでもよい。一実施形態では、光ファイバは、約２００μｍの直径を有する。他の実施形態では、この寸法は、これよりも大きくても小さくてもよい。

形状センサーシステム２２２の光ファイバは、カテーテルシステム２０２の形状を決定するための光ファイバの曲げセンサーを形成する。１つの代替形態では、ファイバブラッグ回折格子（FBGs）を含む光ファイバが、１つ又は複数の次元における構造のひずみ測定を提供するために使用される。光ファイバの形状及び相対位置を３次元で監視するための様々なシステム及び方法が、米国特許出願第１１／１８０，３８９号（２００５年７月１３日出願）（”Fiber optic position and shape sensing device and method relating thereto”を開示する）、米国特許出願第１２／０４７，０５６号（２００４年７月１６日出願）（”Fiber-optic shape and relative position sensing”を開示する）、米国特許第６，３８９，１８７号（１９９８年６月１７日出願）（”Optical Fibre Bend Sensor”を開示する）に記載されており、これらの文献は、それら全体を参照することにより本明細書に組み込まれる。代替形態では、レイリー散乱、ラマン散乱、ブリルアン散乱、及び蛍光散乱等の他のひずみ感知技術を用いるセンサーが適している。他の代替形態では、カテーテルの形状は、他の技術を用いて決定してもよい。例えば、カテーテルの先端チップ姿勢の履歴を使用して、その時間間隔に亘ったこのデバイスの形状を再構築することができる。別の例として、過去の姿勢、位置、又は向きデータは、呼吸等の交互に行われる動作サイクルに従った器具システムの既知の点として保存することができる。この保存データを使用して、カテーテルに関する形状情報を展開することができる。あるいはまた、カテーテルに沿って位置付けされたＥＭセンサー等の一連の位置センサーを、形状感知のために使用することができる。あるいはまた、処置中に器具システム上のＥＭセンサー等の位置センサーからの履歴データを使用して、特に解剖学的通路が略静止している場合には、器具の形状を表すことができる。あるいはまた、外部磁場により制御される位置又は向きを有する無線装置を、形状感知のために使用することができる。無線装置の位置の履歴を使用して、ナビゲートする通路の形状を決定することができる。

この実施形態では、光ファイバは、単一クラッド(cladding)内に複数のコアを含んでもよい。各コアは、十分な距離を有しており且つクラッドによってコアを分離するシングルモードであってもよく、それによって各コアの光は、他のコアで搬送される光と殆ど相互作用しない。他の実施形態では、コアの数は変化してもよく、又は各コアを別個の光ファイバに含めてもよい。

いくつかの実施形態では、ＦＧＢのアレイが各コア内に設けられる。各ＦＧＢは、屈折率の空間的周期性を生成するように、コアの屈折率の一連の変調を含む。各屈折率変化による部分的な反射が狭帯域の波長についてコヒーレントとなるように追加され、こうしてより広帯域を通過させながら、この狭帯域の波長のみを反射させるように、間隔が選択される。ＦＧＢの製造中に、変調によって、既知の距離だけ間隔が置かれ、こうして既知の帯域幅の波長の反射を生じさせる。しかしながら、ひずみがファイバコアに誘起された場合に、変調の間隔は、コア内のひずみ量に応じて変化する。あるいはまた、光ファイバの屈曲に伴って変化する後方散乱又は他の光学的現象を使用して、各コア内のひずみを決定することができる。

こうして、ひずみを測定するために、光をファイバに送り、戻ってくる光の特性を測定する。例えば、ＦＧＢは、ファイバのひずみとその温度との関数である反射波長を生成する。このＦＧＢ技術は、英国のブラックネルにあるSmart Fibres Ltd.等の様々な供給先から市販されている。遠隔操作可能な手術についてＦＧＢ技術の位置センサーの使用は、米国特許第７，９３０，０６５号（２００６年７月２０日出願）（”Robotic Surgery System Including Position Sensors Using Fiber Bragg
Gratings”を開示する）に記載されており、この文献は、その全体を参照することにより本明細書に組み込まれる。光ファイバを使用して、カテーテルシステム２０２の少なくとも一部の形状を監視することができる。より具体的には、光ファイバを通過する光を処理して、カテーテルシステム２０２の形状を検出するとともに、その情報を利用して外科的処置を支援する。センサーシステム（例えば、センサーシステム１０８）は、カテーテルシステム２０２の形状を決定するために使用される光を生成し且つ検出するための問合せシステムを含むことができる。次に、この情報を使用して、医療器具システムの部品の速度及び加速度等の関連する他の変数を決定することができる。センシング（感知）は、遠隔操作可能なシステムによって作動される自由度にだけ限定してもよく、又は受動（例えば、剛性部材の関節同士間の非作動状態の曲げ）及び能動（例えば、器具の作動状態の運動）の両方の自由度に適用することができる。

医療器具システムは、必要に応じて、位置センサーシステム２２０を含んでもよい。位置センサーシステム２２０は、センサー２２０を含む電磁（EM）センサーシステムの構成要素であってもよく、センサー２２０は、外部で発生した電磁場に曝される１つ又は複数の導電コイルを含む。次に、ＥＭセンサーシステム２２０の各コイルは、外部で発生した電磁場に対してコイルの位置及び向きに依存する特性を有する誘導電気信号を生成する。一実施形態では、ＥＭセンサーシステムは、６つの自由度、例えば３つの位置座標Ｘ，Ｙ，Ｚ及び基点のピッチ、ヨー、及びロールを示す３つの方位角、又は５つの自由度、例えば３つの位置座標Ｘ，Ｙ，Ｚ及び基点のピッチ及びヨーを示す２つの方位角を測定するように構成され且つ位置付けすることができる。ＥＭセンサーシステムについての更なる説明は、米国特許第６，３８０，７３２号（１９９９年８月１１日出願）（”Six-Degree of Freedom Tracking System Having a Passive Transponder
on the Object Being Tracked”を開示する）に提供されており、この文献は、その全体を参照することにより本明細書に組み込まれる。

追跡システム２３０は、先端部２１８の及び器具２００に沿った１つ又は複数のセグメント２２４の位置、向き、速さ、姿勢、及び／又は形状を決定するための位置センサーシステム２２０及び形状センサーシステム２２２を含むことができる。追跡システム２３０は、制御システム１１６のプロセッサを含み得る１つ又は複数のコンピュータプロセッサと対話するか、又は他にそれらコンピュータプロセッサによって実行されるハードウェア、ファームウェア、ソフトウェア、又はこれらの組合せとして実装してもよい。

可撓性カテーテル本体２１６は、補助器具２２６を受容するようにサイズ決め及び成形されたチャネルを含む。補助器具は、例えば、画像取込みプローブ、生検器具、レーザーアブレーション用ファイバ、又は他の外科用、診断用又は治療用ツールを含むことができる。補助ツールは、メス、ブラント(blunt)ブレード、光ファイバ、又は電極等の単一の作動部材を有するエンドエフェクタを含むことができる。他のエンドエフェクタは、例えば、鉗子、把持器、はさみ、又はクリップアプライアを含み得る。電気的に活性化されるエンドエフェクタの例には、電気外科電極、トランスデューサ、センサー等が含まれる。様々な実施形態では、補助ツール２２６は、先端部分を含む画像取込みプローブであり、このプローブは、表示するために視覚化システム２３１によって処理される画像（ビデオ画像を含む）を取り込むために、可撓性カテーテル本体２１６の先端部２１８に又はこの近くに立体視カメラ又はモノスコープカメラを含む。画像取込みプローブは、取り込んだ画像データを送信するためにカメラに結合されたケーブルを含んでもよい。あるいはまた、画像取込み器具は、視覚化システムに結合するファイバースコープ等の光ファイバ束であってもよい。画像取込み器具は、１つ又は複数の可視スペクトル、赤外スペクトル、又は紫外スペクトルで画像データを取り込む、単一スペクトル又は複数スペクトルであってもよい。

補助器具２２６は、器具の先端部を制御可能に曲げるために、器具の基端部と先端部との間に延びるケーブル、リンク機構、又は他の作動制御装置（図示せず）を収容することができる。操縦可能な器具は、米国特許第７，３１６，６８１号（２００５年１０月４日出願）（”Articulated Surgical Instrument for Performing Minimally Invasive
Surgery with Enhanced Dexterity and Sensitivity”を開示する）、及び米国特許出願第１２／２８６，６４４号（２００８年９月３０日出願）（”Passive Preload and Capstan Drive for Surgical Instruments”を開示する）に詳細に記載されており、これらの文献は、それら全体が参照により本明細書に組み込まれる。

可撓性カテーテル本体２１６は、例えば、先端部の破線表現２１９によって示されるように先端部２１８を制御可能に曲げるために、ハウジング２０４と先端部２１８との間に延びるケーブル、リンク機構、又は他の操縦制御装置（図示せず）も収容することができる。操縦可能なカテーテルは、米国特許出願第１３／２７４，２０８号（２０１１年１０月１４日出願）（”Catheter with Removable Vision Probe”を開示する）に詳細に記載されており、この文献は、その全体が参照により本明細書に組み込まれる。器具システム２００が遠隔操作可能なアセンブリによって作動される実施形態では、ハウジング２０４は、遠隔操作可能なアセンブリの電動駆動要素に取外し可能に結合され、且つ電動駆動要素から電力を受け取る駆動入力部を含むことができる。器具システム２００が手動で操作される実施形態では、ハウジング２０４は、器具システムの動きを手動で制御するための把持機構、手動アクチュエータ、又は他の構成要素を含んでもよい。カテーテルシステムは、操縦可能であってもよく、あるいはまた、システムは、器具の曲げについてオペレータ制御の統合された機構の無い操縦不能(non-steerable)であってもよい。追加的に又は代替的に、医療器具が標的手術位置で展開され使用される１つ又は複数の管腔が、可撓性本体２１６の壁に規定される。

様々な実施形態では、医療器具システム２００は、肺の検査、診断、生検、又は処置に使用するための、気管支鏡又は気管支カテーテル等の可撓性気管支器具を含んでもよい。システム２００は、結腸、腸、腎臓、脳、心臓、循環系等を含む様々な解剖学系のいずれかにおいて、自然に又は外科的に形成された接続通路を介して、他の組織のナビゲーション及び治療にも適している。

追跡システム２３０からの情報は、ナビゲーションシステム２３２に送られ、このシステム２３２では、その情報は視覚化システム２３１及び／又は手術前に取得されたモデルからの情報と組み合わされて、器具２００の制御に使用するために、外科医又は他のオペレータにリアルタイム位置情報を表示システム１１０上に提供することができる。制御システム１１６は、この位置情報を、器具２００を位置付けするためのフィードバックとして利用することができる。光ファイバーセンサーを使用して手術用器具と手術画像とを位置合わせして表示する様々なシステムが、米国特許出願第１３／１０７，５６２号（２０１１年５月１３日出願）（”Medical System Providing Dynamic Registration of a Model of an
Anatomical Structure for Image-Guided Surgery”を開示する）に提供されており、この文献は、参照によりその全体が本明細書に組み込まれる。

図２の実施形態では、器具２００は、遠隔操作可能な医療システム１００内で遠隔操作される。代替実施形態では、遠隔操作可能なアセンブリ１０２を、直接的なオペレータ制御に置き換えてもよい。直接的な操作（オペレータ）の代替案では、器具の手持ち式操作ために、様々なハンドル及びオペレータインターフェースを含めることができる。

図３Ａは、肺への外部視点からのヒト肺１５２のモデル１５１を含む合成画像１５０を示す。モデル肺１５１は、カテーテルシステム２０２等の可撓性器具の器具画像１５４と位置合わせされる。肺１５２のモデル１５１は、セグメンテーション・プロセスを使用して走査された画像（例えば、手術前ＣＴ又はＭＲＩ画像）のセットから生成される。表示システム１１０を介して合成画像１５０を表示してもよい。器具が肺１５２の気管支通路１５６を通って前進する際に、追跡システム２３０及び／又は視覚化システム２３１からの情報を使用して、器具画像１５４をモデル肺１５２と位置合わせする。肺１５２のモデル１５１の図は、例えば、吸気又は呼気の状態の肺を描写するために変化してもよい。器具画像１５４は、気管支通路１５６を通る器具の前進又は後退を描写するために変化してもよい。

図３Ｂは、ヒト肺１５２の内部画像１６０であり、器具の視点から肺の領域を示す。画像１６０は、肺１５２の図示された部分に配置される間に、器具による外科処置中に撮影された並行画像であってもよい。より具体的には、画像１６０を、視覚化システム２３１によって取り込んでもよい。あるいはまた、画像１６０は、追跡システム２３０によって決定されるような器具１２０のチップの位置に基づいて選択された手術前に記録された画像であってもよい。

図４Ａは、例示的な標的の解剖学的構造４００、具体的には患者の肺を示す図である。解剖学的構造４００は、全ての実際の分岐部及び気管支通路１５６を含む実際の患者の肺を表す。図４Ｂは、標的の解剖学的構造の例示的な解剖学的構造のモデル４１０を示す図である。モデル４１０は、走査された画像の合成が、色、強度、及びテクスチャ等の特定の特性又は計算された特性を共有するセグメント（例えば、ピクセル又はボクセル）に区分けされるセグメンテーション・プロセスによって生成される。このセグメンテーション・プロセスは、モデル４１０を形成する２次元又は３次元再構成をもたらす。モデルを表現するために、セグメンテーション・プロセスは、標的の解剖学的構造を表すボクセルのセットを描写し、次に、マーチングキューブ関数等の関数を適用して、ボクセルを取り囲む３Ｄ表面を取得する。いくつかの例では、ボリュームレンダリングを使用して、セグメント化関数を使用せずに、３次元ボリュームデータを直接的に表示することができる。これはまた、確率的なセグメンテーション結果を表示するために使用される可能性がある。例えば、マスクの値には、０と１の間の数を割り当てることができ、確率的な結果を示す。

１つの特定の例では、図４Ｃに示されるように、セグメンテーション方法４５０は、患者ＣＴ又はＭＲＩ走査等からの解剖学的画像のセットを取得するプロセス４５２を含む。プロセス４５４において、マスクモデルが、解剖学的画像のセットの３次元コンパイルによって生成される。例えば、第１の値（例えば、１）を気道に割り当て且つ第２の値（例えば、０）を周囲の組織に割り当てることによって、解剖学的通路を周囲の組織と区別することができる。特定の領域が通路又は周囲組織の領域であると断定的に決定できない場合に、不確定領域に確率値（例えば、１又は０以外の何か）を割り当ててもよい。プロセス４５６において、セグメント化された通路のメッシュモデルを作成することができる。メッシュモデルの作成の更なる詳細は、米国仮特許出願第６１／９３５，５４７号（２０１４年２月４日出願）（”Systems and Methods for Non-rigid Deformation of Tissue for Virtual
Navigation of Interventional Tools”を開示する）に記載されており、この文献は、参照によりその全体が本明細書に組み込まれる。プロセス４５８において、リンク付されたツリー構造は、米国仮特許出願第第６１／９３５，５４７号号にさらに詳細に記載されているように、メッシュモデルから生成することができる。

理想的には、モデル４１０内の気管支通路１５７は、患者の解剖学的構造４００の実際の気管支通路１５６と一致する。しかし、モデル４１０を作成するために使用される従来のセグメンテーション・プロセスは、実際の解剖学的構造に正確に一致するモデルを作成しないことがある。例えば、セグメント化関数は、実際の解剖学的構造４００に存在しない追加の通路４０４を有するモデルを作成する可能性がある。この不正確な情報に依存して、臨床医又は自動ナビゲーションシステムは、医療器具を存在しない通路を介して又はこの存在しない通路にナビゲートして標的組織に到達させる処置を計画する可能性がある。臨床医がモデル化された通路４０４の位置に到達し、実際には通路が存在しないことがわかると、臨床医は、標的組織への別のアプローチを計画しなければならない。場合によっては、セグメンテーション・プロセスは、実際の解剖学的構造内に存在する通路４０２をレンダリングすることができないことがある。この不正確な情報に依拠して、臨床医又は自動ナビゲーションシステムは、医療器具をナビゲートして標的組織に到達させるために最も有効な経路を計画することができないことがある。

実際の解剖学的構造４００と解剖学的構造のモデル４１０との間の差異は、医療ツール（例えば、医療器具２００のカテーテル２０２）を通路を通してナビゲートしている間の、外科手術中に発見され得る。以下で詳細に説明するように、実際の解剖学的構造とモデル化された解剖学的構造との間の差異は、様々な画像化方法によって、又は通路内にツールを位置させる試みによって検出することができる。例えば、解剖学的構造４００を通してツールをナビゲートしている間に、ツールは、モデル４１０に存在していない追加の通路（例えば、通路４０２）の画像を取り込み、及び／又はこの追加の通路内に入ることができる。あるいは、患者の解剖学的構造をナビゲートしている間に、ツールは、カテーテルが通過しようとする通路（例えば、通路４０４）への開口部に近づくことができる。取り込まれた画像又は通路に入ることができないことは、モデル化された通路が欠落していることを示している可能性がある。本明細書に記載の原理によれば、モデル４１０を更新して、モデル４１０と実際の解剖学的構造４００との間の差異を修正することができる。

図５は、モデルに対する手術中の変化を示す図５００である。図５は、実際の解剖学的構造５０２と解剖学的構造のモデル５０４とを示す。本実施例によれば、医療器具５０６が通路５１２にナビゲートされる際に、対応する器具の画像５０８がモデル５０４に重ねられる。モデル５０４は、実際の主通路５１２に対応する主通路のモデル５１３を含む。

器具５０６が通路５１２にナビゲートされる際に、追加の分岐部５１４が発見され得る。この例では、追加の分岐部５１４は、器具５０６を通路内に挿入する前に作成された元のモデル５０４内には存在していない。器具５０６は、器具の先端部分にセンサー５１０（例えば、イメージングシステム又は位置検出システム）を含んでおり、以下に説明する様々な方法のうちの１つによって、モデル５０４に存在していなかった追加の分岐部５１４が存在することを判定することができる。点線は、実際の解剖学的構造５０２内の追加の分岐部５１４に対応する、モデル内の新しい分岐部５１５を表す。分岐部５１５は、その分岐部５１５が元のモデル５０４の一部ではなかったので、新しい分岐部と呼ばれる。しかし、発見された後であって、モデルが更新された後に、その新しい分岐部５１５は、モデル内に存在することになる。モデルを更新するために使用されるプロセスは、以下でさらに詳細に説明するように、追加情報をセグメント化関数に再適用するステップを含むことができる。

図６ａは、時間的に統合された位置情報に基づいて、モデルに対する追加の通路の検出を示す図である。図６ｂは、空間的に統合された位置情報に基づいて、モデルに対する追加の通路の検出を示す図である。この例によれば、上述した器具２００と同様の医療器具６０２が、患者の解剖学的構造６００にナビゲートされる。医療器具６０２は、器具の先端部分の位置について時間変化値を得るための、又は器具の細長い部分の全部又は一部についての空間情報を得るためのセンサーシステム（例えば、センサーシステム１０８）を含む。医療器具から得られた時間的又は空間的データによって、器具がモデルによって示されていない通路内にいるか、又は通路内に存在していることを示す場合に、得られたデータを用いてモデルを更新することができる。

時間的データは、医療器具によって担持されるいくつかの異なるタイプの位置センサーのうちの１つ又は複数から得ることができる。医療器具（例えば、医療器具の先端部）の位置に関するこれらの時間変化値は、医療器具が横断する経路を示すために積分してもよい。本明細書に記載される原理に従って使用され得る位置センサーの１つのタイプは、ＥＭ位置センサーである。ＥＭ位置センサーは、患者の周りに生成される電場又は磁場を利用する。ＥＭ位置センサーは、特定の地点の電場を測定することにより、空間内の位置を検出することができる。あるいはまた、位置センサーは、光ファイバ形状センサーであってもよい。光ファイバ形状センサーは、カテーテルの長さに沿って配置された光ファイバを含む。光ファイバは、この光ファイバを通過する光信号に影響を与える格子を含み、その信号に基づいて光ファイバの形状を決定することができる。さらに、患者の解剖学的構造に対するファイバの固定位置を知り、及びファイバの形状を知ることによって、ファイバのチップの位置を決定することができる。使用可能な別のタイプの位置センサーは、蛍光透視法に基づく位置センサーである。そのようなセンサーは、蛍光透視画像によって容易に検出される１つ又は複数のマーカーを含む。あるいはまた、デバイスの全体の形状は、その周囲に対して十分なコントラストを有しており、それによって蛍光透視画像から形状を抽出することができる。こうして、マーカーを使用せずに、蛍光透視法を行うことができる。従って、これらのマーカーの時間変化位置は、器具が患者内に位置付けされ及び移動している間に、患者の透視画像を撮影することによって検出することができる。マーカーの位置に基づいて、器具がどこに存在している、及びどこに位置しているかを決定することができる。インピーダンスに基づく位置センサー、無線周波数に基づく位置センサー、放射線に基づく位置センサーを含む他のタイプの位置センサーも、本明細書に記載の原理に従って使用することができる。さらに、器具の経時的な位置は、通路内で取り込まれた画像による位置推定値から決定してもよい。

図６ａは、器具が主通路６０４からナビゲートされ、且つ元のモデル内に存在していなかった追加の通路６０６に入る際に、器具６０２から得られる時間情報６０８を示す。時間情報６０８は、連続する時間間隔での器具の離散位置を示す。このデータは、追加の分岐部の存在を示すことができる。いくつかの例では、時間情報は、患者の解剖学的構造の周期的運動によって引き起こされるツールの任意の周期的運動を考慮に入れてフィルタリング処理することができる。例えば、患者の呼吸によって、器具がナビゲートされている気管支通路の周期的な動きが引き起こされることがある。

空間データは、医療器具によって担持されるいくつかの異なるタイプの位置センサーのうちの１つ又は複数から得ることができる。空間データは、１回の値で医療器具のいくつかの部分の位置を提供する。本明細書に記載される原理に従って使用され得る空間データセンサーの１つのタイプは、解剖学的通路内に位置付けされる細長い器具の形状を示す光ファイバ形状センサーである。別のタイプの空間データセンサーは、デバイスに沿って位置付けされた多重位置センサー（例えば、ＥＭセンサー）である。別のタイプの空間データセンサーは、医療器具上の複数の箇所で担持される蛍光透視マーカーのセット又は蛍光透視画像で確認されるデバイスの形状であってもよい。蛍光透視マーカーのセットの各画像は、解剖学的通路内に位置付けされた細長い器具の形状の表示を提供する。取得された空間データは、追加の通路６０６の存在及び形状の表示を提供することができる。いくつかの例では、位置センサーは、レーザ距離計、飛行時間型センサー、ＯＣＴセンサー、又は深度カメラを含む距離センサーである。

図６ｂは、器具６０２が主通路６０４からナビゲートされ、且つ元のモデル内に存在していなかった追加の通路６０６内に入る際に、器具６０２から得られた空間情報６１０を示す。空間情報６１０は、１回の時間値での器具の形状又は位置データのセットの位置を示す。このデータは、追加の分岐部の存在を示すことができる。いくつかの例では、空間情報は、患者の解剖学的構造の周期的運動によって引き起こされるツールの任意の周期運動を考慮に入れてフィルタリング処理することができる。例えば、患者の呼吸によって、器具がナビゲートされている気管支通路の周期的な動きが引き起こされることがある。

時間情報６０８又は空間情報６１０を使用して、モデルを様々な方法で更新することができる。例えば、情報６０８，６１０を使用して、ボクセルをセグメンテーション・マスクに直接的に追加し、次にそれらボクセルから３次元表面を生成することができる。別の例では、情報６０８，６１０を使用して、ユーザが手動で行うときに元々使用されていたセグメンテーション・アルゴリズムにシード値(seeds)を追加することができる。シード位置は、追加の通路への開口部が解剖学的構造内に配置されるセグメンテーション・アルゴリズムを示す。これにより、セグメンテーション・アルゴリズムが、元の画像から特定の領域をより詳細に、又は異なるレベルの識別を用いて調べて、より正確なモデルを生成することができる。

図７は、取得した表面ポイントのセットに基づいた、モデルの追加の通路の検出を示す図である。この例によれば、上述した器具２００と同様の医療器具７０２が、患者の解剖学的構造６００にナビゲートされる。医療器具７０２は、センサー（例えば、センサーシステム１０８）、機械的測定装置、及び／又は外部撮像システムを使用して測定値の提供を可能にする構成要素であり得る測定装置７０３を含む。測定装置７０３を使用して、センサーの周囲の環境に関する２次元又は３次元のデータを得ることができる。データは、センサーの先端側の通路７０６の表面組織を示すデータを含むことができる。検出された通路７０６がモデルに示されていない場合に、得られたデータを使用してモデルを更新することができる。

様々な画像化技術を用いて、医療器具の先端部の周りの領域に関する実時間情報を取得することができる。一例では、測定装置７０３は、器具の先端部の近くに取り付けられた飛行時間型カメラである。飛行時間型カメラは、光の速さに基づいて距離を測定することができるレンジイメージング(range imaging)カメラシステムである。具体的には、飛行時間型カメラは、カメラと、距離が測定される特定の表面との間の光信号の飛行時間を測定する。従って、飛行時間型カメラは、測定装置７０３と通路の内面との間の距離を決定することができる。

一例では、測定装置７０３は、１つ又は複数の位置センサー、及び照明された解剖学的領域の局所的な２次元画像の時系列を取得する標準的なモノスコープ内視鏡カメラを含むことができる。これらの画像は、位置センサーの監視された動きと組み合わせることができる。器具の画像及び追跡された動きの使用によって、通路７０４の三次元構造に関する情報を得ることができる。一例では、カメラの位置は、動き（モーション）技術からの構造を用いて画像自体から決定される。このような技術は、一連の２次元画像から３次元構造を推定するステップを含む。

一例では、測定装置７０３は、注入システムと、解剖学的構造内の関心領域に蛍光不透過色素を注入するための流体リザーバとを含むことができる。次に、患者の外部の蛍光透視撮像装置によって色素が注入された領域の複数の２次元スライスを撮影することができる。場合によっては、回転Ｘ線に基づく撮像装置を用いて、色素が注入された領域の画像を撮影することができる。色素は、Ｘ線に基づくイメージングに対してより良好なコントラストを提供し、従って、色素が流れる通路のより正確な描写を提供する。次に、２次元スライス又は回転画像に基づいて３次元構造を特定することができる。

一例では、測定装置７０３は、レーザ走査装置と、１つ又は複数の位置センサーとを含む。検出された解剖学的ポイントに関するレーザ走査装置からのデータは、器具の先端チップの時間ベースの位置及び向きに基づいて時間的に積分してもよい。例えば、振幅変調走査（Ａ−走査）が、カテーテルから延びるファイバのチップから撮影することができる。Ａ−走査からの情報は、器具のチップからの位置及び向きデータを使用して時間的に積分してもよい。

一例では、測定装置７０３は、立体撮像システムであってもよい。立体内視鏡は、空間的に離して配置されレンズから２つの別個の画像を生成する。両方の画像からのデータを関連付けることによって、３次元データを構築することができる。従って、立体撮像システムは、器具７０２の先端部の周りの三次元表面を決定することができる。一例では、測定装置７０３は、構造化光イメージングシステムであってもよい。例えば、位置がオフセットされているプロジェクタは、カメラが認識する光パターンを投影する。この情報を使用して、３Ｄ表面を再構成する。

一例では、測定装置７０３は、血管内超音波（IVUS）システムであってもよい。ＩＶＵＳシステムは、超音波信号を使用して、超音波トランスデューサと周囲の組織との間の距離を測定することができる。器具７０２のチップに取り付けられたＩＶＵＳプローブを使用して通路内の環境を走査し、超音波信号を軸線方向に投影することによって通路を規定する３次元表面構造を決定することができる。１つの代替的な例では、ＩＶＵＳプローブは、前方に面する(forward facing)プローブであってもよい。ＯＣＴ（Optical
Coherence Tomography）は、干渉計を使用して微細組織構造を測定する技術である。ＯＣＴは、解剖学的通路の３Ｄ表面を測定するための距離計としても使用できる。

一例では、測定装置７０３は、ツールに基づく測定装置であってもよい。例えば、プローブと様々な表面との間の距離を測定するために、生検針を延ばすことができる。複数の測定値からのデータを使用して、器具がナビゲートされている通路の３次元表面を構築することができる。

上述したような様々なタイプの測定装置を使用して得られた様々なタイプのデータは、セグメンテーションモデルを更新するために様々な方法で使用することができる。一例では、得られたデータは、３次元点群の形態であってもよい。三次元点群は、関心のある解剖学的構造の三角メッシュ又は他の三次元表面表現に適合させるために使用することができる。いくつかの例では、３次元データを使用して、セグメンテーション・マスクに追加されるボクセルを得ることができる。これにより、関心対象の解剖学的構造のボリューム測定表現が可能になる。いくつかの例では、得られたデータを使用して、セグメント化関数のシード点を作成することができる。

いくつかの例では、得られたデータを使用して、追加の通路を伴わない方法でモデルを更新することができる。例えば、得られたデータは、特定の通路が実際にはモデル内の対応する通路によって示されるよりも広いか狭いことを示すことができる。別の例では、通路の空間的特性は、例えば、変形によるモデルへの変化を説明するために変更される。従って、このように得られたデータを使用して、医療処置中にリアルタイムでモデルを様々に変更したり、微調整したりすることができる。

図８は、手術中のセグメンテーションについての例示的な方法を示すフローチャートである。本実施例によれば、この方法は、手術前プロセス８１６及び手術中プロセス８１８を含む。手術前プロセス８１６について、方法８００は、患者の解剖学的構造の走査画像を形成するプロセス８０２を含む。これは、様々な走査機構の使用によって行うことができる。例えば、走査画像は、ＣＴ走査又はＭＲＩ走査で行ってもよい。他のイメージングシステムも同様に企図される。

方法８００は、走査画像に対してセグメント化関数を行ってモデルを作成するプロセス８０４をさらに含む。様々なセグメント化関数を用いて、モデルを作成することができる。セグメント化関数は、ユーザによって選択されたシード点のセット（集合）に依存することができる。具体的には、臨床医は、走査画像を検討し、患者の解剖学的構造内の追加の分岐部の開口部を示すシード点を手動で選択することができる。

いくつかの例では、セグメント化関数は、セグメンテーション・プロセス中に見出される可能性のある気道に確率値を割り当てることができる。確率値が閾値を上回る気道は、モデルの一部となり得る。確率値が閾値を下回る気道は、モデルの一部にならない可能性がある。しかし、以下にさらに詳細に説明するように、閾値を下回る特定の範囲内の確率値を有する気道をモデルの調整に使用することができる。

手術中プロセス８１８について、この方法は、医療器具を用いて患者の解剖学的構造をナビゲートするプロセス８０６を含む。例えば、手術の最終目標が肺生検を行うために標的点に到達させることである場合に、その標的点への予め計画された経路に沿って器具を案内することができる。プロセス８００は、器具の位置をモデルに位置合わせするプロセス８０８をさらに含む。従って、器具が患者の解剖学的構造を通ってナビゲートされるとき、器具の画像は、対応する態様でモデルに関して移動する。

方法８００は、患者の解剖学的構造とモデルとの間に差異があるかどうかを決定するためのプロセス８１０をさらに含む。これは、上述した方法の１つによって行うことができる。例えば、器具は、空間的及び時間的データを得るためのセンサーを含むことができ、又は器具は、解剖学的構造の内部の三次元表面を構築するために使用される測定値を取得することができる。このようなデータを使用して、実際の解剖学的構造がモデルと一致するかどうかを判定することができる。場合によっては、複数の解剖学的特徴を解析することができる。例えば、肺内の気道及び動脈の両方をモデルと比較して、あらゆる差異を決定することができる。さらに、場合によっては、実際の患者の解剖学的構造とモデルとの間に差異があるかどうかを判断するのに、ユーザ入力が役立ち得る。例えば、外科医は、カメラ又はＣＴ画像から見た動脈又は気道がモデルと異なることを視覚的に判断することができる。次に、外科医は、疑わしい相違する位置を指し示すことができる。

患者の解剖学的構造とモデルとの間に差異があると判定された場合に、次に、方法８００は、セグメント化関数に異なるパラメータを再適用してモデルを更新するプロセス８１２を含む。例えば、異なるパラメータは、新しい通路に対応する新しいシード点であってもよい。そのようなシード点は、通路の有無の制約を示し得る。異なるパラメータは、既知の長さ及び直径の様々な通路を示すことができる。しかしながら、患者の解剖学的構造とモデルとの間に実質的な差異がないと判定された場合に、次に、この方法は、正常な動作を継続するステップ８１４を含む。

いくつかの例では、患者の解剖学的構造が呼吸のために動く可能性があるため、モデルと感知された患者の解剖学的構造との間に差異がある場合がある。従って、呼吸周期は、その差異が患者の解剖学的構造とモデルとの間の実際の差異に関連しているかどうか、又はその差異が呼吸パターンに起因する気道の動きのみに関連するかどうかを判断するように考慮され得る。

いくつかの例では、気道に割り当てられた確率値を使用して、モデルを変更すべきかどうかを判断するのを補助することができる。例えば、閾値確率値を下回る特定の範囲内にある候補気道に追加の精査を適用することができる。そのような候補気道が実際の気道に対応する可能性があるので、センサーデータを確率データと組み合わせて、モデルの変更を行うべきかどうかを判断することができる。さらに、信頼性メトリックを異なる感知器具に適用することができる。例えば、異なる測定装置は、異なるレベルの精度を有し得る。従って、異なるタイプの測定装置からのデータは、それらの測定装置について分かっている精度に基づいて割り当てられた信頼性メトリックに基づいて重み付けしてもよい。

一例では、手術前ステップは、患者の関心対象の解剖学的構造のメタモデル(meta-model)を作成するステップを含むことができる。メタモデルは、関心対象の解剖学的構造の一般的な非患者固有のモデルであってもよい。次に、器具が通路にナビゲートされてメタモデルを実際の患者に調整する際に、関心対象のパラメータをリアルタイムで調整することができる。パラメータは、親分岐部に対する長さ、直径、相対位置、及び向きを含むことができる。そのようなパラメータは、上述した様々なセンサー及び技術を使用して得ることができる。

一例では、手術前セグメンテーションは、殆ど又は全く行われない。むしろ、セグメンテーションは、処置中にリアルタイムで行うことができる。具体的には、器具が通路にナビゲートされる際に、データを取得して、次にこのデータを使用してセグメント化関数を実行し、処置中にモデルを作成することができる。従って、モデルは、器具が解剖学的構造にナビゲートされる際に、絶えず開発されている。この場合に、ターゲットにつながる経路も、モデルの変更に応じて適応的に更新される。

いくつかの例では、走査した画像に基づいた患者の解剖学的構造のモデルから開始する代わりに、一般的な解剖学的モデルを使用することができる。肺をナビゲートする場合に、一般的なヒト肺構造を表す一般的なモデルを使用することができる。器具の感知ツールが患者の解剖学的構造と一般的な解剖学的モデルとの間の差異を検出すると、モデルは、患者の実際の解剖学的構造に適合するように更新される。これは、上述した技術を用いて行うことができる。いくつかの例では、これは、計画された経路及び一時駐機位置のセットを含むことができる。計画された経路及び一時駐機位置は、気道が見つかる可能性のある位置に基づくことができる。次に、モデルは、カテーテルが計画された経路に沿って計画された一時駐機位置に移動するときに、測定装置からのデータに基づいて更新することができる。

いくつかの例では、手術前に得られたモデルを使用しない。具体的には、器具が通路にナビゲートされ始めるときにモデルを構築することができる。例えば、感知ツールを使用して、患者の解剖学的構造に関するデータを取得することができる。そのようなデータは、様々な通路のサイズ及び形状を含むことができる。次に、患者の解剖学的構造のモデルを、データに基づいてリアルタイムで構築することができる。次に、器具の位置をモデル内の器具の画像に位置合わせするか、又は関連付けることができる。

いくつかの例では、オプションで、モデルを更新する前に、様々な測定システムによって得られたデータを医療器具のオペレータに伝達してもよい。モデルに分岐部又は通路がないと判定された場合に、器具のオペレータは、新しい情報に基づいて通知され、モデルを調整することを選択してもよく、又はモデルを更新してもしなくても、計画された処置を調整するために新しい情報を使用することを選択してもよい。あるいはまた、患者の実際の解剖学的構造内に存在するが、その解剖学的構造のモデル内には存在していない追加の分岐部又は通路の存在に基づいて、手術前モデル又はメタモデルを自動的に検出及び更新するために、データを解析することができる。具体的には、新たに発見された分岐部の位置をセグメント化関数のシード値として使用することができ、セグメント化関数を再適用することができる。

本開示のシステム及び方法は、肺の気管支接続通路に使用され得る。このシステム及び方法は、結腸、腸、腎臓、脳、心臓、循環器系を含む様々な解剖学系のいずれかにおいて、自然又は外科的に形成された接続通路を介した、他の組織のナビゲーション及び治療にも適している。本開示の方法及び実施形態は、非外科的用途にも適している。

本発明の実施形態の１つ又は複数の要素は、制御処理システム１１２等のコンピュータシステムのプロセッサ上で実行するために、ソフトウェアで実現してもよい。ソフトウェアで実現された場合に、本発明の実施形態の要素は、本質的に、必要なタスクを実行するためのコードセグメントである。伝送媒体又は通信リンクを介した搬送波で具現化されるコンピュータデータ信号によってダウンロードしてもよいプログラム又はコードセグメントは、プロセッサ可読記憶媒体又は装置に記憶することができる。プロセッサ可読記憶装置は、情報を格納することができる光媒体、半導体媒体、及び磁気媒体を含む任意の媒体を含むことができる。プロセッサ可読記憶装置の例には、電子回路；半導体装置、半導体メモリ装置、読み出し専用メモリ（ROM）、フラッシュメモリ、消去可能なプログラマブル読み出し専用メモリ（EPROM）；フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、光ディスク、ハードディスク、又は他の記憶装置が含まれる。コードセグメントは、インターネット、イントラネット等のコンピュータネットワークを介してダウンロードしてもよい。

提示されるプロセス及びディスプレイは、本質的に、特定のコンピュータ又は他の装置に関連しなくてもよいことに注意されたい。様々な汎用システムは、本明細書の教示に従ったプログラムと共に使用することができ、或いは、説明された動作を実行するために、より特化した装置を構築するほうが好都合であり得る。これらの様々なシステムに必要な構造は、特許請求の範囲の要素として表される。また、本発明の実施形態は、特定のプログラミング言語を参照して説明していない。様々なプログラミング言語を使用して、本明細書に説明される本発明の教示を実現し得ることが理解されるであろう。

本発明の特定の例示的な実施形態が、説明され且つ添付の図面に示されているが、そのような実施形態は、単に例示であり、広範な本発明に対する限定ではなく、本発明の実施形態は、様々な他の修正が当業者に想起させることができるので、図示及び説明された特定の構成及び配置に限定されるものではないことを理解すべきである。

Claims (28)

1. 手術中のセグメンテーションについての方法であって、当該方法は、
   感知ツールを含む医療器具を用いて患者の解剖学的構造をナビゲートするステップと、
   前記器具の位置を前記患者の解剖学的構造のモデルと関連付けるステップと、
   前記患者の解剖学的構造をナビゲートしながら、前記感知ツールによって得られたデータに基づいて前記モデルを更新するステップと、を含む、
   方法。
2. 前記感知ツールは、位置センサーを含む、請求項１に記載の方法。
3. 前記位置センサーは、形状センサー、電磁位置センサー、蛍光透視に基づくシステム、インピーダンスセンサー、距離センサー、及びカメラのうちの少なくとも１つを含む、請求項２に記載の方法。
4. 前記データは、空間的に積分されたデータ、及び時間的に積分されたデータのうちの少なくとも１つを含む、請求項１に記載の方法。
5. 前記モデルを更新するステップは、前記モデルと前記解剖学的構造との間の差異を検出することに応答して行われる、請求項１に記載の方法。
6. 当該方法は、前記検出された差異を前記医療器具のオペレータに伝えるステップをさらに含む、請求項５に記載の方法。
7. 前記差異は、前記医療器具に関連付けられた撮像素子が受け取ったデータからの画像解析に基づいて自動的に検出される、請求項５に記載の方法。
8. 前記モデルを更新するステップは、前記モデルと前記解剖学的構造との間の差異に関連付けられた追加のボクセルを追加又は除去するステップを含む、請求項１に記載の方法。
9. 前記モデルを更新するステップは、
   新たに発見された通路に対応する追加のシード値をセグメント化関数に追加するステップと、
   前記追加のシード値を前記セグメント化関数に再適用するステップと、を含む、請求項１に記載の方法。
10. 前記モデルを更新するステップは、通路の形状を調整するステップを含む、請求項１に記載の方法。
11. 前記モデル内の通路の形状を調整するステップは、前記医療器具上の測定ツールを用いて、前記患者の解剖学的構造の直径が、前記モデル内の通路の対応する直径と異なるという判定に応答して行われる、請求項１０に記載の方法。
12. 前記モデルを更新するステップは、前記モデル内に追加の通路を追加するステップを含む、請求項１に記載の方法。
13. 前記モデルを更新するステップは、前記モデル内の通路の位置を調整するステップと、前記モデル内の前記通路の直径を調整するステップとのうちの少なくとも１つを含む、請求項１に記載の方法。
14. 手術中のセグメンテーションについての方法であって、当該方法は、
    医療器具の感知ツールを用いて、患者の解剖学的構造内をナビゲートしながら前記解剖学的構造のデータを取得するステップと、
    前記データを前記患者の解剖学的構造のモデルと比較するステップと、
    前記モデルと、前記データによって規定される前記患者の解剖学的構造との間に差異があるという判定に応答して、前記モデルを更新するステップと、を含む
    方法。
15. 前記モデルは、前記患者の解剖学的構造の画像にセグメント化関数を適用することによって得られる、請求項１４に記載の方法。
16. 前記モデルを更新するステップは、前記モデルと前記患者の解剖学的構造との間の差異に基づいた追加のシード値を前記セグメント化関数に再適用するステップを含む、請求項１５に記載の方法。
17. 前記画像は、コンピュータ断層撮影走査を含む、請求項１５に記載の方法。
18. 前記画像は、磁気共鳴イメージング（MRI）走査を含む、請求項１５に記載の方法。
19. 前記感知ツールは、カメラを含み、前記データは、前記カメラによって得られた時間的な一連の二次元画像を含む、請求項１４に記載の方法。
20. 前記感知ツールは、前記患者の解剖学的構造の表面表現を形成するための点群を取得するためにある、請求項１４に記載の方法。
21. 前記モデルと、前記データによって規定される前記患者の解剖学的構造との間に差異があるかどうかを判定することは、前記患者の解剖学的構造の呼吸運動を考慮するステップを含む、請求項１４に記載の方法。
22. コンピュータシステムを有する手術システムであって、当該システムは、
    前記コンピュータシステムは、
    プロセッサと、
    機械可読命令を含むメモリと、を含み、前記機械可読命令は、前記プロセッサによって実行されると、当該システムに、
    患者の解剖学的構造の３次元画像にセグメント化関数を適用してモデルを作成し、
    前記患者の解剖学的構造をナビゲートしながら医療器具から位置データを受け取り、
    前記器具の位置を前記モデルに位置合わせし、
    前記医療器具の感知ツールから前記患者の解剖学的構造に関連するデータを受け取り、
    前記モデルと前記患者の解剖学的構造との間の差異を検出することに応答して、前記モデルを更新させる、
    システム。
23. 前記差異は、前記モデル内に存在していない、前記患者の解剖学的構造内の通路を含む、請求項２２に記載のシステム。
24. 前記モデルを更新するために、前記機械可読命令は、前記システムに、前記モデル内に存在していない前記通路に対応する新しいシード値を使用して、前記セグメント化関数をさらに再適用させる、請求項２３に記載のシステム。
25. 前記感知ツールを含む医療器具を有するカテーテルをさらに含む、請求項２２に記載のシステム。
26. 前記感知ツールは、飛行時間型カメラ、位置センサー、蛍光透視注入システム、レーザ走査型装置、血管内超音波装置、及び生検ツールのうちの少なくとも１つを含む、請求項２５に記載のシステム。
27. 手術中のセグメンテーションについての方法であって、当該方法は、
    感知ツールを含む医療器具を用いて患者の解剖学的構造をナビゲートするステップと、
    前記器具の位置を一般的な解剖学的モデルと関連付けるステップと、
    前記患者の解剖学的構造をナビゲートしながら、前記感知ツールによって得られたデータに基づいて、前記患者の解剖学的構造に適合するように前記一般的な解剖学的モデルを更新するステップと、を含む、
    方法。
28. 手術中のセグメンテーションについての方法であって、当該方法は、
    感知ツールを含む医療器具を用いて患者の解剖学的構造をナビゲートするステップと、
    前記患者の解剖学的構造をナビゲートしながら、前記感知ツールを使用して前記患者の解剖学的構造に関するデータを取得するステップと、
    前記データに基づいて前記患者の解剖学的構造のモデルをリアルタイムで構築するステップと、
    前記器具の位置を前記モデルと関連付けるステップと、を含む
    方法。
    

Images