JP2020536657A - ナビゲーション経路追跡用に構成されたロボットシステム - Google Patents

Abstract

特定の側面は、ナビゲーション経路の追跡のシステムおよび手法に関する。一側面では、システムは管腔ネットワークの術前モデルを表示させる。システムは、術前モデルに関連して管腔ネットワーク内の器具の位置を特定する。術前モデルに関連した器具の位置に基づいて、システムは経路追跡モードを開始するかどうかを決定する。経路追跡モードでは、システムは、表示された術前モデルに関連して器具の経路を示す視覚的な指標を表示する。視覚的な指標は、器具のナビゲーション経路を視覚化および／または術前モデルを延長するために使用される。

Description

関連出願の相互参照

本願は、２０１７年１０月１３日出願の米国仮出願第６２／５７２，２８５号および２０１８年９月２６日出願の米国出願第１６／１４３，３６２号の利益を主張し、それら全体を参照により本願に援用する。

本開示は、医療器具のナビゲーションのシステムおよび方法に関し、より具体的には、医療器具のナビゲーション経路の追跡方法およびナビゲーションシステムに関する。

内視鏡検査（例えば、気管支鏡検査）などの医療手技には、診断目的または治療目的で患者の管腔（例えば、気道）内にアクセスおよび視覚化することが含まれる。特定の手技では、内視鏡などの軟性の管状の道具や器具が患者の体内に挿入される。場合によっては、診断および／または治療目的で識別された組織部位に対して、第２の器具が内視鏡に通されることもある。

気管支鏡検査は、医師が気管支や細気管支などの患者の肺気道の内部状態を検査できる医療手技である。医療手技中に、気管支鏡として知られる薄くて柔軟な管状ツールを患者の口に挿入し、患者の喉から肺気道を経由して、後続の診断と治療のために識別された対象組織部位に向けて通してもよい。気管支鏡は、対象組織部位への経路を提供する内部管腔（「ワーキングチャネル」）を有し、カテーテルおよび種々の医療器具を、ワーキングチャネルを通して組織部位に挿入することができる。

特定の医療手技では、手術具の挿入および／または操作を制御するために手術ロボットシステムが使用される。手術ロボットシステムは、少なくとも１つのロボットアームや、手技中に手術具の位置決め制御に使用するマニピュレータアセンブリなどのその他の器具位置決め装置を有する。

ロボット対応医療システムは、腹腔鏡手技などの低侵襲手技や内視鏡手技などの非侵襲手技を含む種々の医療手技を行うために使用することができる。内視鏡手技においては、気管支鏡検査、尿管鏡検査、消化器検査などを実行するためにロボット対応医療システムを使用することができる。これらの手技においては、施術者および／またはコンピュータシステムによって、患者の管腔ネットワークを通って医療器具をナビゲートすることができる。管腔ネットワークには、複数の分岐を有する管腔（気管支ネットワークや腎臓部のネットワークなど）や単一の管腔（胃腸管など）が含まれる。ロボット対応医療システムは、管腔ネットワークを通って医療器具をガイドする（あるいはガイドを支援する）ナビゲーションシステムを有してもよい。ナビゲーションシステムは、管腔ネットワークの術前モデルに少なくとも部分的に基づいてガイドを提供することができる。

術前モデルは、管腔ネットワークの一部だけであってもよい。すなわち、管腔ネットワークは、術前モデルによって表現される部分を越えて延伸していてもよい。ただし、手技時に、施術者は術前モデルでは表現されない管腔ネットワークの部分に医療器具をナビゲートすることを望む場合もある。これは、ナビゲーションシステムによって提供されるガイドが術前モデルに少なくとも部分的に基づくものであるために難しいことがある。さらに、医療器具を術前モデルを越えてナビゲートする場合、施術者が器具の位置を追跡するのが難しいこともある。いくつかの例では、施術者は、医療器具を術前モデルを越えてナ
ビゲートすることができない場合があり、あるいは、医療器具を術前モデルを越えてナビゲートする場合に、医療器具の位置を特定することが難しいこともある。

上記の問題は、本件開示の管腔ネットワークのナビゲーションシステムおよびナビゲーション方法によって特に解決される。いくつかの実装では、本開示の手法がナビゲーション経路の追跡を提供する。ナビゲーション経路の追跡は、医療器具の位置（また過去の位置）を示す経時的な経路（例えばブレッドクラム）を提供する。経時的な経路は施術者に表示され、施術者は術前モデルでは表現されない管腔ネットワークの部分を視覚化することが可能になる。ナビゲーション経路の追跡は、術前モデルを越える管腔ネットワークの部分において提供することができる。いくつかの例では、ナビゲーション経路の追跡を用いて、術前モデルを延長することができる。いくつかの例では、ナビゲーション経路の追跡を、術前モデルによって表現される管腔ネットワーク内に用いることもできる。

本件開示のシステム、方法および装置には、それぞれいくつかの革新的な側面があり、いずれも本明細書に開示する所望の特徴を単独で担うものではない。

したがって、第１の側面は、命令が記憶された非一時的なコンピュータ可読記憶媒体であって、命令が実行されると、装置のプロセッサに少なくとも、 患者の管腔ネットワークのマッピングされた部分に対応する術前モデルを、ユーザディスプレイに表示することと、前記術前モデルの前記マッピングされた部分に関連する、前記管腔ネットワーク内に位置する器具の遠位端の位置を特定することと、前記術前モデルの前記マッピングされた部分に関連する前記器具の前記遠位端の前記位置に基づいて、経路追跡モードを開始することと、前記経路追跡モード時に、前記表示された術前モデルに対する前記器具の前記遠位端の経路を示す視覚的な指標を前記ユーザディスプレイに表示することと、を実行させる非一時的なコンピュータ可読記憶媒体に関する。

また、第１の側面では、以下の１つまたは複数の特徴を任意に組み合わせてもよい。（ａ）前記命令は、前記装置の前記プロセッサに、前記器具の前記遠位端の前記位置が前記術前モデルの前記マッピングされた部分の外側にある場合に、前記経路追跡モードを開示すること、を実行させる。（ｂ）前記命令は、前記装置の前記プロセッサに、前記器具の前記遠位端の前記位置が前記術前モデルの前記マッピングされた部分の内側にある場合に、前記経路追跡モードを無効にすること、を実行させる。（ｃ）前記命令は、前記装置の前記プロセッサに、前記器具の前記遠位端の前記位置が前記術前モデルの最後のセグメントの端部の２５％、２０％、１５％１０％または５％の部分の内側にある場合に、前記経路追跡モードを開始すること、を実行させる。（ｄ）前記視覚的な指標は、前記管腔ネットワーク内における前記器具の前記遠位端の経時的な位置を示す。（ｅ）前記経路追跡モード時に、前記命令は、前記装置の前記プロセッサに、前記視覚的な指標間の前記器具の移動距離に基づいて、前記視覚的な指標の頻度を調整すること、を実行させる。（ｆ）前記経路追跡モード時に、前記命令は、前記装置の前記プロセッサに、前記視覚的な指標間の経過時間に基づいて、前記視覚的な指標の頻度を調整すること、を実行させる。（ｇ）前記命令は、前記装置の前記プロセッサに、前記器具の前記遠位端の前記位置が前記術前モデルの前記マッピングされた部分の内側にある場合に、複数のナビゲーションモダリティに基づいて前記器具の前記遠位端の前記位置を特定すること、を実行させる。（ｈ）前記複数のナビゲーションモダリティは、複数の術前モデルデータ、視覚データ、位置センサデータ、ロボットコマンドおよび運動学データを有する。（ｉ）前記命令は、前記装置の前記プロセッサに、前記器具が前記術前モデルの前記マッピングされた部分の外側にある場合に、前記複数のナビゲーションモダリティに基づかずに前記器具の前記遠位端の前記位置を特定すること、を実行させる。（ｊ）前記命令は、前記装置の前記プロセッサに、前記器具が前記術前モデルの前記マッピングされた部分の外側にある場合に、電磁センサから受信する電磁データに基づいて前記器具の前記遠位端の前記位置を特定すること、
を実行させる。（ｋ）前記命令は、前記装置の前記プロセッサに、前記器具が前記術前モデルの前記マッピングされた部分の外側にある場合に、視覚データとロボットコマンドおよび運動学データとの組み合わせに基づいて前記器具の前記遠位端の前記位置を特定すること、を実行させる。（ｌ）前記命令は、前記装置の前記プロセッサに、視覚データを前記視覚的な指標と関連付けること、を実行させる。（ｍ）前記視覚データは、前記器具の前記遠位端にある画像処理装置から受信する画像を含む。（ｎ）前記命令は、前記装置の前記プロセッサに、ロボットコマンドおよび運動学データを前記視覚的な指標と関連付けること、を実行させる。（ｏ）前記命令は、前記装置の前記プロセッサに、ユーザ入力からのユーザ入力データを受信することと、前記ユーザ入力データを前記視覚的な指標と関連付けることと、
を実行させる。（ｐ）前記ユーザ入力データは、管腔内の移動分の指標と、管腔内の未移動分の指標と、管腔の端部の指標と、管腔の開口の指標と、現在の管腔が前記器具の現在位置よりも延伸していることの指標と、管腔の直径と、の１つまたは複数を含む。（ｑ）前記命令は、前記装置の前記プロセッサに、前記視覚的な指標に幾何学的構造を適合させて、前記管腔ネットワークの前記マッピングされた部分の外側にある前記管腔ネットワークの管腔の視覚表示を提供すること、を実行させる。（ｒ）前記管腔ネットワークは、管腔の分岐ネットワークを含む。（ｓ）前記管腔ネットワークは、単一の管腔を含む。

第２の側面は、管腔ネットワークのナビゲーションを行うロボットシステムであって、細長い本体と前記細長い本体の遠位端に配置されたセンサとを有する器具と、実行可能な命令が記憶された少なくとも１つのコンピュータ可読メモリと、前記少なくとも１つのコンピュータ可読メモリと通信する１つまたは複数のプロセッサであって、前記命令を実行して前記システムに少なくとも、前記管腔ネットワークのマッピングされた部分の術前モデルにアクセスして、前記術前モデルをユーザディスプレイに表示することと、前記センサを使用して、前記術前モデルに関連する、前記管腔ネットワーク内における前記器具の前記遠位端の位置を特定することと、前記術前モデルに関連する前記特定された位置に基づいて、前記器具の前記遠位端が前記管腔ネットワークの前記マッピングされた部分を超えて移動したことを検出することと、前記器具の前記遠位端が前記管腔ネットワークの前記マッピングされた部分を超えて移動した場合に、前記表示された術前モデルに対する前記器具の前記遠位端の位置を示す視覚的な指標を前記ユーザディスプレイに表示することと、を実行させる、１つまたは複数のプロセッサと、を有することを特徴とするシステムに関する。

また、第２の側面では、以下の１つまたは複数の特徴を任意に組み合わせてもよい。（ａ）前記１つまたは複数のプロセッサは、前記命令を実行して前記システムに、前記センサの座標系と前記術前モデルの座標系を登録すること、を実行させる（ｂ）電磁場を生成する場発生器、そして、前記センサは電磁センサであり、前記１つまたは複数のプロセッサは、前記命令を実行して前記システムに、前記電磁場内の前記電磁センサの位置を特定すること、を実行させる。（ｃ）前記センサは形状感知ファイバである。（ｄ）前記１つまたは複数のプロセッサは、前記命令を実行して前記システムに、前記管腔ネットワーク内で前記器具を移動させること、を実行させる。（ｅ）前記１つまたは複数のプロセッサは、前記命令を実行して前記システムに、前記器具の前記遠位端の前記位置が前記管腔ネットワークの前記マッピングされた部分に移動した場合を検出することと、前記器具の前記遠位端が前記管腔ネットワークの前記マッピングされた部分の内側に位置する場合に、前記視覚的な指標の表示を停止することと、を実行させる。（ｆ）前記視覚的な指標は、前記管腔ネットワーク内の前記器具の前記遠位端の経時的な位置を示す。（ｇ）前記命令は、前記１つまたは複数のプロセッサに、前記視覚的な指標間の前記器具の移動距離に基づいて、前記視覚的な指標の頻度を調整すること、を実行させる。（ｈ）前記命令は、前記１つまたは複数のプロセッサに、前記視覚的な指標間の経過時間に基づいて、前記視覚的な指標の頻度を調整すること、を実行させる。（ｉ）前記命令は、前記１つまたは複数
のプロセッサに、前記器具が前記術前モデルの前記マッピングされた部分の内側に位置する場合に、複数のナビゲーションモダリティに基づいて前記器具の前記遠位端の前記位置を特定すること、を実行させる。（ｊ）前記複数のナビゲーションモダリティは、複数の術前モデルデータ、視覚データ、位置センサデータ、ロボットコマンドおよび運動学データを有する。（ｋ）前記命令は、前記１つまたは複数のプロセッサに、前記器具が前記術前モデルの前記マッピングされた部分の外側にある場合に、前記複数のナビゲーションモダリティに基づかずに前記器具の前記遠位端の前記位置を特定すること、を実行させる。（ｌ）前記命令は、前記１つまたは複数のプロセッサに、前記器具が前記術前モデルの前記マッピングされた部分の外側にある場合に、視覚データとロボットコマンドおよび運動学データとの組み合わせに基づいて前記器具の前記遠位端の前記位置を特定すること、を実行させる。（ｍ）前記命令は、前記１つまたは複数のプロセッサに、視覚データを前記視覚的な指標と関連付けること、を実行させる。（ｎ）前記視覚データは、前記器具の前記遠位端にある画像処理装置から受信する画像を含む。（ｏ）前記命令は、前記１つまたは複数のプロセッサに、ロボットコマンドおよび運動学データを前記視覚的な指標と関連付けること、を実行させる。（ｐ）前記命令は、前記１つまたは複数のプロセッサに、ユーザ入力からのユーザ入力データを受信することと、前記ユーザ入力データを前記視覚的な指標と関連付けることと、を実行させる。（ｑ）前記ユーザ入力データは、管腔内の移動分の指標と、管腔内の未移動分の指標と、管腔の端部の指標と、管腔の開口の指標と、現在の管腔が前記器具の現在位置よりも延伸していることの指標と、管腔の直径と、の１つまたは複数を含む。（ｒ）前記命令は、前記１つまたは複数のプロセッサに、前記視覚的な指標に幾何学的構造を適合させて、前記管腔ネットワークの前記マッピングされた部分の外側にある前記管腔ネットワークの管腔の視覚表示を提供すること、を実行させる。（ｓ）前記管腔ネットワークは、管腔の分岐ネットワークを含む。（ｔ）前記管腔ネットワークは、単一の管腔を含む。（ｕ）前記器具は、内視鏡を含む。（ｖ）器具位置決め装置、そして、前記器具は、前記器具位置決め装置に取り付けられる。（ｗ）前記器具位置決め装置は、ロボットアームを含む。

第３の側面は、管腔ネットワーク内の器具のナビゲーション経路を特定する方法であって、管腔ネットワークのマッピングされた部分に対応する術前モデルを、ユーザインタフェースに表示することと、前記管腔ネットワークの前記マッピングされた部分に関連する、前記管腔ネットワーク内の器具の遠位端の位置を特定することと、前記管腔ネットワーク内で前記器具を移動することと、前記器具の前記遠位端が前記管腔ネットワークの前記マッピングされた部分を越えて前記管腔ネットワークのマッピングされていない部分に移動した場合に、経路追跡モードを開始することと、前記経路追跡モード時に、前記管腔ネットワークの前記マッピングされた部分の前記術前モデルに関連する、前記管腔ネットワークの前記マッピングされていない部分の前記器具の前記遠位端の経路の視覚的な指標を表示することと、を含むことを特徴とする方法に関する。

また、第３の側面では、以下の１つまたは複数の特徴を任意に組み合わせてもよい。（ａ）前記器具の前記遠位端の前記位置が前記管腔ネットワークの前記マッピングされた部分に移動した場合を検出することと、前記器具の前記遠位端が前記管腔ネットワークの前記マッピングされた部分の内側に位置する場合に、前記視覚的な指標の表示を停止することと、を含む。（ｂ）前記視覚的な指標は、前記管腔ネットワーク内の前記器具の前記遠位端の経時的な位置を示す。（ｃ）前記視覚的な指標間の前記器具の移動距離に基づいて、前記視覚的な指標の頻度を調整する。（ｄ）前記視覚的な指標間の経過時間に基づいて、前記視覚的な指標の頻度を調整する。（ｅ）前記器具が前記術前モデルの前記マッピングされた部分の内側に位置する場合に、前記器具の前記遠位端の前記位置を特定することは、複数のナビゲーションモダリティに基づく。（ｆ）前記複数のナビゲーションモダリティは、複数の術前モデルデータ、視覚データ、位置センサデータ、ロボットコマンドおよび運動学データを有する。（ｇ）前記器具が前記術前モデルの前記マッピングされた部
分の外側にある場合に、前記器具の前記遠位端の前記位置を特定することは、前記複数のナビゲーションモダリティに基づかない。（ｈ）前記器具が前記術前モデルの前記マッピングされた部分の外側にある場合に、前記器具の前記遠位端の前記位置を特定することは、電磁センサから受信する電磁データに基づく。（ｉ）前記器具が前記術前モデルの前記マッピングされた部分の外側にある場合に、前記器具の前記遠位端の前記位置を特定することは、視覚データとロボットコマンドおよび運動学データとの組み合わせに基づく。（ｊ）視覚データを前記視覚的な指標と関連付けること。（ｋ）前記視覚データは、前記器具の前記遠位端にある画像処理装置から受信する画像を含む。（ｌ）ロボットコマンドおよび運動学データを前記視覚的な指標と関連付ける。（ｍ）ユーザ入力からのユーザ入力データを受信することと、前記ユーザ入力データを前記視覚的な指標と関連付けることと、を含む。（ｎ）前記ユーザ入力データは、管腔内の移動分の指標と、管腔内の未移動分の指標と、管腔の端部の指標と、管腔の開口の指標と、現在の管腔が前記器具の現在位置よりも延伸していることの指標と、管腔の直径と、の１つまたは複数を含む。（ｏ）前記視覚的な指標に幾何学的構造を適合させて、前記管腔ネットワークの前記マッピングされた部分の外側にある前記管腔ネットワークの管腔の視覚表示を提供すること。（ｐ）前記管腔ネットワークは、管腔の分岐ネットワーク。（ｑ）前記管腔ネットワークは、単一の管腔を含む。

第４の側面は、命令が記憶された非一時的なコンピュータ可読記憶媒体であって、前記命令が実行されると、装置のプロセッサに少なくとも、患者の管腔ネットワークのマッピングされた部分に対応する術前モデルを、ユーザディスプレイに表示することと、前記術前モデルに関連する、前記管腔ネットワーク内に位置する器具の遠位端の位置を特定することと、前記器具の前記遠位端の前記位置が前記管腔ネットワークの前記マッピングされた部分を越えて移動した場合を検出することと、前記器具の前記遠位端が前記管腔ネットワークの前記マッピングされた部分の外側に位置する場合に、前記表示された術前モデルに対する前記器具の前記遠位端の前記位置を示す視覚的な指標を表示することと、を実行させることを特徴とする非一時的なコンピュータ可読記憶媒体に関する。

また、第４の側面では、以下の１つまたは複数の特徴を任意に組み合わせてもよい。（ａ）前記命令は、前記装置の前記プロセッサに、前記器具の前記遠位端の前記位置が前記管腔ネットワークの前記マッピングされた部分に移動した場合を検出することと、前記器具の前記遠位端が前記管腔ネットワークの前記マッピングされた部分の内側に位置する場合に、前記視覚的な指標の表示を停止することと、を実行させる。（ｂ）前記視覚的な指標は、前記管腔ネットワーク内の前記器具の前記遠位端の経時的な位置を示す。（ｃ）前記命令は、前記装置の前記プロセッサに、前記視覚的な指標間の前記器具の移動距離に基づいて、前記視覚的な指標の頻度を調整すること、を実行させる。（ｄ）前記命令は、前記装置の前記プロセッサに、前記視覚的な指標間の経過時間に基づいて、前記視覚的な指標の頻度を調整すること、を実行させる。（ｅ）前記命令は、前記装置の前記プロセッサに、前記器具が前記術前モデルの前記マッピングされた部分の内側に位置する場合に、複数のナビゲーションモダリティに基づいて前記器具の前記遠位端の前記位置を特定すること、を実行させる。（ｆ）前記複数のナビゲーションモダリティは、複数の術前モデルデータ、視覚データ、位置センサデータ、ロボットコマンドおよび運動学データを有する。（ｇ）前記命令は、前記装置の前記プロセッサに、前記器具が前記術前モデルの前記マッピングされた部分の外側にある場合に、前記複数のナビゲーションモダリティに基づかずに前記器具の前記遠位端の前記位置を特定すること、を実行させる。（ｈ）前記命令は、前記装置の前記プロセッサに、前記器具が前記術前モデルの前記マッピングされた部分の外側にある場合に、電磁センサから受信する電磁データに基づいて前記器具の前記遠位端の前記位置を特定すること、を実行させる。（ｉ）前記命令は、前記装置の前記プロセッサに、前記器具が前記術前モデルの前記マッピングされた部分の外側にある場合に、視覚データとロボットコマンドおよび運動学データとの組み合わせに基づいて前記器具の前記
遠位端の前記位置を特定すること、を実行させる。（ｊ）前記命令は、前記装置の前記プロセッサに、視覚データを前記視覚的な指標と関連付けること、を実行させる。（ｋ）前記視覚データは、前記器具の前記遠位端にある画像処理装置から受信する画像を含む。（ｌ）前記命令は、前記装置の前記プロセッサに、ロボットコマンドおよび運動学データを前記視覚的な指標と関連付けること、を実行させる。（ｍ）前記命令は、前記装置の前記プロセッサに、ユーザ入力からのユーザ入力データを受信することと、前記ユーザ入力データを前記視覚的な指標と関連付けることと、を実行させる。（ｎ）前記ユーザ入力データは、管腔内の移動分の指標と、管腔内の未移動分の指標と、管腔の端部の指標と、管腔の開口の指標と、現在の管腔が前記器具の現在位置よりも延伸していることの指標と、管腔の直径と、の１つまたは複数を含む。（ｏ）前記命令は、前記装置の前記プロセッサに、前記視覚的な指標に幾何学的構造を適合させて、前記管腔ネットワークの前記マッピングされた部分の外側にある前記管腔ネットワークの管腔の視覚表示を提供すること、を実行させる。（ｐ）前記管腔ネットワークは、管腔の分岐ネットワークを含む。（ｑ）前記管腔ネットワークは、単一の管腔を含む。

本件開示の側面について、添付の図面および表と共に以下に説明するが、例示であって開示の側面を限定するものではなく、同様の構成要素には同様の名称を付す。

気管支鏡検査手技の診断および／または治療用に構成されたカートベースのロボットシステムの一実施形態を示す図である。 図１のロボットシステムの別の側面を示す図である。 尿管鏡検査用に構成された図１のロボットシステムの一実施形態を示す図である。 血管手技用に構成された図１のロボットシステムの一実施形態を示す図である。 気管支鏡検査手技用に構成されたテーブルベースのロボットシステムの一実施形態を示す図である。 図５のロボットシステムの代替の図である。 ロボットアームを収容するように構成されたシステムの一例を示す図である。 尿管鏡検査用に構成されたテーブルベースのロボットシステムの一実施形態を示す図である。 腹腔鏡検査用に構成されたテーブルベースのロボットシステムの一実施形態を示す図である。 ピッチ調整または傾き調整された図５〜９のテーブルベースのロボットシステムの一実施形態を示す図である。 図５〜１０のテーブルベースのロボットシステムのテーブルとカラムとの間のインタフェースの詳細図である。 例示的な器具駆動部を示す図である。 組になった器具駆動部を有する例示的な医療器具を示す図である。 駆動ユニットの軸が器具の細長いシャフトの軸と平行である、器具駆動部および器具の代替の設計を示す図である。 実施形態の一例における、図１３や１４の器具の位置など、図１〜１０のロボットシステム１つまたは複数の要素の位置を推定する位置決めシステムを示すブロック図である。 ロボット制御医療器具によるナビゲーションが可能な管腔ネットワークの一例を示す図である。 図１６の管腔ネットワークの術前モデルの一例を示す図である。 図１６の管腔ネットワークに重畳される図１７の術前モデルの図であり、術前モデルが管腔ネットワークのマッピングされた部分に対応することを示す図である。 管腔ネットワーク内をナビゲートされる医療器具の一例を示す図である。 医療器具の一例の遠位端の詳細図を示す図である。 医療器具の位置を特定するための電磁システムの一例の特定の構成要素を示す図である。 一実施形態における、医療ロボットシステムの一例のディスプレイを有するコマンドコンソールの一例を示す図である。 特定のロボットシステムに実行可能なナビゲーション経路の追跡方法の一例を示すフローチャートである。 特定のナビゲーション経路の追跡方法の一部である、管腔ネットワークにおける器具の位置の特定方法の一例を示すフローチャートである。 管腔ネットワークにおける器具のナビゲーション経路の特定方法の一例を示すフローチャートである。 ナビゲーション経路追跡システムの出力の一例を示す図である。 ナビゲーション経路追跡システムの出力の別の例を示す図である。 ナビゲーション経路追跡システムの出力の別の例を示し、ナビゲーション経路追跡システムを使用して術前モデルを延長することを示す図である。

（１．はじめに）
本件開示の側面は、腹腔鏡検査などの低侵襲の手技や内視鏡検査などの非侵襲の手技を含む種々の医療手技を実行可能なロボット対応医療システムに組み込むことができる。内視鏡検査の手技においては、本システムは、気管支鏡検査、尿管鏡検査、消化器病検査などを実行することができる。

本システムは、さまざまな手技を実行できることに加えて、術者を支援する強化された画像取得や誘導など、追加の利点を提供することができる。また、本システムは、扱いにくいアームの動きや位置などに対応する必要なく、人工工学による位置から手技を行うことが可能な機能を術者に提供することができる。さらに、本システムは、システムの１つまたは複数の器具を１人のユーザで制御可能な使いやすさが向上した手技を行うことが可能な機能を術者に提供することができる。

以下に、例示目的の図面とともに種々の実施形態について説明する。開示の技術的思想のその他多数の実装が可能であり、さまざまな利点が開示の実装と共に得られる。また、ここには、参照用および多数の節の位置がわかるように見出しが含まれている。これらの見出しは、見出しが示す技術思想の範囲を制限するものではない。それぞれの技術思想は本明細書全体にわたって適用されてよい。

（Ａ．ロボットシステム−カート）
ロボット対応医療システムは、特定手技に応じてさまざまに構成することができる。図１は、気管支鏡検査の診断手技および／または治療樹技用に配置されたカートベースのロボット対応システム１０の一実施形態を示す。気管支検査時に、システム１０は、気管支鏡検査用の手技に特化した気管支鏡を自然開口のアクセスポイント（この例ではテーブルに配置された患者の口など）に操作可能な内視鏡１３などの医療器具を搬送して診断用の道具および／または治療用の道具を搬送するための、１つまたは複数のロボットアーム１２を有するカート１１を備える。図に示すように、カート１１は、当該アクセスポイントにアクセスするために、患者の上半身に近い位置に配置されている。同様に、ロボットアーム１２は、当該アクセスポイントに対して気管支鏡を配置するように作動可能である。図１に示す配置は、胃腸に関する（ＧＩ；gastro-intestinal）手技用の特別な内視鏡で
ある胃鏡を用いた胃腸に関する手技を行うときにも使用できる。図２は、カートの一例で
ある実施形態をより詳細に示す。

引き続き図１を参照すると、カート１１が適切に位置決めされると、ロボットアーム１２は操縦可能な内視鏡１３を患者に、ロボットにより、手動により、またはそれらの組み合わせにより挿入することができる。図示のように、操縦可能な内視鏡１３は内側リーダ部分および外部シース部分などの少なくとも２つの入れ子式部分を備えることができ、各部分は器具ドライバ２８のセットから別個の器具ドライバに結合され、各器具ドライバは個々のロボットアームの遠位端に結合される。リーダ部分をシース部分と同軸に位置合わせすることを容易にする、器具ドライバ２８のこの線形配置は、１つ以上のロボットアーム１２を異なる角度および／または位置に操作することによって、空間内で再配置され得る「仮想レール」２９を作成する。本明細書で説明する仮想レールは破線を使用して図示され、したがって、破線はシステムのいかなる物理的構造も示さない。仮想レール２９に沿った器具ドライバ２８の移動は外部シース部分に対して内側リーダ部分を入れ子式にし、または内視鏡１３を患者から前進または後退させる。仮想レール２９の角度は、臨床用途または医師の好みに基づいて、調整、移動、および旋回されてもよい。例えば、気管支鏡検査では、図示のような仮想レール２９の角度および位置が内視鏡１３を患者の口内に曲げることに起因する摩擦を最小限に抑えながら、内視鏡１３への医師のアクセスを提供することの折衷案を表す。

内視鏡１３は、挿入後、ロボットシステムからの正確なコマンドを使用して、目標位置または手術部位に到達するまで、患者の気管および肺に向けられ得る。患者の肺ネットワークを通るナビゲーションを強化し、かつ／または所望の標的に到達するために、内視鏡１３を操作して、外部シース部分から内側リーダ部分を入れ子式に延ばして、関節動作を強化し、曲げ半径を大きくすることができる。別個の器具ドライバ２８の使用はまた、リーダ部分およびシース部分が、互いに独立して駆動されることを可能にする。

例えば、内視鏡１３は例えば、患者の肺内の病変または結節などの標的に生検針を送達するように指示されてもよい。針は病理学者によって解析されるべき組織サンプルを得るために、内視鏡の長さにわたるワーキングチャネルに沿って展開され得る。病理学的結果に応じて、追加のツールが追加の生検のために、内視鏡のワーキングチャネルの下方に配置されてもよい。悪性である結節を同定した後、内視鏡１３は、潜在的に癌性の組織を切除するためのツールを内視鏡的に送達し得る。いくつかの例において、診断および治療手技は、別々の手続で送達される必要があり得る。これらの状況では、内視鏡１３はまた、基準を送達して、対象結節の位置を「マーキング」するために使用され得る。他の例において、診断および治療手技は、同じ手順の間に送達され得る。

システム１０はまた、可動タワー３０を含むことができ、このタワー３０は、支持ケーブルを介してカート１１に接続されて、カート１１に対する制御、電子機器、流体工学、光学系、センサ、および／または電力のためのサポートを提供することができる。このような機能をタワー３０内に配置することにより、より小さなフォームファクタのカート１１が可能になり、これは、手術医師およびそのスタッフによって、より容易に調整および／または再配置され得る。さらに、カート／テーブルと支持タワー３０との間の機能の分割は手術室の混乱を低減し、臨床作業の流れを改善することを容易にする。カート１１を患者の近くに配置することができるが、タワー３０は手技中に邪魔にならないように離れた場所に収容することができる。

上述のロボットシステムのサポートにおいて、タワー３０はコンピュータプログラム命令を、例えば、永続的磁気記憶ドライブ、ソリッドステートドライブなどの非一時的コンピュータ可読記憶媒体内に記憶するコンピュータベースの制御システムの構成要素を含むことができる。これらの命令の実行は、実行がタワー３０またはカート１１内で行われる
かどうかにかかわらず、システム全体またはそのサブシステムを制御することができる。例えば、コンピュータシステムのプロセッサによって実行される場合、命令はロボットシステムの構成要素に、関連するキャリッジおよびアームマウントを作動させ、ロボットアームを作動させ、医療器具を制御させることができる。例えば、制御信号の受信に応じて、ロボットアームのジョイント内のモータは、アームを特定の姿勢に位置決めすることができる。

タワー３０はまた、内視鏡１３を通して展開され得るシステムに制御された潅注および吸引能力を提供するために、ポンプ、流量計、弁制御、および／または流体アクセスを含む。これらの構成要素は、タワー３０のコンピュータシステムを使用して制御することもできる。いくつかの実施形態では、洗浄および吸引能力が別個のケーブルを介して内視鏡１３に直接送達されてもよい。

タワー３０はカート１１にフィルタされ保護された電力を供給するように設計された電圧およびサージプロテクタを含むことができ、それによって、カート１１内に電力変圧器および他の補助電力部品を配置することが回避され、その結果、より小さく、より可動性の高いカート１１が得られる。

タワー３０はまた、ロボットシステム１０全体に展開されるセンサのための支持装置を含むことができる。例えば、タワー３０はロボットシステム１０全体にわたって光学センサまたはカメラから受信したデータを検出し、受信し、処理するための光電子機器を含むことができる。制御システムと組み合わせて、このような光電子機器を使用して、タワー３０を含むシステム全体に配置された任意の数のコンソールに表示するためのリアルタイム画像を生成することができる。同様に、タワー３０は配置された電磁（ＥＭ；Electromagnetic）センサから受信された信号を受信し、処理するための電子サブシステムも含む
ことができる。タワー３０はまた、医療器具内または医療器具上の電磁センサによる検出のために電磁場発生器を収容し、位置決めするために使用されてもよい。

タワー３０は、システムの残りの部分で利用可能な他のコンソール、例えばカートの頂部に取り付けられたコンソールに加えて、コンソール３１を含むこともできる。コンソール３１は、ユーザインタフェースと、医師の操作者のためのタッチスクリーンなどの表示画面とを含むことができる。システム１０内のコンソールは一般に、ロボット制御と、内視鏡１３のナビゲーションおよび位置決め情報などの手術前およびリアルタイム情報との両方を提供するように設計される。コンソール３１が医師が利用できる唯一のコンソールではない場合、看護師のような第二の操作者によって、患者の健康状態や活動状態とシステムの動作を監視し、ナビゲーションおよび位置決め情報などの手続固有のデータを提供するために使用することができる。他の実施形態では、コンソール３０は、タワー３０とは別の筐体内に格納されている。

タワー３０は、１つまたは複数のケーブルまたは接続部（図示せず）を介してカート１１および内視鏡１３に結合することができる。いくつかの実施形態では、タワー３０からのサポート機能が単一のケーブルを介してカート１１に提供されてもよく、手術室を単純化し、混乱を解消する。他の実施形態では、特定の機能が別個のケーブル配線および接続で結合されてもよい。例えば、単一の電力ケーブルを介してカートに電力を供給することができるが、制御、光学、流体、および／またはナビゲーションのための支持体は別個のケーブルを介して提供することができる。

図２は、図１に示されたカートベースのロボット使用可能システムからのカートの実施形態の詳細図を提供する。カート１１は全体として、細長い支持構造１４（しばしば「カラム」と呼ばれる）、カート基部１５、およびカラム１４の上端部にコンソール１６を含
む。カラム１４は、１つまたは複数のロボットアーム１２（図２には３つが示されている）の展開を支持するためのキャリッジ１７（あるいは「アーム支持体」）などの１つまたは複数のキャリッジを含むことができる。キャリッジ１７は、患者に対してより良好に位置決めするためにロボットアーム１２の基部を調整するために垂直軸に沿って回転する個別に構成可能なアームマウントを含むことができる。キャリッジ１７はまた、キャリッジ１７がカラム１４に沿って垂直に移動することを可能にするキャリッジインタフェース１９を含む。

キャリッジインタフェース１９は、キャリッジ１７の垂直方向の移動を案内するためにカラム１４の両側に配置されたスロット２０のようなスロットを介してカラム１４に接続されている。スロット２０はキャリッジをカート基部１５に対して種々の垂直高さに位置決めし、保持するための垂直移動インタフェースを含む。キャリッジ１７の垂直移動は、カート１１が様々なテーブル高さ、患者サイズ、および医師の好みに合うようにロボットアーム１２の到達範囲を調整することを可能にする。同様に、キャリッジ１７上の個々に構成可能なアームマウントは、ロボットアーム１２のロボットアームベース２１が様々な構成で角度付けされることを可能にする。

いくつかの実施形態では、スロット２０がキャリッジ１７が垂直に移動するときに、カラム１４の内部チャンバおよび垂直移動インタフェース内への汚れおよび流体の進入を防止するために、スロット表面と面一であり、かつ平行であるスロットカバーで補足されてもよい。スロットカバーは、スロット２０の縦上端部および底部の近くに配置されたバネスプールの対を通して展開されてもよい。カバーはキャリッジ１７が垂直に上下に平行移動するときに、展開されてそれらのコイル状態から伸縮するまで、スプール内でコイル状に巻かれる。スプールのばね荷重はキャリッジ１７がスプールに向かって移動するときにカバーをスプール内に引っ込める力を提供し、一方、キャリッジ１７がスプールから離れるように移動するときにも緊密な捺印を維持する。カバーは例えば、キャリッジ１７が移動するときにカバーの適切な伸縮を確実にするために、キャリッジインタフェース１９内のブラケットを使用して、キャリッジ１７に接続されてもよい。

カラム１４はユーザ入力、例えばコンソール１６からの入力に応答して生成される制御信号に応答して機械的な方法でキャリッジ１７を移動させるために、垂直に位置合わせされた親ねじを使用するように設計された、歯車およびモータなどの機構を内部に備えることができる。

ロボットアーム１２は一般に、一連のジョイント２４によって接続された一連のリンク機構２３によって分離されたロボットアーム基部２１およびエンドエフェクタ２２を備えることができ、各ジョイントは独立したアクチュエータを備え、各アクチュエータは独立して制御可能なモータを備える。各独立して制御可能なジョイントは、ロボットアームに利用可能な独立した自由度を表す。アーム１２のそれぞれは７つのジョイントを有し、したがって、７つの自由度を提供する。多数のジョイントは多数の自由度をもたらし、「冗長である」自由度を可能にする。冗長な自由度は、ロボットアーム１２が異なる結合位置および関節角を使用して、空間内の特定の位置、向き、および軌道にそれぞれのエンドエフェクタ２２を位置決めすることを可能にする。これにより、システムは医師が腕の関節を患者から離れた臨床的に有利な位置に移動させて、腕の衝突を回避して、より広いアクセス範囲を実現しながら、空間内の所望の位置から医療器具を位置決めしたり方向付けたりすることが可能になる。

カート基部１５は、床上のカラム１４、キャリッジ１７、およびアーム１２の重量を釣り合わせる。したがって、カート基部１５は、電子機器、モータ、電源などのより重い構成要素、ならびにカートの移動および／または固定のいずれかを可能にする構成要素を収
容する。例えば、カート基部１５は、手技の前にカートが部屋の周りを容易に移動することを可能にする、回転可能なホイール形状のキャスタ２５を含む。適切な位置に到達した後、キャスタ２５は、手続中にカート１１を所定の位置に保持するためにホイールロックを使用して固定されてもよい。

コンソール１６はカラム１４の垂直端部に配置されているので、ユーザ入力を受け取るためのユーザインタフェースと、医師ユーザに手術前および手術中の両方のデータを提供するための表示画面（または、例えば、タッチスクリーン２６などの二目的用装置）との両方を可能にする。タッチスクリーン２６上の潜在的な術前データは、術前計画、術前コンピュータ断層撮影（ＣＴ）スキャンから導出されたナビゲーションおよびマッピングデータ、および／または術前患者インタビューからの注を含むことができる。ディスプレイ上の手術中データは、器具から提供される光学情報、センサおよびセンサからの座標情報、ならびに呼吸、心拍数、および／または脈拍などの患者の活動統計を含むことができる。コンソール１６は医師がキャリッジ１７の反対側のカラム１４の側からコンソールにアクセスすることができるように、配置され、傾斜されてもよい。この位置から、医師はカート１１の背後からコンソール１６を操作しながら、コンソール１６、ロボットアーム１２、および患者を見ることができる。図示のように、コンソール１６はまた、カート１１の操縦および安定化を補助するためのハンドル２７を含む。

図３は、尿管鏡検査のために配置されたロボット使用可能システム１０の実施形態を示す。尿管鏡手技では、カート１１が患者の尿道および尿管を横切るように設計された手技特有の内視鏡である尿管鏡３２を患者の下腹部領域に送達するように配置されてもよい。尿管鏡検査では、尿管鏡３２を患者の尿道と直接位置合わせして、領域内の繊細な解剖学的構造に対する摩擦および力を低減することが望ましい場合がある。図に示されるように、カート１１はロボットアーム１２が患者の尿道への直接的な線形アクセスのために尿管鏡３２を位置決めすることを可能にするために、テーブルの足に位置合わせすることができる。テーブルの足から、ロボットアーム１２は、尿管鏡３２を仮想レール３３に沿って尿道を通して患者の下腹部に直接挿入することができる。

尿道への挿入後、気管支鏡検査におけるのと同様の制御手法を使用して、尿管鏡３２は診断および／または治療用途のために、膀胱、尿管、および／または腎臓内にナビゲートされ得る。例えば、尿管鏡３２は、尿管鏡３２のワーキングチャネルの下に配置されたレーザまたは超音波砕石装置を用いて、尿管および腎臓に向けられて、腎結石の蓄積を破壊することができる。砕石術が完了した後、得られた結石断片は、尿管鏡３２の下方に配置されたバスケットを用いて除去され得る。

図４は、血管手技のために同様に配置されたロボット使用可能システムの実施形態を示す。血管手技では、システム１０がカート１１が操縦可能なカテーテルなどの医療器具３４を患者の脚の大腿動脈内のアクセスポイントに送ることができるように構成することができる。大腿動脈はナビゲーションのためのより大きな直径と、患者の心臓への比較的遠回りで曲がりくねった経路との両方の特徴があり、このためナビゲーションを単純化できる。尿管鏡手技におけるように、カート１１は、ロボットアーム１２が患者の大腿／股関節領域における大腿動脈アクセスポイントへの直接的な線形アクセスを有する仮想レール３５を提供することを可能にするように、患者の脚および下腹部に向かって配置され得る。動脈内への挿入後、医療器具３４は、器具ドライバ２８を移動させることによって方向付けられ、挿入されてもよい。あるいは、カートが例えば、肩および手首の近くの頸動脈および上腕動脈などの代替の血管アクセスポイントに到達するために、患者の上腹部の周りに配置されてもよい。

（Ｂ.ロボットシステム−テーブル）
ロボット対応医療システムの実施形態はまた、患者のテーブルを組み込んでもよい。テーブルを組み込むことにより、カートを取り外すことによって手術室内の資本設備の量が減少し、患者へのアクセスがより大きくなる。図５は、気管支鏡検査手順のために配置されたそのようなロボット使用可能システムの実施形態を示す。システム３６は、床の上にプラットフォーム３８（「テーブル」または「ベッド」として示される）を支持するための支持構造または支柱３７を含む。カートベースのシステムと同様に、システム３６のロボットアーム３９のエンドエフェクタは、図５の気管支鏡４０などの細長い医療器具を、器具ドライバ４２の直線的な位置合わせから形成された仮想レール４１を通して、またはそれに沿って操作するように設計された器具ドライバ４２を備える。実際には、Ｘ線透視画像を提供するためのＣアームがテーブル３８の周りにエミッタおよび検出器を配置することによって、患者の上腹部領域の上に配置され得る。

図６は、説明のため患者および医療器具を除いたシステム３６の代替図を示す。図示されているように、カラム３７はシステム３６内にリング形状として示されている１つ以上のキャリッジ４３を含むことができ、このキャリッジを基に１つ以上のロボットアーム３９を構成することができる。キャリッジ４３はロボットアーム３９が患者に到達するように配置され得る異なる視点を提供するために、カラム３７の長さに沿って延びる垂直カラムインタフェース４４に沿って移動してもよい。キャリッジ４３は、カラム３７内に配置された機械的モータを使用してカラム３７の周りを回転して、ロボットアーム３９がテーブル３８の複数の側、例えば患者の両側にアクセスできるようにすることができる。複数のキャリッジを有する実施形態では、キャリッジがカラム上に個別に配置されてもよく、他のキャリッジとは独立して移動および／または回転してもよい。キャリッジ４３はカラム３７を取り囲む必要はなく、または円形である必要もないが、図示されるようなリング形状は構造的バランスを維持しながら、カラム３７の周りのキャリッジ４３の回転を容易にする。キャリッジ４３の回転および移動により、システムは、内視鏡および腹腔鏡のような医療器具を患者の異なるアクセスポイントに位置合わせすることができる。他の実施形態（図示せず）では、システム３６は、調節可能なアーム支持部を有する患者テーブルまたはベッドを備えてもよく、アーム支持部はテーブルまたはベッドに沿って延伸するバーやレールの形態として設けることができる。１つまたは複数のロボットアーム３９（肘関節を有する肩部を介するなどによる）は、上記の調節可能なアーム支持部を垂直方向に調整して取り付けることができる。垂直方向の調整ができることで、ロボットアーム３９は、患者テーブルまたは別途の下にコンパクトに収容でき、後で手技時に引き上げることができる。

アーム３９は、ロボットアーム３９に追加の構成要素を提供するために個別に回転および／または入れ子式に延在することができる一連のジョイントを備える一組のアームマウント４５を介してキャリッジに取り付けることができる。さらに、アームマウント４５は、キャリッジ４３が適切に回転されたときに、アームマウント４５がテーブル３８の同じ側（図６に示す）、テーブル３８の反対側（図９に示す）、またはテーブル３８の隣接する側（図示せず）のいずれかに配置されるように、キャリッジ４３上に配置されてもよい。

カラム３７は構造的に、テーブル３８を支持し、キャリッジを垂直方向に移動させるための経路を提供する。内部においては、カラム３７がキャリッジの垂直移動を案内するためのリードスクリューと、リードスクリューに基づいて前記キャリッジの移動を機械化するためのモータとを備えることができる。カラム３７はまた、キャリッジ４３およびその上に取り付けられたロボットアーム３９に電力および制御信号を伝達することができる。

テーブル基部４６は図２に示すカート１１のカート基部１５と同様の機能を果たし、テーブル／ベッド３８、カラム３７、キャリッジ４３、およびロボットアーム３９をバラン
スさせるためのより重い構成要素を収容する。テーブル基部４６はまた、手続中の安定性を提供するために、硬性キャスタを組み込んでもよい。キャスタはテーブル基部４６の下端から展開されて、基部４６の両側で反対方向に延在し、システム３６を移動させる必要があるときに後退することができる。

引き続き図６を参照すると、システム３６は、テーブルとタワーとの間でシステム３６の機能を分割してテーブルのフォームファクタおよびバルクを低減するタワー（図示せず）を含むこともできる。上記の実施形態と同様に、タワーは、処理、計算、および制御能力、電力、流体工学、ならびに／または光学およびセンサ処理などの様々なサポート機能をテーブルに提供することができる。タワーはまた、医師のアクセスを改善し、手術室を煩雑にしないようにするために、患者から離れて配置されるように移動可能であってもよい。さらに、タワー内に部品を配置することにより、ロボットアームの潜在的な収納のためのテーブル基部内のより大きい収納スペースが実現する。タワーはまた、キーボードおよび／またはペンダントなどのユーザ入力のためのユーザインタフェースと、リアルタイム画像、ナビゲーション、および追跡情報などの術前および術中情報のための表示画面（またはタッチスクリーン）との両方を提供するコンソールを含むことができる。

いくつかの実施形態では、テーブル基部が使用されていないときにロボットアームを収納し、格納することができる。図７は、テーブルベースのシステムの一実施形態においてロボットアームを収容するシステム４７を示す。システム４７では、キャリッジ４８がロボットアーム５０、アームマウント５１、およびキャリッジ４８を基部４９内に収容するために、基部４９内に垂直に移動させることができる。基地カバー５２は、キャリッジ４８、アームマウント５１、およびアーム５０を列５３の近辺に展開するために移動されて開閉され、使用されていないときにそれらを保護するために閉じられてもよい。基部カバー５２は、その開口の縁部に沿って膜５４で封止されて、閉鎖時の汚れおよび流体の進入を防止することができる。

図８は、尿管鏡検査手順のために構成されたロボット使用可能なテーブルベースのシステムの実施形態を示す。尿管鏡検査では、テーブル３８が患者をカラム３７およびテーブル基部４６から外れた角度に位置決めするための旋回部分５５を含むことができる。旋回部分５５は旋回部分５５の下端を支柱３７から離して位置決めするために、旋回点（例えば、患者の頭部の下に位置する）の周りで回転または旋回してもよい。例えば、旋回部分５５の旋回は、Ｃアーム（図示せず）がテーブル３８の下のカラム（図示せず）と空間を競合することなく、患者の下腹部の上に配置されることを可能にする。キャリッジ３５（図示せず）を支柱３７の周りに回転させることによって、ロボットアーム３９は、尿管鏡５６を仮想レール５７に沿って患者の鼠径部に直接挿入して尿道に到達させることができる。尿管鏡検査では、手技中に患者の脚の位置を支持し、患者の鼠径部への明確なアクセスを可能にするために、スターラップ５８をテーブル３８の旋回部分５５に固定することもできる。

腹腔鏡手技では、患者の腹壁の小さな切開を通して、最小侵襲性器具（１つ以上の切開のサイズに適応するように細長い形状）が患者の解剖学的構造に挿入され得る。患者の腹腔を膨張させた後、しばしば腹腔鏡と呼ばれる器具は把持、切断、切除、縫合などの手術タスクを実行するように指示されてもよく、図９は腹腔鏡手技のために構成されたロボット使用可能なテーブルベースのシステムの実施形態を示す。図９に示されるように、システム３６のキャリッジ４３はテーブル３８の両側にロボットアーム３９の対を位置決めするように回転され、垂直に調整され、その結果、腹腔鏡５９は患者の腹腔に到達するために患者の両側の最小切開部を通過するようにアームマウント４５を使用して位置決めされ得る。

腹腔鏡手技に適応するために、ロボット使用可能テーブルシステムは、プラットフォームを所望の角度に傾斜させることもできる。図１０は、ピッチまたはチルト調整を有するロボット使用可能医療システムの実施形態を示す。図１０に示すように、システム３６は、テーブル３８の傾斜に適応して、テーブルの一部分を床から他の部分よりも大きな距離に位置決めすることができる。さらに、アームマウント４５はアーム３９がテーブル３８と同じ平面関係を維持するように、傾きに合わせて回転することができる。より急勾配の角度に適応するために、カラム３７は、カラム３７の垂直延長部がテーブル３８が床に触れたり基部４６と衝突したりしないようにする入れ子式部分６０を含むこともできる。

図１１は、テーブル３８とカラム３７との間のインタフェースの詳細を示す。ピッチ回転機構６１は、欄３７に対するテーブル３８のピッチ角を複数の自由度で変更するように構成されてもよい。ピッチ回転機構６１はカラム・テーブル・インタフェースにおける直交軸１、２の位置決めによって可能にすることができ、各軸は、電気的なピッチ角コマンドに応答して各軸が別個のモータ３、４によって作動される。一方のねじ５に沿った回転は一方の軸１における傾斜調整を可能にし、他方のねじ６に沿った回転は、他方の軸２に沿った傾斜調整を可能にする。いくつかの実施形態では、ボールジョイントを用いて、複数の自由度でカラム３７に対する相対的なテーブル３８のピッチ角を変更することができる。

例えば、ピッチ調整は下腹部手術のために、テーブルをトレンデレンブルグ位置に位置決めしようとするとき、すなわち、患者の下腹部を患者の下腹部よりも床から高い位置に位置決めしようとするとき、特に有用である。トレンデレンブルグ位置は患者の内部器官を重力によって患者の上腹部に向かってスライドさせ、腹腔鏡前立腺切除術などの下腹部手術手技を開始して実行するための最小侵襲性ツール（minimally invasive tool）のた
めに腹腔の空間を空ける。

（Ｃ.器具ドライバとインタフェース）
システムのロボットアームのエンドエフェクタは、（１）医療器具を作動させるための電気機械的手段を組み込む器具ドライバ（あるいは「器具駆動機構」または「器具装置マニピュレータ（ＩＤＭ；instrument device manipulator）」と呼ばれる）と、（２）モ
ータなどの任意の電気機械的構成要素を削除できる取り外し可能または取り外し可能な医療器具とを備える。この二分法は、医療手技に使用される医療器具を滅菌する必要性、およびそれらの複雑な機械的アセンブリおよび繊細な電子機器のために高価な資本設備を適切に滅菌することができないことが起因となりうる。したがって、医療器具は医師または医師のスタッフによる個々の滅菌または廃棄のために、器具ドライバ（したがってシステム）から取り外し、取り外し、および交換されるように設計されてもよい。対照的に、器具ドライバは、交換または滅菌される必要はなく、保護のためにドレープで覆われてもよい。

図１２は、例示的な器具ドライバを示す。ロボットアームの遠位端に配置された器具ドライバ６２は駆動シャフト６４を介して医療器具に制御されたトルクを提供するために、平行軸に配置された１つ以上の駆動ユニット６３を備える。各駆動ユニット６３は器具と相互作用するための個々の駆動シャフト６４と、モータシャフトの回転を所望のトルクに変換するためのギアヘッド６５と、駆動トルクを生成するためのモータ６６と、モータシャフトの速度を測定し、制御回路にフィードバックを提供するためのエンコーダ６７と、制御信号を受信し、駆動ユニットを作動させるための制御回路６８とを備える。各駆動ユニット６３は独立して制御され、電動化されており、器具ドライバ６２は、医療器具に複数（図１２に示すように４つ）の独立した駆動出力を提供することができる。動作中、制御回路６８は制御信号を受信し、モータ信号をモータ６６に送信し、エンコーダ６７によって測定された結果のモータ速度を所望の速度と比較し、モータ信号を変調して所望のト
ルクを生成する。

無菌環境を必要とする手技では、ロボットシステムが器具ドライバと医療器具との間に位置する、無菌ドレープに接続された無菌アダプタなどの駆動インタフェースを組み込むことができる。無菌アダプタの主な目的は駆動シャフトと駆動入力との間の物理的分離、したがって無菌性を維持しながら、器具ドライバの駆動シャフトから器具の駆動入力に角運動を伝達することである。したがって、例示的な無菌アダプタは、器具ドライバの駆動シャフトおよび器具上の駆動入力と嵌合されることが意図される一連の回転入力および出力を備えてもよい。滅菌アダプタに接続された滅菌ドレープは透明または半透明プラスチックなどの薄い軟性材料からなり、器具ドライバ、ロボットアーム、およびカート（カートベースのシステム内）またはテーブル（テーブルベースのシステム内）などの資本設備を覆うように設計される。ドレープの使用は滅菌を必要としない領域（すなわち、非滅菌領域）に依然として配置されている間に、患者の近くに資本設備を配置することを可能にする。滅菌ドレープの反対側では、医療器具が滅菌を必要とする領域（すなわち、滅菌野）において患者と接触することができる。

（Ｄ.医療器具）
図１３は、組になった器具ドライバを有する例示的な医療器具を示す。ロボットシステムと共に使用するように設計された他の器具と同様に、医療器具７０は、細長いシャフト７１（または細長い本体）および器具基部７２を備える。医師による手動操作向けの設計として「器具ハンドル」とも呼ばれる器具基部７２は、全体として、ロボットアーム７６の遠位端で器具ドライバ７５上の駆動インタフェースを通って延びる駆動出力７４と嵌合するように設計された、回転可能な駆動入力７３、例えば、レセプタクル、プーリ、またはスプールを備えてもよい。物理的に接続され、ラッチされ、および／または結合されると、器具基部７２の嵌合された駆動入力７３は器具ドライバ７５内の駆動出力７４と回転軸を共有し、駆動出力７４から駆動入力７３へのトルクの伝達が可能になる。いくつかの実施形態では、駆動出力７４が駆動入力７３上のレセプタクルと嵌合するように設計されたスプラインを備えてもよい。

細長いシャフト７１は例えば、内視鏡検査におけるように、解剖学的な開口またはルーメン、または、例えば、腹腔鏡検査におけるように、最小侵襲性切開のいずれかを介して送られるように設計される。細長いシャフト６６は軟性（例えば、内視鏡と同様の特性を有する）または硬性（例えば、腹腔鏡と同様の特性を有する）のいずれかであり得るか、または軟性部分および硬性部分の両方のカスタマイズされた組み合わせを含む。腹腔鏡検査用に設計される場合、硬性の細長いシャフトの遠位端は回転軸を有するＵリンクと、器具ドライバ７５の駆動出力７４から受け取ったトルクに応じて駆動入力が回転するときにテンドンからの力に基づいて作動され得る、例えば、１つまたは複数の把持器などの手術用道具とから形成される接合手首を備えるエンドエフェクタに接続されてもよい。内視鏡検査用に設計される場合、可撓性の細長いシャフトの遠位端は、器具ドライバ７５の駆動出力７４から受け取られるトルクに基づいて関節動作および屈曲され得る、操縦可能または制御可能な屈曲部を含む。

器具ドライバ７５からのトルクは、シャフト７１内のテンドンを使用して細長いシャフト７１に伝達される。プルワイヤなどのこれらの個々のテンドンは、器具ハンドル７２内の個々の駆動入力７３に個々に固定することができる。ハンドル７２から、テンドンは、細長いシャフト７１内の１つ以上のプルルーメンに向けられ、細長いシャフト７１の遠位部分に固定される。腹腔鏡検査では、これらのテンドンが手首、把持器、またはさみなどの遠位に取り付けられたエンドエフェクタに結合されてもよい。このような構成の下では、駆動入力７３に及ぼされるトルクがテンドンに表面張力を伝達し、それによってエンドエフェクタを何らかの方法で作動させる。腹腔鏡検査では、テンドンは関節を軸の周りに
回転させ、それによってエンドエフェクタを一指示または別の指示に移動させることができる。あるいはテンドンは細長いシャフト７１の遠位端において、把持器の１つ以上の顎に接続され得、ここで、テンドンからの張力によって把持器が閉じる。

内視鏡検査では、テンドンは接着剤、制御リング、または他の機械的固定を介して、細長いシャフト７１に沿って（例えば、遠位端で）配置された屈曲または関節動作部に結合されてもよい。屈曲部の遠位端に固定して取り付けられると、駆動入力７３に及ぼされるトルクがテンドンに伝達され、より柔軟性のある屈曲部（関節部または関節動作領域と呼ばれることもある）を屈曲または関節動作させる。非屈曲部に沿って、個々のテンドンを内視鏡シャフトの壁に沿って（または内側に）向ける個々のプルルーメンを螺旋状または螺旋状にして、プルワイヤの表面張力から生じる半径方向の力を釣り合わせることが効果的であり得る。スパイラルの角度および／またはそれらの間の間隔は特定の目的のために変更または設計されてもよく、スパイラルを緊密にすると荷重力下でのシャフト圧縮が小さくなり、一方、スパイラルを少なくすると荷重力下でのシャフト圧縮が大きくなるが限界曲げとなる。スペクトルの他端では、プルルーメンが細長いシャフト７１の長手方向軸に平行に向けられて、所望の屈曲または関節動作可能な部分における制御された関節動作が可能となる。

内視鏡検査では、細長いシャフト７１がロボットシステム手続を補助するために、いくつかの構成要素を収容する。シャフトは、シャフト７１の遠位端における手術領域に手術ツール、潅注、および／または吸引を展開するためのワーキングチャネルを備えてもよい。シャフト７１はまた、ワイヤおよび／または光ファイバを収容して、光学カメラを含む遠位先端の光学アセンブリへ／から信号を伝達し得る。シャフト７１はまた、光ファイバを収容して、発光ダイオードなどの近位に位置する光源からシャフトの遠位端に光を運ぶことができる。

器具７０の遠位端において、遠位先端はまた、診断および／または治療、潅注、および吸引のためのツールを手術部位に送達するためのワーキングチャネルの開口を備え得る。遠位先端はまた、内部解剖学的空間の画像を取得するために、ファイバースコープまたはデジタルカメラなどのカメラのためのポートを含んでもよい。関連して、遠位先端はまた、カメラを使用するときに解剖学的空間を照明するための光源のためのポートを含む。

図１３の例では駆動シャフト軸、したがって駆動入力軸は細長いシャフトの軸に直交する。しかしながら、この配置では、細長いシャフト７１の回転機能が複雑になる。駆動入力７３を静止状態に保ちながら、細長いシャフト７１をその軸に沿って回転させると、テンドンが駆動入力７３から延出して細長いシャフト７１内のプルルーメンに入るときに、テンドンの望ましくない絡み合いが生じる。そのようなテンドンによって生じる絡み合いは、内視鏡手技時に可撓性の細長いシャフトの移動を予測することを目的とする任意の制御アルゴリズムの障害となり得る。

図１４は器具ドライバおよび器具の代替設計を示し、駆動ユニットの軸が器具の細長いシャフトの軸に平行である。図示のように、円形の器具ドライバ８０は、ロボットアーム８２の端部に平行に位置合わせされた駆動出力８１を有する４つの駆動ユニットを備える。駆動ユニットおよびそれぞれの駆動出力８１は、アセンブリ８３内の駆動ユニットのうちの１つによって駆動される器具ドライバ８０の回転アセンブリ８３内に収容される。回転駆動ユニットによって提供されるトルクに応じて、回転アセンブリ８３は、回転アセンブリ８３を器具ドライバの非回転部分８４に接続する円形ベアリングに沿って回転する。電気接点を介して器具ドライバ８０の非回転部分８４から回転アセンブリ８３に電力および制御信号を伝達することができ、この信号は、ブラシ付きスリップリング接続（図示せず）による回転によって維持することができる。他の実施形態では、回転アセンブリ８３
が非回転部分８４に一体化され、したがって他の駆動ユニットと平行ではない別個の駆動ユニットに応答することができる。回転機構８３は、器具ドライバ８０が器具ドライバ軸８５の周りに単一のユニットとして、駆動ユニットおよびそれぞれの駆動出力８１を回転させることができる。

上記に開示した実施形態と同様に、器具８６は、細長いシャフト部分８８と、器具ドライバ８０内の駆動出力８１を受けるように構成された複数の駆動入力８９（レセプタクル、プーリ、およびスプールなど）を備える器具基部８７（説明のために透明な外皮と共に示されている）とを備えることができる。先に開示された実施形態とは異なり、器具シャフト８８は、図１３の設計におけるように直交するのではなく、駆動入力８９の軸に実質的に平行な軸を有する器具基部８７の中心から延伸する。

器具ドライバ８０の回転アセンブリ８３に結合されると、器具基部８７および器具シャフト８８を備える医療器具８６は、器具ドライバ軸８５の周りで回転アセンブリ８３と組み合わせて回転する。器具シャフト８８は器具基部８７の中心に配置されているので、器具シャフト８８は取り付けられたとき、器具ドライバ軸８５と同軸である。したがって、回転アセンブリ８３の回転は、器具シャフト８８をそれ自体の前後軸の周りに回転させる。さらに、器具基部８７が器具シャフト８８と共に回転するとき、器具基部８７の駆動入力８９に接続されたテンドンは、回転中に絡み合わない。したがって、駆動出力８１、駆動入力８９、および器具シャフト８８の軸の平行性は、任意の制御テンドンの絡み合いを発生させることなく、シャフトを回転させることができる。

（Ｅ.ナビゲーションと制御）
従来の内視鏡検査には、Ｘ線透視法（例えば、Ｃアームを介して送達され得るよう）および他の形態の放射線ベースの画像化モダリティの使用が含まれ、操作者の医師に管腔内ガイダンスが提供される。一方、本件開示によって実現されるロボットシステムは、放射線に対する医師の曝露を低減し、手術室内の器具の数を減らすために、非放射線ベースのナビゲーションおよび位置決め手段を提供する。本明細書で使用されるように、用語「位置決め」は、基準座標系における物体の位置を特定および／または監視することを指すことができる。術前マッピング、コンピュータビジョン、リアルタイム電磁追跡、およびロボットコマンドデータなどの技術は放射線を用いない運用環境を達成するために、個別に、または組み合わせて使用されてもよい。放射線ベースの画像モダリティが依然として使用される他の場合には、術前マッピング、コンピュータビジョン、リアルタイム電磁追跡、およびロボットコマンドデータは放射線ベースの画像モダリティによってのみ得られる情報を改善するために、個別に、または組み合わせて使用されてもよい。

図１５は、例示的な実施形態による、器具の位置など、ロボットシステムの１つまたは複数の要素の位置を推定する位置決めシステム９０を示すブロック図である。位置決めシステム９０は、１つまたは複数の命令を実行するように構成された１つまたは複数の計算装置のセットとすることができる。計算装置は、上述の１つまたは複数の構成要素内のプロセッサ（または複数のプロセッサ）およびコンピュータ可読メモリによって具現化され得る。限定ではなく例示として、計算装置は、図１に示すタワー３０内や、図１〜４に示すカート内や、図５〜１０に示すベッド内などに配置されてよい。

図１５に示すように、位置決めシステム９０は、入力データ９１〜９４を処理して医療器具の遠位先端の位置データ９６を生成する位置決めモジュール９５を含むことができる。位置データ９６は、基準系に対する器具の遠位端の位置および／または向きを表すデータまたはロジックであってもよい。基準系は、患者の解剖学的構造、または電磁場発生器（電磁場発生器については以下の説明を参照）などの既知の物体に対する基準系とすることができる。

ここで、さまざまな入力データ９１〜９４についてより詳細に説明する。術前マッピングは、低線量ＣＴスキャンの収集を使用することによって達成することができる。術前ＣＴスキャンは２次元画像を生成し、各画像は、患者の内部解剖学的構造の破断図の「スライス」を表す。集合体で解析される場合、患者の肺ネットワークなどの患者の解剖学的構造の解剖学的空洞、空間、および構造のための画像ベースのモデルが生成され得る。中心線ジオメトリのような手法は、ＣＴ画像から決定され、近似されて、術前モデルデータ９１と呼ばれる患者の解剖学的構造の３次元ボリュームを展開することができる。中心線ジオメトリの使用については、米国特許第１４／５２３，７６０号に記載されており、その内容の全体を本願に援用する。また、ネットワークトポロジーモデルは、ＣＴ画像から導出されてもよく、気管支鏡検査に特に適している。

いくつかの実施形態では、器具が視覚データ９２を提供するためにカメラを装備することができる。位置決めモジュール９５は１つまたは複数の視覚ベースの位置追跡を可能にするために、視覚データを処理することができる。例えば、手術前モデルデータは医療器具（例えば、内視鏡または内視鏡のワーキングチャネルを通る器具の前進）のコンピュータビジョンベースの追跡を可能にするために、ビジョンデータ９２と共に使用されてもよい。例えば、手術前モデルデータ９１を使用して、ロボットシステムは内視鏡の予想される移動経路に基づいてモデルから予想される内視鏡画像のライブラリを生成することができ、各画像はモデル内の位置にリンクされる。手術中に、このライブラリはカメラ（例えば、内視鏡の遠位端にあるカメラ）で取得されたリアルタイム画像を画像ライブラリ内の画像と比較して位置決めを補助するために、ロボットシステムによって参照されてもよい。

他のコンピュータビジョンベースの追跡技術は、カメラ、したがって内視鏡の動きを特定するために特徴追跡を使用する。位置決めモジュール９５のいくつかの特徴は解剖学的な管腔に対応する手術前モデルデータ９１内の円形の幾何学的形状を識別し、それらの幾何学的形状の変化を追跡して、どの解剖学的な管腔が選択されたかや、カメラの相対的な回転および／または移動運動を特定することができる。トポロジーマップの使用によって、視覚ベースのアルゴリズムまたは方法をさらに強化することができる。

別のコンピュータビジョンベースの技術であるオプティカルフローはカメラの動きを推測するために、ビジョンデータ９２のビデオシーケンス内の画像画素の変位および移動を解析することができる。複数の反復にわたる複数のフレームの比較によって、カメラ（したがって、内視鏡）の移動および位置を特定することができる。

位置決めモジュール９５は、リアルタイム電磁追跡を使用して、手術前モデルによって表される患者の解剖学的構造に位置合わせすることができるグローバル座標系における内視鏡のリアルタイム位置を生成し得る。電磁追跡では医療器具（例えば、内視鏡ツール）の１つ以上の位置および向きに埋め込まれた１つ以上のセンサコイルを備える電磁センサ（トラッカ）は既知の位置に配置された１つ以上の静的電磁場発生器によって生成された電磁場の変動を測定する。電磁センサによって検出された位置情報は、電磁データ記憶される。電磁場発生器（または送信機）は埋め込まれたセンサが検出し得る低強度磁場を生成するために、患者の近くに配置され得る。磁界は電磁センサコイルに小さな電流をガイドし、この電流は、電磁センサと電磁界発生器との間の距離および角度を特定するために解析され得る。これらの距離および向きは、座標系内の単一の位置を患者の解剖学的構造の手術前モデル内の位置と位置合わせさせる幾何学的変換を特定するために、患者の解剖学的構造（例えば、手術前モデル）に対して手術中に「位置合わせ」されてもよい。一旦位置合わせされると、医療器具の１つ以上の位置（例えば、内視鏡の遠位先端）に埋め込まれた電磁追跡装置は、患者の解剖学的構造を通る医療器具の進歩のリアルタイムの指示
を提供し得る。

ロボットコマンドおよび運動学データ９４はまた、ロボットシステムのための位置決めデータ９６を提供するために、位置決めモジュール９５によって使用されてもよい、関節動作コマンドから生じる装置ピッチおよびヨーは、手術前較正中に特定され得る。手術中に、これらの較正計量値は器具の位置を推定するために、既知の挿入デプス情報と組み合わせて使用されてもよい。あるいは、これらの計算がネットワーク内の医療器具の位置を推定するために、電磁、視覚、および／またはトポロジーモデリングと組み合わせて解析されてもよい。

図１５に示すように、多数の他の入力データを位置決めモジュール９５によって使用することができる。例えば、図１５には示されていないが、形状感知ファイバを用いる器具は、位置決めモジュール９５が器具の位置および形状を特定するために使用する形状データを提供することができる。

位置決めモジュール９５は、入力データ９１〜９４を組み合わせて使用することができる。場合によっては、このような組み合わせは位置決めモジュール９５が入力データ９１〜９４のそれぞれから特定された位置に信頼性重みを割り当てる確率的アプローチを使用することができる。したがって、電磁データが信頼できない場合（電磁干渉がある場合のように）、電磁データによって特定される位置の信頼性は低下する可能性があり、位置決めモジュール９５は、視覚データ９２および／またはロボットコマンドおよび運動学データ９４により依存する可能性がある。

上記の通り、本明細書で説明するロボットシステムは、上記の技術のうちの１つまたは複数の組合せを組み込むように設計することができる。タワー、ベッドおよび／またはカートに基づくロボットシステムのコンピュータベースの制御システムはコンピュータプログラム命令を、例えば、永続的磁気記憶ドライブ、ソリッドステートドライブなどの非一時的コンピュータ可読記憶媒体内に記憶することができ、これは、実行時に、システムにセンサデータおよびユーザコマンドを受信および解析させ、システム全体の制御信号を生成させ、グローバル座標系内の器具の位置、解剖学的マップなどのナビゲーションおよび位置決めデータを表示させる。

（２．ナビゲーション経路追跡）
本開示の実施形態は、ナビゲーション経路追跡のためのシステムおよび手法に関する。ナビゲーション経路追跡は、器具が管腔ネットワークを通ってナビゲートされる際に、医療器具の経時的な経路（例えば、ブレッドクラム）を示す視覚的な指標を生成および表示するために使用される。器具が管腔ネットワークを通ってナビゲートされると、器具の位置を特定でき、器具の位置を示す視覚的な指標を表示することができる（例えば、プロットや他の方法により表示）。視覚的な指標は、管腔ネットワークのどの部分が、装置によって既に探索またはナビゲートされたかをユーザが視覚化するのに役立つ。また、視覚的な指標は、管腔ネットワークの形状を視覚化するために、および／または管腔ネットワークの術前モデルを延長するために使用される。

（Ａ．管腔ネットワークおよび術前モデルの例）

図１６は、本明細書で説明するナビゲーション経路追跡方法およびシステムを使用してナビゲーションすることができる患者の例示的な管腔ネットワーク１３０を示す。図示の実施形態では、管腔ネットワーク１３０は、患者の肺内の気道の気管支ネットワークである。図に示すように、管腔ネットワーク１３０は、分岐構造内に配置された複数の管腔１３２を有する。図示の管腔ネットワーク１３０は、複数の分岐された管腔１３２を有する
が、管腔ネットワーク１３が単一の管腔１３２のみを有する場合であってもよい。すなわち、いくつかの例では、管腔ネットワーク１３０は、管腔１３２が分岐された配置である必要はない。説明の便宜上、図１６は、２次元構造としての管腔ネットワーク１３０を表す。このことは、本開示を、２次元管腔ネットワークに限定すると解釈されるべきではない。管腔ネットワーク１３０は、概して３次元構造も含む。

図１７に、特定の管腔ネットワーク１３０が示されているが、本明細書で説明するナビゲーション経路の追跡方法およびシステムは、種々の管腔ネットワーク１３０のナビゲーション時に実装することができる。そのような管腔ネットワーク１３０は、例えば、気管支ネットワーク、腎臓部のネットワーク、循環器ネットワーク（例えば、動脈および静脈）、胃腸管、尿路などを含む。ここで説明するナビゲーション経路の追跡方法およびシステムは、分岐があるおよび分岐がない管腔ネットワーク１３０の両方のナビゲーション時に実装することができる。

図１７は、図１６の管腔ネットワーク１３０の例示的な術前モデル１５０を示す。以下でより詳細に説明するように、いくつかの例では、術前モデルは、管腔ネットワーク１３０を通る医療器具のナビゲーションを容易にするために使用されてもよい。いくつかの例では、管腔ネットワーク１３０のナビゲーション前および／またはナビゲーション中に、術前モデル１５０をユーザに表示することができる。

術前モデル１５０は、医療器具のナビゲーションが行われている管腔ネットワーク１３０の１つまたは複数の部分を表す。いくつかの実装形態では、術前モデル１５０は、種々の術前画像処理およびマッピング技術の１つまたは複数を使用して、管腔ネットワークのナビゲーション前に生成されてもよい。一例として、術前マッピングは、低線量ＣＴスキャンの収集を用いて実現できる。上記の通り、術前ＣＴスキャンによって２次元画像が生成され、各画像は患者の内部解剖学的構造の破断図の「スライス」を表す。集約的な分析では、患者の肺ネットワーク（すなわち、管腔ネットワーク）など、解剖学的な空洞や空間、および患者の解剖学的構造のための画像ベースの術前モデルが生成される。術前モデル１５０を生成する他の方法も使用可能である。

図示の実施形態では、術前モデル１５０は、複数のセグメント１５２を含む。術前モデル１５０のセグメント１５２は、管腔ネットワーク１３０の管腔１３２の少なくとも一部に対応する。したがって、管腔ネットワーク１３０が管腔１３２の分岐配置を含む場合、術前モデル１５０は、セグメント１５２の対応する分岐配置を含む。管腔ネットワーク１３０が単一の管腔１３２を有する場合、術前モデル１５０は、対応する単一の分岐１５２を有する。一般に、術前モデル１５０は、管腔ネットワーク１３０の３次元形状の少なくとも一部に対応する３次元形状を含む。術前モデル１５０は３次元形状を含むことができるが、図１７は、説明の便宜上、術前モデル１５０を２次元形状として示す。いくつかの例では、３次元術前モデル１５０の断面を２次元ディスプレイ上に表示することができる。

図１６の管腔ネットワーク１３０および図１７の術前モデル１５０を比較すると、いくつかの例では、術前モデル１５０は管腔ネットワーク１３０の一部のみを表すあるいは対応することが分かる。これは、管腔ネットワーク１３０に重畳された術前モデル１５０を示す図１８にさらに示されている。いくつかの例では、術前モデル１５０を生成するために使用される術前画像処理およびマッピング技術の制限によって、管腔ネットワーク１３０全体に対応するモデルの生成が妨げられる可能性がある。例えば、管腔ネットワーク内の一定の分岐された管腔１３２が、一般的な術前画像処理およびマッピング技術では明瞭に描写および分析できないほど小さい場合がある。その場合、術前モデル１５０が管腔ネットワーク１３０の完全な表現を提供できず、例えば、術前モデル１５０において管腔ネ
ットワーク１３０の種々の部分がマッピングされていない状態および／または表現されていない状態となる可能性がある。

例えば、図１８に示すように、術前モデル１５０は、管腔ネットワーク１３０のマッピングされた部分１５５に対応する。管腔ネットワーク１３０のマッピングされていない部分１３５は、術前モデル１５０によって表現されていなくてもよく、マッピングされた部分１５５を越えて延伸していてもよい。

いくつかの実施形態では、術前モデル１５０はまた、管腔ネットワークを含む器官の外面の表現を含む。例えば、肺の場合、術前モデルは、気道の少なくとも一部や肺の１つの外面の表現を含む。

（Ｂ．医療器具の管腔ネットワークのナビゲーション）
図１９は、管腔ネットワーク３３０内をナビゲートする医療器具（例えば、内視鏡３１５およびカテーテル３４５）の一例を提供する。図示のように、管腔ネットワーク３３０（上記の管腔ネットワーク１３０と同様であってもよい）は、気道３５０（管腔１３２と同様であってもよい）の分岐構造を含む。この例では、内視鏡３１５は、診断および／または治療のために、管腔ネットワーク３３０を通って関心領域（例えば、結節３５５）に向かってナビゲートされる（例えば、方向付けられ、ガイドされ、移動されるなど）。図の例では、結節３５５は、管腔ネットワーク３３０および気道３５０の周辺部に配置される。内視鏡３１５は、第１の直径を有し、したがって、その遠位端は、結節３５５の周りのより小さい直径の気道を通って配置することができない場合がある。したがって、操縦可能なカテーテル３４５は、内視鏡３１５のワーキングチャネルから、残りの距離だけ結節３５５まで伸長させることができる。操縦可能なカテーテル３４５は、器具（例えば、生検針、細胞診ブラシ、組織サンプリング鉗子など）が通って結節３５５の目標の組織部位に到達するための管腔を有する。このような実施形態では、内視鏡３１５の遠位端および操縦可能なカテーテル３４５の遠位端の両方に、気道３５０におけるこれら器具の位置を追跡するための電磁器具センサ（または他の位置センサ）を設けることができる。他の実施形態では、内視鏡３１５の全体の直径は、操縦可能なカテーテル３４５を使用せずに周辺部に到達するのに十分小さくすることもでき、あるいは、医療器具を操縦可能でないカテーテルを通って展開するために周辺部（例えば、２．５〜３ｃｍの範囲内）に接近するのに十分小さくてもよい。内視鏡３１５を通って展開される医療器具は、電磁器具センサ（または他の位置センサ）を備えてもよい。

上記のように、図１９の例では、結節３５５は、管腔ネットワーク３３０の周辺部に配置される。これは、術前モデル１５０によって表現されない管腔ネットワーク３３０の領域内にある可能性がある。すなわち、結節３５５は、場合によっては、管腔ネットワーク１３０、３３０のマッピングされていない部分１３５内にあってもよい。

図２０は、例示的な医療器具４００の遠位端の詳細図を示す。医療器具４００は、図１９の内視鏡３１５または操縦可能なカテーテル３４５を表す。医療器具４００は、図１の内視鏡１３、図３の尿管鏡３２、図９の腹腔鏡５９など、本開示全体にわたって説明する任意の医療器具を表す。図１９において、器具４００の遠位端は、電磁器具センサを形成する、画像処理装置４１５、照明光源４１０、および電磁センサコイル４０５の端部を含む。遠位端はさらに、器具のワーキングチャネル４２０への開口を含み、この開口を通って、生検針、細胞診ブラシ、鉗子などの手術器具（または医療器具）が、器具シャフトに沿って挿入され、器具先端付近の領域へのアクセスを可能にする。

電磁コイル状４０５（電磁位置センサ４０５とも呼ばれる）は、器具４００の遠方端に位置するが、電磁追跡システム（後述の図２１参照）とともに、管腔ネットワーク内に位
置するときに、器具４００の遠方端の位置と方向を検出するために使用することができる。いくつかの実施形態では、コイル４０５は、異なる軸に沿った電磁場に感応性を有するように角度付けられ、開示されたナビゲーションシステムに、完全な６自由度（ＤｏＦ）、すなわち、３つの位置ＤｏＦおよび３つの角度ＤｏＦを計測する機能を与える。他の実施形態では、単一のコイル４０５のみが、その軸が器具シャフトに沿って配向された状態で、遠位端上または遠位端内に配置されてもよい。このようなシステムには回転対称性があるため、当該軸の周りを回転することに感応性がなく、このような実施においては、５自由度のみが検出される。電磁コイルは、電磁データ（図１５参照）を提供するように構成することができ、ナビゲーションおよび位置特定システム９０は、器具の位置を特定または推定することができる。いくつかの実施形態では、電磁コイル４０５は、器具４００の位置を検出するための他の種類の位置センサと置換したり、追加したりすることができる。

図２１は、電磁コイル４０５によって生成される電磁データ９３に基づいて医療器具の位置を特定するための例示的な電磁（ＥＭ；Electromagnetic）システム５００の特定の
構成要素を示す。システム５００は、器具４００上に配置された電磁場発生器５１０および電磁コイル４０５を有する。システム５００は、患者を支持するためのテーブルを含む運用環境で実装できる。特定の追加の装置や要素も含まれてよいが、図２１には示されていない。例えば、この環境には、医療器具の移動をガイドするように構成されたロボットシステム、手術（または医療）ロボットシステムの動作を制御するためのコマンドセンタ／コンソール、および電磁コントローラも含まれてよい。電磁コントローラは、さらに、電磁場発生器５１０に接続されて、電磁場を生成するための制御信号を電磁場発生器に供給する。特定の実施形態では、電磁コントローラは、電磁場発生器５１０、カート１１（図１参照）、タワー３０（図１参照）などを含む、システムの他の１つまたは複数の処理装置に部分的にまたは完全に組み込まれてもよい。

システムが上記を含む場合、電磁コントローラは、電磁場発生器５１０を制御して電磁場を生成してもよい。電磁場は、変動する電磁場であってもよい。電磁場は、実施形態に応じて、時間的に変動および／または空間的に変動してもよい。電磁場発生器５１０は、図２に示すカート１１と同様にカート上に配置されてもよく、または１つまたは複数の支持カラムを介してテーブルのレールに取り付けられてもよい。他の実施形態では、電磁場発生器５１０は、例えば、患者の周囲に柔軟なセッティングオプションを提供することができる、図１の手術（または医療）ロボットシステム１０に示されるものと同様のロボットアーム上に取り付けることができる。

電磁空間計測システムは、電磁センサコイル、例えば、（図２０に示されるように）電磁コイル４０５が埋め込まれるかあるいは設けられる電磁場内の物体の位置を特定することができる。電磁センサが、ここで説明するように制御されて変動する電磁場内に配置されると、電磁センサコイルに電圧が誘起される。この誘起電圧は、電磁空間計測システムによって、電磁センサ、さらには電磁センサを有する物体の位置および向きを計算するのに使用される。電磁場の強さは弱く人体の組織を安全に透過できるため、光学式の空間計測システムで照準線を使用するような制約なく、物体の位置計測が可能である。

電磁場は、電磁場生成器５１０の座標系に対して定義されてもよく、管腔ネットワーク１３０の術前モデル１５０の座標系は、電磁場の座標系にマッピング（または位置合わせ）されてもよい。したがって、電磁領域内の器具上の電磁器具センサ４０５の位置によって特定される器具の位置は、位置を特定するために術前モデルに依存することなく、術前モデルの座標系内で特定することができる。

次いで、システム５００は、位置特定システム９０が器具の位置を特定するために使用
することができる電磁データを出力することができる。上記の通り、この電磁データ、術前モデル１５０にマッピングまたは位置合わせされた座標系内の位置を特定するために使用することができるモダリティを提供することができる。

図２０に戻ると、器具４００はまた、照明光源４１０を含む。照明光源４１０は、解剖学的な空間の一部を照明する光を提供する。照明光源は、それぞれ、選択された波長または波長の範囲で光を出射するように構成された１つまたは複数の発光デバイスである。波長は、いくつかの例を挙げると、任意の適切な波長、例えば、可視スペクトル光、赤外線、Ｘ線（例えば、蛍光透視法用）である。いくつかの実施形態では、照明光源４１０は、器具４００の遠位端に位置する発光ダイオード（ＬＥＤ）を含む。いくつかの実施形態では、照明光源４１０は、遠隔光源、例えばＸ線発生器から遠位端を通って光を透過させるための、内視鏡の全長にわたって延伸する１つまたは複数の光ファイバを有する。遠位端が複数の照明光源４１０を含む場合は、各光源は、互いに同じ波長または異なる波長の光を放射するように構成することができる。

画像処理装置４１５は、受光した光を表すエネルギーを電気信号に変換するように構成された任意の感光性基板または構造、例えば、電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）イメージセンサを含む。画像処理装置４１５のいくつかの例は、内視鏡の遠位端４００から内視鏡の近位端付近の接眼レンズおよび／またはイメージセンサに画像を表す光を伝送するように構成された、１つまたは複数の光ファイバ、例えば光ファイババンドルを含む。画像処理装置４１５は、さらに、種々の光学設計に必要な１つまたは複数のレンズおよび／または波長パスまたはカットオフフィルタを含む。照明光源４１０から放射される光は、画像処理装置４１５が患者の管腔ネットワークの内部の画像を取得することを可能にする。これらの画像は、個別のフレームまたは連続した一連のフレーム（例えば、ビデオ）として、コマンドコンソール２００などのコンピュータシステムに送信することができる。

図２２は、本明細書で説明するロボットシステムのいくつかの実装形態で使用することができる例示的なコマンドコンソール２００を示す。図に示すように、いくつかの実施形態では、コマンドコンソール２００は、コンソールベース２０１、ディスプレイ２０２（例えば、モニタ）、および１つまたは複数の制御モジュール（例えば、キーボード２０３およびジョイスティック２０４）を含む。ユーザ２０５（例えば、医師）は、コマンドコンソール２００を使用して、人間工学的な位置から医療ロボットシステム（例えば、図１〜１５を参照して説明したシステム）を遠隔制御することができる。例えば、ユーザ２０５は、患者の管腔ネットワーク内の器具をナビゲートするために、コマンドコンソール２００を使用することができる。コマンドコンソール２００はまた、管腔ネットワークのナビゲーションを支援するために使用することができる情報をユーザ２０５に表示することができる。

ディスプレイ２０２は、電子モニタ（例えば、ＬＣＤディスプレイ、ＬＥＤディスプレイ、タッチ式ディスプレイ）、仮想現実表示デバイス（例えば、ゴーグルまたは眼鏡）、および／または他の表示装置を含む。いくつかの実施形態では、ディスプレイ２０２のうちの１つまたは複数は、患者の管腔ネットワーク１３０の術前モデル１５０を表示することができる。ディスプレイ２０２はまた、管腔ネットワーク１３０内の器具上に配置されたカメラまたは他の感知デバイスから受信された画像情報を表示することができる。いくつかの実施形態では、手術手技または医療手技の状態を示すのを支援するために、器具のモデルまたは器具の表現が、術前モデル１５０とともに表示される。

いくつかの実施形態では、コンソールベース２０１は、中央処理装置（ＣＰＵやプロセッサ）、メモリユニット（コンピュータ可読メモリ）、データバス、および関連するデー
タ通信ポートを含み、これらは、例えば、患者の管腔ネットワーク内に配置された医療器具からの、カメラ画像および追跡センサのデータなどの信号の解釈および処理を担う。いくつかの例では、以下に説明するナビゲーション経路の追跡方法は、コンソールベース２０１のプロセッサによって実行される。コンソールベース２０１はまた、制御モジュール２０３、２０４を介してユーザ２０５によって提供されるコマンドおよび命令を処理する。図２２に示すキーボード２０３およびジョイスティック２０４に加えて、制御モジュールは、コンピュータマウス、トラックパッド、トラックボール、制御パッド、ハンドヘルド遠隔制御装置などの制御装置、および手のジェスチャおよび指のジェスチャを捕捉するセンサ（例えば、モーションセンサまたはカメラ）などの他の装置を含んでもよい。コントローラは、器具の動作（例えば、関節運動、駆動、水洗浄など）にマッピングされた一組のユーザ入力（例えば、ボタン、ジョイスティック、方向パッドなど）を含む。コンソールベース２００の制御モジュール２０３、２０４を使用して、ユーザ２０５は、管腔ネットワーク１３０を通って器具をナビゲートすることができる。

（Ａ．ナビゲーション経路の追跡方法およびシステムの例）
図２３Ａは、例示的なナビゲーション経路の追跡のための処理、アルゴリズム、または方法１００を示すフローチャートである。方法１００は、図１〜１５などに示すロボットシステムなどの特定のロボットシステムに実装することができる。方法１００は、図１５のナビゲーションまたは位置特定システム９０などのナビゲーションシステム内にあるいはナビゲーションシステムによって実装することができる。いくつかの実施形態では、１つまたは複数の計算装置が、方法１００を実行するように構成されてもよい。計算装置は、上記の１つ以上の構成要素において、プロセッサ（またはプロセッサ）およびコンピュータ可読メモリによって実装されてもよい。コンピュータ可読メモリは、方法１００を実行するためにプロセッサによって実行可能な命令を記憶する。命令は、１つ以上のソフトウェアモジュールを含む。限定目的ではなく例示目的として、計算装置は、図１に示すタワー３０、図１〜４に示すカート、図５〜１０に示すベッド、図２２に示すコマンドコンソール２００に設けられてもよい。

方法１００（または方法１００を実装するシステム）は、（図１６の管腔ネットワーク１３０などの）管腔ネットワーク内に配置された医療器具の位置（例えば、経時的な位置および／または現在位置）を示す視覚的な指標（例えば、図２５〜２７を参照）を提供する（例えば、プロットや他の方法で表示する）ように構成することができる。視覚的な指標は、管腔ネットワークにおける医療器具のナビゲーションにおいて、医療器具が移動する経路を表すことができる。視覚的な指標は、ユーザディスプレイ（図２２のディスプレイ２０２など）を介してユーザに表示することができる。表示された視覚的な指標は、医療器具によってナビゲートされる管腔ネットワークの１つまたは複数の部分の視覚化をユーザに提供する。視覚的な指標は、管腔ネットワークの術前モデルを延長するために使用することもできる。方法１００のいくつかの実装において達成されるこれらの特徴および他の特徴については、以下で詳細に説明する。

ナビゲーション経路追跡方法１００は、ブロック１０１で開始する。方法１００は、例えば、図２１に示すように、医療器具が管腔ネットワーク１３０を通ってナビゲートされるときに実行されてもよい。したがって、いくつかの実施形態では、医療器具が管腔ネットワーク１３０内に導入されたときに、方法１００がトリガされる。いくつかの実施形態では、方法１００は、自動的にトリガされてもよい。いくつかの実施形態において、方法１００は、例えば、ユーザ入力またはコマンドが受信されたときに、手動でトリガされてもよい。上記の通り、方法１００は、分岐のある管腔ネットワーク（気管支ネットワーク、腎臓部のネットワーク、循環器ネットワーク（例えば、動脈および静脈）など）および分岐のない（例えば、単一の管腔）管腔ネットワーク（例えば、胃腸管、尿路など）を含む、種々の管腔ネットワークのナビゲーション用に実装することができる。

ブロック１０３において、方法１００は、術前モデル（例えば、術前モデル１５０）を表示し、これは、例えば、ユーザインタフェース上に、管腔ネットワークのマッピングされた部分に対応する術前モデルを表示することを含み得る。前述したように、術前モデル１５０は、種々の画像処理およびマッピング技術を用いて、術前（現在の手技の前）に生成される。術前モデル１５０は、３次元モデル１５０をメモリから取得でき、術前モデル１５０は、例えば、図１５を参照して説明した術前モデルデータ９１として、メモリに格納することができる。術前モデル１５０は、管腔ネットワーク１３０の少なくとも一部を表すか、または当該一部に対応する。したがって、いくつかの実施形態では、術前モデル１５０は、図１８に示すように、管腔ネットワーク１３０のマッピングされた部分１５５を表し、当該部分に対応する。いくつかの実施形態では、管腔ネットワーク１３０のマッピングされていない部分１３５（図１８参照）が、術前モデル１５０によって表現されていなくてもよい。術前モデル１５０は、ユーザディスプレイ（例えば、ユーザディスプレイ２０２）上に表示することができる。ユーザディスプレイは、コマンドコンソール２００の一部であってもよいし、別の装置であってもよい。

術前モデル１５０が表示されると、方法１００はブロック１０５に進む。ブロック１０５において、方法１００は、術前モデル１５０に対する医療器具の位置を特定し、これは、例えば、管腔ネットワークのマッピングされた部分に対する管腔ネットワーク内の器具の遠位端の位置を特定することを含む。いくつかの実施形態では、位置は、上記の説明および図１５に示すナビゲーションまたは位置特定システム９０を使用して特定または推定される。位置特定システム９０は、術前マッピング、コンピュータビジョン、リアルタイム電磁追跡、およびロボットコマンドデータなどの様々な技術またはモダリティを単独で使用あるいは組み合わせて使用して、器具の位置を特定または推定することができる。場合によっては、放射線ベースの画像診断法（例えば、Ｘ線透視法）が使用されてもよい。この場合、放射線ベースの画像処理モダリティは、術前マッピング、コンピュータビジョン、リアルタイム電磁追跡、および／またはロボットコマンドデータによって補完されてもよい。

上述のように、位置特定システム９０は、医療器具の位置データ９６を生成するために、種々のモダリティからの複数種類の入力データ９１〜９４を処理する位置特定モジュール９５を含む（例えば、位置特定日付９６は、器具の遠位端の位置を示す）。種々の種類の入力データは、例えば、上記の通り、術前モデルデータ９１（例えば、術前モデル１５０）、視覚データ９２、電磁データなどの位置センサのデータ）、形状感知データ、および／またはロボットコマンドおよび運動学データ９４を含む。さらに、場合によっては、位置特定システム９０は、入力データ９１〜９４の各々から決定された位置に信頼度の重みを割り当てる確率的アプローチを使用することができる。したがって、ある種類のデータが（さまざまな理由で）信頼できない場合には、当該種類のデータによって特定される位置の信頼性を低くし、位置特定モジュール９５は、器具の位置を特定する際に、他の種類のデータにより大きく依存することができる。

位置特定システム９０は、器具の位置を示す位置データ９６を提供する。位置データ９６は、術前モデル１５０に対する器具の位置を特定することができるように、術前モデル１５０に位置合わせされた座標系内に提示することができる。例えば、電磁データ９３（または他の位置センサのデータ）は、電磁データによって特定される位置が術前モデル１５０の座標系内に提示されるように、上記のように術前モデル１５０に位置合わせすることができる。いくつかの例では、種々の他のモダリティ（例えば、視覚データ９２および／またはロボットコマンドおよび運動学データ９４）のうちの１つまたは複数を、モデル１５０の座標系に位置合わせすることもできる。一部の実装では、位置データ９６は、ディスプレイ２０２のいずれかのディスプレイにおいてユーザ２０５に表示することができ
る。

さらに、いくつかの実施形態では、いくつかの位置特定モダリティは、術前モデル１５０によってマッピングされる管腔ネットワーク１３０の一部に器具が配置される場合にのみ利用されてもよい。例えば、いくつかの実施形態では、視覚データ９２は、器具が術前モデル１５０内に配置されている場合にのみ、器具の位置の推定を特定するために使用することができる。これは、いくつかの実施形態では、視覚データ９２に基づいて位置を特定することもまた、術前モデルデータ９１に部分的に依存するためである。例えば、視覚データ９２は、位置を特定するために、術前モデルデータ９１と比較されてもよい。いくつかの実施形態では、術前モデル１５０の外側では、視覚データ９２は、信頼性の低い位置の推定を提供する場合がある。同様に、いくつかの実施形態では、ロボットコマンドおよび運動データ９４は、器具が術前モデル１５０内にある場合にのみ、器具の位置推定を特定するために使用することができる。これは、いくつかの実施形態において、ロボットコマンドおよび運動学データに基づく位置の特定が、術前モデルデータ９１に部分的に依存するためである。例えば、ロボットコマンドおよび運動学データ９４は、位置を決定するために、術前モデルデータ９１と組み合わせてもよい。いくつかの実施形態では、術前モデル１５０の外側において、ロボットコマンドおよび運動データ９４は、信頼性の低い位置の推定を提供する場合がある。

一方で、いくつかの実施形態では、器具が術前モデル１５０によってマッピングされる管腔ネットワーク１３０の一部に配置されるかどうかに関係なく、所定の位置特定モダリティを使用してもよい。例えば、いくつかの実施形態では、術前モデル１５０によってマッピングされる管腔ネットワーク１３０の一部に器具が配置されているかどうかに関係なく、電磁データ９３（または他の位置センサデータ）を使用して位置を特定することができる。これは、術前モデル１５０の座標系に位置合わせされることとは別に、電磁データ９３（または他の位置センサデータ）の位置特定が、術前モデルデータ９１とは独立してもよいためである。

別の例として、いくつかの実施形態では、視覚データ９２、ならびにロボットシステムおよびロボットシステムのコマンドおよび運動学データ９４は、器具が術前モデル１５０内に配置されているかどうかに依存しないナビゲーションモダリティを提供する。例えば、視覚アルゴリズムまたは視覚モジュールは、器具上の画像処理装置４１５から受信された画像を解析して、管腔に接続する１つの開口を検出することができる。ロボットコマンドおよび運動アルゴリズムまたはモジュールは、器具の移動距離を推定するために、管腔を通る器具の移動を解析することができる。これらのモダリティを組み合わせて、術前モデル１５０に基づかない位置推定を開発することができる。ある場合には、視覚データ９２とロボットおよびロボットコマンドおよび運動学データ９４とを組み合わせて、器具位置の人工的または２次元的な推定を開発することができる。

いくつかの実施形態では、他のモダリティを使用して、術前モデル１５０および／または術前モデルデータ９１に基づくことなく、位置（術前モデルに位置合わせされた座標系内の位置）が特定される。これらには、透視法、形状検知ファイバ、位置センサおよび／またはモーションセンサなどが含まれる。

いくつかの実施態様において、ブロック１０５において、方法１００は、器具が、術前モデル１５０によって表現される管腔ネットワーク１３０の部分の内側あるいは外側に配置されているか否かを特定する。いくつかの実施形態では、器具が、術前モデル１５０によって表される管腔ネットワーク１３０の一部に配置される場合、位置は、術前モデルデータ９１に依存するモダリティおよび／または術前モデルデータ９１に依存しないモダリティを使用して、術前モデル１５０に対して（例えば、術前モデル１５０にマッピングさ
れた座標系内で）特定される。いくつかの実施形態では、器具が、術前モデル１５０によって表される管腔ネットワーク１３０の部分の外側に配置される場合、位置は、術前モデルデータ９１に依存しないモダリティを使用して、術前モデル１５０に対して（例えば、術前モデル１５０にマッピングされた座標系内で）特定される。いくつかの実施形態では、術前モデルデータ９１に依存しないモダリティは、電磁データ９３および／または術前モデル１５０の座標系に位置合わせされた他の位置センサデータを含む。

ブロック１０５で術前モデルに対する器具の位置を特定した後、方法１００は、判定状態１０７に移動する。判定状態１０７において、方法１００は、経路追跡モードと開始または終了するか否かを決定し、これには、例えば、器具の遠位端が管腔ネットワークのマッピングされた部分を越えて管腔ネットワークのマッピングされていない部分に移動した場合を特定して経路追跡モードを開始することを含む。図２５〜２７を参照しながら以下でより詳細に説明するように、経路追跡モードでは、管腔ネットワーク１３０を通る器具の経時的な経路を示すために、視覚的な指標を表示してもよい。

いくつかの例では、経路追跡モードを開始するかまたは継続するかの決定は、ブロック１０５で特定された術前モデル１５０に対する器具の位置に少なくとも部分的に基づいて行われる。例えば、方法１００は、器具が術前モデル１５０の外側に位置する場合に、経路追跡モードを開始するあるいは継続する。したがって、いくつかの実施形態では、方法１００は、器具が、術前モデル１５０によって表現される管腔ネットワーク１３０のマッピングされた部分１５５の外側に位置する場合に、経路追跡モードをトリガする。

別の例として、判定状態１０７における特定は、術前モデル１５０の端部または術前モデル１５０のセグメントの端部に対する接近に基づいて行うことができる。例えば、方法１００は、器具が０．１ｍｍ、０．２５ｍｍ、０．５ｍｍ、０．７５ｍｍ、１ｃｍ、１．５ｃｍ、２ｃｍ、２．５ｃｍ、３ｃｍ、４ｃｍ、５ｃｍ、７．５ｃｍ、または１０ｃｍの範囲内に配置され、術前モデル１５０の端部または術前モデル１５０のセグメントの端部の内部に位置する場合に、経路追跡モードを開始することができる。別の例として、方法１００は、器具が、術前モデル１０５の長さまたは術前モデル１５０のセグメント（最後のセグメントなど）の長さの１％、２．５％、５％、７．５％、１０％、１５％、２０％、２５％、または５０％の範囲内に位置する場合に、経路追跡モードを開始することができる。したがって、いくつかの例では、器具が術前モデル１５０を越えて移動する前に、経路追跡モードがトリガされる。この代わりにあるいはこれに加えて、いくつかの実施態様では、器具が術前モデル１５０内に位置する場合に、経路追跡モードがトリガされる。

別の例として、判定状態１０７における特定は、管腔ネットワーク１３０内の器具の移動方向に基づいて行うことができる。例えば、いくつかの例では、器具が管腔ネットワーク１３０内に進入した場合に、管腔ネットワーク１３０内に後退したとき、またはその両方のとき、経路追跡モードが起動される。

別の例として、判定状態１０７における特定は、管腔ネットワーク１３０内で器具が移動する距離に基づいて行うことができる。例えば、いくつかの例では、器具が少なくとも０．１ｍｍ、０．２５ｍｍ、０．５ｍｍ、０．７５ｍｍ、１ｃｍ、１．５ｃｍ、２ｃｍ、２．５ｃｍ、３ｃｍ、４ｃｍ、５ｃｍ、７．５ｃｍ、または１０ｃｍ移動した場合に、経路追跡モードが開始される。なお、他の距離を使用してもよい。

別の例として、判定状態１０７における特定は、経過時間に基づいて行うことができる。例えば、経路追跡モードは、０．１秒、０．２５秒、０．５秒、０．７５秒、１秒、１．５秒、２秒、２．５秒、３秒、４秒、５秒、７．５秒、または１０秒ごとに起動することができる。なお、他の時間を使用することもできる。

いくつかの例では、経路追跡モードを開始するかどうかや継続するかどうかの決定は、少なくとも部分的にユーザ入力に基づいて行うことができる。例えば、ある場合には、ユーザは、必要に応じて経路追跡モードを開始するあるいは無効にすることができる。ある実施形態では、これは、コマンドコンソール２００でユーザコマンドを入力することによって達成される。

経路追跡モードを開始するかどうかや継続するかどうかを決定するために、その他の要素が考慮されてもよい。さらに、いくつかの例では、判定状態１０７において、複数の要因を組み合わせて考慮されてもよい。

判定状態１０７によって経路追跡モードを開始するあるいは継続すると決定されると、方法１００はブロック１０９に進み、視覚的な指標を生成および／または表示する。これは、例えば、管腔ネットワークのマッピングされた部分の術前モデルに対して管腔ネットワークのマッピングされていない部分における器具の遠位端の経路の視覚的な指標を表示することを含む。上記の通り、視覚的な指標は、器具が管腔ネットワーク１３０を通過するときの器具の経時的な位置の指標である。視覚的な指標は、管腔ネットワーク１３０を通る器具の移動経路を表す跡（例えば、ブレッドクラムや経時的な経路）を生成することができる。視覚的な指標は、ディスプレイ２０２上に表示することができる。視覚的な指標には、以下の図２５〜２７を参照して説明するように、種々の指標が含まれる。

ブロック１０９において視覚的な指標が生成および表示された後、方法１００は、判定状態１１１に移動する。判定状態１１１において、方法は、終了するか（例えば、手技が完了したか）、継続するか（例えば、手技が続行されるか）を決定する。判定状態１１１において方法１００を終了すると判定された場合、方法はブロック１１３で終了する。判定状態１１１において方法１００を継続すると判定された場合、方法はブロック１１５に進む。

ブロック１１５において、器具は、管腔ネットワーク１３０内の新しい位置に移動する。これは、管腔ネットワーク１３０内で器具を前進または後退させることによって行われる。また、これは、器具を関節運動させることによって行われてもよい。次に、方法１００はブロック１０５に戻り、管腔ネットワーク１３０内の器具の新しい位置が特定される。

図２３Ａに示すように、方法１００が継続される場合、方法１００には、器具が管腔ネットワーク内で移動された後の新たな位置ごとに２つのループ処理が含まれている。判定状態１０７が、経路追跡モードが有効であると判定した場合、ループ処理によって、新たな位置に対する新たな視覚的な指標が生成および表示される。判定状態１０７が、経路追跡モードが無効であると判定した場合、新たな視覚的な指標は生成または表示されない。このため、判断状態１０７によって使用される基準は、どのタイミングで視覚的な指標を表示するかを特定することを目的として変更することができる。上記の通り、この基準には、器具が術前モデルの内側または外側にあるか否か、器具の（例えば、以前の視覚的な指標からの）移動距離、移動方向、以前の視覚的な指標の間の経過時間などが含まれる。当業者には、これらの基準が、連続する視覚的な指標の間の距離だけでなく、視覚的な指標が生成される頻度を決定するために変更されてよいことと理解される。

したがって、経路追跡方法１００（またはこれを実装するシステム）は、器具が管腔ネットワークを通って移動するときに、器具の経時的な位置を示す視覚的な指標を生成および表示することができる。視覚的な指標が生成および表示されると、器具が移動する管腔を視覚化することができる。移動される管腔に関するデータは、視覚的な指標と関連付け
られてユーザに表示される。データおよび視覚的な指標もまた、今後の使用のために記憶することができる。いくつかの例では、管状構造は、術前モデルを、術前モデルによってマッピングされていなかった管腔ネットワークの部分に拡張するために、視覚的な指標の周囲に適合させてもよい。したがって、経路追跡方法１００（またはこれを実装するシステム）は、有利には、ユーザが管腔ネットワークをナビゲーションおよび視覚化することを支援することができる。

図２３Ｂは、いくつかの実施形態において、図２３Ａの方法１００のステップ１０５を実行するための例示的なサブルーチンを示すフローチャートである。図２３Ｂのサブルーチンは、方法１００のすべての実装形態に含まれる必要はない。サブルーチンは、管腔ネットワーク１３０内の器具の位置を特定する方法を提供する。サブルーチンはブロック１１７から開始する。判定状態１１９において、サブルーチンは、器具が術前モデル１５０内に位置するか否かを特定する。例えば、位置データ９６を術前モデルの座標系に位置合わせした後、位置データ９６を術前モデル１５０と比較して、器具が管腔ネットワーク１３０のマッピングされた部分１５５内にあるか、あるいはマッピングされていない部分１３５内にあるかを特定することができる（図１８参照）。

器具が術前モデル１５０内に位置すると特定された場合は、サブルーチンはブロック１２１に進む。ブロック１２１において、サブルーチンは、術前モデル１５０および／または術前モデルデータ９１に部分的に基づく位置（例えば、位置データ９６）を返す。すなわち、器具が術前モデル１５０内に位置する場合に、サブルーチンは、術前モデル１５０および／または術前モデルデータを使用するナビゲーションモダリティに少なくとも部分的に基づく位置データを返すことができる。そして、サブルーチンはブロック１２３で終了する。

判定状態１１９において、器具が術前モデル１５０の外側に位置すると特定された場合は、サブルーチンはブロック１２５に進む。ブロック１２５において、サブルーチンは、術前モデル１５０の座標系に位置合わせすることなく術前モデル１５０および／または術前モデルデータ９１に基づかない位置を返す。すなわち、器具が術前モデル１５０の外側に位置される場合に、サブルーチンは、（出力を術前モデル１５０の座標系に位置合わせすることなく）術前モデル１５０および／または術前モデルデータを使用しないナビゲーションモダリティに基づく位置データを返すことができる。これは、器具が術前モデルの外側に位置する場合に、術前モデル１５０または術前モデル日付９１に依存するナビゲーションモダリティからのデータを使用できない可能性があるためである。そして、サブルーチンはブロック１２７で終了する。

判定状態１１９の条件の下、サブルーチンは、器具が術前モデル１５０内に位置するか否かに応じて、種々のナビゲーションモダリティに基づく位置を返す。位置特定システム９０は、器具が術前モデル１５０内に位置する場合に、器具が術前モデル１５０の外側に位置する場合よりも多くのナビゲーションモダリティを使用することができる。

いくつかの実施形態では、電磁データ９３（または他の位置センサデータ）は、器具が術前モデル１５０内に位置するか否かに依存しないナビゲーションモダリティを提供することができる。すなわち、術前モデル１５０の座標系に位置合わせすることなく、電磁データ９３（または他の位置センサデータ）は、術前モデル１５０に基づくことなく位置特定を提供することができる。したがって、サブルーチンのブロック１２５において、電磁データを使用して、術前モデルに基づくことなく位置を返すことができる。

図２４は、管腔ネットワーク内の器具のナビゲーション経路を特定する例示的な処理、アルゴリズム、または方法１４０を示すフローチャートである。図２３Ａの方法１００と
同様に、図２４の方法１４０は、図１〜１５などに示すロボットシステムなどの特定のロボットシステムで実装することができる。方法１４０は、図１５のナビゲーションまたは位置特定システム９０などのナビゲーションシステム内に、またはナビゲーションシステムによって実装することができる。

方法１４０は、ブロック１４１で開始する。ブロック１４２において、方法１００は、ユーザインタフェース上に、管腔ネットワークのマッピングされた部分に対応する術前モデルを表示する。図２３Ａの方法１００を参照しながら説明したように、術前モデル１５０は、種々の画像処理およびマッピング技術を使用して、術前に（現在の手技の前に）生成される。図２３Ａの方法１００を参照して説明した種々の態様は、図２４の方法１４０に適用可能であり、説明を簡略化するためにここでは説明は繰り返さない。

ブロック１４３において、方法１４０は、管腔ネットワークのマッピングされた部分に対する管腔ネットワーク内の器具の遠位端の位置を特定する。いくつかの実施形態では、位置は、上記の説明および図１５に示すように、ナビゲーションまたは位置特定システム９０を使用して特定される。位置特定システム９０は、例えば、術前マッピング、コンピュータビジョン、リアルタイム電磁追跡、形状感知ファイバデータ、および／またはロボットコマンドおよび運動学データなどの種々の手法またはモダリティを使用して、器具の位置を特定または推定することができる。

ブロック１４４において、方法１４０は、管腔ネットワーク内で器具を移動させる。これは、管腔ネットワーク１３０内で器具を前進または後退させることによって行われる。これは、器具を関節運動させることによって行われてもよい。

ブロック１４５において、方法１４０は、器具の遠位端が、管腔ネットワークのマッピングされた部分を越えて管腔ネットワークのマッピングされていない部分に移動したことを特定し、経路追跡モードを開始する。経路追跡モードでは、管腔ネットワーク１３０を通る器具の経時的な経路を示すために、視覚的な指標を表示することができる。

ブロック１４６において、方法１４０は、経路追跡モード中である場合に、管腔ネットワークのマッピングされた部分の術前モデルに対して、管腔ネットワークのマッピングされていない部分における器具の遠位端の経路の視覚的な指標を表示する。視覚的な指標には、以下の図２５〜２７を参照して説明するように、種々の指標が含まれる。そして、方法１４０はブロック１４７で終了する。

（Ｃ．ナビゲーション経路の追跡の出力および表示の例）
図２５は、視覚的な指標１７０を示すナビゲーション経路追跡システムまたは方法の出力例を示す。図に示す例では、視覚的な指標１７０は、円で示されているが、すべての実施形態において必ずしも円である必要はない。例えば、視覚的な指標１７０は、点、ダッシュ、×印、他の形状など、任意の適切な形状またはマーカであってよい。図２５に示すように、視覚的な指標１７０は、術前モデル１５０によって示されていない管腔ネットワーク１３０の部分の形状を示す。すなわち、器具が管腔ネットワーク１３０を通って移動され、（例えば、経路追跡モード時に）視覚的な指標１７０がプロットまたは表示されることで、視覚的な指標１７０によって、管腔ネットワーク１３０の形状または構造の指標が提供される。

図２６は、ナビゲーション経路追跡システムまたは方法の別の例示的な出力を示す、いくつかの異なる種類の視覚的な指標を示す。視覚的な指標は、種々の情報をユーザに提供するように変更することができる。例えば、図２６の図示された例では、視覚的な指標１７０は、暗い円で示されている。視覚的な指標１７０は、管腔ネットワークの管腔内の器
具の位置を表す。視覚的な指標１７２、１７４は三角形で示されている。視覚的な指標１７２、１７４は、分岐が存在する管腔ネットワーク１３０内の器具の位置を表す。視覚的な指標１７２は、暗い三角形で示されており、これは、器具がその位置で移動可能なすべての分岐を移動したことを表す。視覚的な指標１７４は、その位置から１つの分岐が器具によって探索されていないことを表す、暗部表示されていない三角形で示されている。視覚的な指標１７６、１７８は、暗部表示されていない円で示されている。この例では、暗部表示されていない円は、器具が探索した管腔において最遠の到達点を表す。視覚的な指標１７６は、実線の輪郭を有する暗部表示されていない円で示されている。これは、管腔の端部の位置、または、例えば、器具および管腔の相対的なサイズが原因で、器具が管腔内をさらに進むことができない点を表す。視覚的な指標１７８は、破線の輪郭を有する暗部表示されていない円で示されている。これは、管腔が続いていて、器具によってまだ探索されていないことを表す。視覚的な指標１７１は、灰色の円で示されている。図に示す例では、視覚的な指標１７１は、術前モデル内の器具の経時的な位置を表す。

図２６に示す種々の視覚的表示は、単なる例示であり限定目的ではない。これらの例は、種々の視覚的な指標を使用して、器具の経時的な位置に関する種々の情報および管腔ネットワーク１３０に関する種々の情報をユーザに提供することができることの例示である。種々の視覚的な指標を示すために使用される特定のマークや情報の種類は、さまざまに変更されてよい。

いくつかの例では、視覚的な指標が時間的に変化する。例えば、視覚的な指標は、時間的により近い移動部分がより以前の移動部分より暗くなるようにして、時間の経過と共に消えていってもよい。

図２６に示すように、いくつかの実施態様では、データ１８０は、視覚的な指標と関連付けられる。例えば、ユーザ（例えば、医師）は、一定の視覚的な指標に関連するデータを含むメモを作成することができる。ユーザは、コマンドコンソール２００を介してデータ１８０を入力することができ、データ１８０は、ディスプレイ２０２を介して表示することができる。

さらに、方法１００（または方法１００を実装するシステム）は、他のさまざまな種類のデータを視覚的な指標に関連付けることができる。例えば、視覚データ（例えば、視覚的な指標が示す位置における管腔の画像）は、視覚的な指標と関連付けられる。分岐が存在するかどうか、管腔の直径／サイズなどの種々の情報が、視覚データから導かれる。

図２７は、ナビゲーション経路追跡システムまたは方法の別の例の出力を示し、ナビゲーション経路追跡システムを使用して術前モデル１５０を延長することができることを示す。図２７に示すように、視覚的な指標１７０は、術前モデル１５０を延長するようにグループ化することができる。例えば、経路追跡モードは、視覚的な指標１７０の列を管腔に対応するものとして識別し、管状構造１９０を視覚的な標識の列に適合させて、術前モデル１９０を延長することができる。管状構造１９０の直径は、管腔の内部の視覚データまたは他の方法を使用して特定することができる。したがって、管状構造１９０は、術前モデル１５０によって以前にマッピングされていない管腔ネットワーク１３０の部分に術前モデル１５０を延長させる。延長された術前モデルは、今後の手技で使用するために、例えば、コンピュータ可読メモリに記憶することができる。

（３．システムの実装および用語）
本明細書に開示される実施形態は、ナビゲーション経路追跡のためのシステム、方法、および装置を提供する。ここで説明する種々の実装により、管腔ネットワークのナビゲーションの向上が実現する。

本明細書で使用される用語「結合する」、「結合する」、「結合される」、または単語対の他の変更は間接接続または直接接続のいずれかを示すことができ、例えば、第１の構成要素が第２の構成要素に「結合される」場合、第１の構成要素は、別の構成要素を介して第２の構成要素に間接的に接続されるか、または第２の構成要素に直接接続されることができることに留意されたい。

本明細書で説明する特徴類似度計算、位置推定、およびロボット動作作動機能は、プロセッサ可読媒体またはコンピュータ可読媒体上に１つまたは複数の命令として格納することができる。用語「コンピュータ可読媒体」は、コンピュータまたはプロセッサによってアクセスされ得る任意の利用可能な媒体を指す。限定ではなく例として、そのような媒体は、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリメモリ）、ＥＥＰＲＯＭ（電気的消去可能プログラマブルリードオンリメモリ）、フラッシュメモリ、ＣＤ−ＲＯＭ（コンパクトディスクリードオンリ）または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の様式で所望のプログラムコードを格納するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。コンピュータ可読媒体は、有形かつ非一時的であり得ることに留意されたい。本明細書で使用されるように、用語「コード」は、計算装置またはプロセッサによって実行可能なソフトウェア、命令、コード、またはデータを指すことができる。

本明細書で開示される方法は、説明される方法を達成するための１つまたは複数のステップまたはアクションを備える。方法のステップおよび／またはアクションは、代替形態の範囲から逸脱することなく、互いに交換することができる。言い換えれば、ステップまたはアクションの特定の命令が説明されている方法の適切な動作のために必要とされない限り、特定のステップおよび／またはアクションの命令および／または使用は、代替の範囲から逸脱することなく修正され得る。

本明細書で使用される場合、用語「複数」は２つ以上を意味する。例えば、複数の構成要素は２つ以上の構成要素を示す。用語「特定すること」が多種多様なアクションを包含し、したがって、「特定すること」は計算すること、計算すること、処理すること、導出すること、調査すること、参照すること（例えば、テーブル、データベース、または別のデータ構造を参照すること）、確認することなどを含むことができ、「特定すること」は受信すること（例えば、情報を受信すること）、アクセスすること（例えば、メモリ内のデータにアクセスすること）などを含むことができる。また、「特定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含むことができる。

「に基づく」という語句は特に断らない限り、「のみに基づく」という意味ではない。言い換えれば、「に基づく」という語句は、「のみに基づく」および「少なくともに基づく」の両方を表す。

開示された実施形態の上記の説明は、当業者が本件開示を実現または使用することを可能にするために提供される。これらの実装に対する様々な修正は当業者には容易に明らかであり、本明細書で定義される一般的な原理は、本件開示の範囲から逸脱することなく、他の実装に適用することができる。例えば、当業者は、工具構成要素を固定、取り付け、結合、または係合する等価な方法、特定の作動運動を生成するための等価な機構、および電気エネルギーを送達するための等価な機構などの、いくつかの対応する代替的および等価な構造的詳細を採用することができることが理解されるのであろう。したがって、本件開示は、本明細書に示される実装に限定されることを意図するものではなく、本明細書に開示される原理および新規な特徴と一致する最も広い範囲を与えられるべきである。

Claims (80)

1. 命令が記憶された非一時的なコンピュータ可読記憶媒体であって、前記命令が実行されると、装置のプロセッサに少なくとも、
   患者の管腔ネットワークのマッピングされた部分に対応する術前モデルを、ユーザディスプレイに表示することと、
   前記術前モデルの前記マッピングされた部分に関連する、前記管腔ネットワーク内に位置する器具の遠位端の位置を特定することと、
   前記術前モデルの前記マッピングされた部分に関連する前記器具の前記遠位端の前記位置に基づいて、経路追跡モードを開始することと、
   前記経路追跡モード時に、前記表示された術前モデルに対する前記器具の前記遠位端の経路を示す視覚的な指標を前記ユーザディスプレイに表示することと、
   を実行させることを特徴とする非一時的なコンピュータ可読記憶媒体。
2. 前記命令は、前記装置の前記プロセッサに、前記器具の前記遠位端の前記位置が前記術前モデルの前記マッピングされた部分の外側にある場合に、前記経路追跡モードを開示すること、を実行させることを特徴とする請求項１に記載の非一時的なコンピュータ可読記憶媒体。
3. 前記命令は、前記装置の前記プロセッサに、前記器具の前記遠位端の前記位置が前記術前モデルの前記マッピングされた部分の内側にある場合に、前記経路追跡モードを無効にすること、を実行させることを特徴とする請求項２に記載の非一時的なコンピュータ可読記憶媒体。
4. 前記命令は、前記装置の前記プロセッサに、前記器具の前記遠位端の前記位置が前記術前モデルの最後のセグメントの端部の２５％、２０％、１５％１０％または５％の部分の内側にある場合に、前記経路追跡モードを開始すること、を実行させることを特徴とする請求項１に記載の非一時的なコンピュータ可読記憶媒体。
5. 前記視覚的な指標は、前記管腔ネットワーク内における前記器具の前記遠位端の経時的な位置を示すことを特徴とする請求項１に記載の非一時的なコンピュータ可読記憶媒体。
6. 前記経路追跡モード時に、前記命令は、前記装置の前記プロセッサに、前記視覚的な指標間の前記器具の移動距離に基づいて、前記視覚的な指標の頻度を調整すること、を実行させることを特徴とする請求項１に記載の非一時的なコンピュータ可読記憶媒体。
7. 前記経路追跡モード時に、前記命令は、前記装置の前記プロセッサに、前記視覚的な指標間の経過時間に基づいて、前記視覚的な指標の頻度を調整すること、を実行させることを特徴とする請求項１に記載の非一時的なコンピュータ可読記憶媒体。
8. 前記命令は、前記装置の前記プロセッサに、前記器具の前記遠位端の前記位置が前記術前モデルの前記マッピングされた部分の内側にある場合に、複数のナビゲーションモダリティに基づいて前記器具の前記遠位端の前記位置を特定すること、を実行させることを特徴とする請求項１に記載の非一時的なコンピュータ可読記憶媒体。
9. 前記複数のナビゲーションモダリティは、複数の術前モデルデータ、視覚データ、位置センサデータ、ロボットコマンドおよび運動学データを有することを特徴とする請求項８に記載の非一時的なコンピュータ可読記憶媒体。
10. 前記命令は、前記装置の前記プロセッサに、前記器具が前記術前モデルの前記マッピン
    グされた部分の外側にある場合に、前記複数のナビゲーションモダリティに基づかずに前記器具の前記遠位端の前記位置を特定すること、を実行させることを特徴とする請求項８に記載の非一時的なコンピュータ可読記憶媒体。
11. 前記命令は、前記装置の前記プロセッサに、前記器具が前記術前モデルの前記マッピングされた部分の外側にある場合に、電磁センサから受信する電磁データに基づいて前記器具の前記遠位端の前記位置を特定すること、を実行させることを特徴とする請求項１に記載の非一時的なコンピュータ可読記憶媒体。
12. 前記命令は、前記装置の前記プロセッサに、前記器具が前記術前モデルの前記マッピングされた部分の外側にある場合に、視覚データとロボットコマンドおよび運動学データとの組み合わせに基づいて前記器具の前記遠位端の前記位置を特定すること、を実行させることを特徴とする請求項１に記載の非一時的なコンピュータ可読記憶媒体。
13. 前記命令は、前記装置の前記プロセッサに、視覚データを前記視覚的な指標と関連付けること、を実行させることを特徴とする請求項１に記載の非一時的なコンピュータ可読記憶媒体。
14. 前記視覚データは、前記器具の前記遠位端にある画像処理装置から受信する画像を含むことを特徴とする請求項１３に記載の非一時的なコンピュータ可読記憶媒体。
15. 前記命令は、前記装置の前記プロセッサに、ロボットコマンドおよび運動学データを前記視覚的な指標と関連付けること、を実行させることを特徴とする請求項１に記載の非一時的なコンピュータ可読記憶媒体。
16. 前記命令は、前記装置の前記プロセッサに、
    ユーザ入力からのユーザ入力データを受信することと、
    前記ユーザ入力データを前記視覚的な指標と関連付けることと、
    を実行させることを特徴とする請求項１に記載の非一時的なコンピュータ可読記憶媒体。
17. 前記ユーザ入力データは、
    管腔内の移動分の指標と、
    管腔内の未移動分の指標と、
    管腔の端部の指標と、
    管腔の開口の指標と、
    現在の管腔が前記器具の現在位置よりも延伸していることの指標と、
    管腔の直径と、
    の１つまたは複数を含むことを特徴とする請求項１６に記載の非一時的なコンピュータ可読記憶媒体。
18. 前記命令は、前記装置の前記プロセッサに、前記視覚的な指標に幾何学的構造を適合させて、前記管腔ネットワークの前記マッピングされた部分の外側にある前記管腔ネットワークの管腔の視覚表示を提供すること、を実行させることを特徴とする請求項１に記載の非一時的なコンピュータ可読記憶媒体。
19. 前記管腔ネットワークは、管腔の分岐ネットワークを含むことを特徴とする請求項１に記載の非一時的なコンピュータ可読記憶媒体。
20. 前記管腔ネットワークは、単一の管腔を含むことを特徴とする請求項１に記載の非一時的なコンピュータ可読記憶媒体。
21. 管腔ネットワークのナビゲーションを行うロボットシステムであって、
    細長い本体と前記細長い本体の遠位端に配置されたセンサとを有する器具と、
    実行可能な命令が記憶された少なくとも１つのコンピュータ可読メモリと、
    前記少なくとも１つのコンピュータ可読メモリと通信する１つまたは複数のプロセッサであって、前記命令を実行して前記システムに少なくとも、
    前記管腔ネットワークのマッピングされた部分の術前モデルにアクセスして、前記術前モデルをユーザディスプレイに表示することと、
    前記センサを使用して、前記術前モデルに関連する、前記管腔ネットワーク内における前記器具の前記遠位端の位置を特定することと、
    前記術前モデルに関連する前記特定された位置に基づいて、前記器具の前記遠位端が前記管腔ネットワークの前記マッピングされた部分を超えて移動したことを検出することと、
    前記器具の前記遠位端が前記管腔ネットワークの前記マッピングされた部分を超えて移動した場合に、前記表示された術前モデルに対する前記器具の前記遠位端の位置を示す視覚的な指標を前記ユーザディスプレイに表示することと、
    を実行させる、１つまたは複数のプロセッサと、
    を有することを特徴とするシステム。
22. 前記１つまたは複数のプロセッサは、前記命令を実行して前記システムに、前記センサの座標系と前記術前モデルの座標系を登録すること、を実行させることを特徴とする請求項２１に記載のシステム。
23. 電磁場を生成する場発生器をさらに有し、
    前記センサは電磁センサであり、
    前記１つまたは複数のプロセッサは、前記命令を実行して前記システムに、前記電磁場内の前記電磁センサの位置を特定すること、を実行させる、
    ことを特徴とする請求項２１に記載のシステム。
24. 前記センサは形状感知ファイバである、ことを特徴とする請求項２１に記載のシステム。
25. 前記１つまたは複数のプロセッサは、前記命令を実行して前記システムに、前記管腔ネットワーク内で前記器具を移動させること、を実行させることを特徴とする請求項２１に記載のシステム。
26. 前記１つまたは複数のプロセッサは、前記命令を実行して前記システムに、
    前記器具の前記遠位端の前記位置が前記管腔ネットワークの前記マッピングされた部分に移動した場合を検出することと、
    前記器具の前記遠位端が前記管腔ネットワークの前記マッピングされた部分の内側に位置する場合に、前記視覚的な指標の表示を停止することと、
    を実行させることを特徴とする請求項２１に記載のシステム。
27. 前記視覚的な指標は、前記管腔ネットワーク内の前記器具の前記遠位端の経時的な位置を示すことを特徴とする請求項２１に記載のシステム。
28. 前記命令は、前記１つまたは複数のプロセッサに、前記視覚的な指標間の前記器具の移動距離に基づいて、前記視覚的な指標の頻度を調整すること、を実行させることを特徴とする請求項２１に記載のシステム。
29. 前記命令は、前記１つまたは複数のプロセッサに、前記視覚的な指標間の経過時間に基づいて、前記視覚的な指標の頻度を調整すること、を実行させることを特徴とする請求項２１に記載のシステム。
30. 前記命令は、前記１つまたは複数のプロセッサに、前記器具が前記術前モデルの前記マッピングされた部分の内側に位置する場合に、複数のナビゲーションモダリティに基づいて前記器具の前記遠位端の前記位置を特定すること、を実行させることを特徴とする請求項２１に記載のシステム。
31. 前記複数のナビゲーションモダリティは、複数の術前モデルデータ、視覚データ、位置センサデータ、ロボットコマンドおよび運動学データを有することを特徴とする請求項３０に記載のシステム。
32. 前記命令は、前記１つまたは複数のプロセッサに、前記器具が前記術前モデルの前記マッピングされた部分の外側にある場合に、前記複数のナビゲーションモダリティに基づかずに前記器具の前記遠位端の前記位置を特定すること、を実行させることを特徴とする請求項３０に記載のシステム。
33. 前記命令は、前記１つまたは複数のプロセッサに、前記器具が前記術前モデルの前記マッピングされた部分の外側にある場合に、視覚データとロボットコマンドおよび運動学データとの組み合わせに基づいて前記器具の前記遠位端の前記位置を特定すること、を実行させることを特徴とする請求項２１に記載のシステム。
34. 前記命令は、前記１つまたは複数のプロセッサに、視覚データを前記視覚的な指標と関連付けること、を実行させることを特徴とする請求項２１に記載のシステム。
35. 前記視覚データは、前記器具の前記遠位端にある画像処理装置から受信する画像を含むことを特徴とする請求項３４に記載のシステム。
36. 前記命令は、前記１つまたは複数のプロセッサに、ロボットコマンドおよび運動学データを前記視覚的な指標と関連付けること、を実行させることを特徴とする請求項２１に記載のシステム。
37. 前記命令は、前記１つまたは複数のプロセッサに、
    ユーザ入力からのユーザ入力データを受信することと、
    前記ユーザ入力データを前記視覚的な指標と関連付けることと、
    を実行させることを特徴とする請求項２１に記載のシステム。
38. 前記ユーザ入力データは、
    管腔内の移動分の指標と、
    管腔内の未移動分の指標と、
    管腔の端部の指標と、
    管腔の開口の指標と、
    現在の管腔が前記器具の現在位置よりも延伸していることの指標と、
    管腔の直径と、
    の１つまたは複数を含むことを特徴とする請求項３７に記載のシステム。
39. 前記命令は、前記１つまたは複数のプロセッサに、前記視覚的な指標に幾何学的構造を適合させて、前記管腔ネットワークの前記マッピングされた部分の外側にある前記管腔ネットワークの管腔の視覚表示を提供すること、を実行させることを特徴とする請求項２１
    に記載のシステム。
40. 前記管腔ネットワークは、管腔の分岐ネットワークを含むことを特徴とする請求項２１に記載のシステム。
41. 前記管腔ネットワークは、単一の管腔を含むことを特徴とする請求項２１に記載のシステム。
42. 前記器具は、内視鏡を含むことを特徴とする請求項２１に記載のシステム。
43. 器具位置決め装置をさらに有し、
    前記器具は、前記器具位置決め装置に取り付けられる、
    ことを特徴とする請求項２１に記載のシステム。
44. 前記器具位置決め装置は、ロボットアームを含むことを特徴とする請求項４３に記載のシステム。
45. 管腔ネットワーク内の器具のナビゲーション経路を特定する方法であって、
    管腔ネットワークのマッピングされた部分に対応する術前モデルを、ユーザインタフェースに表示することと、
    前記管腔ネットワークの前記マッピングされた部分に関連する、前記管腔ネットワーク内の器具の遠位端の位置を特定することと、
    前記管腔ネットワーク内で前記器具を移動することと、
    前記器具の前記遠位端が前記管腔ネットワークの前記マッピングされた部分を越えて前記管腔ネットワークのマッピングされていない部分に移動した場合に、経路追跡モードを開始することと、
    前記経路追跡モード時に、前記管腔ネットワークの前記マッピングされた部分の前記術前モデルに関連する、前記管腔ネットワークの前記マッピングされていない部分の前記器具の前記遠位端の経路の視覚的な指標を表示することと、
    を含むことを特徴とする方法。
46. 前記器具の前記遠位端の前記位置が前記管腔ネットワークの前記マッピングされた部分に移動した場合を検出することと、
    前記器具の前記遠位端が前記管腔ネットワークの前記マッピングされた部分の内側に位置する場合に、前記視覚的な指標の表示を停止することと、
    を含むことを特徴とする請求項４５に記載の方法。
47. 前記視覚的な指標は、前記管腔ネットワーク内の前記器具の前記遠位端の経時的な位置を示すことを特徴とする請求項４５に記載の方法。
48. 前記視覚的な指標間の前記器具の移動距離に基づいて、前記視覚的な指標の頻度を調整すること、をさらに含むことを特徴とする請求項４５に記載の方法。
49. 前記視覚的な指標間の経過時間に基づいて、前記視覚的な指標の頻度を調整すること、をさらに含むことを特徴とする請求項４５に記載の方法。
50. 前記器具が前記術前モデルの前記マッピングされた部分の内側に位置する場合に、前記器具の前記遠位端の前記位置を特定することは、複数のナビゲーションモダリティに基づくことを特徴とする請求項４５に記載の方法。
51. 前記複数のナビゲーションモダリティは、複数の術前モデルデータ、視覚データ、位置センサデータ、ロボットコマンドおよび運動学データを有することを特徴とする請求項５０に記載の方法。
52. 前記器具が前記術前モデルの前記マッピングされた部分の外側にある場合に、前記器具の前記遠位端の前記位置を特定することは、前記複数のナビゲーションモダリティに基づかないことを特徴とする請求項５０に記載の方法。
53. 前記器具が前記術前モデルの前記マッピングされた部分の外側にある場合に、前記器具の前記遠位端の前記位置を特定することは、電磁センサから受信する電磁データに基づくことを特徴とする請求項４５に記載の方法。
54. 前記器具が前記術前モデルの前記マッピングされた部分の外側にある場合に、前記器具の前記遠位端の前記位置を特定することは、視覚データとロボットコマンドおよび運動学データとの組み合わせに基づくことを特徴とする請求項４５に記載の方法。
55. 視覚データを前記視覚的な指標と関連付けること、をさらに含むことを特徴とする請求項４５に記載の方法。
56. 前記視覚データは、前記器具の前記遠位端にある画像処理装置から受信する画像を含むことを特徴とする請求項５５に記載の方法。
57. ロボットコマンドおよび運動学データを前記視覚的な指標と関連付けること、をさらに含むことを特徴とする請求項４５に記載の方法。
58. ユーザ入力からのユーザ入力データを受信することと、
    前記ユーザ入力データを前記視覚的な指標と関連付けることと、
    をさらに含むことを特徴とする請求項４５に記載の方法。
59. 前記ユーザ入力データは、
    管腔内の移動分の指標と、
    管腔内の未移動分の指標と、
    管腔の端部の指標と、
    管腔の開口の指標と、
    現在の管腔が前記器具の現在位置よりも延伸していることの指標と、
    管腔の直径と、
    の１つまたは複数を含むことを特徴とする請求項５８に記載の方法。
60. 前記視覚的な指標に幾何学的構造を適合させて、前記管腔ネットワークの前記マッピングされた部分の外側にある前記管腔ネットワークの管腔の視覚表示を提供すること、をさらに含むことを特徴とする請求項４５に記載の方法。
61. 前記管腔ネットワークは、管腔の分岐ネットワークを含むことを特徴とする請求項４５に記載の方法。
62. 前記管腔ネットワークは、単一の管腔を含むことを特徴とする請求項４５に記載の方法。
63. 命令が記憶された非一時的なコンピュータ可読記憶媒体であって、前記命令が実行されると、装置のプロセッサに少なくとも、
    患者の管腔ネットワークのマッピングされた部分に対応する術前モデルを、ユーザディスプレイに表示することと、
    前記術前モデルに関連する、前記管腔ネットワーク内に位置する器具の遠位端の位置を特定することと、
    前記器具の前記遠位端の前記位置が前記管腔ネットワークの前記マッピングされた部分を越えて移動した場合を検出することと、
    前記器具の前記遠位端が前記管腔ネットワークの前記マッピングされた部分の外側に位置する場合に、前記表示された術前モデルに対する前記器具の前記遠位端の前記位置を示す視覚的な指標を表示することと、
    を実行させることを特徴とする非一時的なコンピュータ可読記憶媒体。
64. 前記命令は、前記装置の前記プロセッサに、
    前記器具の前記遠位端の前記位置が前記管腔ネットワークの前記マッピングされた部分に移動した場合を検出することと、
    前記器具の前記遠位端が前記管腔ネットワークの前記マッピングされた部分の内側に位置する場合に、前記視覚的な指標の表示を停止することと、
    を実行させることを特徴とする請求項６３に記載の非一時的なコンピュータ可読記憶媒体。
65. 前記視覚的な指標は、前記管腔ネットワーク内の前記器具の前記遠位端の経時的な位置を示すことを特徴とする請求項６３に記載の非一時的なコンピュータ可読記憶媒体。
66. 前記命令は、前記装置の前記プロセッサに、前記視覚的な指標間の前記器具の移動距離に基づいて、前記視覚的な指標の頻度を調整すること、を実行させることを特徴とする請求項６３に記載の非一時的なコンピュータ可読記憶媒体。
67. 前記命令は、前記装置の前記プロセッサに、前記視覚的な指標間の経過時間に基づいて、前記視覚的な指標の頻度を調整すること、を実行させることを特徴とする請求項６３に記載の非一時的なコンピュータ可読記憶媒体。
68. 前記命令は、前記装置の前記プロセッサに、前記器具が前記術前モデルの前記マッピングされた部分の内側に位置する場合に、複数のナビゲーションモダリティに基づいて前記器具の前記遠位端の前記位置を特定すること、を実行させることを特徴とする請求項６３に記載の非一時的なコンピュータ可読記憶媒体。
69. 前記複数のナビゲーションモダリティは、複数の術前モデルデータ、視覚データ、位置センサデータ、ロボットコマンドおよび運動学データを有することを特徴とする請求項６８に記載の非一時的なコンピュータ可読記憶媒体。
70. 前記命令は、前記装置の前記プロセッサに、前記器具が前記術前モデルの前記マッピングされた部分の外側にある場合に、前記複数のナビゲーションモダリティに基づかずに前記器具の前記遠位端の前記位置を特定すること、を実行させることを特徴とする請求項６８に記載の非一時的なコンピュータ可読記憶媒体。
71. 前記命令は、前記装置の前記プロセッサに、前記器具が前記術前モデルの前記マッピングされた部分の外側にある場合に、電磁センサから受信する電磁データに基づいて前記器具の前記遠位端の前記位置を特定すること、を実行させることを特徴とする請求項６３に記載の非一時的なコンピュータ可読記憶媒体。
72. 前記命令は、前記装置の前記プロセッサに、前記器具が前記術前モデルの前記マッピン
    グされた部分の外側にある場合に、視覚データとロボットコマンドおよび運動学データとの組み合わせに基づいて前記器具の前記遠位端の前記位置を特定すること、を実行させることを特徴とする請求項６３に記載の非一時的なコンピュータ可読記憶媒体。
73. 前記命令は、前記装置の前記プロセッサに、視覚データを前記視覚的な指標と関連付けること、を実行させることを特徴とする請求項６３に記載の非一時的なコンピュータ可読記憶媒体。
74. 前記視覚データは、前記器具の前記遠位端にある画像処理装置から受信する画像を含むことを特徴とする請求項７３に記載の非一時的なコンピュータ可読記憶媒体。
75. 前記命令は、前記装置の前記プロセッサに、ロボットコマンドおよび運動学データを前記視覚的な指標と関連付けること、を実行させることを特徴とする請求項６３に記載の非一時的なコンピュータ可読記憶媒体。
76. 前記命令は、前記装置の前記プロセッサに、
    ユーザ入力からのユーザ入力データを受信することと、
    前記ユーザ入力データを前記視覚的な指標と関連付けることと、
    を実行させることを特徴とする請求項６３に記載の非一時的なコンピュータ可読記憶媒体。
77. 前記ユーザ入力データは、
    管腔内の移動分の指標と、
    管腔内の未移動分の指標と、
    管腔の端部の指標と、
    管腔の開口の指標と、
    現在の管腔が前記器具の現在位置よりも延伸していることの指標と、
    管腔の直径と、
    の１つまたは複数を含むことを特徴とする請求項７６に記載の非一時的なコンピュータ可読記憶媒体。
78. 前記命令は、前記装置の前記プロセッサに、前記視覚的な指標に幾何学的構造を適合させて、前記管腔ネットワークの前記マッピングされた部分の外側にある前記管腔ネットワークの管腔の視覚表示を提供すること、を実行させることを特徴とする請求項６３に記載の非一時的なコンピュータ可読記憶媒体。
79. 前記管腔ネットワークは、管腔の分岐ネットワークを含むことを特徴とする請求項６３に記載の非一時的なコンピュータ可読記憶媒体。
80. 前記管腔ネットワークは、単一の管腔を含むことを特徴とする請求項６３に記載の非一時的なコンピュータ可読記憶媒体。

Images