JP2022141792A - 管腔ネットワーク内の医療装置の姿勢を特定するロボットシステム - Google Patents

Abstract

【課題】患者の解剖学的な管腔ネットワークを表す仮想管腔ネットワークの３次元モデルを生成することができ、仮想カメラが配置された位置における仮想管腔ネットワーク内のさまざまな位置を特定することができるナビゲーション支援医療装置のシステムおよび技術を提供する。【解決手段】いくつかの側面は、解剖学的な管腔ネットワークの取得画像に基づいて生成されたデプス情報の特徴と当該管腔ネットワークの仮想表現の仮想画像に基づいて生成されたデプス情報の特徴とを関連付けて、管腔ネットワーク内の医療装置の姿勢の側面を自動的に特定することに関する。【選択図】図１

Description

関連出願の相互参照

本願は、２０１７年６月２３日出願の発明の名称が「管腔ネットワークのナビゲーション用の自動起動ロボットシステム」である米国仮特許出願１５／６３１，６９１号の利益を主張し、その開示全体を参照により援用する。

本件開示のシステムおよび方法は医療手技に関し、より具体的には、ナビゲーション支援医療装置に関する。

内視鏡検査（気管支鏡検査など）の医療手技には、診断目的および／または治療目的で、患者の管腔（気管支など）の内部にアクセスしたり可視化したりすることが含まれる。手技においては、例えば内視鏡などの軟性の管状の道具が、患者の体腔内に挿入され、器具が内視鏡を通って診断および／または治療のために特定された組織部位に導かれる。

気管支鏡検査は、術者が患者の気管支や細気管支などの肺気道の内部状態を調べることができる医療手技である。気管支鏡検査の手技においては、気管支鏡と呼ばれる細径の軟性の管状の器具が、患者の口に挿入され、患者の咽喉を下って肺気道に入り、後の診断および治療のために特定された組織部位に導かれる。気管支鏡は、組織部位への経路を提供する内部ルーメン（「ワーキングチャネル」）を備えることができ、カテーテルや種々の医療器具を、ワーキングチャネルを経由して組織部位に挿入することができる。

内視鏡検査ナビゲーションシステムは、適応調整的な確率論（adaptively-adjusted probabilities）によってモデル化された種々の検知手法（内視鏡画像データ、電磁（ＥＭ）位置データ、ロボット位置データなど）を融合して用いることができる。確率論的なナビゲーション手法やその他のナビゲーション手法は、内視鏡の先端の追跡を開始するため、例えば、どの気管支であるかやその気管支のどの程度深い位置であるかやその気管支でどの程度回転しているかなどの推定など、内視鏡の先端が「どこにあるか」の初期の推定を基に行われる。いくつかの内視鏡検査技術には、患者の組織の３次元モデルが含まれたり、電磁場および位置センサを用いたナビゲーションによるガイドが行われたりする。手技の初めにおいては、３次元モデルの仮想空間と、３次元モデルによって表される患者の組織の物理空間と、電磁場との間の正確な整列（位置合わせ）については未知な部分がある。そのため、位置合わせの生成前や既存の位置合わせの精度に疑義がある場合などに、患者の組織内における内視鏡の位置を、３次元モデル内における対応する位置に精度よくマッピングできない可能性がある。

典型的には、ナビゲーションシステムでは、術者は、この初期の推定を生成するための一連の初期化ステップを行う必要がある。これには、例えば、気管支樹内の標識構造に対して多数の指定された位置や向きに気管支鏡を配置するよう（例えば、主竜骨、右竜骨、左竜骨にそれぞれ触れるなど）術者に指示することが含まれる。別の選択肢として、例えば、気管中央部から始まり各肺葉に入って、各気道内では気管支鏡の先端の中央位置を維持しつつ、初期的な気道の調査を行うよう術者に求めることがある。

このような初期化ステップにより、内視鏡の位置の初期の推定を行うことができるが、この手法には、手技の開始時にさらなる時間的な要件が加わるなどのいくつかの潜在的な欠点が伴う可能性がある。別の潜在的な欠点は、この初期化が完了して追跡が実行された後に、不都合な現象（患者の咳や動的気道虚脱など）が生じた場合に内視鏡の実際の位置が予測不能となる可能性があることである。このことにより、新たな「初期」位置の特定が必要になり、その結果、ナビゲーションシステムが術者に気管に戻って上記の初期化ステップを再度実行するよう要求する可能性がある。このようなやり直しによって、時間的な要件が追加され、内視鏡が細い末梢気道を通って目標の部位に向かってナビゲートされている場合などは特に重荷になりうる。

とりわけ上記の問題は、本件開示の管腔ネットワークナビゲーションのシステムおよび技術によって解決される。本件開示の技術により、患者の解剖学的な管腔ネットワークを表す仮想管腔ネットワークの３次元モデルを生成することができ、仮想カメラが配置された位置における仮想管腔ネットワーク内のさまざまな位置を特定することができる。本件開示の技術により、仮想管腔ネットワークの内部表面と特定の位置に配置された仮想カメラとの間の距離を表す仮想デプスマップを生成することができる。この仮想デプスマップから、例えば気道分岐を表す仮想デプスマップの場合はピーク間距離など、種々の特徴を抽出することができ、抽出された特徴は仮想カメラの位置と関連付けて記憶することができる。医療手技時に、内視鏡の遠位端に画像取得装置が設けることができ、本件開示のナビゲーション技術により、撮像装置から受信した画像データに基づくデプスマップを生成することができる。本件開示の技術により、生成されたデプスマップから種々の特徴を推定し、仮想デプスマップから抽出して記憶された特徴を用いて、抽出された複数の特徴の関連性を計算し、さらに関連付けられた仮想カメラの位置器具の遠位端の初期位置として用いることができる。有利には、この技術によって、確率論的なナビゲーションシステム（あるいは他のナビゲーションシステム）において、上記の手動による初期化ステップを行う必要なく内視鏡位置の初期推定を行うことができる。また、手技全体において本件開示の技術を用いて、位置合わせの精度を高めたり、いくつかの実施形態によれば、不都合な現象が発生しても、目標の解剖学的特徴まで管腔ネットワークを戻るようナビゲーションを行うことなく、追加の「初期推定」を行ったりすることができる。

したがって、一側面は、患者の解剖学的な管腔ネットワークのナビゲーションを支援する方法であって、前記方法は1つのセットの１つまたは複数の計算装置によって実行され、前記方法は前記解剖学的な管腔ネットワーク内に位置する器具の遠位端にある撮像装置によって取得された画像データを受信することと、前記解剖学的な管腔ネットワークを表す仮想管腔ネットワーク内の仮想位置に位置する仮想撮像装置の視点からシミュレーションされた仮想画像から導出される仮想特徴にアクセスすることと、前記画像データから導出される特徴と前記仮想画像から導出される前記仮想特徴との間の類似度を計算することと、前記仮想特徴に関連付けられた前記仮想位置に基づいて、前記解剖学的な管腔ネットワーク内の前記器具の前記遠位端の姿勢を特定することと、を含む方法に関する。

いくつかの実施形態では、前記方法は、前記画像データに基づいてデプスマップを生成することであって、前記仮想特徴は、前記仮想画像に関連付けられている仮想デプスマップから導出され、前記類似度を計算することは、前記デプスマップの１つまたは複数の特徴と前記仮想デプスマップの１つまたは複数の特徴とを関連付けることに少なくとも部分的に基づく、こと、をさらに含む。

いくつかの実施形態では、前記方法は、前記画像データの複数の画素の各画素に対して、前記撮像装置と前記画素に対応する前記解剖学的な管腔ネットワーク内の組織表面との間の推定距離を表すデプス値を計算することによって、前記デプスマップを生成することと、前記デプスマップ内の第１のデプス基準に対応する前記複数の画素のうちの第１の画素と、前記デプスマップ内の第２のデプス基準に対応する前記複数の画素のうちの第２の画素とを識別することと、前記第１の画素と前記第２の画素との間の距離を表す第１の値を計算することであって、前記仮想デプスマップは、複数の仮想画素の仮想画素ごとに、前記仮想撮像装置と前記仮想画素によって表される前記仮想管腔ネットワークの部分との間の仮想距離を表す仮想デプス値を有し、前記仮想画像から導出される前記仮想特徴にアクセスすることは、前記仮想デプスマップ内の第１のデプス基準と第２のデプス基準との間の距離を表す第２の値にアクセスすることを含む、ことと、前記第１の値を前記第２の値と比較することに基づいて前記類似度を計算することと、をさらに含む。

いくつかの実施形態では、前記方法は、それぞれが前記仮想管腔ネットワーク内の複数の仮想位置の異なる位置を表す複数の仮想デプスマップにおける、第１のデプス基準と第２のデプス基準との間の距離を表す複数の値にアクセスすることと、前記複数の値のうちの他の値よりも前記第１の値により密接に対応する前記第２の値に基づいて前記類似度を計算することと、をさらに含む。いくつかの実施形態では、前記方法は、前記解剖学的な管腔ネットワークは気道を有し、前記画像データは前記気道の分岐を表し、前記方法はさらに前記第１のデプス基準と前記第２のデプス基準の一方を、前記デプスマップと前記仮想デプスマップのそれぞれにおける右気管支として識別することと、前記デプスマップにおける前記右気管支の第１の位置と前記仮想デプスマップにおける前記右気管支の第２の位置との間の角距に基づいて、前記器具の回転を特定することであって、前記解剖学的な管腔ネットワーク内の前記器具の前記遠位端の前記姿勢が前記特定された回転を含む、ことと、をさらに含む。

いくつかの実施形態では、前記方法は、前記デプスマップと前記仮想デプスマップのそれぞれにおいて、３つ以上のデプス基準を識別することと、前記デプスマップと前記仮想デプスマップのそれぞれにおいて、前記デプス基準を接続するポリゴンの形状および位置を特定することと、前記デプスマップの前記ポリゴンの形状および位置を前記仮想デプスマップの前記ポリゴンの形状および位置と比較することに基づいて前記類似度を計算することと、をさらに含む。いくつかの実施形態では、前記デプスマップを生成することは、写真傾斜測定に基づく。

いくつかの実施形態では、前記方法は、前記位置を含む複数の入力に基づいて、前記解剖学的な管腔ネットワーク内の前記器具の確率論的な状態を計算することと、前記確率論的な状態に少なくとも部分的に基づいて、前記解剖学的な管腔ネットワークを通る前記器具のナビゲーションをガイドすることと、さらに含む。いくつかの実施形態では、前記方法は、前記確率論的な状態を計算して前記確率論的な状態に基づいて前記解剖学的な管腔ネットワークの前記ナビゲーションをガイドするナビゲーションシステムを初期化することであって、前記ナビゲーションシステムの前記初期化は、前記位置に基づいて確率計算器の事前確率を設定することを含む、ことをさらに含む。いくつかの実施形態では、前記方法は、前記器具の前記遠位端の更新された姿勢を表す追加データを受信することと、前記追加データに基づいて、前記確率計算器の尤度関数を設定することと、前記事前確率および前記尤度関数に基づいて、前記確率計算器を使用して前記確率論的な状態を特定することと、をさらに含む。

いくつかの実施形態では、前記方法は、前記確率論的な状態を計算するナビゲーションシステムに前記複数の入力を提供することであって、第１の入力は、前記器具の前記遠位端の前記姿勢を含み、少なくとも１つの追加の入力は、前記器具の動きを作動させるロボットシステムからのロボット位置データと前記器具の前記遠位端にある位置センサから受信したデータとの一方または両方を含む、ことと、前記第１の入力と前記少なくとも１つの追加の入力に基づいて、前記器具の前記確率論的な状態を計算することと、をさらに含む。

いくつかの実施形態では、前記方法は、前記計算された類似度に基づいて特定される前記解剖学的な管腔ネットワーク内の前記器具の前記遠位端の前記姿勢に少なくとも部分的に基づいて、前記仮想管腔ネットワークの座標系と前記解剖学的な管腔ネットワークの周囲に発生された電磁場の座標系との間の位置合わせを特定することをさらに含む。いくつかの実施形態では、前記位置を特定することは、前記器具の前記遠位端が前記解剖学的な管腔ネットワーク内のセグメント内を進行する距離を特定することを含む。

別の側面は、患者の解剖学的な管腔ネットワークのナビゲーションを支援するシステムであって、前記システムは器具の遠位端にある撮像装置と、実行可能な命令が記憶された少なくとも１つのコンピュータ可読メモリと、前記少なくとも１つのコンピュータ可読メモリと通信する１つまたは複数のプロセッサであって、前記命令を実行して前記システムに少なくとも前記解剖学的な管腔ネットワーク内に位置する前記器具の前記遠位端にある前記撮像装置によって取得された画像データを受信することと、前記解剖学的な管腔ネットワークを表す仮想管腔ネットワーク内の仮想位置に位置する仮想撮像装置の視点からシミュレーションされた仮想画像から導出される仮想特徴にアクセスすることと、前記画像データから導出される特徴と前記仮想画像から導出される前記仮想特徴との間の類似度を計算することと、前記仮想特徴に関連付けられた前記仮想位置に基づいて、前記解剖学的な管腔ネットワーク内の前記器具の前記遠位端の姿勢を特定することと、を実行させる１つまたは複数のプロセッサと、を有することを特徴とするシステムに関する。

いくつかの実施形態では、前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも前記画像データに基づいてデプスマップを生成することであって、前記仮想画像は仮想デプスマップを表す、ことと、前記デプスマップの１つまたは複数の特徴と前記仮想デプスマップの１つまたは複数の特徴とを関連付けることに少なくとも部分的に基づいて、前記類似度を特定することと、を実行させる。いくつかの実施形態では、前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも前記画像データの複数の画素の各画素に対して、前記撮像装置と前記画素に対応する前記解剖学的な管腔ネットワーク内の組織表面との間の推定距離を表すデプス値を計算することによって、前記デプスマップを生成することと、前記デプスマップ内の第１のデプス基準に対応する前記複数の画素のうちの第１の画素と、前記デプスマップ内の第２のデプス基準に対応する前記複数の画素のうちの第２の画素とを識別することと、前記第１の画素と前記第２の画素との間の距離を表す第１の値を計算することであって、前記仮想デプスマップは、複数の仮想画素の仮想画素ごとに、前記仮想撮像装置と前記仮想画素によって表される前記仮想管腔ネットワークの部分との間の仮想距離を表す仮想デプス値を有し、前記仮想画像から導出される前記特徴は、前記仮想デプスマップ内の第１のデプス基準と第２のデプス基準との間の距離を表す第２の値を含む、ことと、前記第１の値を前記第２の値と比較することに基づいて前記類似度を特定することと、を実行させる。

いくつかの実施形態では、前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくともそれぞれが前記仮想管腔ネットワーク内の複数の仮想位置の異なる位置を表す複数の仮想デプスマップにおける、第１のデプス基準と第２のデプス基準との間の距離を表す複数の値にアクセスすることと、前記複数の値のうちの他の値よりも前記第１の値により密接に対応する前記第２の値に基づいて前記類似度を計算して、前記第２の値を前記複数の値のうち前記第１の値に最も一致するものとして識別することと、を実行させる。いくつかの実施形態では、前記解剖学的な管腔ネットワークは気道を有し、前記画像データは前記気道の分岐を表し、前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも前記第１のデプス基準と前記第２のデプス基準の一方を、前記デプスマップと前記仮想デプスマップのそれぞれにおける右気管支として識別することと、前記デプスマップにおける前記右気管支の第１の位置と前記仮想デプスマップにおける前記右気管支の第２の位置との間の角距に基づいて、前記器具の回転を特定することであって、前記解剖学的な管腔ネットワーク内の前記器具の前記遠位端の前記姿勢が前記特定された回転を含む、ことと、を実行させる。

いくつかの実施形態では、前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも前記デプスマップと前記仮想デプスマップのそれぞれにおいて、３つ以上のデプス基準を識別することと、前記デプスマップと前記仮想デプスマップのそれぞれにおいて、前記デプス基準を接続するポリゴンの形状および位置を特定することと、前記デプスマップの前記ポリゴンの形状および位置を前記仮想デプスマップの前記ポリゴンの形状および位置と比較することに基づいて前記類似度を計算することと、を実行させる。いくつかの実施形態では、前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも写真傾斜技術に基づいて前記デプスマップを生成させる。

いくつかの実施形態では、前記１つまたは複数のプロセッサはナビゲーションシステムと通信し、前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも前記位置を含む複数の入力に少なくとも部分的に基づいて、前記ナビゲーションシステムを使用して前記解剖学的な管腔ネットワーク内の前記器具の確率論的な状態を計算することと、前記ナビゲーションシステムによって計算された前記確率論的な状態に少なくとも部分的に基づいて、前記解剖学的な管腔ネットワークを通る前記器具のナビゲーションをガイドすることと、を実行させる。システムのいくつかの実施形態は、前記ナビゲーション時に前記器具の動きをガイドするロボットシステムをさらに有する。いくつかの実施形態では、前記複数の入力は、前記ロボットシステムから受信したロボット位置データを含み、前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも、前記位置と前記ロボット位置データとに少なくとも部分的に基づいて、前記ナビゲーションシステムを使用して前記器具の前記確率論的な状態を計算すること、を実行させる。システムのいくつかの実施形態は、器具の前記遠位端に位置センサをさらに有し、前記複数の入力は、前記位置センサから受信したデータを含み、前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも、前記位置と前記位置センサから受信したデータとに少なくとも部分的に基づいて、前記ナビゲーションシステムを使用して前記器具の前記確率論的な状態を計算すること、を実行させる。いくつかの実施形態では、前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも、前記位置に少なくとも部分的に基づいて、前記仮想管腔ネットワークの座標系と前記解剖学的な管腔ネットワークの周囲に発生された電磁場の座標系との間の位置合わせを特定すること、を実行させる。

別の側面は、命令が記憶された非一時的なコンピュータ可読記憶媒体であって、前記命令が実行されると、少なくとも１つの計算装置に患者の解剖学的な管腔ネットワークの内部表面の仮想３次元モデルにアクセスすることと、前記仮想３次元モデル内の複数の仮想位置を識別することと、前記仮想３次元モデル内の前記複数の仮想位置の各仮想位置に対して前記仮想位置に位置する仮想撮像装置と、前記仮想位置に位置するときの前記仮想撮像装置の視野内にある前記内部表面の位置と、の間の仮想距離を表す仮想デプスマップを生成することと、前記仮想デプスマップから少なくとも１つの仮想特徴を導出することと、前記複数の仮想位置を前記対応する仮想デプスマップから導出された前記少なくとも１つの仮想特徴に関連付けるデータベースを生成することと、を実行させることを特徴とする非一時的なコンピュータ可読記憶媒体に関する。

いくつかの実施形態では、前記命令が実行されると、少なくとも１つの計算装置に少なくとも、医療手技時に前記解剖学的な管腔ネットワークを通って器具のナビゲーションをガイドするナビゲーションシステムに前記データベースを提供すること、を実行させる。いくつかの実施形態では、前記命令が実行されると、少なくとも１つの計算装置に少なくとも前記器具の遠位端に位置する撮像装置を表すデータにアクセスすることと、前記撮像装置の画像取得パラメータを識別することと、前記撮像装置の前記画像取得パラメータに対応するように前記仮想撮像装置の仮想画像取得パラメータを設定することと、を実行させる。

いくつかの実施形態では、前記命令が実行されると、少なくとも１つの計算装置に少なくとも、前記仮想画像取得パラメータに基づいて前記仮想デプスマップを生成すること、を実行させる。いくつかの実施形態では、前記画像取得パラメータは、視野、レンズ歪み、焦点距離、輝度シェーディングのうち１つまたは複数を含む。

いくつかの実施形態では、前記命令が実行されると、少なくとも１つの計算装置に少なくとも前記複数の仮想位置の各仮想位置に対して前記仮想デプスマップにおいて、第１のデプス基準および第２のデプス基準を識別することと、前記第１のデプス基準と前記第２のデプス基準との間の距離を表す値を計算することと、を実行させ、前記複数の仮想位置と前記対応する値とを関連付けることによって、前記データベースを作成することと、を実行させる。

いくつかの実施形態では、前記命令が実行されると、少なくとも１つの計算装置に少なくとも前記複数の仮想位置の各仮想位置に対して前記仮想デプスマップにおいて、３つ以上のデプス基準を識別することと、前記３つ以上のデプス基準を接続するポリゴンの形状および位置を特定することと、前記複数の仮想位置と前記対応するポリゴンの形状および位置とを関連付けることによって、前記データベースを作成すること、を実行させる。いくつかの実施形態では、前記命令が実行されると、少なくとも１つの計算装置に少なくとも前記患者の前記解剖学的な管腔ネットワークを表す一連の２次元画像から３次元ボリュームデータを生成することと、前記３次元ボリュームデータから前記解剖学的な管腔ネットワークの内部表面の前記仮想３次元モデルを形成することと、を実行させる。いくつかの実施形態では、前記命令が実行されると、少なくとも１つの計算装置に少なくとも、コンピュータ断層撮影システムを制御して前記一連の２次元画像を取得すること、を実行させる。いくつかの実施形態では、前記命令が実行されると、少なくとも１つの計算装置に少なくとも、前記３次元ボリュームデータにボリュームセグメンテーションを適用することによって前記仮想３次元モデルを形成すること、を実行させる。

別の側面は、患者の解剖学的な管腔ネットワークのナビゲーションを支援する方法であって、前記方法は1つのセットの１つまたは複数の計算装置によって実行され、前記方法は前記解剖学的な管腔ネットワークの内部を表す立体画像セットを受信することと、前記立体画像セットに基づいて、デプスマップを生成することと、仮想管腔ネットワーク内の位置に位置する仮想撮像装置の視点からシミュレーションされた仮想画像から導出される仮想特徴にアクセスすることと、前記デプスマップから導出される特徴と前記仮想画像から導出される前記仮想特徴との間の類似度を計算することと、前記仮想特徴に関連付けられた前記仮想位置に基づいて、前記解剖学的な管腔ネットワーク内の前記器具の前記遠位端の姿勢を特定することと、を含む方法に関する。

いくつかの実施形態では、前記立体画像セットを生成することは、器具の遠位端の撮像装置を、前記解剖学的な管腔ネットワーク内の第１の位置に位置決めすることと、前記第１の位置に位置する前記撮像装置によって、前記解剖学的な管腔ネットワークの内部の第１の画像を取得することと、前記撮像装置をロボット制御して、前記撮像装置を既知の距離だけ移動させて前記解剖学的な管腔ネットワーク内の第２の位置に移動させることと、前記第２の位置に位置する前記撮像装置によって、前記解剖学的な管腔ネットワークの内部の第２の画像を取得することと、を含む。いくつかの実施形態では、前記撮像装置をロボット制御して前記既知の距離だけ移動させることは、前記撮像装置を収縮させることと前記撮像装置を角度回転させることの一方または両方を含む。

本件開示の態様について、添付の図面および表と共に以下に説明するが、例示であって開示の態様を限定するものではなく、同様の構成要素には同様の名称を付す。

気管支鏡検査手技の診断および／または治療用に構成されたカートベースの ロボットシステムの一実施形態を示す図である。 図１のロボットシステムの別の態様を示す図である。 尿管鏡検査用に構成された図１のロボットシステムの一実施形態を示す図で ある。 血管手技用に構成された図１のロボットシステムの一実施形態を示す図であ る。 気管支鏡検査手技用に構成されたテーブルベースのロボットシステムの一実 施形態を示す図である。 図５のロボットシステムの代替の図である。 ロボットアームを収容するように構成されたシステムの一例を示す図である 。 尿管鏡検査用に構成されたテーブルベースのロボットシステムの一実施形態 を示す図である。 腹腔鏡検査用に構成されたテーブルベースのロボットシステムの一実施形態 を示す図である。 ピッチ調整または傾き調整された図５～９のテーブルベースのロボットシ ステムの一実施形態を示す図である。 図５～１０のテーブルベースのロボットシステムのテーブルとカラムとの 間の接続機構の詳細図である。 例示的な器具駆動部を示す図である。 組になった器具駆動部を有する例示的な医療器具を示す図である。 駆動ユニットの軸が器具の細長いシャフトの軸と平行である、器具駆動部 および器具の代替の設計を示す図である。 実施形態の一例における、図１３や１４の器具の位置など、図１～１０の ロボットシステム１つまたは複数の要素の位置を推定する位置決めシステムを示すブ ロック図である。 開示のナビゲーションシステムおよび技術の１つまたは複数の態様を実 装する操作環境の一例を示す図である。 図１６Ａの環境においてナビゲートされる管腔ネットワークの一例を示 す図である。 図１６Ｂの管腔ネットワーク内における器具の動きをガイドするロボッ トアームの一例を示す図である。 一実施形態における、医療ロボットシステムの一例のコマンドコンソール の一例を示す図である。 本件開示の画像生成機能および電磁感知機能を有する内視鏡の一例を示す 図である。 本件開示のナビゲーションシステムの概略ブロック図である。 抽出された仮想特徴のデータセットを生成するプロセス例のフローチャー トである。 図２０の抽出された仮想特徴のデータセットを用いて、デプス情報の特徴 間の取得された内視鏡画像と計算された類似度とに基づいてデプス情報を生成する手 術時のプロセス例のフローチャートである。

（１．はじめに）
本件開示の態様は、腹腔鏡検査などの低侵襲の手技や内視鏡検査などの非侵襲の手技を含む種々の医療手技を実行可能なロボット対応医療システムに組み込むことができる。内視鏡検査の手技においては、本システムは、気管支鏡検査、尿管鏡検査、消化器病検査などを実行することができる。

本システムは、さまざまな手技を実行できることに加えて、術者を支援する強化された画像取得やガイドなど、追加の利点を提供することができる。また、本システムは、扱いにくいアームの動きや位置などに対応する必要なく、人工工学による位置から手技を行うことが可能な機能を術者に提供することができる。さらに、本システムは、システムの１つまたは複数の器具を１人のユーザで制御可能な使いやすさが向上した手技を行うことが可能な機能を術者に提供することができる。

以下に、例示目的の図面とともに種々の実施形態について説明する。開示の技術的思想のその他多数の実装が可能であり、さまざまな利点が開示の実装と共に得られる。また、ここには、参照用および多数の節の位置がわかるように見出しが含まれている。これらの見出しは、見出しが示す技術思想の範囲を制限するものではない。それぞれの技術思想は本明細書全体にわたって適用されてよい。

（Ａ．ロボットシステム－カート）
ロボット対応医療システムは、特定手技に応じてさまざまに構成することができる。図１は、気管支鏡検査の診断手技および／または治療樹技用に配置されたカートベースのロボット対応システム１０の一実施形態を示す。気管支検査時に、システム１０は、気管支鏡検査用の手技に特化した気管支鏡を自然開口部のアクセスポイント（この例ではテーブルに配置された患者の口など）に操作可能な内視鏡１３などの医療器具を搬送して診断用の道具および／または治療用の道具を搬送するための、１つまたは複数のロボットアーム１２を有するカート１１を備える。図に示すように、カート１１は、当該アクセスポイントにアクセスするために、患者の上半身に近い位置に配置されている。同様に、ロボットアーム１２は、当該アクセスポイントに対して気管支鏡を配置するように作動可能である。図１に示す配置は、胃腸に関する（ＧＩ；gastro-intestinal）手技用の特別な内視鏡である胃鏡を用いた胃腸に関する手技を行うときにも使用できる。図２は、カートの一例である実施形態をより詳細に示す。

引き続き図１を参照すると、カート１１が適切に位置決めされると、ロボットアーム１２は操縦可能な内視鏡１３を患者に、ロボットにより、手動により、またはそれらの組み合わせにより挿入することができる。図示のように、操縦可能な内視鏡１３は内側リーダ部分および外部シース部分などの少なくとも２つの入れ子式部分を備えることができ、各部分は器具ドライバ２８のセットから別個の器具ドライバに結合され、各器具ドライバは個々のロボットアームの遠位端に結合される。リーダ部分をシース部分と同軸に整列させることを容易にする、器具ドライバ２８のこの線形配置は、１つ以上のロボットアーム１２を異なる角度および／または位置に操作することによって、空間内で再配置され得る「仮想レール」２９を作成する。本明細書で説明する仮想レールは破線を使用して図示され、したがって、破線はシステムのいかなる物理的構造も示さない。仮想レール２９に沿った器具ドライバ２８の移動は外部シース部分に対して内側リーダ部分を入れ子式にし、または内視鏡１３を患者から前進または後退させる。仮想レール２９の角度は、臨床用途または医師の好みに基づいて、調整、移動、および旋回されてもよい。例えば、気管支鏡検査では、図示のような仮想レール２９の角度および位置が内視鏡１３を患者の口内に曲げることに起因する摩擦を最小限に抑えながら、内視鏡１３への医師のアクセスを提供することの折衷案を表す。

内視鏡１３は、挿入後、ロボットシステムからの正確なコマンドを使用して、対象の目的地または手術部位に到達するまで、患者の気管および肺に向けられ得る。患者の肺ネットワークを通るナビゲーションを強化し、かつ／または所望の標的に到達するために、内視鏡１３を操作して、外部シース部分から内側リーダ部分を入れ子式に延ばして、関節動作を強化し、曲げ半径を大きくすることができる。別個の器具ドライバ２８の使用はまた、リーダ部分およびシース部分が、互いに独立して駆動されることを可能にする。

例えば、内視鏡１３は例えば、患者の肺内の病変または小結節などの標的に生検針を送達するように指示されてもよい。針は病理学者によって分析されるべき組織サンプルを得るために、内視鏡の長さにわたるワーキングチャネルに沿って展開され得る。病理学的結果に応じて、追加のツールが追加の生検のために、内視鏡のワーキングチャネルの下方に配置されてもよい。悪性である結節を同定した後、内視鏡１３は、潜在的に癌性の組織を切除するためのツールを内視鏡的に送達し得る。いくつかの例において、診断および治療処置は、別々の手続で送達される必要があり得る。これらの状況では、内視鏡１３はまた、基準を送達して、対象小結節の位置を「マーキング」するために使用され得る。他の例において、診断および治療処置は、同じ手順の間に送達され得る。

システム１０はまた、可動タワー３０を含むことができ、このタワー３０は、支持ケーブルを介してカート１１に接続されて、カート１１に対する制御、電子機器、流体工学、光学系、センサ、および／または電力のためのサポートを提供することができる。このような機能をタワー３０内に配置することにより、より小さなフォームファクタのカート１１が可能になり、これは、手術医師およびそのスタッフによって、より容易に調整および／または再配置され得る。さらに、カート／テーブルと支持タワー３０との間の機能の分割は手術室の混乱を低減し、臨床作業の流れを改善することを容易にする。カート１１を患者の近くに配置することができるが、タワー３０は手技中に邪魔にならないように離れた場所に収容することができる。

上述のロボットシステムのサポートにおいて、タワー３０はコンピュータプログラム命令を、例えば、永続的磁気記憶ドライブ、ソリッドステートドライブなどの非一時的コンピュータ可読記憶媒体内に記憶するコンピュータベースの制御システムの構成要素を含むことができる。これらの命令の実行は、実行がタワー３０またはカート１１内で行われるかどうかにかかわらず、システム全体またはそのサブシステムを制御することができる。例えば、コンピュータシステムのプロセッサによって実行される場合、命令はロボットシステムの構成要素に、関連するキャリッジおよびアームマウントを作動させ、ロボットアームを作動させ、医療器具を制御させることができる。例えば、制御信号の受信に応答して、ロボットアームの関節内のモータは、アームを特定の姿勢に位置決めすることができる。

タワー３０はまた、内視鏡１３を通して展開され得るシステムに制御された潅注および吸引能力を提供するために、ポンプ、流量計、弁制御、および／または流体アクセスを含み得る。これらの構成要素は、タワー３０のコンピュータシステムを使用して制御することもできる。いくつかの実施形態では、洗浄および吸引能力が別個のケーブルを介して内視鏡１３に直接送達されてもよい。

タワー３０はカート１１にフィルタされ保護された電力を供給するように設計された電圧およびサージプロテクタを含むことができ、それによって、カート１１内に電力変圧器および他の補助電力部品を配置することが回避され、その結果、より小さく、より可動性の高いカート１１が得られる。

タワー３０はまた、ロボットシステム１０全体に展開されるセンサのための支持装置を含むことができる。例えば、タワー３０はロボットシステム１０全体にわたって光学センサまたはカメラから受信したデータを検出し、受信し、処理するための光電子機器を含むことができる。制御システムと組み合わせて、このような光電子機器を使用して、タワー３０を含むシステム全体に配置された任意の数のコンソールに表示するためのリアルタイム画像を生成することができる。同様に、タワー３０は配置された電磁（ＥＭ；Electromagnetic）センサから受信された信号を受信し、処理するための電子サブシステムも含むことができる。タワー３０はまた、医療機器内または医療機器上の電磁センサによる検出のために電磁場発生器を収容し、位置決めするために使用されてもよい。

タワー３０は、システムの残りの部分で利用可能な他のコンソール、例えばカートの上部に取り付けられたコンソールに加えて、コンソール３１を含むこともできる。コンソール３１は、ユーザインタフェースと、医師のオペレータのためのタッチスクリーンなどの表示画面とを含むことができる。システム１０内のコンソールは一般に、ロボット制御と、内視鏡１３のナビゲーションおよび位置決め情報などの手術前およびリアルタイム情報との両方を提供するように設計される。コンソール３１が医師が利用できる唯一のコンソールではない場合、看護師のような第二のオペレータによって、患者の健康状態や活動状態とシステムの動作を監視し、ナビゲーションおよび位置決め情報などの手続固有のデータを提供するために使用することができる。

タワー３０は、１つまたは複数のケーブルまたは接続部（図示せず）を介してカート１１および内視鏡１３に連結することができる。いくつかの実施形態では、タワー３０からのサポート機能が単一のケーブルを介してカート１１に提供されてもよく、手術室を単純化し、混乱を解消する。他の実施形態では、特定の機能が別個のケーブル配線および接続で結合されてもよい。例えば、単一の電力ケーブルを介してカートに電力を供給することができるが、制御、光学、流体、および／またはナビゲーションのための支持体は別個のケーブルを介して提供することができる。

図２は、図１に示されたカートベースのロボット使用可能システムからのカートの実施形態の詳細図を提供する。カート１１は全体として、細長い支持構造１４（しばしば「カラム」と呼ばれる）、カート基部１５、およびカラム１４の上端部にコンソール１６を含み、カラム１４は、１つまたは複数のロボットアーム１２（図２には３つが示されている）の展開を支持するためのキャリッジ１７（あるいは「アーム支持体」）などの１つまたは複数のキャリッジを含むことができる。キャリッジ１７は、患者に対してより良好に位置決めするためにロボットアーム１２の基部を調整するために垂直軸に沿って回転する個別に構成可能なアームマウントを含むことができる。キャリッジ１７はまた、キャリッジ１７がカラム１４に沿って垂直に移動することを可能にするキャリッジインタフェース１９を含む。

キャリッジインタフェース１９は、キャリッジ１７の垂直方向の移動を案内するためにカラム１４の両側に配置されたスロット２０のようなスロットを介してカラム１４に接続されている。スロット２０はキャリッジをカート基部１５に対して種々の垂直高さに位置決めし、保持するための垂直移動インタフェースを含む。キャリッジ１７の垂直移動は、カート１１が様々なテーブル高さ、患者サイズ、および医師の好みに合うようにロボットアーム１２の到達範囲を調整することを可能にする。同様に、キャリッジ１７上の個々に構成可能なアームマウントは、ロボットアーム１２のロボットアームベース２１が様々な構成で角度付けされることを可能にする。

いくつかの実施形態では、スロット２０がキャリッジ１７が垂直に移動するときに、カラム１４の内部チャンバおよび垂直移動インタフェース内への汚れおよび流体の進入を防止するために、スロット表面と面一であり、かつ平行であるスロットカバーで補足されてもよい。スロットカバーは、スロット２０の縦上端部および底部の近くに配置されたバネスプールの対を通して展開されてもよい。カバーはキャリッジ１７が垂直に上下に平行移動するときに、展開されてそれらのコイル状態から伸縮するまで、スプール内でコイル状に巻かれる。スプールのばね荷重はキャリッジ１７がスプールに向かって移動するときにカバーをスプール内に引っ込める力を提供し、一方、キャリッジ１７がスプールから離れるように移動するときにも緊密な捺印を維持する。カバーは例えば、キャリッジ１７が移動するときにカバーの適切な伸縮を確実にするために、キャリッジインタフェース１９内の括弧を使用して、キャリッジ１７に接続されてもよい。

カラム１４はユーザ入力、例えばコンソール１６からの入力に応答して生成される制御信号に応答して機械的な方法でキャリッジ１７を移動させるために、垂直に整列された親ねじを使用するように設計された、歯車およびモータなどの機構を内部に備えることができる。

ロボットアーム１２は一般に、一連のジョイント２４によって接続された一連のリンク機構２３によって分離されたロボットアーム基部２１およびエンドエフェクタ２２を備えることができ、各ジョイントは独立したアクチュエータを備え、各アクチュエータは独立して制御可能なモータを備える。各独立して制御可能なジョイントは、ロボットアームに利用可能な独立した自由度を表す。アーム１２の各々は７つのジョイントを有し、したがって、７つの自由度を提供する。多数の関節は多数の自由度をもたらし、「冗長である」自由度を可能にする。冗長な自由度は、ロボットアーム１２が異なる連結位置および関節角を使用して、空間内の特定の位置、向き、および軌道にそれぞれのエンドエフェクタ２２を位置決めすることを可能にする。これにより、システムは医師が腕の関節を患者から離れた臨床的に有利な位置に移動させて、腕の衝突を回避して、より広いアクセス範囲を実現しながら、空間内の所望の位置から医療器具を位置決めしたり方向付けたりすることが可能になる。

カート基部１５は、床上のカラム１４、キャリッジ１７、およびアーム１２の重量を釣り合わせる。したがって、カート基部１５は、電子機器、モータ、電源などのより重い構成要素、ならびにカートの移動および／または固定のいずれかを可能にする構成要素を収容する。例えば、カート基部１５は、手技の前にカートが部屋の周りを容易に移動することを可能にする、回転可能なホイール形状のキャスタ２５を含む。適切な位置に到達した後、キャスタ２５は、手続中にカート１１を所定の位置に保持するためにホイールロックを使用して固定されてもよい。

コンソール１６はカラム１４の垂直端部に配置されているので、ユーザ入力を受け取るためのユーザインタフェースと、医師ユーザに手術前および手術中の両方のデータを提供するための表示画面（または、例えば、タッチスクリーン２６などの二重目的装置）との両方を可能にする。タッチスクリーン２６上の潜在的な術前データは、術前計画、術前コンピュータ断層撮影（ＣＴ）スキャンから導出されたナビゲーションおよびマッピングデータ、および／または術前患者インタビューからの注を含むことができる。ディスプレイ上の手術中データは、器具から提供される光学情報、センサおよびセンサからの座標情報、ならびに呼吸、心拍数、および／または脈拍などの患者の活動統計を含むことができる。コンソール１６は医師がキャリッジ１７の反対側のカラム１４の側からコンソールにアクセスすることができるように、配置され、傾斜されてもよい。この位置から、医師はカート１１の背後からコンソール１６を操作しながら、コンソール１６、ロボットアーム１２、および患者を見ることができる。図示のように、コンソール１６はまた、カート１１の操縦および安定化を補助するためのハンドル２７を含む。

図３は、尿管鏡検査のために配置されたロボット使用可能システム１０の実施形態を示す。尿管鏡処置では、カート１１が患者の尿道および尿管を横切るように設計された処置特有の内視鏡である尿管鏡３２を患者の下腹部領域に送達するように配置されてもよい。尿管鏡検査では、尿管鏡３２を患者の尿道と直接整列させて、領域内の繊細な解剖学的構造に対する摩擦および力を低減することが望ましい場合がある。図に示されるように、カート１１はロボットアーム１２が患者の尿道への直接的な線形アクセスのために尿管鏡３２を位置決めすることを可能にするために、テーブルの足に整列され得る。テーブルの足から、ロボットアーム１２は、尿管鏡３２を仮想レール３３に沿って尿道を通して患者の下腹部に直接挿入することができる。

尿道への挿入後、気管支鏡検査におけるのと同様の制御手法を使用して、尿管鏡３２は診断および／または治療用途のために、膀胱、尿管、および／または腎臓内にナビゲートされ得る。例えば、尿管鏡３２は、尿管鏡３２のワーキングチャネルの下に配置されたレーザまたは超音波砕石装置を用いて、尿管および腎臓に向けられて、腎結石の蓄積を破壊することができる。砕石術が完了した後、得られた結石断片は、尿管鏡３２の下方に配置されたバスケットを用いて除去され得る。

図４は、血管処置のために同様に配置されたロボット使用可能システムの実施形態を示す。血管処置では、システム１０がカート１１が操縦可能なカテーテルなどの医療機器３４を患者の脚の大腿動脈内のアクセスポイントに送ることができるように構成することができる。大腿動脈はナビゲーションのためのより大きな直径と、患者の心臓への比較的遠回りで曲がりくねった経路との両方の特徴があり、このためナビゲーションを単純化できる。尿管鏡処置におけるように、カート１１は、ロボットアーム１２が患者の大腿／股関節領域における大腿動脈アクセスポイントへの直接的な線形アクセスを有する仮想レール３５を提供することを可能にするように、患者の脚および下腹部に向かって配置され得る。動脈内への挿入後、医療機器３４は、器具ドライバ２８を移動させることによって方向付けられ、挿入されてもよい。あるいは、カートが例えば、肩および手首の近くの頸動脈および上腕動脈などの代替の血管アクセスポイントに到達するために、患者の上腹部の周りに配置されてもよい。

（Ｂ.ロボットシステム－テーブル）
ロボット対応医療システムの実施形態はまた、患者のテーブルを組み込んでもよい。テーブルを組み込むことにより、カートを取り外すことによって手術室内の資本設備の量が減少し、患者へのアクセスがより大きくなる。図５は、気管支鏡検査手順のために配置されたそのようなロボット使用可能システムの実施形態を示す。システム３６は、床の上にプラットフォーム３８（「テーブル」または「ベッド」として示される）を支持するための支持構造または支柱３７を含む。カートベースのシステムと同様に、システム３６のロボットアーム３９のエンドエフェクタは、図５の気管支鏡４０などの細長い医療器具を、器具ドライバ４２の直線的な位置合わせから形成された仮想レール４１を通して、またはそれに沿って操作するように設計された器具ドライバ４２を備える。実際には、Ｘ線透視画像を提供するためのＣアームがテーブル３８の周りにエミッタおよび検出器を配置することによって、患者の上腹部領域の上に配置され得る。

図６は、説明のため患者および医療器具を除いたシステム３６の代替図を示す。図示されているように、カラム３７はシステム３６内にリング形状として示されている１つ以上のキャリッジ４３を含むことができ、このキャリッジを基に１つ以上のロボットアーム３９を構成することができる。キャリッジ４３はロボットアーム３９が患者に到達するように配置され得る異なる視点を提供するために、カラム３７の長さに沿って延びる垂直カラムインタフェース４４に沿って移動してもよい。キャリッジ４３は、カラム３７内に配置された機械的モータを使用してカラム３７の周りを回転して、ロボットアーム３９がテーブル３８の複数の側、例えば患者の両側にアクセスできるようにすることができる。複数のキャリッジを有する実施形態では、キャリッジがカラム上に個別に配置されてもよく、他のキャリッジとは独立して移動および／または回転してもよい。キャリッジ４３はカラム３７を取り囲む必要はなく、または円形である必要もないが、図示されるようなリング形状は構造的バランスを維持しながら、カラム３７の周りのキャリッジ４３の回転を容易にする。キャリッジ４３の回転および移動により、システムは、内視鏡および腹腔鏡のような医療器具を患者の異なるアクセスポイントに整列させることができる。

アーム３９は、ロボットアーム３９に追加の構成要素を提供するために個別に回転および／または入れ子式に延在することができる一連のジョイントを備える一組のアームマウント４５を介してキャリッジに取り付けることができる。さらに、アームマウント４５は、キャリッジ４３が適切に回転されたときに、アームマウント４５がテーブル３８の同じ側（図６に示す）、テーブル３８の反対側（図９に示す）、またはテーブル３８の隣接する側（図示せず）のいずれかに配置されるように、キャリッジ４３上に配置されてもよい。

カラム３７は構造的に、テーブル３８を支持し、キャリッジを垂直方向に移動させるための経路を提供する。内部においては、カラム３７がキャリッジの垂直移動を案内するためのリードスクリューと、リードスクリューに基づいて前記キャリッジの移動を機械化するためのモータとを備えることができる。カラム３７はまた、キャリッジ４３およびその上に取り付けられたロボットアーム３９に電力および制御信号を伝達することができる。

テーブル基部４６は図２に示すカート１１のカート基部１５と同様の機能を果たし、テーブル／ベッド３８、カラム３７、キャリッジ４３、およびロボットアーム３９をバランスさせるためのより重い構成要素を収容する。テーブル基部４６はまた、手続中の安定性を提供するために、硬性キャスタを組み込んでもよい。キャスタはテーブル基部４６の下端から展開されて、基部４６の両側で反対方向に延在し、システム３６を移動させる必要があるときに後退することができる。

引き続き図６を参照すると、システム３６は、テーブルとタワーとの間でシステム３６の機能を分割してテーブルのフォームファクタおよびバルクを低減するタワー（図示せず）を含むこともできる。上記の実施形態と同様に、タワーは、処理、計算、および制御能力、電力、流体工学、ならびに／または光学およびセンサ処理などの様々なサポート機能をテーブルに提供することができる。タワーはまた、医師のアクセスを改善し、手術室を煩雑にしないようにするために、患者から離れて配置されるように移動可能であってもよい。さらに、タワー内に部品を配置することにより、ロボットアームの潜在的な収納のためのテーブル基部内のより大きい収納スペースが実現する。タワーはまた、キーボードおよび／またはペンダントなどのユーザ入力のためのユーザインタフェースと、リアルタイム画像、ナビゲーション、および追跡情報などの術前および術中情報のための表示画面（またはタッチスクリーン）との両方を提供するコンソールを含むことができる。

いくつかの実施形態では、テーブル基部が使用されていないときにロボットアームを収納し、格納することができる。図７は、テーブルベースのシステムの一実施形態においてロボットアームを収容するシステム４７を示す。システム４７では、キャリッジ４８がロボットアーム５０、アームマウント５１、およびキャリッジ４８をベース４９内に収容するために、ベース４９内に垂直に移動させることができる。基地カバー５２は、キャリッジ４８、アームマウント５１、およびアーム５０を列５３の近辺に展開するために移動されて開閉され、使用されていないときにそれらを保護するために閉じられてもよい。ベースカバー５２は、その開口部の縁部に沿って膜５４で封止されて、閉鎖時の汚れおよび流体の進入を防止することができる。

図８は、尿管鏡検査手順のために構成されたロボット使用可能なテーブルベースのシステムの実施形態を示す。尿管鏡検査では、テーブル３８が患者をカラム３７およびテーブル基部４６から外れた角度に位置決めするための旋回部分５５を含むことができる。旋回部分５５は旋回部分５５の下端を支柱３７から離して位置決めするために、旋回点（例えば、患者の頭部の下に位置する）の周りで回転または旋回してもよい。例えば、旋回部分５５の旋回は、Ｃアーム（図示せず）がテーブル３８の下のカラム（図示せず）と空間を競合することなく、患者の下腹部の上に配置されることを可能にする。キャリッジ３５（図示せず）を支柱３７の周りに回転させることによって、ロボットアーム３９は、尿管鏡５６を仮想レール５７に沿って患者の鼠径部に直接挿入して尿道に到達させることができる。尿管鏡検査では、処置中に患者の脚の位置を支持し、患者の鼠径部への明確なアクセスを可能にするために、スターラップ５８をテーブル３８の旋回部分５５に固定することもできる。

腹腔鏡処置では、患者の腹壁の小さな切開を通して、最小侵襲性器具（１つ以上の切開のサイズに適応するように細長い形状）が患者の解剖学的構造に挿入され得る。患者の腹腔を膨張させた後、しばしば腹腔鏡と呼ばれる器具は把持、切断、切除、縫合などの手術タスクを実行するように指示されてもよく、図９は腹腔鏡処置のために構成されたロボット使用可能なテーブルベースのシステムの実施形態を示す。図９に示されるように、システム３６のキャリッジ４３はテーブル３８の両側にロボットアーム３９の対を位置決めするように回転され、垂直に調整され、その結果、腹腔鏡５９は患者の腹腔に到達するために患者の両側の最小切開部を通過するようにアームマウント４５を使用して位置決めされ得る。

腹腔鏡処置に適応するために、ロボット使用可能テーブルシステムは、プラットフォームを所望の角度に傾斜させることもできる。図１０は、ピッチまたはチルト調整を有するロボット使用可能医療システムの実施形態を示す。図１０に示すように、システム３６は、テーブル３８の傾斜に適応して、テーブルの一部分を床から他の部分よりも大きな距離に位置決めすることができる。さらに、アームマウント４５はアーム３９がテーブル３８と同じ平面関係を維持するように、傾きに合わせて回転することができる。より急勾配の角度に適応するために、カラム３７は、カラム３７の垂直延長部がテーブル３８が床に触れたりベース４６と衝突したりしないようにする入れ子式部分６０を含むこともできる。

図１１は、テーブル３８とカラム３７との間のインタフェースの詳細を示す。ピッチ回転機構６１は、カラム３７に対するテーブル３８のピッチ角を複数の自由度で変更するように構成されてもよい。ピッチ回転機構６１はカラム・テーブル・インタフェースにおける直交軸１、２の位置決めによって可能にすることができ、各軸は、電気的なピッチ角コマンドに応答して別個のモータ２、４によって作動される。一方のねじ５に沿った回転は一方の軸１における傾斜調整を可能にし、他方のねじ６に沿った回転は、他方の軸２に沿った傾斜調整を可能にする。

例えば、ピッチ調整は下腹部手術のために、テーブルをトレンデレンブルグ位置に位置決めしようとするとき、すなわち、患者の下腹部を患者の下腹部よりも床から高い位置に位置決めしようとするとき、特に有用である。トレンデレンブルグ位置は患者の内部器官を重力によって患者の上腹部に向かってスライドさせ、腹腔鏡前立腺切除術などの下腹部手術手技を開始して実行するための最小侵襲性ツール(minimally invasive tool)のために腹腔の空間を空ける。

（Ｃ.器具ドライバとインタフェース）
システムのロボットアームのエンドエフェクタは、（１）医療器具を作動させるための電気機械的手段を組み込む器具ドライバ（あるいは「器具駆動機構」または「器具装置マニピュレータ」と呼ばれる）と、（２）モータなどの任意の電気機械的構成要素を削除できる取り外し可能または取り外し可能な医療器具とを備える。この二分法は、医療処置に使用される医療器具を滅菌する必要性、およびそれらの複雑な機械的アセンブリおよび繊細な電子機器のために高価な資本設備を適切に滅菌することができないことが起因となりうる。したがって、医療器具は医師または医師のスタッフによる個々の滅菌または廃棄のために、器具ドライバ（したがってシステム）から取り外し、取り外し、および交換されるように設計されてもよい。対照的に、器具ドライバは、交換または滅菌される必要はなく、保護のためにドレープで覆われてもよい。

図１２は、例示的な器具ドライバを示す。ロボットアームの遠位端に配置された器具ドライバ６２は駆動シャフト６４を介して医療器具に制御されたトルクを提供するために、平行軸に配置された１つ以上の駆動ユニット６３を備える。各駆動ユニット６３は器具と相互作用するための個々の駆動シャフト６４と、モータシャフトの回転を所望のトルクに変換するためのギアヘッド６５と、駆動トルクを生成するためのモータ６６と、モータシャフトの速度を測定し、制御回路にフィードバックを提供するためのエンコーダ６７と、制御信号を受信し、駆動ユニットを作動させるための制御回路６８とを備える。各駆動ユニット６３は独立して制御され、電動化されており、器具ドライバ６２は、医療器具に複数（図１２に示すように４つ）の独立した駆動出力を提供することができる。動作中、制御回路６８は制御信号を受信し、モータ信号をモータ６６に送信し、エンコーダ６７によって測定された結果のモータ速度を所望の速度と比較し、モータ信号を変調して所望のトルクを生成する。

無菌環境を必要とする手技では、ロボットシステムが器具ドライバと医療機器との間に位置する、無菌ドレープに接続された無菌アダプタなどの駆動インタフェースを組み込むことができる。無菌アダプタの主な目的は駆動シャフトと駆動入力との間の物理的分離、したがって無菌性を維持しながら、器具ドライバの駆動シャフトから器具の駆動入力に角運動を伝達することである。したがって、例示的な無菌アダプタは、器具ドライバの駆動シャフトおよび器具上の駆動入力と嵌合されることが意図される一連の回転入力および出力を備えてもよい。滅菌アダプタに接続された滅菌ドレープは透明または半透明プラスチックなどの薄い軟性材料からなり、器具ドライバ、ロボットアーム、およびカート（カートベースのシステム内）またはテーブル（テーブルベースのシステム内）などの資本設備を覆うように設計される。ドレープの使用は滅菌を必要としない領域（すなわち、非滅菌領域）に依然として配置されている間に、患者の近くに資本設備を配置することを可能にする。滅菌ドレープの反対側では、医療器具が滅菌を必要とする領域（すなわち、滅菌野）において患者と接触することができる。

（Ｄ.医療器具）
図１３は、組になった器具ドライバを有する例示的な医療器具を示す。ロボットシステムと共に使用するように設計された他の器具と同様に、医療器具７０は、細長いシャフト７１（または細長い本体）および器具基部７２を備える。医師による手動操作向けの設計として「器具ハンドル」とも呼ばれる器具基部７２は、全体として、ロボットアーム７６の遠位端で器具ドライバ７５上の駆動インタフェースを通って延びる駆動出力７４と嵌合するように設計された、回転可能な駆動入力７３、例えば、レセプタクル、プーリ、またはスプールを備えてもよい。物理的に接続され、ラッチされ、および／または連結されると、器具基部７２の嵌合された駆動入力７３は器具ドライバ７５内の駆動出力７４と回転軸を共有し、駆動出力７４から駆動入力７３へのトルクの伝達が可能になる。いくつかの実施形態では、駆動出力７４が駆動入力７３上のレセプタクルと嵌合するように設計されたスプラインを備えてもよい。

細長いシャフト７１は例えば、内視鏡検査におけるように、解剖学的な開口またはルーメン、または、例えば、腹腔鏡検査におけるように、最小侵襲性切開のいずれかを介して送られるように設計される。細長いシャフト６６は軟性（例えば、内視鏡と同様の特性を有する）または硬性（例えば、腹腔鏡と同様の特性を有する）のいずれかであり得るか、または軟性部分および硬性部分の両方のカスタマイズされた組み合わせを含み得る。腹腔鏡検査用に設計される場合、硬性の細長いシャフトの遠位端は回転軸を有するＵリンクと、器具ドライバ７５の駆動出力７４から受け取ったトルクに応答して駆動入力が回転するときにテンドンからの力に基づいて作動され得る、例えば、１つまたは複数の把持器などの手術用道具とから形成される接合手首を備えるエンドエフェクタに接続されてもよい。内視鏡検査用に設計される場合、可撓性の細長いシャフトの遠位端は、器具ドライバ７５の駆動出力７４から受け取られるトルクに基づいて関節動作および屈曲され得る、操縦可能または制御可能な屈曲部を含み得る。

器具ドライバ７５からのトルクは、シャフト７１内のテンドンを使用して細長いシャフト７１に伝達される。プルワイヤなどのこれらの個々のテンドンは、器具ハンドル７２内の個々の駆動入力７３に個々に固定することができる。ハンドル７２から、テンドンは、細長いシャフト７１内の１つ以上のプルルーメンに向けられ、細長いシャフト７１の遠位部分に固定される。腹腔鏡検査では、これらのテンドンが手首、把持器、またはさみなどの遠位に取り付けられたエンドエフェクタに連結されてもよい。このような構成の下では、駆動入力７３に及ぼされるトルクがテンドンに表面張力を伝達し、それによってエンドエフェクタを何らかの方法で作動させる。腹腔鏡検査では、テンドンは関節を軸の周りに回転させ、それによってエンドエフェクタを一指示または別の指示に移動させることができる。あるいはテンドンは細長いシャフト７１の遠位端において、把持器の１つ以上の顎に接続され得、ここで、テンドンからの張力によって把持器が閉じる。

内視鏡検査では、テンドンは接着剤、制御リング、または他の機械的固定を介して、細長いシャフト７１に沿って（例えば、遠位端で）配置された屈曲または関節動作部に連結されてもよい。屈曲部の遠位端に固定して取り付けられると、駆動入力７３に及ぼされるトルクがテンドンに伝達され、より柔軟性のある屈曲部（関節部または関節動作領域と呼ばれることもある）を屈曲または関節動作させる。非屈曲部に沿って、個々のテンドンを内視鏡シャフトの壁に沿って（または内側に）向ける個々のプルルーメンを螺旋状または螺旋状にして、プルワイヤの表面張力から生じる半径方向の力を釣り合わせることが効果的であり得る。スパイラルの角度および／またはそれらの間の間隔は特定の目的のために変更または設計されてもよく、スパイラルを緊密にすると荷重力下でのシャフト圧縮が小さくなり、一方、スパイラルを少なくすると荷重力下でのシャフト圧縮が大きくなるが限界曲げとなる。スペクトルの他端では、プルルーメンが細長いシャフト７１の長手方向軸に平行に向けられて、所望の屈曲または関節動作可能な部分における制御された関節動作が可能となる。

内視鏡検査では、細長いシャフト７１がロボットシステム手続を補助するために、いくつかの構成要素を収容する。シャフトは、シャフト７１の遠位端における手術領域に外科用ツール、潅注、および／または吸引を展開するためのワーキングチャネルを備えてもよい。シャフト７１はまた、ワイヤおよび／または光ファイバを収容して、光学カメラを含み得る遠位先端の光学アセンブリへ／から信号を伝達し得る。シャフト７１はまた、光ファイバを収容して、発光ダイオードなどの近位に位置する光源からシャフトの遠位端に光を運ぶことができる。

器具７０の遠位端において、遠位先端はまた、診断および／または治療、潅注、および吸引のためのツールを手術部位に送達するためのワーキングチャネルの開口部を備え得る。遠位先端はまた、内部解剖学的空間の画像を取得するために、ファイバースコープまたはデジタルカメラなどのカメラのためのポートを含んでもよい。関連して、遠位先端はまた、カメラを使用するときに解剖学的空間を照明するための光源のためのポートを含み得る。

図１３の例では駆動シャフト軸、したがって駆動入力軸は細長いシャフトの軸に直交する。しかしながら、この配置では、細長いシャフト７１のロール機能が複雑になる。駆動入力７３を静止状態に保ちながら、細長いシャフト７１をその軸に沿って回転させると、テンドンが駆動入力７３から延出して細長いシャフト７１内のプルルーメンに入るときに、テンドンの望ましくない絡み合いが生じる。そのようなテンドンによって生じる絡み合いは、内視鏡手技時に可撓性の細長いシャフトの移動を予測することを目的とする任意の制御アルゴリズムの障害となり得る。

図１４は器具ドライバおよび器具の代替設計を示し、駆動ユニットの軸が器具の細長いシャフトの軸に平行である。図示のように、円形の器具ドライバ８０は、ロボットアーム８２の端部に平行に整列された駆動出力８１を有する４つの駆動ユニットを備える。駆動ユニットおよびそれぞれの駆動出力８１は、アセンブリ８３内の駆動ユニットのうちの１つによって駆動される器具ドライバ８０の回転アセンブリ８３内に収容される。回転駆動ユニットによって提供されるトルクに応じて、回転アセンブリ８３は、回転アセンブリ８３を器具ドライバの非回転部分８４に接続する円形ベアリングに沿って回転する。電気接点を介して器具ドライバ８０の非回転部分８４から回転アセンブリ８３に電力および制御信号を伝達することができ、この信号は、ブラシ付きスリップリング接続（図示せず）による回転によって維持することができる。他の実施形態では、回転アセンブリ８３が非回転部分８４に一体化され、したがって他の駆動ユニットと平行ではない別個の駆動ユニットに応答することができる。回転機構８３は、器具ドライバ８０が器具ドライバ軸８５の周りに単一のユニットとして、駆動ユニットおよびそれぞれの駆動出力８１を回転させることができる。

上記に開示した実施形態と同様に、器具８６は、細長いシャフト部分８８と、器具ドライバ８０内の駆動出力８１を受けるように構成された複数の駆動入力８９（レセプタクル、プーリ、およびスプールなど）を備える器具基部８７（説明のために透明な外皮と共に示されている）とを備えることができる。先に開示された実施形態とは異なり、器具シャフト８８は、図１３の設計におけるように直交するのではなく、駆動入力８９の軸に実質的に平行な軸を有する器具基部８７の中心から延伸する。

器具ドライバ８０の回転アセンブリ８３に連結されると、器具基部８７および器具シャフト８８を備える医療器具８６は、器具ドライバ軸８５の周りで回転アセンブリ８３と組み合わせて回転する。器具シャフト８８は器具基部８７の中心に配置されているので、器具シャフト８８は取り付けられたとき、器具ドライバ軸８５と同軸である。したがって、回転アセンブリ８３の回転は、器具シャフト８８をそれ自体の前後軸の周りに回転させる。さらに、器具基部８７が器具シャフト８８と共に回転するとき、器具基部８７の駆動入力８９に接続されたテンドンは、回転中に絡み合わない。したがって、駆動出力８１、駆動入力８９、および器具シャフト８８の軸の平行性は、任意の制御テンドンの絡み合いを発生させることなく、シャフトを回転させることができる。

（Ｅ.ナビゲーションと制御）
従来の内視鏡検査には、Ｘ線透視法（例えば、Ｃアームを介して送達され得るよう）および他の形態の放射線ベースの画像化モダリティの使用が含まれ、操作者の医師に管腔内ガイダンスが提供される。一方、本件開示によって実現されるロボットシステムは、放射線に対する医師の曝露を低減し、手術室内の機器の量を低減するために、非放射線ベースのナビゲーションおよび位置決め手段を提供する。本明細書で使用されるように、用語「位置決め」は、基準座標系における物体の位置を特定および／または監視することを指すことができる。術前マッピング、コンピュータビジョン、リアルタイム電磁追跡、およびロボットコマンドデータなどの技術は放射線を用いない運用環境を達成するために、個別に、または組み合わせて使用されてもよい。放射線ベースの画像モダリティが依然として使用される他の場合には、術前マッピング、コンピュータビジョン、リアルタイム電磁追跡、およびロボットコマンドデータは放射線ベースの画像モダリティによってのみ得られる情報を改善するために、個別に、または組み合わせて使用されてもよい。

図１５は、例示的な実施形態による、器具の位置など、ロボットシステムの１つまたは複数の要素の位置を推定する位置決めシステム９０を示すブロック図である。位置決めシステム９０は、１つまたは複数の命令を実行するように構成された１つまたは複数の計算装置のセットとすることができる。計算装置は、上述の１つまたは複数の構成要素内のプロセッサ（または複数のプロセッサ）およびコンピュータ可読メモリによって具現化され得る。限定ではなく例示として、計算装置は、図１に示すタワー３０内や、図１～４に示すカート内や、図５～１０に示すベッド内などに配置されてよい。

図１５に示すように、位置決めシステム９０は、入力データ９１～９４を処理して医療器具の遠位先端の位置データ９６を生成する位置決めモジュール９５を含むことができる。位置データ９６は、基準系に対する器具の遠位端の位置および／または向きを表すデータまたはロジックであってもよい。基準系は、患者の解剖学的構造、または電磁場発生器（電磁場発生器については以下の説明を参照）などの既知の物体に対する基準系とすることができる。

ここで、さまざまな入力データ９１～９４についてより詳細に説明する。術前マッピングは、低線量ＣＴスキャンの収集を使用することによって達成することができる。術前ＣＴスキャンは２次元画像を生成し、各画像は、患者の内部解剖学的構造の破断図の「スライス」を表す。集合体で分析される場合、患者の肺ネットワークなどの患者の解剖学的構造の解剖学的空洞、空間、および構造のための画像ベースのモデルが生成され得る。中心線ジオメトリのような手法は、ＣＴ画像から決定され、近似されて、術前モデルデータ９１と呼ばれる患者の解剖学的構造の３次元ボリュームを展開することができる。中心線ジオメトリの使用については、米国特許第１４／５２３，７６０号に記載されており、その内容の全体を本願に援用する。また、ネットワークトポロジーモデルは、ＣＴ画像から導出されてもよく、気管支鏡検査に特に適している。

いくつかの実施形態では、器具が視覚データ９２を提供するためにカメラを装備することができる。位置決めモジュール９５は１つまたは複数の視覚ベースの位置追跡を可能にするために、視覚データを処理することができる。例えば、手術前モデルデータは医療器具（例えば、内視鏡または内視鏡のワーキングチャネルを通る器具の前進）のコンピュータビジョンベースの追跡を可能にするために、ビジョンデータ９２と共に使用されてもよい。例えば、手術前モデルデータ９１を使用して、ロボットシステムは内視鏡の予想される移動経路に基づいてモデルから予想される内視鏡画像のライブラリを生成することができ、各画像はモデル内の位置にリンクされる。手術中に、このライブラリはカメラ（例えば、内視鏡の遠位端にあるカメラ）で取得されたリアルタイム画像を画像ライブラリ内の画像と比較して位置決めを補助するために、ロボットシステムによって参照されてもよい。

他のコンピュータビジョンベースの追跡技術は、カメラ、したがって内視鏡の動きを決定するために特徴追跡を使用する。位置決めモジュール９５のいくつかの特徴は解剖学的な管腔に対応する手術前モデルデータ９１内の円形の幾何学的形状を識別し、それらの幾何学的形状の変化を追跡して、どの解剖学的な管腔が選択されたかや、カメラの相対的な回転および／または移動運動を決定することができる。トポロジーマップの使用によって、視覚ベースのアルゴリズムまたは方法をさらに強化することができる。

別のコンピュータビジョンベースの技術であるオプティカルフローはカメラの動きを推測するために、ビジョンデータ９２のビデオシーケンス内の画像画素の変位および移動を分析することができる。複数の反復にわたる複数のフレームの比較によって、カメラ（したがって、内視鏡）の移動および位置を決定することができる。

位置決めモジュール９５は、リアルタイム電磁追跡を使用して、手術前モデルによって表される患者の解剖学的構造に位置合わせすることができるグローバル座標系における内視鏡のリアルタイム位置を生成し得る。電磁追跡では医療器具（例えば、内視鏡ツール）の１つ以上の位置および向きに埋め込まれた１つ以上のセンサコイルを備える電磁センサトラッカ）は既知の位置に配置された１つ以上の静的電磁場発生器によって生成された電磁場の変動を測定する。電磁センサによって検出された位置情報は、電磁データ記憶される。電磁場発生器（または送信機）は埋め込まれたセンサが検出し得る低強度磁場を生成するために、患者の近くに配置され得る。磁界は電磁センサコイルに小さな電流をガイドし、この電流は、電磁センサと電磁界発生器との間の距離および角度を決定するために分析され得る。これらの距離および向きは、座標系内の単一の位置を患者の解剖学的構造の手術前モデル内の位置と整列させる幾何学的変換を決定するために、患者の解剖学的構造（例えば、手術前モデル）に対して手術中に「位置合わせ」されてもよい。一旦位置合わせされると、医療器具の１つ以上の位置（例えば、内視鏡の遠位先端）に埋め込まれた電磁追跡装置は、患者の解剖学的構造を通る医療器具の進歩のリアルタイムの指示を提供し得る。

ロボットコマンドおよび運動学データ９４はまた、ロボットシステムのための位置決めデータ９６を提供するために、位置決めモジュール９５によって使用されてもよい。関節動作コマンドから生じる装置ピッチおよびヨーは、手術前較正中に決定され得る。手術中に、これらの較正測定値は器具の位置を推定するために、既知の挿入デプス情報と組み合わせて使用されてもよい。あるいは、これらの計算がネットワーク内の医療器具の位置を推定するために、電磁、視覚、および／またはトポロジーモデリングと組み合わせて分析されてもよい。

図１５に示すように、多数の他の入力データを位置決めモジュール９５によって使用することができる。例えば、図１５には示されていないが、形状感知ファイバを用いる器具は、位置決めモジュール９５が器具の位置および形状を決定するために使用する形状データを提供することができる。

位置決めモジュール９５は、入力データ９１～９４を組み合わせて使用することができる。場合によっては、このような組み合わせは位置決めモジュール９５が入力データ９１～９４の各々から決定された位置に信頼性重みを割り当てる確率的アプローチを使用することができる。したがって、電磁データが信頼できない場合（電磁干渉がある場合のように）、電磁データ決定される位置の信頼性は低下する可能性があり、位置決めモジュール９５は、視覚データ９２および／またはロボットコマンドおよび運動学データ９４により依存する可能性がある。

上記の通り、本明細書で説明するロボットシステムは、上記の技術のうちの１つまたは複数の組合せを組み込むように設計することができる。タワー、ベッドおよび／またはカートに基づくロボットシステムのコンピュータベースの制御システムはコンピュータプログラム命令を、例えば、永続的磁気記憶ドライブ、ソリッドステートドライブなどの非一時的コンピュータ可読記憶媒体内に記憶することができ、これは、実行時に、システムにセンサデータおよびユーザコマンドを受信および分析させ、システム全体の制御信号を生成させ、グローバル座標系内の器具の位置、解剖学的マップなどのナビゲーションおよび位置決めデータを表示させる。

（２.自動初期化ナビゲーションシステムについて）
本件開示の実施形態は管腔ネットワーク、例えば、肺気道または内部開放空間を有する他の解剖学的構造を通じた医療器具のナビゲーションを容易にするシステムおよび方法に関し、内視鏡画像からのデプス情報を生成および使用して初期内視鏡位置を決定すること、管腔ネットワーク内の医療器具の位置および向きの推定の精度を高めるために複数のナビゲーション関連データソースを分析すること、ならびに有害事象後にナビゲーションシステムを再初期化するために追加のデプス情報を生成および使用することによる。

気管支鏡は、施術者が患者の気管や気道を調べることができるように光源と小型カメラを含むことができる。患者の気道内における気管支鏡の正確な位置が不明であると、患者に対する外傷が発生する可能性がある。気管支鏡の位置を特定するために、画像ベースの気管支鏡ガイドシステムでは、気管支鏡のカメラからのデータを用いて患者の気道の分岐における位置合わせ(例えば、管腔ネットワーク内の特定位置における位置合わせ)を行うことができ、患者の呼吸運動に起因した位置誤差の影響を受けにくく有利である。しかしながら、画像ベースのガイド方法は、気管支鏡の映像に頼るため、患者の咳や粘液による阻害などによって、気管支鏡の映像が映像内のアーチファクトの影響を受ける可能性がある。

電磁ナビゲーションガイド気管支鏡検査（ＥＭＮ気管支鏡検査）は肺の気管支経路を通して内視鏡器具またはカテーテルを位置決めし、ガイドするために電磁技術を実装する一種の気管支鏡手技である。ＥＭＮ気管支検査システムは、低強度の可変の電磁場を発生して患者の管腔ネットワーク周辺の追跡対象の部位の位置を確立する電磁場発生器を用いることができる。電磁場は、荷電した物体によって生成される物理的な場であり、電磁場の近傍にある荷電した物体に影響を及ぼす。発生した場内に位置する物体に取り付けられた電磁センサを用いて、電磁場内のこれらの物体の位置および向きを追跡することができる。変化する電磁場によって電磁センサ内に小さい電流が誘起される。これらの電気信号の特性は、センサと電磁場発生器との間の距離や角度に依存する。したがって、ＥＭＮ気管支鏡検査システムは、電磁場発生器、遠位端またはその近傍に電磁センサを有する操作可能な医療器具、ガイドコンピュータシステムを有することができる。電磁場発生器は例えば、気道、胃腸管、または循環経路など、ナビゲートされる患者の管腔ネットワークの周りに電磁場を生成する。操作可能なチャネルは、気管支鏡のワーキングチャネルに挿入され、電磁場内において電磁センサを介して追跡される。

ＥＭＮ気管支鏡検査手技の開始前に、例えば術前ＣＴ胸部スキャンから、患者の特定の気道構造について仮想の３次元気管支マップを取得することができる。このマップとＥＭＮ気管支鏡検査システムを使用して、術者は肺内の所望の位置までナビゲーションを行い、病変組織の生検、リンパ節のステージ特定、放射線治療におけるカテーテルのガイドや小線源治療におけるカテーテルのガイドのためのマーカ挿入などを行うことができる。例えば、手技開始時に位置合わせを行って、電磁場の座標系とモデル座標系との間のマッピングを生成することができる。これにより、気管支鏡検査時に操作可能なチャネルが追跡されるため、モデル座標系における操作可能なチャネルの位置を、電磁センサからの位置データを基に名目的に知ることが可能である。

ここで、座標系とは、特定の検知態様における基準系である。例えば、電磁データの場合、電磁座標系は、電磁場源(電磁場発生器)によって定義される基準系である。ＣＴ画像やセグメンテーションされた３次元モデルの場合は、この基準系は、スキャナによって定義される系に基づく。本発明のナビゲーションシステムは例えば、モデル内の器具の位置を表示するために、３次元モデル（すなわちＣＴフレーム）に対してこれらの異なるデータソース（それら自体の基準フレーム内にある）を表す（位置合わせする）ナビゲーションの問題を解消する。

したがって、以下に詳細を説明するように、本件開示の管腔ネットワークのナビゲーションシステムおよび方法は、画像ベースのナビゲーションシステム、ロボットシステム、および電磁ナビゲーションシステムからの入力を組み合わせ、他の患者のセンサからの入力も組み合わせ、ナビゲーションに関する問題を軽減してより効率的な内視鏡手技を実現することができる。例えば、ナビゲーション融合システムが、器具のカメラから受信した画像情報、器具先端の電磁センサからの位置情報、器具の動きをガイドするロボットシステムからのロボットの位置情報を分析することができる。ナビゲーション融合フレームワークは、分析を基に、これらの１つまたは複数の種類のナビゲーションデータに基づく器具の位置推定および／またはナビゲーションの決定を行うことができる。ナビゲーション融合フレームワークの一部の実装では、さらに管腔ネットワークの３次元モデルに対する器具位置を特定することができる。いくつかの実施形態では、ナビゲーション融合システムを介して追跡を初期化するために使用される初期器具位置が本明細書で説明するように、デプス情報に基づいて生成され得る。

開示のシステムおよび手法は、管腔ネットワークのナビゲーションのためのその他の種類の内視鏡手技を含む、気管支鏡検査のガイドシステムおよびその他の適用に利点をもたらすことができる。解剖学的構造において、「管腔」は気道、血管、腎臓、心臓、腸、または医療手技が行われている任意の他の適切な器官のような器官の内部開放空間または空洞を指すことができ、本明細書で使用される場合、「管腔ネットワーク」は目標の組織部位、例えば、肺の気道、循環系、腎臓、および消化器系に通じる少なくとも１つの管腔を有する解剖学的構造を指す。したがって、本開示は気管支鏡検査に関連するナビゲーションシステムの例を提供するが、開示された位置推定態様は患者の管腔ネットワークのナビゲーションのための他の医療システムに適用可能であることが理解される。したがって、開示されるシステムおよび技術は、気管支鏡、尿管鏡、消化器内視鏡、および他の適切な医療器具とともに使用することができる。

（３．ナビゲーションシステム例の概要）
図１６Ａは、開示されたナビゲーションシステムおよび技術の１つまたは複数の態様を実装する例示的な運用環境１００を示す。運用環境１００は、患者１０１と、患者１０１を支持するプラットフォーム１０２と、内視鏡１１５の動きをガイドする医療ロボットシステム１１０と、医療ロボットシステム１１０の動作を制御するためのコマンドセンタ１０５と、電磁コントローラ１３５と、電磁場発生器１２０と、電磁センサ含む。図１６Ａはまた、図１６Ｂにより詳細に示される、患者１０１内の管腔ネットワーク１４０の領域の輪郭を示す。

医療ロボットシステム１１０は患者１０１の管腔ネットワーク１４０を通して内視鏡１１５の移動を位置決めし、ガイドするための１つまたは複数のロボットアームを含むことができる。コマンドセンタ１０５は位置データを受信し、および／またはユーザから制御信号を提供するために、医療ロボットシステム１１０に通信可能に接続され得る。ここでは、「通信可能に接続」とは、無線ＷＡＮ（Wide Area Network；例えば、１つまたは複数のセルラーネットワーク）、無線ＬＡＮ（Local Area Network；例えば、IEEE 802．11（Wi-Fi（登録商標））など、１つまたは複数の標準用に構成されたもの）、Bluetooth（登録商標）、データ転送ケーブルなど、を含むがこれらに限定されない、任意の有線および／または無線データ送信媒体を意味する。医療用ロボットシステム１１０は、図１－１５を参照しながら説明したいずれかのシステムとすることができる。医療ロボットシステム１１０の実施形態は、図１６Ｃを参照しながら詳細に説明し、コマンドセンタ１０５は、図１７を参照しながら詳細に説明する。

内視鏡１１５は、患者の生体に挿入されて生体（体の組織など）の画像を取得したり目標の組織部位に対して他の医用器具を挿入するためのワーキングチャネルを提供したりする、管状の軟性の手術器具である。上述したように、内視鏡１１５は例えば、気管支鏡、胃鏡、または尿管鏡のような手技特有の内視鏡とすることができ、あるいは、腹腔鏡または血管操縦可能なカテーテルとすることができる。内視鏡１１５は、１つまたは複数の画像生成装置（例えば、カメラやその他の種類の光学センサ）をその遠位端に有する。画像生成装置は、光ファイバ、ファイバアレイ、感光基板、および／またはレンズなどの１つまたは複数の光学部品を有してもよい。光学部品は、内視鏡１１５の遠位端と共に移動し、内視鏡１１５の遠位端が移動すると、画像生成装置によって取得される画像の視野も対応して変化する。内視鏡１１５の遠位端には、管腔ネットワーク１４０を取り囲むように発生する電磁場内において遠位端の位置を追跡するための１つまたは複数の電磁センサ１２５を設けることができる。内視鏡１１５の遠位端については、以下に図１８を参照しながらさらに説明する。

電磁コントローラ１３５は、電磁場発生器１２０を制御して可変の電磁場を発生させることができる。電磁場は、環境に応じて時間的に変化および/または空間的に変化することができる。一部の実施形態では、電磁場発生器１２０は、電磁場発生基板とすることができる。開示された患者ナビゲーションシステムのいくつかの実施形態は患者と患者を支持するプラットフォーム１０２との間に配置された電磁場発生器ボードを使用することができ、電磁場発生器ボードは、その下に配置された導電性または磁性材料によって引き起こされる任意の追跡歪みを最小限に抑える薄い障壁を組み込むことができる。他の実施形態では、電磁場発生器ボードが例えば、患者の周囲に柔軟な設定オプションを提供する医療ロボットシステム１１０に示されるものと同様のロボットアーム上に取り付けることができる。

コマンドセンタ１０５、医療ロボットシステム１１０、および／または電磁コントローラ１３５に組み込まれた電磁空間測定システムは電磁センサコイル、例えば、電磁センサ１２５、１３０が埋め込まれているか、または提供されている電磁場内の物体の位置を決定することができる。電磁センサが、ここで説明する制御された可変の電磁場内に配置されると、センサのコイル内に電圧が誘起される。この誘電電圧は、電磁空間測定システムによって、電磁センサ、さらには電磁センサを有する物体の位置および向きを計算するのに使用することができる。磁場の強さは弱く人体の組織を安全に通過できるため、光学空間測定システムにおける照準線の制約なく、物体の位置測定が可能である。

電磁場内のその位置を追跡するために、内視鏡１１５の遠位端に連結することができる。電磁場は電磁場発生器に対して静止しており、管腔ネットワークの３次元モデルの座標系は、電磁場の座標系にマッピングすることができる。例えば、呼吸によって引き起こされる変位を含む患者の動きの補償を可能にすることによって、電磁センサ位置を追跡するのを助けるために、多数の追加の電磁センサ１３０を患者の身体の表面（例えば、管腔ネットワーク１４０の領域内）に設けることができる。多数の異なる電磁センサ１３０を身体の表面に間隔を開けて配置することができる。

図１６Ｂは、図１６Ａの運用環境１００においてナビゲートすることができる例示的な管腔ネットワーク１４０を示す。管腔ネットワーク１４０は、患者の気道１５０の分岐構造、主気管１５６（気管支鏡ナビゲーション中に遭遇する第１の分岐）に通じる気管１５４、および診断および／または治療のために本明細書に記載するようにアクセス可能な結節（または病変）１５５を含む。図示のように、小結節１５５は、気道１５０の周辺部に位置する。内視鏡１１５は第１の直径を有し、したがって、その遠位端は、小結節１５５の周りのより小さい直径の気道を通って位置決めされることができない。したがって、操縦可能なカテーテル１５５は、内視鏡１１５のワーキングチャネルから小結節１５５までの残りの距離だけ延びる。操縦可能なカテーテル１４５は器具、例えば、生検針、細胞診ブラシ、および／または組織サンプリング鉗子が小結節１５５の目標の組織部位に通され得る管腔を有する。そのような実施形態では、内視鏡１１５の遠位端および操縦可能なカテーテル１４５の遠位端の両方に、気道１５０内でのそれらの位置を追跡するための電磁センサを設けることができる。他の実施形態では、内視鏡１１５の全体的な直径が操縦可能なカテーテル１５５なしで周辺部に到達するのに十分に小さくてもよく、または操縦不可能なカテーテルを通して医療器具を展開するために周辺部に近づくのに十分に小さくてもよい（例えば、２．５～３ｃｍ以内）。内視鏡１１５を通して展開された医療器具は電磁センサを有してもよく、当該医療器具が内視鏡１１５の遠位先端を越えて展開されたときに、当該医療器具に以下に説明する位置推定技術を適用することができる。

いくつかの実施形態では本明細書に記載する３次元管腔ネットワークモデルの２次元ディスプレイ、または３次元モデルの断面は図１６Ｂの例に類似している。推定された位置情報は、そのような表現に重ね合わせることができる。

図１６Ｃは、図１６Ｂの管腔ネットワーク１４０を通して器具の動きをガイドするための医療ロボットシステム１１０の例示的なロボットアーム１７５を示す。ロボットアーム１７５はいくつかの実施形態では上記のロボットアーム１２、３９とすることができ、種々の実施形態では、カート基部１５や患者プラットフォーム３８のカラム３７などの基部１８０に連結することや、天井ベースの連結とすることができる。上記のように、ロボットアーム１７５はジョイント１６５で連結された複数のアームセグメント１７０を含み、これは、ロボットアーム１７５に複数の自由度を提供する。

ロボットアーム１７５は、メカニズムチェンジャインタフェース（ＭＣＩ；Mechanism Changer Interface）１６０を使用して、器具ドライバ１９０、例えば上述の器具ドライバ６２に連結されてもよい。器具ドライバ１９０は取り外され、異なる種類の器具ドライバ、例えば、内視鏡を操作するように構成された第１のタイプの器具ドライバ、または腹腔鏡を操作するように構成された第２のタイプの器具ドライバと交換することができる。ＭＣＩ １６０は、空気圧、電力、電気信号、および光信号をロボットアーム１７５から器具ドライバ１９０に伝達するためのコネクタを含む。ＭＣＩ １６０は、セットスクリューまたはベースプレート接続部であってもよい。器具ドライバ１９０は直接駆動、ハーモニック駆動、歯車駆動、ベルトおよびプーリ、磁気駆動などを含む技術を用いて、手術器具、例えば、内視鏡１１５を操作する。ＭＣＩ １６０は器具ドライバ１９０の種類に基づいて交換可能であり、特定の種類の手術手技のためにカスタマイズされ得る。ロボットシステム１７５のアームは、関節レベルのトルク感知と、遠位端における手首とを含むことができる。

医療ロボットシステム１１０のロボットアーム１７５は、上述のようにテンドンを使用して内視鏡１１５を操作して、内視鏡１１５の先端を偏向させることができる。内視鏡１１５は、細長い移動部材によって加えられる力に応答して非線形挙動を示す。非線形挙動は、内視鏡１１５の剛性および圧縮性、ならびに異なる細長い移動部材間のたるみまたは剛性の変動性に基づく。

基部１８０は、ロボットアーム１７５が患者に対する手術手技を実行または補助するためにアクセスし、医師などのユーザがコマンドコンソールを利用して医療ロボットシステム１１０を制御できるように配置される。ベース１８０は、図１６Ａに示すコマンドコンソール１０５に通信可能に接続することができる。

基部１８０は、動力源１８２、空気圧１８６、および中央処理装置、データバス、制御回路、およびロボットアーム１７５を移動させるためのモータなどのメモリおよび関連アクチュエータなどの構成要素を含む制御およびセンサ電子機器１８４を含むことができる。電子機器１８４は、本明細書で説明するナビゲーション制御方法を実施することができる。基部１８０内の電子機器１８４はコマンドコンソールから通信される制御信号を処理し、送信することもできる。いくつかの実施形態では、基部１８０が医療ロボットシステム１１０を搬送するための車輪１８８と、車輪１８８のための車輪ロック／ブレーキ（図示せず）とを含む。医療用ロボットシステム１１０の可動性は、手術室内の空間制約に適応するのに役立ち、また、手術器具の適切な位置決めおよび移動を容易にするのに役立つ。さらに、その可動性は、ロボットアーム１７５が患者、医師、麻酔科医、または任意の他の機器を妨害しないように、ロボットアーム１７５が構成されることを可能にする。手技中、ユーザは、制御装置、例えばコマンドコンソールを使用してロボットアーム１７５を制御することができる。

図１７は、例示的な運用環境１００において、例えばコマンドコンソール１０５として使用することができる例示的なコマンドコンソール２００を示す。コマンドコンソール２００は、コンソール基部２０１と、ディスプレイモジュール２０２、例えばモニタと、制御モジュール、例えばキーボード２０３およびジョイスティック２０４とを含む。いくつかの実施形態では、コマンドコンソール２００の機能のうちの１つまたは複数が医療ロボットシステム１１０の基部１８０、または医療ロボットシステム１１０に通信可能に接続された別のシステムに統合されてもよい。ユーザ２０５、例えば医師は、コマンドコンソール２００を使用して人間工学的位置から医療ロボットシステム１１０を遠隔制御する。

コンソール基部２０１は中央処理ユニット、メモリユニット、データバス、および、例えば図１６Ａ－１６Ｃに示される内視鏡１１５からのカメラ画像および追跡センサデータなどの信号を解釈し、処理する役割を担う関連するデータ通信ポートを含むことができる。いくつかの実施形態では、コンソール基部２０１および基部１８０の両方が負荷バランシングのための信号処理を実行する。コンソール基部２０１は、制御モジュール２０３および２０４を介してユーザ２０５によって提供されるコマンドおよび命令を処理することもできる。図１７に示されるキーボード２０３およびジョイスティック２０４に加えて、制御モジュールは他のデバイス、例えば、コンピュータマウス、トラックパッド、トラックボール、制御パッド、ハンドヘルドリモートコントローラなどのコントローラ、およびハンドジェスチャおよび指ジェスチャを取得するセンサ（例えば、モーションセンサまたはカメラ）を含んでもよい。コントローラは器具の動作（例えば、関節動作、駆動、水洗浄等）にマッピングされた一組のユーザ入力（例えば、ボタン、ジョイスティック、方向パッドなど）を含むことができる。

ユーザ２０５は、速度モードまたは位置制御モードでコマンドコンソール２００を使用して、内視鏡１１５などの手術器具を制御することができる。速度モードでは、ユーザ２０５が制御モジュールを使用する直接的な手動制御に基づいて、内視鏡１１５の遠位端のピッチおよびヨー運動を直接的に制御する。例えば、ジョイスティック２０４上の移動は、内視鏡１１５の遠位端におけるヨーおよびピッチ移動にマッピングされ得る。ジョイスティック２０４は、ユーザ２０５に触覚フィードバックを提供することができる。例えば、ジョイスティック２０４は、内視鏡１１５が特定の方向にさらに移動または回転できないことを示すように振動することができる。コマンドコンソール２００はまた、視覚フィードバック（例えば、ポップアップメッセージ）および／または音声フィードバック（例えば、ビープ音）を提供して、内視鏡１１５が最大移動または回転に達したことを示すことができる。

位置制御モードでは、コマンドコンソール２００が患者管腔ネットワークの３次元マップと、本明細書で説明するナビゲーションセンサからの入力とを使用して、手術機器、例えば、内視鏡１１５を制御する。コマンドコンソール２００は、医療用ロボットシステム１１０のロボットアーム１７５に制御信号を提供して、内視鏡１１５を標的位置に操作する。３次元マップに依存するため、位置制御モードは、患者の解剖学的構造の正確なマッピングを必要とし得る。

いくつかの実施形態では、ユーザ２０５がコマンドコンソール２００を使用せずに、医療用ロボットシステム１１０のロボットアーム１７５を手動で操作することができる。手術室でのセットアップ中に、ユーザ２０５は患者に閲覧させるために、ロボットアーム１７５、内視鏡１１５（または内視鏡）、および他の手術器具を移動することもできる。医療ロボットシステム１１０は、ユーザ２０５からの力フィードバックおよび慣性制御を基に、ロボットアーム１７５および装置の適切な構成を決定することもできる。

ディスプレイ２０２は電子モニタ（例えば、ＬＣＤディスプレイ、ＬＥＤディスプレイ、タッチセンシティブディスプレイ）、バーチャルリアリティビューイングデバイス（例えば、ゴーグルまたは眼鏡）、および／または他のディスプレイデバイスを含み得る。いくつかの実施形態では、ディスプレイモジュール２０２が例えば、タッチスクリーンを有するタブレットデバイスとして、制御モジュールと一体化される。いくつかの実施形態ではディスプレイ２０２のうちの一方が患者の管腔ネットワークの３次元モデルおよび仮想ナビゲーション情報（例えば、電磁センサ位置に基づくモデル内の内視鏡の端部の仮想表現）を表示することができ、ディスプレイ２０２のうちの他方はカメラまたは別の感知デバイスから受信した画像情報を内視鏡１１５の端部に表示することができる。いくつかの実施形態では、ユーザ２０５が統合ディスプレイ２０２および制御モジュールを使用して、データを見ることと、医療ロボットシステム１１０にコマンドを入力することとの両方を行うことができる。ディスプレイ２０２は立体装置、例えば、バイザまたはゴーグルを使用して、３次元画像および／または３次元画像の２次元レンダリングを表示することができる。３次元画像は患者の解剖学的構造を示すコンピュータ３次元モデルである「内視鏡ビュー」を提供する。「内視鏡ビュー」は患者の内部の仮想環境および患者内部の内視鏡１１５の予想される位置を提供する。ユーザ２０５が「内視鏡ビュー」モデルをカメラによって取得された実際の画像と比較して、内視鏡１１５が患者内の正しい、またはほぼ正しい位置にあることを意識し、確認することに役立つ。「内視鏡ビュー」は、内視鏡１１５の遠位端の周りの、気道、循環血管、または患者の腸もしくは結腸の形状などの解剖学的構造に関する情報を提供する。表示モジュール２０２は、内視鏡１１５の遠位端の周りの解剖学的構造の３次元モデルおよびＣＴスキャンを同時に表示することができる。さらに、表示モジュール２０２は３次元モデルおよびＣＴスキャン上に、内視鏡１１５の既に決定されたナビゲーション経路をオーバーレイ表示することができる。

いくつかの実施形態では、手術の状態の表示を補助するために、内視鏡１１５のモデルが３次元モデルと共に表示される。例えば、ＣＴスキャンは、生検が必要となり得る解剖学的構造内の病変を識別する。動作中、ディスプレイモジュール２０２は、内視鏡１１５の現在位置に対応する内視鏡１１５によって取り込まれた基準画像を示すことができる。ディスプレイモジュール２０２は、ユーザ設定および特定の手術手技に応じて、内視鏡１１５のモデルの異なるビューを自動的に表示することができる。例えば、ディスプレイモジュール２０２は、内視鏡１１５が患者の手術領域に接近する際のナビゲーションステップ中の内視鏡１１５の蛍光画像の俯瞰図を示す。

図１８は、例えば図１６Ａ－１６Ｃの内視鏡１１５など、本明細書に記載される画像および電磁感知能力を有する例示的な内視鏡の遠位端３００を示す。図１８において、内視鏡の遠位端３００は、撮像装置３１５と、照明光源３１０と、電磁センサコイル３０５の端部とを含む。遠位端３００は、生検針、細胞診ブラシ、および鉗子などの手術機器が内視鏡シャフトに沿って挿入され、内視鏡先端付近の領域へのアクセスを可能にする内視鏡のワーキングチャネル３２０への開口部をさらに含む。

照明光源３１０は、解剖学的空間の一部を照明するための光を提供する。照明光源は、それぞれ、選択された波長または波長範囲で光を放出するように構成された１つまたは複数の発光デバイスとすることができる。波長はいくつかの例を挙げると、任意の適切な波長、例えば、可視スペクトル光、赤外線、Ｘ線（例えば、蛍光透視法のための）であり得る。いくつかの実施形態では、照明光源３１０が遠位端３００に配置された発光ダイオード（ＬＥＤ）を含むことができる。いくつかの実施形態では、照明光源３１０が遠隔光源、例えば、Ｘ線発生器から遠位端３００を通して光を伝送するために、内視鏡全長にわたって延在する１つ以上の光ファイバを含むことができる。遠位端３００が複数の照明光源３１０を含む場合、これらはそれぞれ、互いに同じまたは異なる波長の光を放射するように構成することができる。

撮像装置３１５は受光した光を表すエネルギーを電気信号に変換するように構成された任意の感光性基板または構造、例えば、電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）イメージセンサを含むことができる。撮像装置３１５のいくつかの例は、内視鏡の遠位端３００から内視鏡の基端付近の接眼レンズおよび／または画像センサに画像を表す光を伝送するように構成された、１つまたは複数の光ファイバ、たとえば光ファイババンドルを含むことができる。撮像装置３１５は様々な光学設計に必要とされるように、１つまたは複数のレンズおよび／または波長通過フィルタまたはカットオフフィルタをさらに含むことができる。照明光源３１０から放出された光は、撮像装置３１５が患者の管腔ネットワークの内部の画像を取得することを可能にする。次に、これらの画像は本明細書に記載される処理のために、コマンドコンソール２００などのコンピュータシステムに、個々のフレームまたは一連の連続するフレーム（例えば、ビデオ）として送信される。

遠位端３００上に配置された電磁コイル３０５は解剖学的システム内に配置されているときに内視鏡の遠位端３００の位置および向きを検出するために、電磁追跡システムと共に使用されてもよい。いくつかの実施形態では、コイル３０５が異なる軸に沿った電磁場に対する感度を提供するように角度を付けられてもよく、開示されたナビゲーションシステムに、３つの位置および３つの角度という完全な６自由度を測定する機能を与える。他の実施形態では単一のコイルのみが、その軸が内視鏡の内視鏡シャフトに沿って配向された状態で、遠位端３００上または遠位端３００内に配置されてもよい。このようなシステムの回転対称性のため、このシステムはその軸の周りの回転を感知しないため、このような実施形態では、５自由度しか検出することができない。

図１９は、本明細書で説明する例示的なナビゲーション融合システム４００の概略ブロック図を示す。以下により詳細に説明するように、システム４００を使用して、多数の異なる情報源からのデータは患者の管腔ネットワーク内の手術機器（例えば、内視鏡）のリアルタイム移動情報および位置／向き情報の推定を提供し、ナビゲーション決定を行うために、手術手技の間に組み合わされ、繰り返し分析される。

ナビゲーション融合システム４００は、デプス特徴データリポジトリ４０５、内視鏡電磁センサデータリポジトリ４１５、位置合わせデータリポジトリ４７５、モデルデータリポジトリ４２５、内視鏡撮像データリポジトリ４８０、ナビゲーション経路データリポジトリ４４５、およびロボット位置データリポジトリ４７０を含むいくつかのデータリポジトリを含む。以下の説明を明確にするために、図１９には別々に示されているが、データリポジトリの一部または全部を、単一のメモリまたはメモリのセットに一緒に格納することができることを理解されたい。システム４００はまた、位置合わせ計算器４６５、デプスベース位置推定器４１０、位置計算器４３０、画像分析器４３５、状態推定器４４０、およびナビゲーションコントローラ４６０を含むいくつかの処理モジュールを含む。各モジュールは、記憶に格納された１組のコンピュータ可読命令と、以下で説明する特徴を一緒に実行するために命令によって構成された１つまたは複数のプロセッサとを表すことができる。ナビゲーション融合システム４００は例えば、上述の制御およびセンサ電子機器１８４および／またはコンソール基部２０１内の、１つまたは複数のデータ記憶デバイスおよび１つまたは複数のハードウェアプロセッサとして実装することができる。ナビゲーション融合システム４００は、いくつかの実装形態では位置決めシステム９０の一実施形態とすることができる。

また、図１９は、ナビゲーション融合システム４００と通信するモデリングシステム４２０を示す。以下でより詳細に説明するように、モデリングシステム４２０を使用して、患者の解剖学的な管腔ネットワークの多数の画像を表すデータを分析して、解剖学的な管腔ネットワークの仮想表現の３次元モデルを構築することができ、この仮想の解剖学的な管腔ネットワークを使用して、デプス特徴データリポジトリ４０５を構築することができる。別々に示されているが、いくつかの実施形態ではモデリングシステム４２０およびナビゲーション融合システム４００を単一のシステムに組み合わせることができる。モデリングシステム４２０は、モデル生成器４４０および特徴抽出器４５０を含むいくつかの処理モジュールを含む。モデルデータリポジトリ４２５およびデプス特徴データリポジトリ４０５はナビゲーション融合システム４００内に示されているが、これらのデータリポジトリはいくつかの実施形態ではモデリングシステム４２０内に代替的にまたは追加的に配置することができる。

モデル生成器４４０は、例えばＣＴイメージングシステムまたは磁気共鳴イメージングシステムのような医療用イメージングシステム（図示せず）からデータを受信するように構成されたモジュールである。受信されたデータは、患者の解剖学的な管腔ネットワークを表す一連の２次元画像を含むことができる。モデル生成器４４０は一連の２次元画像から３次元データボリュームを生成することができ、３次元データボリュームから解剖学的な管腔ネットワークの内面の仮想３次元モデルを形成することができる。例えば、モデル生成器は、セグメント化を適用して、解剖学的な管腔ネットワークの組織に対応するデータの部分を識別することができる。したがって、結果として得られるモデルは、解剖学的な管腔ネットワークの組織の内面を表すことができる。

モデルデータリポジトリ４２５は、患者の管腔ネットワークのモデル、例えばモデル生成器４４０によって生成されたモデルを表すデータを記憶するデータ記憶装置である。そのようなモデルは、いくつかの例では患者の気道のトポグラフィおよび／または直径を含む、管腔ネットワークの構造および接続性に関する３次元情報を提供することができる。患者の肺のいくつかのＣＴスキャンは、患者の気道がモデルにおいてそれらの完全な直径まで拡張するように、息止めした状態で実行される。

内視鏡撮像データリポジトリ４８０は、内視鏡の先端のカメラ、例えば撮像装置３１５から受信した画像データを記憶するデータ記憶装置である。種々の実施形態では、画像データがビデオシーケンス内の別個の画像または一連の画像フレームとすることができる。

特徴抽出器４５０はモデル生成器４４０からモデルを受け取り、モデル内のいくつかの異なる位置に対応するデプス特徴のデータベースを構築するように構成されたモジュールである。例えば、特徴抽出器４５０はモデル内のいくつかの異なる位置を識別し、各位置に仮想撮像装置を計算的に位置決めし、各位置に仮想画像を生成し、次いで、仮想画像から指定された特徴を導出することができる。本明細書で説明する「仮想撮像装置」は、物理的な撮像装置ではなく、画像取得装置の計算シミュレーションである。シミュレーションは視野、レンズ歪み、焦点距離、および輝度シェーディングを含む仮想撮像装置パラメータに基づいて仮想画像を生成することができ、仮想撮像装置パラメータは、実際の撮像装置のパラメータに基づくことができる。

生成された各仮想画像は、仮想撮像装置の仮想視野内の仮想管腔ネットワークの位置と組織との間の距離を表す仮想デプスマップに対応することができる。特徴抽出器４５０は、仮想撮像装置パラメータを、患者の管腔ネットワークを含む医療処置で使用するために識別された実際の撮像装置のパラメータに一致させることができる。データベースを構築するための例示的なプロセスについて、図２０を参照しながら以下に詳細に説明する。

また、特徴抽出器４５０は、内視鏡撮像データリポジトリ４８０からデータを受信し、内視鏡撮像装置と画像の画素によって表される撮像組織との間の距離を表すデプスマップを生成し、生成されたデプスマップから特徴を導出することができる。いくつかの実施形態では、特徴抽出器４５０が単一の画像に基づいてデプスマップを生成するために、測光法（例えば、シェーディングによる形状）処理を使用することができる。いくつかの実施形態では、特徴抽出器４５０がデプスマップを生成するために、撮像された領域を描写する立体画像セットを使用することができる。

デプス特徴データリポジトリ４０５は、特徴抽出器４５０によって生成されたデプスマップおよび／または仮想デプスマップから導出された特徴のデータベースを記憶するデータ記憶装置である。特徴は、管腔ネットワークの性質および／またはナビゲーション手技中の特徴の使用に基づいて変化し得る。特徴は例えば、デプスマップ内の局所最大値の位置（例えば、気道の枝の下に視認可能な最遠の仮想組織を表す）、局所最大値を取り囲む曲線ピークに沿った位置、２つの局所最大値を分離する距離（例えば、画素数）を表す値、および／または、いくつかの局所最大値を結ぶ線またはポリゴンのサイズ、形状、および向きを含む。曲線ピークは、曲線ピークの一方の側の画素のデプス値が増加し、曲線ピークの他方の側のデプス値が減少するデプスマップ内の領域を表す。曲線ピークは画素に関連するデプスが、画素の両側の画素に関連するデプスよりも大きい、極大値を含むことができる。デプス特徴データレポジトリ４０５は仮想管腔ネットワーク内の特徴および関連する位置を、例えば、識別された位置ごとに、以下の形式－｛位置ｎ，特徴量｝－で組として記憶することができる。例えば、上記位置が気道内の位置に関連し、特徴が２つの識別された局所最大値間の距離に関連する場合、タプルは｛位置n（気道セグメント，気道セグメント内のデプス），特徴値（距離）｝として生成することができる。このように、データベース内の抽出された特徴はナビゲートされた解剖学的な管腔ネットワークの画像からリアルタイムで抽出された特徴と比較して迅速にプログラム的に評価することができ、識別された最も良くまたは最も近接する特徴に対応する位置を迅速に確認することができる。

デプスベース位置推定器４１０は、解剖学的な管腔ネットワークの画像からリアルタイムで抽出された特徴（複数可）を、仮想画像から抽出された事前に計算された特徴（複数可）と比較するように構成されたモジュールである。デプスベース位置推定器４１０は、仮想特徴と実際の画像から抽出された特徴との一致についてデプス特徴データリポジトリ４０５をスキャンすることができ、一致に対応する位置を解剖学的な管腔ネットワーク内の器具（例えば、内視鏡）の位置として使用することができる。マッチングは、厳密なマッチング、デプス特徴データリポジトリ４０５内の利用可能な特徴間の最良のマッチング、抽出された特徴からの閾値差内のマッチングとすることができる。デプスに基づく位置推定器４１０は例えば、器具の位置の確率的評価における初期位置（「事前確率」）として使用するために、または器具の正確な位置が不明となる有害事象（例えば咳）の発生後の事前確率として使用するために、状態推定器４４０に位置を出力することができる。デプスベース位置推定器４１０はモデルと患者の周りに配置された電磁場との間の初期位置合わせおよび／または更新された位置合わせを生成する際に使用するために、位置合わせ計算器４６５に位置を出力することができる。

内視鏡電磁センサデータリポジトリ４１５は、内視鏡の遠位端にある電磁センサから導出されたデータを記憶するデータ記憶装置である。上述のように、そのようなセンサは電磁センサコイル３０５を含むことができ、結果として得られるデータを使用して、電磁場内のセンサの位置および向きを識別することができる。電磁呼吸センサからのデータと同様に、内視鏡電磁センサデータは｛ｘ、ｙ、ｚ，ｔn｝の形式の組として記憶することができ、ここで、ｘ、ｙ、ｚは、期間ｔnにおける電磁場内のセンサの座標を表す。いくつかの実施形態は、電磁センサタプル内の器具のロール、ピッチ、およびヨーをさらに含むことができる。内視鏡電磁センサデータリポジトリ４１５は、多数の異なる時間に対応する各内視鏡ベースのセンサのための多数のそのようなタプルを記憶することができる。

位置合わせ計算器４６５は３次元モデルの座標系（例えば、モデルを生成するために使用されるＣＴスキャナの座標系）と電磁場（例えば、電磁場発生器１２０の）の座標系との間の位置合わせまたはマッピングを識別することができるモジュールである。患者の解剖学的構造を通してセンサを追跡するために、ナビゲーション融合システム４００は位置合わせ計算器４６５が異なる座標系の間で単一の物体を位置合わせする幾何学的変換を見つける「位置合わせ」として知られるプロセスを必要とすることがあり、例えば、患者上の特定の解剖学的部位は３次元モデル座標および電磁センサ座標においても表現されることがある。初期位置合わせを計算するために、位置合わせ計算機４６５の一実装形態は、参照によりその開示が本明細書に組み込まれる、２０１６年９月１７日に出願された「管腔ネットワークのナビゲーション」という名称の米国特許出願第１５／２６８，２３８号に記載される位置合わせを実行することができる。１つの可能な位置合わせ方法の例として、位置合わせ計算器４６５は内視鏡が患者の気道に挿入されるとき、例えば、内視鏡が様々な分岐に到達するときに、内視鏡撮像データリポジトリ４８０および電磁センサデータリポジトリ４１５から、多数の異なる点のデータを受信することができる。画像データは内視鏡の遠位端がいつ分岐部に到達したかを、例えば、自動化された特徴分析を介して識別するために使用することができる。位置合わせ計算器４６５は、内視鏡電磁センサデータリポジトリ４１５からデータを受信し、内視鏡が分岐部に位置するときに、内視鏡の遠位端における電磁センサ位置を識別することができる。いくつかの例では、分岐だけでなく、患者の気道内の他の点を採用することができ、そのような点を気道の「スケルトン」モデル内の対応する点にマッピングすることができる。位置合わせ計算器４６５は電磁場とモデルとの間の幾何学的変換を識別するために、電磁位置のうちの少なくとも３つをモデル内の点にリンクするデータを使用することができる。別の実施形態は例えば、患者の気道の第１の分岐から、および左肺および右肺の２つ以上の分岐から少なくとも３つを採取することによって、手動位置合わせを含むことができ、対応する点を使用して位置合わせを計算することができる。幾何学的変換を実行するためのこのデータ（位置合わせデータとも呼ばれる）は、位置合わせデータとして位置合わせデータリポジトリ４７５に格納することができる。

初期位置合わせが決定された後、位置合わせ計算器４６５は変換精度を向上させるとともに、ナビゲーションシステムの変化、例えば、患者の移動による変化を補償するために、受信データに基づいて位置合わせ変換の推定値を更新することができる。いくつかの態様では、位置合わせ計算器４６５が規定の間隔で、および／または管腔ネットワーク内の内視鏡（またはその部品）の位置に基づいて、位置合わせ変換の推定値を連続的に更新することができる。

位置合わせデータリポジトリ４７５は、ここで説明したように、電磁分野の座標系からモデルの座標系への幾何学的変換を実行するために使用可能な位置合わせデータを記憶するデータ記憶装置である。また、上記の通り、位置合わせデータは位置合わせ計算機４６５によって生成されてもよく、いくつかの実施形態では連続的にまたは周期的に更新されてもよい。

位置計算器４３０は、モデルデータリポジトリ４２５、位置合わせデータリポジトリ４７５、および内視鏡位置推定器４２０からデータを受信して、電磁センサ座標を３次元モデル座標に変換するモジュールである。内視鏡位置推定器４２０は上述したように、電磁場発生器の位置に対する電磁センサ初期位置を計算する。この位置はまた、３次元モデル内の位置に対応する。電磁センサの初期位置を電磁座標系からモデル座標系に変換するために、位置計算器４３０は位置合わせデータリポジトリ４７５に格納された電磁座標系とモデル座標系（例えば、位置合わせデータ）との間のマッピングにアクセスすることができる。内視鏡位置を３次元モデル座標系に変換するために、位置計算器４３０は、入力として、モデルデータリポジトリ４２５から３次元モデルのトポグラフィを表すデータと、位置合わせデータリポジトリ４７５からの３次元モデルの電磁場と座標系との間の位置合わせを表すデータと、内視鏡位置推定器４２０からの電磁場内の内視鏡の位置とを受信する。また、いくつかの実施形態は、状態推定器４４０から事前に推定された状態データを受信することができる。受信されたデータに基づいて、位置計算器４３０は例えば、電磁センサ位置データの３次元モデル内の位置へのオンザフライ変換を実行することができる。これは、３次元モデルのトポグラフィ内の内視鏡の遠位端の位置の予備的な推定値を表し、以下で詳細に説明するように、内視鏡位置の最終的な推定値を生成するための状態推定器４４０への１つの入力として提供することができる。

画像アナライザ４３５は内視鏡撮像データリポジトリ４８０およびモデルデータリポジトリ４２５からデータを受信し、このデータを比較して内視鏡位置決めを決定することができるモジュールである。例えば、画像アナライザ４３５はモデルスキャンから気道樹のボリュームレンダリングまたは表面レンダリングされた管腔内画像にアクセスすることができ、レンダリングされた画像を撮像装置３１５からのリアルタイム画像またはビデオフレームと比較することができる。例えば、画像を位置合わせすることができ（例えば、パウエルの最適化、単純化またはグレーデント法の使用、正規化された交差相関または相互情報をコストとして有する最急降下法アルゴリズム）、２つの情報源から得られた位置合わせ画像を比較するために、平方差誤差の加重正規化された和および正規化された相互情報を使用することができる。スキャンからの２次元画像と内視鏡から受信した２次元画像との間の類似度は、内視鏡がスキャンからの画像の位置の近くに配置されていることを示す。そのような画像ベースのナビゲーションは患者の気道の分岐部で局所的な位置合わせを実行することができ、したがって、電磁追跡システムよりも、患者の呼吸運動によるノイズの影響を受けにくくすることができる。しかしながら、画像分析器４３５は内視鏡映像に依存するので、分析は、患者の咳または粘膜閉塞によって引き起こされる画像中のアーチファクトによって影響を受ける可能性がある。

画像アナライザ４３５は、いくつかの実施形態では画像アナライザ４３５が分岐開口部、病変、または粒子など、画像データの視野内に存在する物体を検出することができる物体認識技術を実装することができる。物体認識を使用して、画像アナライザはどの物体が識別されたかに関する情報、ならびに確率として表される物体の位置、向き、および／またはサイズを示す物体データを出力することができる。一例として、物体認識を使用して、管腔ネットワーク内の分岐点を示すことができる物体を検出し、次いで、それらの位置、サイズ、および／または向きを決定することができる。一実施形態では管腔ネットワーク内の所与の画像において、各分岐は典型的には暗い略楕円形の領域として表示され、これらの領域は、最大安定極値領域（ＭＳＥＲ）などの領域検出アルゴリズムを使用して、オブジェクトとして、プロセッサによって自動的に検出される。画像分析器４３５は気道を識別するために、他の技術と組み合わされた光反射強度を使用することができる。さらに、画像アナライザ４３５は管腔ネットワーク内の１組の可能な分岐の中からどの分岐が入力されたかを検出するために、１組の連続する画像フレームにわたって検出された物体を追跡することができる。

ロボット位置データリポジトリ４７０は医療ロボットシステム１１０から受信されたロボット位置データ、例えば、医療器具または医療器具の一部（例えば、器具先端または遠位端）の管腔ネットワーク内での医療ロボットシステム１１０による物理的移動に関連するデータを記憶するデータ記憶デバイスである。例示的なロボット位置データは例えば、管腔ネットワーク内の特定の解剖学的部位に到達し、かつ／または管腔ネットワーク内のその向きを（例えば、内視鏡器具のリーダおよびシースの一方または両方に対して、特定のピッチ、ロール、ヨー、挿入、および後退）変更するように器具先端に命令するコマンドデータ、医療器具の一部（例えば、器具先端またはシース）の挿入移動を表す挿入データ、器具ドライバデータ、ならびに、例えば、管腔ネットワーク内の内視鏡の実際の移動を駆動する内視鏡の１つまたは複数のプルワイヤ、テンドン、またはシャフトの移動など、医療器具の細長い部材の機械的移動を表す機械的データを含むことができる。

ナビゲーション経路データリポジトリ４４５は、管腔ネットワークを通って目標組織部位までのあらかじめ計画されたナビゲーション経路を表すデータを記憶するデータ記憶デバイスである。患者の身体の管腔ネットワーク内の特定の位置へのナビゲーションは管腔ネットワークの３次元モデルを生成し、管腔ネットワーク内のナビゲーション経路を決定するのに必要な情報を生成するために、手術前に特定のステップをとることを必要とする場合がある。上記のように、特定の患者の気道のトポグラフィおよび構造の３次元モデルを生成することができる。標的は例えば、生検のための病変、または手術によって修復するための器官組織の一部を選択することができる。一実施形態では、ユーザがマウスでクリックすること、またはタッチスクリーンに触れることなどによって、３次元モデルを示すことができるコンピュータディスプレイとインタフェースすることによって、ターゲットの位置を選択することができる。いくつかの実施形態では、ナビゲーション経路がモデルおよび識別された病変部位の分析によってプログラム的に識別されて、病変までの最短のナビゲーション経路を導出することができる。いくつかの実施形態では経路が医師によって識別されてもよく、または自動的に識別された経路は医師によって修正されてもよい。ナビゲーション経路は、識別されたターゲットに到達するように移動する管腔ネットワーク内の一連の分岐を識別することができる。

状態推定器４４０は入力を受信し、入力の分析を実行して医療器具の状態を決定するモジュールである。例えば、状態推定器４４０は、デプスベース位置推定器４１０、位置計算器４３０、画像分析器４３５、ナビゲーション経路データリポジトリ４４５、およびロボット位置データリポジトリ４７０からのデータを入力として受信することができる。状態推定器４４０は、提供された入力が与えられると、確率分析を実施して、管腔ネットワーク内の医療器具の状態および対応する確率を決定することができる。推定状態は（１）管腔ネットワークのモデルの座標系に対する器具のＸ、Ｙ、Ｚ位置、（２）器具がモデルの特定の領域、例えば、特定の気道枝に位置するかどうか、（３）器具のピッチ、ロール、ヨー、挿入、および／または後退、ならびに（４）目標までの距離のうちの１つまたは複数を示す。状態推定器４４０は、時間の関数として器具（または器具の遠位先端）の推定された状態を提供することができる。

いくつかの実施形態では、状態推定器４４０が状態および対応する確率を決定するためにベイズフレームワークを実装することができる。ベイズ統計解析は事前確率と呼ばれる確信度（belief）から始まり、観察されたデータでその確信度を更新する。事前確率はベイズモデルパラメータが何であるかの推定値を表し、パラメータ化された分布として表すことができる。観察されたデータは、パラメータの実際の値についての証拠を得るために収集される。ベイズ解析の結果は事後確率と呼ばれ、事象を信頼度（confidence）で表現する確率分布を表す。さらなるデータが取得される場合、事後確率は事前確率として扱われ、新たなデータで更新され得る。この方法は条件付き確率、例えば、イベントＢが発生した場合にイベントＡがどのくらい起こりやすいかを示すベイズ規則を使用する。

開示されるナビゲーション融合システム４００に関して、状態推定器４４０は以前に推定された状態データを事前確率として使用することができ、呼吸数および／または段階識別器４１０、内視鏡位置推定器４２０、位置計算器４３０、画像分析器４３５、ナビゲーション経路データリポジトリ４４５、および／またはロボット位置データリポジトリ４７０からの入力を観測データとして使用することができる。手技の開始時に、上記の視覚ベースの初期化手法を使用して、気管内の初期デプスおよびロールを推定することができ、デプスベースの位置推定器４１０からのこの推定出力を事前確率に使用することができる。状態推定器４４０は複数の可能な状態のそれぞれの確率および信頼値を表す事後分布を生成するために、事前データおよび観測データのベイズ統計解析を実行することができる。

本明細書で使用される「確率分布」の「確率」は、医療器具の可能な位置および／または向きの推定がもっともらしいことを意味する。例えば、医療器具が管腔ネットワーク内のいくつかの異なる可能な分岐のうちの１つにある相対的な可能性を示す複数のアルゴリズムモジュールの１つによって、異なる確率を計算することができる。一実施形態では、確率分布の種類（例えば、離散分布または連続分布）は推定された状態の特徴（例えば、推定された状態の種類、例えば、連続的な位置情報と離散的な分岐選択）に一致するように選択される。一例として、医療器具が三分岐のためにどのセグメントにあるかを識別するための推定状態は離散確率分布によって表されてもよく、アルゴリズムモジュールのうちの１つによって決定されるように、３つの分岐のそれぞれの内側の位置にある可能性を表す２０％、３０％、および５０％という３つの離散値を含んでもよい。別の例として、推定された状態は４０±５°の医療器具のロール角を含んでもよく、分岐内の器具先端のセグメントデプスは４±１ｍｍであってもよく、各々は連続確率分布の一種であるガウス分布によって表される。

一方、本明細書で使用される「信頼値（confidence value）」は、１つまたは複数の要因に基づく図１９に示す複数のモジュールの１つによって提供される状態の推定における信頼性の尺度を反映する。電磁ベースのモジュールでは、電磁場の歪み、電磁位置合わせの不正確さ、患者の位置ずれや動き、および患者の呼吸などの要因が状態の推定の信頼性に影響を及ぼす可能性がある。特に、電磁ベースのモジュールによって提供される状態の推定における信頼値は患者の特定の呼吸サイクル、患者または電磁場発生器の動き、および器具先端が位置する解剖学的構造内の位置に依存する。画像アナライザ４３５の場合、状態の推定における信頼値に影響を及ぼす可能性がある要素の例には、画像が取得される解剖学的構造内の位置の照明条件、画像を取得する光学センサに向き合うまたは光学センサの前にある流体、組織、または他の障害物の存在、患者の呼吸、管腔ネットワーク内の一般的な流体などの患者自体の管腔ネットワーク（例えば、肺）の状態、および管腔ネットワークの閉塞、ならびに、例えば、ナビゲーションまたは画像取得で使用される特定の動作方法が含まれる。

例えば、１つの要因は特定のアルゴリズムが患者の肺の異なるデプスにおいて異なる精度レベルを有する場合があり、例えば、気道開口に比較的近いところでは、特定のアルゴリズムが医療器具の位置および向きの推定において高い信頼性を有し、肺の下端へとさらに進むほど、信頼値は低下し得る場合がある。一般に、信頼値は結果が決定されるプロセスに関連する１つまたは複数の系統的要素に基づくが、確率は基礎となるデータに基づく単一のアルゴリズムを用いて複数の可能性から正しい結果を決定しようと試みるときに生じる相対的な尺度である。

一例として、離散確率分布によって表される推定状態の結果を計算するための数式（例えば、関与する推定状態の３つの値を有する三分岐についての分岐／セグメント識別）は、以下のようにすることができる。

上の数式の例ではＳｉ(ｉ＝１，２，３）が３次元モデルにおいて３つの可能なセグメントが識別または存在するケースにおける推定された状態の可能な値の例を表し、ＣＥＭ、ＣＩｍａｇｅ、ＣＲｏｂｏｔはそれぞれ電磁ベースのアルゴリズム、画像ベースのアルゴリズム、ロボットベースのアルゴリズムに対応する信頼値を表し、Ｐｉ，ＥＭ、Ｃｉ，Ｉｍａｇｅ、Ｃｉ，Ｒｏｂｏｔ、はセグメントｉの確率を表す。このような融合アルゴリズムの確率的性質により、呼吸を経時的に追跡することができ、さらには、待ち時間および外れ値外乱を克服するように予測することもできる。

いくつかの実施形態ではロボット位置データ４７０、位置計算器４３５、および画像分析器４３５からのデータの信頼値は呼吸数および／または段階識別器４１０からの呼吸段階に基づいて適応的に決定することができる。例えば、ロボット位置データおよび画像データは、呼吸運動による電磁センサデータとは異なる影響を受ける可能性がある。いくつかの実施形態では、内視鏡撮像データリポジトリ４３０から取得された視覚データを使用して、管腔ネットワークの外部のセンサを介して検出可能でない特定の種類の呼吸運動、例えば、視覚処理によって検出することができる頭側－尾側（後－前）運動における気道の運動を検出することができる。

ナビゲーションコントローラ４６０は状態推定器４４０およびナビゲーション経路データリポジトリ４４５からデータを受信し、このデータを使用して医療ロボットシステム１１０のさらなる動作をガイドするモジュールである。例えば、ナビゲーションコントローラ４６０は所定のナビゲーション経路に沿って推定状態をプロットすることができ、器具がナビゲーション経路に沿って前進するための次の移動（例えば、プルワイヤまたは他の作動機構の伸長／後退距離、回転、作動）を決定することができる。ナビゲーションコントローラ４６０は、いくつかの実施形態では決定された次の動きに従って器具を自動的に制御することができる。いくつかの実施形態では、ナビゲーションコントローラ４６０がワークステーション２００などによってユーザに表示するために、特定の器具の動作命令および／または器具ドライバの動作命令を出力することができる。ナビゲーションコントローラ４６０はユーザガイドナビゲーションを容易にするために、いくつかの実施形態では、推定された位置における３次元モデルのスライスと、内視鏡画像データリポジトリ４８０から受信されたリアルタイム画像との並列ビューを表示させることができる。

（４.ナビゲーション技術例の概要）
本件開示の１つまたは複数の態様によれば、図２０は、抽出された仮想特徴データセットを生成するための例示的なプロセス５００のフローチャートを示す。いくつかの実施形態においては、プロセス５００が事前運用的に、すなわち、生成されたモデルと、プロセス５００によって抽出された特徴を使用する医療手技の開始前に、実施することができる。プロセス５００は、図１９のモデリングシステム４２０、図１６Ｃの制御およびセンサ電子機器１８４、および／または図１７のコンソール基部２０１、またはその構成要素において実施することができる。図２０のフローチャート内のグラフィック描写は上記のブロックを例示するために提供され、限定するものではなく、描写されたモデル５１５、デプスマップ５３２、５３４、および関連する特徴の視覚的表現はプロセス５００の過程の間に生成され、表示されてもされなくてもよいことが理解される。

ブロック５１０において、モデル生成器４４０は患者の解剖学的な管腔ネットワークを表す画像データにアクセスし、３次元モデル５１５を生成することができる。例えば、ＣＴスキャンまたはＭＲＩスキャンは、解剖学的な管腔ネットワークの２次元断面を描写する多数の画像を生成することができる。モデル生成器４４０は解剖学的な管腔ネットワークの組織を分離またはセグメント化するためにこれらの２次元画像をセグメント化することができ、様々な画像内の分離された組織位置に基づいて、および画像内に描写された断面の空間的関係に基づいて、データの３次元点群を構築することができる。モデル生成部４４０は、この３次元点群に基づいてモデルを生成することができる。３次元モデルは、解剖学的な管腔ネットワークの内面を仮想管腔ネットワークとしてモデル化することができる。例えば、モデル５１５は、いくつかの実施形態ではＣＴスキャンから生成された患者の気道のセグメント化されたマップとすることができる。モデルは、患者の実際の管腔ネットワーク（または管腔ネットワークの一部）の任意の２次元または３次元表現とすることができる。

ブロック５２０において、特徴抽出器４５０は、モデル５１５内の多数の仮想位置５２５を識別することができる。一例として、特徴抽出器４５０はナビゲーションシステム４００のパラメータに応じて、患者の気道を表すモデルの気管セグメント内のいくつかの位置、例えば、１２０の位置、またはより多いまたはより少ない位置を識別することができる。他の例では、特徴抽出器４５０が気道モデルの他のセグメント内の１地点、例えば、気道モデルを通る計画されたナビゲーション経路に沿った１地点、計画されたナビゲーション経路に沿った１地点、および計画されたナビゲーション経路への所定の近接内の分岐、または気道セグメントの一部もしくは全体にわたっての１地点を識別することができる。

ブロック５３０において、特徴抽出器４５０は、識別された位置に対応する多数の仮想デプスマップ５３２、５３４を生成することができる。例えば、特徴抽出器４５０は識別された位置を使用して、仮想の解剖学的な管腔ネットワーク内の仮想撮像装置の位置を設定することができ、識別された位置ごとに仮想デプスマップ５３２、５３４を生成することができる。図示された例示的な仮想デプスマップ５３２および仮想デプスマップ５３４は、気道内の主竜骨１５６の仮想表現に関する同じデプス情報の異なる表現を示す。仮想デプスマップ５３２の２次元表現における各仮想画素はそのデプス値に対応する色で描かれ、一方、仮想デプスマップ５３４の３次元表現は各仮想画素がそのデプス値に対応するＺ軸に沿った高さで示されるデュアルピーク形状を描く。図示された仮想デプスマップはブロック５３０の概念を示すために提供されるが、プロセス５００のいくつかの実施形態ではプロセス５００が以下に説明する特徴を導出するためにそのようなデプスマップを表すデータのみを必要とし得るため、上記の視覚的な表現は生成されない。

いくつかの実施形態では、ブロック５３０において、特徴抽出器４５０は管腔ネットワークがナビゲートされる医療手技中に使用するために識別された撮像装置、例えば、内視鏡の遠位端の撮像装置３１５のパラメータにアクセスすることができる。特徴抽出部４５０は、仮想撮像装置のパラメータに合わせて仮想撮像装置の仮想パラメータを設定することができる。そのようなパラメータは視野、レンズ歪み、焦点距離、および輝度シェーディングを含むことができ、較正データまたは撮像装置を試験することによって得られるデータに基づくことができる。明度シェーディングは口径食としても知られており、エッジ付近の画像の暗化を引き起こす光学システムによって透過される位置依存の光量変化である。ケラレはレンズ視野（ＦＯＶ）の周辺付近の光学系によって透過される光量の減少をもたらし、エッジでの画像の漸進的な暗化を生じる。ケラレは、カメラのレンズロールオフ歪み関数を較正することによって、画像取得後に補正することができる。仮想パラメータを実際のパラメータにマッチングさせることによって、結果として得られる仮想デプスマップ５３２、５３４は、撮像装置によって取り込まれた画像に基づいて生成された実際のデプスマップにより密接に対応する。

ブロック５４０において、特徴抽出器４５０は１つ以上のデプス基準を識別するために、仮想デプスマップの値を分析する。デプス基準は例えば、デプスマップ内の局所最大値の位置（例えば、仮想気道モデルの枝の下に見える最も遠い仮想組織を表す画素）、または局所最大値を取り囲む曲線ピークに沿った局所最大値から閾値距離内の任意の位置とすることができる。上記のデプス基準位置は、仮想デプスマップ内の仮想画素位置であり得る。

ブロック５４０は、仮想左気管支および仮想右気管支内の仮想カメラによって可視化される最も遠い仮想組織に対応する、局所最大値としての説明的なデプス基準５２２、５４４の視覚的説明を提供する。原則として、人間の肺の典型的な形状のために、主気管支の近くに配置されたカメラまたは仮想カメラは、左気管支よりも右気管支内に遠くまで見ることができる。したがって、デプス基準５４４はデプス基準５４２よりも大きな値を有するので、右気管支内の最も遠くに描かれた仮想組織に対応し、デプス基準５４２は、左気管支内の最も遠くに描かれた仮想組織に対応する。そのような情報は、本明細書で説明するように、回転の識別に役立つ。

ブロック５５０において、特徴抽出器４５０は、識別されたデプス基準から事前に識別された仮想特徴を導出する。例えば、図示のように、特徴抽出器４５０は、デプス基準５４２、５４４を分離する距離５５５の値を識別することができる。距離値は、２次元デプスマップ５３２に対応する（ｘ，ｙ）空間内の画素数、または３次元デプスマップ５４４に対応する（ｘ，ｙ，ｚ）ベクトルとして表すことができる。特徴抽出器４５０は追加的または代替的に、特徴として右気管支および左気管支の識別および位置決めを導出することができる。例えば、他の実施形態では、３つ以上の気道の分岐を見る１地点におけるデプスマップを含み、特徴は３つ以上の局所最大値を接続するポリゴンのサイズ、形状、および向きを含むことができる。

ブロック５６０において、特徴抽出器４５０は、仮想位置および関連する抽出された仮想特徴のデータベースを生成することができる。このデータベースは例えば、確率論的な状態推定を自動的に初期化し、位置合わせを計算し、他のナビゲーション関連計算を実行するために、リアルタイム器具位置決定を計算する際に使用するために、ナビゲーションシステム４００に提供することができる。

図２１は、取得された内視鏡画像と、デプス情報の特徴と図２０の抽出された仮想特徴データセットとの間の計算された対応とに基づいてデプス情報を生成するための例示的な手技時プロセス６００のフローチャートを示す。プロセス６００は、図１９のモデリングシステム４２０および／またはナビゲーション融合システム４００、図１６Ｃの制御およびセンサエレクトロニクス１８４、および／または図１７のコンソール基部２０１、またはその構成要素によって実施することができる。

ブロック６１０において、特徴抽出器４５０は、患者の解剖学的な管腔ネットワーク内に配置された器具の遠位端において撮像装置によって取得された撮像データを受信する。例えば、撮像装置は、上述した撮像装置３１５とすることができる。画像化データの例示的な視覚的な表現は、患者の気道の主気道を描写する画像６１５によって示される。画像６１５は、図２０の仮想デプスマップ５３２によって表される仮想の主胸骨に対応する解剖学的な主胸骨を示す。画像６１５は特定の視覚的表現を使用して特定の特徴を描写し、画像６１５は、プロセス６００を例示するために提供され、限定するものではない。画像６１５はプロセス６００での使用に適した管腔内画像データを表し、他の適切な画像データは他の解剖学的構造を表すことができ、および／または異なる視覚的な表現を使用して画像として描写することができる。さらに、プロセス６００のいくつかの実施形態は画像データ（例えば、画像６１５）の対応する可視表現を生成することなく、画像データ（例えば、撮像装置の画像センサから受信した画素値）に対して動作することができる。

ブロック６２０において、特徴抽出器４５０は、画像６１５によって表される撮像データに対応するデプスマップ６２０を生成する。特徴抽出器４５０は、撮像データの各画素について、撮像装置と、画素に対応する、表現された解剖学的な管腔ネットワーク内の組織表面との間の推定距離を表すデプス値を計算することができる。具体的には、デプス値が撮像装置の光学系の入射瞳と画素によって示される撮像組織との間の物理的距離の推定値を表すことができる。いくつかの実施形態では、特徴抽出器４５０が単一の画像６１５に基づいてデプスマップを生成するために、測光法（例えば、シェーディングによる形状）処理を使用することができる。測光法を使用することによって、特徴抽出器４５０は流体（例えば、粘液）で覆われ得る組織の部分間の反射率差に起因する外れ値に対してロバストである。いくつかの実施形態では、特徴抽出器４５０がデプスマップを生成するために、撮像された領域を描写する立体画像のセットを使用することができる。例えば、ロボット制御内視鏡は第１の位置で第１の画像を取得し、第２の位置まで既知の距離だけロボットにより後退させ、拡張させ、かつ／または回転させることができ、第２の位置で第２の画像を取得することができる。特徴抽出器４５０は、ロボット制御内視鏡の既知の移動と、第１の画像と第２の画像との間の視差とを使用して、デプスマップを生成することができる。

ブロック６３０において、特徴抽出器４５０は、デプスマップ内の１つ以上のデプス基準を識別する。仮想デプスマップに関して上述したように、実画像データに基づいて生成されたデプスマップ内のデプス基準は、例えば、デプスマップ内の局所最大値の位置（例えば、患者の気道の枝に沿って見える最遠の解剖学的な組織を表す画素）、または局所最大値を取り囲む曲線ピークに沿った局所最大値から閾値距離内の任意の位置とすることができる。ここで説明するデプス基準位置は、画像６１５内の画素位置とすることができる。ブロック６３０で識別のために選択されたデプス基準は、ブロック５４０で識別されたデプス基準に対応することが好ましい。

例えば、特徴抽出器４５０はデプスマップ内の第１のデプス基準に対応する複数の画素のうちの第１の画素と、デプスマップ内の第２のデプス基準に対応する複数の画素のうちの第２の画素とを識別することができ、いくつかの実施形態では、各デプス基準が識別された画素の周りのデプス値の領域内の極大に対応することができる。ブロック６３０は、撮像装置３１５によって可視である左気管支および右気管支内の最遠の組織に対応する、局所最大値としての説明的なデプス基準６３２および６３４の視覚的表示を提供する。具体的にはデプス基準６３４がデプス基準６３２よりも大きな値を有するので、右気管支内の最も遠い画像化された組織を表す画素に対応し、デプス基準６３２は左気管支内の最も遠い画像化された組織を表す画素に対応する。他の気道分岐部は、異なる分岐部間で同様の既知のデプス関係を有することができる。

ブロック６４０において、特徴抽出器４５０は、識別されたデプス基準からあらかじめ識別された特徴を導出する。例えば、図示のように、特徴抽出器４５０はデプス基準６３２および６３４に対応する画素間の距離６４５の値（例えば、分離量）を計算することができる。距離値は、２次元デプスマップに対応する（ｘ，ｙ）空間内の画素数、または３次元デプスマップ６２５に対応する（ｘ，ｙ，ｚ）ベクトルとして、好ましくはプロセス５００のブロック５５０で識別された特徴と同じ形式で表すことができる。特徴抽出器４５０は追加的または代替的に、特徴として右気管支および左気管支の識別および位置決めを導出することができる。他の実施形態では例えば、３つ以上の気道の分岐を表示する位置におけるデプスマップを含み、特徴は３つ以上の局所最大値を接続するポリゴンのサイズ、形状、および向きを含むことができる。

ブロック６５０において、デプスベース位置推定器４１０は、撮像データから導出された特徴とデプス特徴データリポジトリ４０５内のいくつかの特徴との間の類似度を計算する。例えば、撮像データから導出された特徴は、ブロック６４０の説明の通り、デプスマップ６２５の識別されたデプス基準に基づいて計算された距離６４５の値とすることができる。デプスベース位置推定器４１０は、距離６４５の値を気管内のいくつかの位置に関連する距離値と比較して、距離６４５の値に対応する距離値のうちの１つを識別することができる。これらの距離値は先に図２０に関して説明したように、事前に計算され、データリポジトリ４０５に記憶されることができ、または患者の解剖学的構造がナビゲートされているときにリアルタイムで計算されることができる。リアルタイムで計算された値は、類似度計算中にワーキングメモリに格納されてもよく、またはデータリポジトリ４０５に追加されてもよく、その後、値に対応する位置が追加の類似度計算に用いられる場合にアクセスされてもよい。

マッチングを決定するために、デプスベース位置推定器４１０は距離５５５の値（プロセス５００のブロック５５０に関して上述した）を、距離６４５の値との正確な一致として、デプス特徴データリポジトリ４０５内の選択肢間の距離６４５の値との最良の一致（例えば、最も近い値）として、または距離６４５の値の所定の閾値内の第１の一致として識別することができる。ナビゲーションシステム４００は計算速度と位置出力の精度との間のトレードオフに基づいて、正確なマッチング、最良のマッチング、または第１の閾値内のマッチングを検索するように、または現在のナビゲーション条件に基づいてこれらの選択肢のうちの１つを動的に検索するように事前構成することができる。

ブロック６６０において、デプスベース位置推定器４１０は、ブロック６５０の類似度計算において識別された仮想特徴に関連付けられた仮想位置に基づいて、解剖学的な管腔ネットワーク内の器具の遠位端の推定姿勢を決定する。姿勢は器具の位置（例えば、気道または他の管腔ネットワーク部分のセグメント内の挿入デプス）、器具のロール、ピッチ、および／またはヨー、または他の自由度を含むことができる。上述のように、デプス特徴データリポジトリ４０５は、位置と、当該位置で生成された仮想画像から抽出された特徴とを含むタプルまたは関連する値のデータベースを格納することができる。したがって、ブロック６６０において、デプスベース位置推定器４１０はブロック６５０において識別された特徴に関連して記憶された位置情報にアクセスし、この位置を器具の位置として出力することができる。いくつかの実施形態では、ブロック６６０が画像６１５内の右気管支および左気管支の位置と、仮想デプスマップ５３２内の仮想右気管支および仮想左気管支の仮想位置との間の角度変換を識別することを含むことができる。角度変換は、気道内の器具のロールを決定するために使用することができる。

ブロック６７０において、デプスベース位置推定器４１０は、ナビゲーションシステム４００で使用するために識別された姿勢を出力する。上述したように、ポーズは初期化を可能にするために、ユーザが内視鏡をいくつかの指定された位置に再配置することを必要とする初期化プロセスとは対照的に、状態推定器４４０に出力され、初期化中に自動的に決定されるベイズ事前確率として使用され得る。いくつかの実施形態では、姿勢がモデル座標系と電磁座標系との間の位置合わせを計算する際に使用するために、位置合わせ計算器４６５に出力することができる。有利には、プロセス５００および６００により、医師は、患者の気道を通って目標の組織部位までの所定のナビゲーション経路から逸脱することを必要とせずに、このような計算を行うことができる。

（５.代替案）
本明細書に記載の主題のいくつかの代替案を以下に提供する。
１．患者の解剖学的な管腔ネットワークのナビゲーションを支援する方法であって、前記方法は1つのセットの１つまたは複数の計算装置によって実行され、前記方法は
前記解剖学的な管腔ネットワーク内に位置する器具の遠位端にある撮像装置によって取得された画像データを受信することと、
前記解剖学的な管腔ネットワークを表す仮想管腔ネットワーク内の仮想位置に位置する仮想撮像装置の視点からシミュレーションされた仮想画像から導出される仮想特徴にアクセスすることと、
前記画像データから導出される特徴と前記仮想画像から導出される前記仮想特徴との間の類似度を計算することと、
前記仮想特徴に関連付けられた前記仮想位置に基づいて、前記解剖学的な管腔ネットワーク内の前記器具の前記遠位端の姿勢を特定することと、
を含む方法。
２．前記画像データに基づいてデプスマップを生成することであって、前記仮想特徴は、前記仮想画像に関連付けられている仮想デプスマップから導出され、前記類似度を計算することは、前記デプスマップの１つまたは複数の特徴と前記仮想デプスマップの１つまたは複数の特徴とを関連付けることに少なくとも部分的に基づく、
こと、をさらに含むことを特徴とする代替案１に記載の方法。
３．前記画像データの複数の画素の各画素に対して、前記撮像装置と前記画素に対応する前記解剖学的な管腔ネットワーク内の組織表面との間の推定距離を表すデプス値を計算することによって、前記デプスマップを生成することと、
前記デプスマップ内の第１のデプス基準に対応する前記複数の画素のうちの第１の画素と、前記デプスマップ内の第２のデプス基準に対応する前記複数の画素のうちの第２の画素とを識別することと、
前記第１の画素と前記第２の画素との間の距離を表す第１の値を計算することであって、前記仮想デプスマップは、複数の仮想画素の仮想画素ごとに、前記仮想撮像装置と前記仮想画素によって表される前記仮想管腔ネットワークの部分との間の仮想距離を表す仮想デプス値を有し、前記仮想画像から導出される前記仮想特徴にアクセスすることは、前記仮想デプスマップ内の第１のデプス基準と第２のデプス基準との間の距離を表す第２の値にアクセスすることを含む、ことと、
前記第１の値を前記第２の値と比較することに基づいて前記類似度を計算することと、をさらに含むことを特徴とする代替案２に記載の方法。
４．それぞれが前記仮想管腔ネットワーク内の複数の仮想位置の異なる位置を表す複数の仮想デプスマップにおける、第１のデプス基準と第２のデプス基準との間の距離を表す複数の値にアクセスすることと、
前記複数の値のうちの他の値よりも前記第１の値により密接に対応する前記第２の値に基づいて前記類似度を計算することと、
をさらに含むことを特徴とする代替案３に記載の方法。
５．前記解剖学的な管腔ネットワークは気道を有し、前記画像データは前記気道の分岐を表し、前記方法はさらに
前記第１のデプス基準と前記第２のデプス基準の一方を、前記デプスマップと前記仮想デプスマップのそれぞれにおける右気管支として識別することと、
前記デプスマップにおける前記右気管支の第１の位置と前記仮想デプスマップにおける前記右気管支の第２の位置との間の角距に基づいて、前記器具の回転を特定することであって、前記解剖学的な管腔ネットワーク内の前記器具の前記遠位端の前記姿勢が前記特定された回転を含む、ことと、
をさらに含むことを特徴とする代替案３または４に記載の方法。
６．前記デプスマップと前記仮想デプスマップのそれぞれにおいて、３つ以上のデプス基準を識別することと、
前記デプスマップと前記仮想デプスマップのそれぞれにおいて、前記デプス基準を接続するポリゴンの形状および位置を特定することと、
前記デプスマップの前記ポリゴンの形状および位置を前記仮想デプスマップの前記ポリゴンの形状および位置と比較することに基づいて前記類似度を計算することと、
をさらに含むことを特徴とする代替案２から５のいずれかに記載の方法。
７．前記デプスマップを生成することは、写真傾斜測定に基づく、ことを特徴とする代替案２から６のいずれかに記載の方法。
８．前記位置を含む複数の入力に基づいて、前記解剖学的な管腔ネットワーク内の前記器具の確率論的な状態を計算することと、
前記確率論的な状態に少なくとも部分的に基づいて、前記解剖学的な管腔ネットワークを通る前記器具のナビゲーションをガイドすることと、
さらに含むことを特徴とする代替案１から７のいずれかに記載の方法。
９．前記確率論的な状態を計算して前記確率論的な状態に基づいて前記解剖学的な管腔ネットワークの前記ナビゲーションをガイドするナビゲーションシステムを初期化することであって、前記ナビゲーションシステムの前記初期化は、前記位置に基づいて確率計算器の事前確率を設定することを含む、ことをさらに含むことを特徴とする代替案８に記載の方法。
１０．前記器具の前記遠位端の更新された姿勢を表す追加データを受信することと、
前記追加データに基づいて、前記確率計算器の尤度関数を設定することと、
前記事前確率および前記尤度関数に基づいて、前記確率計算器を使用して前記確率論的な状態を特定することと、
をさらに含むことを特徴とする代替案９に記載の方法。
１１．前記確率論的な状態を計算するナビゲーションシステムに前記複数の入力を提供することであって、第１の入力は、前記器具の前記遠位端の前記姿勢を含み、少なくとも１つの追加の入力は、前記器具の動きを作動させるロボットシステムからのロボット位置データと前記器具の前記遠位端にある位置センサから受信したデータの一方または両方を含む、ことと、
前記第１の入力と前記少なくとも１つの追加の入力とに基づいて、前記器具の前記確率論的な状態を計算することと、
をさらに含むことを特徴とする代替案８から１０のいずれかに記載の方法。
１２．前記計算された類似度に基づいて特定される前記解剖学的な管腔ネットワーク内の前記器具の前記遠位端の前記姿勢に少なくとも部分的に基づいて、前記仮想管腔ネットワークの座標系と前記解剖学的な管腔ネットワークの周囲に発生された電磁場の座標系との間の位置合わせを特定することをさらに含むことを特徴とする代替案１から１１のいずれかに記載の方法。
１３．前記位置を特定することは、前記器具の前記遠位端が前記解剖学的な管腔ネットワーク内のセグメント内を進行する距離を特定することを含むことを特徴とする代替案１から１２のいずれかに記載の方法。
１４．患者の解剖学的な管腔ネットワークのナビゲーションを支援するシステムであって、前記システムは
器具の遠位端にある撮像装置と、
実行可能な命令が記憶された少なくとも１つのコンピュータ可読メモリと、
前記少なくとも１つのコンピュータ可読メモリと通信する１つまたは複数のプロセッサであって、前記命令を実行して前記システムに少なくとも
前記解剖学的な管腔ネットワーク内に位置する前記器具の前記遠位端にある前記撮像装置によって取得された画像データを受信することと、
前記解剖学的な管腔ネットワークを表す仮想管腔ネットワーク内の仮想位置に位置する仮想撮像装置の視点からシミュレーションされた仮想画像から導出される仮想特徴にアクセスすることと、
前記画像データから導出される特徴と前記仮想画像から導出される前記仮想特徴との間の類似度を計算することと、
前記仮想特徴に関連付けられた前記仮想位置に基づいて、前記解剖学的な管腔ネットワーク内の前記器具の前記遠位端の姿勢を特定することと、
を実行させる１つまたは複数のプロセッサと、
を有することを特徴とするシステム。
１５．前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも
前記画像データに基づいてデプスマップを生成することであって、前記仮想画像は仮想デプスマップを表す、ことと、
前記デプスマップの１つまたは複数の特徴と前記仮想デプスマップの１つまたは複数の特徴とを関連付けることに少なくとも部分的に基づいて、前記類似度を特定することと、
を実行させることを特徴とする代替案１４に記載のシステム。
１６．前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも
前記画像データの複数の画素の各画素に対して、前記撮像装置と前記画素に対応する前記解剖学的な管腔ネットワーク内の組織表面との間の推定距離を表すデプス値を計算することによって、前記デプスマップを生成することと、
前記デプスマップ内の第１のデプス基準に対応する前記複数の画素のうちの第１の画素と、前記デプスマップ内の第２のデプス基準に対応する前記複数の画素のうちの第２の画素とを識別することと、
前記第１の画素と前記第２の画素との間の距離を表す第１の値を計算することであって、前記仮想デプスマップは、複数の仮想画素の仮想画素ごとに、前記仮想撮像装置と前記仮想画素によって表される前記仮想管腔ネットワークの部分との間の仮想距離を表す仮想デプス値を有し、前記仮想画像から導出される前記特徴は、前記仮想デプスマップ内の第１のデプス基準と第２のデプス基準との間の距離を表す第２の値を含む、ことと、
前記第１の値を前記第２の値と比較することに基づいて前記類似度を特定することと、
を実行させることを特徴とする代替案１５に記載のシステム。
１７．前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも
それぞれが前記仮想管腔ネットワーク内の複数の仮想位置の異なる位置を表す複数の仮想デプスマップにおける、第１のデプス基準と第２のデプス基準との間の距離を表す複数の値にアクセスすることと、
前記複数の値のうちの他の値よりも前記第１の値により密接に対応する前記第２の値に基づいて前記類似度を計算して、前記第２の値を前記複数の値のうち前記第１の値に最も一致するものとして識別することと、
を実行させることを特徴とする代替案１６に記載のシステム。
１８．前記解剖学的な管腔ネットワークは気道を有し、前記画像データは前記気道の分岐を表し、前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも
前記第１のデプス基準と前記第２のデプス基準の一方を、前記デプスマップと前記仮想デプスマップのそれぞれにおける右気管支として識別することと、
前記デプスマップにおける前記右気管支の第１の位置と前記仮想デプスマップにおける前記右気管支の第２の位置との間の角距に基づいて、前記器具の回転を特定することであって、前記解剖学的な管腔ネットワーク内の前記器具の前記遠位端の前記姿勢が前記特定された回転を含む、ことと、
を実行させることを特徴とする代替案１６または１７に記載のシステム。
１９．前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも
前記デプスマップと前記仮想デプスマップのそれぞれにおいて、３つ以上のデプス基準を識別することと、
前記デプスマップと前記仮想デプスマップのそれぞれにおいて、前記デプス基準を接続するポリゴンの形状および位置を特定することと、
前記デプスマップの前記ポリゴンの形状および位置を前記仮想デプスマップの前記ポリゴンの形状および位置と比較することに基づいて前記類似度を計算することと、
を実行させることを特徴とする代替案１５から１８のいずれかに記載のシステム。
２０．前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも写真傾斜技術に基づいて前記デプスマップを生成することを実行させることを特徴とする代替案１５から１９に記載のシステム。
２１．前記１つまたは複数のプロセッサはナビゲーションシステムと通信し、前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも
前記位置を含む複数の入力に少なくとも部分的に基づいて、前記ナビゲーションシステムを使用して前記解剖学的な管腔ネットワーク内の前記器具の確率論的な状態を計算することと、
前記ナビゲーションシステムによって計算された前記確率論的な状態に少なくとも部分的に基づいて、前記解剖学的な管腔ネットワークを通る前記器具のナビゲーションをガイドすることと、
を実行させることを特徴とする代替案１４から２０のいずれかに記載のシステム。
２２．前記ナビゲーション時に前記器具の動きをガイドするロボットシステムをさらに有することを特徴とする代替案２１に記載のシステム。
２３．前記複数の入力は、前記ロボットシステムから受信したロボット位置データを含み、
前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも、前記位置と前記ロボット位置データとに少なくとも部分的に基づいて、前記ナビゲーションシステムを使用して前記器具の前記確率論的な状態を計算すること、を実行させる
ことを特徴とする代替案２２に記載のシステム。
２４．器具の前記遠位端に位置センサをさらに有し、
前記複数の入力は、前記位置センサから受信したデータを含み、
前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも、前記位置と前記位置センサから受信したデータとに少なくとも部分的に基づいて、前記ナビゲーションシステムを使用して前記器具の前記確率論的な状態を計算すること、を実行させる
ことを特徴とする代替案２１から２３のいずれかに記載のシステム。
２５．前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも、前記位置に少なくとも部分的に基づいて、前記仮想管腔ネットワークの座標系と前記解剖学的な管腔ネットワークの周囲に発生された電磁場の座標系との間の位置合わせを特定すること、を実行させることを特徴とする代替案１４から２４のいずれかに記載のシステム。
２６．命令が記憶された非一時的なコンピュータ可読記憶媒体であって、前記命令が実行されると、少なくとも１つの計算装置に
患者の解剖学的な管腔ネットワークの内部表面の仮想３次元モデルにアクセスすることと、
前記仮想３次元モデル内の複数の仮想位置を識別することと、
前記仮想３次元モデル内の前記複数の仮想位置の各仮想位置に対して
前記仮想位置に位置する仮想撮像装置と、前記仮想位置に位置するときの前記仮想撮像装置の視野内にある前記内部表面の位置と、の間の仮想距離を表す仮想デプスマップを生成することと、
前記仮想デプスマップから少なくとも１つの仮想特徴を導出することと、
前記複数の仮想位置を前記対応する仮想デプスマップから導出された前記少なくとも１つの仮想特徴に関連付けるデータベースを生成することと、
を実行させることを特徴とする非一時的なコンピュータ可読記憶媒体。
２７．前記命令が実行されると、少なくとも１つの計算装置に少なくとも、医療手技時に前記解剖学的な管腔ネットワークを通って器具のナビゲーションをガイドするナビゲーションシステムに前記データベースを提供すること、を実行させることを特徴とする代替案２６に記載の非一時的なコンピュータ可読記憶媒体。
２８．前記命令が実行されると、少なくとも１つの計算装置に少なくとも
前記器具の遠位端に位置する撮像装置を表すデータにアクセスすることと、
前記撮像装置の画像取得パラメータを識別することと、
前記撮像装置の前記画像取得パラメータに対応するように前記仮想撮像装置の仮想画像取得パラメータを設定することと、
を実行させることを特徴とする代替案２７に記載の非一時的なコンピュータ可読記憶媒体。
２９．前記命令が実行されると、少なくとも１つの計算装置に少なくとも、前記仮想画像取得パラメータに基づいて前記仮想デプスマップを生成すること、を実行させることを特徴とする代替案２８に記載の非一時的なコンピュータ可読記憶媒体。
３０．前記画像取得パラメータは、視野、レンズ歪み、焦点距離、輝度シェーディングのうち１つまたは複数を含むことを特徴とする代替案２８または２９に記載の非一時的なコンピュータ可読記憶媒体。
３１．前記命令が実行されると、少なくとも１つの計算装置に少なくとも
前記複数の仮想位置の各仮想位置に対して
前記仮想デプスマップにおいて、第１のデプス基準および第２のデプス基準を識別することと、
前記第１のデプス基準と前記第２のデプス基準との間の距離を表す値を計算することと、
を実行させ、
前記複数の仮想位置と前記対応する値とを関連付けることによって、前記データベースを作成することと、
を実行させることを特徴とする代替案２６から３０のいずれかに記載の非一時的なコンピュータ可読記憶媒体。
３２．前記命令が実行されると、少なくとも１つの計算装置に少なくとも
前記複数の仮想位置の各仮想位置に対して
前記仮想デプスマップにおいて、３つ以上のデプス基準を識別することと、
前記３つ以上のデプス基準を接続するポリゴンの形状および位置を特定することと、
前記複数の仮想位置と前記対応するポリゴンの形状および位置とを関連付けることによって、前記データベースを作成すること、
を実行させることを特徴とする代替案２６から３１のいずれかに記載の非一時的なコンピュータ可読記憶媒体。
３３．前記命令が実行されると、少なくとも１つの計算装置に少なくとも
前記患者の前記解剖学的な管腔ネットワークを表す一連の２次元画像から３次元ボリュームデータを生成することと、
前記３次元ボリュームデータから前記解剖学的な管腔ネットワークの内部表面の前記仮想３次元モデルを形成することと、
を実行させることを特徴とする代替案２６から３２のいずれかに記載の非一時的なコンピュータ可読記憶媒体。
３４．前記命令が実行されると、少なくとも１つの計算装置に少なくとも、コンピュータ断層撮影システムを制御して前記一連の２次元画像を取得すること、を実行させることを特徴とする代替案３３に記載の非一時的なコンピュータ可読記憶媒体。
３５．前記命令が実行されると、少なくとも１つの計算装置に少なくとも、前記３次元ボリュームデータにボリュームセグメンテーションを適用することによって前記仮想３次元モデルを形成すること、を実行させることを特徴とする代替案３３または３４に記載の非一時的なコンピュータ可読記憶媒体。
３６．患者の解剖学的な管腔ネットワークのナビゲーションを支援する方法であって、前記方法は1つのセットの１つまたは複数の計算装置によって実行され、前記方法は
前記解剖学的な管腔ネットワークの内部を表す立体画像セットを受信することと、
前記立体画像セットに基づいて、デプスマップを生成することと、
仮想管腔ネットワーク内の位置に位置する仮想撮像装置の視点からシミュレーションされた仮想画像から導出される仮想特徴にアクセスすることと、
前記デプスマップから導出される特徴と前記仮想画像から導出される前記仮想特徴との間の類似度を計算することと、
前記仮想特徴に関連付けられた前記仮想位置に基づいて、前記解剖学的な管腔ネットワーク内の前記器具の前記遠位端の姿勢を特定することと、
を含む方法。
３７．前記立体画像セットを生成することは、
器具の遠位端の撮像装置を、前記解剖学的な管腔ネットワーク内の第１の位置に位置決めすることと、
前記第１の位置に位置する前記撮像装置によって、前記解剖学的な管腔ネットワークの内部の第１の画像を取得することと、
前記撮像装置をロボット制御して、前記撮像装置を既知の距離だけ移動させて前記解剖学的な管腔ネットワーク内の第２の位置に移動させることと、
前記第２の位置に位置する前記撮像装置によって、前記解剖学的な管腔ネットワークの内部の第２の画像を取得することと、
を含むことを特徴とする代替案３６に記載の方法。
３８．前記撮像装置をロボット制御して前記既知の距離だけ移動させることは、前記撮像装置を収縮させることと前記撮像装置を角度回転させることの一方または両方を含むことと特徴とする代替案３７に記載の方法。

（６.システムの実装および用語）
本明細書に開示される実施形態は、管腔ネットワークの改善されたナビゲーションのためのシステム、方法、および装置を提供する。

本明細書で使用される用語「結合する」、「結合する」、「結合される」、または単語対の他の変更は間接接続または直接接続のいずれかを示すことができ、例えば、第１の構成要素が第２の構成要素に「結合される」場合、第１の構成要素は、別の構成要素を介して第２の構成要素に間接的に接続されるか、または第２の構成要素に直接接続されることができることに留意されたい。

本明細書で説明する特徴類似度計算、位置推定、およびロボット動作作動機能は、プロセッサ可読媒体またはコンピュータ可読媒体上に１つまたは複数の命令として格納することができる。用語「コンピュータ可読媒体」は、コンピュータまたはプロセッサによってアクセスされ得る任意の利用可能な媒体を指す。限定ではなく例として、そのような媒体は、ＲＡＭ(ランダムアクセスメモリ）、ＲＯＭ(リードオンリメモリ）、ＥＥＰＲＯＭ(電気的消去可能プログラマブルリードオンリメモリ）、フラッシュメモリ、ＣＤ－ＲＯＭ（コンパクトディスクリードオンリ）または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の様式で所望のプログラムコードを格納するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。コンピュータ可読媒体は、有形かつ非一時的であり得ることに留意されたい。本明細書で使用されるように、用語「コード」は、計算装置またはプロセッサによって実行可能なソフトウェア、命令、コード、またはデータを指すことができる。

本明細書で開示される方法は、説明される方法を達成するための１つまたは複数のステップまたはアクションを備える。方法のステップおよび／またはアクションは、代替形態の範囲から逸脱することなく、互いに交換することができる。言い換えれば、ステップまたはアクションの特定の命令が説明されている方法の適切な動作のために必要とされない限り、特定のステップおよび／またはアクションの命令および／または使用は、代替の範囲から逸脱することなく修正され得る。

本明細書で使用される場合、用語「複数」は２つ以上を意味する。例えば、複数の構成要素は２つ以上の構成要素を示す。用語「特定すること」が多種多様なアクションを包含し、したがって、「特定すること」は計算すること、計算すること、処理すること、導出すること、調査すること、参照すること（例えば、表、データベース、または別のデータ構造を参照すること）、確認することなどを含むことができ、「特定すること」は受信すること（例えば、情報を受信すること）、アクセスすること（例えば、メモリ内のデータにアクセスすること）などを含むことができる。また、「特定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含むことができる。

「に基づく」という語句は特に断らない限り、「のみに基づく」という意味ではない。言い換えれば、「に基づく」という語句は、「のみに基づく」および「少なくともに基づく」の両方を表す。

開示された実施形態の上記の説明は、当業者が本開示を実現または使用することを可能にするために提供される。これらの実装に対する様々な修正は当業者には容易に明らかであり、本明細書で定義される一般的な原理は、本開示の範囲から逸脱することなく、他の実装に適用することができる。例えば、当業者は、工具構成要素を固定、取り付け、連結、または係合する等価な方法、特定の作動運動を生成するための等価な機構、および電気エネルギーを送達するための等価な機構などの、いくつかの対応する代替的および等価な構造的詳細を採用することができることが理解されるのであろう。したがって、本開示は、本明細書に示される実装に限定されることを意図するものではなく、本明細書に開示される原理および新規な特徴と一致する最も広い範囲を与えられるべきである。

Claims (15)

1. 患者の解剖学的な管腔ネットワークを通る器具のナビゲーションを支援するシステムであって、前記システムは、
   前記器具の遠位端にある撮像装置と、
   実行可能な命令が記憶された少なくとも１つのコンピュータ可読メモリと、
   前記少なくとも１つのコンピュータ可読メモリと通信する１つまたは複数のプロセッサであって、前記命令を実行して前記システムに少なくとも
   前記解剖学的な管腔ネットワーク内に位置する前記器具の前記遠位端にある前記撮像装置によって取得された画像データを受信することと、
   仮想画像毎に関連付けられている仮想デプスマップのそれぞれから導出される、複数の仮想特徴にアクセスすることであって、前記仮想画像は前記解剖学的な管腔ネットワークを表す仮想管腔ネットワーク内の仮想位置毎に配置された仮想撮像装置の視点からシミュレーションされており、前記仮想デプスマップは前記仮想画像内の仮想画素ごとの前記仮想撮像装置と前記仮想管腔ネットワークの部分との間の仮想距離である仮想デプス値を示すマップであり、前記仮想特徴は、前記仮想デプスマップ内の２つのデプス基準間の距離である、アクセスすることと、
   前記画像データに基づいて、前記画像データ内の画素ごとの前記撮像装置と前記管腔ネットワーク内の組織表面との間の推定距離であるデプス値を示すマップである、デプスマップを生成することと、
   前記デプスマップから特徴を導出することであって、前記特徴は前記デプスマップ内の２つのデプス基準間の距離である、導出することと、
   前記特徴に対応する前記仮想特徴を識別することと、
   前記特徴に対応する前記仮想特徴に基づき前記仮想特徴と関連付けられた前記仮想位置に基づいて、前記解剖学的な管腔ネットワーク内の前記器具の前記遠位端の姿勢を特定することと、
   を実行させる１つまたは複数のプロセッサと、
   を有することを特徴とするシステム。
2. 前記特徴は、
   第１のデプス基準に対応する、前記デプスマップ内の複数の画素のうちの第１の局所最大値に対応する第１の画素と、
   第２のデプス基準に対応する、前記デプスマップ内の複数の画素のうちの第２の局所最大値に対応する第２の画素との間の距離であり、
   前記仮想特徴は、
   前記仮想デプスマップ内の前記第１のデプス基準に対応する、複数の画素のうちの第１の局所最大値に対応する第１の画素と、
   前記仮想デプスマップ内の前記第２のデプス基準に対応する、複数の画素のうちの第２の局所最大値に対応する第２の画素との間の距離である、請求項１に記載のシステム。
3. 前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも、
   前記特徴と、前記複数の仮想特徴と、を比較することに基づき、前記デプスマップから導出される前記特徴に対応する、前記仮想デプスマップから導出される前記仮想特徴を識別することと、
   を実行させることを特徴とする請求項２に記載のシステム。
4. 前記解剖学的な管腔ネットワークは気道を有し、前記画像データは前記気道の分岐を表し、前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも
   前記第１のデプス基準と前記第２のデプス基準の一方を、前記デプスマップと前記仮想デプスマップのそれぞれにおける右気管支として識別することと、
   前記デプスマップにおける前記右気管支の位置と前記仮想デプスマップにおける前記右気管支の仮想位置との間の角度変換に基づいて、前記器具の回転を特定することであって、前記解剖学的な管腔ネットワーク内の前記器具の前記遠位端の前記姿勢が特定された前記回転を含む、ことと、
   を実行させることを特徴とする請求項２に記載のシステム。
5. 前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも
   前記デプスマップと前記仮想デプスマップのそれぞれにおいて、３つ以上のデプス基準を識別することと、
   前記デプスマップと前記仮想デプスマップのそれぞれにおいて、前記３つ以上のデプス基準を接続するポリゴンの形状および位置を特定することと、
   前記デプスマップの前記ポリゴンの形状および位置を前記仮想デプスマップの前記ポリゴンの形状および位置と比較することに基づいて類似度を計算することと、
   を実行させることを特徴とする請求項１に記載のシステム。
6. 前記１つまたは複数のプロセッサはナビゲーションシステムと通信し、前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも
   前記解剖学的な管腔ネットワーク内の前記器具の前記遠位端の前記姿勢を含む複数の入力に少なくとも部分的に基づいて、前記ナビゲーションシステムを使用して前記解剖学的な管腔ネットワーク内の前記器具の確率論的な状態を計算することと、
   前記ナビゲーションシステムによって計算された前記確率論的な状態に少なくとも部分的に基づいて、前記解剖学的な管腔ネットワークを通る前記器具のナビゲーションをガイドすることと、
   を実行させることを特徴とする請求項１に記載のシステム。
7. 前記ナビゲーション時に前記器具の動きをガイドするロボットシステムをさらに有し、
   前記複数の入力は、前記ロボットシステムから受信したロボット位置データを含み、
   前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも、前記解剖学的な管腔ネットワーク内の前記器具の前記遠位端の前記姿勢と前記ロボット位置データとに少なくとも部分的に基づいて、前記ナビゲーションシステムを使用して前記器具の前記確率論的な状態を計算すること、を実行させる
   ことを特徴とする請求項６に記載のシステム。
8. 器具の前記遠位端に位置センサをさらに有し、
   前記複数の入力は、前記位置センサから受信したデータを含み、
   前記１つまたは複数のプロセッサは前記命令を実行して前記システムに少なくとも、前記解剖学的な管腔ネットワーク内の前記器具の前記遠位端の前記姿勢と前記位置センサから受信した前記データとに少なくとも部分的に基づいて、前記ナビゲーションシステムを使用して前記器具の前記確率論的な状態を計算すること、を実行させる
   ことを特徴とする請求項６に記載のシステム。
9. 命令が記憶された非一時的なコンピュータ可読記憶媒体であって、前記命令が実行されると、少なくとも１つの計算装置に少なくとも
   患者の解剖学的な管腔ネットワークの内部表面の仮想３次元モデルにアクセスすることと、
   前記仮想３次元モデル内の複数の仮想位置を識別することと、
   前記仮想３次元モデル内の前記複数の仮想位置の各仮想位置に対して
   前記仮想位置に位置する仮想撮像装置と、前記仮想位置に位置するときの前記仮想撮像装置の視野内にある前記内部表面の部分と、の間の仮想距離を表す仮想デプスマップを生成することと、
   前記仮想デプスマップから少なくとも１つの仮想特徴を導出することであって、前記仮想特徴は、前記仮想デプスマップ内の２つのデプス基準間の距離を識別する、ことと、
   前記複数の仮想位置を対応する前記仮想デプスマップから導出された前記少なくとも１つの仮想特徴に関連付けるデータベースを生成することと、
   を実行させることを特徴とする非一時的なコンピュータ可読記憶媒体。
10. 前記命令が実行されると、前記少なくとも１つの計算装置に少なくとも、医療手技時に前記解剖学的な管腔ネットワークを通る器具のナビゲーションをガイドするナビゲーションシステムに前記データベースを提供すること、を実行させることを特徴とする請求項９に記載の非一時的なコンピュータ可読記憶媒体。
11. 前記命令が実行されると、前記少なくとも１つの計算装置に少なくとも
    前記器具の遠位端に位置する撮像装置を表すデータにアクセスすることと、
    前記撮像装置の画像取得パラメータを識別することと、
    前記撮像装置の前記画像取得パラメータに対応するように前記仮想撮像装置の仮想画像取得パラメータを設定することと、
    を実行させることを特徴とする請求項１０に記載の非一時的なコンピュータ可読記憶媒体。
12. 前記命令が実行されると、前記少なくとも１つの計算装置に少なくとも、前記仮想画像取得パラメータに基づいて前記仮想デプスマップを生成すること、を実行させることを特徴とする請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
13. 前記画像取得パラメータは、視野、レンズ歪み、焦点距離、輝度シェーディングのうち１つまたは複数を含むことを特徴とする請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
14. 前記命令が実行されると、前記少なくとも１つの計算装置に少なくとも
    前記複数の仮想位置の各仮想位置に対して
    前記仮想デプスマップにおいて、第１のデプス基準および第２のデプス基準を識別することと、
    前記第１のデプス基準と前記第２のデプス基準との間の距離を表す値として前記仮想特徴を計算することと、
    前記複数の仮想位置と対応する前記値とを関連付けることによって、前記データベースを作成することと、
    を実行させることを特徴とする請求項９に記載の非一時的なコンピュータ可読記憶媒体。
15. 前記命令が実行されると、前記少なくとも１つの計算装置に少なくとも
    前記複数の仮想位置の各仮想位置に対して
    前記仮想デプスマップにおいて、３つ以上のデプス基準を識別することと、
    前記３つ以上のデプス基準を接続するポリゴンの形状および位置を特定することと、
    を実行させ、
    前記複数の仮想位置と対応する前記ポリゴンの前記形状および前記位置とを関連付けることによって、前記データベースを作成すること、
    を実行させることを特徴とする請求項９に記載の非一時的なコンピュータ可読記憶媒体。

Images