JP2021531910A - ロボット操作手術器具の位置を追跡システムおよび方法 - Google Patents

Abstract

例示的な手術器具トラッキングシステムは、外科領域の内視鏡像に基づいて、訓練されたニューラルネットワークを使用して、内視鏡像に描かれる関心物体についての観察を決定し、確率論的フレームワークおよび外科領域に位置するロボット操作手術器具の運動学に基づいて、関心物体についての観察をロボット操作手術器具に関連付け、ロボット操作手術器具の運動学およびロボット操作手術器具と関連付けられる観察に基づいて、外科領域におけるロボット操作手術器具の物理的位置を決定する、少なくとも１つの物理的なコンピューティングデバイスを含む。

Description

（関連出願の参照）
本出願は、２０１８年７月３１日に出願された「Systems and Methods for Tacking a Position of a Robotically-Manipulated Surgical Instrument」という名称の米国仮特許出願第６２／７１２，３６８号に対する優先権を主張し、その全文を参照として本明細書に援用する。

ロボット手術システムは、外科医がロボット操作手術器具(ロボット操作される手術器具)を制御して、患者に対して外科処置を行うことを可能にする。例えば、最小侵襲手術について、ロボット操作手術器具は、１つ以上のカニューレを通じて患者に挿入される。手術器具は、典型的には、外科領域の画像を取り込む内視鏡と、外科処置を行うためにロボット手術システムによってロボット操作される１つ以上の手術ツールとを含む。外科医は、外科領域の内視鏡画像を視認し、ロボット手術システムのマスタ制御装置を使用して、外科処置を行うためにロボット操作手術器具の動きを制御する。

外科領域内のロボット操作手術器具の位置トラッキング(追跡)は、ロボット手術システムの重要なコンポーネント(構成要素)である。しかしながら、ロボット手術システムによる手術器具位置のそのようなトラッキングは、特に特定のレベルの精度、正確性、効率、および／または信頼性が望まれるときに、技術的に困難である。

添付の図面は、様々な実施形態を図示しており、本明細書の一部である。図示の実施形態は、単なる例であり、本開示の範囲を限定しない。図面を通じて、同一または類似の参照番号は、同一または類似の要素を指し示している。

本明細書に記載する原理に従った例示的なロボット手術システムを図示している。

本明細書に記載する原理に従った図１のロボット手術システム内に含まれる例示的な患者側システムを図示している。

本明細書に記載する原理に従った図２の患者側システム内に含まれる例示的なロボットアームを図示している。

本明細書に記載する原理に従った図１のロボット手術システム内に含まれる例示的な外科医コンソールを図示している。

本明細書に記載する原理に従った患者と関連付けられる例示的な外科領域に配置された例示的な立体視内視鏡を図示している。

本明細書に記載する原理に従った例示的な手術器具トラッキングシステムを図示している。

本明細書に記載する原理に従った外科領域内の手術器具の眺望を図示している。

本明細書に記載する原理に従った外科領域の例示的な内視鏡画像を図示している。

本明細書に記載する原理に従った例示的な確率論的フレームワークを図示している。 本明細書に記載する原理に従った例示的な確率論的フレームワークを図示している。

本明細書に記載する原理に従った手術器具トラッキングシステムの例示的な実装を図示している。 本明細書に記載する原理に従った手術器具トラッキングシステムの例示的な実装を図示している。 本明細書に記載する原理に従った手術器具トラッキングシステムの例示的な実装を図示している。 本明細書に記載する原理に従った手術器具トラッキングシステムの例示的な実装を図示している。

本明細書に記載する原理に従った位置インジケータがその上にオーバーレイされた外科領域の内視鏡画像を図示している。

本明細書に記載する原理に従った手術器具をトラッキングする例示的な方法を図示している。 本明細書に記載する原理に従った手術器具をトラッキングする例示的な方法を図示している。

本明細書に記載する原理に従った例示的なコンピューティングシステムを図示している。

ロボット操作手術器具(ロボット操作される手術器具)の位置をトラッキング(追跡)するシステムおよび方法を本明細書に記載する。以下により詳細に記載するように、特定の実施形態では、例示的な手術器具トラッキングシステム(追跡システム)が、外科領域の内視鏡像(endoscopic imagery)に基づいて、訓練されたニューラルネットワークを使用して、内視鏡像に描かれる関心物体(関心対象)(object of interest)についての観察を決定し、外科領域に配置されるロボット操作手術器具の確率論的フレームワークおよび運動学に基づいて、関心物体についての観察をロボット操作手術器具に関連付けし、ロボット操作手術器具の運動学およびロボット操作手術器具と関連付けられる観察に基づいて、外科領域におけるロボット操作手術器具の物理的位置を決定する、ように構成されてよい。

また、本明細書に更に詳細に記載するように、特定の実装では、例示的な手術器具トラッキングシステムが、外科領域の内視鏡画像に基づいて、訓練されたニューラルネットワークを使用して、内視鏡像に描かれる関心物体についての観察を決定し、外科領域に配置されたロボット操作手術器具の運動学に基づいて、関心物体についての観察をロボット操作手術器具または偽陽性指定(false positive designation)に関連付ける、ように構成されてもよい。関心物体についての観察がロボット操作手術器具と関連付けられるとき、手術器具トラッキングシステムは、ロボット操作手術器具の運動学およびロボット操作手術器具と関連付けられる観察に基づいて、外科領域におけるロボット操作手術器具の物理的位置を決定することがある。関心物体についての観察が偽陽性指定と関連付けられるとき、手術器具トラッキングシステムは、観察を用いて外科領域におけるロボット操作手術器具の物理的位置を決定することを控えることがある。

本明細書で使用するとき、器具の位置は、エンドエフェクタ（例えば、ジョー、剪断機など）、遠位ツール先端、リスト、シャフト、および／または器具の別の構造コンポーネントのような、器具の所望の部分の三次元（「３Ｄ」）場所および／または向きを指し得る。例えば、器具の位置は、３Ｄ座標系によって定義される３Ｄ空間のような、３Ｄ空間内の器具のコンポーネントの３Ｄ場所および／または向きを指し得る。

本明細書に記載するようなロボット操作手術器具の物理的位置を決定することによって、例示的な手術器具トラッキングシステムおよび方法は、ロボット手術システムの１つ以上の特徴(features)、利益(benefits)、および／または利点(advantages)を促進するレベルでの精度、正確性、効率、および／または信頼性を伴って、手術器具位置をトラッキング(追跡)することがある。特定の実装において、そのような精度(precision)、正確性(accuracy)、効率(efficiency)、および／または信頼性(reliability)は、手術器具の「マーカレス(marker-less)」トラッキングと称することがある、手術器具上の専用コンピュータ観察マーカ（例えば、手術器具上に統合される或いは手術器具に他の方法で取り付けられるバーコード、色、パターンなど）を使用することなく、例示的な手術器具トラッキングシステムによって提供されることがある。特定の実装において、そのような精度、正確性、効率、および／または信頼性は、有限の計算資源を使用して、リアルタイムまたは略リアルタイムに、例示的な手術器具トラッキングシステムによって提供されることがある。

次に、図面を参照して、様々な実施形態をより詳細に記載する。本明細書に記載するシステムおよび方法は、上述の利益および／または本明細書で明らかにされる様々な追加のおよび／または代替の利益のうちの１つ以上を提供することがある。

本明細書に記載する手術器具トラッキングシステムおよび方法は、ロボット手術システムの一部としてまたはロボット手術システムと共に作動することがある。よって、本明細書に記載する手術器具トラッキングシステムおよび方法の理解を促進するために、例示的なロボット手術システムをここで記載する。記載する例示的なロボット手術システムは、例示的であり、限定的でない。本明細書に記載する手術器具トラッキングシステムおよび方法は、他の適切なロボット手術システムの一部としてまたは他の適切なロボット手術システムと共に作動することがある。

図１は、例示的なロボット手術システム１００を図示している。図示のように、ロボット手術システム１００は、（患者側カートと称することがある）患者側システム１０２と、外科医コンソール１０４と、互いに通信的に連結されたビジョンカート１０６(vision cart)とを含むことがある。ロボット手術システム１００は、患者１０８に対してロボット的に可能にされる外科処置を行うよう、外科チームによって利用されてよい。図示のように、外科チームは、外科医１１０−１と、助手１１０−２と、看護師１１０−３と、麻酔科医１１０−４とを含むことがあり、それらの全員を集合的に「外科チーム構成員１０」と称することがある。特定の実装に役立つことがあるような追加のまたは代替の外科チーム構成員が外科セッション中に存在してよい。図１は、進行中の最小侵襲的外科処置を図示しているが、ロボット手術システム１００は、ロボット手術システム１００から同様に利益を得ることがある観血外科処置または他のタイプの外科処置を行うために同様に使用されてよいことが理解されるであろう。加えて、ロボット手術システム１００が利用されることがある外科セッションは、図１に図示するような外科処置の手術段階を含むことがあるのみならず、外科処置の術前、術後、および／または他の適切な段階を含むこともあることが理解されるであろう。

図示のように、患者側システム１０２は、複数のロボットアーム１１２（例えば、ロボットアーム１１２−１〜１１２−４）を含んでよく、複数のロボット操作手術器具１１４（例えば、手術器具１１４−１〜１１４−４）が、複数のロボットアームに連結されてよい。各手術器具１１４は、（例えば、少なくとも部分的に患者１０８に挿入され、患者１０８に対するロボット的に可能にされた外科処置を行うよう操作されることによる）患者１０８に対するロボット的に可能にされた外科処置のために使用されることがある、任意の適切な手術ツール、医療ツール、モニタリング器具（例えば、内視鏡）、診断器具、または同等物を含んでよい。患者側システム１０２は、例示的な目的のために複数のロボットアーム１１２を備えるカートとして本明細書に描写され且つ説明されるが、様々な他の実施形態において、患者側システム１０２は、１つ以上のカートを含むことができ、各カートは、１つ以上のロボットアーム１１２を備え、１つ以上のロボットアームは、手術台または天井、および／または任意の他の（複数の）支持構造のような、手術室内の別個の構造に取り付けられることに留意のこと。患者側システム１０２を以下により詳細に記載する。

手術器具１１４は、それぞれ、患者と関連付けられる外科領域に配置されてよい。本明細書で使用するとき、患者と関連付けられる「外科領域(surgical area」は、特定の例において、患者内に完全に位置することがあり、外科処置がその付近で行われるように計画されている、行われている、あるいは行われた、患者内の領域を含むことがある。例えば、患者の内部にある組織に対して行われる最小侵襲的外科処置について、外科領域は、例えば、外科処置を行うために使用される手術器具が配置される、組織ならびに組織の周囲の空間を含むことがある。他の例において、外科領域は、少なくとも部分的に患者の外部に位置することがある。例えば、ロボット手術システム１００は、外科領域の一部（例えば、手術される組織）が患者の内部にある一方で、外科領域の別の部分（例えば、１つ以上の手術器具が配置されることがある組織の周囲の空間）が患者の外部にあるように、観血外科処置を行うために使用されることがある。手術器具の少なくとも一部分（例えば、手術器具の遠位端）が外科領域内に配置されるときに、手術器具（例えば、手術器具１１４のいずれか）が外科領域に配置されている（あるいは外科領域「内に配置されている」）と称することがある。

外科医コンソール１０４は、ロボットアーム１１２および手術器具１１４の外科医１１０−１による制御を容易にするように構成されてよい。例えば、外科医コンソール１０４は、内視鏡によって取り込まれるような患者１０８と関連付けられた外科領域の像（例えば、高解像度３Ｄ像）を外科医１１０−１に提供することがある。外科医１１０−１は、像を利用して、手術器具１１４を用いて１つ以上の処置を行うことがある。

手術器具１１４の制御を容易にするために、外科医コンソール１０４は、（接写図１１８で示す）マスタ制御装置１１６のセットを含むことがある。マスタ制御装置１１６は、手術器具１１４の動きを制御するために外科医１１０−１によって操作されてよい。マスタ制御装置１１６は、外科医１１０−１による多種多様の手、手首、および指の動きを検出するように構成されてよい。このようにして、外科医１１０−１は、手術器具１１４のうちの１つ以上を用いて処置を直感的に行うことがある。例えば、接写図１２０に示すように、ロボットアーム１１２−１および１１２−４にそれぞれ連結された手術器具１１４−１および１１４−４の機能的先端は、１つ以上の外科処置（例えば、切開処置、縫合処置など）を行うために、複数の動きの自由度に亘る外科医１１０−１の手、手首、および指の器用さを模倣することがある。外科医コンソール１０４は、例示的な目的のために単一のユニットとして本明細書に描写され且つ記載されるが、様々な他の実施形態において、外科医コンソール１０４は、有線または無線マスタ制御装置１１６、別個の（複数の）ディスプレイ要素（例えば、プロジェクタまたはヘッドマウントディスプレイ）、別個のデータ／通信処理ハードウェア／ソフトウェア、および／または外科医コンソール１０４の任意の他の構造的または機能的要素のような、様々な別個のコンポーネントを含むことができる。外科医コンソール１０４を以下により詳細に記載する。

ビジョンカート１０６は、外科医コンソール１０４にいる外科医１１０−１に提供される画像に対するアクセスを有さないことがある外科チーム構成員１１０に視覚コンテンツを提示するように構成されることがある。この目的を達成するために、ビジョンカート１０６は、外科領域の画像（例えば、２Ｄ画像）、患者１０８および／または外科処置と関連付けられる情報、および／または特定の実装に役立つことがあるような任意の他の視覚コンテンツのような、１つ以上のユーザインタフェースを表示するように構成される、ディスプレイモニタ１２２を含んでよい。例えば、ディスプレイモニタ１２２は、画像の上にオーバーレイされる、あるいはさもなければ画像と同時に表示される、追加のコンテンツ（例えば、グラフィカルコンテンツ、コンテキスト情報など）と共に、外科領域の画像を表示してよい。幾つかの実施形態において、ディスプレイモニタ１２２は、外科チーム構成員１１０が（例えば、接触ジェスチャによって）対話(相互作用)してロボット手術システム１００にユーザ入力を提供することがある、タッチスクリーンディスプレイによって実装される。

患者側システム１０２、外科医コンソール１０４、およびビジョンカート１０６は、任意の適切な方法で互いに通信的に連結されてよい。例えば、図１に示すように、患者側システム１０２、外科医コンソール１０４、およびビジョンカート１０６は、制御ライン１２４を介して通信的に連結されてよく、制御ライン１２４は、特定の実装に役立つことがある任意の有線または無線通信リンクを表すことがある。この目的を達成するために、患者側システム１０２、外科医コンソール１０４、およびビジョンカート１０６は、それぞれ、１つ以上のローカルエリアネットワークインタフェース、Ｗｉ−Ｆｉネットワークインタフェース、セルラインタフェースなどのような、１つ以上の有線または無線通信インタフェースを含んでよい。

患者側システム１０２、外科医コンソール１０４、およびビジョンカート１０６は、それぞれ、ロボット手術システム１００の動作を制御、指示、および／または促進するように構成された、少なくとも１つのコンピューティングデバイスを含んでよい。例えば、外科医コンソール１０４は、マスタ制御装置１１６の外科医１１０−１による操作に従ってロボットアーム１１２および／または手術器具１１４の動きを制御するために、制御ライン１２４のうちの１つ以上によって命令を患者側システム１０２に送信するように構成された、コンピューティングデバイスを含んでよい。幾つかの例において、ビジョンカート１０６は、ロボット手術システム１００の一次処理動作を行うように構成された１つ以上のコンピューティングデバイスを含んでよい。そのような構成において、ビジョンカート１０６に含まれる１つ以上のコンピューティングデバイスは、ロボット手術システム１００の様々な他のコンポーネント（例えば、患者側システム１０２および／または外科医コンソール１０４）によって実行される動作を制御および／または調整することがある。例えば、外科医コンソール１０４に含まれるコンピューティングデバイスは、ビジョンカート１０６に含まれる１つ以上のコンピューティングデバイスを介して患者側システム１０２に命令を送信してよい。

図２は、患者側システム１０２の斜視図を図示している。図示のように、患者側システム１０２は、ベース２０４によって支持されたカートコラム２０２を含む。幾つかの例において、カートコラム２０２は、カートコラム２０２内に配置される制動サブシステムおよびカウンタバランスサブシステムのコンポーネントを汚染物から保護する保護カバー２０６を含むことがある。

カートコラム２０２は、その上に取り付けられた複数のセットアップアーム２０８（例えば、セットアップアーム２０８−１〜２０８−４）を支持してよい。各セットアップアーム２０８は、セットアップアーム２０８の手動位置決めを可能にする複数のリンクおよびジョイントを含んでよく、それぞれロボットアーム１１２の１つに接続されてよい。図２の例において、患者側システム１０２は、４つのセットアップアーム２０８と、４つのロボットアーム１１２とを含む。しかしながら、患者側システム１０２は、特定の実装に役立つような品位の他の数のセットアップアーム２０８およびロボットアーム１１２を含んでよいことが認識されるであろう。

セットアップアーム２０８は、非ロボット的に制御可能であってよく、各ロボットアーム１１２を、患者側システム１０２をセットアップする或いは再構成する人が所望するそれぞれの位置に静止的に保持するように構成されてよい。セットアップアーム２０８は、キャリッジハウジング２１０に連結されてよく、外科セッションの術前、術中、または術後段階の間に手動で移動させられ、位置決めされてよい。例えば、セットアップアーム２０８は、ロボット手術システム１００が準備されているときのおよび／または実行されるべき外科処置のために標的化されているときの術前段階の間に移動され、位置決めされてよい。対照的に、ロボットアーム１１２は、（例えば、上述のように、マスタ制御装置１１６の操作に応答して）ロボット的に制御されてよい。

図示のように、各ロボットアーム１１２は、それに連結された手術器具１１４を有してよい。特定の例において、４つのロボットアーム１１２のうちの３つは、外科領域内の患者組織および／または他の物体（例えば、縫合材料、パッチング材料など）を操作するために使用される手術ツールの形態の手術器具１１４を移動および／または位置決めするように構成されてよい。具体的には、図示のように、ロボットアーム１１２−１、１１２−３、および１１２−４はあ、それぞれ、手術器具１１４−１、１１４−３、および１１４−４を移動および／または位置決めするために使用されてよい。第４のロボットアーム１１２（例えば、図２の例におけるロボットアーム１１２−２）が、以下により詳細に記載するように、モニタリング器具（例えば、立体視内視鏡）を移動および／または位置決めするために使用されてよい。

ロボットアーム１１２は、それぞれ、手術器具１１４の制御およびトラッキングを補助するために、生の（すなわち、補正されていない）運動情報を生成するために使用される、１つ以上の変位変換器、配向センサ、および／または位置センサ（例えば、センサ２１２）を含んでよい。例えば、ロボットアーム１１２のための運動学に基づく位置または他の運動学的情報のような、患者側システム１０２内の変換器およびセンサによって生成される運動学的情報は、ロボット手術システム１００の手術器具トラッキングシステム（例えば、ビジョンカート１０６に含まれるコンピューティングデバイス）に送信されてよい。各手術器具１１４は、特定の実施形態において変位変換器、位置センサ、および／または配向センサ（例えば、センサ２１４）を同様に含んでよく、それらの各々は、手術器具１１４のための運動学に基づく位置または他の運動学的情報のような追加の運動学的情報をトラッキングシステムに提供してよい。トラッキングシステムは、ロボットアーム１１２および／または手術器具１１４に含まれるセンサから受け取る運動学的情報を処理して、本明細書に記載するようなロボットアーム１１２および／または手術器具１１４の物理的位置を決定することのような様々な操作を行ってよい。

図３は、例示的なロボットアーム１１２（例えば、ロボットアーム１１２−１〜１１２−４のいずれか１つ）の斜視図を図示している。図示のように、手術器具１１４が、ロボットアーム１１２に取り外し可能に連結されてよい。図３の例において、手術器具１１４は、内視鏡デバイス（例えば、立体視腹腔鏡、関節鏡、子宮鏡、または他のタイプの立体視もしくは平面視内視鏡）である。代替的に、手術器具１１４は、異なるタイプの撮像デバイス（例えば、超音波デバイス、蛍光透視デバイス、ＭＲＩデバイスなど）、把持器具（例えば、鉗子）、針ドライバ（例えば、縫合のために使用されるデバイス）、エネルギ器具（例えば、焼灼器具、レーザ器具など）、開創器、クリップアプライヤ、プローブ把持器、心臓安定器、または任意の他の適切な器具またはツールであってよい。

幾つかの例では、ロボットアーム１１２およびロボットアーム１１２に連結される手術器具１１４が、中心点３０２の移動を制限するように、単一の固定的な中心点３０２の周りを動くことが望ましい。例えば、中心点３０２は、患者１０８への手術器具１１４の挿入点またはその付近に配置されてよい。特定の外科セッション（例えば、腹腔鏡外科処置と関連付けられる外科セッション）において、例えば、中心点３０２は、腹壁にあるトロカールまたはカニューレによって、内部手術部位への切開点と整列させられてよい。図示のように、中心点３０２は、手術器具１１４と関連付けられる挿入軸３０４上に配置されてよい。

ロボットアーム１１２は、複数のリンク３０６（例えば、リンク３０６−１〜３０６−５）を含んでよく、複数のリンク３０６は、リンク３０６のそれぞれの端付近の複数のジョイント３０８（例えば、ジョイント３０８−１〜３０８−４）で直列に枢動的に連結される。例えば、図示のように、リンク３０６−１は、リンク３０６−１の第１の端付近のジョイント３０８−１で駆動マウント３１０に枢動的に連結される一方で、リンク３０６−１の第２の端付近のジョイント３０８−２でリンク３０６−２に旋回的に連結される。リンク３０６−３は、リンク３０６−３の第１の端付近でリンク３０６−２に枢動的に連結される一方で、リンク３０６−３の第２の端付近のジョイント３０８−４でリンク３０６−４に枢動的に連結される。一般的に、リンク３０６−４は、図示のように、手術器具１１４の挿入軸３０４に対して実質的に平行であってよい。リンク３０６−５は、図示のように、手術器具１１４がリンク３０６−５に取り付けられ、リンク３０６−５に沿ってスライドすることを可能にするよう、リンク３０６−４にスライド可能に連結される。

ロボットアーム１１２は、上述のように、セットアップアーム２０８によって指示されて所定の場所に保持されるように、駆動マウント３１０を介してセットアップアーム２０８（またはセットアップアーム２０８に接続されたジョイント）に取り付けられるように構成されてよい。駆動マウント３１０は、リンク３０６−１に枢動的に連結されてよく、中心点３０２のヨー軸の周りでロボットアーム１１２を偏揺れさせる(yaw)ように構成された（明示的に図示されていない）第１の内部モータを含んでよい。同様に、リンク３０６−２は、中心点３０２のピッチ軸の周りでロボットアーム１１２のリンケージ(リンク装置)を駆動および縦揺させる(pitch)ように構成された（明示的に図示されていない）第２の内部モータを収容してよい。同様に、リンク３０６−４は、挿入軸３０４に沿ってリンク３０６−５および手術器具１１４をスライドさせるように構成された（明示的に図示されていない）第３の内部モータを含んでよい。ロボットアーム１１２は、特定の実装に役立つことがあるような任意の方法でジョイント３０８の周りのリンク３０６の枢動を制御するために、これらのモータのうちの１つ以上によって駆動されるドライブトレインシステムを含んでよい。よって、手術器具１１４が機械的に移動されるべきであるならば、ドライブトレインに連結されたモータのうちの１つ以上を通電させてロボットアーム１１２のリンク３０６を移動させることができる。

図４は、外科医コンソール１０４の斜視図を図示している。図示のように、外科医コンソール１０４は、立体ビューア４０２(stereo viewer)と、アーム支持体４０４(arm support)と、（図４には図示されていない）マスタ制御装置１１６が配置されるコントローラワークスペース４０６(controller workspace)と、フットペダル４０８(foot pedals)と、ヘッドセンサ４１０(head sensor)とを含んでよい。

幾つかの例において、立体ビューア４０２は、オペレータ（例えば、外科医１１０−１）が手術セッション中に患者１０８と関連付けられ且つ立体視内視鏡によって生成される外科領域の立体視画像を視認することがある、２つのディスプレイを有する。外科医コンソール１０４を使用するとき、オペレータは、自分の頭を立体ビューア４０２と整列するように移動させて、外科領域の立体視画像を視認することがある。患者側システム１０２の手術器具１１４を制御するときに、オペレータが外科領域を視認していることを保証するために、外科医コンソール１０４は、立体ビューア４０２に隣接して配置されるヘッドセンサ４１０を使用することがある。具体的には、オペレータが、外科領域の立体視画像を視認するために、自分の眼を立体ビューア４０２の両眼用接眼レンズと整列させるときに、オペレータの頭はヘッドセンサ４１０を起動させる(アクティブ化させる)ことがあり、それはマスタ制御装置１１６を介した手術器具１１４の制御を可能にする。オペレータの頭が立体ビューア４０２の領域から取り外されるときに、ヘッドセンサ４１０は自動的に起動解除される(非アクティブ化される)ことがあり、それはマスタ制御装置１１６を介した手術器具１１４の制御を妨げることがある。このようにして、ロボット手術システム１００が、オペレータが手術器具１１４の制御を試みることに積極的に関与していないことを検出するとき、手術器具１１４の位置は、静止的なままであることがある。

アーム支持体４０４は、オペレータがロボットアーム１１２および／または手術器具１１４を制御するためにマスタ制御装置１１６を操作する間に、オペレータの肘および／または前腕を支持するために使用されてよい。加えて、オペレータは、自分の足を使用して、フットペダル４０８を制御することがある。フットペダル４０８は、手術器具１１４を制御するために使用される追加の制御信号を生成して、１つの手術器具１１４から別の手術器具への切り替え制御を容易にするか、あるいは任意の他の適切な操作を行うために、ロボット手術システム１００の構成または動作モードを変更するように構成されてよい。

図５は、ロボット手術システム１００に含められ、患者と関連付けられる例示的な外科領域に配置された、例示的な立体視内視鏡５００を図示している。立体視内視鏡５００は、上述の手術器具１１４のいずれか１つであってよい。

図示のように、立体視内視鏡５００は、患者に挿入されるように構成された遠位先端を有するチューブ５０２と、患者の外部に配置されるように構成されたカメラヘッド５０４とを含んでよい。チューブ５０２は、近位端でカメラヘッド５０４に連結されてよく、特定の実装に役立つことがあるように（図５に示すように）剛的であってよく、連結されてよく、且つ／或いはフレキシブル(可撓)であってよい。

チューブ５０２は、患者の内部の外科領域とカメラヘッド５０４との間に光を伝導するように構成された複数のチャネル５０６（例えば、右側撮像チャネル５０６−Ｒ、左側撮像チャネル５０６−Ｌ、および照明チャネル５０６−Ｉ）を含んでよい。カメラヘッド５０４内で生成される光が、チューブ５０２の遠位端で出力されるように照明チャネル５０６−Ｉによって運ばれ、外科領域内の患者の解剖学的構造および／または他の物体から反射した後に、撮像チャネル５０６−Ｒおよび５０６−Ｌによってチューブ５０２の遠位端からカメラヘッド５０４に運ばれて戻るように、各チャネル５０６は、チューブ５０２に沿って光を運ぶように構成された１つ以上の光ファイバを含んでよい。図５のチャネル５０６内に示す矢印は、光が各チャネル内を移動することがある方向を示すように描写されている。加えて、チューブ５０２は、特定の実装に役立つことがあるようにチャネル５０６によって運ばれる光を集束、拡散、または他の方法で処理するための（明示的に示されていない）１つ以上のレンズまたは他の適切な光学系と関連付けられてよい（例えば、それらを含んでよい）ことが理解されるであろう。様々な他の実施形態では、追加の撮像および／または照明チャネルが存在してよい。更に他の実施形態では、１つ以上の画像センサおよび／または照明装置をチューブ５０２の遠位端により近接して配置することができ、それによって、チューブ５０２を通じる撮像および／または照明チャネルの必要性を最小限にすることができ、或いは排除することさえできる。

幾つかの例において、立体視内視鏡５００は、ロボット手術システムのロボットアーム（例えば、ロボット手術システム１００のロボットアーム１１２のうちの１つ）に連結されてよく、チューブ５０２の遠位先端が患者の外科領域に配置されるように位置決めされてよい。この構成において、立体視内視鏡５００は、立体視内視鏡５００の一部（例えば、カメラヘッド５０４およびチューブ５０２の近位部分）が外科領域の外側に位置することがあるとしても、外科領域に位置している或いは外科領域内に位置していると称されてよい。立体視内視鏡５００は、外科領域に配置されるが、立体視内視鏡５００の視野内の外科領域から反射される光は、チューブ５０２の遠位先端によって取り込まれ、撮像チャネル５０６−Ｒおよび５０６−Ｌを介してカメラヘッド５０４に運ばれることがある。

カメラヘッド５０４は、立体視内視鏡５００の操作を容易にするように構成された様々なコンポーネントを含んでよい。例えば、図示のように、カメラヘッド５０４は、画像センサ５０８（例えば、右側撮像チャネル５０６−Ｒと関連付けられた画像センサ５０８−Ｒおよび左側撮像チャネル５０６−Ｌと関連付けられた画像センサ５０８−Ｌ）を含んでよい。画像センサ５０８は、電荷結合素子（「ＣＣＤ」）画像センサ、相補型金属酸化物半導体（「ＣＭＯＳ」）画像センサ、または同等物のような、任意の適切な画像センサとして実装されてよい。加えて、１つ以上のレンズまたは他の光学系が、画像センサ５０８と関連付けられてよい（明示的に図示されていない）。カメラヘッド５０４は、外科領域を照らすように、撮像チャネル５０６−Ｉを介してカメラヘッド５０４から外科領域へ移動する光を生成するように構成された照明装置５１０(illuminator)を更に含んでよい。

カメラヘッド５０４は、その中に配置されたカメラ制御ユニット５１２を更に含んでよい。具体的には、カメラ制御ユニット５１２−Ｒが、画像センサ５０８−Ｒに通信的に連結されてよく、カメラ制御ユニット５１２−Ｌが、画像センサ５０８−Ｌに通信的に連結されてよい。カメラ制御ユニット５１２は、通信リンク５１４を介して互いに同期的に連結されてよく、画像センサ５０８によって感知される光に基づいてそれぞれの画像５１６（すなわち、右側と関連付けられた画像５１６−Ｒおよび左側と関連付けられた画像５１６−Ｌ）を生成するように、画像センサ５０８を制御するように構成された、ソフトウェアおよび／またはハードウェアによって実装されてよい。よって、撮像チャネル５０６、撮像センサ５０８、カメラ制御ユニット５１２、および関連する光学系の各々のそれぞれの組み合わせを、集合的に、立体視内視鏡５００内に含まれるカメラと称することがある。例えば、立体視内視鏡５００は、２つのそのようなカメラを含んでよく、１つは左側用であり、１つは右側用である。そのようなカメラは、そのそれぞれの撮像チャネル５０６の遠位端での眺望の利く地点(vantage point)から画像５１６を取り込むと言われることがある。立体視内視鏡５００によって生成された後に、画像５１６は、手術器具トラッキングシステムによってアクセスされてよく、且つ／或いは本明細書に記載する方法のいずれかにおいて使用されてよい。例えば、画像５１６は、本明細書に記載する方法のいずれかにおいて、外科領域に配置されるロボット操作手術器具の位置を決定するために、手術器具トラッキングシステムによって使用されてよい。

図６は、外科領域に位置する手術器具をトラッキングするように構成された例示的な手術器具トラッキングシステム６００（「トラッキングシステム６００」または「システム６００」）を示している。図示のように、システム６００は、画像処理設備６０２(image processing facility)と、関連付け設備６０４(association facility)と、位置決定設備６０６(position determination facility)と、互いに選択的かつ通信的に連結された格納設備６０８(記憶設備)(storage facility)とを含むが、これらに限定されない。設備６０２〜６０８は、図６では別個の設備であるように示されているが、設備６０２〜６０８は、特定の実装に役立つことがあるように、より少ない設備に、例えば、単一の設備に組み合わされるか、あるいは、より多くの設備に分割されてよいことが認識されるであろう。設備６０２〜６０８の各々は、コンピューティングハードウェアおよび／またはソフトウェアの任意の適切な組み合わせによって実装されてよい。

システム６００は、任意の適切な方法においてロボット手術システム１００のようなロボット手術システムと関連付けられてよい。例えば、システム６００は、ロボット手術システムによって実装されてよく、あるいはロボット手術システムに含められてよい。例示するために、システム６００は、ロボット手術システム１００の患者側システム１０２、外科医コンソール１０４、および／またはビジョンカート１０６に含められる１つ以上のコンピューティングデバイスによって実装されてよい。幾つかの例において、システム６００は、ロボット手術システム（例えば、ネットワークを介してロボット手術システム１００に通信的に連結される１つ以上のサーバ）に通信的に連結されるが、それに含められていない、１つ以上のコンピューティングデバイスによって、少なくとも部分的に実装されてよい。

画像処理設備６０２は、患者と関連付けられる外科領域に配置される内視鏡によって取り込まれる或いはそのような内視鏡によって取り込まれる画像から導出される１つ以上の画像のセットを含むことがある、（「内視鏡像」と呼ばれることがある）内視鏡像にアクセスするように構成されてよい。１つ以上の内視鏡画像のセットは、２Ｄ画像、３Ｄ画像、２Ｄ画像から導出される３Ｄ画像、一時的に整列させられた立体視画像の１つ以上のペア、ビデオのフレーム、画像のシーケンス、凝集または組み合わせ画像（例えば、複数の画像を一緒に結合することによって形成された画像）、または任意の他の適切な形態の画像を含んでよい。内視鏡画像は、任意の適切なデータフォーマットにおける画像データ（例えば、任意の適切な数の画像チャネルを有するＲＧＢ画像を表すデータ）として表現されてよく、それらの画像データは、画像処理設備６０２によってアクセスされてよい。

特定の実装において、例えば、画像処理設備６０２は、外科領域に配置される立体視内視鏡（例えば、立体視内視鏡５００）内に含まれる第１のカメラによって第１の眺望の利く地点から取り込まれる第１の画像（例えば、画像５１６−Ｌ）、および立体視内視鏡内に含まれる第２のカメラによって第１の眺望の利く地点に対して立体的に見える第２の眺望の利く地点から取り込まれる第２の画像（例えば、画像５１６−Ｒ）にアクセスしてよい。画像処理設備６０２は、任意の適切な方法で画像にアクセスしてよい。例えば、画像処理設備６０２は、内視鏡から画像を受信することによって或いは格納設備１０８または他のコンピュータメモリ（例えば、メモリバッファ）から画像にアクセスすることによって、画像にアクセスしてよい。

内視鏡によって取り込まれる内視鏡像を参照して特定の例を本明細書に記載するが、他の例において、画像処理設備６０２は、外科領域の任意の適切な像を処理してよい。例えば、画像処理設備６０２は、１つ以上の非内視鏡カメラ、複数の内視鏡、または少なくとも１つの内視鏡と少なくとも１つの非内視鏡カメラとの組み合わせによって取り込まれる、外科領域像を処理してよい。

画像処理設備６０２は、内視鏡像を処理して、内視鏡像内に描写される関心物体についての観察を決定してよい。内視鏡像の処理は、内視鏡像から関心物体を表す特徴(features)を抽出する画像処理設備６０２を含んでよい。本明細書で使用するとき、「関心物体」は、内視鏡像内に描かれる、並びに画像処理設備６０２に関心があると定義される、任意の対象(物体)または他の特徴を指す。特定の例において、関心物体は、手術器具と関連付けられることがある内視鏡像中に描かれる任意の特徴によって表されることがある。例えば、特徴は、内視鏡像中に描かれる手術器具、内視鏡像中に描かれる手術器具のコンポーネント、または手術器具もしくは手術器具のコンポーネントを表すために画像処理設備６０２によって正確に或いは誤って決定されることがある内視鏡像中に描かれる任意の物体の視覚的表現であってよい。

特定の実施形態では、関心物体は、手術器具のマーカのないコンポーネントであってよい。手術器具のマーカのないコンポーネントは、専用コンピュータビジョンマーカ（例えば、バーコード、色など）を含まない手術器具の物理的コンポーネントであってよい。専用コンピュータビジョンマーカの代わりにマーカのない関心物体を抽出するよう内視鏡像を処理することによって、画像処理設備６０２は、マーカを製造するコスト、マーカの限定的な寿命、全ての手術器具上でマーカを使用し得ないこと、解剖学的構造組織、血液、破片、または他の器具によるカメラビューからのマーカの閉塞、およびマーカの従来的な検出と関連付けられる非効率性を計算することのような、専用コンピュータビジョンマーカの使用と関連付けられる１つ以上の問題を克服することがある。

特定の実装において、関心物体は、手術器具の遠位クレビス(distal clevis)であってよい。手術器具の遠位クレビスは、手術器具の最遠位ジョイントの中心であってよく、遠位クレビスの位置は、手術器具の遠位先端の位置を決定するために使用されてよい。幾つかの実装では、内視鏡像からの手術器具の遠位クレビスの抽出が、内視鏡像からの手術器具の小さな遠位先端の抽出よりも、正確、容易、および／または確実であることがある。他の実装では、手術器具の追加的なまたは代替的なコンポーネント（例えば、手術器具のシャフト）が、関心物体であるように定義されてよい。

ひとたび画像処理設備６０２が内視鏡像から関心物体を抽出すると、画像処理設備６０２は、関心物体についての観察を画定することがある。観察は、内視鏡像から導出された関心物体の位置を示すことがある。その位置は内視鏡像から導出されるので、その位置を「画像ベース位置」と称することがある。特定の例において、観察は、その位置を２Ｄ空間内の２Ｄ領域または３Ｄ空間内の３Ｄ領域として表すように定義されてよい。例えば、観察は、（例えば、内視鏡カメラの眺望の利く地点から投影された）投影Ｄ画像平面上の定義された画素領域区域(pixel area region)を示してよい。別の例として、観察は、ロボット手術システム１００と関連付けられる世界３Ｄ座標系によって定義された３Ｄ空間内の３Ｄ領域のような定義された３Ｄ領域を示してよい。

特定の例では、関心物体の位置を表すことに加えて、（例えば、ニューラルネットワークの出力のような）画像処理設備６０２によって定義される観察が、関心物体の１つ以上の他の属性を示すことがある。例えば、観察は、（ビデオフレームのシーケンスのような画像のシーケンスから導出されることがある）関心物体と関連付けられる動きの手がかり（例えば、速度、加速度など）、（例えば、関心物体が針ドライバ、グラスパ、または焼灼機タイプの手術ツールに取り付けられる）関心物体と関連付けられる手術器具のタイプ、関心物体と関連付けられる追加的な位置（例えば、関心物体の別のコンポーネントの位置）、関心物体の位置に対する別の関心物体の位置（例えば、手術器具の遠位クレビスに対する手術器具先端、シャフトなどの位置）、および／または関心物体と関連付けられる向き（例えば、遠位クレビスの向き）を示すことがある。

画像処理設備６０２は、訓練されたニューラルネットワークを使用して、関心物体についての観察を決定するように構成されてよい。例えば、画像処理設備６０２は、畳み込みニューラルネットワーク（「ＣＮＮ」）または別の深層のフィードフォワード人工ニューラルネットワークを使用して、関心物体を抽出し、関心物体についての観察を定義してよい。

この目的を達成するために、ニューラルネットワークは、ニューラルネットワークが内視鏡像中に描かれる関心物体についての観察を決定するように構成されるように訓練されてよい。訓練は、例えば、ラベル付き（例えば、手作業でラベル付けされた）データを訓練セットとして使用することによって、任意の適切な方法において行われてよい。そのようなデータは、内視鏡像中に描かれる任意の関心物体の観察を用いてラベル付けされる内視鏡像を含んでよい。例えば、訓練像(training imagery)は、関心物体を描く画像と、関心物体と関連付けられる画像ベースの位置を示すラベルとを含んでよい。ラベルは、関心物体と位置的に関連付けられる矩形領域（例えば、画素領域）を画定するバウンディングボックス(境界ボックス)、または関心物体と位置的に関連付けられる画像の領域の任意の他の適切な定義のような、任意の適切な形態にあってよい。訓練像中の他の画像は、関心物体と関連付けられる位置を示すために同様にラベル付けされてよい。訓練像中の更に他の画像は、関心物体が画像中に描かれていないことを示すようにラベル付けされてよい（或いはラベル付けされなくてよい）。幾つかの例において、追加的なラベルは、手術器具のタイプおよび／または手術器具の追加的なコンポーネントを示すラベルのような、関心物体の他の特性を示すように、訓練像に加えられてよい。使用されることがある他のラベルの例は、手術器具上の鍵となる地点（例えば、器具先端、器具表面上のロゴまたは他の表示(indicia)のような器具表面上の特徴、器具シャフト、器具シャフト軸など）を示すラベルと、器具の画素毎セグメント(per-pixel segmentations)または器具のコンポーネント（例えば、器具本体または器具本体の一部）を示すラベルとを含むが、これらに限定されない。訓練像中の特定の画像は、手術器具が画像を取り込む内視鏡の視野内にあるべきことを対応する運動学が示すときに、手術器具を描かない画像のような、画像の内容と手術器具のための対応する運動学との間の矛盾に基づいて、ニューラルネットワークを訓練する際の使用のために選択されてよい。

ニューラルネットワークが訓練された後に、画像処理設備６０２は、訓練されたニューラルネットワークを使用して、内視鏡像中に描かれた関心物体についての観察を決定してよい。特定の例において、画像処理設備６０２は、内視鏡像を訓練されたニューラルネットワークへの入力として提供することによってこれを行ってよく、訓練されたニューラルネットワークは、内視鏡像を処理し、像中に描かれ且つ訓練されたニューラルネットワークによって抽出される関心物体についての決定された観察を出力してよい。訓練されたニューラルネットワークは、履歴的および／または訓練内視鏡像のために以前に生成された（例えば、ニューラルネットワークの訓練中にラベル付けされた）観察から、処理されている内視鏡画像に最も良く適合するか或いは適合する可能性が最も高い観察を選択することによって、関心物体についての観察を決定してよい。他の例では、関心物体についての観察を出力する代わりに、訓練されたニューラルネットワークは、抽出された関心物体を示すデータを出力してよく、画像処理設備６０２は、訓練されたニューラルネットワークからのこの出力を使用して、例えば、関心物体を包含する領域を定義することおよび／または観察に別の特性を追加することによって、関心物体についての観察を定義または補足してよい。内視鏡像中に描かれる関心物体についての観察を決定する画像処理設備６０２の例を本明細書に記載する。

関心物体について画像処理設備６０２によって決定される観察は、少なくとも、手術器具のための候補の画像ベースの位置を示すものと考えられてよい。何故ならば、画像処理設備６０２は、画像処理設備６０２によって決定されて出力される観察を外科領域の如何なる特定の手術器具とも関連付けていないからである。画像処理設備６０２は、関心物体が外科領域にある手術器具を表さないことを関連付け設備６０４が決定するときに、観察を関心物体によって表されるように関連付け設備６０４によって決定される適切な手術器具に或いは偽陽性指定に関連付けるために、関連付け設備６０４によるアクセスおよび使用のための観察を表すデータを提供してよい。

関連付け設備６０４は、画像処理設備６０２から関心物体についての観察を表すデータにアクセスし、外科領域における１つ以上の手術器具の運動学に基づいて、関心物体についての観察を特定の手術器具または偽陽性指定に関連付けてよい。特定の実装において、関連付け設備６０４は、外科領域における１つ以上の手術器具の確率論的フレームワークおよび運動学に基づいて行われるべき関連付けを決定するように構成されてよい。一例として、関連付け設備６０４は、外科領域における１つ以上の手術器具の運動学に基づいて、外科領域における各手術器具への並びに偽陽性指定への関心物体についての観察の潜在的な関連付けの確率を決定してよい。次に、関連付け設備６０４は、最も高い確率の関連付けを選択し、観察を手術器具または最も高い確率を有する偽陽性指定に関連付けてよい。別の例として、関連付け設備６０４は、外科領域における１つ以上の手術器具の運動学に基づいて、観察と手術器具または偽陽性指定との間の１対１の関連付けの各々の可能なセットについての確率を決定してよい。次に、関連付け設備６０４は、１対１の関連付けの最も高い確率のセットを選択し、選択された関連付けのセットに従って、観察をそれぞれの手術器具または偽陽性指定に関連付けてよい。観察を手術器具または偽陽性指定に関連付けるために確率論的フレームワークおよび運動学を使用する関連付け設備６０４の例を本明細書に記載する。

関連付け設備６０４は、観察および関連する手術器具を表すデータのような、関連付け設備６０４によって作られる関連付けを表すデータを出力してよい。幾つかの例において、関連付け設備６０４は、偽陽性指定と関連付けられる観察を表すデータの出力を控えることがある。

位置決定設備６０６は、観察および関連する手術器具を表すデータのような、関連付け設備６０４によって出力されるデータにアクセスしてよい。位置決定設備６０６は、アクセスされるデータを使用して、手術器具の運動学および手術器具に関連する観察に基づいて、外科領域での手術器具の物理的位置を決定してよい。

特定の例において、位置決定設備６０６は、手術器具の運動学および手術器具に関連する観察に基づいて、外科領域における手術器具の物理的位置を決定するために、無香カルマンフィルタまたは他のベイズフィルタのような非線形推定装置を実装および使用してよい。例えば、位置決定設備６０６は、観察および運動学を無香カルマンフィルタに入力してよく、無香カルマンフィルタは、観察および運動学を使用して、外科領域における手術器具の物理的位置を決定および出力してよい。外科領域における手術器具の物理的位置は、ロボット手術システム１００と関連付けられる世界３Ｄ空間のような３Ｄ空間内の手術器具のコンポーネントの３Ｄ位置（例えば、手術器具の遠位クレビスまたは遠位先端の３Ｄ位置）を表す座標を含む、任意の適切な方法で表わされてよい。

特定の実施形態において、位置決定設備６０６は、観察によって表される関心物体の画像ベースの位置に基づいて、運動学によって表される手術器具の運動学ベースの位置を補正することによって、手術器具の物理的位置を決定するように構成されてよい。例えば、無香カルマンフィルタは、観察によって示された関心物体の画像ベースの位置に基づいて、手術器具の運動学ベースの位置を調整するように構成されてよい。調整は、運動学ベースの位置に修正変換を適用することによるような、任意の適切な方法で行われてよい。特定の実装において、位置決定設備６０６は、補正変換を運動学ベースの位置に可能な限り速く適用するように構成されてよく、それは画像処理設備６０２が可能な限り速く内視鏡画像から関心物体を抽出し、関連する関心物体についての観察を決定することができることがある。観察された画像ベースの位置で運動学ベースの位置を補正することによって、トラッキングシステム６００は、手術器具が内視鏡画像から抽出可能でないときのような、観察が利用できないときに（例えば、手術器具が組織の背後に隠されているとき、外科領域に多量の煙があるとき、手術器具が内視鏡の視野の外側にあるときなどに）運動学を使用することができる。手術器具を表す関心物体についての観察が利用可能であり、手術器具の運動学ベースの位置を補正するために使用されるとき、トラッキングシステム６００は、観察なしで運動学が単独で使用されるときよりも、より良い精度および／または正確性で手術器具の物理的位置をトラッキングすることができる。これは、運動学のみに基づいてグローバル３Ｄ世界座標の絶対位置を決定するときに見出されることがある剛性誤差および／または（長い運動連鎖上に取り付けられることがある）手術器具の大きな動きによって導入される誤差のような、運動学ベースの位置の誤差（例えば、ロボットシステムの運動連鎖に沿うジョイントエンコーダの誤差の蓄積によって引き起こされる器具先端位置の誤差）を除去または低減するのに有用なことがある。

位置決定設備６０６によって決定される手術器具の物理的位置は、手術セッション中に外科領域において手術器具をトラッキングするために使用されてよい。このような方法において手術器具をトラッキングすることによって、ロボット手術システム１００は、手術器具のトラッキングされた物理的位置を利用する１つ以上の構成を提供することがある。そのような構成の例を本明細書に記載する。

格納設備６０８は、特定の実装において設備６０２〜６０６によって受信される、生成される、管理される、維持される、使用される、且つ／或いは送信される任意のデータを格納および維持してよい。例えば、格納設備６０８は、本明細書に記載する動作を実行するためのプログラム命令（例えば、コンピュータコード）、画像データ、観察データ、運動学的データ、位置データ、および／または特定の実施に役立つ任意の他のデータを格納してよい。

次に、図７〜図１０を参照して、手術器具の物理的位置を決定することによって手術器具をトラッキングするシステム６００の例を記載する。図７は、外科領域内の手術器具の図７００を図示している。図示されるように、手術器具は、内視鏡７０２と、１つ以上の手術ツールの形態の１つ以上の他の手術器具７０４（例えば、手術器具７０４−１〜７０４−３）とを含んでよい。図７は、外科領域に配置された１つの内視鏡７０２および３つの手術ツールを示しているが、任意の数および／または組み合わせの内視鏡および手術ツールが外科セッション中に外科領域にあってよい。組織７０６は、外科領域における解剖学的組織を表している。

内視鏡７０２は、外科領域における内視鏡像を取り込むことがある。内視鏡７０２の視野内にある手術器具７０４および／または組織７０６のいずれかは、内視鏡７０２によって取り込まれる内視鏡像中に描かれることがある。

図８は、この例では立体視内視鏡である内視鏡７０２内に含まれるカメラによって立体視の眺望の利く地点から取り込まれるような外科領域の例示的な画像８０２（すなわち、画像８０２−Ｌおよび８０２−Ｒ）を図示している。画像８０２−Ｌおよび８０２−Ｒは、それぞれ、上述の画像５１６−Ｌおよび画像５１６−Ｒを実装することがある。図示のように、各画像８０２は、内視鏡７０２の視野内にある手術器具７０４−１および組織７０６の一部を描いている。

図示のように、画像８０２は、互いに比較的類似している。しかしながら、各画像８０２が取り込まれる眺望の利く地点の立体的性質の故に僅かな差が画像８０２間にも存在することが理解されるであろう。よって、画像８０２は、画像８０２−Ｌがユーザ（例えば、外科医１１０−１）の左眼に提示される一方で、画像８０２−Ｒがユーザの右眼に提示されるときに、三次元であるように見えることがある。

画像５１６と同様に、画像８０２の一方または両方は、任意の適切な方法で、および／または任意の適切なディスプレイスクリーン上に、システム６００によって表示または提示されてよい。例えば、画像８０２の一方または両方は、ビジョンカート１０６のディスプレイモニタ１２２上に、外科医コンソール１０４上の立体ビューア４０２上に、内視鏡７０２によって提供される平面視ディスプレイ上に、および／またはロボット手術システム１００もしくはトラッキングシステム６００と関連付けられる他のディスプレイスクリーン上に表示されてよい。

画像処理設備６０２は、画像８０２の一方または両方を処理して、画像８０２内に描かれる任意の関心物体についての観察を決定してよい。例えば、画像処理設備６０２は、画像８０２から画像８０２に描かれた任意の関心物体を抽出することがある、訓練されたニューラルネットワークへの入力として画像８０２を提供してよい。例えば、訓練されたニューラルネットワークを使用して、画像処理設備６０２は、画像８０２の各々において手術器具７０４−１の遠位クレビスを表す関心物体８０４を抽出してよい。次に、画像処理設備６０２は、画像８０２および抽出された関心物体８０４に基づいて、関心物体８０４についての観察を定義してよい。例えば、画像処理設備６０２は、各画像８０２内の遠位クレビスの画像ベースの位置を表す境界ボックス８０６(bounding box)を含む観察を定義してよい。図８では、関心物体８０４についての観察によって示される画像ベースの位置を表すために、矩形の境界ボックス８０６が図示されているが、他の例では、任意の適切な幾何学的領域（例えば、楕円）、（複数の）座標点、または他の位置インジケータが、関心物体の観察によって示される画像ベースの位置を表すために使用されてよい。例えば、境界ボックスまたは他の位置インジケータが、任意の器具部分（例えば、器具先端、シャフト、しるし(indicia)など）を識別するために定義されてよい。特定の他の例では、観察が、器具「骨格」を形成するラインを定義してよく、或いは、観察は、器具の画素毎セグメントまたは器具の部分（例えば、器具部分を表す画素および器具部分を表さない画素が黒色値および白色値のような異なるバイナリ値として表される画像）を定義してよい。また、遠位クレビスは、画像８０２の各々において関心物体８０４によって表される一方で、手術器具の追加的または代替的なコンポーネントのような任意の適切な関心物体は、訓練されたニューラルネットワークによって抽出可能な関心物体であるように定義されてよい。

特定の例において、画像処理設備６０２は、訓練されたニューラルネットワークを使用して、関心物体が手術器具を実際に表していないとしても、関心物体が手術器具を表すことがあることを示す構成に基づいて関心物体を抽出してよい。例えば、訓練されたニューラルネットワークを使用して、画像処理設備６０２は、実際には、関心物体８０８が手術器具を表すことがあることを示す構成を有する組織７０６の部分である、対象物体８０８を抽出してよい。次に、画像処理設備６０２は、画像８０２および抽出される関心物体８０８に基づいて、関心物体８０８についての観察を定義してよい。図８に示すように、例えば、画像処理設備６０２は、画像８０２の各々の中の関心物体８０８の画像ベースの位置を表す境界ボックス８１０を含む観察を定義してよい。

画像処理設備６０２は、同様に、画像８０２中に描かれる任意の他の関心物体（例えば、他の手術器具が内視鏡７０２の視野内にあるならば、他の手術器具を表す関心物体）を抽出し、その関心物体についての観察を画定義してよい。

関心物体について画像処理設備６０２によって決定される観察は、任意の適切な方法で関心物体の画像ベースの位置を表すことがある。例えば、観察は、画像内の２Ｄ領域（例えば、内視鏡７０２の視点のような視点から投影された投影面上の画素領域または他の２Ｄ領域）を表してよい。別の例として、観察は、世界３Ｄ座標系によって表される３Ｄ空間内の３Ｄ領域を表してよく、その３Ｄ領域は、内視鏡像内の特定された２Ｄ領域から（例えば、立体視内視鏡画像内の２Ｄ領域から）導出されてよい。別の例として、観察は、単一の座標場所または２Ｄ領域もしくは３Ｄ空間内の１つ以上の座標場所のセットであってよい。そのような観察の例を本明細書においてより詳細に記載する。

特定の例において、画像処理設備６０２は、手術器具７０４または手術器具７０４の運動学の情報を有さないことがあり、専ら内視鏡像に基づいて、訓練されたニューラルネットワークを使用して（例えば、観察を出力する訓練されたニューラルネットワークに内視鏡像を入力することによって）観察を決定することがある。よって、画像処理設備６０２は、観察が手術器具または偽陽性指定を表すかどうか、或いはどの特定の手術器具が観察によって表されるかを決定しないことがある。

関連付け設備６０４は、各々の決定された観察を、外科領域における手術器具のうちの１つ以上の手術器具の運動学（例えば、内視鏡７０２および／または手術器具７０４のうちの１つ以上の手術器具の運動学）または確率論的フレームワークに基づいて、手術器具７０４のうちの特定の１つの手術器具または偽陽性指定に関連付けることがある。特定の実装において、これは、関連付け設備６０４が、画像処理設備６０２によって決定される観察について、各々の潜在的な関連の確率を決定すること、および最も高い確率を有する潜在的な関連を選択することを含んでよい。

一例として、関連付け設備６０４は、外科領域における１つ以上の手術器具の運動学（例えば、運動学によって示される３Ｄ運動学ベースの位置）を考慮する１つ以上の適切な確率アルゴリズムに基づいて、境界ボックス８０６が手術器具７０４−１を表す確率、境界ボックス８０６が手術器具７０４−２を表す確率、境界ボックス８０６が手術器具７０４−３を表す確率、および境界ボックス８０６が偽陽性を表す確率を決定してよい。次に、関連付け設備６０４は、最も高い決定された確率を選択し、境界ボックス８０６を最も高い確率を有する手術器具７０４または偽陽性指定に関連付けてよい。図８に図示するシナリオについて、関連付け設備６０４は、（例えば、境界ボックス８０６によって表される観察の画像ベースの位置と手術器具７０４−２および７０４−３の運動学ベースの位置との間のより遠隔な関係と比較した）、境界ボックス８０６によって表される観察の画像ベースの位置と（運動学によって示されるような）手術器具７０４−１の運動学ベースの位置との間の近接した距離関係に少なくとも部分的に基づいて、手術器具７０４−１との境界ボックス８０６の関連付けが最も高い確率を有すると決定してよい。

図９は、上述の例において、境界ボックス８０６を手術器具７０４−１と関連付けるために関連付け設備６０４によって使用されることがある例示的な確率論的フレームワーク９００を図示している。図示された確率論的フレームワーク９００において、関連付け設備６０４は、手術器具７０４−１との境界ボックス８０６の潜在的な関連付け９０２−１についての確率Ｐ１、手術器具７０４−２との境界ボックス８０６の潜在的な関連付け９０２−２についての確率Ｐ２、手術器具７０４−３との境界ボックス８０６の潜在的な関連付け９０２−３についての確率Ｐ３、および偽位置指定９０４との境界ボックス８０６の潜在的な関連付け９０２−１についての確率Ｐ４を決定する。図９において、ボックス９０６は、それぞれの潜在的な関連についての決定された確率Ｐ１、Ｐ２、Ｐ３、およびＰ４を含む。関連付け設備６０４は、Ｐ１、Ｐ２、Ｐ３、およびＰ４から最も高い確率値を選択し、最も高い確率を有する潜在的な関連付けに従って、特定の手術器具７０４または偽陽性指定９０４への境界ボックス８０６の関連付けを定義してよい。

そのような確率論的フレームワークを使用する別の例として、関連付け設備６０４は、外科領域における１つ以上の手術器具の運動学を考慮する１つ以上の適切な確率アルゴリズムに基づいて、境界ボックス８１０が手術器具７０４−１を表す確率、境界ボックス８１０が手術器具７０４−２を表す確率、境界ボックス８１０が手術器具７０４−３を表す確率、および境界ボックス８１０が偽陽性を表す確率を決定してよい。次に、関連付け設備６０４は、最も高い決定された確率を選択し、境界ボックス８１０を最も高い確率を有する手術器具７０４または偽陽性に関連付けてよい。図８に図示するシナリオについて、関連付け設備６０４は、境界ボックス８１０によって表される観察の画像ベースの位置と手術器具７０４の運動学ベースの位置との間の近接した距離関係の欠如に少なくとも部分的に基づいて、偽陽性指定との境界ボックス８１０の関連付けが最も高い確率を有すると決定してよい。

特定の実装において、関連付け設備６０４は、上述の例におけるように、画像処理設備６０２によって決定される各観察について個々に、最高確率ベースの関連付けを決定および作製してよい。観察についてのそのような関連付けを行う際に、関連付け設備６０４は、内視鏡像から決定される他の観察に関係なく、観察の潜在的な関連付けの確率を決定してよい。よって、手術器具または偽陽性指定への観察の関連付けは、内視鏡像から決定される如何なる他の観察の関連付けとも無関係に行われてよい。例えば、境界ボックス８０６によって表される観察は、境界ボックス８１０によって表される観察とは無関係に並びに／或いは手術器具または偽陽性指定への境界ボックス８１０によって表される観察の関連付けとは無関係に、手術器具７０４または偽陽性指定と関連付けられてよい。

他の実装では、観測の最高確率ベースの関連付けを決定するときに、関連付け設備６０４は、１つ以上の他の観測および／または観察の関連付けを説明する(account for)ことがある。そのような他の観察は、同じ内視鏡像から（例えば、同じ内視鏡画像から）決定される観察、立体視画像のような別の内視鏡画像から決定される観察、および／または以前のビデオフレームのような古い内視鏡像から決定される観察を含んでよい。

特定の実装において、関連付け設備６０４は、内視鏡像から画像処理設備６０２によって決定される全ての観察を集合的に考慮することによって、最高確率ベースの関連付けを決定および作製するように構成されてよい。例えば、内視鏡像から画像処理設備６０２によって決定される観察の潜在的な関連付けの確率を決定することの一部として、関連付け装置６０４は、内視鏡画像から画像処理設備６０２によって決定される１つ以上の他の観察の潜在的な関連付けの確率を決定および考慮してよい。関連付け設備６０４は、確率を集合的に考慮して、観測の最も高い確率の関連付けを決定してよい。

特定の例において、関連付け設備６０４は、観察と手術器具または偽陽性との間の関連付けの各々の潜在的なセットについての確率を決定することによって、潜在的な関連付けの確率を集合的に決定してよい。例えば、図８に図示するシナリオについて、関連付け設備６０４は、手術器具７０４または偽陽性への境界ボックス８０６および８１０の関連付けの各々の潜在的なセットについての確率を決定し、最も高い確率を有する関連付けのセットを選択してよい。例えば、関連付け設備６０４は、境界ボックス８０６が手術器具７０４−１と関連付けられ且つ境界ボックス８１０が偽陽性指定と関連付けられる関連付けのセットが、他の関連付けの潜在的なセットよりも（セットとして）高い確率を有することを決定してよい。

図１０は、上述の例において、境界ボックス８０６を手術器具７０４−１と関連付け、境界ボックス８１０を偽陽性指定と関連付けるために使用されることがある、例示的な確率論的フレームワーク１０００を図示している。図示の確率論的フレームワーク１０００に基づいて、関連付け設備６０４は、潜在的な関連付けの第１のセット１００２−１についての確率ＰＲ１および潜在的な関連付けの第２のセット１００２−２についての確率ＰＲ２を決定してよい。図示のように、潜在的な関連付けの第１のセット１００２−１は、手術器具７０４−１への境界ボックス８０６の潜在的な関連付け１００４−１および手術器具７０４−２への境界ボックス８１０の潜在的な関連付け１００４−２を含む。潜在的な関連付けの第１のセット１００２−１は、手術器具７０４−３または偽陽性指定への潜在的な関連を含まない。同様に図示のように、潜在的な関連付けの第２のセット１００２−２は、手術器具７０４−１への境界ボックス８０６の潜在的な関連付け１００６−１および偽陽性指定１００８への境界ボックス８１０の潜在的な関連付け１００６−２を含む。潜在的な関連付けの第２のセット１００２−２は、手術器具７０４−２および７０４−３への潜在的な関連付けを含まない。潜在的な関連付けの第１のセット１００２−１および第２のセット１００２−２は、境界ボックス８０６および８１０と手術器具７０４−１、７０４−２および７０４−３または偽陽性指定との間の潜在的な１対１の関連付けの２つの可能なセットを表す。関連付け設備６０４は、潜在的な関連付けの第１のセット１００２−１および第２のセット１００２−２についての確率を含む、潜在的な関連付けの各々の可能なセットについての確率を決定してよい。

図１０では、例示的な目的のために、ボックス１０１０は、潜在的な関連付けのそれぞれのセット１００２−１および１００２−２についての決定された確率ＰＲ１およびＰＲ２のみを含む。関連付け設備６０４は、ＰＲ１およびＰＲ２から最も高い確率値（および潜在的な関連付けの任意の他の（複数の）セットについての確率）を選択し、最も高い確率を有する潜在的な関連付けのセットに従って、それぞれの手術器具７０４または偽陽性指定への境界ボックス８０６および境界ボックス８１０の関連付け１００８を定義してよい。例えば、関連付け設備６０４は、１つ以上の手術器具７０４−１、７０４−２および７０４−３の確率論的フレームワークおよび運動学に基づいて最も高い確率を有するものとして潜在的な関連付けの第２のセット１００２−２を選択してよく、潜在的な関連付けの第２のセット１００２−２に従って境界ボックス８０６を手術器具７０４−１に関連付け、境界ボックス８１０を偽陽性指定１００８に関連付けてよい。

確率論的フレームワークの上述の例は、例示に過ぎない。関連付け設備６０４は、任意の適切な確率アルゴリズムおよび／または確率論的フレームワークを実装して、潜在的な関連付けおよび／または潜在的な関連付けのセットの確率を決定してよい。確率アルゴリズムは、確率決定における１つ以上の手術器具の運動学ベースの位置を説明するように構成されてよい。特定の実装において、各々の潜在的な関連付けまたは潜在的な関連付けの各セットの確率は、潜在的な関連付けまたは潜在的な関連付けの各セットが与えられるならば、条件的に独立であることがあり、そのような条件的な独立性のための適切な確率アルゴリズムは、関連付け設備６０４によって確率論的フレームワークとして使用されてよい。

関連付け設備６０４は、任意の適切な運動学的情報を使用して、手術器具または偽陽性への観察の潜在的な関連付けの確率を決定してよい。特定の実施形態では、例えば、関連付け設備６０４は、内視鏡７０２の運動学および／または他の特性（例えば、向き、視野、レンズ特性など）を使用して、潜在的な関連付けの確率を決定してよい。例えば、関連付け設備６０４は、内視鏡７０２の運動学ベースの位置および向きならびに手術器具７０４の運動学ベースの位置および／または向き（例えば、器具シャフト、先端、クレビスなどのような、特定の器具部分の位置および／または向き）を使用して、手術器具７０４が内視鏡７０２の視野内にある確率を決定してよく、この確率は、境界ボックス８０６が手術器具７０４または偽陽性に対応する確率および／または境界ボックス８１０が手術器具７０４または偽陽性に対応する確率を決定するために、関連付け設備６０４によって使用されてよい。

関連付け設備６０４は、手術器具または偽陽性への観察の潜在的な関連付けの確率を決定するために、手術器具に関する任意の適切な情報を使用するように構成されてよい。例えば、関連付け設備６０４は、運動学的情報によって示される手術器具のタイプに関する情報、観察によって示される手術器具の観察されたタイプに関する情報、および／または運動学的情報および／または観察によって示される手術器具部品（例えば、手術器具のシャフト、先端、クレビスなど）の位置および／または向きに関する情報を使用してよい。

関連付け設備６０４によって使用される確率論的フレームワークは、ロボット手術システムの現在の状態に基づいて（例えば、手術器具の運動学および／またはロボット手術システムについての任意の他の状態情報に基づいて）、観察が手術器具または偽陽性を表す確率を決定するために、関連付け設備６０４によって使用される条件付き確率関数を定義する観察モデルを含んでよい。

特定の代替的な実装において、関連付け設備６０４は、確率論的フレームワークを使用せずに、外科領域における手術器具の運動学に基づいて、観察を、手術器具または偽陽性指定に関連付けるように構成されてよい。例えば、関連付け設備６０４は、観察を、所定の距離閾値内にある最も近位の手術器具に関連付け、或いは手術器具が所定の距離閾値内にないときに偽陽性指定に関連付ける、ように構成されてよい。

関連付け設備６０４は、観察を表すデータを、任意の適切な方法で、例えば、対応する手術器具または偽陽性指定を表すデータに関連付けることによって、関連付けを定義してよく、或いは他の方法で確立してよい。関連付け設備６０４は、観察と手術器具との間の決定された関連付けを表すデータを出力してよい。幾つかの例において、関連付け設備６０４は、位置決定設備６０６が、関連付け設備６０４が外科領域に配置された手術器具と関連付けられた観察のみにアクセスし、且つそれらのみを使用するように、観察と偽陽性指定との間の決定された関連付けを表すデータを出力することを控えてよい。

位置決定設備６０６は、関連する手術器具の観察および運動学に基づいて、外科領域における手術器具の物理的位置を決定するために、観察および関連する手術器具を表すデータにアクセスし且つそのようなデータを使用するように構成されてよい。例えば、位置決定設備６０６は、境界ボックス８０６および手術器具７０４−１についての運動学に基づいて、外科領域における手術器具７０４−１の物理的位置を決定してよい。関連付け設備６０４は、観察と手術器具との間の関連付けを定義しているので、位置決定設備６０６は、観察との組み合わせにおいて、観察のための適切な対応する手術器具についての運動学を選択および使用して、手術器具の物理的位置を決定してよい。

特定の例において、位置決定設備６０６は、手術器具の運動学および手術器具に関連する１つ以上の観察に基づいて手術器具の物理的位置を決定するために、無香カルマンフィルタ、粒子フィルタ、または他のベイズフィルタのような、非線形推定器を実装してよい。位置決定設備６０６は、非線形推定器への入力として、手術器具についての運動学および１つ以上の観察を提供することによって、これを行ってよく、非線形推定器は、入力を処理し、手術器具の決定された物理的位置を生成および出力してよい。

位置決定設備６０６によって決定されるような手術器具の物理的位置は、手術器具の任意の適切な部分（例えば、手術器具の遠位クレビスまたは器具先端）を表すことがある。特定の例において、位置決定設備６０６によって決定されるような手術器具の物理的位置は、ロボット手術システム１００のようなロボット手術システムについての世界３Ｄ空間内の３Ｄ位置を示すことがある。物理的位置は、任意の適切な方法で且つ／或いは任意の適切なデータフォーマットを使用して表されてよい。

図１１〜図１４は、訓練されたニューラルネットワーク、確率論的フレームワーク、およびフィルタを含む、トラッキングシステム６００の例示的な実装を図示している。そのような実装において、画像処理設備６０２は、訓練されたニューラルネットワークを実装してよく、関連付け設備６０４は、確率論的フレームワークを実装してよく、位置決定設備６０６は、無香カルマンフィルタまたは他のベイズフィルタであってよいフィルタを実装してよい。図１１〜図１４に示す実装は、手術器具の物理的位置を決定するために、様々な形態の内視鏡像および観察を使用するように構成されてよい。従って、図１１〜図１４は、トラッキングシステム６００(追跡システム)の例示的な実装に関連するデータフローを図示している。

図１１は、訓練されたニューラルネットワーク１１０２、確率論的フレームワーク１１０４、およびフィルタ１１０６を含む、例示的な実装１１００を図示している。図示のように、外科領域の内視鏡像１１０８は、ニューラルネットワーク１１０２に入力されてよく、ニューラルネットワーク１１０２は、内視鏡像１１０８に基づいて、本明細書に記載する方法のいずれかにおいて観察１１１０を決定してよい。次に、１つ以上の手術器具の観察１１１０および運動学１１１２は、確率論的フレームワーク１１０４に入力されてよく、確率論的フレームワークは、運動学に基づいて観察１１１０を特定の手術器具または偽陽性指定に関連付けるために使用されてよい。例えば、関連付け設備６０４は、運動学１１１２に基づいて、確率論的フレームワーク１１０４を使用して、観察１１１０についての潜在的な関連付けの確率を決定し、最も高い確率を有する関連付けを選択してよい。

観察１１１０が、確率論的フレームワーク１１０４を使用する特定の手術器具と関連付けられるとき、観察１１１０および関連する手術器具を表すデータ１１１４は、フィルタ１１０６への入力として使用するために出力されてよい。フィルタ１１０６は、外科領域における手術器具の物理的位置１１１８を決定して出力するために、関連する手術器具についての運動学１１１６および手術器具と関連する観察１１１０を表すデータ１１１４を受信して使用してよい。

図１２は、訓練されたニューラルネットワーク１２０２、確率論的フレームワーク１２０４、およびフィルタ１２０６を含む、例示的な実装１２００を図示している。図示の例では、内視鏡像が、ニューラルネットワーク１２０２に入力されることがある（互いに立体視の一対の２Ｄ画像であってよい）内視鏡像１２０８、例えば、左側内視鏡画像１２０８−Ｌおよび右側内視鏡画像１２０８−Ｒを含んでよい。ニューラルネットワーク１２０２は、内視鏡画像１２０８に基づいて、本明細書に記載する任意の方法で観察１２１０を決定してよい。図示のように、観察１２１０は、（「観察１２１２」と総称する）左側観察１２１２−Ｌおよび右側観察１２１２−Ｒを含んでよい。ニューラルネットワーク１２０２は、左側内視鏡画像１２０８−Ｌに基づいて左側観察１２１２−Ｌを決定し、右側内視鏡画像１２０８−Ｒに基づいて右側観察１２１２−Ｒを決定してよい。ニューラルネットワーク１２０２は、左側内視鏡画像１２０８−Ｌおよび右側内視鏡画像１２０８−Ｒを個別に、一度に１つずつ、或いは、並列に処理して、左側観察１２１２−Ｌおよび右側観察１２１２−Ｒを決定するように構成されてよい。

１つ以上の手術器具の観察１２１２および運動学１２１４は、確率論的フレームワーク１２０４に入力されてよく、それは運動学１２１４に基づいて観察１２１２の各々を特定の手術器具または偽陽性指定に関連付けるために使用されてよい。例えば、関連付け設備６０４は、運動学に基づいて、確率論的フレームワーク１２０４を使用して、観察１２１２の各々についての潜在的な関連付けの確率を決定し、観測１２１２の各々について、最も高い確率との潜在的な関連付けを選択してよい。

観察１２１２が、それぞれ、確率論的フレームワーク１２０４を使用して特定の手術器具に関連付けられるとき、観察１２１２および関連する手術器具を表すデータ１２１６が、フィルタ１２０６への入力としての使用のために出力されてよい。例えば、データ１２１６は、左側観察および関連する手術器具と、右側観察および関連する手術器具とを表してよく、データ１２１６は、フィルタ１２０６への入力としての使用のために出力されてよい。

フィルタ１２０６は、外科領域における手術器具の物理的位置１２２０を決定して出力するために、関連する手術器具についての運動学および手術器具と関連する観察１２１２を表すデータを受信して使用してよい。フィルタ１２０６は、一対の観察１２１２−Ｌおよび１２１２−Ｒをフィルタ１２０６への別個の独立した入力モデルとして使用することによることを含む、任意の適切な方法で、関連する手術器具についての観察１２１２および運動学１２１８に基づいて、手術器具の物理的位置１２２０を決定して、関連する手術器具の運動学１２１８（例えば、運動学ベースの位置）を補正してよい。これは、観察１２１２−Ｌおよび１２１２−Ｒを立体視画像として使用することと、観察１２１２−Ｌおよび１２１２−Ｒに対して１つ以上の立体マッチング操作(stereo matching operations)を実行して、観察１２１２−Ｌおよび１２１２−Ｒに描かれる表面の深さを決定し、観察１２１２−Ｌおよび１２１２−Ｒによって表されるような手術器具の３Ｄ画像ベースの位置（例えば、３Ｄ座標または３Ｄボックス、球体、楕円体などのボリューム）を生成することとを含んでよい。フィルタ１２０６は、生成された画像ベースの３Ｄ画像ベースの位置を使用して、運動学１２１８によって示される手術器具の運動学ベースの３Ｄ位置を補正して、世界３Ｄ空間内の物理的位置１２２０を決定してよい。

図示の例において、左側内視鏡画像１２０８−Ｌは、左側観察１２１２−Ｌを決定するために、ニューラルネットワーク１２０２によって右側内視鏡画像１２０８−Ｒとは独立して処理されてよく、左側観察１２１２−Ｒは、手術器具を左側観察１２１２−Ｌと関連付けるために、右側観察１２１２−Ｒとは独立して処理されよい。同様に、右側内視鏡画像１２０８−Ｒは、右側観察１２１２−Ｒを決定するために、左側内視鏡画像１２０８−Ｒから独立して処理されてよく、右側観察１２１２−Ｒは、手術器具を右側観察１２１２−Ｒと関連付けるために、左側観察１２１２−Ｌから独立して処理されてよい。左側観察１２１２−Ｌおよび右側観察１２１２−Ｒは、（独立した観測として）フィルタ１２０６に入力されて、観察１２１２および運動学１２１８に基づいて物理的位置１２２０を決定するためにフィルタ１２０６によって使用されてよい。

２Ｄ内視鏡画像のそのような独立した処理は、トラッキングシステム６００の特定の動作が、３Ｄデータの代わりに２Ｄデータを用いて実行されることを可能にすることによって計算資源を節約して、手術器具の推定される３Ｄ物理的位置１２２０を決定してよい。その上、フィルタ１２０６は、２つの観察１２１２のうちの１つが利用可能でないか或いは手術器具を描かないときでさえも、物理的位置１２２０を決定することができる。例えば、手術器具が左側内視鏡画像１２０８−Ｌ内に表されているが、（例えば、手術器具が組織によって右側カメラビューからブロックされていることの故に）右側内視鏡画像１２０８−Ｒ内に表されていないならば、左右両方の内視鏡画像１２０８−Ｌおよび１２０８−Ｒは、手術器具または偽陽性と関連付けられて、フィルタ１２０６に入力される、観察１２１２−Ｌおよび１２１２−Ｒを決定するために、ニューラルネットワーク１２０２によって処理されてよい。フィルタ１２０６は、右側観察１２１２−Ｒが手術器具と関連付けられていないとしても、観察１２１２−Ｌおよび１２１２−Ｒの両方を、手術器具の物理的位置１２２０を生成するための入力として処理してよい。代替的に、フィルタ１２０６は、（例えば、手術器具が左側カメラビューの視野内にあるが、組織によって右側カメラビューから遮断されていることの故に）、右側観察１２１２−Ｒが関連付け設備６０４によって手術器具と関連付けられていないときに、左側観察１２１２−Ｌのみを入力として使用し、右側観察１２１２−Ｒを入力として使用しないでよい。手術器具のフィルタ１２０６によって決定される物理的位置１２２０の正確性は、手術器具が内視鏡画像１２０８の１つのみに一時的に描かれているとしても、少なくとも幾らかの時間に亘って維持されることがある。

図１２は、１対の立体視画像１２０８−Ｌおよび１２０８−Ｒがニューラルネットワーク１２０２に入力され、ニューラルネットワーク１２０２がそれぞれの立体視画像１２０８−Ｌおよび１２０８−Ｒに基づいて１対の独立した観察１２１２−Ｌおよび１２１２−Ｒを決定する、実装１２００を図示している。他の実装では、トラッキングシステム６００が、他の形態の内視鏡像を処理し、且つ／或いは、他のフォーマットの他の観察を決定し、他のフォーマットの他の観察を使用して、手術器具の物理的位置を決定する、ように構成されてよい。例えば、システム６００の他の実装は、組み合わせ内視鏡画像を処理するように構成されてよく、組み合わせ内視鏡画像は、組み合わせ画像にスタックされた(積み重ねられた)一対の立体視内視鏡画像、または組み合わせ画像にスタックされた複数の内視鏡画像のシーケンス（例えば、２つ、３つ、またはそれよりも多くのビデオフレームのシーケンス）のような、集合体内視鏡画像に組み合わされた（例えば、スタックされた）複数の内視鏡画像を含んでよい。追加的または代替的に、システム６００の他の実装は、内視鏡像内に描かれる関心物体の３Ｄ画像ベースの位置を示す観察を決定するように構成されてよい。

図１３は、訓練されたニューラルネットワーク１３０２、確率論的フレームワーク１３０４、およびフィルタ１３０６を含む、例示的な実装１３００を図示している。図示の例では、内視鏡像が、互いに立体的である左側２Ｄ内視鏡画像１３０８−Ｌおよび右側２Ｄ内視鏡画像１３０８−Ｒを含んでよい。画像処理設備６０２が、内視鏡画像１３０８−Ｌおよび１３０８−Ｒを組み合わせて、組み合わせ内視鏡画像１３０８−Ｃを形成してよい。これは、画像処理設備６０２が内視鏡画像１３０８−Ｌおよび１３０８−Ｒをスタックさせて組み合わせ内視鏡画像１３０８−Ｃを形成することによるような、任意の適切な方法で実行されてよい。内視鏡画像１３０８−Ｌおよび１３０８−Ｒが、それぞれ、３チャネルのＲＧＢ画像を含むならば、例えば、画像処理設備６０２は、３チャネルのＲＧＢ画像をスタックさせて、６チャネルの組み合わせ画像を形成してよい。

画像処理設備６０２は、組み合わせ内視鏡画像１３０８−Ｃをニューラルネットワーク１３０２に入力してよく、ニューラルネットワーク１３０２は、組み合わせ内視鏡画像１３０８−Ｃに基づいて、本明細書に記載する方法のいずれかで観察１３１０を決定するように適切に構成されてよい。特定の例において、ニューラルネットワーク１３０２は、観察１３１０が、３Ｄ空間において、（例えば、関心物体を描く組み合わせ立体視画像を表す組み合わせ内視鏡画像１３０８−Ｃから関心物体の表面の深さ値を決定するために立体マッチング操作を実行することによって）組み合わせ内視鏡画像１３０８−Ｃで描かれる関心物体の３Ｄ画像ベースの位置を示すように、観察１３１０を決定するように構成されてよい。

代替的な実装において、画像処理設備６０２は、組み合わせ内視鏡画像１３０８−Ｃの代わりに内視鏡画像１３０８−Ｌおよび１３０８−Ｒを受信し、内視鏡画像１３０８−Ｌおよび１３０８−Ｒに対して立体マッチング操作を実行して、内視鏡画像１３０８−Ｌおよび１３０８−Ｒから関心物体の表面についての深さ値を決定してよい。決定される深さ値を使用して、ニューラルネットワーク１３０２は、観察１３１０が、３Ｄ空間において、関心物体の３Ｄ画像ベースの位置を示すように、観察１３１０を決定してよい。

次に、１つ以上の手術器具の観察１３１０および運動学１３１２は、次に、確率論的フレームワーク１３０４に入力されてよく、確率論的フレームワーク１３０４は、運動学に基づいて、例えば、関連付け設備６０４が、運動学１３１２に基づいて、確率論的フレームワーク１３０４を使用して、観察１３１０についての潜在的な関連付けの確率を決定し、最も高い確率を有する関連付けを選択することによって、観察１３１０を特定の手術器具または偽陽性指定に関連付けるために使用されてよい。観察１３１０は、３Ｄ空間内の関心物体の３Ｄ画像ベースの位置を示すので、関連付け設備６０４は、３Ｄ空間データを使用して特定の操作を実行することがある。例えば、関連付け設備６０４は、３Ｄ空間内の１つ以上の手術器具の１つ以上の３Ｄ運動学ベースの位置に対する３Ｄ空間内の関心物体の３Ｄ画像ベースの位置を分析してよく、３Ｄ運動学ベースの位置は、運動学１３１２によって示される。関連付け設備６０４は、分析の結果（例えば、決定された距離）を使用して、観察１３１０についての潜在的な関連付けの確率を決定してよい。

観察１３１０が、確率論的フレームワーク１３０４を使用して特定の手術器具に関連付けられるときに、観察１３１０および関連する手術器具を表すデータ１３１４が、フィルタ１３０６への入力としての使用のために出力されてよい。フィルタ１３０６は、関連する手術器具についての運動学１３１６および手術器具と関連付けられる観察１３１０を表すデータ１３１４にアクセスして使用して、外科領域における手術器具の物理的位置１３１８を決定して出力してよい。観察１３１０は、３Ｄ空間における関心物体の３Ｄ画像ベースの位置を示すので、フィルタ１３０６は、３Ｄ空間データを使用して特定の操作を実行してよい。例えば、フィルタ１３０６は、観察１３１０によって示されるような関心物体の３Ｄ画像ベースの位置で運動学１３１６によって示されるような手術器具の３Ｄ運動学ベースの位置を調整することによって手術器具の物理的位置１３１８を決定して、ロボット手術システムと関連付けられるグローバル３Ｄ空間のような３Ｄ空間における手術器具の３Ｄ物理的位置を決定してよい。

三次元空間内で特定の操作を実行することによって、実装１３００は、特に手術器具の深さに関して、手術器具の非常に正確な物理的位置１３１８を決定することがある。追加的または代替的に、観察１３１０によって示される３Ｄ画像ベースの位置を使用することによって、実装１３００は、手術器具の物理的位置１３１８を決定するために実行される２Ｄから３Ｄ空間への多数の並進を最小限に抑えることがある。

図１４は、訓練されたニューラルネットワーク１４０２、確率論的フレームワーク１４０４、およびフィルタ１４０６を含む、例示的な実装１４００を図示している。図示の例では、内視鏡像が、内視鏡画像１４０８−Ｔ１、１４０８−Ｔ２、および１４０８−Ｔ３のような、経時的に取り込まれる内視鏡画像のシーケンス（例えば、ビデオフレームのシーケンス）を含んでよい。画像処理設備６０２は、内視鏡画像１４０８−Ｔ１、１４０８−Ｔ２、および１４０８−Ｔ３を組み合わせて、組み合わせ内視鏡画像１４０８−Ｃを形成してよい。これは、内視鏡画像１４０８−Ｔ１、１４０８−Ｔ２、および１４０８−Ｔ３をスタックさせて、組み合わせ内視鏡画像１４０８−Ｃを形成することによるような、任意の適切な方法で実行されてよい。内視鏡画像１４０８−Ｔ１、１４０８−Ｔ２、および１４０８−Ｔ３が、それぞれ、３チャネルのＲＧＢ画像を含むならば、例えば、画像処理設備６０２は、３チャネルのＲＧＢ画像をスタックさせて、９チャネルの組み合わせ画像を形成することがある。

画像処理設備６０２は、組み合わせ内視鏡画像１４０８−Ｃをニューラルネットワーク１４０２に入力してよく、ニューラルネットワーク１４０２は、組み合わせ内視鏡画像１４０８−Ｃに基づいて、本明細書に記載する方法のいずれかで観察１４１０を決定するように適切に構成されてよい。特定の例において、ニューラルネットワーク１４０２は、観察１４１０が組み合わせ内視鏡画像１４０８−Ｃに描かれる関心物体の画像ベースの位置を示すように、観察１４１０を決定するように構成されてよい。ニューラルネットワーク１４０２は、異なる時間に取り込まれる内視鏡画像のシーケンスを表す組み合わせ内視鏡画像１４０８−Ｃから、関心物体の動き（例えば、速度、加速度など）を識別し、識別された動きを使用して関心物体の画像ベースの位置を決定する、ように構成されてよい。幾つかの例において、これは、認識された動きを使用して、関心物体の表面についての深さ点を決定し、関心物体の３Ｄ画像ベースの位置を決定することを含んでよく、それは（例えば、手術器具が１つだけのカメラの視野内にあるときに）同じ眺望の利く地点から取り込まれる２Ｄ画像のシーケンスから深さを推定するために特に有用なことがある。動きベースの手がかりの使用は、関心物体の画像ベースの位置の正確性に寄与することがある。関心物体の画像ベースの位置は、本明細書に記載するような、２Ｄまたは３Ｄ画像ベースの位置を含んでよい。

次に、１つ以上の手術器具の観察１４１０および運動学１４１２は、確率論的フレームワーク１４０４に入力されてよく、

確率論的フレームワーク１４０４は、運動学に基づいて、例えば、関連付け設備６０４が、運動学に基づいて、確率論的フレームワーク１４０４を使用して、観察１４１０のための潜在的な関連付けの確率を決定し、最も高い確率を有する関連付けを選択することによって、観察１４１０を特定の手術器具または偽陽性指定に関連付けるために使用されてよい。

観察１４１０が、確率論的フレームワーク１４０４を使用して特定の手術器具に関連付けられるとき、観察１４１０および関連する手術器具を表すデータ１４１４は、フィルタ１４０６への入力としての使用のために出力されてよい。フィルタ１４０６は、関連する手術器具についての運動学および手術器具と関連付けられる観察１４１０を表すデータ１４１４にアクセスして使用して、外科領域における手術器具の物理的位置１４１８を決定して出力してよい。

図１１〜図１４は、様々な形態の内視鏡画像を処理し且つ／或いは様々な観察を決定するように構成されるトラッキングシステム６００の例示的な実装を図示しているが、例は、例示的である。他の実装は、他の形態の像（例えば、他の形態の内視鏡像および／または非内視鏡像）を処理し且つ／或いは他の適切な観察を決定するように構成されてよい。この目的を達成するために、ニューラルネットワークは、特定の実装に適合するように適切に構成されてよい。

本明細書に記載するような手術器具をトラッキングするために手術器具の画像ベースの観察および動力学の組み合わせを使用することによって、特定の技術的な利益が、トラッキングシステム６００によって提供されることがある。例えば、手術器具がトラッキングされる精度、正確性、効率、および／または信頼性は、画像ベースのトラッキングのみまたは動力学ベースのトラッキングのみを使用することと比較して改良されることがある。例えば、手術器具の動力学によって示される動力学ベースの位置は、特定のレベルの正確性まで（例えば、約１センチメートル内まで）手術器具の物理的位置を決定するために使用されてよい。本明細書に記載するような観察によって示される画像ベースの位置で手術器具の動力学ベースの位置を補正することによって、手術器具の物理的位置が決定されることがあり、（例えば、約１ミリメートル内まで）改良されたレベルの正確性を有することがある。

図１５は、手術器具の決定された物理的位置のそのように改良されたレベルの正確性の例を図示している。図１５は、外科領域の内視鏡画像１５００を示している。内視鏡画像１５００は、外科領域に配置された手術器具１５０２を描いている。運動学のみに基づいて決定される手術器具１５０２の物理的位置に関連する正確性のレベルを図示するために、インジケータ１５０４（例えば、楕円体を図示する楕円）が、内視鏡画像１５００上にオーバーレイされ、インジケータ１５０４によって覆われる大きさ(サイズ)および／または領域(面積)によって、手術器具１５０２の運動学ベースの位置についての正確性のレベルを示している。運動学および１つ以上の画像ベースの観察の両方に基づいて決定される手術器具１５０２の物理的位置と関連付けられる改良されたレベルの正確性を図示するために、インジケータ１５０６（例えば、球体を表す円）が、内視鏡画像１５００上にオーバーレイされ、インジケータ１５０６によって覆われる大きさ(サイズ)および／または領域(面積)によって、本明細書に記載するような運動学および１つ以上の画像ベースの観察の両方に基づいて決定される手術器具１５０２の物理的位置についての正確性のレベルを示している。

特定の実施形態において、トラッキングシステム６００は、内視鏡像を選択的に取り込んで使用して、手術器具をトラッキングするように構成されてよい。例えば、トラッキングシステム６００は、手術器具についての運動学を使用して、内視鏡像をいつ取り込んで使用して手術器具をトラッキングするかを選択するように構成されてよい。例示のために、トラッキングシステム６００は、内視鏡像を選択的に使用して、手術器具についての運動学によって示されるような手術器具の動きに応答して、および／または内視鏡の運動学によって示されるような内視鏡の向き、角度、位置、または他の特性の変化に応答して、手術器具をトラッキングしてよい。従って、トラッキングシステム６００は、画像ベースの観察を伴わない運動学のみを使用する手術器具のトラッキングと、本明細書に記載するような運動学および画像ベースの観察を使用する手術器具のトラッキングとの間で切り替わるように構成されてよい。そのような実装は、トラッキングシステム６００および／またはロボット手術システムの資源（例えば、計算資源、エネルギなど）を節約することがある。

本明細書に記載するような手術器具のトラッキングは、ロボット手術システムの１つ以上の利益を提供することがある。例えば、本明細書に記載するような手術器具のトラッキングは、ロボット手術システムの１つ以上の構成を容易にすることがある。特定の実装では、本明細書に記載されるように決定される手術器具の物理的位置の正確性のレベルが、高レベルの正確性を必要とするロボット手術システムの特定の構成を容易にすることがある。

一例として、本明細書に記載するような手術器具のトラッキングは、
手術器具の物理的位置に対する或いは手術器具によって触れられた特定の組織の物理的位置に対して特定のユーザインタフェースコンテンツ（例えば、グラフィックス、アイコン、インジケータなど）をディスプレイスクリーン上に配置するために、ロボット手術システムによって使用されてよい。例示のために、ロボット手術システムは、外科医または他の外科チーム構成員の眺望(ビュー)から手術器具を不明瞭にすることなく、手術器具の先端に近接してユーザインタフェースコンテンツを位置付ける方法において、ディスプレイスクリーン上で、ユーザインタフェースコンテンツを手術器具の視覚的表現と並置することがある。例えば、インジケータは、外科医が手術器具のすぐ近傍から目を離すことを要求することなく、インジケータを外科医に容易に見えるようにする方法で、外科医に手術モード（例えば、焼灼術のための高エネルギモード）を示すように配置されてよく、或いは、インジケータは、どの組織がプローブによって既に分析されたかを外科医が見るのを助けるために、プローブによって既に触れられた特定の組織を示すように配置されてよい。外科チームに、よって、患者に利益を提供することがある、ユーザインタフェースコンテンツのそのような厳密な配置は、本明細書に記載するような手術器具の物理的位置の正確な決定によって容易にされることがある。

他の例として、本明細書に記載するような手術器具のトラッキングは、手術器具および／またはロボットアームの衝突を警告または防止し、（例えば、組織の表面点に体系的に触れるように癌プローブのようなプローブの動きを自動化すること、手術ツールの動きに基づいて内視鏡の動きを自動化することなどによって）ロボット手術システムが手術器具の特定の動きを制御することがあるように、手術器具の動きを自動化し、（例えば、外科処置の規定されたセグメントが実行されているときを認識することによって）手術セッション中に実行されている特定のタスクを認識し、長い運動連鎖および／または手術器具の可撓性シャフト（例えば、シングルポートエントリシステムで使用される可撓性シャフト）の撓みによって導入される不正確性のような、手術器具の運動学の不正確性を補正し、且つ（例えば、手術器具を内視鏡の視野内に移動させること、およびシーンの１つ以上の画像から抽出される情報を用いて手術器具を較正することによって）手術器具および／またはロボットアームを較正するために、ロボット手術システムによって使用されてよく、それは従来的な較正技術と比較して較正のためのワークフローが改良することがある。これらの例は、例示に過ぎない。本明細書に記載するような手術器具のトラッキングは、任意の他の適切な方法でロボット手術システムによって使用されてよい。

特定の例において、内視鏡像は、カメラ（例えば、内視鏡のカメラ）と別個の患者側システム（例えば、別個の患者側カート）に取り付けられるロボットアームとの間のカメラ−アーム位置合わせ(レジストレーション)のために（例えば、トラッキングシステム６００によって）使用されてよい。内視鏡よび手術器具が同じ患者側カートのロボットアームに取り付けられる上述のような実装では、内視鏡と手術器具とを接続する運動連鎖が知られており、知られている運動連鎖に基づく内視鏡および手術器具の運動学は、本明細書に記載するように器具の位置をトラッキングするためにトラッキングシステム６００によってアクセスされて使用されてよい。しかしながら、内視鏡および手術器具が別個の接続されていない患者側カートのロボットアームに取り付けられる他の実装では、内視鏡と手術器具とを接続する完全な運動連鎖は知られていない。何故ならば、患者側カート間の運動連鎖のリンクが知られていないからである。すなわち、患者側カート間の物理的関係は知られておらず、従って、トラッキングシステム６００によってアクセス可能でない。別個の患者側カートを有するそのような実装において、トラッキングシステム６００は、内視鏡によって取り込まれる内視鏡像を使用して、１つの患者側カートに取り付けられる手術器具を別の患者側カートに取り付けられる内視鏡と位置合わせする(レジストレーションする)位置合わせプロセス(レジストレーションプロセス)を実行するように構成されてよい。トラッキングシステム６００は、位置合わせプロセスを（例えば、較正、セットアップ手順、または他の初期位置合わせの一部として）一度および／または（例えば、様々な運動学的誤差を有することがある物理的位置の変化を考慮するために）初期位置合わせを精緻化するために且つ／或いは患者側カート位置の物理的調整（例えば、患者側カートの術中調整）を考慮するために初期位置合わせ後に定期的または継続的に実行するように構成されてよい。

位置合わせプロセスを実行するために、トラッキングシステム６００は、外科領域の内視鏡像に基づいて、訓練されたニューラルネットワークを使用して、手術器具の場所（例えば、左右の内視鏡画像における手術器具シャフトの場所）を決定してよい。特定の例において、これは、訓練されたニューラルネットワークを使用して内視鏡像に描かれる関心物体の観察を決定すること、任意の適切な方法（例えば、物体認識）において関心物体についての観察を手術器具に関連付けること、および手術器具の場所（例えば、画像ベースの位置）を決定することを含むことがある。

次に、トラッキングシステム６００は、手術器具のモデル（例えば、手術器具のシャフトのモデル）を手術器具の決定された場所（例えば、左右の内視鏡画像中の手術器具シャフトの場所）に適合させるために、制約付き最適化(constrained optimization)を実行してよい。トラッキングシステム６００は、患者側カートが配置される床の平面上の回転および並進である解決策のみを探索するための最適化を制約するように構成されてよい。この制約付き最適化は、全ての６自由度で実行される伝統的な最適化よりも速いおよび／または正確なの結果をもたらすことがある。

トラッキングシステム６００は、一度に１つの手術器具について、或いは複数の器具について同時に、位置合わせプロセスを実行してよい。単一の手術器具が単一の患者側カートに取り付けられ、且つ／或いは単独で装着または位置合わせされるならば、手術器具への観察の関連付けは、単純であることがある。２つ以上の手術器具が、それぞれ、別個の患者側カートに搭載され、且つ／或いは同時に装着または登録されるならば、トラッキングシステム６００は、内視鏡像から決定される観察を、本明細書に記載するような確率論的フレームワークの使用することによることを含む任意の適切な方法で、手術器具に関連付けるように構成されてよい。

位置合わせプロセスは、別個の患者側カートに取り付けられる内視鏡と手術器具とを接続する運動連鎖における欠落リンクを決定するために、トラッキングシステム６００によって使用されてよい。トラッキングシステム６００は、患者側カート間の推定される物理的関係を定義する変換として欠落リンクを表してよい。変換は、１つの患者側カートの基準フレームから別の患者側カートの基準フレームにデータ点を変換するよう（例えば、１つの患者側カートの座標系から別の患者側カートの座標系に座標点を変換するよう）適用されてよい回転および並進を定義してよい。

トラッキングシステム６００は、完全な運動連鎖が知られており、トラッキングシステム６００にアクセス可能であるように、別個の患者側カートに取り付けられる手術器具と内視鏡とを接続する運動連鎖を完成するために、欠落リンクを使用してよい。次に、トラッキングシステム６００は、内視鏡および／または手術器具の運動学を使用して、本明細書に記載するように手術器具の位置をトラッキングしてよい。例えば、トラッキングシステム６００は、本明細書に記載するように内視鏡像を使用して、手術器具の運動学的位置を補正してよい。

特定の例において、本明細書に記載するようなニューラルネットワークの使用は、従来的なコンピュータビジョン技術を超える１つ以上の利点を提供することがある。例えば、本明細書に記載するように、内視鏡像に描かれる関心物体についての観察を決定するためのニューラルネットワークの使用は、従来的なコンピュータビジョン技術（例えば、像から特定の特徴を抽出するアルゴリズムが手作業で工作される従来的な純粋なビジョンアプローチ）よりも有意に速いおよび／または正確であることがある。手術器具の遠位クレビスについての観察を決定するためのニューラルネットワークの特定の実装は、従来的なマーカベースのコンピュータビジョン技術の約１０倍速い（例えば、１Ｈｚと比較して１０Ｈｚの速さである）ことが見出されている。

ニューラルネットワークは、本明細書で使用されるとき、入力層、任意の適切な数の隠れ層(hidden layers)、および出力層を含んでよい。ニューラルネットワーク内に複数の隠れ層が含まれる例示的な実装において、複数の隠れ層は、任意の適切な方法で層状にされてよい。複数の隠れ層を含むニューラルネットワークは、「深層ニューラルネットワーク(deep neural network」と呼ばれることがある。

ニューラルネットワークを含むおよび／または使用する例示的な実装が本明細書に記載されるが、代替的な実装は、物体検出および／または分類のために内視鏡像から特定の特徴を抽出する方法を学習するように構成された他の適切な機械学習モデルを使用してよい。

図１６は、ロボット操作手術器具の位置をトラッキングする例示的な方法１６００を図示している。図１６は、１つの実施形態に従った例示的な操作(動作)を図示しているが、他の実施形態は、図１６に示す操作のいずれかを省略、追加、順序変更、および／または修正してよい。図１６に示す操作(動作)の１つ以上は、システム６００のようなトラッキングシステム、その中に含まれる任意のコンポーネント(構成要素)、および／またはそれらの任意の実装によって実行されてよい。

操作１６０２では、トラッキングシステムが、外科領域の内視鏡像に基づいて、訓練されたニューラルネットワークを使用して、内視鏡像に描かれる関心物体についての観察を決定してよい。操作１６０２は、本明細書に記載する任意の方法で実行されてよい。

操作１６０４において、トラッキングシステムは、確率論的フレームワークおよび外科領域に位置するロボット操作手術器具の運動学に基づいて、関心物体についての観察をロボット操作手術器具に関連付けてよい。操作１６０４は、本明細書に記載する任意の方法で実行されてよい。

操作１６０６において、トラッキングシステムは、ロボット操作手術器具の運動学およびロボット操作手術器具と関連付けられる観察に基づいて、外科領域におけるロボット操作手術器具の物理的位置を決定してよい。動作１６０６は、本明細書に記載する方法のうちのいずれかで実行されてよい。

図１７は、ロボット操作手術器具の位置をトラッキングする別の例示的な方法１７００を図示している。図１７は、１つの実施形態に従った例示的な動作を図示するが、他の実施形態は、図１７に示す動作のうちのいずれかを省略、追加、順序変更、および／または修正してよい。図１７に示す動作のうちの１つ以上は、システム６００のようなトラッキングシステム、その中に含まれる任意のコンポーネント、および／またはそれらの任意の実装によって実行されてよい。

動作１７０２では、トラッキングシステムが、外科領域の内視鏡像に基づいて、訓練されたニューラルネットワークを使用して、内視鏡像に描かれる関心物体についての観察を決定してよい。動作１７０２は、本明細書に記載する方法のうちのいずれかにおいて実行されてよい。

操作１７０４において、トラッキングシステムは、外科領域に位置するロボット操作手術器具の運動学に基づいて、関心物体についての観察を、ロボット操作手術器具または偽陽性指定に関連付けてよい。操作１７０４は、本明細書に記載する方法のうちのいずれかで実行されてよい。

操作１７０６では、関心物体についての観察が操作１７０４におけるロボット操作手術器具と関連付けられるときに、トラッキングシステムは、ロボット操作手術器具の運動学およびロボット操作手術器具と関連付けられる観察に基づいて、外科領域におけるロボット操作手術器具の物理的位置を決定してよい。操作１７０６は、本明細書に記載する方法のうちのいずれかで実行されてよい。

操作１７０８では、関心物体についての観察が手術１７０４における偽陽性指定と関連付けられるときに、トラッキングシステムは、観察を使用して外科領域におけるロボット操作手術器具の物理的位置を決定することを控えてよい。操作１７０６は、本明細書に記載する方法のうちのいずれかで実行されてよい。

特定の実施形態において、本明細書に記載するシステム、コンポーネント、および／またはプロセスのうちの１つ以上は、１つ以上の適切に構成されたコンピューティングデバイスによって実装および／または実行されてよい。この目的を達成するために、上述のシステムおよび／またはコンポーネントのうちの１つ以上は、本明細書に記載するプロセスのうちの１つ以上を実行するように構成された少なくとも１つの非一時的なコンピュータ可読媒体に具現された任意のコンピュータハードウェアおよび／またはコンピュータ実装命令（例えば、ソフトウェア）を含んでよく、或いはそれらによって実装されてよい。特に、システムコンポーネントは、１つの物理的コンピューティングデバイスに実装されてよく、或いは１つよりも多くの物理的コンピューティングデバイスに実装されてよい。従って、システムコンポーネントは、任意の数のコンピューティングデバイスを含んでよく、多数のコンピュータオペレーティングシステムのうちのいずれかを使用してよい。

特定の実施形態において、本明細書に記載するプロセスのうちの１つ以上は、少なくとも部分的に、非一時的なコンピュータ可読媒体に具現され且つ１つ以上のコンピューティングデバイスによって実行可能な命令として実装されてよい。一般的に、プロセッサ（例えば、マイクロプロセッサ）は、非一時的なコンピュータ可読媒体（例えば、メモリなど）から命令を受信し、それらの命令を実行し、それによって、本明細書に記載するプロセスのうちの１つ以上を含む１つ以上のプロセスを実行する。そのような命令は、様々な既知のコンピュータ可読媒体のいずれかを用いて格納および／または送信されてよい。

（プロセッサ可読媒体とも称される）コンピュータ可読媒体は、コンピュータによって（例えば、コンピュータのプロセッサによって）読み取られることがあるデータ（例えば、命令）を提供することに関与する任意の非一時的な媒体を含む。そのような媒体は、非限定的に、不揮発性媒体および／または揮発性媒体を含む、多くの形態を取ってよい。不揮発性媒体は、例えば、光学または磁気ディスクおよび他の持続性メモリを含んでよい。揮発性媒体は、例えば、典型的には、メインメモリを構成する、ダイナミックランダムアクセスメモリ（「ＤＲＡＭ」）を含んでよい。コンピュータ可読媒体の一般的な形態は、例えば、ディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、コンパクトディスク読取専用メモリ（「ＣＤ−ＲＯＭ」）、デジタルビデオディスク（「ＤＶＤ」）、任意の他の光学媒体、ランダムアクセスメモリ（「ＲＡＭ」）、プログラマブル読取専用メモリ（「ＰＲＯＭ」）、電気的に消去可能なプログラマブル読取専用メモリ（「ＥＰＲＯＭ」）、ＦＬＡＳＨ（登録商標）−ＥＥＰＲＯＭ、任意の他のメモリチップもしくはカートリッジ、またはコンピュータが読み取ることができる任意の他の有形媒体を含む。

図１８は、本明細書に記載するプロセスのうちの１つ以上を実行するために特に構成されてよい例示的なコンピューティングデバイス１８００を図示している。図１８に示すように、コンピューティングデバイス１８００は、通信インタフェース１８０２と、プロセッサ１８０４と、格納デバイス１８０６と、通信インフラストラクチャ１８１０を介して通信的に接続される入出力（「Ｉ／Ｏ」）モジュール１８０８とを含んでよい。例示的なコンピューティングデバイス１８００が図１８に示されているが、図１８に図示するコンポーネントは、限定的であることを意図しない。他の実施形態では、追加的なまたは代替的なコンポーネントが使用されてよい。次に、追加的な詳細において、図１８に示すコンピューティングデバイス１８００のコンポーネントを記載する。

通信インタフェース１８０２は、１つ以上のコンピューティングデバイスと通信するように構成されてよい。通信インタフェース１８０２の例は、（ネットワークインタフェースカードのような）有線ネットワークインタフェース、（無線ネットワークインタフェースカードのような）無線ネットワークインタフェース、モデム、オーディオ／ビデオ接続、および任意の他の適切なインタフェースを含むが、これらに限定されない。

プロセッサ１８０４は、一般的に、データを処理することができる、或いは、本明細書に記載する命令、プロセス、および／または操作のうちの１つ以上の実行を解釈、実行、および／または指示することができる、任意のタイプまたは形態の処理ユニットを表す。プロセッサ１８０４は、１つ以上のアプリケーション１８１２または格納デバイス１８０６もしくは他のコンピュータ可読媒体に記格納されることがあるような他のコンピュータ実行可能命令に従って動作の実行を指示してよい。

格納デバイス１８０６は、１つ以上のデータ記憶媒体、デバイス、または構成を含んでよく、任意のタイプ、形態および組み合わせのデータ格納媒体および／またはデバイスを利用してよい。例えば、格納デバイス１８０６は、ハードドライブ、ネットワークドライブ、フラッシュドライブ、磁気ディスク、光ディスク、ＲＡＭ、ダイナミックＲＡＭ、他の不揮発性および／または揮発性データ格納ユニット、またはそれらの組み合わせもしくはサブコンビネーションを含んでよいが、これらに限定されない。本明細書に記載するデータを含む電子データは、格納デバイス１８０６に一時的におよび／または持続的に格納されてよい。例えば、本明細書に記載する動作のうちのいずれかを実行するようにプロセッサ１８０４に指示するように構成される１つ以上の実行可能なアプリケーション１８１２を表すデータが、格納デバイス１８０６に格納されてよい。幾つかの例において、データは、格納デバイス１８０６内に存在する１つ以上のデータベースに配置されてよい。

Ｉ／Ｏモジュール１８０８は、ユーザ入力を受信して、ユーザ出力を提供するように構成された、１つ以上のＩ／Ｏモジュールを含んでよい。１つ以上のＩ／Ｏモジュールは、単一の仮想現実体験のための入力を受信するために使用されてよい。Ｉ／Ｏモジュール１８０８は、入力能力および出力能力をサポートする任意のハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせを含んでよい。例えば、Ｉ／Ｏモジュール１８０８は、キーボードまたはキーパッド、タッチスクリーンコンポーネント（例えば、タッチスクリーンディスプレイ）、受信器（例えば、ＲＦまたは赤外線受信器）、運動センサ、および／または１つ以上の入力ボタンを含むが、これらに限定されない、ユーザ入力を取り込むためのハードウェアおよび／またはソフトウェアを含んでよい。

Ｉ／Ｏモジュール１８０８は、グラフィックスエンジン、ディスプレイ（例えば、ディスプレイスクリーン）、１つ以上の出力ドライバ（例えば、ディスプレイドライバ）、１つ以上のオーディオスピーカ、および１つ以上のオーディオドライバを含むが、これらに限定されない、出力をユーザに提示するための１つ以上のデバイスを含んでよい。特定の実施形態において、Ｉ／Ｏモジュール１８０８は、ユーザへの提示のために、ディスプレイにグラフィカルデータを提供するように構成される。グラフィカルデータは、１つ以上のグラフィカルユーザインタフェースおよび／または特定の実装に役立つことがあるような任意の他のグラフィカルコンテンツを表してよい。

幾つかの例において、本明細書に記載する設備のうちのいずれかは、コンピューティングデバイス１８００の１つ以上のコンポーネントによって或いはそれらの中で実装されてよい。例えば、格納デバイス１８０６内に存在する１つ以上のアプリケーション１８１２は、システム６００の設備６０２乃至６０６と関連付けられる１つ以上のプロセスまたは機能を実行するようにプロセッサ１８０４に指示するように構成されてよい。同様に、システム６００の格納デバイス６０８は、格納デバイス１８０６またはそのコンポーネントによって実装されてよい。

先行する記述では、添付の図面を参照して様々な例示的な実施形態を記載した。しかしながら、後続の特許請求の範囲に示す本発明の範囲から逸脱することなく、様々な修正および変更がそれらに対して行われてよく、追加的な実施形態が実装されてよいことが明らかであろう。例えば、本明細書に記載する１つの実施形態の特定の構成は、本明細書に記載する別の実施形態の構成と組み合わされてよく、或いは置換されてよい。従って、本記述および図面は、限定的な意味ではなく例示的な意味で考えられるべきである。

Claims (15)

1. 命令を格納するメモリと、
   該メモリに通信的に連結されるプロセッサとを含み、
   該プロセッサは、前記命令を実行して、
   外科領域の像に基づいて、該像に描かれる関心物体についての観察を決定し、
   ロボット操作手術器具の運動学に基づいて、前記外科領域に位置する前記ロボット操作手術器具への前記観察の関連付けの確率を決定し、
   該確率に基づいて、前記関心物体についての前記観察を前記ロボット操作手術器具に関連付け、
   前記ロボット操作手術器具の前記運動学および前記ロボット操作手術器具と関連付けられる前記観察に基づいて、前記外科領域における前記ロボット操作手術器具の物理的位置を決定する、
   ように構成される、
   手術器具トラッキングシステム。
2. 前記像は、左側内視鏡画像と、該左側内視鏡画像と共に立体視である右側内視鏡画像とを含み、
   前記関心物体についての前記観察は、前記関心物体についての左側観察および右側観察を含み、
   前記プロセッサは、前記命令を実行して、
   訓練されたニューラルネットワークを使用することによって、前記関心物体についての前記観察を決定して、前記左側内視鏡画像に基づいて前記関心物体についての前記左側観察を決定し、前記右側内視鏡画像に基づいて前記関心物体についての前記右側観察を決定し、
   前記左側観察を前記ロボット操作手術器具に関連付け、前記右側観察を前記ロボット操作手術器具に関連付けることによって、前記関心物体についての前記観察を前記ロボット操作手術器具に関連付け、
   前記左側観察および前記右側観察を使用して三次元（３Ｄ）空間内の前記関心物体の３Ｄ位置を決定し、該３Ｄ空間内の前記関心物体の前記３Ｄ位置に基づいて前記３Ｄ空間内の前記ロボット操作手術器具の３Ｄ運動学ベースの位置を調整することによって、前記外科領域における前記ロボット操作手術器具の前記物理的位置を決定する、
   ように構成される、
   請求項１に記載の手術器具トラッキングシステム。
3. 前記像は、左側内視鏡画像と、該左側内視鏡画像と共に立体視である右側内視鏡画像とを含み、
   前記プロセッサは、前記命令を実行して、前記左側内視鏡画像および前記右側内視鏡画像を立体適合させ、訓練されたニューラルネットワークを使用することによって前記関心物体についての前記観察を決定して、前記立体適合される左側内視鏡画像および右側内視鏡画像に基づいて前記関心物体についての前記観察を決定する、ように構成される、
   請求項１に記載の手術器具トラッキングシステム。
4. 前記像は、組み合わせ内視鏡画像を含み、
   前記プロセッサは、前記命令を実行して、
   第１の内視鏡画像と、該第１の内視鏡画像に対して立体視である第２の内視鏡画像とを組み合わせることによって、前記組み合わせ内視鏡画像を生成し、
   訓練されたニューラルネットワークを使用することによって前記関心物体について前記観察を決定して、前記組み合わせ内視鏡画像に基づいて、三次元（３Ｄ）空間内の前記関心物体の３Ｄ画像ベースの位置を決定し、
   前記３Ｄ空間内の前記関心物体の前記３Ｄ画像ベースの位置に基づいて前記３Ｄ空間内の前記ロボット操作手術器具の３Ｄ運動学ベースの位置を調整することによって、前記外科領域における前記ロボット操作手術器具の前記物理的位置を決定する、
   ように構成される、
   請求項１に記載の手術器具トラッキングシステム。
5. 前記像は、組み合わせ内視鏡画像を含み、
   前記プロセッサは、前記命令を実行して、
   内視鏡ビデオフレームのシーケンスに含まれる複数の内視鏡画像を組み合わせることによって前記組み合わせ内視鏡画像を生成し、
   訓練されたニューラルネットワークを使用することによって前記関心物体についての前記観察を決定して、前記組み合わせ内視鏡画像に基づいて三次元（３Ｄ）空間内の前記関心物体の３Ｄ画像ベースの位置を決定し、
   前記３Ｄ空間内の前記関心物体の前記３Ｄ画像ベースの位置に基づいて前記３Ｄ空間内の前記ロボット操作手術器具の３Ｄ運動学ベースの位置を調整することによって、前記外科領域における前記ロボット操作手術器具の前記物理的位置を決定する、
   ように構成される、
   請求項１に記載の手術器具トラッキングシステム。
6. 前記プロセッサは、前記命令を実行して、前記組み合わせ内視鏡画像に基づいて、前記組み合わせ内視鏡画像から識別される前記関心物体の動きに少なくとも部分的に基づく前記３Ｄ空間内の前記関心物体の前記３Ｄ画像ベースの位置を決定するように構成される、請求項５に記載の手術器具トラッキングシステム。
7. 前記プロセッサは、前記命令を実行して、前記観察によって示される前記関心物体の画像ベースの位置に基づいて前記ロボット操作手術器具の運動学ベースの位置を調整することによって、前記外科領域における前記ロボット操作手術器具の前記物理的位置を決定するように構成される、請求項１、３および４のうちのいずれか１項に記載の手術器具トラッキングシステム。
8. 前記プロセッサは、前記命令を実行して、
   前記外科領域における前記像に基づいて、前記像に描かれる追加的な関心物体についての追加的な観察を決定し、
   前記ロボット操作手術器具の前記運動学に基づいて前記外科領域に位置する前記ロボット操作手術器具への前記追加的な観察の関連付けの確立を決定し、
   前記ロボット操作手術器具への前記追加的な観察の前記関連付けの前記確率に基づいて、前記追加的な関心物体についての前記追加的な観察を偽陽性指定に関連付け、
   前記ロボット操作手術器具の前記物理的位置を決定するために前記追加的な関心物体についての前記追加的な観察を使用することを控える、
   ように構成される、
   請求項１〜７のうちのいずれか１項に記載の手術器具トラッキングシステム。
9. 前記プロセッサは、前記命令を実行して、
   前記ロボット操作手術器具への前記関心物体についての前記観察の関連付けについての第１の確率を決定し、
   偽陽性指定への前記関心物体についての前記観察の関連付けについての第２の確率を決定し、
   前記第１の確率が前記第２の確率よりも高いことを決定し、
   前記第１の確率が前記第２の確率よりも高いという前記決定に応答して、前記関心物体についての前記観察を前記ロボット操作手術器具に関連付けることによって、
   前記関心物体についての前記観察を前記ロボット操作手術器具に関連付ける、
   ように構成される、
   請求項１〜８のうちのいずれか１項に記載の手術器具トラッキングシステム。
10. 前記プロセッサは、前記命令を実行して、
    前記外科領域の前記像に基づいて、前記像に描かれる追加的な関心物体についての追加的な観察を決定し、
    前記ロボット操作手術器具の前記運動学に基づいて、前記外科領域に位置する前記ロボット操作手術器具への前記追加的な観察の関連付けの確率を決定し、
    前記ロボット操作手術器具への前記追加的な観察の前記関連付けの前記確率に基づいて、前記追加的な関心物体についての前記追加的な観察を偽陽性指定に関連付ける、
    ように構成され、
    前記プロセッサは、前記命令を実行して、
    前記観察を前記ロボット操作手術器具への前記関心物体の関連付けと、前記偽陽性指定への前記追加的な関心物体についての前記追加的な観察の関連付けとを含む、第１のセットの関連付けについての第１の確率を決定すること、
    前記偽陽性指定への前記関心物体についての前記観察の関連付けと、前記ロボット操作手術器具への前記追加的な関心物体についての前記追加的な観察の関連付けとを含む、第２のセットの関連付けについての第２の確率を決定すること、
    前記第１の確率が前記第２の確率よりも高いことを決定すること、並びに
    前記第１の確率が前記第２の確率よりも高いという前記決定に応答して、前記関心物体についての前記観察を前記ロボット操作手術器具に関連付けること、および前記追加的な関心物体についての前記追加的な観察を前記偽陽性指定に関連付けることによって、
    前記関心物体についての前記観察を前記ロボット操作手術器具に関連付け、且つ前記追加的な関心物体についての前記追加的な観察を前記偽陽性指定に関連付ける、
    ように構成される、
    請求項１〜７のうちのいずれか１項に記載の手術器具トラッキングシステム。
11. 前記関心物体についての前記観察は、前記関心物体の画像ベースの位置と、前記関心物体と関連付けられる追加的な属性とを示す、請求項１〜３および８〜１０のうちのいずれか１項に記載の手術器具トラッキングシステム。
12. 前記関心物体と関連付けられる前記追加的な属性は、
    前記関心物体と関連付けられる手術器具のタイプ、
    前記関心物体と関連付けられる向き、および
    前記関心物体と関連付けられる動きの手がかり
    のうちの１つを含む、
    請求項１１に記載の手術器具トラッキングシステム。
13. 前記プロセッサは、前記命令を実行して、ロボット手術システムによる使用のために前記物理的位置を表すデータを出力して、ディスプレイスクリーンに表示される前記ロボット操作手術器具の視覚的表現と並置されるユーザインタフェースコンテンツを表示する、ように構成される、請求項１〜１２のうちのいずれか１項に記載の手術器具トラッキングシステム。
14. 手術器具トラッキングシステムによって、外科領域の像に基づいて、前記像に描かれる関心物体についての観察を決定することと、
    前記手術器具トラッキングシステムによって、ロボット操作手術器具の運動学に基づいて、前記外科領域に位置する前記ロボット操作手術器具への前記観察の関連付けの確率を決定することと、
    前記手術器具トラッキングシステムによって、前記確率に基づいて、前記関心物体についての前記観察を前記ロボット操作手術器具に関連付けることと、
    前記手術器具トラッキングシステムによって、前記ロボット操作手術器具の前記運動学および前記ロボット操作手術器具と関連付けられる前記観察に基づいて、前記外科領域における前記ロボット操作手術器具の物理的位置を決定することとを含む、
    方法。
15. 前記外科領域における前記ロボット操作手術器具の前記物理的位置を決定することは、前記観察によって示される前記関心物体の画像ベースの位置に基づいて、前記ロボット操作手術器具の運動学ベースの位置を調整することを含む、請求項１４に記載の方法。
    

Images