JP2017515617A - 視野内の器具の定量的三次元視覚化 - Google Patents

Abstract

視野を撮像するよう配置されるＱ３Ｄ内視鏡と、シーンのＱ３Ｄモデルを生成し且つ標的器具及び構造を特定するプロセッサとを含む、システムが提供される。プロセッサは、器具の仮想視野からシーンを表示し、標的の周りの飛行禁止ゾーンを決定し、器具のための予測経路を決定し、或いは器具の３Ｄトラッキングをもたらすように、構成される。

Description

（関連出願の参照）
この出願は、２０１４年３月２８日に出願された「QUANTITATIVE THREE-DIMENSIONAL IMAGING OF SURGICAL SCENES」という名称の米国仮特許出願第６１／９７１，７４９号及び２０１４年１２月２３日に出願された「QUANTITATIVE THREE-DIMENSIONAL VISUALIZATION OF INSTRUMENT IN A FIELD OF VIEW」という名称の米国仮特許出願第６２／０９６，５０９号の優先権の利益を主張し、それらの全文を参照としてここに援用する。

本発明は、一般的には、関連付けられる画像センサを有する外科内視鏡検査システムに関し、より具体的には、手術画像中に表示される物理的構造の三次元座標を決定することに関する。

定量的三次元（Ｑ３Ｄ）ビジョン(quantitative three-dimensional vision)は、現実世界シーンにおける標的地点の実際の物理的（ｘ、ｙ、ｚ）３Ｄ座標についての数値情報をもたらす。定量的３Ｄビジョンを用いるならば、現実世界シーンの三次元知覚を得ることができるのみならず、そのシーンにおける物体の物理的次元及びそのシーンにおける物体間の物理的距離についての数値情報も得ることができる。過去には、飛行時間(time-of-flight)関連情報又は位相情報を用いてシーンについての３Ｄ情報を決定する幾つかのＱ３Ｄシステムが提案されている。

飛行時間情報の使用が「CMOS-compatible three-dimensional image sensor IC」という名称の米国特許第６，３２３，９４２号に開示されており、それは、ＣＭＯＳ製造技法を用いて共通ＩＣ上に製造されるピクセル（画素）光感知検出器の二次元アレイ（配列）を含む、三次元撮像システムを開示している。各検出器は、物体地点から反射してその地点に集束されるピクセル検出器によって検出されるよう、システム放射パルスについての飛行時間（ＴＯＦ）と正比例するクロックパルス数を蓄積する、関連付けられる高速カウンタを有する。ＴＯＦデータは、特定のピクセルから放射光パルスを反射する物体上の地点までの距離の直接的なデジタル測定値を提供する。第２の実施態様において、カウンタ及び高速クロック回路は排除され、代わりに、各ピクセル検出器は、電荷蓄積器及び電子シャッタを備える。シャッタは、光パルスが放射されるときに開き、然る後、各ピクセル検出器が電荷を関連付けられるピクセル検出器の上に向かっていく戻り光子エネルギに応じて蓄積するように、閉じる。蓄積する電荷の量は、往復ＴＯＦの直接的な測定値をもたらす。

時間遅延情報の使用が「Apparatus and method for endoscopic 3D data collection」という名称の米国特許第８，２６２，５５９号に開示されており、それは、変調測定ビームと、観察されるべき領域に測定ビームを伝える光透過機構とを開示し、光透過機構は、観察されるべき領域からの信号ビームを少なくとも位相感応画像センサに撮像する光撮像機構に加えて、照明レンズを含む。ミリメートル範囲における深さの差に対応することがある時間遅延は、深さ及び距離情報を描写する画像の生成を可能にする位相情報をもたらす。

仮想画像中の物体の物理的座標を決定する構造光の使用が「Endoscope」という名称の米国特許出願公開第２０１２／０１９０９２３号及びC. Schmalz et al.の「An endoscopic 3D scanner based on structured light」、Medical Image Analysis, 16 (2012) 1063-1072に開示されている。表面のトポグラフィを測定するために三角測量法が用いられる。異なる色スペクトルの範囲を有してよい投影光線の形態の構造光が表面に入射し、表面から反射させられる。反射させられる光線はカメラによって観察され、カメラは、反射させられる色スペクトル情報を用いてその表面の３Ｄ座標を決定するよう、較正される。より具体的には、構造光の使用は、典型的には、３Ｄ表面の上で光パターンを光らせること、及び物理的物体の輪郭に起因する光の変形パターンに基づき物理的距離を決定することを包含する。

複数のピクセルアレイを含むイメージャアレイカメラ(imager array camera)が作られており、アレイ内の画素についてのシーン深さ情報を計算するために複数のピクセルアレイを用い得る。高解像度（ＨＲ）画像が多数の低解像度（ＬＲ）画像から生成される。基準視点が選択され、ＨＲ画像がその地点によって見られるものとして生成される。視差処理技法がエイリアジング(aliasing)の効果を利用して基準画像ピクセルに対する非基準画像についての画像対応を決定する。融合及び超解像を利用して多数のＬＲ画像からＨＲ画像を生成する。例えば、「Capturing and Processing Images using Monolithic camera Array with Heterogeneous Imager」という名称の米国特許第８，５１４，４９１号、「Systems and Methods for Determining Depth from multiple Views of a Scene that Include Aliasing using Hypothesized Fusion」という名称の米国特許出願公開第２０１３／００７００６０号、及びK. Venkataraman et al.のPiCam: An ultra-Thin high Performance Monolithic Camera Arrayを参照のこと。

図１は、幾つかの実施態様に従った既知のイメージャセンサ１８０の詳細を示す例示的な図面である。画像センサ１８０は、センサ１８４の構成(arrangement)を含む。構成内の各センサは、各次元に少なくとも２つのピクセルを有する二次元構成のピクセルを含む。各センサは、レンズスタック１８６を含む。各レンズスタック１８６は、対応する集束平面１８８を有する。各レンズスタック１８６は、その対応する集束平面１８８内に配置される対応するピクセルの構成の上に画像を解像する別個の光学通路を創る。ピクセルは、光センサとして作用し、その多数のピクセルを備える各集束平面１８８は、画像センサとして作用する。その集束平面１８８を備える各センサは、他のセンサ及び集束平面によって占められるセンサ構成の領域と異なるセンサアレイの構成を占める。

図２は、センサＳ_１１乃至Ｓ_３３として印されるセンサを含む図１の既知のセンサの構成１８４の単純化された平面図を示す例示的な図面である。イメージャセンサ構成１８４は、複数のセンサＳ_１１乃至Ｓ_３３を含むよう半導体チップ上に製造される。Ｓ_１１乃至Ｓ_３３の各々は、複数のピクセル（例えば、０．３２メガピクセル）を含み、独立した読出し制御及びピクセルデジタル化を含む周辺回路（図示せず）に連結される。幾つかの実施態様において、Ｓ_１１乃至Ｓ_３３は、図２に例示するような格子形態（グリッド形態）において配置される。他の実施態様において、センサは、非格子形態（非グリッド形態）において配置される。例えば、センサは、円形パターン、ジグザグパターン、散乱パターン、又はサブピクセル偏心（オフセット）を含む不規則パターンに配置されてよい。

図１−２のセンサ１８４の各個々のピクセルは、マイクロレンズピクセルスタックを含む。図３は、図１−２のセンサの既知のマイクロレンズピクセルスタックの例示的な図面である。ピクセルスタック８００は、マイクロレンズ８０２を含み、マイクロレンズ８０２は、酸化物層８０４の上に位置付けられる。典型的には、酸化物層８０４の下には、カラーフィルタ８０６があってよく、カラーフィルタ８０６は、窒化物層８０８の上に配置され、窒化物層８０８は、第２の酸化物層８１０の上に配置され、第２の酸化物層８１０は、シリコン層８１２の上に位置し、シリコン層８１２は、個々のピクセルの活性領域８１４（典型的にはフォトダイオード）を含む。マイクロレンズ８０２の主要な役割は、その表面に入射する光を集めて、その光を小さな活性領域８１４の上に集束させることである。ピクセル孔８１６は、マイクロレンズの広がりによって決定される。

上述の既知のイメージャセンサ構成アーキテクチャに関する追加的な情報は、（２０１０年１１月２２日に出願された）米国特許第８，５１４，４９１Ｂ２号、及び（２０１２年９月１９日に出願された）米国特許出願公開第２０１３／００７００６０Ａ１号に提供されている。

１つの特徴において、システムは、内視鏡のＱ３Ｄセンサによって撮像されるシーンのＱ３Ｄモデルを決定する。Ｑ３Ｄモデル内の標的器具のために３Ｄ座標が決定される。内視鏡姿勢を特定される標的器具の姿勢と整列させるために、内視鏡姿勢の幾何学的変換が決定される。この幾何学的変換に基づき、解剖学的構造のＱ３Ｄモデルは、標的器具の姿勢に従った仮想ビューを観察者にもたらすように、変換させられる。

他の特徴において、Ｑ３Ｄシステムは、Ｑ３Ｄモデル内の少なくとも１つの標的に隣接して「飛行禁止ゾーン」(“no fly zone”)を決定する。少なくとも部分的に第１の標的と第２の標的との間の最も近い距離が閾距離未満であるか否かに基づき「飛行禁止ゾーン」が侵害されているかについての決定が行われる。第１の標的と第２の標的との間の最も近い距離が閾距離未満であるという決定に応答して、出力信号が提供される。標的は、器具、構造、又は解剖学的器官であってよい。

他の特徴において、Ｑ３Ｄシステムは、撮像されるシーン内の器具を特定する。特定される器具の予測経路は、特定される器具が従う従前の経路からの外挿(extrapolation)に少なくとも部分的に基づき、或いは特定される器具の延長に少なくとも部分的に基づき、決定される。

他の特徴において、Ｑ３Ｄシステムは、シーン内の標的器具を特定する。シーンの視覚的３Ｄ表現内の特定される標的器具のＱ３Ｄ場所を示すシーンの視覚的３Ｄ表現内で、マークが生成される。

本開示の特徴は、添付の図面と共に読まれるときに、以下の詳細な記述から最良に理解される。業界における標準的な慣行に従って様々な構成を原寸通りに描写していないことを協調する。実際には、様々な構成の寸法は議論の明瞭性のために任意に増大させられ或いは減少させられる。加えて、本開示は様々な実施例において参照番号及び／又は参照文字を反復することがある。この反復は単純性及び明瞭性の目的のためであり、それ自体は議論する様々な実施態様及び／又は構成(configurations)の間の関係を決定しない。

既知のイメージャセンサの詳細を示す例示的な図面である。 図１のイメージャセンサのセンサの既知の構成の簡略化された平面図を示す例示的な図面である。 図２のセンサアレイのセンサ内のピクセルの既知のマイクロレンズピクセルスタックの例示的な図面である。 幾つかの実施態様に従った、ビューアを通じた手術シーンの斜視図を示す、例示的な図面である。 幾つかの実施態様に従った、１つ又はそれよりも多くの機械的アームを用いて最小侵襲的な外科処置を行う遠隔操作手術システムの例示的なブロック図である。 幾つかの実施態様に従った、図５のシステムのうちの患者側システムの例示的な斜視図である。 幾つかの実施態様に従った、第１の画像キャプチャシステムを含む第１の内視鏡の例示的な図面である。 幾つかの実施態様に従った、第２の画像キャプチャシステムを含む第２の内視鏡の例示的な図面である。 幾つかの実施態様に従った、図７Ａの第１の画像キャプチャシステムを含む第１の内視鏡と関連付けられる制御ブロックを示し且つ動作中のシステムを示す、例示的なブロック図である。 幾つかの実施態様に従った、物理的標的の定量的三次元場所を決定するプロセスを表す、例示的なフロー図である。 幾つかの実施態様に従った、標的を組織的に選択するよう図９のモジュールに概ね対応するプロセスの特定の詳細を示す、例示的なフロー図である。 多数のセンサを含み、且つ、幾つかの実施態様に従った３つの例示的な物体を含む例示的な三次元物理的世界シーンを包含する視野を有するよう配置される、例示的なセンサイメージャアレイの例示的な図面である。 幾つかの実施態様に従った、多数のセンサ上への図１１の多数の物理的物体の投影を表す、例示的な図面である。 幾つかの実施態様に従った、現実世界シーン内からの関心の領域の選択を示す、例示的な図面である。 幾つかの実施態様に従った、多数のセンサ内の投影画像の相対的な幾何学的偏心に関する詳細を示す例示的な図面である。 幾つかの実施態様に従った、関心の領域（ＲＯＩ）内の割り当てられる基準センサ内の投影画像と整列するよう右にシフトさせられたＲＯＩ内の特定の例示的なセンサ内の投影画像を示す、例示的な図面である。 幾つかの実施態様に従った、多数のセンサ上への選択される標的地点の投影を示す、例示的な図面である。 幾つかの実施態様に従った、図１６の多数のセンサを含むイメージャアレイの部分及び物理的空間内の場所に配置される選択的な標的地点Ｔを示す、例示的な図面である。 幾つかの実施態様に従った、図１６の多数の画像センサ上への現在選択されている標的地点Ｔの投影の例示的な正面図である。 図１７を参照して上述したような多数のセンサに対する現在選択されている標的の配置を示し、且つ、幾つかの実施態様に従ったセンサの各々のセンサにおける候補ピクセルについてのｙ方向ピクセル偏心も示す、例示的な図面である。 幾つかの実施態様に従った、外科処置中にＱ３Ｄ情報を用いる第１のプロセスを表す、例示的なフロー図である。 幾つかの実施態様に従った、図２０のプロセスに従ってディスプレイスクリーンに表示されるメニュー選択を示す、例示的な図面である。 幾つかの実施態様に従った、図２０のプロセスに従って使用者入力を受け取ることの特定の詳細を表す、例示的な図面である。 幾つかの実施態様に従った、図２０のプロセスに従って使用者入力を受け取ることの特定の詳細を表す、例示的な図面である。 幾つかの実施態様に従った、外科処置中にＱ３Ｄ情報を用いる第２のプロセスを表す、例示的なフロー図である。 幾つかの実施態様に従った、図２３のプロセスに従ったディスプレイスクリーンに表示されるメニュー選択を示す、例示的な図面である。 幾つかの実施態様に従った、１つ又はそれよりも多くの解剖学的構造及び手術器具の部分を含む視野を有する、並びに画像センサアレイと関連付けられる、Ｑ３Ｄ内視鏡の斜視図を示す、例示的な図面である。 幾つかの実施態様に従った、Ｑ３Ｄシーンを、内視鏡視認眺望から、内視鏡視認眺望内の標的器具の眺望からのＱ３Ｄシーンに変換するプロセスを提示する、例示的なフロー図である。 幾つかの実施態様に従った、仮想の向き変換を提示する、例示的な図面である。 幾つかの実施態様に従った、仮想場所変換を提示する、例示的な図面である。 幾つかの実施態様に従った、結果として得られる仮想の整列を提示する、例示的な図面である。 幾つかの実施態様に従った、内視鏡先端の眺望からの手術シーンの例示的なＱ３Ｄ図である。 幾つかの実施態様に従った、標的解剖学的構造の眺望からの手術シーンの例示的なＱ３Ｄ図である。 幾つかの実施態様に従った、３Ｄ眺望内のＱ３Ｄモデルを３Ｄディスプレイに表示するプロセッサの詳細を示す、例示的な図面である。 幾つかの実施態様に従った、図５−６を参照して記載したように配置される、Ｑ３Ｄ内視鏡の例示的な斜視図である。 幾つかの実施態様に従った、器具のちの１つの器具の周りのそれぞれの飛行禁止ゾーンを表示する、内視鏡視野（ＦＯＶ_ｅ）内の器具の斜視図である。 幾つかの実施態様に従った、飛行禁止ゾーンを定める並びに飛行禁止ゾーンが侵害されたか否かを決定するプロセスを提示する、例示的なフロー図である。 幾つかの実施態様に従った、内視鏡視野（ＦＯＶ_ｅ）を有するＱ３Ｄ内視鏡、観察される軌跡上の多数の異なる位置で観察された手術器具の部分、及びＦＯＶ_ｅ内の手術シーン内に配置される解剖学的構造を示す、例示的な図面である。 幾つかの実施態様に従った、Ｑ３Ｄシーン内の観察経路上の標的器具をトラッキングする、並びに予測経路及び予測接触場所を決定するプロセスを提示する、例示的なフロー図である。 幾つかの実施態様に従った、第３の位置にある標的器具が示され、予測接触場所が解剖学的構造上の視覚的マーカで印される、例示的な３Ｄ視覚的表現を示す、図面である。 幾つかの実施態様に従った、所望の接触場所に加えて、多数の異なる観察経路内の例示的な手術シーン及び対応する予測経路及び接触場所を提示する、例示的な図面である。 幾つかの実施態様に従った、ステープラとステープル線及びナイフ通路の延長を提示する予測経路とを含む手術シーンの３Ｄビューを示す、例示的な図面である。 内視鏡視野（ＦＯＶ_ｅ）を有するＱ３Ｄ内視鏡、多数の異なる位置で示される手術器具の部分、及びＦＯＶ_ｅ内の手術シーン内に配置される解剖学的構造を示す、例示的な図面である。 幾つかの実施態様に従った、第１の時点での位置からの標的器具の位置（図３８Ａ）から、第２の時点での位置（図３８Ｂ）への、そして、第３の時点（図３８Ｃ）での位置への、標的器具の位置の変化を提示する、例示的な図面である。 幾つかの実施態様に従った、第１の時点での位置からの標的器具の位置（図３８Ａ）から、第２の時点での位置（図３８Ｂ）への、そして、第３の時点（図３８Ｃ）での位置への、標的器具の位置の変化を提示する、例示的な図面である。 幾つかの実施態様に従った、第１の時点での位置からの標的器具の位置（図３８Ａ）から、第２の時点での位置（図３８Ｂ）への、そして、第３の時点（図３８Ｃ）での位置への、標的器具の位置の変化を提示する例示的な図面である。 幾つかの実施態様に従った、Ｑ３Ｄ内の標的器具をトラッキングするプロセスを提示する、例示的なフロー図である。 幾つかの実施態様に従った、第２の位置にある標的器具が視覚マーカと関連付けられて示される、シーンの例示的な３Ｄ視覚的表現を示す例示的な図面である。

以下の記述は、あらゆる当業者が、多数の画像センサを有する外科内視鏡検査システムであって、各画像センサは、画像センサの視野(field of view)内の物理的構造の三次元座標を決定するために、他の画像センサのピクセルアレイから切り離されたピクセルアレイを含む、外科内視鏡検査システムを創り且つ使用するのを可能にするために、提示される。実施態様に対する様々な修正が、当業者に直ちに明らかであり、ここにおいて定められる包括的な原理は、発明的な主題の精神及び範囲から逸脱せずに、他の実施態様及び用途に適用されてよい。その上、後続の記述では、説明の目的のために、様々な詳細が示される。しかしながら、当業者は発明的な主題がこれらの詳細を使用せずに実施されてよいことを認識するであろう。他の場合には、不要な詳細で開示を曖昧にしないために、周知の機械構成部品、プロセス、及びデータ構造は、ブロック図の形態において示される。異なる図面において同じ品目の異なる図を表すために、同一の参照番号が用いられることがある。以下に参照される図面におけるフロー図は、プロセスを表すために用いられる。コンピュータシステムは、これらのプロセスのうちの一部を遂行するよう構成されてよい。コンピュータ実施プロセスを表すフロー図中のモジュールは、これらのモジュールを参照して記載される行為を遂行するコンピュータプログラムコードに従ったコンピュータシステムの設定(configuration)を表す。よって、発明的な主題は、図示の実施態様に限定されることは意図されず、ここにおいて開示される原理及び構成と一致する最も広い範囲が与えられるべきである。

簡潔な概要

幾つかの実施態様によれば、センサアレイ（配列）を含むイメージャが内視鏡と関連付けられる。この画像センサアレイは多数のセンサを含み、各センサはピクセルのアレイを含む。内視鏡の部分が人間の体腔内に挿入され、画像センサアレイの視野内の標的物体が光源を用いて照らされる。標的物体の物理的場所及び／又は次元が、アレイのうちの個々のセンサ上に投影される標的物体の画像に基づき決定される。

図４は、幾つかの実施態様に従ったビューア３１２を通じた手術シーンの斜視図を示す例示的な図面である。２つの視認要素４０１Ｒ，４０１Ｌ(viewing elements)を有する視認システム(viewing system)が良好な３Ｄ視認眺望(viewing perspective)をもたらし得る。手術シーンにおける物理的構造についての物理的次元及び／又は場所情報を表す数値が手術シーン画像の上にオーバーレイされて示されている。例えば、距離数値「d_Instr_Trgt」が、器具４００と標的４１０との間のシーン内に表示されて、示されている。

遠隔操作医療システム

遠隔操作は、ある距離を置いた機械の操作を指す。最小侵襲的な遠隔操作医療システムにおいて、外科医は、カメラを含む内視鏡を用いて、患者の体内の手術部位を見る。立体視画像がキャプチャされ（取り込まれ）、それは外科処置中に深さの知覚を可能にする。内視鏡に取り付けられ且つイメージャセンサアレイを含むカメラシステムは、定量的三次元情報に加えて、幾つかの実施態様に従った三次元画像を生成するために用い得る色及び照明データを提供する。

図５は、幾つかの実施態様に従った１つ又はそれよりも多くの機械的アーム１５８を用いて最小侵襲的な外科処置を行う遠隔操作手術システム１００の例示的なブロック図である。システム１００の特徴は、遠隔ロボット式の自律的な動作構成(operating features)を含む。これらの機械的アームは、しばしば、器具を支持する。例えば、機械的手術アーム（例えば、中央機械的手術アーム１５８Ｃ）を用いて、内視鏡に関連付けられるＱ３Ｄ画像センサアレイのような、立体又は三次元手術画像キャプチャデバイス１０１Ｃを備える内視鏡を支持してよい。機械的手術アーム１５８Ｃは、画像キャプチャデバイス１０１Ｃを含む内視鏡を機械的アームに機械的に固定するよう、無菌アダプタ、又は、クランプ、クリップ、ネジ、スロット／溝、又は、他の締結機構を含んでよい。逆に、画像キャプチャデバイス１０１Ｃを備える内視鏡は、機械的手術アーム１５８Ｃの物理的輪郭及び／又は構造と確実に相互適合するよう、機械的手術アーム１５８Ｃの物理的輪郭及び／又は構造と相補的な物理的輪郭及び／又は構造を含んでよい。

使用者又は操作者Ｏ（一般的に外科医）が、マスタ制御コンソール１５０で制御入力デバイスを操作することによって、患者Ｐに対して最小侵襲的な外科処置を行う。操作者は、立体ディスプレイデバイス１６４を通じて患者の体の内側の手術部位の画像のビデオフレームを見ることができ、立体ディスプレイデバイス１６４は、図４を参照して上述したビューア３１２を含む。コンソール１５０のコンピュータ１５１が、制御線１５９を介して遠隔操作される内視鏡検査手術器具１０１Ａ−１０１Ｃの動きを命令して、（患者側カートとも呼ぶ）患者側システム１５２を用いて器具の動きをもたらす。

患者側システム１５２は、１つ又はそれよりも多くの遠隔操作される機械的アーム１５８を含む。典型的には、患者側システム１５２は、対応する位置決めセットアップアーム１５６によって支持される（一般的に機械的手術アーム１５８と呼ぶ）少なくとも３つの機械的手術アーム１５８Ａ−１５８Ｃを含む。中央機械的手術アーム１５８Ｃは、カメラの視野内の画像についてのＱ３Ｄ情報のキャプチャ（取込み）に適した内視鏡検査カメラ１０１Ｃを支持してよい。中央の左右にある機械的手術アーム１５８Ａ及び１５８Ｂは、それぞれ、組織を操作する器具１０１Ａ及び１０１Ｂを支持してよい。

図６は、幾つかの実施態様に従った患者側システム１５２の例示的な斜視図である。患者側システム１５２は、ベース１７２によって支持されるカートコラム１７０を含む。１つ又はそれよりも多くの遠隔操作される機械的マニピュレータ手術アーム／リンク１５８が、患者側システム１５２の位置決め部分の一部である１つ又はそれよりも多くのセットアップアーム１５６にそれぞれ取り付けられる。ベース１７２上のほぼ中央場所に位置付けられて、カートコラム１７０は、釣合サブシステム及び制動サブシステムの構成部品を汚染から守る保護カバー１８０を含む。

モニタアーム１５４を除き、各機械的手術アーム１５８は、器具１０１Ａ−１０１Ｃを制御するために用いられる。その上、各機械的手術アーム１５８は、セットアップアーム１５６に連結され、次いで、セットアップアーム１５６は、本発明の１つの実施態様において、キャリッジハウジング１９０に連結される。１つ又はそれよりも多くの機械的手術アーム１５８は、それぞれ、図６に例示するように、それらのそれぞれのセットアップアーム１５６によって支持される。

機械的手術アーム１５８Ａ−１５８Ｄは、生の補正されていない運動学情報(kinematics information)を生成して、器具の精密な遠隔操作制御並びに追跡（トラッキング）システムによる初期的取得及び追跡を支援するよう、１つ又はそれよりも多くの変位変換器(displacement transducers)、向きセンサ、及び／又は位置センサ１８５をそれぞれ含んでよい。本発明の幾つかの実施態様では、器具も、変位変換器、位置センサ、及び／又は向きセンサ１８６を含んでよい。その上、１つ又はそれよりも多くの情報は、器具の取得及び追跡を支援するよう、マーカ１８９を含んでよい。

遠隔操作される医療システムについての追加的な情報は、（１９９４年５月５日に出願された）米国特許第５，６３１，９７３号、（１９９５年４月２０日に出願された）米国特許第５，６９６，８３７号、（２００５年１２月１２日に出願された）米国特許第７，１５５，３１５Ｂ２号、及び（２０１１年９月３０日に出願された）米国特許出願公開第２０１２／００２０５４７号Ａ１において提供されている。

内視鏡検査イメージャシステム

図７Ａは、幾つかの実施態様に従った第１の画像キャプチャデバイス１０１Ｃを備える第１の内視鏡の例示的な図面である。画像キャプチャデバイス１０１Ｃは、細長い部分２０２を含む内視鏡を含み、細長い部分２０２は、第１の端部分２０４と、第２の端部分２０６と、第１の端部分２０４の先端部分２０８とを含む。第１の端部分２０４は、人間の体腔内に挿入されるような寸法とされる。多数の画像センサ（図示せず）を含むセンサアレイ２１０(imager sensor array)が、第１の端部分２０４の先端部分２０８で連結される。幾つかの実施態様によれば、センサアレイ２１０内の各センサは、ピクセルのアレイを含む。細長い部分２０２は、イメージャセンサアレイ２１０によって物体を撮像し得るよう、先端部分２０８を体腔内の標的物体に十分に近く位置付けるのに十分な長さを有する。幾つかの実施態様によれば、第２の端部分２０６は、機械的アーム（図示せず）と確実に相互適合するよう、概ね上述のような物理的輪郭及び／又は構造（図示せず）を含んでよい。細長い部分２０２は、情報をイメージャセンサアレイ２１０と電子的に通信するよう、１つ又はそれよりも多くの電子信号経路２１２も含む。撮像されるべき物体を照らすために、光源２１４が配置される。幾つかの実施態様によれば、光源２１４は、例えば、非構造光(unstructured light)、白色光、色濾過光(color filtered light)、又は何らかの選択的な波長にある光であり得る。幾つかの実施態様によれば、光源２１４は、先端２０８に配置され、他の実施態様において、それは任意的に内視鏡１０１Ｃと別個に配置される。

図７Ｂは、幾つかの実施態様に従った第２の画像キャプチャシステム１０１Ｃ２を備える第２の内視鏡の例示的な図面である。第１の画像キャプチャシステム１０１Ｃを備える題意沈お内視鏡の特徴と本質的に同じである第２の画像キャプチャシステム１０１Ｃ２の特徴は、同一の参照番号によって示され、再び記載されない。ロッドレンズのような、ライトパイプ入力への入力は、第１の端部分２０４の先端部分２０８に配置される。ライトパイプ本体は、ライトパイプ入力として受け取られる画像を先端部分２０８から物理的に移動させられたイメージャセンサアレイ２１０に伝えるよう、細長い部分２０２内に延在する。幾つかの実施態様において、イメージャセンサアレイ２１０は、体腔内の物体の観察中にイメージャセンサアレイ２１０が体腔の外側に配置されるよう、先端部分２０８から十分に遠くに移動させられる。

図８は、幾つかの実施態様に従った、図７Ａの第１の画像キャプチャシステム１０１Ｃを備える第１の内視鏡１０１Ｃと関連付けられる制御ブロックを示す、並びに動作中の第１の画像キャプチャシステムを示す、例示的なブロック図である。イメージャセンサアレイ２１０によってキャプチャされる（取り込まれる）画像は、データバス２１２を通じてビデオプロセッサ１０４に送られ、ビデオプロセッサ１０４は、バス１０５を介してコントローラ１０６と通信する。ビデオプロセッサ１０４は、カメラ制御ユニット（ＣＣＵ）と、ビデオ信号検出器（ＶＳＤ）ボードとを含んでよい。ＣＣＵは、明るさ、色スキーム、白色バランス等のような、撮像センサ２１０の様々な設定をプログラムし或いは制御する。ＶＳＤは、撮像センサから受け取られるビデオ信号を処理する。代替的に、ＣＣＵ及びＶＳＤは、１つの機能ブロック内に統合される。

幾つかの実施態様によれば、１つの又は１つよりも多くのプロセッサを含むプロセッサシステムが、プロセッサ機能を遂行するように構成される。幾つかの実施態様において、プロセッサシステムは、ここに記載するプロセッサ機能を遂行するために協働するように構成される多数のプロセッサを含む。よって、１つ又はそれよりも多くの機能を遂行するように構成される少なくとも１つのプロセッサへの言及は、それらの機能を１つのプロセッサだけによって或いは協働する多数のプロセッサによって遂行してよい、プロセッサを含む。

１つの実施において、プロセッサ及び記憶装置（図示せず）を含むコントローラ１０６は、細長い部分２０２の先端２０８に隣接するシーン中の地点の物理的な定量的３Ｄ座標を計算し、ビデオプロセッサ１０４及び３Ｄディスプレイドライバ１０９の両方を駆動させて３Ｄシーンを構成し、次に、立体視ディスプレイ又は容量測定（例えば、ホログラフィック）３Ｄであり得るディスプレイ１１０上に３Ｄシーンを表示し得る。幾つかの実施態様によれば、例えば、シーン内の物体の表面輪郭の寸法の数的な印(numerical indicia)又は手術シーン内の物体からの距離のような、手術シーンについてのＱ３Ｄ情報が生成される。以下により詳細に説明するように、数的なＱ３Ｄ深さ情報を用いて、距離情報又は表面輪郭情報で手術シーンの立体視画像に注釈を付け得る。

データバス１０７及び１０８は、ビデオプロセッサ１０４、コントローラ１０６、及びディスプレイドライバ１０９の間で、情報及び制御信号を交換する。幾つかの実施態様では、これらの要素を内視鏡の本体の内側で画像センサアレイ２１０と統合し得る。代替的に、それらを内視鏡の内部に及び／又は外部に分散させ得る。内視鏡は、標的１２０を含む手術シーンへの視覚化されたアクセスをもたらすために、カニューレ１４０を介して身体組織１３０を貫通するよう位置付けられて、示されている。代替的に、内視鏡及び１つ又はそれよりも多くの器具は、単一の開口−単一の切開部又は自然開口部−を通じて進んで、手術部位に達してもよい。標的１２０は、解剖学的標的、他の手術器具、又は患者の体の内側の手術シーンのあらゆる他の特徴であり得る。

入力システム１１２は、３Ｄ視覚表現を受信し、それをプロセッサ１０６に提供する。入力システム１１２は、３Ｄモデルを生成するシステム（図示せず）からＣＲＴ又はＭＲＩのような３Ｄモデルを受信する電子通信バス（図示せず）に連結される記憶デバイスを含んでよい。例えば、プロセッサ１０６を用いて、Ｑ３Ｄモデルと３Ｄ視覚表現との間に意図される整列（アライメント）を計算し得る。より具体的には、非限定的に、入力システム１１２は、システム１５２と、ＭＲＩ、ＣＴ、又は超音波撮像システムのような、撮像システム（図示せず）との間に、イーサネット（登録商標）通信接続を構築するように構成される、プロセッサを含んでよい。他の撮像システムが用いられてよい。Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ、光学等のような、他の種類の通信接続が用いられてよい。代替的に、システム１５２及び撮像システムは、１つのより大きなシステムに統合させられてよい。整列プロセスの結果は、プロセッサ１０６と関連付けられる記憶デバイス内に保存されてよく、外部デバイス又はシステムへの更なる操作のために提供されてよく、或いは図２５に示すように表示されてよい。

シーンの画像に加えられるＱ３Ｄ情報の実施例

図４を再び参照すると、図４は、幾つかの実施態様に従った図５のマスタ制御コンソール１５０のビューア３１２の斜視図を示す例示的な図面である。幾つかの実施態様によれば、三次元眺望(three-dimensional perspective)をもたらすために、ビューア３１２は、各眼のために立体画像を含む。図示するように、手術部位の左画像４００Ｌ及び右画像４００Ｒは、それぞれ、左視認要素４０１Ｌ及び右視認要素４０１Ｒ内に、あらゆる器具４００及び標的４１０を含む。視認要素内の画像４００Ｌ及び４００Ｒは、それぞれ、左ディスプレイデバイス４０２Ｌ及び右ディスプレイデバイス４０２Ｒによって提供されてよい。ディスプレイデバイス４０２Ｌ，４０２Ｒは、任意的に、一対の陰極線管（ＣＲＴ）モニタ、液晶ディスプレイ（ＬＣＤｓ）、又は他の種類の画像ディスプレイデバイス（例えば、プラズマ、デジタル光投影等）であってよい。本発明の好適実施態様において、画像は、カラーＣＲＴｓ又はカラーＬＣＤｓのような、一対のカラーディスプレイデバイス４０２Ｌ，４０２Ｒによって、着色されて提供される。既存のデバイスとの後方互換性をサポートするために、立体視ディスプレイデバイス４０２Ｌ及び４０２ＲがＱ３Ｄシステムと共に用いられてよい。代替的に、Ｑ３Ｄ撮像システムを、３Ｄモニタ、３ＤＴＶ、又は３Ｄ効果眼鏡の使用を要求しないディスプレイのような自動立体視ディスプレイに接続し得る。

２つの視認要素４０１Ｒ，４０１Ｌを有する視認システムが、良好な３Ｄ視認眺望を提供し得る。Ｑ３Ｄ撮像システムは、この視認眺望に手術シーン中の物理的構造についての物理的次元情報を補足する。Ｑ３Ｄ内視鏡システムと共に用いられる立体ビューア３１２は、手術シーンの立体画像の上にオーバーレイされるＱ３Ｄ情報を表示し得る。例えば、図４に示すように、器具４００と標的４１０との間のＱ３Ｄ距離数値「ｄ＿Ｉｎｓｔｒ＿Ｔｒｇｔ」を立体ビューア３１２内に表示し得る。

物理的場所及び次元情報を手術シーンの３Ｄ眺望の上にオーバーレイするために用い得るビデオ立体視認システムの説明は、ここに参照として明示的に援用する、（２０１１年９月３０日に出願された）米国特許出願公開第２０１２／００２０５４７号、段落００４３−００５３及び対応する図面に提供されている。

定量的三次元物理的情報の処理

図９は、幾つかの実施態様に従った物理的標的の定量的三次元場所を決定するプロセスを表すフロー図である。プロセスは、図８の実施態様の画像キャプチャシステム１０１Ｃを備える内視鏡を参照して記載される。モジュール４０１は、撮像センサＳ_ｉｊからビデオデータを取得するようコントローラ１０６を構成する。画像センサアレイ２１０は視野全体を「撮像」するが、異なるセンサ及び画像センサアレイ２１０内の異なるセンサ内の異なるピクセルが視野内の異なる物体地点からの画像投影によって照らされてよいことが理解されるであろう。ビデオデータは、例えば、色及び光強度データを含んでよい。各センサの各ピクセルは、その上に投影される画像の色及び強度を示す１つ又はそれよりも多くの信号を提供してよい。モジュール４０２は、物理的世界ビュー(physical world view)内の選択的な関心の領域から標的を組織的に選択するようコントローラを構成する。モジュール４０３は、初期（ｘ０，よ、ｚ０）セットを用いて標的３Ｄ座標（ｘ、ｙ、ｚ）の計算を開始するようコントローラを構成する。次に、アルゴリズムが、標的の投影画像を受信する全てのセンサＳ_ｉｊからの画像多様性データを用いることによって、一貫性(consistency)について座標を確認する。座標計算は、受け入れ可能な精度に達するまで、ステップ４０４で精緻化される。決定モジュール４０４は、目下計算されている物理的場所が十分に正確であるか否かを決定するようコントローラを構成する。目下計算されている場所が十分に正確でないという決定に応答して、制御はモジュール４０３に戻り、異なる可能な物理的場所を試す。目下計算されている場所が十分に正確であるという決定に応答して、モジュール４０５は、関心の領域全体がスキャン（走査）されたか否かを決定するようコントローラを構成する。関心の領域全体がスキャンされていないという決定に応答して、制御はモジュール４０２に戻り、異なる標的が選択される。関心の領域全体がスキャンされたという決定に応答して、制御はモジュール４０６に進み、モジュール４０６は、関心の撮像ボリュームの三次元モデルを組み立てるようコントローラを構成する。標的の構造の物理的位置を示す三次元情報に基づく標的の３Ｄ画像の組立ては、当業者に知られており、ここにおいて記載される必要はない。モジュール４０７は、更なる検討及び操作のために多数の標的について決定される物理的位置情報を用いて開発される３Ｄモデルを格納するようコントローラを構成する。例えば、３Ｄモデルは、移植片（インプラント）を患者の器官の特定の寸法の大きさに作ることのような外科用途のために、後に用いられ得る。更に異なる実施例では、新しい手術器具１０１がロボットシステム１５２に装着されるときに、３Ｄモデルを呼び戻して、新しい器具を従前の手術シーンと関係付けるために、それをディスプレイ１１０上に表示することが必要なことがある。モジュール４０７は、３Ｄ視覚表現とＱ３Ｄモデルとの間の整列の結果を格納してもよい。モジュール４０８は、定量的３Ｄビューを表示するために多数の標的について決定される物理的位置情報を用いるようコントローラを構成する。Ｑ３Ｄビューの実施例は、図４に示す距離値「ｄ＿Ｉｎｓｔｒ＿Ｔｒｇｔ」である。

立体視ディスプレイは三次元において視認の錯覚を生むことを記す。しかしながら、実際の３Ｄディスプレイは、湾曲面の上に投影される画像又はホログラフィック画像のような、３Ｄ画像を提示する。典型的には、３Ｄディスプレイは、視認眺望を変えるよう、ビューが動くことを可能にする。

図１０は、幾つかの実施態様に従った図９のモジュール４０２に概ね対応するプロセスの特定の詳細を示す例示的なフロー図である。モジュール４０２．１は、センサアレイ２１０中の全てのセンサから物理的世界シーンの画像をキャプチャするようコントローラを構成する。モジュール４０２．２は、キャプチャしたシーン内から関心の領域を特定するようコントローラを構成する。モジュール４０２．３は、同じ標的の投影によって照らされる異なるセンサ内のピクセル場所を特定するために、関心の領域内のシーン画像の間にあるようなベストマッチ(best match)を探すようコントローラを構成する。後に説明するように、最良のマッチング(best matching)は、シフトされる画像と基準画像との間の二次元相互相関関数が最大になるまで個々の画像をセンサＳ_ｉｊからシフトさせることによって達成されてよいが、これに限定されない。基準画像は、例えば、センサＳ_１１から受け取られるシーン画像であってよい。モジュール４０２．４は、同じ標的からの投影によって照らされる候補ピクセルを特定するようコントローラを構成する。モジュール４０２．５は、選択される標的についての２つ又はそれよりも多くのピクセル座標（Ｎ_ｘ，Ｎ_ｙ）を計算して、候補ピクセルが同じ標的からの投影によって照らされているか否かを決定するよう、コントローラを構成する。決定モジュール４０２．６は、計算される２Ｄピクセル座標値が、候補ピクセルが同じ標的からの投影によって照らされていることを示すか否かを決定する。多数のセンサＳ_ｉｊで同じシーンを見ることによってもたらされる画像多様性は、様々な個々の画像Ｓ_ｉｊ内の特定の標的と関連付けられる（Ｎ_ｘ，Ｎ_ｙ）を正しく特定する役割を演じる。例えば、幾つかの実施態様において、３つのセンサ、Ｓ_１１，Ｓ_１２，Ｓ_１３のみが用いられる簡略化されたシナリオを想定すると、２Ｄピクセル座標［（Ｎｘ_１１，Ｎｙ_１１）、（Ｎｘ_１２，Ｎｙ_１２）、（Ｎｘ_１３，Ｎｙ_１３）］の三つ揃いが、［Ｓ_１１，Ｓ_１２，Ｓ_１３］上への同じ標的の投影に対応しないならば、（ｙ方向における投影シフトの推定である）量

及び

は、異なる値を生む。後に提示する方程式によれば、

及び

は、ピクセル座標（Ｎｘ_１１，Ｎｙ_１１）、（Ｎｘ_１２，Ｎｙ_１２）、（Ｎｘ_１３，Ｎｙ_１３）が同じ標的の投影から来るならば、同じでなければならない。

及び

が略等しくないならば、制御はモジュール４０２．４に戻り、センサ平面Ｓ_ｉｊ上への標的投影のための最良の候補を精緻化する。既述のように、上記はアルゴリズムの簡略化された実施であるに過ぎない。一般的には、図１０のモジュール４０２．６に示すように、

と

との間の差の平均(norm)は、モジュール４０２がその反復を完了するために、受け入れ可能な許容差(tolerance)ε未満でなければならない。類似の制約が、ｘ軸についての対応する推定、

及び

について満足させられなければならない。計算される２Ｄピクセル座標値（Ｎ_ｘ，Ｎ_ｙ）が、候補ピクセルが同じ標的からの投影によって照らされていることを示すという決定に応答して、制御はモジュール４０３に進む。

各ピクセルは世界シーンから色及び強度情報を直接的にキャプチャすることが理解されるであろう。その上、上記プロセスによれば、各ピクセルは、ピクセル上に投影される世界ビュー内の物理的物体の（ｘ，ｙ，ｚ）座標と関連付けられる。よって、色情報、照明強度情報、及び物理的場所情報、即ち、色及び照明を投影した物理的物体の場所を、持続性コンピュータ可読記憶装置内のピクセルと関連付け得る。以下の表１は、この関連を例示する。

表１

Ｑ３Ｄ情報決定の実施例

投影マッチングの実施例

幾つかの実施態様によれば、図１１は、３つの例示的な物体を含む例示的な三次元物理的世界シーンを包含する視野を有するように配置されるセンサＳ_１１−Ｓ_３３のアレイを含む例示的なセンサアレイ２１０の例示的な図面である。上述のように、アレイ中の各センサＳ_ｉｊは、各次元に少なくとも２つのピクセルを有するピクセルの二次元配列を含む。各センサは、レンズスタック（レンズ積重ね）を含み、レンズスタックは、レンズスタックの集束平面内に配置されるピクセルの対応する配列上に画像を解像する別個の光学通路を創る。各ピクセルは、光センサとして作用し、その多数のピクセルを備える各集束平面は、画像センサとして作用する。その集束平面を備える各センサＳ_１１−Ｓ_３３は、他のセンサ及び集束平面によって占められるセンサアレイの領域と異なるセンサアレイの領域を占める。適切な既知の画像センサアレイは、上述した（２０１０年１１月２２日に出願された）米国特許第８，５１４，４９１号及び（２０１２年９月１９日に出願された）米国特許出願公開第２０１３／００７００６０号に開示されている。

幾つかの実施態様によれば、センサは、Ｎ_ｘ及びＮ_ｙ、ｘ方向及びｙ方向におけるそれらのピクセル総数によって、並びに視野角度θ_ｘ及びθ_ｙによって特徴付けられる。幾つかの実施態様において、ｘ軸及びｙ軸についてのセンサ特性は、同じであることが予期される。しかしながら、代替的な実施態様において、センサは、非対称的なｘ軸及びｙ軸特性を有する。同様に、幾つかの実施態様において、全てのセンサは、同じピクセル総数及び同じ視野角度を有する。センサは、上手く制御された方法においてアレイ２１０に亘って分散させられる。例えば、センサは、図示の二次元格子上でδ距離だけ離れてよい。センサ配置ピッチδは、そのような格子に亘って対称的又は非対称的であってよい。

図１１に示す実施態様において、センサは、センサＳ_１１−Ｓ_１３が頂列を占め、センサＳ_２１−_２３が中央列を占め、センサＳ_３１−_３３が底列を占める、長方形格子において配置される。各センサは、Ｎ行のピクセル及びＮ列のピクセル（図示せず）を含む。光源によって生成される光線が、破線によって示されるように、三角形の第１の物体、球形の第２の物体、及び長方形の第３の物体から、イメージャアレイの各センサに反射させられる。例示的な目的のために、頂行中のセンサＳ_１１，Ｓ_１２，Ｓ_１３への光線のみが示されている。光源は、例えば、非構造的白色光又は周囲光であってよい。代替的に、光源は、可視スペクトル又は赤外スペクトルのような、選択的な波長で光を提供してよく、或いは、光は、例えば、選択的な波長（例えば、色）又は波長の範囲（例えば、色の範囲）をもたらすよう濾過され或いは分割されてよい。光線は物体の各々からセンサＳ_２１−Ｓ_３３に同様に反射させられることが理解されるであろう。しかしながら、説明を単純化するために、これらの他の光線は示されていない。更に、幾つかの実施において、センサに入射する光は、例えば、エネルギ源によって励起される蛍光中に、物体で生じること、並びに、反射させられる光の記述は、この状況を包含することが、理解されなければならない。

モジュール４０１及び４０２．１によれば、センサアレイ２１０のセンサは、世界ビューから別個に画像をキャプチャする。図１２は、幾つかの実施態様に従ったセンサＳ_ｉｊ（Ｓ_１１，Ｓ_１２，Ｓ_１３のみを示している）上への図１１の３つの物体の投影を表す例示的な図面である。当業者は、そのセンサに入射する反射させられる光線が、その視野内にある物体の画像を投影することを理解するであろう。より具体的には、イメージャアレイの多数の異なる画像センサに入射する視野内の物体から反射させられる光線は、三次元から二次元への物体の多数の透視投影、即ち、反射光線を受け取る各センサ内の異なる投影を生成する。具体的には、物体の投影の相対的な場所は、Ｓ_１１からＳ_１３に進行するときに、左から右にシフトさせられる。入射光線によって照らされる画像センサピクセルは、入射光に応答して電気信号を生成する。従って、各画像センサのために、その画像センサ内の画像投影の形状及び場所を示す反射光線に応答して、あるパターンの電気信号がそのピクセルによって生成される。

モジュール４０２．２によれば、関心の領域が世界シーンから選択される。図１３は、シーン内からの関心の領域（ＲＯＩ）の選択を示す例示的な図面である。この実施例において、三角形の第１の物体、球形の第２の物体、及び長方形の第３の物体は、全て、選択される関心の領域内にある。このステップは、操作者からの入力を受け入れることによって達成されることができ、或いは、それは指定の方法においてソフトウェアによって或いは操作者入力及び自動ソフトウェア制御選択の組み合わせによって設定されるコンピュータを用いて自動的に行われることができる。例えば、幾つかの実施態様において、世界シーンは人間の解剖学的構造の内腔を示してよく、物体は内部の身体器官又は手術器具又はそれらの部分であってよい。外科医は内腔内から実時間の視覚的な像(imagery)を受け取ってよく、人間の解剖学的構造及び体腔内に突出する手術器具の部分の組織領域を見ることがある。外科医は、そのための場所情報が、例えば、テレストレーション(telestration)ビデオマーカのような、既知の技法を通じて決定されるべき、視野内の物体を特定してよい（例えば、（２００５年１２月３０日に出願された）米国特許第７，９０７，１６６Ｂ２号を参照）。そのような操作者要求に替えて或いはそれに加えて、エッジ検出アルゴリズムのような自動処理を用いて関心の領域を特定し得る。

モジュール４０２．３によれば、同じ標的物体の投影によって照らされる異なるセンサ内のピクセル場所を特定するために、ベストマッチが関心の領域内のシーン画像の間に決定される。図１４は、幾つかの実施態様に従ったセンサＳ_１１，Ｓ_１２，Ｓ_１３内の投影画像の相対的な幾何学的偏心（オフセット）に関する追加的な詳細を示す例示的な図面である。幾つかの実施態様によれば、センサＳ_１３からの画像は、基準画像であると考えられ、選択されるＲＯＩ内の物体の投影は、センサＳ_１３内のそれらの場所に対してセンサＳ_１２内の量σ_２３ピクセルだけ右に偏心させられている。同様に、選択されるＲＯＩ内の物体の投影は、センサＳ_１３内のそれらの場所に対して量σ_１３ピクセルだけ右に偏心させられている。センサＳ_１１，Ｓ_１２，Ｓ_１３のＦＯＶ視認軸は、それぞれ、センサＳ_１３のＦＯＶ視認軸の右に偏心させられるので（そのような視認軸は、センサの平面に対して垂直である）、ＲＯＩからの投影画像は、センサＳ_１１に対してセンサＳ_１３及びＳ_１１内で左に偏心させられる）。

図１５は、幾つかの実施態様に従ってＲＯＩ内のセンサＳ_１３内の投影画像と整列するよう右にシフトさせられたＲＯＩ内のセンサＳ_１１及びＳ_１２内の投影画像を示す例示的な図面である。現在の実施例において、センサＳ_１３は、基準センサとして作用するように設計されている。整列（アライメント）及び幾何学的寸法を決定することにおける使用のために他のセンサを選択し得ることが理解されるであろう。選択されるＲＯＩ内の物体の投影は、指定されるセンサ、例えば、センサＳ_１３内に特定され、他のセンサ内の、例えば、センサＳ_１１及びＳ_１２内の投影は、それらが指定されるセンサ内の投影と整列するまで、シフトさせられる。このようにして、選択されるＲＯＩ内の物体の対応する投影を、指定されるセンサ内の投影の場所に対するそれらの偏心と共に、他のセンサ内で特定し得る。

具体的には、例えば、３つの実施例の物体の投影は、センサＳ_１２内で量σ_２３ピクセルだけ右にシフトさせられ、３つの実施例の物体の投影は、センサＳ_１３内で量σ_１３ピクセルだけ右にシフトさせられる。この例示的な実施例では、説明を単純化するために、投影はｙ方向のみにおいて偏心させられ、ｘ方向において偏心させられていないと仮定されているが、同じ原理がセンサ間にあるようなｘ方向投影偏心にも当て嵌まる。その上、この実施例は線形偏心を示すが、当業者は、例えば、異なるセンサ内に相対的な偏心を有する投影と整列させるよう、回転のような他の転換を適用し得る。

幾つかの実施態様によれば、例えば、二次元（２Ｄ）相互相関技法又は主成分分析（ＰＣＡ）を用いて、Ｓ_１３内のＲＯＩ内の投影をＳ_１２内のＲＯＩ内の投影と整列させ且つＳ_１３内のＲＯＩ内の投影をＳ_１１内のＲＯＩ内の投影と整列させ得る。一般的に、意図は、基準として指定されるセンサからの画像に対するセンサＳ_ｉｊからの画像を最良に整合（マッチ）させ或いは整列させることである。より具体的には、最高の相関係数が達成されるまで、Ｓ_１２内のＲＯＩ内の投影画像はシフトさせられ、Ｓ_１３内の投影画像と相互相関させられる。同様に、最高の相関係数が達成されるまで、Ｓ_１１内のＲＯＩ内の投影画像はシフトさせられ、Ｓ_１３内のＲＯＩ内の投影画像と相互相関させられる。よって、Ｓ_１３内のＲＯＩの投影とＳ_１２内のＲＯＩの投影との間の偏心を決定することによって並びにＳ_１３内のＲＯＩの投影とＳ_１１内のＲＯＩの投影との間の偏心を決定することによって、センサＳ_１１及びＳ_１２内のＲＯＩの投影の場所を特定するために、ＲＯＩの投影の整列が用いられる。

候補ピクセル選択及び精緻化の実施例

モジュール４０２．４によれば、候補ピクセルが異なるセンサ内で特定され、それらは、ベストマッチプロセスに従って、同じ標的からの投影によって照らされる。ＲＯＩ内の物体の投影がセンサＳ_１１，Ｓ_１２，Ｓ_１３の各々の内でひとたび特定されると、ＲＯＩ内の個々の標的地点の物理的（ｘ，ｙ，ｚ）投影をイメージャアレイに対して決定し得る。幾つかの実施態様によれば、ＲＯＩ内の多数の標的地点の各々について、標的地点からの投影によって照らされる多数のセンサの各々の内の１つ又はそれよりも多くのピクセルが特定される。各々のそのような標的地点について、少なくとも部分的に、標的地点からの投影によって照らされるように決定される異なるセンサ内に配置されるピクセル中の幾何学的関係に基づき、物理的（ｘ，ｙ，ｚ）標的地点場所が決定される。

ＲＯＩを組織的に横断することによって（例えば、特定の段階サイズで右から左に並びにある特定の段階サイズで上から下に）一連の標的地点を自動的に選択し得ること並びに各々の選択される地点について物理的（ｘ，ｙ，ｚ）標的位置場所を決定し得ることが理解されるであろう。Ｓ_１１及びＳ_１２はＳ_１３と最良に整合（マッチ）させられるので、横断はシフトされる関心の領域の内側で行われる。標的を選択することは、標的の投影によって照らされるセンサＳ_１１，Ｓ_１２，Ｓ_１３の各々の内でピクセルを特定することを含む。よって、Ｓ_１１，Ｓ_１２，Ｓ_１３の各々の内の候補ピクセルは、選択される標的地点の投影によって照らされるものであるとして特定される。

換言すれば、標的地点Ｔを選択するために、ピクセルが、標的地点Ｔの投影によって照らされるセンサＳ_１１，Ｓ_１２，Ｓ_１３の各々の内に選択される。標的Ｔの（ｘ，ｙ，ｚ）物理的場所は、その選択の瞬間に知られていないことが理解されるであろう。その上、上述の整列プロセスの不正確性は、各センサ内のどのピクセルが選択される標的Ｔの投影によって照らされるかの決定における不正確性を招き得ることが理解されるであろう。よって、図１７、１８及び１９を参照して説明するように、現在選択されている標的Ｔの投影によって照らされるＳ_１１，Ｓ_１２，Ｓ_１３の各々の内のピクセルについての決定の精度について、更なる決定が行われる。

上の実施例を続けて、三角形の第１の物体が現在選択されている標的地点であると仮定する。図１６は、幾つかの実施態様に従ったセンサＳ_１１，Ｓ_１２，Ｓ_１３の上への選択される三角形の標的地点の投影を示す例示的な図面である。これらの投影から、標的Ｔについての２Ｄピクセル座標、［（Ｎｘ_１１，Ｎｙ_１１），（Ｎｘ_１２，Ｎｙ_１２），（Ｎｘ_１３，Ｎｙ_１３）］が決定される。単純化のために、図１６は、ｙ軸ピクセル座標のみを示している。これらの２Ｄピクセル座標を用いて、式（４０２．５−１）及び（４０２．５−２）が適用され、

及び

がモジュール４０２．５の部分として計算される。４０２．６の部分、平均(norm)

が計算され、受け入れ可能な許容差εと比較される。同様に、ｘ軸ピクセル座標及び場所推定が計算され、受け入れ可能な許容差に対して比較される。モジュール４０２．６の条件が満足させられるならば、プロセスはモジュール４０３に進む。さもなければ、それはモジュール４０２．４に戻り、標的候補を更に精緻化する。

図１７を参照すると、センサＳ_１１，Ｓ_１２，Ｓ_１３と、物理的空間内の場所（ｘ，ｙ，ｚ）に配置される選択される三角形の第１の物体標的地点Ｔとを含む、イメージャアレイの部分が示されている。イメージャアレイ内のセンサは、それらの間に既知の間隔、δ_ｉｊを有する。Ｓ_１１とＳ_１２との間の物理的位置間隔はδ_１２であり、Ｓ_１２とＳ_１３との間の物理的位置間隔はδ_２３である。他の実施態様において、全てのセンサＳｉｊの間の間隔は、同一であり、δ、構造的仕様(constructional specification)と等しい。センサＳ_ｉｊは、既知の視野角度θも有する。

上で説明したように、幾つかの実施態様において、各センサは、長方形パターンの行列において配置されるピクセルを備える２Ｄ撮像要素として構成される。代替的に、ピクセルを、例えば、円形パターン、ジグザグパターン、分散パターンにおいて、或いはサブピクセル偏心(sub-pixel offsets)を含む不規則パターンにおいて配置し得る。これらの要素の角度及びピクセル特性は同一であってよく、或いは、代替的に、センサ毎に異なってよい。しかしながら、これらの特性は知られていることが仮定されている。説明を単純化するために、センサは同一であると仮定されているが、それらは異なってよい。

単純性のために、全てのセンサＳ_ｉｊがＮｘＮピクセルを有すると仮定しよう。センサＳ_１１から距離ｚで、センサのＮピクセル幅は、ＦＯＶ_１によって示されるＳ_１１のｙ次元視野に拡張する。同様に、センサＳ_１２から距離ｚで、センサ_１２のｙ次元視野はＦＯＶ_２によって示されている。また、センサＳ_１３から距離ｚで、Ｓ_１３のｙ次元視野はＦＯＶ_３によって示されている。長さＦＯＶ_１，ＦＯＶ_２，ＦＯＶ_３は、互いに重なり合い、センサＳ_１１，Ｓ_１２，Ｓ_１３が、幾らかの（未知の）距離ｚに物理的に位置する標的Ｔの三方向サンプリング多様性(three-way sampling diversity)を達成することを示す。もちろん、この実施例において想定されるように、センサが同一に作られるならば、長さＦＯＶ_１，ＦＯＶ_２，ＦＯＶ_３も、同一である。３つの長さＦＯＶ_１，ＦＯＶ_２，ＦＯＶ_３は、全て、同じ大きさを有し、それらがイメージャアレイから同じ（不明の）ｚ距離にある点において同一平面上にあるが、例示の目的のために、それらはそれらが恰も互いに隣接して重なり合うように描かれていることが理解されるであろう。

図１８を参照すると、画像センサＳ_１１，Ｓ_１２，Ｓ_１３上への現在選択されている標的地点Ｔの投影の例示的な正面図が示されている。単純性のために、センサはＮｘＮピクセルサイズの幾何学的に長方形のピクセルアレイを含むことが想定される。標的Ｔ投影のｘ座標は全て等しいことも想定される。換言すれば、Ｓ_１１，Ｓ_１２，Ｓ_１３上への標的Ｔの投影のために、ｎ_ｘ１＝ｎ_ｘ２＝ｎ_ｘ３であることが想定される。説明を単純化するために、幾何学的な視野角度θは、垂直的にθ_ｘ＝θ_ｙであるので、水平的に同じである。当業者は、上記仮定のうちの何れかが変わる場合に標的Ｔのｘ，ｙ，ｚ物理的座標を計算するために以下に提示するプロセスをどのように修正するかを知るであろう。

標的Ｔの画像は、画像センサＳ_１１の平面内の幾何学的座標（ｎ_ｘ１，ｎ_ｙ１）でセンサＳ_１１内の物理的地点に投影される。より具体的には、センサＳ_１１上への標的Ｔの投影は、原点から取られると、ｙ軸に沿ってｎ_ｙ１ピクセルに配置され、ｘ軸に沿ってｎ_ｘ１ピクセルに配置される。標的Ｔの画像は、画像センサＳ_１２の平面内の幾何学的座標（ｎ_ｘ２，ｎ_ｙ２）でセンサＳ_１２内の物理的地点に投影される。標的Ｔの画像は、画像センサＳ_１３の平面内の幾何学的座標（ｎ_ｘ３，ｎ_ｙ３）でセンサＳ_１３内の物理的地点に投影される。各センサ内のピクセル場所（ｎ_ｘｉ，ｎ_ｙｉ）がセンサのために提供される原点（０，０）基準座標に対して決定されることが理解されるであろう。図１７又は図１９に示すように、座標（ｘ，ｙ，ｚ）の世界系(global system)は、標的を参照するために定められ且つ用いられる。例えば、そのような座標系の原点は、センサＳ_１１の幾何学的中心に配置されてよいが、それに限定されない。

図１６及び図１８の両方を参照すると、標的の投影のｙピクセル距離は各センサにおいて異なることを見ることができる。現在選択されている標的Ｔの投影は、Ｓ_１１において原点のｎ_ｙ１ピクセル左に配置されている。選択される標的Ｔの投影は、Ｓ_１２において原点のｎ_ｙ２ピクセル左に配置されている。選択される標的Ｔの投影は、Ｓ_１３において原点のｎ_ｙ３ピクセル左に配置されている。上述のように、説明を単純化するために、標的の投影は全ての３つのセンサにおいて原点から同じｘピクセル距離に向けられていると想定される。

図１９を参照すると、図１７を参照して上述したようなセンサＳ_１１，Ｓ_１２，Ｓ_１３に対する現在選択されている標的Ｔの配置が示されており、センサの各々における候補ピクセルについてのｙ方向偏心も示している。図１９の図面は、選択される標的Ｔの（ｘ，ｙ，ｚ）物理的座標を決定するための解析フレームワーク及び物理的構造を表している。イメージャアレイ平面からの（不明の）距離ｚで、各センサのためのｙ方向視野は、ＦＯＶ_ｉとして記される長さに亘って延びる。この長さ、ＦＯＶ_ｉは、幾つかの実施態様において、Ｎピクセルである、センサの最大ピクセル幅に対応する。センサがｘ方向及びｙ方向において対称的である視野を有するという動作推定(working assumption)を考慮すれば、その長さもｘ軸に沿って垂直にＦＯＶ_ｉである。

候補ピクセル選択が、少なくとも部分的に、選択される標的の物理的場所の決定における不正確性を招き得る不確実性のレベルを有し得る相関プロセスに基づいて行われることを思い起こして頂きたい。よって、幾つかの実施態様に従った標的投影候補選択の正確性の更なる確認が、以下のように行われる。

標的の物理的（ｘ，ｙ）場所を決定すること及び標的投影候補選択の正確性を確認することの実施例

モジュール４０２．５によれば、候補ピクセルが同じ標的からの投影によって実際に照らされるか否かを決定するために、２つ又はそれよりも多くの二次元（Ｎ_ｘ，Ｎ_ｙ）座標値が、選択される標的のために計算される。上で議論した推定及び３Ｄ座標系の原点をセンサＳ_１１の中心に配置することに基づき、イメージャアレイ及び図１９中の実施例において現在選択されている標的Ｔは、以下の関係を有し、

ここで、
Ｎは、撮像センサのピクセル寸法であり、
ｎ_ｘ１は、ｘ方向におけるＳ_１１平面の原点からのピクセルの数において表わされる標的地点Ｔの位置であり、
ｎ_ｙ１は、ｙ方向におけるＳ_１１平面の原点からのピクセルの数において表わされる標的地点Ｔの位置であり、
ｎ_ｘ２は、ｘ方向におけるＳ_１２平面の原点からのピクセルの数において表現される標的地点Ｔの位置であり、
ｎ_ｙ２は、ｙ方向におけるＳ_１２平面の原点からのピクセルの数において表現される標的地点Ｔの位置であり、
θは、視野の角度である。

その上、センサＳ_１１及びＳ_１３を用いて同じ算数を行うならば、並びに、Ｓ_１１とＳ_１３との間の分離が２δであると仮定すると、以下が得られ、

ここで、
ｎ_ｘ３は、ｘ方向におけるＳ_１３平面の原点からのピクセルの数において表現される標的地点Ｔの位置であり、
ｎ_ｙ３は、ｙ方向におけるＳ_１３平面の原点からのピクセルの数において表現される標的地点Ｔの位置である。

よって、選択される標的Ｔの物理的ｘ座標の決定を式（３）又は（６）に基づき決定し得る。選択される標的Ｔの物理的ｙ座標の決定を式（２）又は（５）に基づき決定し得る。選択される標的Ｔの物理的ｚ座標の決定を方程式（１）又は（４）に基づき決定し得る。

より一般的には、モジュール４０２．６によれば、計算される２Ｄ座標値が、候補ピクセルが同じ標的からの投影によって照らされていることを示すか否かについて、決定が行われる。各座標についての２つの公式(formulation)を通じて、標的Ｔの物理的（ｘ，ｙ，ｚ）座標のより確実な決定を得ることができる。例えば、標的Ｔについてのｙ座標を両方の公式（２）及び（５）を用いて決定し得る。２つの公式を用いて計算される結果として得られるｙ座標値が、ある程度の受け入れ可能な許容差値(tolerance value)、ε_ｙよりも多い値だけ異なるならば、整合（マッチング）プロセスが異なるセンサ内の投影の間の偏心を十分な精度で解消し損ず、その結果、候補ピクセルが同じ標的Ｔからの投影を受けないという意味において、候補ピクセルが対応しないという、決定を行い得る。ｙ計算が整合し損なう事態においては、各々が選択される標的Ｔに対応する、センサ内の候補ピクセルの改良された選択を行う試みにおいて、整合プロセスの他の繰返しが行われてよい。計算されるｙ値が等しい可能性は低いことが理解されるであろう。何故ならば、異なるセンサ上への異なる透視投影は、例えば、視差効果の故に異なり得るからである。従って、受け入れ可能な許容差値は、意図される用途に従って指定される。手術撮像用途のために、０．１〜０．３ｍｍの間のεが、典型的には、受け入れ可能なＱ３Ｄ精度をもたらす。当業者は、この発明の精神から逸脱せずに、異なる受け入れ可能な許容差レベルを定めてよい。

ｘ軸及びｙ軸の周りの推定されるセンサ対称性を考慮すれば、当業者は、（２）及び（５）における公式と類似の公式を用いるが、ｎ_ｙｉの代わりにｎ_ｘｉを用いて、標的Ｔのｘ座標について同種の決定を行い得ることを理解するであろう。公式（３）及び（６）を４０２．５及び４０２．６の部分において用い得ない。何故ならば、それらはｚ座標の知識を必要とするからである。しかしながら、モジュール４０２．５及び４０２．６の本質は、センサＳ_１１，Ｓ_１２，Ｓ_１３の平面上の正しい標的投影を決定することである。この目的のためには、ｘ軸及びｙ軸のために調節された公式（２）及び（５）で十分である。完全なセットの座標（ｘ，ｙ，ｚ）は、以下に記載するように、モジュール４０３及び４０４の計算される部分である。

標的の物理的ｚ場所を決定する実施例

図１９に例示するように、モジュール４０３及び４０４によれば、計算プロセスを開始するために、ｚ座標、ｚ_０についての初期的な推定が用いられる。この初期値は、医療用途に従って自動的に定められる。医療用途は、視覚化されるべき意図される世界ビューを定める。初期値ｚ_０は、内視鏡に最も近い視野のエッジ（縁）で開始する。図８を参照すると、手術内視鏡を包含するＱ３Ｄ用途のために、ｚ_０は、例えば、Ｑ３Ｄ内視鏡２０２の遠位端２０８から１〜５ｍｍ外れ得る。そのような初期的な推定は、一般的には、この用途のために十分である。何故ならば、Ｑ３Ｄ内視鏡にそのように近接近して存する組織又は手術器具を有する可能性は低いからである。次に、値ｚ_０を公式（３）及び（６）に差し込む。標的のｘ座標が特異であることを考慮するならば、ｚ_０が真実であり、標的のｚ座標が正しいならば、公式（３）及び（６）は同一の値又は受け入れ可能なレベルの許容差内の略等しい値、ε_ｘを生む。

（３）及び（６）が受け入れ可能な許容差ε_ｘの外側にあるならば、繰返しが続き、ｚについての新しい推定、ｚ_１を試す。幾つかの実施態様によれば、新しい推定は自動的に定められる。例えば、ｚ_１＝ｚ_０＋Δであり、ここで、Δは、繰返しステップの大きさである。一般的には、ｋ^ｔｈ反復Ｚ_ｋ＝ｚ_ｋ−１＋Δである。繰返しプロセスは、条件（７）を満足するときに停止する。より小さなΔは、正しい標的座標を決定することにおける精度の増大をもたらすが、プロセスを完了するのにより多くの計算時間、故に、待ち時間(latency)の増大を必要とする。待ち時間の増大は、手術器具動作と執刀医によるその視覚化との間の遅延を招くことがある。換言すれば、外科医はシステムが命令の裏で遅れている（即ち、実時間で動作していない）ものとして知覚する。２０〜３０ｃｍの不可算の手術視認空間のために、０．１〜０．３ｍｍのΔが十分なことがある。もちろん、当業者は、繰返しプロセスを完了するのに必要とされる計算に対してΔの大きさを均衡させることを知っている。

上記説明は提示の理由のために単純化されており、従って、それは３つのセンサＳ１１，Ｓ１２，Ｓ１３のみを含んだ。一般的には、より多くのセンサを用いて、Ｑ３Ｄ座標計算の精度を増大させ得るが、繰返しの総数も減少させ得る。例えば、３つよりも多くのセンサ、好ましくは、３×３センサアレイが用いられるならば、最急勾配(steepest gradient)のような方法を用いて、モジュール４０２．５及び４０３によって行われる推定誤差の方向を変え得る。３Ｄ誤差勾配表面の局所的な極限に向かう進行に整合（マッチ）するよう、繰返しステップの大きさ及び方向を調節し得る。

Ｑ３Ｄ情報を用いた内視鏡検査手術の誘導

図２０は、幾つかの実施態様に従った外科処置中にＱ３Ｄ情報を用いる第１のプロセス２０００を表す例示的なフロー図である。コンピュータプログラムコードは、プロセス２０００を遂行するようコンピュータ１５１を構成する。モジュール２００２は、使用者入力を受信して、ビューア３１２を覗くときに、外科医の視野内の少なくとも２つの物体を選択するよう、コンピュータを構成する。モジュール２００４は、使用者選択の受信に応答してコンピュータコンソールにメニューを表示するようコンピュータを構成する。決定モジュール２００６は、距離を表示するために、メニューへの使用者入力が受信されたか否かを決定するよう、コンピュータを構成する。使用者入力を受信して距離を表示したという決定に応答して、モジュール２００８は、外科医の視野内のビデオ画像中に数値距離を表示するようコンピュータを構成する。決定モジュール２０１０は、距離表示を選択するために使用者入力の受信についての指定の時間間隔を待ち、「タイムアウト」間隔内に使用者入力を受信しないことに応答して、決定モジュール２００６の動作を終了させるよう、コンピュータを構成する。

決定モジュール２０１２は、近接警報限界を入力するためにメニューへの使用者入力が受信されたか否かを決定するよう、コンピュータを構成する。近接閾(proximity threshold)を入力するために使用者入力が入力されたという決定に応答して、モジュール２０１４は、Ｑ３Ｄ情報を用いて、外科医の視野内の２つ又はそれよりも多くの物体の間の近接性をモニタリング（監視）するよう、コンピュータを構成する。決定モジュール２０１６は、近接閾を超えたか否かを決定する。近接閾を超えたという決定に応答して、モジュール２０１８は、警報をアクティブ化させるようコンピュータを構成する。警報は、音、点滅する光のような視覚的キュー、衝突を避ける器具動作の係止（ロッキング）、又は他の触覚フィードバックを含んでよい。近接閾を超えなかったという決定に応答して、制御はモニタリングモジュール２０１４に戻る。決定モジュール２０２０は、近接閾を入力する使用者入力の受信についての指定の時間間隔を待ち、「タイムアウト」間隔内に使用者入力がなかったことに応答して決定モジュール２０１２の動作を終了させるよう、コンピュータを構成する。

図２１は、幾つかの実施態様に従った図２０のプロセスに従ったディスプレイスクリーン２１０２上に表示されるメニュー選択を示す例示的な図面である。ディスプレイスクリーン２１０２は、コンピュータ１５１と関連付けられる視認モニタを含む。代替的に、ディスプレイスクリーン２１０２は、ビューア３１２の視認要素４０１Ｒ，４０１Ｌの領域を含んでよい。使用者入力に応答して、モジュール２００４は、第１のメニュー項目「距離を表示する」２１０６及び第２のメニュー項目「近接警報を設定する」２１０８を含む、メニューを表示させる。「距離を教示する」というメニュー項目２１０６を選択する使用者入力に応答して、モジュール２００８は、２つ又はそれよりも多くの物体の間のＱ３Ｄ距離の表示をもたらす。図４を再び参照すると、モジュール２００８を用いて表示された器具４００と標的との間のＱ３Ｄ距離「ｄ＿Ｉｎｓｔｒ＿Ｔｒｇｔ」の表示が示されている。「近接警報を設定する」というメニュー項目２１０８を選択する使用者入力に応答して、「距離を入力する」というＵＩ入力２１１０が表示され、それは使用者が近接距離閾値(proximity distance threshold value)、例えば、１センチメートルを入力し得るフィールドを含む。代替的な実施態様（図示せず）において、初期設定近接閾が全ての器具のために前もって設定されてよく、使用者は、例えば、図２１のメニューを用いて近接閾を変更してよい。代替的な実施態様において、使用者は、閾値(threshold value)を入力するよりもむしろ初期設定閾値(default threshold value)を選択することを選び得る。幾つかの実施態様において、使用者は、距離を表示すること及び近接警報を設定することの両方を選択し得る。

図２２Ａ−２２Ｂは、幾つかの実施態様に従った使用者入力を受信することの特定の詳細を表す例示的な図面である。図２２Ａは、テレストレーションのようなビデオマーカツールを用いて或いは図４の制御入力デバイス１６０を操作する外科医コンソールを用いて創り得る、体組織のような、標的４１０Ｌ，４１０Ｒの例示的な第１の強調領域２２０２Ｌ，２２０２Ｒ(highlighting areas)を示している。図２２Ｂは、ビデオマーカツールを用いて創り得る、器具先端４００Ｌ，４００Ｒの例示的な第２の強調領域２２０６Ｌ，２２０６Ｒを示している。手術中、幾つかの実施態様によれば、使用者は、第１の強調領域２２０２Ｌ，２２０Ｒを創る。次に、使用者は、ビデオマーカツールを用いて、器具先端４００Ｌ，４００Ｒの第２の強調領域を創る。品目が強調される順番は重要でないことが理解されるであろう。次に、使用者は、セレクタ（図示せず）を作動させて（例えば、入力キーを押して）、選択を入力する。モジュール２００２は、受信する使用者入力を、標的画像４１０Ｌ，４１０Ｒ及び器具画像４００Ｌ，４００Ｒの選択として解釈する。

図２３は、幾つかの実施態様に従った外科処置中にＱ３Ｄ情報を用いる第２のプロセス２３００を表す例示的なフロー図である。コンピュータプログラムコードは、プロセス２３００を遂行するようコンピュータ１５１を構成する。モジュール２３０２は、使用者入力を受け取って、ビューア３１２を覗くときに外科医の視野内の物体を選択するよう、コンピュータを構成する。例えば、図２２Ａを再び参照すると、使用者入力は、ビデオマーカツールを用いて器具先端４００Ｌ，４００Ｒの第２の強調領域２２０６Ｌ，２２０６Ｒを創るようために受信されるよう、示されている。使用者入力（図示せず）は、セレクタ（図示せず）を作動させて（例えば、入力キーを押して）、器具先端４００Ｌ，４００Ｒの画像の選択を入力するために、受信される。

図２３にもう一度戻ると、使用者選択の受信に応答して、モジュール２３０４は、コンピュータコンソールにメニューを表示するようコンピュータを構成する。決定モジュール２３０６は、選択される物体の画像を回転させるために、メニューへの使用者入力が受信されたか否かを決定するよう、コンピュータを構成する。画像を回転させる使用者入力が受信されたという決定に応答して、モジュール２３０８は、画像を回転させて物体の異なる三次元眺望を示すよう、コンピュータを構成する。決定モジュール２３１０は、画像を回転させる使用者入力の受信のための指定の時間間隔を待って、「タイムアウト」間隔内に使用者入力がないことに応答して決定モジュール２３０６の動作を終了させるよう、コンピュータを構成する。

図２４は、幾つかの実施態様に従った図２３のプロセスに従ったディスプレイスクリーン２４０２に表示されるメニュー選択を示す例示的な図面である。ディスプレイスクリーン２４０２は、コンピュータ１５１と関連付けられる視認モニタを含む。代替的に、ディスプレイスクリーン２４０２は、ビューア３１２の視認要素４０１Ｒ，４０１Ｌの領域を含んでよい。受信される使用者入力に応答して、モジュール２３０４は、第３のメニュー項目「左に回転させる」２４０６及び第４のメニュー項目「右に回転させる」２４０８を含む、メニュー２４０４の表示をもたらす。第３の又は第４のメニュー項目２４０６，２４０８のうちの一方又は他方を選択する使用者入力に応答して、モジュール２３０８は、図９のモジュール４０７に従って創られ且つ格納される３Ｄモデルの領域をもたらす。回転の量は数度、例えば、３０度未満に限定されてよいことが理解されるであろう。何故ならば、センサイメージャアレイ２１０は、限定的な全体的な視野を有するからである。

器具先端からの仮想のＱ３Ｄ眺望

図２５は、画像センサアレイ２１０と関連付けられ且つ内視鏡視野（ＦＯＶ_ｅ）を有するＱ３Ｄ内視鏡２５０２を示す、例示的な図面である。図２５は、幾つかの実施態様に従った視野内の手術シーン２５０８内に配置される１つ又はそれよりも多くの解剖学的構造２５０８−１，２５０８−２及び手術器具２５０６の部分の斜視図も示している。光源２５１０が、手術シーン２５０８を照らす。図７Ａ−７Ｂ及び図８−１０を参照して説明したように、画像センサアレイ２１０が、内視鏡２５０２の先端２５１２から広がるＦＯＶ_ｅ内の解剖学的構造２５０８−１，２５０８−２及び手術器具２５０６の画像投影をキャプチャするように、位置付けられる。結果的に、手術シーン２５０８のＱ３Ｄモデルが計算される。図８を参照して上で説明したように、内視鏡２５０２は、カニューレを介して体壁組織を貫通し、或いは自然開口部を通じて体に進入し、次に、内視鏡２５０２は、手術シーン２５０８への視覚的アクセスをもたらすために、並びに手術シーン２５０８の画像をキャプチャするために、患者の体腔内に延入し、手術シーンは、例示的な標的として、患者の体腔内の解剖学的構造２５０８−１，２５０８−２及び手術器具２５０６を含む。

図２５は、幾つかの実施態様に従って図５−６を参照して記載されるＱ３Ｄ内視鏡２５０２の視野（ＦＯＶ_ｅ）を例示している。図５−６に示すように、器具１０１Ａ−Ｂ及びＱ３Ｄ内視鏡１０１Ｃは、外科介入（外科インターベンション）中に異なるカニューレを通じて配置されてよい。外科介入は、遠隔操作医療システムの使用を含んでよく、或いは、外科介入は、手動の最小侵襲的介入であってよく、或いは、外科介入は、観血手術介入であってよく、或いは、それらの組み合わせであってよい。内視鏡視野（ＦＯＶ_ｅ）は、外科処置中に、図４を参照して上述したように、ビューア３１２を通じて外科医に見えることが理解されるであろう。図６は、ロボット技術を用いる遠隔操作外科介入に関して、患者側カートの機械的手術アーム１５８Ａ−１５８Ｄにある内視鏡１０１Ｃ及び器具１０１Ａ−Ｂの配置を例示している。

例示の目的のために、DA VINCI Si（登録商標）Surgical System用のEODOWRIST（登録商標）MEGA Needle Driver Instrumentのような、持針器(needle driver)の形態のエンドエフェクタを有する、標的手術器具２５０６が、示されている。しかしながら、外科介入中に、例えば、鋏、グラスパ、メス、焼灼電極、ステープラ、又はクリップアプライアのような、代替的なエンドエフェクタを用いて、異なる手術機能を実施し得る。例示の目的のために、患者の体腔内の例示的な手術シーン２５０８は、第１の解剖学的組織構造を表す球形状を有する第１の解剖学的標的２５０８−１と、第２の解剖学的組織構造を表すピラミッド形状を有する第２の解剖学的標的２５０８−２とを含む。

幾つかの実施態様によれば、手術シーン２５０８の仮想のＱ３Ｄ眺望が、内視鏡２５０２と関連付けられるセンサアレイの内視鏡ＦＯＶ_ｅ内に配置される、標的手術器具２５０６の長手軸に沿う視認眺望から生成される。内視鏡２５０２を標的手術器具２５０６の軸２５１４と整列させるために、内視鏡２５０２の向き及び位置の変換について、決定が行われる。これらの向き及び位置変換は、内視鏡２５０２のＦＯＶ_ｅ内のＱ３Ｄビューから手術器具２５０６の軸２５１４に沿う器具視野（ＦＯＶ_ｉ）内のＱ３Ｄビューへのシーン２５０８のＱ３Ｄレンダリングの変換のための基礎として用いられる。ＦＯＶ_ｉからの手術シーン２５０８のビューは、図４の３Ｄビューア３１２を用いて視覚化されてよい。よって、Ｑ３Ｄ情報は、恰も、画像キャプチャデバイスが、手術器具２５０６の先端に位置し、且つ視野が専用の内視鏡器具と整列させられる方法と同様の方法において手術器具２５０６の長手軸と整列させられるＦＯＶ_ｉを有する（例えば、長手軸からの０°偏心、長手軸からの３０°偏心等）、静止画像又は動画を創るために、用いられる。代替的に、ＦＯＶ_ｉは、手術器具２５０６の他の場所に、例えば、ジョー間の支点に或いはそれに隣接して、位置してよい。この特徴を記載する更に他の方法は、内視鏡画像が手術器具２５０６の眺望(perspective)から生成されるよう、互いに一致する内視鏡２５０２及び手術器具２５０６を考えることである。

図２６は、幾つかの実施態様に従って、Ｑ３Ｄシーンを、内視鏡視認眺望から内視鏡視認眺望内の標的器具の眺望からのＱ３Ｄシーンに変換する、プロセス２６００を表す例示的なフロー図である。幾つかの実施態様に従った特定の幾何学的変換を行うために、Ｑ３Ｄ内視鏡先端２５１２は、図２５に例示するように、３Ｄ座標系ｘ，ｙ，ｚの原点に位置すると想定される。モジュール２６０２は、シーン２５０８のＱ３Ｄモデル２６５０を創るよう、図８からのコンピュータ１５１（又はコントローラ１０６；コンピュータ１５１への言及は以下の記述においてコントローラ１０６にも当て嵌まる）を構成する。図９−１９を参照して上で説明したように、コンピュータ１５１は、内視鏡ＦＯＶ_ｅ内で決定される地点の（ｘ，ｙ，ｚ）座標を決定するように構成される。そうするときに、システムは、シーン２５０８のＱ３Ｄモデル２６５０を創る。Ｑ３Ｄモデル２６５０は、持続性コンピュータ可読記憶デバイス２６５２内に格納される。図２５に示すように、器具２５０６の遠位部分が、内視鏡２５０２と関連付けられるセンサ２１０のＦＯＶ_ｅ内にキャプチャされる。

モジュール２６０４は、内視鏡２５０２の先端２５１２とシーン２５０８との間の距離ｄ_１を決定するように、図８からのコンピュータ１５１を構成する。距離ｄ_１は、先端２５１２からシーン２５０８の最も近い地点までの長さを表す。図２５において提供される実施例において、ｄ_１は、Ｑ３Ｄ内視鏡先端２５１２から標的２５０８−１の最も近い地点までの距離である。同様に、モジュール２６０４は、標的手術器具２５０６の先端２５１６と手術シーン２５０８との間の距離ｄ_２を決定するように、コンピュータ１５１を構成する。距離ｄ_２は、先端２５１６からシーン２５０８の最も近い地点までの距離を表す。図２５において提供される実施例において、距離ｄ_２は、器具先端２５１６から標的２５０８−１上の最も近い地点までの距離である。システムは、Ｑ３Ｄモデルの詳細に基づき、距離ｄ_１及びｄ_２を決定し得る。図９及び２０を参照して記載したアルゴリズムを用いて、距離ｄ_１及びｄ_２を計算し得る。図９に関して記載するアルゴリズムは、ＦＯＶ_ｅ内の全ての地点の座標を決定する。図２０に関して記載するアルゴリズムを用いて、２５１２と２５０８−１との間のような、或いは、２５１６と２５０８−１との間のような、如何なる２つの物体の間の距離をも決定し得る。以下により詳細に説明するように、これらの距離パラメータは、３Ｄ眺望のレンダリングが記載されるときに用いられる。

次に、Ｑ３Ｄ内視鏡２５０２が器具２５０６の３Ｄ姿勢を撮るよう、Ｑ３Ｄ内視鏡２５０２を仮想的に「移動」させる(move)ために、シーン２５０８のＱ３Ｄモデル内の情報に基づき、一連の幾何学的変換が行われる。ここにおいて用いるとき、「姿勢」(“pose”)という用語は、少なくとも１つの並進自由度内の物体の部分又は物体の位置を指し、少なくとも１つの回転自由度（デカルト空間内の最大で全部で６つの自由度（サージ(surge)、ヒーブ(heave)、スウェイ(sway)、ロール(roll)、ヨー(yaw)、ピッチ(pitch)））内のその物体の部分又はその物体の向きを指す。この記述はデカルト用語によるが、実際には他の座標系（極座標、円柱座標、球座標等）が用いられてよい。

モジュール２６０６は、Ｑ３Ｄモデル２６５０から器具２５０６の可視部分に位置する少なくとも２つの地点の（ｘ，ｙ，ｚ）座標を決定するように、コンピュータ１５１又はコントローラ１０６を構成する。好ましくは、精度の増大のために、より多くの地点を決定し得る。例えば、これらの地点が図２５に示すＰ１及びＰ２であると仮定する。上で議論したように、内視鏡２５０２は、その先端が原点にある状態で、３Ｄ座標系のｚ軸２５１８上に位置すると想定される。結果的に、内視鏡２５０２の軸２５１８を、以下の方程式によって定められる３Ｄ線として記述し得る。

モジュール２６０８は、地点Ｐ_１（ｘ_１，ｙ_１，ｚ_１）及びＰ_２（ｘ_２，ｙ_２，ｚ_２）に関して、以下の方程式によって定められる３Ｄ線を含む、器具２５０６の軸２５１４を決定するように、コンピュータシステム１５１を構成し、

ここで、方程式（９）は、器具２５０６の軸２５１４上のいずれかの地点（ｘ，ｙ，ｚ）を定める。

モジュール２６１０は、内視鏡２５０２を器具２５０６の姿勢に仮想的に「移動」させる変換を計算するように、コンピュータシステム１５１を構成する。この「移動」は、内視鏡２５０２のｚ軸２５１８を標的器具２５０６の軸２５１４と仮想的に整列させる、一連の仮想の回転及び仮想の並進を含む。

図２７Ａ−２７Ｃは、幾つかの実施態様に従った、仮想の向き変換（図２７Ａ）、仮想の場所変換（図２７Ｂ）、及び結果として得られる仮想の整列（図２７Ｃ）を表す、例示的な図面である。そのような変換は、当業者に知られており、それらの実施の詳細は、そのような変換の順序、数、又は大きさを含めて、異なり得る。また、当業者は、デカルト以外の異なる３Ｄ座標系を用い得ることを理解する。例えば、結果を変更せずに、極座標系、円柱座標系、又は球座標系を利用し得る。

図２７Ａを参照すると、例えば、セグメントｌ_１は、内視鏡２５０２の姿勢を表しており、セグメントｌ_２は、標的器具２５０６の姿勢を表している。より具体的には、セグメントｌ_１は、内視鏡軸２５１８の位置及び向きを表しており、セグメントｌ_２は、標的器具軸２５１４の位置及び向きを表している。モジュール２６１０は、回転角度αによって定められる回転行列Ｍ_ｘを利用することによってｘ軸の周りでセグメントｌ_１を仮想的に回転させるように、コンピュータ１５１を構成する。モジュール２６１０は、回転角度βによって定められる回転行列Ｍ_ｙを利用することによってｙ軸の周りでセグメントｌ_１を仮想的に回転させるように、コンピュータ１５１を構成する。最後に、必要であれば、モジュール２６１０は、回転角度γによって定められる回転行列Ｍ_ｚを利用することによってｚ軸の周りでセグメントｌ_１を仮想的に回転させるように、コンピュータ１５１を構成する。回転行列の使用は、当業者に周知であり、ここにおいて詳細に記載される必要はない。

図２７Ｂに例示するように、幾つかの実施態様に従った、これらの仮想的な回転の目的及び結果は、変換させられるセグメントｌ^’ _１が、今やセグメントｌ_２、器具２５０６の軸２５１４と平行であるような目的及び結果である。結果として得られる全体的な回転行列Ｍは、以下のように等しいか、

或いは、以下のような三角方程式にある。

モジュール２６１０は、セグメントｌ^’ _１をセグメント１^’ _１と平行なセグメントｌ_２と重なり合う位置関係に移動させるよう、仮想の位置並進Ｔ_ｖを決定するように、コンピュータ１５１を更に構成する。幾何学的な位置並進は、図２７Ｂに示すベクトル

によって定められる。ベクトル

は、セグメントｌ^’ _１の先端及びｌ_２の先端によって定められ、それはｌ^’ _１からｌ_２に向けられる。

図２７Ｃに示すように、結果として得られる平行なセグメントｌ^” _１は、それがｌ_２と重なり合う位置に仮想的に移動させられる。幾何学的な並進は、当業者に周知であり、ここにおいて詳細に記載される必要はない。

幾つかの実施態様によれば、器具２５０６の先端２５１６の視認眺望からのシーン２５０８のＱ３Ｄモデルの仮想的なビューは、Ｑ３Ｄモデルを、逆の順序において上述の操作Ｔ_ｖ，Ｍ_ｚ，Ｍ_ｙ，Ｍ_ｘに従って変換することによって、生成される。モジュール２６１２は、ベクトル

の場所並進を適用することによって、Ｑ３Ｄモデルを先ず変換するように、コンピュータ１５１を構成する。モジュール２６１２は、それぞれの角度−γ，−β，−αの一連の向き回転Ｍ_ｚ，Ｍ_ｙ，Ｍ_ｘをそれぞれ行うように、コンピュータ１５１を構成する。

モジュール２６１４は、変換されたＱ３Ｄモデルを用いて標的器具２５０６の仮想眺望(virtual perspective)からの手術シーンを表示するように、コンピュータ１５１を構成する。距離ｄ２に基づき、仮想眺望は、既知の透視図アルゴリズム(perspective drawing algorithm)を用いて創られる。図２８Ａ−２８Ｂは、幾つかの実施態様に従った、内視鏡先端２５１２の眺望からの手術シーン２５０８の例示的なＱ３Ｄビュー（図２８Ａ）、及び標的手術器具２５１６の眺望からの例示的なＱ３Ｄビュー（図２８Ｂ）である。図２８Ａ−２８Ｂの手術シーンは、外科処置中に、図４を参照して上述したように、ビューア３１２を通じて外科医に見えるようにさせられ得ることが理解されるであろう。その上、幾つかの実施態様によれば、外科医は仮想眺望を選択的に変更し得る。図２８Ａの内視鏡眺望から、標的器具２５０６は、第１の（球形）解剖学的構造２５０８−１及び第２の（三角形）解剖学的構造２５０８−２と共に見える。図２８Ｂの標的器具眺望から、第１の（球形）解剖学的構造２５０８−１及び第２の（三角形）解剖学的構造２５０８−２が見えるが、図２８Ａの眺望と異なる眺望からである。図２６からのアルゴリズムを用いて図２８Ｂに例示する眺望を生成し得る。

図２９は、幾つかの実施態様に従ってＱ３Ｄモデルの３Ｄレンダリングを生成するプロセスの詳細を示す例示的な図面である。変換されたＱ３Ｄモデルがひとたび計算されると、それをシステムの３Ｄディスプレイ１１０上に表示し得る。この目的のために多数の３Ｄビデオアルゴリズム及びハードウェア実装を用い得る。コンピュータモジュール２９０２は、ビデオプロセッサ１０４、コントローラ１０６、及び６２〜６５ｍｍの平均的な人間の瞳孔間距離（ＩＰＤ）を考慮してＱ３Ｄモデルを右眼ビュー２９０４Ｒと左眼ビュー２００４Ｌとに分離するディスプレイドライバ１０９とを含む、図８のシステムを構成する。このステップを達成するために、立体視及び人間のＩＰＤの既知の詳細が適用される。幾つかの実施態様によれば、モジュール２９０６は、３Ｄシーンの印象をビューアにもたらすための既知のフレームレートで、左眼２９０８Ｌにビデオフレームを提供すること及び右眼２９０８Ｒにビデオフレームを提供することの間で交互に切り換えるように、３Ｄディスプレイドライバ１０９の３Ｄビデオコントローラ１０６を構成する。図２９に記載するアプローチは、図４−６を参照して記載したような、遠隔操作手術システムに存在するような、３Ｄ視認ゴーグルを利用する。しかしながら、他の３Ｄビデオディスプレイを用い得る。それらの全文をここに参照として援用するLiptonに発効した（１９８１年５月１５日に出願された）米国特許第４，５６２，４６３号及びNagele et al.に発効した（１９９５年１１月２７日に出願された）米国特許第６，００８，８３９号は、追加的な実施の詳細を提供する。

飛行禁止ゾーン（ＮＦＺ）

図３０Ａ−３０Ｂは、内視鏡視野（ＦＯＶ_ｅ）を有する画像センサアレイ２１０と関連付けられる内視鏡２５０２の斜視図を示す例示的な図面である。同様に示されているのは、幾つかの実施態様に従った、飛行禁止ゾーン３０２２(no fly zone)と関連付けられる第１の手術器具３０２４の部分第２の手術器具３０２６、及びＦＯＶ_ｅ内の手術シーン３００８内に配置される解剖学的構造３００７である。光源２５１０が、手術シーン３００８を照らす。図７Ａ−７Ｂ及び図８−１０を参照して説明するように、画像センサアレイ２１０が、内視鏡２５０２の先端部分を照らすＦＯＶ_ｅ内の解剖学的構造３００７及び手術器具２５０６の画像投影をキャプチャするように、位置付けられる。画像センサアレイ２１０は内視鏡先端２５１２に隣接して配置されているが、代替的に、例えば、図７Ｂを参照して説明したように、画像センサアレイを先端２５１２から変位させ得ることが理解されるであろう。図８を参照して上で説明したように、内視鏡２５０２は、例示的な標的として、患者の体腔の内側の解剖学的構造３００７並びに第１及び第２の手術器具３０２４，３０２６を含む、手術シーン３００８への視覚的なアクセスをもたらすために、体壁組織を貫通するように或いは自然開口部に進入して患者の体腔内に延入するように、位置付けられる。内視鏡及びその操作の幾つかの実施態様の追加的な説明は、上で提供されており、反復されない。

図３０Ａ−３０Ｂは、幾つかの実施態様に従って図５−６を参照して記載したように配置されるＱ３Ｄ内視鏡２５０２の視野（ＦＯＶ_ｅ）を例示している。図５−６に示すように、器具１０１Ａ−１０１Ｂ及びＱ３Ｄ内視鏡１０１Ｃは、外科介入中に異なるカニューレを通じて配置されてよい。内視鏡視野（ＦＯＶ_ｅ）は、外科処置中に、図４を参照して上述したように、ビューア３１２を通じて外科医に見える。ＮＦＺ領域は、例えば、距離ｄ_ＮＦＺを示す数字注釈(numerical annotations)を通じてのように、器具３２０４の周りの「泡」(“bubble”)又は投影表面(projected surface)としてのように、様々な方法においてシーン内に現れてよい。外科介入は、遠隔操作医療システムの使用を含むことがあり、或いは、外科介入は、観血手術介入を含むことがあり、或いは、それらの組み合わせを含むことがある。図６は、遠隔操作医療システム外科介入に関して、患者側カートの機械的手術アーム１５８Ａ−１５８Ｄでの内視鏡１０１Ｃ及び器具１０１Ａ−１０１Ｂの配置を例示している。提示の明確性のために、画像センサアレイを含むＱ３Ｄ内視鏡を議論する。しかしながら、本発明の範囲は、飛行時間撮像センサに基づくＱ３Ｄ内視鏡のような、他の種類のＱ３Ｄ内視鏡を含む。米国特許第８，２６２，５５９号（「第５５９特許」）は、そのようなＱ３Ｄ内視鏡を記載し、それを参照としてここに援用する。第５５９号特許明細書の第８欄第４５行〜第１０欄第２７行及び対応する図面を、この参照として、ここに援用する。

破線３０２２によって提示されるような例示的な飛行禁止ゾーン（ＮＦＺ）は、第１の器具（器具Ａ）３０２４の周りに定められる。ここにおいて用いるとき、「飛行禁止ゾーン」(“no fly zone”)という用語は、構造の周りの空間の領域を指すために用いられる。幾つかの実施態様において、ＮＦＺは、ＮＦＺが定められる物体によって専ら専有されることが意図される領域である。患者の安全又は処置の効能を確保するために、器具３０２６（器具Ｂ）のような他の器具又は隣接組織が、ＮＦＺ領域の境界内に位置するようになることは、望ましくない。例えば、器具３０２４がMonopolar Curved Scissors（ＭＣＳ）であるならば、ＮＦＺ領域は、エネルギが器具３０２４から器具３０２６に或いは治療施術(therapy delivery)のために標的化されていない隣接する組織構造に不注意に給送され得ないように、定められる。時折、ＭＣＳの周りの水分の量に依存して、エネルギが標的組織に給送されるときに、小さなアーク（電弧）又はスパーク（火花）が出ることがある。従って、ＮＦＺ境界３０２２は、ＭＣＳ器具３０２４の周りに１〜２ｍｍ又はそれよりも大きな隙間を定めるように、選択されてよい。故に、エネルギ給送中に出ることがある如何なるアーク又はスパークも、器具３０２６に或いは他の隣接する組織に不注意に達しない。ＮＦＺ境界は、（例えば、使用中の器具３０２４の種類に基づき）システムによって自動的に、或いは処置についての並びに器具についての操作者の知識に従って操作者によって、選択されてよい。器具は、（例えば、コンピュータ支援を受けて）間接的に或いは手動で作動させられてよい。ＮＦＺが定められる物体が場所を変更するのに応じて、ＮＦＺは場所を変更する。

図３０Ａ−３０Ｂ中の例示的なＮＦＺ３０２２は、第１の器具３０２４からの距離ｄ_ＮＦＺ内の空間として定められる。図３０Ａ中のシーンにおいて、第１の器具（器具Ａ）３０２４と第２の器具（器具Ｂ）３０２６との間の距離は、ｄ_ＮＦＺよりも大きいｄ_１Ａ／Ｂであり、この条件は第２の器具３０２６が第１の器具３０２４の飛行禁止ゾーンの外側にあることを示す。しかしながら、図３０Ｂ中のシーンにおいて、第１の器具（器具Ａ）３０２４と第２の器具（器具Ｂ）３０２６との間の距離は、ｄ_ＮＦＺよりも小さいｄ_２Ａ／Ｂであり、この条件は第２の器具３０２６が第１の器具３０２４の飛行禁止ゾーン内にあることを示す。

図３１は、幾つかの実施態様に従って、飛行禁止ゾーンを定め且つ飛行禁止ゾーンが違反されたか否かを決定するプロセス３１００を提示する、例示的なフロー図である。図３０Ａ−３０Ｂの手術シーン３００８を参照してプロセス３１００を記載する。

モジュール３１０２は、ＮＦＺが創られるべきＱ３Ｄシーン内の標的を特定し且つ器具及び／又は解剖学的構造を含むことがある１つ又はそれよりも多くの標的の周りの距離（ｄ_ＮＦＺ）に基づきそれぞれのＮＦＺ領域を定めるように、コンピュータ１５１を構成する。換言すれば、標的からｄ_ＮＦＺの距離内の領域としてＮＦＺを定め得る。別の言い方をすれば、標的表面から距離ｄ_ＮＦＺで標的を取り囲む仮想の泡によってＮＦＺを定め得る。例えば、図３０Ａ−３０Ｂ中の破線３０２２は、器具Ａ３０２４の周りのＮＦＺを示している。幾つかの実施態様において、使用者はＮＦＺを有すべき手術シーン内の物体を手動で示し得るし、使用者はｄ_ＮＦＺ情報を手動で入力し得る。例えば、図２２Ａ−２２Ｂを参照すると、使用者は、テレストレーション(telestration)のようなビデオマーキングツールを用いて、ＮＦＺを有すべき構造を特定してよい。代替的に、システムは、器具３０２４の又は構造３００７の特性に基づきＮＦＺを定め得るし、或いは、システムがそのような情報を受信するならば、処置にとって一般的な或いは特異的なＮＦＺ設定を用い得る。図３０Ａ−３０Ｂ中の実施例は、器具についてのＮＦＺの創成を示しているが、代替的に、解剖学的構造３００７についてＮＦＺを創り得ることが理解されるであろう。また、図３０Ａ−３０Ｂ中の実施例は、単一のＮＦＺの創成を示しているが、多数のＮＦＺ−例えば、異なる器具について異なるＮＦＺ、或いは、ある器具について１つのＮＦＺ及びある解剖学的構造について他のＮＦＺを創り得る。

モジュール３１０４は、第１及び第２の器具３０２４，３０２６における多数の対応する位置の変化の各々のために、異なるＱ３Ｄモデル、Ｑ３Ｄ−１，Ｑ３Ｄ−２，Ｑ３Ｄ−３を創るように、コンピュータ１５１を構成する。Ｑ３Ｄモデルは、持続性記憶デバイス３１５０内に格納される。

モジュール３１０６は、標的器具、例えば、標的器具の周りに定められる（ｄ_ＮＦＺ）距離に基づきＮＦＺ領域を定める第１の器具２５２４、及び、多数の異なるＱ３Ｄモデルの各々における各々の他の器具、例えば、器具３０２６を特定するように、コンピュータシステム１５１を構成する。幾つかの実施態様では、器具形状情報をＱ３Ｄモデル距離情報と照合して、標的器具を特定する。例えば、標的器具の形状は、持続性記憶デバイス内に格納される。器具の格納される形状は、そのコンピュータ支援設計（ＣＡＤ）モデルから知られてよい。代替的に、器具を前もってスキャンしてよく、結果として得られるスキャンを結合して３Ｄ形状モデルを形成するために、結果として得られるスキャンを縫合してよい。ベストマッチアルゴリズム(best match algorithm)を利用して、標的器具の格納された形状と最良に調和するＱ３Ｄモデルの区画を検出し得る。前述したように、ベストマッチアルゴリズムは、２Ｄ又は３Ｄ相関関数を用いて、格納された器具形状を、Ｑ３Ｄモデルをトラバースすることによって抽出されるベストマッチ候補と比較する。

モジュール３１０８は、Ｑ３Ｄモデルの各々について、ｄ_ＮＦＺを定めた器具（例えば、器具Ａ）と他の器具（例えば、器具Ｂ）との間の距離（ｄ_Ａ／Ｂ）がｄ_ＮＦＺ距離未満であるか否かを決定するように、コンピュータシステム１５１を構成する。換言すれば、ｄ_ＮＦＺが器具Ａについて定められると仮定すると、ｄ_ＮＦＺ＞＝ｄ_Ａ／Ｂであるか否かについての決定が行われる。

代替的に、例えば、ＮＦＺ（図示せず）が解剖学的構造３００７に適用されるならば、モジュール３１０８は、器具Ａ及び器具Ｂの一方又は両方によるＮＦＺの違反があったか否かを決定する。例えば、解剖学的構造３００７が、ｄ_ＮＦＺを定める繊細な血管であると仮定する。その場合、それぞれのＮＦＺ境界は、いずれかの器具が接近し過ぎて血管を穿孔するのを防止するために用いられる。更なる代替として、例えば、解剖学的構造３００７がより低い臨床的臨界（例えば、脂肪、骨等）にあるならば、全部でない一部の器具の種類（例えば、鋭利な器具、エネルギ給送器具等）は、ＮＦＺに進入するのが防止されることがある。よって、第１の種類の器具及び第２の種類の他の器具について、器具の種類は、操作者指定、機械ビジョン、又は器具データの直接検知のような、１つ又はそれよりも多くの様々な方法において、手術システムに対して特定され、第１の種類の器具（例えば、鈍らな解剖器具）は、ＮＦＺに進入することが許可され、第２の種類の器具（例えば、焼灼剪断器具）は、ＮＦＺに進入することが許可されない。ＮＦＺ境界が侵害されているか否かの決定は、異なる器具及び／又は解剖学的構造のために特定されるｄ_ＮＦＺ距離及びそれらの間の実際の距離ｄ_Ａ／Ｂの直接的な比較によって行われてよい。

図３０Ａ−３０Ｂの例示的なシーンを再び参照すると、図３０Ａの例示的なシーンのために創られたＱ３Ｄモデルについての決定は、第１の器具３０２４のために定められた例示的なＮＦＺ３０２２の侵害がなかったことを示す。しかしながら、図３０Ｂの例示的なシーンについての決定は、ＮＦＺ３０２２が第２の器具３０２６によって破られたことを示す。

モジュール３１１０は、ＮＦＺが侵害されたという決定に応答して警報をもたらすように、コンピュータ１５１を構成する。警報は、音、（点滅する光のような）視覚的キュー、又は（例えば、触覚壁を用いることによって）衝突を回避する器具動作の係止若しくは遮断若しくは剛性増大を含んでよい。

投影走路(Projected Runway)

図３２は、内視鏡視野（ＦＯＶ_ｅ）を有する画像センサアレイ２１０と関連付けられる内視鏡２５０２を示す例示的な図面である。内視鏡視野（ＦＯＶ_ｅ）は、外科処置中、図４を参照して上述したように、ビューア３１２を通じて外科医に見える。同様に示されているのは、幾つかの実施態様に従った、観察された軌跡上の多数の異なる位置で観察された手術基部の部分及びＦＯＶ_ｅ内の手術シーン２５０８内に配置される解剖学的構造３２０７である。以下により十分に説明するように、軌跡を確認するために、同じ器具が多数の器具位置３２０６−ｐ１，３２０６−ｐ２，３２０６−ｐ３の間で動くときの同じ器具３２０６が観察され、投影軌跡走路がその動きから外挿される(extrapolated)。

光源２１０が、手術シーン２５０８を照らす。図７Ａ−７Ｂ及び図８−１０を参照して説明したように、画像センサアレイ２１０は、内視鏡２５０２の先端部分２５１２と関連付けられる画像センサアレイ２１０を照らすＦＯＶ_ｅ内の解剖学的構造３２０７及び手術器具３２０６の画像投影をキャプチャするように、位置付けられる。画像センサアレイ２１０は内視鏡先端２５１２に隣接して配置されて示されているが、例えば、図７Ｂを参照して説明するように、代替的に、画像センサアレイ２１０を先端２５１２から変位させ得る。図８を参照して上で説明したように、内視鏡２５０２は、例示的な標的として、患者の体腔の内側の解剖学的構造３２０７及び手術器具３２０６を含む、手術シーン２５０８への視覚的アクセスをもたらすために、体壁組織又は自然開口部を貫通して患者の体腔内に延入するように、位置付けられる。内視鏡及びその操作の幾つかの実施態様の追加的な説明は、上で提供されており、繰り返されない。

図３２は、幾つかの実施態様に従って図５−６を参照して記載したように配置される、Ｑ３Ｄ内視鏡２６０１の視野ＦＯＶｅを例示している。図５−６に示すように、器具１０１Ａ−１０１Ｂ及びＱ３Ｄ内視鏡１０１Ｃは、外科介入中に異なるカニューレを通じて配置されてよい。外科介入は、遠隔操作医療システムの使用を含んでよく、或いは、外科介入は、手動の最小侵襲的介入であってよく、或いは、外科介入は、観血手術介入であってよく、或いは、それらの組み合わせであってよい。図６は、遠隔操作医療システム外科介入に関して、患者側カートの機械的手術アーム１５８Ａ−１５８Ｄでの内視鏡１０１Ｃ及び器具１０１Ａ−１０１Ｂの配置を例示している。

例示的な目的のために、DA VINCI（登録商標）Si Surgical System用のMega Needle Driver ENDOWRIST Instrumentのような、持針器(needle driver)の形態のエンドエフェクタを有する、標的手術器具３２０６が示されている。ステープラ、血管シーラ、鋏、グラスパ、メス、焼灼電極、又はクリップアプライアのような、代替的なエンドエフェクタを用いて、外科介入中に異なる手術器具機能を実施し得る。例示的なシーン３２０８において、同じ標的器具３２０６は、経路とも呼ぶ観察される軌跡に沿って、位置３２０６−ｐ１から位置３２０６−ｐ２に、そして、位置３２０６−ｐ３に、位置を変える。位置３２０６−ｐ１，３２０６−ｐ２，及び３２０６−ｐ３の間の破線３２１６は、器具が解剖学的構造３２０７にますます近づくよう動くときに、器具が従う経路を表している。例えば、医療介入の間、外科医は、標的器具が、標的器具位置を、例えば、位置３２０６−ｐ１から位置３２０６−ｐ２に、そして、位置３２０６−ｐ３に変える、観察経路３２１６に従うようにさせてよい。実際には、幾人かの外科医は、外科器具を、器具を用いて接触させられるべき解剖学的構造と精密に整列させるのに困難を有する。例えば、外科医は、直線ステープラを、デバイスを用いて互いにステープル留めされるべき腸のような組織構造と整列させる必要がある場合がある。例えば、ステープラを発射するのに先立つステープラと腸組織との適切な整列は、重要である。外科医が、器具が用いられるべき領域内に器具をひとたび挿入すると、外科医は、時折、器具がどのように整列させられるかを想像するのに困難を有することがある。例えば、外科医は、切除された腸内にステープラエンドエフェクタを差し込んで吻合を行うときに、ステープラエンドエフェクタの位置及び向きを想像するのに困難を有することがある。幾つかの実施態様によれば、器具経路の予想される経路を示す極めて視覚的な仮想投影が、外科医の視野内に提供される。外科医は、器具が解剖学的構造に対してどのように整列させられるか並びに器具を所望の位置及び向きにするために器具をどのように最良に操作するかを前もって知覚するために、予想される経路を用い得る。例えば、外科医は、吻合のためのステープル線を創るためにステープラが適切な整列にあるか否かを前もって知覚し得る。

破線３２１８によって示す「走路」(“runway”)とも呼ぶ予想経路は、観察経路３２１６の端から延びる。予想される経路は、器具３２０６が解剖学的物体と最初に接触することが予測される解剖学的物体の表面上の予測される（「Ｘ」で印される）接触場所３２２０まで延びてよい。予測経路３２１８及び予測される接触場所３２２０は、観察経路３２１６に基づき決定される。より具体的には、操作者が器具を解剖学的物体３２０７のより近くに移動させるときに、画像センサアレイ２１０は、一連の多数の位置の各々、例えば、３２０６−ｐ１、３２０６−ｐ２、及び３２０６−ｐ３で、標的器具３２０６のＱ３Ｄモデルを観察するために、即ち、生成するために、用いられる。一連の時点で決定される一連の位置に基づき、観察経路３２１６が決定され、観察経路に基づき、予測経路が決定される。例えば、予測経路は、観察経路の線形外挿(linear extrapolation)であってよい。代替的に、予測経路は、標的器具の特定の部分の軌跡を推定する曲線であってよい。例えば、標的器具がMonopolar Curved Scissors又はHARMONIC ACE（登録商標）Curved Shears器具であるならば、曲線は、湾曲ブレードの軌跡を予測することがある。予測される接触場所３２２０は、予測経路３２１８に基づき決定される。例えば、予測経路３２１８と標的解剖学的構造３２０７を表すＱ３Ｄモデルの表面との間の幾何学的交差は、予測される接触場所３２２０を定める。

図３３は、幾つかの実施態様に従ってＱ３Ｄシーン内の観察経路上の標的器具をトラッキングし且つ予測経路及び予測接触場所を決定するプロセス２６００を提示する例示的なフロー図である。手術シーン３２０８を参照してプロセス２６００を記載する。

モジュール３３０２は、標的器具３２０６の多数の対応する位置の変化の各々のために異なるＱ３Ｄモデルを創るように、コンピュータ１５１を構成する。対応するモデル及び位置の数は、２つ又はそれよりも多くであってよい。例えば、３２０６−ｐ１から３２０６−ｐ２への、そして、３２０６−ｐ３への観察された軌跡に沿って示すように、対応する異なるＱ３ＤモデルＱ３Ｄ−１，Ｑ３Ｄ−２，Ｑ３Ｄ−３が創られる。Ｑ３Ｄモデルは、持続性記憶デバイス３３５０内に格納される。代替的に、予測経路が、標的器具の特定の構成の単なる延長であるときには、単一のＱ３Ｄモデルが創られ、持続性記憶デバイス内に保存される。

モジュール３３０４は、多数の異なるＱ３Ｄモデルの各々において標的器具を特定するように、コンピュータシステム１５１を構成する。幾つかの実施態様では、標的器具形状情報をＱ３Ｄモデル距離情報と照合して、標的器具を特定する。例えば、標的器具の形状は、持続性記憶デバイス内に格納される。格納される器具の形状は、そのコンピュータ支援設計（ＣＡＤ）モデルから知られることがある。代替的に、器具は前もってスキャンし、結果として得られるスキャンを縫合して、３Ｄ形状モデルを形成してよい。ベストマッチアルゴリズムを利用して、標的器具の格納された形状と最良に調和するＱ３Ｄモデルの区画を検出し得る。前述のように、ベストマッチアルゴリズムは２Ｄ又は３Ｄ相関関数を用いて、格納された器具形状を、Ｑ３Ｄモデルをトラバースすることによって抽出されるベストマッチ候補と比較する。

モジュール３３０６は、標的器具の予測経路を決定するように、コンピュータ１５１を構成する。

モジュール３３０８は、解剖学的構造３２０６上の予測される接触場所３２２０の視覚的表示を示すシーンの３Ｄ視覚表現を生成するように、コンピュータ１５１を構成する。予測経路は、標的器具の現在の経路又は現在の位置の仮想の幾何学的延長として作用する。外科医は、例えば、標的器具を実際に解剖学的構造と物理的に接触させる前に、幾つかの異なる標的器具経路及び／又は配置向きで実験してよい。幾つかの実施態様によれば、外科医が標的器具の位置を変更することは、異なる位置又は向きに対応するシーンの異なるＱ３Ｄモデルを創るモジュール３３０２をもたらす。次に、モジュール３３０６及び３３０８は、異なるＱ３Ｄシーン又は一連のＱ３Ｄシーンのために標的器具の異なる予測経路又は延長を確認し且つ表示する。外科医は、視覚的に表示される経路情報を用いて、所望の場所で解剖学的構造との交差をもたらす可能性が最も高い標的器具の経路又は位置付けを決定し得る。故に、外科医は、所望の臨床目標を達成するために、標的器具の経路及び／又は向きを最適化し得る。

より具体的には、幾つかの実施態様において、予測経路は、標的器具の観察経路の外挿に基づき決定される。観察経路は、多数のＱ３Ｄシーンの進路に亘って観察されてよい。図３２を参照すると、例えば、モジュール３３０６は、標的器具３２０６の観察経路３２１６に基づき標的器具の予測経路３２１８を決定するように、コンピュータ１５１を構成する。幾つかの実施態様によれば、観察経路は、例えば、１つのＱ３Ｄモデルから次のＱ３Ｄモデルに、例えば、Ｑ３Ｄ−１からＱ３Ｄ−２に、そして、Ｑ３Ｄ−２からＱ３Ｄ−３に、位置３２０６−ｐ１から位置３２０６−ｐ２への、そして、位置３２０６−ｐ３への、器具の場所の標的器具の位置の変化に基づき決定される。例えば、標的器具上に位置する少なくとも１つの位置又は領域が決定される。例えば、持針器器具の場合、この地点は、貴軍お先端を提示してよい。この地点又は領域の場所は、モデルＱ３Ｄ−１、Ｑ３Ｄ−２、及びＱ３Ｄ−３において順次決定される。最良適合曲線に基づき軌跡が構成される。例えば、最小二乗誤差アルゴリズムを利用して、標的器具の一連の場所を通じて進む最良適合線形軌跡(best fit linear trajectory)を生成し得る。次に、この軌跡を外挿して器具の予測経路３２１８を決定する。よって、予測経路は、観察経路３２１６に基づき決定される。具体的には、予測経路３２１８は、観察経路３２１６からの外挿によって決定される。

代替的に、幾つかの実施態様において、予測経路は、静止的な標的器具の関心の構成の幾何学的延長を決定するモジュール３３０７に基づき決定される。よって、多数のＱ３Ｄシーンの進路に亘る標的器具の位置の変化を観察して標的器具の予測経路を決定するよりもむしろ、予測経路は、その観察される向きに基づくシーン内への標的輪郭の外挿と共に、静止的な標的器具の向きのＱ３Ｄ観察に基づき決定される。図３６では、例えば、標的器具は、ステープラであり、予測経路は、ステープル線の延長又はステープルナイフ通路の延長を提示する。Ｑ３Ｄ延長の３Ｄ表現又はこれらの構成の推定「走路」を観察することによって、外科医は、ステープル及び／又はナイフ切断が最終的にどこに配されるかについてのより一層正確で定量的な理解を得ることがある。例えば、３Ｄ表現は、外科医が、腸と整列させて吻合を行うことのような様々な外科処置を行うときに、解剖学的本体に対してステープラ器具を適切に整列させ且つ前進させるのを助けることがある。加えて、これらのＱ３Ｄ器具走路の定量的な特徴は、必要であれば、外科医が予測経路の構成（例えば、推定ナイフ切断線と隣接組織との間の隙間）を測定するのを可能にする。更に、予測経路３２１８が解剖学的物体３２０７と交差すると仮定すると、交差場所３２２０についての決定を行い得る。上述のように、場所３２２０は、予測経路３２１８を提示する曲線と標的解剖学的構造３２０７を提示するＱ３Ｄモデルの表面との間の幾何学的交差として計算されてよい。図２２Ａ−２２Ｂを参照して上で説明したように、例えば、Ｑ３Ｄ接触場所３２２０モデルの視覚的画像表現は、シーン２５０８の視覚的な３Ｄビデオ表現中に示される標的と関連付けられる、表示される視覚的マーカを含み得る。

図３４を参照すると、幾つかの実施態様に従った、標的器具３２０６が図３２に示す第３の位置３２０６−ｐ３にあると仮定される、並びに、予測接触場所が画像中に解剖学的構造３２０７上の視覚的マーカ「ＣＬ」で印される、シーン３２０８の例示的な３Ｄ視覚的表現が示されている。外科処置中、図４を参照して上述したように、内視鏡視野はビューア３１２を通じて外科医に見えることが理解されるであろう。マーカ「ＣＬ」は、図３２の予測経路３２１８に基づき提供される。よって、以前の器具の観察された多数のＱ３Ｄ位置に基づき、解剖学的構造３２０７との器具３２０６の予測接触場所３２２０の視覚的表現を生成し得るし、操作者は、所望の接触場所で解剖学的構造との接触を行うために、器具３２０６をより容易に誘導し得る。

ここでは接触場所３２２０を詳細に議論しないが、予測経路３２１８に由来する他の特性は同様に重要である。既に上述のように、推定されるステープラのステープル線（即ち、手術ステープルが適用される線）及び／又は切断線（即ち、ステープラナイフをステープル線の間で打ち込むこと(driving)に起因する組織分離）を表示することは、重要なことがある。Monopolar Curved Scissors又はHARMONIC ACE（登録商標）Curved Shearsのために、予測経路３２１８から隣接組織への距離を表示することは重要である。これらの器具又は他の器具は、治療目的のために組織にエネルギを給送する。意図されない組織損傷を最小にするためには、操作者が、治療施術の標的でない組織が予測経路からどれぐらい遠く離れているかを理解するのを助けるのが、重要である。

図３５は、幾つかの実施態様に従った、操作者が多数の異なる観察経路３５１６−１乃至３５１６−３を試みた、並びに、プロセス３３００が、所望の接触場所「Ｙ」に加えて、対応する予測経路３５１８−１乃至３５１８−３及び接触場所ＣＬ１乃至ＣＬ３を生成した、例示的な手術シーン２５０８を提示する例示的な図面である。手術シーン２５０８は、解剖学的構造３５０７及び内視鏡２５０２の部分を含む。外科処置中、図４を参照して上述したように、内視鏡視野がビューア３１２を通じて外科医に見えることが理解されるであろう。説明を簡素化するために、他の図面を参照して説明した数多くの詳細は図３５から省略されている。

外科医のようなシステム操作者は、器具３５０６が所望の接触場所「Ｙ」で解剖学的構造３５０７と接触するのを保証するために、試行錯誤技法を用いて、標的器具３５０６を従わせる最適な経路を決定してよい。そうするとき、操作者は、多数の異なる観察経路に沿って順々に器具を移動させてよい。図３３のプロセス３３００は、各観察経路のために解剖学的構造の仮想画像上に予測接触場所マーカを生成する。操作者は、接触場所マーカ情報を用いて、どの経路を用いて所望の接触場所「Ｙ」との接触を行うかを決定し得る。

より具体的には、例えば、実線矢印３５１６−１、破線矢印３５１８−１、及び接触場所マーカＣＬ１は、それぞれ、器具の第１の観察経路、器具の第１の予測経路、及び標的器具３５０６の第１の予測接触場所を提示している。同様に、実線矢印３５１６−２、破線矢印３５１８−２、及び接触場所マーカＣＬ２は、それぞれ、器具３５０６の第２の観察経路、器具３５０６の第２の予測経路、及び器具３５０６の第２の予測接触場所を提示している。同様に、実線矢印３５１６−３、破線矢印３５１８−３、及び接触場所マーカＣＬ３は、それぞれ、器具３５０６の第３の観察経路、器具３５０６の第３の予測経路、及び器具３５０６の第３の予測接触場所を提示している。操作者が試した観察経路３５１６−１、３５１６−２、及び３５１６−３のいずれも、所望の場所「Ｙ」において解剖学的構造３５０７と接触する器具３５０６をもたらさないことが注目される。従って、幾つかの実施態様において、操作者は更に他の予測経路（図示せず）を試し得る。

この試行錯誤技法は、関心の特性、例えば、器具の形状又は器具の位置を、幾何学的に（視覚的に）拡張して、例えば、図３５に例示するように３Ｄにおいて表示される、予測経路３５１８−１，３５１８−２，３５１８−３を決定してよい。

例えば、レーザバースト(laser burst)のようなエネルギを異なる場所で並びに組織からの異なる距離で組織に適用し得るよう、ツールを組織構造に対する異なる位置に位置付けるために異なる経路を用い得ることが理解されるであろう。

図３６は、Ｑ３Ｄ走路とも呼ぶ予測経路画像３６１８が、器具の現在の場所及び向きに基づく器具構成の視覚的な幾何学的な仮想の延長を提示する、実施例を例示している。例示的な標的器具は、ステープラ器具３６２０であり、それは、解剖学的組織上で閉じてステープルを発射する前の位置及び向きにおいて示されている。外科医は、ステープラが配置中にどこに着座するかを理解するために、時間を費やしてステープラをあちこち動かすことがある。破線画像は、例示的なステープラのステープル線構成の延長を例示しており、それらは６つのステープル線を含む。仮想延長画像３６１８は、その現在の位置及び向きを考慮すると、その形状が多少の距離だけ拡張されるならば、例示的なステープル３６２０が占める、物理的空間を示す画像を含む。Ｑ３Ｄ内視鏡を用いて、ステープラ及び標的組織の３Ｄ次元及び向きを含むモデルを生成すると仮定すると、ステープラの実際の現在の場所を越えて標的組織（例えば、図３６中の結腸構造）に向かって延びるステープル線の予測経路を決定し得る。外科処置中、図４を参照して上述したように、内視鏡視野はビューア３１２を通じて外科医に見えることが理解されるであろう。従って、外科医は、ステープラが標的組織に触れる前でさえも、幾つかのステープル配置向きを擬態（シュミレート）し得る。このようにして、外科医は、ステープル留め及び切除のために標的組織で締め付けられる（クランプされる）ときに、標的組織上のどの場所にステープラカートリッジ及びアンビルが着座するのかをより精密に理解し得る。故に、外科医は、所望の治療目標を達成するために、ステープル線の向き及びステープルナイフ軌跡の向きを最適化し得る。

Ｑ３Ｄ空間内の器具トラッキング（器具追跡）

図３７は、内視鏡視野（ＦＯＶ_ｅ）を有する画像センサアレイ２１０と関連付けられる内視鏡２５０２を示す例示的な図面である。図３７は、幾つかの実施態様に従った、ＦＯＶ_ｅ内の手術シーン３７０８内に配置される解剖学的構造３７０７、及び多数の異なる位置３７０６−ｐ１，３７０６−ｐ２，３７０６−ｐ３で示される同じ手術器具の部分も示している。外科処置中、図４を参照して上述したように、内視鏡視野はビューア３１２を通じて外科医に見えることが理解されるであろう。光源２５１０が、手術シーン３７０８を照らす。図７Ａ−７Ｂ及び図８−１０を参照して説明したように、画像センサアレイ２１０は、内視鏡２５０２先端部分２５１２と関連付けられるセンサアレイ２１０を照らすＦＯＶ_ｅ内の解剖学的構造３７０７及び手術器具３７０６の画像投影をキャプチャするように位置付けられる。画像センサアレイ２１０は内視鏡先端２５１２に隣接して配置されて示されているが、代替的に、例えば、図７Ｂを参照して説明したように、画像センサアレイを先端２５１２から変位させ得ることが理解されるであろう。図８を参照して上で説明したように、内視鏡２５０２は、例示的な標的として、患者の体腔の内側の解剖学的構造３７０７及び手術器具３７０６を含む、手術シーン３７０８への視覚的アクセスをもたらすために、（例えば、カニューレを介して）体壁組織を貫通するように或いは自然開口部に進入して患者の体腔内に延びるように、位置付けられる。

図３７は、幾つかの実施態様に従った図５−６を参照して記載されるように配置されるＱ３Ｄ内視鏡２５０２の視野（ＦＯＶ_ｅ）を例示している。図５−６に示すように、器具１０１Ａ−Ｂ及びＱ３Ｄ内視鏡１０１Ｃは、外科介入中に異なるカニューレを通じて配置されてよい。上述のように、代替的に、内視鏡及び１つ又はそれよりも多くの器具は、単一の開口−単一の切開部又は自然開口部−を通じて進み、手術部位に達してもよい。よって、カニューレの使用は必須でない。外科介入は、遠隔操作医療システムの使用を含んでよく、或いは、外科介入は、手動の最小侵襲的な介入であってよく、或いは、外科介入は、観血手術介入であってよく、或いは、それらの組み合わせであってよい。図６は、遠隔操作医療システム外科介入に関して、患者側カートの機械的手術アーム１５８Ａ−１５８Ｄでの内視鏡１０１Ｃ及び器具１０１Ａ−Ｂの配置を例示している。

例示的な目的のために、DA VINCI Si（登録商標）Surgical System用のMega Needle Driverのような、持針器の形態のエンドエフェクタを有する標的器具３７０６が示されている。しかしながら、鋏、グラスパ、メス、焼灼電極、又はクリップアプライアのような、代替的なエンドエフェクタを用いて、外科介入中に異なる手術器具機能を実施し得る。例示的なシーン３７０８では、同じ標的器具３７０６が、破線矢印によって示すように、その位置３７０６−ｐ１からその位置３７０６−ｐ２に、次に、その位置３７０６−ｐ３に、位置を変更する。例えば、医療介入中、外科医は、標的器具を、例えば、位置３７０６−ｐ１から位置３７０６−ｐ２に、そして、次に、位置３７０６−ｐ３に移動させてよい。

図３８Ａ−３８Ｃは、幾つかの実施態様に従った、第１の時点での位置３７０６−ｐ１（図３８Ａ）から第２の時点での位置３７０６−ｐ２（図３８Ｂ）への、そして、次に、第３の時点での位置３７０６−ｐ３（図３８Ｃ）への、標的器具の位置の変化を提示する、例示的な図面である。図４を参照すると、幾つかの実施態様によれば、外科医は、ビューア３１２を含む立体ディスプレイデバイス１６４を通じて患者の体の内側の手術部位の画像のビデオフレームを見ることができる。第１の時点に、外科医は図３８Ａに示すシーンを見る。第２の時点に、外科医は図３８Ｂに示すシーンを見る。第３の時点に、外科医は図３８Ｃに示すシーンを見る。外科処置クールにおいて時々、器具３７０６は、例えば、血液によって良く見えなくなることがあり、外科医は、一瞬、標的器具３７０６を解剖学的物体３７０７の周囲組織構造から区別するのに困難を有することがある。

図３９は、幾つかの実施態様に従ったＱ３Ｄシステムを用いることによって標的器具をトラッキングするプロセス２７００を提示する例示的なフロー図である。手術シーン３７０８を参照してプロセス３９００を記載する。

モジュール３９０２は、３７０６−ｐ１から３７０６−ｐ２への、そして、３７０６−ｐ３への、標的器具３７０６の多数の対応する位置の変化の各々について、異なるＱ３Ｄモデルを創るように、コンピュータ１５１を構成する。代替的に、器具３７０６の変化する位置に関する増分情報で第１のＱ３Ｄモデルを更新してよい。Ｑ３Ｄモデル又はそれぞれの増分的な更新は、持続性記憶デバイス中に格納される。

モジュール３９０４は、多数の異なるＱ３Ｄモデルの各々において標的器具を特定するように、コンピュータシステム１５１を構成する。幾つかの実施態様では、標的器具形状情報をＱ３Ｄモデル距離情報と照合して、標的器具を特定する。例えば、標的器具の形状は、持続性記憶デバイス３９５０中に格納される。器具の格納される形状は、そのコンピュータ支援設計（ＣＡＤ）モデルから知られることがある。代替的に、器具を前もっとスキャンし、結果として得られるスキャンを吻合して３Ｄ形状モデルを形成してよい。ベストマッチアルゴリズムを利用して、標的器具の格納される形状と最良に調和するＱ３Ｄモデルの区画を検出し得る。前述したように、ベストマッチアルゴリズムは、２Ｄ又は３Ｄ相関関数を用いて、格納される器具形状を、Ｑ３Ｄモデルをトラバースすることによって抽出されるベストマッチ候補と比較する。

モジュール３９０６は、各々が標的器具３７０６の視覚的表示を含むＱ３Ｄモデルの各々のＱ３Ｄモデルの視覚的表現を生成するように、コンピュータシステム１５１を構成する。図２２Ａ−２２Ｂを参照して上で説明したように、例えば、Ｑ３Ｄモデルの視覚的画像表現は、シーン３７０８の視覚的３Ｄビデオ表現において示される標的と関連付けられる視覚的マーカを含み得る。

図４０を参照すると、幾つかの実施態様に従った、第２の位置３７０６−ｐ２にある標的器具３７０６が視覚的マーカ「Ｍ２」と関連付けられて示されている、シーン３７０８の例示的な視覚的表現が示されている。外科処置中、図４を参照して上述したように、内視鏡視野（ＦＯＶｅ）はビューア３１２を通じて外科医に見えることが理解されるであろう。標的器具３７０６の視覚的画像は、例えば、血液のような、体液４００２によって、ビューから部分的に良く見えなくされる。それにも拘わらず、Ｑ３Ｄ−２モデルに基づき提供されるマーカ「Ｍ２」は、位置３７０６−ｐ２での標的器具３７０６の場所を示す。よって、異なるときに標的器具場所を示すために、多数のＱ３Ｄ視覚的表現を生成することができ、それは、器具が、例えば、体液によってビューから良く見えなくなるとしても、操作者がシーン３７０８内の標的器具をトラッキングするのを可能にする。

代替的に、既知のパターンにおいて隆起させられる或いは凹まされる輪郭付き構成の形態の視覚的マーカを利用し得る。例えば、器具はＱ３Ｄ内視鏡が認識し得るパターンでエンボス加工されてよい。パターンは、器具がエンボス加工される器具の向きの表示をもたらすよう、エンボス加工されてよい。輪郭パターンを示す情報をキャプチャすることによって、Ｑ３Ｄモデルが、例えば、血液のような流体によって視覚的に良く見えなくされるとしても、器具の位置及び向きを示す、Ｑ３Ｄモデルを生成し得る。

本発明に従った実施態様の前述の記述及び図面は、本発明の原理の例示であるに過ぎない。従って、当業者は付属の請求項において定められる本発明の精神及び範囲から逸脱せずに実施態様に対する様々な修正を行い得ることが理解されるであろう。具体的には、上述のシステム及び方法を、画像センサアレイを含むＱ３Ｄ内視鏡を含む実施において提示した。しかしながら、本発明の範囲は、飛行時間撮像センサに基づく内視鏡のような、他の種類のＱ３Ｄ内視鏡を含む。当業者はＱ３Ｄ内視鏡２５０２を他の内視鏡とどのように置換するか知るであろう。

Claims (26)

1. 標的器具の視点から解剖学的構造の三次元画像を視覚化するシステムであって、
   定量的三次元（Ｑ３Ｄ）内視鏡の視野内のシーンを撮像するよう配置されるＱ３Ｄ内視鏡と、
   少なくとも１つのプロセッサとを含み、
   該プロセッサは、
   前記Ｑ３Ｄ内視鏡によって撮像される前記シーンのＱ３Ｄモデルを決定し、
   前記シーン内の少なくとも１つの標的器具を特定し、
   前記シーン内の少なくとも１つの組織構造を特定し、
   前記内視鏡の視野から前記少なくとも１つの標的器具の仮想の視野への幾何学的変換を決定し、且つ
   少なくとも部分的に前記幾何学的変換に基づき、前記少なくとも１つの標的器具の前記仮想の視野から提示されるような前記Ｑ３Ｄモデル内の前記少なくとも１つの組織構造の三次元（３Ｄ）ビューを生成するように、
   構成される、
   システム。
2. 当該システムは、前記３Ｄビューを表示する３Ｄディスプレイを含む、請求項１に記載のシステム。
3. 当該システムは、少なくとも部分的に、前記３Ｄビューに基づき、定量的測定値を表示する、ビューアを含む、請求項１に記載のシステム。
4. 当該システムは、使用者が器具のセットから前記少なくとも１つの器具を選択するのを可能にする制御入力デバイスを含む、請求項１に記載のシステム。
5. 前記内視鏡の前記視野から前記少なくとも１つの標的器具の前記仮想の視野への幾何学的変換を決定することは、
   前記Ｑ３Ｄ内視鏡の幾何学的向きを決定すること、
   前記少なくとも１つの器具の幾何学的向きを決定すること、
   前記Ｑ３Ｄ内視鏡を前記少なくとも１つの器具と仮想的に重なり合う位置に移動させるよう、並びに前記Ｑ３Ｄ内視鏡を前記少なくとも１つの器具の前記決定される向きと整列させるよう、１つ又はそれよりも多くの幾何学的変換を決定すること、並びに
   前記Ｑ３Ｄ内視鏡を移動させ且つ整列させるために決定される前記１つ又はそれよりも多くの幾何学的変換の逆変換である１つ又はそれよりも多くの幾何学的変換に従って前記シーンの前記Ｑ３Ｄモデルを変換することを含む、
   請求項１に記載のシステム。
6. 手術器具を操作するシステムであって、
   その視野内のシーンを撮像するよう配置される定量的三次元（Ｑ３Ｄ）内視鏡と、
   少なくとも１つのプロセッサとを含み、
   該プロセッサは、
   前記Ｑ３Ｄ内視鏡によって撮像される前記シーンのＱ３Ｄモデルを創り、
   前記シーン内の第１の標的を特定し、
   前記シーン内の第２の標的を特定し、且つ
   前記第１の標的又は前記第２の標的のうちの少なくとも１つと関連付けられるＱ３Ｄ飛行禁止ゾーンを決定するように、
   構成される、
   システム。
7. 前記プロセッサは、
   少なくとも部分的に前記Ｑ３Ｄモデルに基づき、前記Ｑ３Ｄ飛行禁止ゾーンが侵害されたか否かを決定し、且つ
   前記Ｑ３Ｄ飛行禁止ゾーンが侵害されたという決定に応答して出力信号を提供するように、
   構成される、
   請求項６に記載のシステム。
8. 前記Ｑ３Ｄ飛行禁止ゾーンが侵害されたか否かの前記決定は、少なくとも部分的に、閾距離よりも少ない前記第１の標的と前記第２の標的との間の最も近い距離に基づく、請求項６に記載のシステム。
9. 前記プロセッサは、少なくとも部分的に、前記出力信号に応答して、警報をもたらす、請求項６に記載のシステム。
10. 前記警報は、視覚警報、ビデオ警報、音声警報、触覚警報、グラフィック警報、又は文字警報のうちの１つであり得る、請求項９に記載のシステム。
11. 前記第１の標的は、手術器具を含み、
    前記飛行禁止ゾーンは、前記第１の標的と関係づけられ、
    前記プロセッサは、前記第１の標的と前記第２の標的との間の距離が、前記第２の標的が前記飛行禁止ゾーン内にあるよう、十分に小さいか否かを決定するように、構成される、
    請求項６に記載のシステム。
12. 前記第１の標的は、解剖学的構造を含み、
    前記第２の標的は、手術器具を含み、
    前記飛行禁止ゾーンは、前記第１の標的と関連付けられ、
    前記プロセッサは、前記第１の標的と前記第２の標的との間の距離が、前記第２の標的が前記飛行禁止ゾーン内にあるよう、十分に小さいか否かを決定するように、構成される、
    請求項６に記載のシステム。
13. 手術器具を操作するシステムであって、
    その視野内のシーンを撮像するよう配置される定量的三次元（Ｑ３Ｄ）内視鏡と、
    少なくとも１つのプロセッサとを含み、
    該プロセッサは、
    前記Ｑ３Ｄ内視鏡によって撮像されるシーンのＱ３Ｄモデルを決定し、
    前記撮像されるシーン内の少なくとも１つの器具を特定し、且つ
    少なくとも部分的に、前記特定される器具が従う従前の経路からの外挿及び前記特定される器具の仮想の延長のうちの少なくとも１つに基づき、前記特定される器具の予測経路を決定するように、
    構成される、
    システム。
14. 当該システムは、使用者が器具のセットから前記少なくとも１つの器具を選択するのを可能にする入力を含む、請求項１３に記載のシステム。
15. 前記プロセッサは、１つ又はそれよりも多くの異なる時点の各々で前記Ｑ３Ｄモデル内の前記特定される器具の１つ又はそれよりも多くの３Ｄ姿勢から前記従前の経路を決定するように、更に構成される、請求項１３に記載のシステム。
16. 前記プロセッサは、
    多数のときの各々で前記Ｑ３Ｄ内視鏡によって撮像されるシーンのＱ３Ｄモデルを決定し、
    前記多数のときの各々で前記撮像されるシーン内の前記少なくとも１つの器具の位置を決定し、且つ
    前記多数のときの各々で前記撮像されるシーン内の前記少なくとも１つの器具の前記決定される位置に基づき前記従前の経路を決定するように、
    更に構成される、
    請求項１３に記載のシステム。
17. 前記特定される器具の仮想の延長に基づき前記特定される器具の予測経路を決定することは、
    前記Ｑ３Ｄモデル内の前記特定される器具の３Ｄ姿勢を決定することを更に含む、
    請求項１３に記載のシステム。
18. 前記プロセッサは、使用者が前記１つ又はそれよりも多くの時点を選択するのを可能にする入力を含む、請求項１３に記載のシステム。
19. 前記プロセッサは、
    前記撮像されるシーン内の解剖学的構造を特定し、且つ
    前記予測経路が前記解剖学的構造と交差する前記Ｑ３Ｄモデル内の場所を決定するように、
    更に構成される、
    請求項１３に記載のシステム。
20. 前記プロセッサは、使用者が前記器具と前記構造との間の所望の接触場所を選択するのを可能にする入力を含む、請求項１３に記載のシステム。
21. 前記プロセッサは、
    少なくとも部分的に前記予測経路に基づき前記特定される器具の３Ｄ仮想延長画像を生成するように、
    更に構成される、
    請求項１３に記載のシステム。
22. 当該システムは、前記予測経路、前記解剖学的構造との交差、前記所望の接触場所、及び前記特定される器具の前記３Ｄ表現のうちの１つ又はそれよりも多くを表示する、３Ｄディスプレイを含む、請求項１３に記載のシステム。
23. 手術シーン内の手術器具を特定するシステムであって、
    その視野内のシーンを撮像するよう配置されるＱ３Ｄ内視鏡と、
    少なくとも１つのプロセッサとを含み、
    該プロセッサは、
    前記Ｑ３Ｄ内視鏡によって撮像される前記シーンのＱ３Ｄモデルを決定し、
    前記シーン内の少なくとも１つの標的器具を特定し、且つ
    前記シーンの仮想３Ｄ表現内の前記特定される標的器具の場所を示す前記シーンの前記仮想３Ｄ表現内の視覚的マークを生成するように、
    構成される、
    システム。
24. 前記少なくとも１つのプロセッサは、
    標的器具構造形状情報を前記Ｑ３Ｄモデルから抽出される形状情報と照合することによって前記Ｑ３Ｄモデル内の標的器具を特定するように、
    構成される、
    請求項２３に記載のシステム。
25. 前記少なくとも１つのプロセッサは、
    前記標的器具が前記Ｑ３Ｄ内視鏡の視野内で動くときに、前記シーンの前記仮想３Ｄ表現内の前記特定される標的器具の場所をトラッキングする、前記シーンの前記仮想３Ｄ表現内の前記視覚的マークを生成するように、
    構成される、
    請求項２３に記載のシステム。
26. 当該システムは、前記器具、前記シーンの前記３Ｄ表現、又は前記視覚的マークを表示する、３Ｄディスプレイを含む、請求項２３に記載のシステム。

Images