JP2020054832A - 手術シーンの定量的三次元撮像 - Google Patents

Abstract

【課題】従来技術の問題を解決する。【解決手段】内視鏡と、内視鏡に隣接する視野を撮像するよう配置される画像センサアレイと、視野を照らすよう配置される光源とを含み、各センサは、他のセンサのピクセルアレイと分離されるピクセルアレイを含む、デバイスが提供される。【選択図】図９

Description

（関連出願の参照）
この出願は、２０１４年３月２８日に出願された「QUANTITATIVE THREE-DIMENSIONAL IMAGING OF SURGICAL SCENES」という名称の米国仮特許出願第６１／９７１，７４９号の優先権の利益を主張し、その全文を参照としてここに援用する。

本発明は、一般的には、関連付けられる画像センサを有する外科内視鏡検査システムに関し、より具体的には、手術画像中に表示される物理的構造の三次元座標を決定することに関する。

定量的三次元（Ｑ３Ｄ）ビジョン(quantitative three-dimensional vision)は、現実世界シーンにおける標的地点の実際の物理的（ｘ、ｙ、ｚ）３Ｄ座標についての数値情報をもたらす。定量的３Ｄビジョンを用いるならば、現実世界シーンの三次元知覚を得ることができるのみならず、そのシーンにおける物体の物理的次元及びそのシーンにおける物体間の物理的距離についての数値情報も得ることができる。過去には、飛行時間(time-of-flight)関連情報又は位相情報を用いてシーンについての３Ｄ情報を決定する幾つかのＱ３Ｄシステムが提案された。

飛行時間情報の使用が「CMOS-compatible three-dimensional image sensor IC」という名称の米国特許第６，３２３，９４２号に開示されており、それは、ＣＭＯＳ製造技法を用いて共通ＩＣ上に製造されるピクセル（画素）光感知検出器の二次元アレイ（配列）を含む、三次元撮像システムを開示している。各検出器は、物体地点から反射してその地点に集束されるピクセル検出器によって検出されるよう、システム放射パルスについての飛行時間（ＴＯＦ）と正比例するクロックパルス数を蓄積する、関連付けられる高速カウンタを有する。ＴＯＦデータは、特定のピクセルから放射光パルスを反射する物体上の地点までの距離の直接的なデジタル測定値を提供する。第２の実施態様において、カウンタ及び高速クロック回路は排除され、代わりに、各ピクセル検出器は、電荷蓄積器及び電子シャッタを備える。シャッタは、光パルスが放射されるときに開き、然る後、各ピクセル検出器が電荷を関連付けられるピクセル検出器の上に向かっていく戻り光子エネルギに応じて蓄積するように、閉じる。蓄積する電荷の量は、往復ＴＯＦの直接的な測定値をもたらす。

時間遅延情報の使用が「Apparatus and method for endoscopic 3D data collection」という名称の米国特許第８，２６２，５５９号に開示されており、それは、変調測定ビームと、観察されるべき領域に測定ビームを伝える光透過機構とを開示し、光透過機構は、観察されるべき領域からの信号ビームを少なくとも位相感応画像センサに撮像する光撮像機構に加えて、照明レンズを含む。ｍｍ範囲における深さの差に対応することがある時間遅延は、深さ及び距離情報を描写する画像の生成を可能にする位相情報をもたらす。

仮想画像中の物体の物理的座標を決定する構造光の使用が「Endoscope」という名称の米国特許出願公開第２０１２／０１９０９２３号及びC. Schmalz et al.の「An endoscopic 3D scanner based on structured light」、Medical Image Analysis, 16 (2012) 1063-1072に開示されている。表面のトポグラフィを測定するために三角測量法が用いられる。異なる色スペクトルの範囲を有してよい投影光線の形態の構造光が表面に入射し、表面から反射させられる。反射させられる光線はカメラによって観察され、カメラは、反射させられる色スペクトル情報を用いてその表面の３Ｄ座標を決定するよう、較正される。より具体的には、構造光の使用は、典型的には、３Ｄ表面の上で光パターンを光らせること、及び物理的物体の輪郭に起因する光の変形パターンに基づき物理的距離を決定することを包含する。

複数のピクセルアレイを含むイメージャアレイカメラ(imager array camera)が作られており、アレイ内の画素についてのシーン深さ情報を計算するために複数のピクセルアレイを用い得る。高解像度（ＨＲ）画像が多数の低解像度（ＬＲ）画像から生成される。基準視点が選択され、ＨＲ画像がその地点によって見られるものとして生成される。視差処理技法がエイリアジング(aliasing)の効果を利用して基準画像ピクセルに対する非基準画像についての画像対応を決定する。融合及び超解像を利用して多数のＬＲ画像からＨＲ画像を生成する。「Capturing and Processing Images using Monolithic camera Array with Heterogeneous Imager」という名称の米国特許第８，５１４，４９１号、「Systems and Methods for Determining Depth from multiple Views of a Scene that Include Aliasing using Hypothesized Fusion」という名称の米国特許出願公開第２０１３／００７００６０号、及びK. Venkataraman et al.のPiCam: An ultra-Thin high Performance Monolithic Camera Arrayを参照のこと。

図１は、幾つかの実施態様に従った既知のイメージャセンサ１８０の詳細を示す例示的な図面である。画像センサ１８０は、レンズスタック１８２（レンズ積重ね）の光学アレイと、センサ１８４のアレイとを含む。アレイ内の各センサは、各次元に少なくとも２つのピクセルを有する二次元構成のピクセルを含む。各センサは、レンズスタック１８６を含み、レンズスタックは、レンズスタックの集束平面１８８内に配置される対応するピクセルの構成の上に画像を解像する別個の光学通路を創る。ピクセルは、光センサとして作用し、その多数のピクセルを備える各集束平面１８８は、画像センサとして作用する。その集束平面１８２を備える各センサは、他のセンサ及び集束平面によって占められるセンサアレイの領域と異なるセンサアレイの領域を占める。

図２は、センサＳ_１１乃至Ｓ_３３を含む図１の既知のイメージャセンサアレイ１８０の単純化された平面図を示す例示的な図面である。イメージャセンサアレイ１８０は、複数のセンサＳ_１１乃至Ｓ_３３を含むよう半導体チップ上に製造される。Ｓ_１１乃至Ｓ_３３の各々は、複数のピクセル（例えば、０．３２メガピクセル）を含み、独立した読出し制御及びピクセルデジタル化を含む周辺回路（図示せず）に連結される。幾つかの実施態様において、Ｓ_１１乃至Ｓ_３３は、図２に例示するような格子形態（グリッド形態）において配置される。他の実施態様において、センサは、非格子形態（非グリッド形態）において配置される。例えば、イメージャは、円形パターン、ジグザグパターン、又は散乱パターン、又はサブピクセル偏心（オフセット）を含む不規則パターンに配置されてよい。

各センサピクセルは、マイクロレンズピクセルスタックを含む。図３は、図１−２のセンサの既知のマイクロレンズピクセルスタックの例示的な図面である。ピクセルスタック８００は、マイクロレンズ８０２を含み、マイクロレンズ８０２は、酸化物層８０４の上に位置し、酸化物層８０４は、典型的には、酸化物層８０４の下にあり、カラーフィルタ８０６があってよく、カラーフィルタ８０６は、窒化物層８０８の上に配置され、窒化物層８０８は、第２の酸化物層８１０の上に配置され、第２の酸化物層８１０は、シリコン層８１２の上に位置し、シリコン層８１２は、センサ（典型的にはフォトダイオード）の活性領域８１４を含む。マイクロレンズ８０２の主要な役割は、その表面に入射する光を集めて、その光を小さな活性領域８１４の上に集束させることである。ピクセル孔８１６はマイクロレンズの広がりによって決定され、マイクロレンズは光を集めて、それを活性領域８１４の上に集束させる。

上述の既知のイメージャセンサアレイアーキテクチャに関する追加的な情報は、２０１３年８月２０日に発効した米国特許第８，５１４，４９１号、及び２０１３年３月２１日に公表された米国特許出願公開第２０１３／００７００６０号に提供されている。

１つの特徴において、デバイスは、内視鏡を含む。画像センサアレイが、内視鏡に隣接する視野を撮像するよう配置される。センサアレイの各センサは、他のセンサのピクセルアレイと分離されるピクセルアレイを含む。光源が視野を照らすよう配置される。

他の特徴において、Ｑ３Ｄ撮像の方法が提供され、当該方法では、画像センサアレイが内視鏡の先端に隣接して設けられる。内視鏡の先端は、標的物体に隣接して位置付けられる。標的物体は光源で照らされる。

他の特徴において、Ｑ３Ｄ撮像の方法が提供され、当該方法では、ライトパイプ入力が内視鏡の先端に近接して提供される。内視鏡の先端は、標的物体に隣接して位置付けられる。溶滴物体は光源で照らされる。光は、入力の視野内の画像をライトパイプに送り、画像センサアレイに送るために用いられ、アレイ内の各センサは、他のセンサのピクセルアレイから分離されるピクセルアレイを含む。

他の特徴において、Ｑ３Ｄ撮像情報は、画像センサによって撮像される手術器具と画像センサによって撮像される標的物体との間の近接性を外科医に警告するために、手術中に用いられる。

他の特徴において、標的物体の視覚的３ＤモデルがＱ３Ｄ撮像情報を用いて創られ、３Ｄモデルは外科処置中に操作される。

本開示の特徴は、添付の図面と共に読まれるときに、以下の詳細な記述から最良に理解される。業界における標準的な慣行に従って様々な構成を原寸通りに描写していないことを協調する。実際には、様々な構成の寸法は議論の明瞭性のために任意に増大させられ或いは減少させられる。加えて、本開示は様々な実施例において参照番号及び／又は参照文字を反復することがある。この反復は単純性及び明瞭性の目的のためであり、それ自体は議論する様々な実施態様及び／又は構成(configurations)の間の関係を決定しない。

既知のセンサアレイの詳細を示す例示的な図面である。 多数のセンサを含む既知のイメージャセンサアレイの簡略化された平面図を示す例示的な図面である。 既知のマイクロレンズピクセルスタックの例示的な図面である。 幾つかの実施態様に従ったビューアを通じた手術シーンの斜視図を示す例示的な図面である。 幾つかの実施態様に従った１つ又はそれよりも多くの機械的アームを用いて最小侵襲的な外科処置を行う遠隔操作手術システムの例示的なブロック図である。 幾つかの実施態様に従った図５のシステムのうちの患者側システムの例示的な斜視図である。 幾つかの実施態様に従った第１の画像キャプチャシステムの例示的な図面である。 幾つかの実施態様に従った第２の画像キャプチャシステムの例示的な図面である。 幾つかの実施態様に従った、図７Ａの第１の画像キャプチャシステムと関連付けられる制御ブロックを示し且つ動作中のシステムを示す、例示的なブロック図である。 幾つかの実施態様に従った物理的標的の定量的三次元場所を決定するプロセスを表す例示的なフロー図である。 幾つかの実施態様に従った標的を組織的に選択するよう図９のモジュールに概ね対応するプロセスの特定の詳細を示す例示的なフロー図である。 多数のセンサを含み、且つ、幾つかの実施態様に従った３つの例示的な物体を含む例示的な三次元物理的世界シーンを包含する視野を有するよう配置される、例示的なセンサイメージャアレイの例示的な図面である。 幾つかの実施態様に従った多数のセンサ上への図１１の多数の物理的物体の投影を表す例示的な図面である。 幾つかの実施態様に従った現実世界シーン内からの関心の領域の選択を示す例示的な図面である。 幾つかの実施態様に従った多数のセンサ内の投影画像の相対的な幾何学的偏心に関する詳細を示す例示的な図面である。 幾つかの実施態様に従った関心の領域（ＲＯＩ）内の割り当てられる基準センサ内の投影画像と整列するよう右にシフトさせられたＲＯＩ内の特定の例示的なセンサ内の投影画像を示す例示的な図面である。 幾つかの実施態様に従った多数のセンサ上への選択される標的地点の投影を示す例示的な図面である。 幾つかの実施態様に従った図１６の多数のセンサを含むイメージャアレイの部分及び物理的空間内の場所に配置される選択的な標的地点Ｔを示す例示的な図面である。 幾つかの実施態様に従った図１６の多数の画像センサ上への現在選択されている標的地点Ｔの投影の例示的な正面図である。 図１７を参照して上述したような多数のセンサに対する現在選択されている標的の配置を示し、且つ、幾つかの実施態様に従ったセンサの各々のセンサにおける候補ピクセルについてのｙ方向ピクセル偏心も示す、例示的な図面である。 幾つかの実施態様に従った外科処置中にＱ３Ｄ情報を用いる第１のプロセスを表す例示的なフロー図である。 幾つかの実施態様に従った図２０のプロセスに従ってディスプレイスクリーンに表示されるメニュー選択を示す例示的な図面である。 幾つかの実施態様に従った図２０のプロセスに従って使用者入力を受け取ることの特定の詳細を表す例示的な図面である。 幾つかの実施態様に従った図２０のプロセスに従って使用者入力を受け取ることの特定の詳細を表す例示的な図面である。 幾つかの実施態様に従った外科処置中にＱ３Ｄ情報を用いる第２のプロセスを表す例示的なフロー図である。 幾つかの実施態様に従った図２３のプロセスに従ったディスプレイスクリーンに表示されるメニュー選択を示す例示的な図面である。

以下の記述は、あらゆる当業者が、多数の画像センサを有する外科内視鏡検査システムであって、各画像センサは、画像センサの視野内の物理的構造の三次元座標を決定するために、他の画像センサのピクセルアレイから切り離されたピクセルアレイを含む、外科内視鏡検査システムを創り且つ使用するのを可能にするために、提示される。実施態様に対する様々な修正が、当業者に直ちに明らかであり、ここにおいて定められる包括的な原理は、発明的な主題の精神及び範囲から逸脱せずに、他の実施態様及び用途に適用されてよい。その上、後続の記述では、説明の目的のために、様々な詳細が示される。しかしながら、当業者は発明的な主題がこれらの詳細を使用せずに実施されてよいことを認識するであろう。他の場合には、不要な詳細で開示を曖昧にしないために、周知の機械構成部品、プロセス、及びデータ構造は、ブロック図の形態において示される。異なる図面において同じ品目の異なる図を表すために、同一の参照番号が用いられることがある。以下に参照される図面におけるフロー図は、プロセスを表すために用いられる。コンピュータシステムは、これらのプロセスのうちの一部を遂行するよう構成されてよい。コンピュータ実施プロセスを表すフロー図中のモジュールは、これらのモジュールを参照して記載される行為を遂行するコンピュータプログラムコードに従ったコンピュータシステムの設定(configuration)を表す。よって、発明的な主題は、図示の実施態様に限定されることは意図されず、ここにおいて開示される原理及び構成と一致する最も広い範囲が与えられるべきである。

簡潔な概要

幾つかの実施態様によれば、イメージャセンサアレイ（配列）を含む画像センサアレイが内視鏡と関連付けられる。この画像センサアレイは多数のセンサを含み、各センサはピクセルのアレイを含む。内視鏡の部分が人間の体腔内に挿入され、画像センサアレイの視野内の標的物体が光源を用いて照らされる。標的物体の物理的場所及び／又は次元が、アレイのうちの個々のセンサ上の物体の投影画像に基づき決定される。

図４は、幾つかの実施態様に従ったビューア３１２を通じた手術シーンの斜視図を示す例示的な図面である。２つの撮像要素２０６Ｒ，２０６Ｌを有する視認システム(viewing system)が良好な３Ｄ視認全体像(viewing perspective)をもたらし得る。手術シーンにおける物理的構造についての物理的次元及び／又は場所情報を表す数値が手術シーン画像の上にオーバーレイされて示されている。例えば、距離数値「d_Instr_Trgt」が、器具４００と標的４１０との間のシーン内に表示されて、示されている。

遠隔操作医療システム

遠隔操作は、ある距離を置いた機械の操作を指す。最小侵襲的な遠隔操作医療システムにおいて、外科医は、内視鏡に取り付けられるカメラを用いて、患者の体内の手術部位を見る。手術中に高解像度ビュー(view)をもたらすために、三次元画像が生成される。内視鏡に取り付けられ且つイメージャセンサアレイを含むカメラシステムは、定量的三次元情報に加えて、幾つかの実施態様に従った三次元画像を生成するために用い得る色及び照明データを提供する。

図５は、幾つかの実施態様に従った１つ又はそれよりも多くの機械的アーム１５８を用いて最小侵襲的な外科処置を行う遠隔操作手術システム１００の例示的なブロック図である。システム１００の特徴は、遠隔ロボット式の自律的な動作構成(operating features)を含む。これらの機械的アームは、しばしば、器具を支持する。例えば、機械的手術アーム（例えば、中央機械的手術アーム１５８Ｃ）を用いて、内視鏡に関連付けられるＱ３Ｄ画像センサアレイのような、立体又は三次元手術画像キャプチャデバイス１０１Ｃを支持してよい。機械的手術アーム１５８Ｃは、画像キャプチャデバイス１０１Ｃを機械的アームに機械的に固定するよう、無菌アダプタ、又は、クランプ、クリップ、ネジ、スロット／溝、又は、他の締結機構を含んでよい。逆に、画像キャプチャデバイス１０１Ｃは、機械的手術アーム１５８Ｃと確実に相互適合するよう、機械的手術アーム１５８Ｃの物理的輪郭及び／又は構造と相補的な物理的輪郭及び／又は構造を含んでよい。

使用者又は操作者Ｏ（一般的に外科医）が、マスタ制御コンソール１５０で制御入力デバイスを操作することによって、患者Ｐに対して最小侵襲的な外科処置を行う。操作者は、立体ディスプレイデバイス１６４を通じて患者の体の内側の手術部位の画像のビデオフレームを見ることができ、立体ディスプレイデバイス１６４は、図４を参照して上述したビューア３１２を含む。コンソール１５０のコンピュータ１５１が、制御線１５９を介して遠隔操作式に制御される内視鏡検査手術器具１０１Ａ−１０１Ｃの動きを命令して、（患者側カートとも呼ぶ）患者側システム１５２を用いて器具の動きをもたらす。

患者側システム１５２は、１つ又はそれよりも多くの機械的アーム１５８を含む。典型的には、患者側システム１５２は、対応する位置決めセットアップアーム１５６によって支持される（一般的に機械的手術アーム１５８と呼ぶ）少なくとも３つの機械的手術アーム１５８Ａ−１５８Ｃを含む。中央機械的手術アーム１５８Ｃは、カメラの視野内の画像についてのＱ３Ｄ情報のキャプチャ（取込み）に適した内視鏡検査カメラ１０１Ｃを支持してよい。中央の左右にある機械的手術アーム１５８Ａ及び１５８Ｂは、それぞれ、組織を操作する器具１０１Ａ及び１０１Ｂを支持してよい。

図６は、幾つかの実施態様に従った患者側システム１５２の例示的な斜視図である。患者側システム１５２は、ベース１７２によって支持されるカートコラム１７０を含む。１つ又はそれよりも多くの機械的手術アーム１５８が、患者側システム１５２の位置決め部分の一部である１つ又はそれよりも多くのセットアップアーム１５６にそれぞれ取り付けられる。ベース１７２上のほぼ中央場所に位置付けられて、カートコラム１７０は、釣合サブシステム及び制動サブシステムの構成部品を汚染から守る保護カバー１８０を含む。

モニタアーム１５４を除き、各機械的手術アーム１５８は、器具１０１Ａ−１０１Ｃを制御するために用いられる。その上、各機械的手術アーム１５８は、セットアップアーム１５６に連結され、次いで、セットアップアーム１５６は、本発明の１つの実施態様において、キャリッジハウジング１９０に連結される。１つ又はそれよりも多くの機械的手術アーム１５８は、それぞれ、図６に例示するように、それらのそれぞれのセットアップアーム１５６によって支持される。

機械的手術アーム１５８Ａ−１５８Ｄは、生の補正されていない運動学データ(kinematics data)、運動学基準(kinematics datum)、及び／又は運動学情報(kinematics information)を生成して、器具の取得及び追跡（トラッキング）を支援するよう、１つ又はそれよりも多くの変位変換器(displacement transducers)、向きセンサ、及び／又は位置センサ１８５をそれぞれ含んでよい。本発明の幾つかの実施態様では、器具も、変位変換器、位置センサ、及び／又は向きセンサ１８６を含んでよい。その上、１つ又はそれよりも多くの情報は、器具の取得及び追跡を支援するよう、マーカ１８９を含んでよい。

遠隔操作医療システムについての追加的な情報は、２０１２年１月２６日に公表された米国特許出願公開第２０１２／００２０５４７号において提供されている。

内視鏡検査イメージャシステム

図７Ａは、幾つかの実施態様に従った第１の画像キャプチャデバイス１０１Ｃの例示的な図面である。画像キャプチャデバイス１０１Ｃは、細長い部分２０２を含む内視鏡を含み、細長い部分２０２は、第１の端部分２０４と、第２の端部分２０６と、第１の端部分２０４の先端部分２０８とを含む。第１の端部分２０４は、人間の体腔内に挿入されるような寸法とされる。多数の画像センサ（図示せず）を含むイメージャセンサアレイ２１０(imager sensor array)が、第１の端部分２０４の先端部分２０８に取り付けられる。細長い部分２０２は、イメージャセンサ２１０によって物体を撮像し得るよう、先端部分２０８を体腔内の標的物体に十分に近く位置付けるのに十分な長さを有する。幾つかの実施態様によれば、第２の端部分２０６は、機械的アーム（図示せず）と確実に相互適合するよう、概ね上述のような物理的輪郭及び／又は構造（図示せず）を含んでよい。細長い部分２０２は、情報をイメージャセンサアレイ２１０と電子的に通信するよう、１つ又はそれよりも多くの電子信号経路２１２も含む。撮像されるべき物体を照らすために、光源２１４が配置される。幾つかの実施態様によれば、光源２１４は、例えば、非構造光(unstructured light)、白色光、色濾過光(color filtered light)、又は何らかの選択的な波長にある光であり得る。

図７Ｂは、幾つかの実施態様に従った第２の画像キャプチャシステム１０１Ｃ’の例示的な図面である。第１の画像キャプチャシステム１０１Ｃの特徴と本質的に同じである第２の画像キャプチャシステム１０１Ｃ’の特徴は、同一の参照番号によって示され、再び記載されない。ロッドレンズのような、ライトパイプ入力への入力は、第１の端部分２０４の先端部分２０８に配置される。ライトパイプ本体は、ライトパイプ入力として受け取られる画像を先端部分２０８から物理的に移動させられたイメージャセンサアレイ２１０に伝えるよう、細長い部分２０２内に延在する。幾つかの実施態様において、イメージャセンサは、体腔内の物体の観察中にセンサアレイ２１０が体腔の外側に配置されるよう、先端部分２０８から十分に遠くに移動させられる。

図８は、幾つかの実施態様に従った、図７Ａの第１の画像キャプチャシステム１０１Ｃと関連付けられる制御ブロックを示す、並びに動作中の第１の画像キャプチャシステム１０１Ｃを示す、例示的なブロック図である。イメージャセンサアレイ２１０によってキャプチャされる（取り込まれる）画像は、データバス２１２を通じてビデオプロセッサ１０４に送られ、ビデオプロセッサ１０４は、バス１０５を介してコントローラ１０６と通信する。ビデオプロセッサ１０４は、カメラ制御ユニット（ＣＣＵ）と、ビデオ信号検出器（ＶＳＤ）板とを含んでよい。ＣＣＵは、明るさ、色スキーム、白色バランス等のような、撮像センサ２１０の様々な設定をプログラムし或いは制御する。ＶＳＤは、撮像センサから受け取られるビデオ信号を処理する。

幾つかの実施態様によれば、１つの又は１つよりも多くのプロセッサを含むプロセッサシステムが、プロセッサ機能を遂行するように構成される。幾つかの実施態様において、プロセッサシステムは、ここに記載するプロセッサ機能を遂行するために協働するように構成される多数のプロセッサを含む。よって、１つ又はそれよりも多くの機能を遂行するように構成される少なくとも１つのプロセッサへの言及は、それらの機能を１つのプロセッサだけによって或いは協働する多数のプロセッサによって遂行してよい、プロセッサを含む。

代替的に、ＣＣＵ及びＶＳＤを１つの機能ブロック内に統合し得る。１つの実施において、プロセッサ及び記憶装置（図示せず）を含むコントローラ１０６は、細長い部分の先端２０８に隣接するシーン中の地点の物理的な定量的３Ｄ座標を計算し、ビデオプロセッサ１０４及び３Ｄディスプレイドライバ１０９の両方を駆動させて３Ｄシーンを構成し、次に、３Ｄシーンを３Ｄディスプレイ１１０上に表示し得る。データバス１０７及び１０８は、ビデオプロセッサ１０４、コントローラ１０６、及びディスプレイドライバ１０９の間で、情報及び制御信号を交換する。幾つかの実施態様では、これらの要素を内視鏡２０２の本体の内側で画像センサアレイ２１０と統合し得る。代替的に、それらを内視鏡の内部に及び／又は外部に分散させ得る。内視鏡２０２は、標的１２０を含む手術シーンへの視覚化されたアクセスをもたらすために、カニューレ１４０を介して身体組織１３０を貫通するよう位置付けられて、示されている。標的１２０は、解剖学的標的、他の手術器具、又は患者の体の内側の手術シーンの任意の他の特徴であり得る。

シーンの画像に加えられるＱ３Ｄ情報の実施例

図４を再び参照すると、図４は、幾つかの実施態様に従った図５のマスタ制御コンソール１５０のビューア３１２の斜視図を示す例示的な図面である。幾つかの実施態様によれば、三次元全体像(three-dimensional perspective)をもたらすために、ビューア３１２は、左ビューファインダ４０１Ｌ及び右ビューファインダ４０１Ｒ内のあらゆる器具４００及び標的４１０をそれぞれ含む、手術部位の左画像４００Ｌ及び右画像４００Ｒを含む、各眼のための立体画像を含む。ビューファインダ内の画像４００Ｌ及び４００Ｒは、それぞれ、左ディスプレイデバイス４０２Ｌ及び右ディスプレイデバイス４０２Ｒによって提供されてよい。ディスプレイデバイス４０２Ｌ，４０２Ｒは、任意的に、一対の陰極線管（ＣＲＴ）モニタ、液晶ディスプレイ（ＬＣＤｓ）、又は他の種類の画像ディスプレイデバイス（例えば、プラズマ、デジタル光投影等）であってよい。本発明の好適実施態様において、画像は、カラーＣＲＴｓ又はカラーＬＣＤｓのような、一対のカラーディスプレイデバイス４０２Ｌ，４０２Ｒによって、着色されて提供される。既存のデバイスとの後方互換性をサポートするために、立体視ディスプレイデバイス４０２Ｌ及び４０２ＲがＱ３Ｄシステムと共に用いられてよい。代替的に、Ｑ３Ｄ撮像システムを、３Ｄモニタ、３ＤＴＶ、又は３Ｄ効果眼鏡の使用を要求しないディスプレイのような自動立体視ディスプレイに接続し得る。

２つの撮像要素２０６Ｒ，２０６Ｌを有する視認システムが、良好な３Ｄ視認全体像を提供し得る。Ｑ３Ｄ撮像システムは、この視認全体像に手術シーン中の物理的構造についての物理的次元情報を補足する。Ｑ３Ｄ内視鏡システムと共に用いられる立体ビューア３１２は、手術シーンの立体画像の上にオーバーレイされるＱ３Ｄ情報を表示し得る。例えば、図４に示すように、器具４００と標的４１０との間のＱ３Ｄ距離数値「ｄ＿Ｉｎｓｔｒ＿Ｔｒｇｔ」を立体ビューア３１２内に表示し得る。

物理的場所及び次元情報を手術シーンの３Ｄ全体像の上にオーバーレイするために用い得るビデオ立体視認システムの説明は米国特許出願公開第２０１２／００２０５４７号に提供されており、段落［００４３］−［００５３］及び対応する図面がここに参照として明示的に援用される。

定量的三次元物理的情報の処理

図９は、幾つかの実施態様に従った物理的標的の定量的三次元場所を決定するプロセスを表すフロー図である。プロセスは図８の実施態様のＱ３Ｄシステム１０１Ｃを参照して記載される。モジュール４０１は、撮像シーンＳ_ｉｊからビデオデータを取得するようコントローラ１０６を構成する。画像センサアレイ２１０は視野全体を「撮像」するが、異なるセンサ及び異なるセンサ内の異なるピクセルが視野内の異なる物体地点からの画像投影によって照らされてよいことが理解されるであろう。ビデオデータは、例えば、色及び光強度データを含んでよい。各センサの各ピクセルは、その上に投影される画像の色及び強度を示す１つ又はそれよりも多くの信号を提供してよい。モジュール４０２は、物理的世界ビュー(physical world view)内の選択的な関心の領域から標的を組織的に選択するようコントローラを構成する。モジュール４０３は、初期（ｘ０，よ、ｚ０）セットを用いて標的３Ｄ座標（ｘ、ｙ、ｚ）の計算を開始するようコントローラを構成する。次に、アルゴリズムが、標的を見る全てのシーンＳ_ｉｊからの画像多様性データを用いることによって、一貫性(consistency)について座標を確認する。座標計算は、受け入れ可能な精度に達するまで、ステップ４０４で精緻化される。決定モジュール４０４は、目下計算されている物理的場所が十分に正確であるか否かを決定するようコントローラを構成する。目下計算されている場所が十分に正確でないという決定に応答して、制御はモジュール４０３に戻り、異なる可能な物理的場所を試す。目下計算されている場所が十分に正確であるという決定に応答して、モジュール４０５は、関心の領域全体がスキャン（走査）されたか否かを決定するようコントローラを構成する。関心の領域全体がスキャンされていないという決定に応答して、制御はモジュール４０２に戻り、異なる標的が選択される。関心の領域全体がスキャンされたという決定に応答して、制御はモジュール４０６に流れ、関心の撮像モジュールの三次元モデルを組み立てるようコントローラを構成する。標的の構造の物理的位置を示す三次元情報に基づく標的の３Ｄ画像の組立ては、当業者に既知であり、ここにおいて記載される必要はない。モジュール４０７は、更なる検討及び操作のために多数の標的について決定される物理的位置情報を用いて開発される３Ｄモデルを格納するようコントローラを構成する。例えば、３Ｄモデルは、移植片（インプラント）を患者の器官の特定の寸法の大きさに作ることのような外科用途のために、後に用いられ得る。更に異なる実施例では、新しい手術器具１０１がロボットシステム１５２に装着されるときに、３Ｄモデルを呼び戻して、新しい器具を従前の手術シーンと関係付けるために、それをモニタ１１０上に表示することが必要なことがある。モジュール４０８は、定量的３Ｄビューを表示するために多数の標的について決定される物理的位置情報を用いるようコントローラを構成する。Ｑ３Ｄビューの実施例は、図４に示す距離値「ｄ＿Ｉｎｓｔｒ＿Ｔｒｇｔ」である。

図１０は、幾つかの実施態様に従った図９のモジュール４０２に概ね対応するプロセスの特定の詳細を示す例示的なフロー図である。モジュール４０２．１は、センサアレイ２１０中の全てのセンサから物理的世界シーンの画像をキャプチャするようコントローラを構成する。モジュール４０２．２は、キャプチャしたシーン内から関心の領域を特定するようコントローラを構成する。モジュール４０２．３は、同じ標的の投影によって照らされる異なるセンサ内のピクセル場所を特定するために、関心の領域内のシーン画像の間にあるようなベストマッチ(best match)を探すようコントローラを構成する。後に説明するように、最良のマッチング(best matching)は、シフトされる画像と基準画像との間の二次元相互相関関数が最大になるまで個々の画像をセンサＳ_ｉｊからシフトさせることによって達成されてよいが、これに限定されない。基準画像は、例えば、センサＳ_１１から受け取られるシーン画像であってよい。モジュール４０２．４は、同じ標的からの投影によって照らされる候補ピクセルを特定するようコントローラを構成する。モジュール４０２．５は、選択される標的についての２つ又はそれよりも多くのピクセル座標（Ｎ_ｘ，Ｎ_ｙ）を計算して、候補ピクセルが同じ標的からの投影によって照らされているか否かを決定するよう、コントローラを構成する。決定モジュール４０２．６は、計算される２Ｄピクセル座標値が、候補ピクセルが同じ標的からの投影によって照らされていることを示すか否かを決定する。多数のセンサＳ_ｉｊで同じシーンを見ることによってもたらされる画像多様性は、様々な個々の画像Ｓ_ｉｊ内の特定の標的と関連付けられる（Ｎ_ｘ，Ｎ_ｙ）を正しく特定する役割を演じる。例えば、幾つかの実施態様において、３つのセンサ、Ｓ_１１，Ｓ_１２，Ｓ_１３のみが用いられる簡略化されたシナリオを想定すると、２Ｄピクセル座標［（Ｎｘ_１１，Ｎｙ_１１）、（Ｎｘ_１２，Ｎｙ_１２）、（Ｎｘ_１３，Ｎｙ_１３）］の三つ揃いが、［Ｓ_１１，Ｓ_１２，Ｓ_１３］上への同じ標的の投影に対応しないならば、（ｙ方向における投影シフトの推定である）量

及び

は、異なる値を生む。後に提示する方程式によれば、

及び

は、ピクセル座標（Ｎｘ_１１，Ｎｙ_１１）、（Ｎｘ_１２，Ｎｙ_１２）、（Ｎｘ_１３，Ｎｙ_１３）が同じ標的の投影から来るならば、同じでなければならない。

及び

が略等しくないならば、制御はモジュール４０２．４に戻り、センサ平面Ｓ_ｉｊ上への標的投影のための最良の候補を精緻化する。既述のように、上記はアルゴリズムの簡略化された実施であるに過ぎない。一般的には、図１０のモジュール４０２．６に示すように、

と

との間の差の平均(norm)は、モジュール４０２がその反復を完了するために、受け入れ可能な許容差(tolerance)ε未満でなければならない。類似の制約が、ｘ軸についての対応する推定、

及び

について満足させられなければならない。計算される２Ｄピクセル座標値（Ｎ_ｘ，Ｎ_ｙ）が、候補ピクセルが同じ標的からの投影によって照らされていることを示すという決定に応答して、制御はモジュール４０３に進む。

各ピクセルは世界シーンから色及び強度情報を直接的にキャプチャすることが理解されるであろう。その上、上記プロセスによれば、各ピクセルは、ピクセル上に投影される世界ビュー内の物理的物体の（ｘ，ｙ，ｚ）座標と関連付けられる。よって、色情報、照明強度情報、及び物理的場所情報、即ち、色及び照明を投影した物理的物体の場所を、持続性コンピュータ可読記憶装置内のピクセルと関連付け得る。以下の表１は、この関連を例示する。

表１

Ｑ３Ｄ情報決定の実施例

投影マッチングの実施例

図１１は、幾つかの実施態様に従った３つの例示的な物体を含む例示的な三次元物理的世界シーンを包含する視野を有するように配置される多数のセンサＳ_１１−Ｓ_３３を含む例示的なセンサイメージャアレイ２１０の例示的な図面である。アレイ中の各センサは、各次元に少なくとも２つのピクセルを有するピクセルの二次元配列を含む。各センサは、レンズスタック（レンズ積重ね）を含み、レンズスタックは、レンズスタックの集束平面内に配置されるピクセルの対応する配列上に画像を解像する別個の光学通路を創る。各ピクセルは、光センサとして作用し、その多数のピクセルを備える各集束平面は、画像センサとして作用する。その集束平面を備える各センサＳ_１１−Ｓ_３３は、他のセンサ及び集束平面によって占められるセンサアレイの領域と異なるセンサアレイの領域を占める。適切な既知の画像センサアレイは、上述の米国特許第８，５１４，４９１号及び米国特許出願公開第２０１３／００７００６０号に開示されている。

幾つかの実施態様によれば、センサは、Ｎ_ｘ及びＮ_ｙ、ｘ方向及びｙ方向におけるそれらのピクセル総数によって、並びに視野角度θ_ｘ及びθ_ｙによって特徴付けられる。幾つかの実施態様において、ｘ軸及びｙ軸についてのセンサ特性は、同じであることが予期される。しかしながら、代替的な実施態様において、センサは、非対称的なｘ軸及びｙ軸特性を有する。同様に、幾つかの実施態様において、全てのセンサは、同じピクセル総数及び同じ視野角度を有する。センサは、上手く制御された方法においてアレイ２１０に亘って分散させられる。例えば、センサは、図示の二次元格子上でδ距離だけ離れてよい。センサ配置ピッチδは、そのような格子に亘って対称的又は非対称的であってよい。

図１１に示す実施態様において、センサは、センサＳ_１１−Ｓ_１３が頂列を占め、センサＳ_２１−_２３が中央列を占め、センサＳ_３１−_３３が底列を占める、長方形格子において配置される。各センサは、Ｎ行のピクセルと、Ｎ列のピクセルとを含む。光源によって生成される、破線によって示す光線が、三角形の第１の物体、球形の第２の物体、及び長方形の第３の物体から、イメージャアレイの各センサに反射させられる。例示的な目的のために、頂行中のセンサＳ_１１，Ｓ_１２，Ｓ_１３への光線のみが示されている。光源は、例えば、非構造的白色光又は周囲光であってよい。代替的に、光源は、赤外のような、選択的な波長で光を提供してよく、或いは、例えば、選択的な色又は色の範囲をもたらすよう濾過され或いは分割されてよい。光線は物体の各々からセンサＳ_２１−Ｓ_３３に同様に反射させられることが理解されるであろう。しかしながら、説明を単純化するために、これらの他の光線は示されていない。

モジュール４０１及び４０２．１によれば、アレイのセンサは、世界ビューから別個に画像をキャプチャし、そして、モジュール４０２．１によれば。図１２は、幾つかの実施態様に従ったセンサＳ_ｉｊ（Ｓ_１１，Ｓ_１２のみを示している）上への図１１の３つの物体の投影を表す例示的な図面である。当業者は、そのセンサに入射する視野内の物体から反射させられる光線が、その視野内にある物体の画像を投影することを理解するであろう。より具体的には、イメージャアレイの多数の異なる画像センサに入射する視野内の物体から反射させられる光線は、三次元から二次元への物体の多数の透視投影、即ち、反射光線を受け取る各センサ内の異なる投影を生成する。具体的には、物体の投影の相対的な場所は、Ｓ_１１からＳ_１３に進行するときに、左から右にシフトさせられる。入射光線によって照らされる画像センサピクセルは、入射光に応答して電気信号を生成する。従って、各画像センサのために、その画像センサ内の画像投影の形状及び場所を示す反射光線に応答して、あるパターンの電気信号がそのピクセルによって生成される。

モジュール４０２．２によれば、関心の領域が世界シーンから選択される。図１３は、シーン内からの関心の領域の選択を示す例示的な図面である。この実施例において、三角形の第１の物体、球形の第２の物体、及び長方形の第３の物体は、全て、選択される関心の領域内にある。このステップは、操作者からの入力を受け入れることによって達成されることができ、或いは、それは指定の方法においてソフトウェアによって或いは操作者入力及び自動ソフトウェア制御選択の組み合わせによって設定されるコンピュータを用いて自動的に行われることができる。例えば、幾つかの実施態様において、世界シーンは人間の解剖学的構造の内腔を示してよく、物体は内部の身体器官又は手術器具又はそれらの部分であってよい。外科医は内腔内から実時間の視覚的な像(imagery)を受け取ってよく、彼女の視野内に人間の解剖学的構造及び体腔内に突出する手術器具の部分の組織領域を有してよい。外科医は、そのための場所情報が、例えば、テレストレーション(telestration)のようなビデオマーカのような既知の技法を通じて決定されるべき、視野内の物体を特定してよい。そのような操作者要求に替えて或いはそれに加えて、エッジ検出アルゴリズムのような自動処理を用いて関心の領域（ＲＯＩ）を特定し得る。

モジュール４０２．３によれば、同じ標的の投影によって照らされる異なるセンサ内のピクセル場所を特定するために、ベストマッチが関心の領域内のシーン画像の間にあるように決定される。図１４は、幾つかの実施態様に従ったセンサＳ_１１，Ｓ_１２，Ｓ_１３内の投影画像の相対的な幾何学的偏心（オフセット）についての追加的な詳細を示す例示的な図面である。幾つかの実施態様によれば、センサＳ_１３からの画像が基準画像であると考えられ、選択されるＲＯＩ内の物体の投影は、センサＳ_１３内のそれらの場所に対してセンサＳ_１２内の量σ_２３ピクセルだけ右に偏心させられている。選択されるＲＯＩ内の物体の投影は、センサＳ_１３内のそれらの場所に対して量σ_１３ピクセルだけ右に偏心させられている。

図１５は、幾つかの実施態様に従ってＲＯＩ内のセンサＳ_１３内の投影画像と整列するよう右にシフトさせられたＲＯＩ内のセンサＳ_１１及びＳ_１２内の投影画像を示す例示的な図面である。現在の実施例において、センサＳ_１３は、基準センサとして作用するように設計されている。整列（アライメント）及び幾何学的寸法を決定することにおける使用のために他のセンサを選択し得ることが理解されるであろう。選択されるＲＯＩ内の物体の投影は、指定されるセンサ、例えば、センサＳ_１３内に特定され、他のセンサ内の、例えば、センサＳ_１１及びＳ_１２内の投影は、それらが指定されるセンサ内の投影と整列するまで、シフトさせられる。このようにして、選択されるＲＯＩ内の物体の対応する投影を、指定されるセンサ内の投影の場所に対するそれらの偏心と共に、他のセンサ内で特定し得る。

具体的には、例えば、３つの実施例の物体の投影は、センサＳ_１２内で量σ_２３ピクセルだけ右にシフトさせられ、３つの実施例の物体の投影は、センサＳ_１３内で量σ_１３ピクセルだけ右にシフトさせられる。この例示的な実施例では、説明を単純化するために、投影はｙ方向のみにおいて偏心させられ、ｘ方向において偏心させられていないと推定されているが、同じ原理がセンサ間にあるようなｘ方向投影偏心にも当て嵌まる。その上、この実施例は線形偏心を示すが、当業者は、例えば、異なるセンサ内に相対的な偏心を有する投影と整列させるよう、回転のような他の転換を適用し得る。

幾つかの実施態様によれば、例えば、二次元（２Ｄ）相互相関技法又は主成分分析（ＰＣＡ）を用いて、Ｓ_１３内のＲＯＩ内の投影をＳ_１２内のＲＯＩ内の投影と整列させ且つＳ_１３内のＲＯＩ内の投影をＳ_１１内のＲＯＩ内の投影と整列させ得る。一般的に、意図は、基準として指定されるセンサからの画像に対するセンサＳ_ｉｊからの画像を最良に整合（マッチ）させ或いは整列させることである。より具体的には、最高の相関係数が達成されるまで、Ｓ_１２内のＲＯＩ内の投影画像はシフトさせられ、Ｓ_１３内の投影画像と相互相関させられる。同様に、最高の相関係数が達成されるまで、Ｓ_１１内のＲＯＩ内の投影画像はシフトさせられ、Ｓ_１３内のＲＯＩ内の投影画像と相互相関させられる。よって、Ｓ_１３内のＲＯＩの投影とＳ_１２内のＲＯＩの投影との間の偏心を決定することによって並びにＳ_１３内のＲＯＩの投影とＳ_１１内のＲＯＩの投影との間の偏心を決定することによって、センサＳ_１１及びＳ_１２内のＲＯＩの投影の場所を特定するために、ＲＯＩの投影の整列が用いられる。

候補ピクセル選択及び精緻化の実施例

モジュール４０２．４によれば、候補ピクセルが異なるセンサ内で特定され、それらは、ベストマッチプロセスに従って、同じ標的からの投影によって照らされる。ＲＯＩ内の物体の投影がセンサＳ_１１，Ｓ_１２，Ｓ_１３の各々の内でひとたび特定されると、ＲＯＩ内の個々の標的地点の物理的（ｘ，ｙ，ｚ）投影をイメージャアレイに対して決定し得る。幾つかの実施態様によれば、ＲＯＩ内の多数の標的地点の各々について、標的地点からの投影によって照らされる多数のセンサの各々の内の１つ又はそれよりも多くのピクセルが特定される。各々のそのような標的地点について、少なくとも部分的に、標的地点からの投影によって照らされるように決定される異なるセンサ内に配置されるピクセル中の幾何学的関係に基づき、物理的（ｘ，ｙ，ｚ）標的地点場所が決定される。

ＲＯＩを組織的に横断することによって（例えば、特定の段階サイズで右から左に並びにある段階サイズで上から下に）一連の標的地点を自動的に選択し得ること並びに各々の選択される地点について物理的（ｘ，ｙ，ｚ）標的位置場所を決定し得ることが理解されるであろう。Ｓ_１１及びＳ_１２はＳ_１３と最良に整合（マッチ）させられるので、横断はシフトされる関心の領域の内側で行われる。標的を選択することは、標的の投影によって照らされるセンサＳ_１１，Ｓ_１２，Ｓ_１３の各々の内でピクセルを特定することを含む。よって、Ｓ_１１，Ｓ_１２，Ｓ_１３の各々の内の候補ピクセルは、選択される標的地点の投影によって照らされるものであるとして特定される。

換言すれば、標的地点Ｔを選択するために、ピクセルが、標的地点Ｔの投影によって照らされるセンサＳ_１１，Ｓ_１２，Ｓ_１３の各々の内に選択される。標的Ｔの（ｘ，ｙ，ｚ）物理的場所は、その選択の瞬間に知られていないことが理解されるであろう。その上、上述の整列プロセスの不正確性は、各センサ内のどのピクセルが選択される標的Ｔの投影によって照らされるかの決定における不正確性を招き得ることが理解されるであろう。よって、図１７、１８及び１９を参照して説明するように、現在選択されている標的Ｔの投影によって照らされるＳ_１１，Ｓ_１２，Ｓ_１３の各々の内のピクセルについての決定の精度について、更なる決定が行われる。

上の実施例を続けて、三角形の第１の物体が現在選択されている標的地点であると推定する。図１６は、幾つかの実施態様に従ったセンサＳ_１１，Ｓ_１２，Ｓ_１３の上への選択される三角形の標的地点の投影を示す例示的な図面である。これらの投影から、標的Ｔについての２Ｄピクセル座標、［（Ｎｘ_１１，Ｎｙ_１１），（Ｎｘ_１２，Ｎｙ_１２），（Ｎｘ_１３，Ｎｙ_１３）］が決定される。単純化のために、図１６は、ｙ軸ピクセル座標のみを示している。これらの２Ｄピクセル座標を用いて、式（４０２．５−１）及び（４０２．５−２）が適用され、

及び

がモジュール４０２．５の部分として計算される。４０２．６の部分、平均(norm)

が計算され、受け入れ可能な許容差εと比較される。同様に、ｘ軸ピクセル座標及び場所推定が計算され、受け入れ可能な許容差に対して比較される。モジュール４０２．６の条件が満足させられるならば、プロセスはモジュール４０３に進む。さもなければ、それはモジュール４０２．４に戻り、標的候補を更に精緻化する。

図１７を参照すると、センサＳ_１１，Ｓ_１２，Ｓ_１３と、物理的空間内の場所（ｘ，ｙ，ｚ）に配置される選択される三角形の第１の物体標的地点Ｔとを含む、イメージャアレイの部分が示されている。イメージャアレイ内のセンサは、それらの間に既知の間隔、δ_ｉｊを有する。Ｓ_１１とＳ_１２との間の物理的位置間隔はδ_１２であり、Ｓ_１２とＳ_１３との間の物理的位置間隔はδ_２３である。他の実施態様において、全てのセンサＳｉｊの間のこれらの間隔は、同一であり、δ、構造的仕様(constructional specification)と等しい。センサＳ_ｉｊは、既知の視野角度θも有する。

上で説明したように、幾つかの実施態様において、各センサは、長方形パターンの行列において配置されるピクセルを備える２Ｄ撮像要素として構成される。代替的に、ピクセルを、例えば、円形パターン、ジグザグパターン、或いは分散パターンにおいて、或いはサブピクセル偏心(sub-pixel offsets)を含む不規則パターンにおいて配置し得る。これらの要素の角度及びピクセル特性は同一であってよく、或いは、代替的に、センサ毎に異なってよい。しかしながら、これらの特性は知られていることが推定される。説明を単純化するために、センサは同一であると推定されるが、それらは異なってよい。

単純性のために、全てのセンサＳ_ｉｊがＮｘＮピクセルを有すると推定しよう。センサＳ_１１から距離ｚで、センサのＮピクセル幅は、ＦＯＶ_１によって示されるＳ_１１のｙ次元視野に拡張する。同様に、センサＳ_１２から距離ｚで、センサ_１２のｙ次元視野はＦＯＶ_２によって示されている。また、センサＳ_１３から距離ｚで、Ｓ_１３のｙ次元視野はＦＯＶ_３によって示されている。長さＦＯＶ_１，ＦＯＶ_２，ＦＯＶ_３は、互いに重なり合い、センサＳ_１１，Ｓ_１２，Ｓ_１３が、幾らかの（未知の）距離ｚに物理的に位置する標的Ｔの三方向サンプリング多様性(three-way sampling diversity)を達成することを示す。もちろん、この実施例において想定されるように、センサが同一に作られるならば、長さＦＯＶ_１，ＦＯＶ_２，ＦＯＶ_３も、同一である。３つの長さＦＯＶ_１，ＦＯＶ_２，ＦＯＶ_３は、全て、同じ大きさを有し、それらがイメージャアレイから同じ（不明の）ｚ距離にある点において同一平面上にあるが、例示の目的のために、それらはそれらが恰も互いに隣接して重なり合うように描かれていることが理解されるであろう。

図１８を参照すると、画像センサＳ_１１，Ｓ_１２，Ｓ_１３上への現在選択されている標的地点Ｔの投影の例示的な正面図が示されている。単純性のために、センサはＮｘＮピクセルサイズの幾何学的に長方形のピクセルアレイを含むことが想定される。標的Ｔ投影のｘ座標は全て等しいことも想定される。換言すれば、Ｓ_１１，Ｓ_１２，Ｓ_１３上への標的Ｔの投影のために、ｎ_ｘ１＝ｎ_ｘ２＝ｎ_ｘ３であることが想定される。説明を単純化するために、幾何学的な視野角度θは、垂直的にθ_ｘ＝θ_ｙであるので、水平的に同じである。当業者は、上記推定のうちの何れかが変わる場合に標的Ｔのｘ，ｙ，ｚ物理的座標を計算するために以下に提示するプロセスをどのように修正するかを知るであろう。

標的Ｔの画像は、画像センサＳ_１１の平面内の幾何学的座標（ｎ_ｘ１，ｎ_ｙ１）でセンサＳ_１１内の物理的地点に投影される。より具体的には、センサＳ_１１上への標的Ｔの投影は、原点から取られると、ｙ軸に沿ってｎ_ｙ１ピクセルに配置され、ｘ軸に沿ってｎ_ｘ１ピクセルに配置される。標的Ｔの画像は、画像センサＳ_１２の平面内の幾何学的座標（ｎ_ｘ２，ｎ_ｙ２）でセンサＳ_１２内の物理的地点に投影される。標的Ｔの画像は、画像センサＳ_１３の平面内の幾何学的座標（ｎ_ｘ３，ｎ_ｙ３）でセンサＳ_１３内の物理的地点に投影される。各センサ内のピクセル場所（ｎ_ｘｉ，ｎ_ｙｉ）がセンサのために提供される原点（０，０）基準座標に対して決定されることが理解されるであろう。図１７又は図１９に示すように、座標（ｘ，ｙ，ｚ）の世界系(global system)は、標的を参照するために定められ且つ用いられる。例えば、そのような座標系の原点は、センサＳ_１１の幾何学的中心に配置されてよいが、それに限定されない。

図１６及び図１８の両方を参照すると、標的の投影のｙピクセル距離は各センサにおいて異なることを見ることができる。現在選択されている標的Ｔの投影は、Ｓ_１１において原点のｎ_ｙ１ピクセル左に配置されている。選択される標的Ｔの投影は、Ｓ_１２において原点のｎ_ｙ２ピクセル左に配置されている。選択される標的Ｔの投影は、Ｓ_１３において原点のｎ_ｙ３ピクセル左に配置されている。上述のように、説明を単純化するために、標的の投影は全ての３つのセンサにおいて原点から同じｘピクセル距離に向けられていると想定される。

図１９を参照すると、図１７を参照して上述したようなセンサＳ_１１，Ｓ_１２，Ｓ_１３に対する現在選択されている標的Ｔの配置が示されており、センサの各々における候補ピクセルについてのｙ方向偏心も示している。図１９の図面は、選択される標的Ｔの（ｘ，ｙ，ｚ）物理的座標を決定するための解析フレームワーク及び物理的構造を表している。イメージャアレイ平面からの（不明の）距離ｚで、各センサのためのｙ方向視野は、ＦＯＶ_ｉとして記される長さに亘って延びる。この長さ、ＦＯＶ_ｉは、幾つかの実施態様において、Ｎピクセルである、センサの最大ピクセル幅に対応する。センサがｘ方向及びｙ方向において対称的である視野を有するという動作推定(working assumption)を考慮すれば、その長さもｘ軸に沿って垂直にＦＯＶ_ｉである。

候補ピクセル選択が、少なくとも部分的に、選択される標的の物理的場所の決定における不正確性を招き得る不確実性のレベルを有し得る相関プロセスに基づいて行われることを思い起こして頂きたい。よって、幾つかの実施態様に従った標的投影候補選択の正確性の更なる確認が、以下のように行われる。

標的の物理的（ｘ，ｙ）場所を決定すること及び標的投影候補選択の正確性を確認することの実施例

モジュール４０２．５によれば、候補ピクセルが同じ標的からの投影によって実際に照らされるか否かを決定するために、２つ又はそれよりも多くの二次元（Ｎ_ｘ，Ｎ_ｙ）座標値が、選択される標的のために計算される。上で議論した推定及び３Ｄ座標系の原点をセンサＳ_１１の中心に配置することに基づき、イメージャアレイ及び図１９中の実施例において現在選択されている標的Ｔは、以下の関係を有し、

ここで、
Ｎは、撮像センサのピクセル寸法であり、
ｎ_ｘ１は、ｘ方向におけるＳ_１１平面の原点からのピクセルの数において表わされる標的地点Ｔの位置であり、
ｎ_ｙ１は、ｙ方向におけるＳ_１１平面の原点からのピクセルの数において表わされる標的地点Ｔの位置であり、
ｎ_ｘ２は、ｘ方向におけるＳ_１２平面の原点からのピクセルの数において表現される標的地点Ｔの位置であり、
ｎ_ｙ２は、ｙ方向におけるＳ_１２平面の原点からのピクセルの数において表現される標的地点Ｔの位置であり、
θは、視野の角度である。

その上、センサＳ_１１及びＳ_１３を用いて同じ算数を行うならば、並びに、Ｓ_１１とＳ_１３との間の分離が２δであると仮定すると、以下が得られ、

ここで、
ｎ_ｘ３は、ｘ方向におけるＳ_１３平面の原点からのピクセルの数において表現される標的地点Ｔの位置であり、
ｎ_ｙ３は、ｙ方向におけるＳ_１３平面の原点からのピクセルの数において表現される標的地点Ｔの位置である。

よって、選択される標的Ｔの物理的ｘ座標の決定を式（３）又は（６）に基づき決定し得る。選択される標的Ｔの物理的ｙ座標の決定を式（２）又は（５）に基づき決定し得る。選択される標的Ｔの物理的ｚ座標の決定を方程式（１）又は（４）に基づき決定し得る。

より一般的には、モジュール４０２．６によれば、計算される２Ｄ座標値が、候補ピクセルが同じ標的からの投影によって照らされていることを示すか否かについて、決定が行われる。各座標についての２つの公式(formulation)を通じて、標的Ｔの物理的（ｘ，ｙ，ｚ）座標のより確実な決定を得ることができる。例えば、標的Ｔについてのｙ座標を両方の公式（２）及び（５）を用いて決定し得る。２つの公式を用いて計算される結果として得られるｙ座標値が、ある程度の受け入れ可能な許容差値(tolerance value)、ε_ｙよりも多い値だけ異なるならば、整合（マッチング）プロセスが異なるセンサ内の投影の間の偏心を十分な精度で解消し損ず、その結果、候補ピクセルが同じ標的Ｔからの投影を受けないという意味において、候補ピクセルが対応しないという、決定を行い得る。ｙ計算が整合し損なう事態においては、各々が選択される標的Ｔに対応する、センサ内の候補ピクセルの改良された選択を行う試みにおいて、整合プロセスの他の繰返しが行われてよい。計算されるｙ値が等しい可能性は低いことが理解されるであろう。何故ならば、異なるセンサ上への異なる透視投影は、例えば、視差効果の故に異なり得るからである。従って、受け入れ可能な許容差値は、意図される用途に従って指定される。手術撮像用途のために、０．１〜０．３ｍｍの間のεが、典型的には、受け入れ可能なＱ３Ｄ精度をもたらす。当業者は、この発明の精神から逸脱せずに、異なる受け入れ可能な許容差レベルを定めてよい。

ｘ軸及びｙ軸の周りの推定されるセンサ対称性を考慮すれば、当業者は、（２）及び（５）における公式と類似の公式を用いるが、ｎ_ｙｉの代わりにｎ_ｘｉを用いて、標的Ｔのｘ座標について同種の決定を行い得ることを理解するであろう。公式（３）及び（６）を４０２．５及び４０２．６の部分において用い得ない。何故ならば、それらはｚ座標の知識を必要とするからである。しかしながら、モジュール４０２．５及び４０２．６の本質は、センサＳ_１１，Ｓ_１２，Ｓ_１３の平面上の正しい標的投影を決定することである。この目的のためには、ｘ軸及びｙ軸のために調節された公式（２）及び（５）で十分である。完全なセットの座標（ｘ，ｙ，ｚ）は、以下に記載するように、モジュール４０３及び４０４の計算される部分である。

標的の物理的ｚ場所を決定する実施例

図１９に例示するように、モジュール４０３及び４０４によれば、計算プロセスを開始するために、ｚ座標、ｚ_０についての初期的な推定が用いられる。この初期値は、医療用途に従って自動的に定められる。医療用途は、視覚化されるべき意図される世界ビューを定める。初期値ｚ_０は、内視鏡に最も近い視野のエッジ（縁）で開始する。図８を参照すると、手術内視鏡を包含するＱ３Ｄ用途のために、ｚ_０は、例えば、Ｑ３Ｄ内視鏡２０２の遠位端２０８から１〜５ｍｍ外れ得る。そのような初期的な推定は、一般的には、この用途のために十分である。何故ならば、Ｑ３Ｄ内視鏡にそのように近接近して存する組織又は手術器具を有する可能性は低いからである。次に、値ｚ_０を公式（３）及び（６）に差し込む。標的のｘ座標が特異であることを考慮するならば、ｚ_０が真実であり、標的のｚ座標が正しいならば、公式（３）及び（６）は同一の値又は受け入れ可能なレベルの許容差内の略等しい値、ε_ｘを生む。

（３）及び（６）が受け入れ可能な許容差ε_ｘの外側にあるならば、繰返しが続き、ｚについての新しい推定、ｚ_１を試す。幾つかの実施態様によれば、新しい推定は自動的に定められる。例えば、ｚ_１＝ｚ_０＋Δであり、ここで、Δは、繰返しステップの大きさである。一般的には、ｋ^ｔｈ反復Ｚ_ｋ＝ｚ_ｋ−１＋Δである。繰返しプロセスは、条件（７）を満足するときに停止する。より小さなΔは、正しい標的座標を決定することにおける精度の増大をもたらすが、プロセスを完了するのにより多くの計算時間、故に、待ち時間(latency)の増大を必要とする。待ち時間の増大は、手術器具動作と執刀医によるその視覚化との間の遅延を招くことがある。換言すれば、外科医はシステムが彼の命令の裏で遅れているものとして知覚する。２０〜３０ｃｍの不可算の手術視認空間のために、０．１〜０．３ｍｍのΔが十分なことがある。もちろん、当業者は、繰返しプロセスを完了するのに必要とされる計算に対してΔの大きさを均衡させることを知っている。

上記説明は提示の理由のために単純化されており、従って、それは３つのセンサＳ１１，Ｓ１２，Ｓ１３のみを含んだ。一般的には、より多くのセンサを用いて、Ｑ３Ｄ座標計算の精度を増大させ得るが、繰返しの総数も減少させ得る。例えば、３つよりも多くのセンサ、好ましくは、３×３センサアレイが用いられるならば、最急勾配(steepest gradient)のような方法を用いて、モジュール４０２．５及び４０３によって行われる推定誤差の方向を変え得る。３Ｄ誤差勾配表面の局所的な極限に向かう進行に整合（マッチ）するよう、繰返しステップの大きさ及び方向を調節し得る。

Ｑ３Ｄ情報を用いた内視鏡検査手術の誘導

図２０は、幾つかの実施態様に従った外科処置中にＱ３Ｄ情報を用いる第１のプロセス２０００を表す例示的なフロー図である。コンピュータプログラムコードは、プロセス２０００を遂行するようコンピュータ１５１を構成する。モジュール２００２は、使用者入力を受信して、ビューア３１２を覗くときに、外科医の視野内の少なくとも２つの物体を選択するよう、コンピュータを構成する。モジュール２００４は、使用者選択の受信に応答してコンピュータコンソールにメニューを表示するようコンピュータを構成する。決定モジュール２００６は、距離を表示するために、メニューへの使用者入力が受信されたか否かを決定するよう、コンピュータを構成する。使用者入力を受信して距離を表示したという決定に応答して、モジュール２００８は、外科医の視野内のビデオ画像中に数値距離を表示するようコンピュータを構成する。決定モジュール２０１０は、距離表示を選択するために使用者入力の受信についての指定の時間間隔を待ち、「タイムアウト」間隔内に使用者入力を受信しないことに応答して、決定モジュール２００６の動作を終了させるよう、コンピュータを構成する。

決定モジュール２０１２は、近接警報限界を入力するためにメニューへの使用者入力が受信されたか否かを決定するよう、コンピュータを構成する。近接閾(proximity threshold)を入力するために使用者入力が入力されたという決定に応答して、モジュール２０１４は、Ｑ３Ｄ情報を用いて、外科医の視野内の２つ又はそれよりも多くの物体の間の近接性をモニタリング（監視）するよう、コンピュータを構成する。決定モジュール２０１６は、近接閾を超えたか否かを決定する。近接閾を超えたという決定に応答して、モジュール２０１８は、警報をアクティブ化させるようコンピュータを構成する。警報は、音、点滅する光のような視覚的キュー、又は衝突を避ける器具動作の係止（ロッキング）を含んでよい。近接閾を超えなかったという決定に応答して、制御はモニタリングモジュール２０１４に戻る。決定モジュール２０２０は、近接閾を入力する使用者入力の受信についての指定の時間間隔を待ち、「タイムアウト」間隔内に使用者入力がなかったことに応答して決定モジュール２０１２の動作を終了させるよう、コンピュータを構成する。

図２１は、幾つかの実施態様に従った図２０のプロセスに従ったディスプレイスクリーン２１０２上に表示されるメニュー選択を示す例示的な図面である。ディスプレイスクリーン２１０２は、コンピュータ１５１と関連付けられる視認モニタを含む。代替的に、ディスプレイスクリーン２１０２は、ビューア３１２の撮像要素２０６Ｒ，２０６Ｌの領域を含んでよい。使用者入力に応答して、モジュール２００４は、第１のメニュー項目「距離を表示する」２１０６及び第２のメニュー項目「近接警報を設定する」２１０８を含む、メニューを表示させる。「距離を教示する」というメニュー項目２１０６を選択する使用者入力に応答して、モジュール２００８は、２つ又はそれよりも多くの物体の間のＱ３Ｄ距離の表示をもたらす。図４を再び参照すると、モジュール２００８を用いて表示された器具４００と標的との間のＱ３Ｄ距離「ｄ＿Ｉｎｓｔｒ＿Ｔｒｇｔ」の表示が示されている。「近接警報を設定する」というメニュー項目２１０８を選択する使用者入力に応答して、「距離を入力する」というＵＩ入力２１１０が表示され、それは使用者が近接距離閾値(proximity distance threshold value)、例えば、「ｘｘｘｘミリメートル」を入力し得るフィールドを含む。代替的な実施態様（図示せず）において、初期設定近接閾が全ての器具のために前もって設定されてよく、使用者は、例えば、図２１のメニューを用いて近接閾を変更してよい。代替的な実施態様において、使用者は、閾値(threshold value)を入力するよりもむしろ初期設定閾値(default threshold value)を選択することを選び得る。幾つかの実施態様において、使用者は、距離を表示すること及び近接警報を設定することの両方を選択し得る。

図２２Ａ−２２Ｂは、幾つかの実施態様に従った使用者入力を受信することの特定の詳細を表す例示的な図面である。図２２Ａは、テレストレーションのようなビデオマーカツールを用いて或いは図４の制御入力デバイス１６０を操作する外科医コンソールを用いて創り得る、体組織のような、標的４１０Ｌ，４１０Ｒの例示的な第１の強調２２０２Ｌ，２２０２Ｒ(highlighting)を示している。図２２Ｂは、ビデオマーカツールを用いて創り得る、器具先端４００Ｌ，４００Ｒの例示的な第２の強調２２０６Ｌ，２２０６Ｒを示している。手術中、幾つかの実施態様によれば、使用者は、第１の強調２２０２Ｌ，２２０Ｒを創る。次に、使用者は、ビデオマーカツールを用いて、器具先端４００Ｌ，４００Ｒの第２の強調を創る。品目が強調される順番は重要でないことが理解されるであろう。次に、使用者は、セレクタ（図示せず）を作動させて（例えば、入力キーを押して）、選択を入力する。モジュール２００２は、受信する使用者入力を、標的画像４１０Ｌ，４１０Ｒ及び器具画像４００Ｌ，４００Ｒの選択として解釈する。

図２３は、幾つかの実施態様に従った外科処置中にＱ３Ｄ情報を用いる第２のプロセス２３００を表す例示的なフロー図である。コンピュータプログラムコードは、プロセス２３００を遂行するようコンピュータ１５１を構成する。モジュール２３０２は、使用者入力を受け取って、ビューア３１２を覗くときに外科医の視野内の物体を選択するよう、コンピュータを構成する。例えば、図２２Ａを再び参照すると、使用者入力は、ビデオマーカツールを用いて器具先端４００Ｌ，４００Ｒの第２の強調２２０６Ｌ，２２０６Ｒを創るようために受信されるよう、示されている。使用者入力（図示せず）は、セレクタ（図示せず）を作動させて（例えば、入力キーを押して）、器具先端４００Ｌ，４００Ｒの画像の選択を入力するために、受信される。

図２３をもう一度戻ると、使用者選択の受信に応答して、モジュール２３０４は、コンピュータコンソールにメニューを表示するようコンピュータを構成する。決定モジュール２３０６は、選択される物体の画像を回転させるために、メニューへの使用者入力が受信されたか否かを決定するよう、コンピュータを構成する。画像を回転させる使用者入力が受信されたという決定に応答して、モジュール２３０８は、画像を回転させて物体の異なる三次元全体像を示すよう、コンピュータを構成する。決定モジュール２３１０は、画像を回転させる使用者入力の受信のための指定の時間間隔を待って、「タイムアウト」間隔内に使用者入力がないことに応答して決定モジュール２３０６の動作を終了させるよう、コンピュータを構成する。

図２４は、幾つかの実施態様に従った図２３のプロセスに従ったディスプレイスクリーン２４０２に表示されるメニュー選択を示す例示的な図面である。ディスプレイスクリーン２４０２は、コンピュータ１５１と関連付けられる視認モニタを含む。代替的に、ディスプレイスクリーン２４０２は、ビューア３１２の撮像要素２０６Ｒ，２０６Ｌの領域を含んでよい。受信される使用者入力に応答して、モジュール２３０４は、第３のメニュー項目「左に回転させる」２４０６及び第４のメニュー項目「右に回転させる」２４０８を含む、メニュー２４０４の表示をもたらす。第３の又は第４のメニュー項目２４０６，２４０８のうちの一方又は他方を選択する使用者入力に応答して、モジュール２３０８は、図９のモジュール４０７に従って創られ且つ格納される３Ｄモデルの領域をもたらす。回転の量は数度、例えば、３０度未満に限定されてよいことが理解されるであろう。何故ならば、センサイメージャアレイ２１０は、限定的な全体的視野を有するからである。

本発明に従った実施態様の前述の記述及び図面は、本発明の原理の例示であるに過ぎない。従って、当業者は付属の請求項において定められる本発明の精神及び範囲から逸脱せずに実施態様に対する様々な修正を行い得ることが理解されるであろう。

Claims (13)

1. 内視鏡と、
   該内視鏡に隣接する視野を撮像するよう配置される、同一平面の重なり合う視野を有する少なくとも３つの撮像センサを含む、画像センサアレイであって、各センサは、他のセンサのピクセルアレイと分離されるピクセルアレイを含む、画像センサアレイと、
   前記視野を照らすよう配置される光源と、
   コントローラとを含み、該コントローラは、前記画像センサアレイ内の前記少なくとも３つの撮像センサの各撮像センサのピクセルアレイから物理的世界シーンの画像を取り込むことによって前記画像センサアレイを使用して取り込まれる画像情報に基づいて標的物体の三次元場所を決定して、前記取り込まれる物理的世界シーン内の基準画像を特定し、且つ該基準画像と前記画像センサアレイ内の前記少なくとも３つの撮像センサの各撮像センサの前記ピクセルアレイから取り込まれる前記物理的世界シーンの画像との間のベストマッチを探して、同じ標的物体の投影によって照らされる前記少なくとも３つの撮像センサの前記ピクセルアレイの各ピクセルアレイ内のピクセル場所を特定する、ように構成される、
   デバイス。
2. 前記光源は、非構造光のみを生成する、請求項１に記載のデバイス。
3. 前記光源は、白色光を生成する、請求項１に記載のデバイス。
4. 前記内視鏡は、第１の端部分と、該第１の端部分と反対の第２の端部分とを有する、細長い部分を含み、
   前記画像センサアレイは、前記第１の端部分に隣接して配置される、
   請求項１に記載のデバイス。
5. 前記内視鏡は、第１の端部分と、該第１の端部分と反対の第２の端部分とを有する細長い部分を含み、
   前記画像センサアレイは、前記第１の端部分に隣接して配置され、
   前記光源は、白色光を生成する、
   請求項１に記載のデバイス。
6. 前記内視鏡は、第１の端部分と、該第１の端部分と反対の第２の端部分とを有する、細長い部分を含み、
   前記画像センサアレイは、前記第１の端部分に隣接して配置され、
   当該デバイスは、
   前記第１の端部分に隣接する視野から前記第１の端部分から変位させられる前記画像センサアレイに画像を送るよう配置される、ライトパイプを更に含む、
   請求項１に記載のデバイス。
7. 前記内視鏡は、第１の端部分を有する細長い部分を含み、
   前記画像センサアレイは、前記第１の端部分に隣接して配置され、
   前記細長い部分の前記第１の端部分の反対側の前記内視鏡の端は、機械的手術アームとの機械的連結のために構成される、
   請求項１に記載のデバイス。
8. 前記内視鏡は、第１の端部分と、該第１の端部分と反対の第２の端部分とを有する、細長い部分を含み、
   前記画像センサアレイは、前記第１の端部分から変位させられて配置され、
   前記第２の端部分は、機械的手術アームとの機械的連結に適し、
   前記第１の端部分に隣接する視野から前記第１の端部分から変位させられる前記画像センサアレイに画像を送るよう配置されるライトパイプを更に含む、
   請求項１に記載のデバイス。
9. 前記標的物体の前記三次元場所は、少なくとも部分的に、特定されるピクセルと前記画像センサアレイの物理的特性との間のピクセル距離関係に基づき、決定される、請求項１に記載のデバイス。
10. 前記ピクセル場所を特定することは、前記画像センサアレイの多数のアレイの各々において同じ標的物体の画像投影を整合させることを含む、請求項１に記載のデバイス。
11. 前記コントローラは、
    同じ標的物体からの投影によって照らされる多数の画像センサの各々におけるピクセルを特定するように構成され、
    ピクセルを特定することは、多数の画像センサの各々における前記同じ標的物体を整合させるために相関プロセスを用いることを含み、
    前記三次元場所を決定することは、少なくとも部分的に、少なくとも３つの特定されるピクセルの相対的な位置に基づき、少なくとも１つの次元における前記標的物体の推定場所を決定することを含み、
    受け入れ可能な許容差よりも多く異なる前記決定される推定場所に応答して、画像投影の整合を精緻化するよう前記相関プロセスを繰り返す、
    請求項１に記載のデバイス。
12. 前記コントローラは、同じ標的物体からの投影によって照らされる多数の画像センサの各々の画像センサにおけるピクセルを特定するように構成され、
    ピクセルを特定することは、相関プロセスを用いて、多数の画像センサの各々の画像センサにおける前記同じ標的物体の画像投影を整合させることを含み、
    前記三次元場所を決定することは、少なくとも３つの特定されるピクセルの相対的な位置に基づき、前記センサの平面と概ね平行な少なくとも１つの物理的次元における前記標的物体の推定場所を決定することを含み、
    受け入れ可能な許容差内に整合する前記決定される推定場所に応答して、少なくとも部分的に、前記少なくとも１つの物理的次元における前記標的物体の前記決定される物理的場所に基づき、前記センサの前記平面に対して概ね垂直な少なくとも１つの物理的次元において前記標的物体の推定される物理的場所を決定する、
    請求項１に記載のデバイス。
13. 物理的世界シーンのビデオ画像を表示する１つ又はそれよりも多くの自動立体視三次元ディスプレイを更に含み、
    前記コントローラは、前記画像センサアレイを使用して取り込まれる前記標的物体の前記決定される三次元場所に基づいて、前記１つ又はそれよりも多くの自動立体視三次元ディスプレイに、前記物理的世界シーンの前記表示されるビデオ画像の上に数値距離をオーバーレイさせる、ように構成される、
    請求項１に記載のデバイス。

Images