JP2021530308A

JP2021530308A - 外科用装置の可視化

Info

Publication number: JP2021530308A
Application number: JP2021502579A
Authority: JP
Inventors: シャイブ・チャールズ・ジェイ; リッチー・ポール・ジー; ムーア・サラ・エイ; スウェイズ・ジェフリー・エス; タルバート・ジョシュア・ディー; ヤング・ジョシュア・ディー; モレノ・ビクトール・シー
Original assignee: Ethicon LLC
Current assignee: Ethicon LLC
Priority date: 2018-07-16
Filing date: 2019-08-30
Publication date: 2021-11-11
Also published as: EP3823512A1; EP3849392A2; US20200015898A1; WO2020016868A2; US20200015904A1; WO2020016872A1; US20200015903A1; WO2020016866A2; WO2020016865A2; US11419604B2; US20200015897A1; EP3823520A2; EP3823511A2; WO2020016871A2; US20200015668A1; GB202102158D0; US20200015902A1; GB2591349A; US20200015900A1; US20230074951A1

Abstract

外科用可視化システムが開示される。外科用可視化システムは、１つ以上の構造を識別し、かつ／又は、覆い隠している組織及び／若しくは識別された構造に対する１つ以上の距離を決定するように構成されている。外科用可視化システムは、外科用装置による識別された構造の回避を容易にすることができる。外科用可視化システムは、複数の組織透過光波を放射するように構成されている第１のエミッタと、組織の表面上に構造光を放射するように構成されている第２のエミッタと、を備えることができる。外科用可視化システムはまた、反射された可視光、組織透過光、及び／又は構造光を検出するように構成されている画像センサを備えることができる。外科用可視化システムは、１つ以上の隠れた識別された構造の位置に関する情報を１人以上の臨床医に伝達することができ、かつ／又は１つ以上の近接インジケータを提供することができる。

Description

（関連出願の相互参照）
本出願は、米国特許法第１１９条（ｅ）の下で、その全体が参照により本明細書に組み込まれる、「ＤＩＧＩＴＡＬＳＵＲＧＥＲＹＩＭＡＧＩＮＧ／ＶＩＳＵＡＬＩＺＡＴＩＯＮＳＹＳＴＥＭ」と題する２０１８年７月１６日出願の米国特許仮出願第６２／６９８，６２５号に対する優先権を主張する。

外科用システムは、例えばモニタなどの１つ以上のディスプレイ上で、臨床医による手術部位及び／又はその１つ以上の部分の観察を可能にできる撮像システムを組み込むことが多い。ディスプレイは、手術室に対してローカル及び／又はリモートであってもよい。撮像システムは、手術部位を観察しかつ臨床医によって見ることができるディスプレイに画像を送信するカメラ付きのスコープを含むことができる。スコープとしては、関節鏡スコープ、血管内視鏡、気管支鏡、胆道鏡、結腸鏡、サイトスコープ（cytoscope）、十二指腸内視鏡、腸鏡、食道十二指腸鏡（胃鏡）、内視鏡、喉頭鏡、鼻咽喉−腎盂、Ｓ状結腸鏡、胸腔鏡、尿管鏡、及び外視鏡が挙げられるが、これらに限定されない。撮像システムは、臨床医を認識し、かつ／又は臨床医に伝達できる情報によって制限され得る。例えば、三次元空間内の特定の隠れた構造体、物理的輪郭、及び／又は寸法は、特定の撮像システムでは手術中に認識不可能である場合がある。加えて、特定の撮像システムは、手術中に臨床医に特定の情報を通信し、かつ／又は伝達できない場合がある。

外科用可視化システムは、ディスプレイスクリーンと、構造光パターンを表面上に放射するように構成されている外科用装置と、表面の下に埋め込まれた構造を識別するように構成されている画像センサと、画像センサと信号通信する制御回路と、を備えることができ、制御回路は、表面上の構造光パターンを示す画像データを受信し、画像データに基づいて表面の三次元デジタル表示を生成し、構造及び外科用装置の画像を画像センサから取得し、構造及び外科用装置の画像をディスプレイスクリーン上の表面の三次元デジタル表示と重ね合わせ、かつ、外科用装置から構造までの距離を画像から決定するように構成されている。

外科用可視化システムは、プロセッサと、プロセッサに通信可能に連結されているメモリと、を備えることができ、メモリは、表面上の構造光パターンを示す画像データを受信し、画像データに基づいて表面の三次元デジタル表示を生成し、埋め込まれた構造及び外科用装置の画像を画像センサから取得し、埋め込まれた構造及び外科用装置の画像をディスプレイスクリーン上の表面の三次元デジタル表示と重ね合わせ、かつ、外科用装置から埋め込まれた構造を覆っている表面の一部分までの距離を決定するための、プロセッサによって実行可能な命令を記憶する。

非一時的コンピュータ可読媒体は、実行されると、機械に、表面上の構造光パターンを示す画像データを受信させ、画像データに基づいて表面の三次元デジタル表示を生成させ、埋め込まれた構造及び外科用装置の三次元画像を画像センサから取得させ、埋め込まれた構造及び外科用装置の画像をディスプレイスクリーン上の表面の三次元デジタル表示と重ね合わせさせ、かつ、外科用装置から埋め込まれた構造までの距離を三次元画像から決定させる、コンピュータ可読命令を記憶することができる。

外科用可視化システムは、ディスプレイと、三次元カメラを含む第１のロボットツールとを備えることができ、三次元カメラは画像センサを含む。外科用可視化システムは、表面を透過し、表面の下の構造に到達することが可能な複数の波長のスペクトル光を放射するように構成されているスペクトル光エミッタを含む、第２のロボットツールを更に備えることができ、画像センサは、反射された可視光及び複数の波長の反射されたスペクトル光を検出するように構成されている。また、外科用可視化システムは、画像センサ及びディスプレイと信号通信する制御回路を備えることができ、制御回路は、構造及び第２のロボットツールの三次元画像を画像センサから取得し、第２のロボットツールから構造までの距離を三次元画像から決定し、かつ、距離を示す信号をディスプレイに提供するように構成されている。

外科用可視化システムは、複数の組織透過波形を放射するように構成されているエミッタと、複数の組織透過波形を検出するように構成されている受信器と、ディスプレイを含む撮像システムと、受信器と信号通信する制御回路と、を備えることができる。制御回路は、外科用装置の隠れた部分の画像を表すデータを受信器から受信し、外科用装置の隠れた部分の画像をディスプレイに提供するように構成することができる。

外科用可視化システムは、複数の組織透過波形を放射するように構成されているエミッタと、複数の組織透過波形を検出するように構成されている画像センサと、を含む、ハイパースペクトルカメラを備えることができる。外科用可視化システムは、ハイパースペクトルカメラと信号通信する制御回路を更に備えることができ、制御回路は、画像センサによって検出された複数の組織透過波形から第１の重要構造の位置を表すデータを受信し、画像センサによって検出された複数の組織透過波形から第２の重要構造の位置を表すデータを受信し、かつ、第１の重要構造と第２の重要構造との間の距離を決定するように構成されている。

非一時的コンピュータ可読媒体は、実行されると、機械に、第１の隠れた構造の第１の画像を表すデータを画像センサから受信させ、第１の隠れた構造の第１の画像をディスプレイに提供させ、第２の隠れた構造の第２の画像を表すデータを画像センサから受信させ、第２の隠れた構造の第２の画像をディスプレイに提供させ、かつ、第１の隠れた構造と第２の隠れた構造との間の距離を決定させる、コンピュータ可読命令を記憶することができる。

外科用可視化システムは、解剖学的構造の表面上に構造光パターンを放射するように構成されている第１のプロジェクタと、解剖学的構造を透過し、ステープルラインに到達することが可能な複数の波長のスペクトル光を放射するように構成されている第２のプロジェクタと、画像センサと信号通信する制御回路と、を備えることができ、制御回路は、解剖学的構造の表面上の構造光パターンを示す構造光データを画像センサから受信し、解剖学的構造の三次元表示を構造光データから計算し、ステープルラインのスペクトル画像を示すスペクトル光データを画像センサから受信し、ステープルラインのスペクトル画像をスペクトル光データから生成し、ステープルラインに対する距離を決定するように構成されている。

外科用可視化システムは、プロセッサと、プロセッサに通信可能に連結されているメモリと、を備えることができ、メモリは、プロセッサによって実行されると、解剖学的構造の表面上の構造光パターンを示す構造光データを画像センサから受信し、解剖学的構造の三次元表示を構造光データから計算し、ステープルラインのスペクトル画像を示すスペクトル光データを画像センサから受信し、ステープルラインのスペクトル画像をスペクトル光データから生成し、かつ、ステープルラインに対する距離を決定する命令を記憶する。

非一時的コンピュータ可読媒体は、実行されると、機械に、解剖学的構造の表面上の構造光パターンを示す構造光データを画像センサから受信させ、解剖学的構造の三次元表示を構造光データから計算させ、ステープルラインのスペクトル画像を示すスペクトル光データを画像センサから受信させ、ステープルラインのスペクトル画像をスペクトル光データから生成させ、ステープルラインに対する距離を決定させる、コンピュータ可読命令を記憶することができる。

様々な態様の新規特徴は、添付の「特許請求の範囲」に具体的に記載される。しかしながら、記載される形態は、構成及び操作の方法のいずれに関しても、以下の記載を添付の図面と共に参照することにより最良に理解され得る。
本開示の少なくとも１つの態様による、撮像装置及び外科用装置を含む外科用可視化システムの概略図であり、外科用可視化システムは、組織表面下の重要構造を識別するように構成されている。本開示の少なくとも１つの態様による、外科用可視化システムの制御システムの概略図である。本開示の少なくとも１つの態様による、外科用可視化システムの態様を制御するように構成されている制御回路を示す。本開示の少なくとも１つの態様による、外科用可視化システムの態様を制御するように構成されている組み合わせ論理回路を示す。本開示の少なくとも１つの態様による、外科用可視化システムの態様を制御するように構成されている順序論理回路を示す。本開示の少なくとも１つの態様による、組織表面下の重要構造の深さｄ_ａを決定するための、図１の外科用装置、撮像装置、及び重要構造間の三角測量を示す概略図である。本開示の少なくとも１つの態様による、組織表面下の重要構造を識別するように構成されている外科用可視化システムの概略図であり、外科用可視化システムは、組織表面下の重要構造の深さｄ_ａを決定するためのパルス光源を含む。本開示の少なくとも１つの態様による、撮像装置及び外科用装置を含む外科用可視化システムの概略図であり、外科用可視化システムは、組織表面下の重要構造を識別するように構成されている。本開示の少なくとも１つの態様による、三次元カメラを含む外科用可視化システムの概略図であり、外科用可視化システムは、組織内に埋め込まれた重要構造を識別するように構成されている。本開示の少なくとも１つの態様による、図６の三次元カメラで撮影された重要構造の画像であり、図７Ａは、三次元カメラの左側レンズからの画像であり、図７Ｂは、三次元カメラの右側レンズからの画像である。本開示の少なくとも１つの態様による、図６の三次元カメラで撮影された重要構造の画像であり、図７Ａは、三次元カメラの左側レンズからの画像であり、図７Ｂは、三次元カメラの右側レンズからの画像である。本開示の少なくとも１つの態様による、三次元カメラから重要構造までのカメラ−重要構造間距離ｄ_ｗを決定することができる、図６の外科用可視化システムの概略図である。本開示の少なくとも１つの態様による、埋め込まれた重要構造の位置を決定するために２つのカメラを利用する外科用可視化システムの概略図である。本開示の少なくとも１つの態様による、埋め込まれた重要構造の位置を決定するために、複数の既知の位置間を軸方向に移動するカメラを利用する外科用可視化システムの概略図である。本開示の少なくとも１つの態様による、埋め込まれた重要構造の位置を決定するために、カメラが複数の既知の位置間を軸方向かつ回転方向に移動する、図１０Ａの外科用可視化システムの概略図である。本開示の少なくとも１つの態様による、外科用可視化システムの制御システムの概略図である。本開示の少なくとも１つの態様による、外科用可視化システムの構造光源の概略図である。本開示の少なくとも１つの態様による、地上の特徴又は物体を撮像するための外科用可視化システムの概略図である。本開示の少なくとも１つの態様による、様々な地上の特徴又は物体に関する、ハイパースペクトルシグネチャのグラフ表示である。本開示の少なくとも１つの態様による、目玉焼きを撮像するためのハイパースペクトル可視化システムの例を示し、図１５Ａは目玉焼きの写真であり、図１５Ｂは、目玉焼きの卵黄部分及び卵白部分のハイパースペクトルシグネチャのグラフ表示であり、図１５Ｃは、目玉焼きのハイパースペクトル画像（白黒）であり、ハイパースペクトルシグネチャデータに基づいて、拡張画像により卵黄部分と卵白部分が区別されている。本開示の少なくとも１つの態様による、目玉焼きを撮像するためのハイパースペクトル可視化システムの例を示し、図１５Ａは目玉焼きの写真であり、図１５Ｂは、目玉焼きの卵黄部分及び卵白部分のハイパースペクトルシグネチャのグラフ表示であり、図１５Ｃは、目玉焼きのハイパースペクトル画像（白黒）であり、ハイパースペクトルシグネチャデータに基づいて、拡張画像により卵黄部分と卵白部分が区別されている。本開示の少なくとも１つの態様による、目玉焼きを撮像するためのハイパースペクトル可視化システムの例を示し、図１５Ａは目玉焼きの写真であり、図１５Ｂは、目玉焼きの卵黄部分及び卵白部分のハイパースペクトルシグネチャのグラフ表示であり、図１５Ｃは、目玉焼きのハイパースペクトル画像（白黒）であり、ハイパースペクトルシグネチャデータに基づいて、拡張画像により卵黄部分と卵白部分が区別されている。本開示の少なくとも１つの態様による、解剖学的構造を覆い隠すものから区別するための例示的なハイパースペクトル識別シグネチャを示し、図１６は、尿管シグネチャ対覆い隠すもののグラフ表示であり、図１７は、動脈シグネチャ対覆い隠すもののグラフ表示であり、図１８は、神経シグネチャ対覆い隠すもののグラフ表示である。本開示の少なくとも１つの態様による、解剖学的構造を覆い隠すものから区別するための例示的なハイパースペクトル識別シグネチャを示し、図１６は、尿管シグネチャ対覆い隠すもののグラフ表示であり、図１７は、動脈シグネチャ対覆い隠すもののグラフ表示であり、図１８は、神経シグネチャ対覆い隠すもののグラフ表示である。本開示の少なくとも１つの態様による、解剖学的構造を覆い隠すものから区別するための例示的なハイパースペクトル識別シグネチャを示し、図１６は、尿管シグネチャ対覆い隠すもののグラフ表示であり、図１７は、動脈シグネチャ対覆い隠すもののグラフ表示であり、図１８は、神経シグネチャ対覆い隠すもののグラフ表示である。本開示の少なくとも１つの態様による、重要な解剖学的構造までの距離を感知するように構成されている近赤外（ＮＩＲ）飛行時間測定システムの概略図であり、飛行時間測定システムは、共通の装置上に配置された送信器（エミッタ）と、受信器（センサ）とを含む。本開示の少なくとも１つの態様による、図１９のＮＩＲ飛行時間測定システムの放射波、受信波、及び放射波と受信波との間の遅延の概略図である。本開示の１つの態様による、重要構造までの距離を感知するように構成されているＮＩＲ飛行時間測定システムを示し、飛行時間測定システムは、別の装置上の送信器（エミッタ）と、受信器（センサ）とを含む。本開示の少なくとも１つの態様による、三次元カメラ及びエミッタを有する外科用装置を備える外科用可視化システムの概略図であり、外科用可視化システムは、外科用装置から組織表面下の重要構造までの距離を決定するように構成されている。本開示の少なくとも１つの態様による、ディスプレイスクリーン上に三次元画像を生成するために組み合わされた、図２２の三次元カメラの二次元左側レンズ及び二次元右側レンズを用いて得られた手術部位の図を示し、ディスプレイスクリーンは、重要構造の画像上に拡張されたカラーコードを用いて、図２２の外科用装置から重要構造までの距離を更に示す。本開示の少なくとも１つの態様による、図２２の三次元カメラによって得られた三次元画像を描き、重要構造の画像上に拡張されたクロスハッチングを用いて、図２２の外科用装置から重要構造までの距離を示している、図２３のディスプレイスクリーンの概略図である。本開示の少なくとも１つの態様による、三次元カメラ及び３つの外科用装置を備える外科用可視化システムの概略図であり、外科用可視化システムは、各外科用装置から組織表面下の重要構造までの距離を決定するように構成されている。本開示の少なくとも１つの態様による、図２５の三次元カメラから得られた三次元画像を描き、近接度スペクトルインジケータを用いて、図２５の外科用装置から重要構造までの距離を示している、スクリーンの概略図である。本開示の少なくとも１つの態様による、カメラ及びエミッタを有する外科用装置を備える外科用可視化システムの概略図であり、外科用可視化システムは、外科用装置の遠位端から組織表面までの装置−表面間距離、外科用装置の遠位端から組織表面の下の血管までの装置−血管間距離、及び表面−血管間距離（組織表面の下の重要構造の深さ）を決定するように構成されている。本開示の少なくとも１つの態様による、図２７の外科用可視化システムの装置−表面間距離、装置−血管間距離、又は表面−血管間距離に対応する表示設定を選択するためのダイヤルの概略図である。本開示の少なくとも１つの態様による、表面−血管間距離が選択された第１の位置にある図２８のダイヤルを表示している、図２７の外科用可視化システムのスクリーンの概略図であり、スクリーンは、表面−血管間距離に関する第１のデータの集計を含む画面を表示している。本開示の少なくとも１つの態様による、装置−表面間距離が選択された第２の位置にある図２８のダイヤルを表示している、図２９のスクリーンの概略図であり、ディスプレイは、装置−表面間距離に関する第２のデータの集計を含む画面を表示している。本開示の少なくとも１つの態様による、装置−血管間距離が選択された第３の位置にある図２８のダイヤルを表示している、図２９のスクリーンの概略図であり、スクリーンは、装置−血管間距離に関する第３のデータの集計を含む画面を表示している。本開示の少なくとも１つの態様による、隠れた解剖学的構造及び外科用装置を識別するように構成されているスペクトル撮像カメラを備える、外科用可視化システムの概略図である。本開示の少なくとも１つの態様による、図３２の外科用可視化システムのスクリーンの概略図であり、スクリーンは、隠れた解剖学的構造及び隠れた外科用装置を含む手術部位の拡張画像を表示しており、スクリーンは、解剖学的構造に対する隠れた外科用装置の近接度を伝達する近接スペクトルインジケータを更に示す。本開示の少なくとも１つの態様による、埋め込まれた腫瘍に対して第１の位置にある生検針を識別するように構成されているスペクトル撮像カメラを備える、外科用可視化システムの概略図である。本開示の少なくとも１つの態様による、図３４の外科用可視化システムのスクリーンの概略図であり、スクリーンは、腫瘍及び第１の位置にある生検針を含む手術部位の拡張画像を表示しており、スクリーンは、腫瘍及び第１の位置にある覆い隠している組織の表面に対する生検針の近接度を伝達する近接スペクトルインジケータを更に示す。本開示の少なくとも１つの態様による、埋め込まれた腫瘍に対して第２の位置にある生検針を描写している、図３４の外科用可視化システムの概略図である。本開示の少なくとも１つの態様による、腫瘍及び第２の位置にある生検針を含む手術部位の拡張画像を表示している図３５のスクリーンの概略図であり、スクリーンは、腫瘍及び第２の位置にある覆い隠している組織の表面に対する生検針の近接度を伝達する近接スペクトルインジケータを更に示す。本開示の少なくとも１つの態様による、甲状腺中の腫瘍を識別するために超音波装置が使用されている、生検処置の概略図である。本開示の少なくとも１つの態様による、結腸の低位前方切除術（ＬＡＲ）中の吻合工程の一例を示し、図３９では、円形ステープラ及びアンビルが分離して示され、図４０では、円形ステープラ及びアンビルが発射のために一緒に連結されて示され、図４１では、発射後に一緒にステープル留めされた結腸の部分が示されている。本開示の少なくとも１つの態様による、結腸の低位前方切除術（ＬＡＲ）中の吻合工程の一例を示し、図３９では、円形ステープラ及びアンビルが分離して示され、図４０では、円形ステープラ及びアンビルが発射のために一緒に連結されて示され、図４１では、発射後に一緒にステープル留めされた結腸の部分が示されている。本開示の少なくとも１つの態様による、結腸の低位前方切除術（ＬＡＲ）中の吻合工程の一例を示し、図３９では、円形ステープラ及びアンビルが分離して示され、図４０では、円形ステープラ及びアンビルが発射のために一緒に連結されて示され、図４１では、発射後に一緒にステープル留めされた結腸の部分が示されている。本開示の少なくとも１つの態様による、隠れた外科用装置及びステープルラインを識別するように構成されているスペクトル撮像カメラを備える、外科用可視化システムの概略図である。本開示の少なくとも１つの態様による、図４２の外科用可視化システムのスクリーンの概略図であり、スクリーンは、隠れたステープルライン及び外科用装置を含む手術部位の拡張画像を表示しており、スクリーンは、ステープルラインに対する外科用装置の近接度を伝達する近接スペクトルインジケータを更に示す。本開示の少なくとも１つの態様による、図４２の外科用可視化システムの概略図であり、スペクトル撮像カメラは、円形ステープラ及びアンビルを識別するように構成されている。本開示の少なくとも１つの態様による、図４３のスクリーンの概略図であり、スクリーンは、隠れたステープルライン、円形ステープラ、及びアンビルを含む手術部位の拡張画像を表示しており、スクリーンは、円形ステープラとアンビルとの間の距離、及びアンビルとステープルラインのうちの１つとの距離を更に示す。本開示の少なくとも１つの態様による、スリーブ状胃切除術中の内部に配置されたブジーを有する胃の概略図である。本開示の少なくとも１つの態様による、スリーブ状胃切除術中のステープル留め工程を示す。本開示の少なくとも１つの態様による、スペクトル撮像カメラを備える外科用可視化システムの概略図であり、スペクトル撮像カメラはスリーブ状胃切除術中の胃の一部分を観察しており、ブジーは胃によって隠されているが、例示目的のため、胃が、ブジーを露出するために部分的に切り取られている。本開示の少なくとも１つの態様による、図４８の外科用可視化システムのスクリーンの概略図であり、スクリーンは、胃及び内部のブジー、並びに外科用ステープラを含む手術部位の拡張画像を表示しており、スクリーンは、外科用ステープラとブジーとの間の距離を更に示す。本開示の少なくとも１つの態様による、スペクトル撮像カメラを含む外科用可視化システムの概略図であり、スペクトル撮像カメラは、外科用装置及び組織内に隠れたクリップを識別するように構成されている。本開示の少なくとも１つの態様による、図５０の外科用可視化システムのスクリーンの概略図であり、スクリーンは、外科用装置及びクリップを含む手術部位の拡張画像を表示しており、スクリーンは、外科用装置及びクリップの相対位置に基づく警告を更に提供する。本開示の少なくとも１つの態様による、クリップ及びメッシュが手術部位に設置されるヘルニア修復術中の工程を示す。

本願の出願人は、２０１８年９月１１日に出願された以下の米国特許出願をも所有しており、これらの各々の全内容は、参照により本明細書に組み込まれる。
・「ＳＵＲＧＩＣＡＬＶＩＳＵＡＬＩＺＡＴＩＯＮＰＬＡＴＦＯＲＭ」と題する米国特許出願第１６／１２８，１７９号、
・「ＳＵＲＧＩＣＡＬＶＩＳＵＡＬＩＺＡＴＩＯＮＣＯＮＴＲＯＬＳ」と題する米国特許出願第１６／１２８，１９１号、
・「ＣＯＮＴＲＯＬＬＩＮＧＡＮＥＭＩＴＴＥＲＡＳＳＥＭＢＬＹＰＵＬＳＥＳＥＱＵＥＮＣＥ」と題する米国特許出願第１６／１２８，１８０号、
・「ＳＩＮＧＵＬＡＲＥＭＲＳＯＵＲＣＥＷＩＴＨＤＵＡＬＯＵＴＰＵＴＥＭＩＴＴＥＲＡＳＳＥＭＢＬＹ」と題する米国特許出願第１６／１２８，１９８号、
・「ＣＯＭＢＩＮＡＴＩＯＮＥＭＩＴＴＥＲＡＮＤＣＡＭＥＲＡＡＳＳＥＭＢＬＹ」と題する米国特許出願第１６／１２８，２０７号、
・「ＳＵＲＧＩＣＡＬＶＩＳＵＡＬＩＺＡＴＩＯＮＷＩＴＨＰＲＯＸＩＭＩＴＹＴＲＡＣＫＩＮＧＦＥＡＴＵＲＥＳ」と題する米国特許出願第１６／１２８，１７６号、
・「ＳＵＲＧＩＣＡＬＶＩＳＵＡＬＩＺＡＴＩＯＮＯＦＭＵＬＴＩＰＬＥＴＡＲＧＥＴＳ」と題する米国特許出願第１６／１２８，１８７号、
・「ＶＩＳＵＡＬＩＺＡＴＩＯＮＯＦＳＵＲＧＩＣＡＬＤＥＶＩＣＥＳ」と題する米国特許出願第１６／１２８，１９２号、
・「ＯＰＥＲＡＴＩＶＥＣＯＭＭＵＮＩＣＡＴＩＯＮＯＦＬＩＧＨＴ」と題する米国特許出願第１６／１２８，１６３号、
・「ＲＯＢＯＴＩＣＬＩＧＨＴＰＲＯＪＥＣＴＩＯＮＴＯＯＬＳ」と題する米国特許出願第１６／１２８，１９７号、
・「ＳＵＲＧＩＣＡＬＶＩＳＵＡＬＩＺＡＴＩＯＮＦＥＥＤＢＡＣＫＳＹＳＴＥＭ」と題する米国特許出願第１６／１２８，１６４号、
・「ＳＵＲＧＩＣＡＬＶＩＳＵＡＬＩＺＡＴＩＯＮＡＮＤＭＯＮＩＴＯＲＩＮＧ」と題する米国特許出願第１６／１２８，１９３号、
・「ＩＮＴＥＧＲＡＴＩＯＮＯＦＩＭＡＧＩＮＧＤＡＴＡ」と題する米国特許出願第１６／１２８，１９５号、
・「ＲＯＢＯＴＩＣＡＬＬＹ−ＡＳＳＩＳＴＥＤＳＵＲＧＩＣＡＬＳＵＴＵＲＩＮＧＳＹＳＴＥＭＳ」と題する米国特許出願第１６／１２８，１７０号、
・「ＳＡＦＥＴＹＬＯＧＩＣＦＯＲＳＵＲＧＩＣＡＬＳＵＴＵＲＩＮＧＳＹＳＴＥＭＳ」と題する米国特許出願第１６／１２８，１８３号、
・「ＲＯＢＯＴＩＣＳＹＳＴＥＭＷＩＴＨＳＥＰＡＲＡＴＥＰＨＯＴＯＡＣＯＵＳＴＩＣＲＥＣＥＩＶＥＲ」と題する米国特許出願第１６／１２８，１７２号、及び
・「ＦＯＲＣＥＳＥＮＳＯＲＴＨＲＯＵＧＨＳＴＲＵＣＴＵＲＥＤＬＩＧＨＴＤＥＦＬＥＣＴＩＯＮと題する米国特許出願第１６／１２８，１８５号。

本願の出願人は、２０１５年７月７日出願の「ＳＵＲＧＩＣＡＬＳＴＡＰＬＩＮＧＩＮＳＴＲＵＭＥＮＴＳＷＩＴＨＲＯＴＡＴＡＢＬＥＳＴＡＰＬＥＤＥＰＬＯＹＭＥＮＴＡＲＲＡＮＧＥＭＥＮＴＳ」と題する米国特許第９，０７２，５３５号をも所有しており、その全体は参照により本明細書に組み込まれる。

本願の出願人は、２０１７年１２月２８日出願の「ＲＯＢＯＴＡＳＳＩＳＴＥＤＳＵＲＧＩＣＡＬＰＬＡＴＦＯＲＭ」と題する米国特許仮出願第６２／６１１，３３９号をも所有しており、その全体は参照により本明細書に組み込まれる。

本願の出願人は、２０１８年３月２９日に出願された以下の米国特許出願をも所有しており、これらの各々の全内容は、参照により本明細書に組み込まれる。
・「ＤＲＩＶＥＡＲＲＡＮＧＥＭＥＮＴＳＦＯＲＲＯＢＯＴ−ＡＳＳＩＳＴＥＤＳＵＲＧＩＣＡＬＰＬＡＴＦＯＲＭＳ」と題する米国特許出願第１５／９４０，６２７号、
・「ＡＵＴＯＭＡＴＩＣＴＯＯＬＡＤＪＵＳＴＭＥＮＴＳＦＯＲＲＯＢＯＴ−ＡＳＳＩＳＴＥＤＳＵＲＧＩＣＡＬＰＬＡＴＦＯＲＭＳ」と題する米国特許出願第１５／９４０，６７６号、
・「ＳＥＮＳＩＮＧＡＲＲＡＮＧＥＭＥＮＴＳＦＯＲＲＯＢＯＴ−ＡＳＳＩＳＴＥＤＳＵＲＧＩＣＡＬＰＬＡＴＦＯＲＭＳ」と題する米国特許出願第１５／９４０，７１１号、及び
・その全内容が参照により本明細書に組み込まれる、「ＣＨＡＲＡＣＴＥＲＩＺＡＴＩＯＮＯＦＴＩＳＳＵＥＩＲＲＥＧＵＬＡＲＩＴＩＥＳＴＨＲＯＵＧＨＴＨＥＵＳＥＯＦＭＯＮＯ−ＣＨＲＯＭＡＴＩＣＬＩＧＨＴＲＥＦＲＡＣＴＩＶＩＴＹ」と題する２０１８年３月２９日出願の米国特許出願第１５／９４０，７２２号。

外科用可視化プラットフォームの様々な態様を詳細に説明する前に、例示の実施例が、適用又は使用において、添付の図面及び明細書で例示される部品の構造及び配置の詳細に限定されないことに留意されたい。例示の実施例は、他の態様、変形形態、及び修正形態で実施されるか、又はそれらに組み込まれてもよく、様々な方法で実施又は実行されてもよい。更に、特に明記しない限り、本明細書で用いられる用語及び表現は、読者の便宜のために例示の実施例を説明する目的で選択されたものであり、それらを限定するためのものではない。更に、以下に記述される態様、態様の表現、及び／又は実施例のうち１つ以上を、以下に記述される他の態様、態様の表現、及び／又は実施例のうち任意の１つ以上と組み合わせることができるものと理解されたい。

本開示は、患者の解剖学的構造及び／又は外科的処置に関する追加情報を取得するために「デジタル手術」を活用する外科用可視化プラットフォームを対象とする。外科用可視化プラットフォームは、データ及び／又は情報を、有用な方法で１人以上の臨床医に伝達するように更に構成されている。例えば、本開示の様々な態様は、患者の解剖学的構造及び／又は外科手術の改善された可視化を提供する。

「デジタル手術」は、ロボットシステム、先進撮像、先進器具、人工知能、機械学習、性能追跡及びベンチマーキングのためのデータ分析、手術室（ＯＲ）の内外両方での接続性などを包含し得る。本明細書に記載される様々な外科用可視化プラットフォームはロボット外科用システムと組み合わせて使用することができるが、外科用可視化プラットフォームはロボット外科用システムと共に使用することに限定されない。特定の例では、ロボットなしで、並びに／又は、ロボット支援が制限されている、及び／又は任意である状態で、高度な外科的可視化を起こすことができる。同様に、ロボットなしで、並びに／又は、ロボット支援が制限されている、及び／又は任意である状態で、デジタル手術を起こすことができる。

特定の例では、外科用可視化プラットフォームを組み込む外科用システムは、重要構造を識別し、回避するためのスマート切開を可能にし得る。重要構造としては、解剖学的構造、例えば他の解剖学的構造の中でもとりわけ、尿管、上腸間膜動脈などの動脈、門脈などの静脈、横隔神経などの神経、及び／又は腫瘍が挙げられる。他の例では、重要構造は、解剖学的分野における異物構造、例えば、外科用装置、外科用締結具、クリップ、留め金、ブジー、バンド、及び／又はプレートなどであり得る。重要構造は、患者ごと及び／又は処置ごとに決定される場合がある。例示的な重要構造は、本明細書で更に説明される。スマート切開術は、切開のために改善された術中ガイダンスを提供することができ、及び／又は、例えば、重要な解剖学的検出及び回避技術によってよりスマートな決定を可能にすることができる。

外科用可視化プラットフォームを組み込んだ外科用システムはまた、改善されたワークフローによって最適な位置で更に確実な吻合を提供するスマート吻合術を可能にし得る。癌局在化法もまた、本明細書に記載される様々な外科用可視化プラットフォーム及び処置によって改善され得る。例えば、癌局在化法は、癌の位置、向き、及びそのマージンを特定し、追跡することができる。特定の例において、癌局在化法は、外科手術中に器具、患者、及び／又は患者の解剖学的構造の動きを補正し、臨床医を対象点に再誘導することができる。

本開示の特定の態様では、外科用可視化プラットフォームは、改善された組織特性評価及び／又はリンパ節診断及びマッピングを提供し得る。例えば、組織特性評価技術は、特に切開時、及び／又は組織内のステープル留め装置の配置時に、物理的触覚を必要とせずに組織の種類及び健康状態を特徴付けることができる。本明細書に記載される特定の組織特性評価技術は、電離放射線及び／又は造影剤を使用せずに利用することができる。リンパ節診断及びマッピングに関して、外科用可視化プラットフォームは、例えば、癌診断及びステージ診断に関与するリンパ系及び／又はリンパ節を手術前に位置付け、マッピングし、及び理想的には診断することができる。

これら及び他の関連する主題は、本明細書及び／又は前述の同時出願の米国特許出願において記載されており、それらの各全体が参照により本明細書に組み込まれる。

外科手術中、「裸眼」及び／又は撮像システムを介して臨床医が利用可能な情報は、不完全な手術部位の視界を提供する場合がある。例えば、器官内に埋め込まれた又は覆われた構造などの特定の構造は、視界から少なくとも部分的に隠され、つまり見えない場合がある。加えて、特定の寸法及び／又は相対距離は、既存のセンサシステムでの確認することが難しく、及び／又は「裸眼」では把握が難しい場合がある。更に、特定の構造は、手術前（例えば、外科手術前であるが術前の走査後）、及び／又は手術中に移動することがある。そのような例では、臨床医は、手術中に重要構造の位置を正確に決定することができない場合がある。

重要構造の位置が不確定である場合、及び／又は重要構造と外科用ツールとの間の近接度が不明である場合、臨床医の意思決定プロセスが阻害され得る。例えば、臨床医は、重要構造の不注意な切開を回避するために特定の領域を回避することができるが、回避した領域が、不必要に大きく、かつ／又は少なくとも部分的に間違った場所であるかもしれない。不確実性、及び／又は過度／過剰な用心に起因して、臨床医は特定の所望の領域に到達できない場合がある。例えば、重要構造がその特定領域にない場合、及び／又は、その特定の領域での臨床医の行為によって悪影響がない場合であっても、過剰な用心により、臨床医が、重要構造を避けようと努力して、腫瘍及び／又は他の望ましくない組織の一部を残してしまう場合がある。特定の例では、手術成績は知識及び／又は確実性が高まると共に向上される場合があり、これにより、外科医にとって、より正確で、特定の場合では特定の解剖学的領域に対してより控えめに／より積極的になることが可能になる。

様々な態様では、本開示は、重要構造の術中識別及び回避のための外科用可視化システムを提供する。一態様では、本開示は、強化された術中意思決定の製造及び改善された手術結果を可能にする、外科用可視化システムを提供する。様々な態様では、開示された外科用可視化システムは、臨床医が「裸眼」で見るもの、及び／又は撮像システムが認識し、及び／又は臨床医に伝達できるものを超えた、高度な可視化能を提供する。様々な外科用可視化システムは、臨床医が組織処理（例えば、切開）の前に知ることができることを補強かつ強化できることによって、様々な例における結果を改善することができる。

例えば、可視化システムは、複数のスペクトル波を放射するように構成されている第１の光エミッタと、光パターンを放射するように構成されている第２の光エミッタと、可視光、スペクトル波に対する分子応答（分光イメージング）、及び／又は光パターンを検出するように構成されている１つ以上の受信器、又はセンサと、を含むことができる。外科用可視化システムはまた、撮像システムと、受信器及び撮像システムとを信号通信する制御回路と、を含むことができる。受信器からの出力に基づいて、制御回路は、手術部位における可視表面の幾何学的表面マップ、すなわち三次元表面トポグラフィ、及び手術部位に対する１つ以上の距離を決定することができる。特定の例では、制御回路は、少なくとも部分的に隠れた構造までの１つ以上の距離を決定することができる。更に、撮像システムは、幾何学的表面マップ及び１つ以上の距離を臨床医に伝えることができる。そのような例において、臨床医に提供される手術部位の拡張図は、手術部位に関連する背景内で隠れた構造の図を提供することができる。例えば、撮像システムは、表面下のユーティリティ配管を示すために地上に描かれた線と同様に、隠している及び／又は妨害している組織の幾何学的表面マップ上に隠れた構造をバーチャルに拡張することができる。追加的に又は代替的に、撮像システムは、目に見えて妨害している組織まで、及び／若しくは少なくとも部分的に隠れた構造までの１つ以上の外科用ツールの近接度、並びに／又は、妨害している組織の目に見える表面下に隠れた構造の深さを伝達することができる。例えば、可視化システムは、可視組織の表面上の拡張線に対する距離を決定し、撮像システムにその距離を伝えることができる。

本開示の様々な態様では、重要構造の術中識別及び回避のための外科用可視化システムが開示される。このような外科用可視化システムは、外科手術中に臨床医に有益な情報を提供することができる。結果として、外科用可視化システムが、例えば切開中に接近し得る、例えば、尿管、特定の神経、及び／又は重要な血管などの重要構造を追跡していることを知りながら、臨床医は、外科手術を通して操作を確実に維持することができる。一態様では、外科用可視化システムは、臨床医が外科手技を一時停止し、及び／又は減速させ、重要構造に対する不注意による損傷を防止するためにその構造までの近接度を評価するのに十分な時間、臨床医に対して指示を提供することができる。外科用可視化システムは、理想的で、最適化された、及び／又はカスタマイズ可能な量の情報を臨床医に提供して、健康な組織及び／又は重要構造への不注意による損傷を回避しつつ、臨床医が組織全体を確実かつ／又は迅速に操作することを可能にし、それによって、外科的処置により生じる損傷のリスクを最小限に抑えることができる。

図１は、本開示の少なくとも１つの態様による、外科用可視化システム１００の概略図である。外科用可視化システム１００は、解剖学的分野内の重要構造１０１の視覚的表示を作り出すことができる。外科用可視化システム１００は、例えば、臨床分析及び／又は医学的介入に使用され得る。特定の例では、外科用可視化システム１００を手術中に使用し、外科手術中の近接データ、寸法、及び／又は距離に関するリアルタイム若しくはほぼリアルタイムの情報を臨床医に提供することができる。外科用可視化システム１００は、重要構造の術中識別のため、及び／又は外科用装置による重要構造１０１の回避を容易にするように構成されている。例えば、重要構造１０１を識別することによって、臨床医は、外科手術中に、重要構造１０１及び／又は重要構造１０１の所定の近位の領域の周囲で外科用装置を操作することを回避できる。臨床医は、例えば重要構造１０１として特定される、例えば静脈、動脈、神経、及び／若しくは血管、並びに／又はこれら付近の切開を回避することができる。様々な例において、重要構造１０１は、患者ごと及び／又は処置ごとに決定される場合がある。

外科用可視化システム１００は、距離センサシステム１０４と組み合わせた組織識別及び幾何学的表面マッピングを組み込む。組み合わせた外科用可視化システム１００の特徴により、解剖学的分野内の重要構造１０１の位置、並びに／又は、可視組織の表面１０５及び／若しくは重要構造１０１への外科用装置１０２の近接度を決定することができる。更に、外科用可視化システム１００は、例えば、手術部位のリアルタイム画像を提供するように構成されているカメラなどの撮像装置１２０を含む、撮像システムを含む。様々な例において、撮像装置１２０は、反射されたスペクトル波形を検出し、異なる波長に対する分子応答に基づいて画像のスペクトルキューブを生成するように構成されているスペクトルカメラ（例えば、ハイパースペクトルカメラ、マルチスペクトルカメラ、又は選択的スペクトルカメラ）である。撮像装置１２０からの画像を臨床医に提供することができ、本開示の様々な態様では、組織識別、状況マッピング、及び距離センサシステム１０４に基づいて追加情報を追加することができる。そのような例において、外科用可視化システム１００は、複数のサブシステム、つまり、撮像サブシステム、表面マッピングサブシステム、組織識別サブシステム、及び／又は距離決定サブシステムを含む。これらのサブシステムは協働して、高度なデータ合成及び統合された情報を手術中に臨床医に対して提供することができる。

撮像装置は、例えば、可視光、スペクトル光波（可視又は不可視）、及び構造光パターン（可視又は不可視）を検出するように構成されているカメラ又は撮像センサを含むことができる。本開示の様々な態様において、撮像システムは、例えば内視鏡などの撮像装置を含むことができる。追加的に又は代替的に、撮像システムは、例えば、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃鏡）、喉頭鏡、鼻咽喉−腎盂鏡（nasopharyngo-neproscope）、Ｓ状結腸鏡、胸腔鏡、尿管鏡、又は外視鏡などの撮像装置を含むことができる。開腹手術用途などの他の例では、撮像システムはスコープを含まなくてもよい。

本開示の様々な態様では、組織識別サブシステムは、スペクトル撮像システムで達成することができる。スペクトル撮像システムは、例えば、ハイパースペクトル撮像、マルチスペクトル撮像、又は選択的スペクトル撮像に依存することができる。組織のハイパースペクトル撮像は、参照によりその全体が本明細書に組み込まれる、２０１６年３月１日発行の「ＳＹＳＴＥＭＡＮＤＭＥＴＨＯＤＦＯＲＧＲＯＳＳＡＮＡＴＯＭＩＣＰＡＴＨＯＬＯＧＹＵＳＩＮＧＨＹＰＥＲＳＰＥＣＴＲＡＬＩＭＡＧＩＮＧ」と題する米国特許第９，２７４，０４７号に更に記載されている。

本開示の様々な態様では、表面マッピングサブシステムは、本明細書で更に説明されるように、光パターンシステムで達成することができる。表面マッピングのための光パターン（又は構造光）の使用が知られている。既知の表面マッピング技術を、本明細書に記載される外科用可視化システムにおいて利用することができる。

構造光は、表面上に既知のパターン（多くの場合、グリッド又は水平バー）を投影するプロセスである。２０１７年３月２日公開の「ＳＥＴＣＯＭＰＲＩＳＩＮＧＡＳＵＲＧＩＣＡＬＩＮＳＴＲＵＭＥＮＴ」と題する米国特許出願公開第２０１７／００５５８１９号、及び２０１７年９月７日公開の「ＤＥＰＩＣＴＩＯＮＳＹＳＴＥＭ」と題する米国特許出願公開第２０１７／０２５１９００号は、光源と光パターンを投影するためのプロジェクタとを備える外科用システムを開示している。２０１７年３月２日公開の「ＳＥＴＣＯＭＰＲＩＳＩＮＧＡＳＵＲＧＩＣＡＬＩＮＳＴＲＵＭＥＮＴ」と題する米国特許出願公開第２０１７／００５５８１９号、及び２０１７年９月７日公開の「ＤＥＰＩＣＴＩＯＮＳＹＳＴＥＭ」と題する米国特許出願公開第２０１７／０２５１９００号は、それらの各全体を参照することにより本明細書に組み込まれる。

本開示の様々な態様では、距離決定システムは、表面マッピングシステムに組み込むことができる。例えば、構造光を利用して、可視表面の三次元仮想モデルを生成し、可視表面に対する様々な距離を決定することができる。追加的に又は代替的に、距離決定システムは飛行時間測定に依存し、手術部位における識別された組織（又は他の構造）に対する１つ以上の距離を決定することができる。

図２は、外科用可視化システム１００と共に利用され得る制御システム１３３の概略図である。制御システム１３３は、メモリ１３４と信号通信する制御回路１３２を含む。メモリ１３４は、制御回路１３２によって実行可能な命令を記憶して、重要構造（例えば、図１の重要構造１０１）を決定及び／又は認識し、１つ以上の距離及び／又は３次元デジタル表示を決定及び／又は計算し、かつ、特定の情報を１人以上の臨床医に通信する。例えば、メモリ１３４は、表面マッピング論理１３６、撮像論理１３８、組織識別論理１４０、若しくは距離決定論理１４１、又は論理１３６、１３８、１４０、及び１４１の任意の組み合わせを記憶する。制御システム１３３はまた、１つ以上のカメラ１４４（図１の撮像装置１２０のようなもの）、１つ以上のディスプレイ１４６、又は１つ以上のコントロール１４８、又はこれらの要素の任意の組み合わせを有する撮像システム１４２を含む。カメラ１４４は、様々な可視及び不可視スペクトルで光を放射する様々な光源からの信号を受信するための１つ以上の画像センサ１３５（例えば、なかでも、可視光、スペクトル撮像装置、３次元レンズ）を含むことができる。ディスプレイ１４６は、１人以上の臨床医に対して、現実、仮想、及び／又は仮想的に拡張された画像及び／又は情報を描写するための１つ以上のスクリーン又はモニタを含むことができる。

様々な態様では、カメラ１４４の中心部は画像センサ１３５である。一般に、最新の画像センサ１３５は、ピクセルと呼ばれる別個の光検出部位を最大で数百万個含む固体電子デバイスである。画像センサ１３５技術は、電荷結合素子（ＣＣＤ）及び相捕型金属酸化膜半導体（ＣＭＯＳ）撮像装置の２つのカテゴリーの１つに分類され、より最近では、短波赤外線（ＳＷＩＲ）が撮像における新たな技術である。別の種類の画像センサ１３５は、ハイブリッドＣＣＤ／ＣＭＯＳアーキテクチャ（「ｓＣＯＭＳ」の名称で販売）を採用し、ＣＣＤ撮像基板にバンプ接合されたＣＭＯＳ読み出し集積回路（ＲＯＩＣ）からなる。ＣＣＤ及びＣＭＯＳ画像センサ１３５は、約３５０〜１０５０ｎｍの波長に対する感度を有するが、この範囲は通常４００〜１０００ｎｍである。ＣＭＯＳセンサは、一般に、ＣＣＤセンサよりもＩＲ波長に対して感度が高い。固体画像センサ１３５は、光電効果に基づいており、その結果、色を区別することができない。したがって、１チップ及び３チップの２種類のカラーＣＣＤカメラが存在する。１チップカラーＣＣＤカメラは、共通の低コストの画像化ソリューションを提供し、モザイク（例えば、ベイヤー）光学フィルタを使用して、入力光を一連の色に分離し、補間アルゴリズムを用いてフルカラー画像を解像する。次いで、各色は、異なる画素セットに誘導される。３チップカラーＣＣＤカメラは、プリズムを用いることによってより高い解像度を提供し、入射スペクトルの各セクションを異なるチップに誘導する。オブジェクトの空間内の各点が、色を決定するためのアルゴリズムを使用するのではなく、別個のＲＧＢ強度値を有するため、より正確な色再現が可能である。３チップカメラは、非常に高い解像度を提供する。

制御システム１３３はまた、スペクトル光源１５０と構造光源１５２とを含む。特定の例では、単一の光源は、スペクトル光源１５０の範囲内の光の波長及び構造光源１５２の範囲内の光の波長をパルス放射することができる。あるいは、単一の光源は、可視スペクトル内の光（例えば、赤外スペクトル光）及び可視スペクトル上の光の波長をパルス供給することができる。スペクトル光源１５０は、例えば、ハイパースペクトル光源、マルチスペクトル光源、及び／又は選択的スペクトル光源であってよい。様々な例において、組織識別論理１４０は、カメラ１４４の画像センサ１３５部分によって受信されたスペクトル光源１５０からのデータを介して、重要構造を識別することができる。表面マッピング論理１３６は、反射された構造光に基づいて可視組織の表面の輪郭を決定することができる。飛行時間測定により、距離決定論理１４１は、可視組織及び／又は重要構造１０１までの１つ以上の距離を決定することができる。表面マッピング論理１３６、組織識別論理１４０、及び距離決定論理１４１からの１つ以上の出力は、撮像論理１３８に提供され、撮像システム１４２のディスプレイ１４６を介して臨床医に伝達されるように組み合わされ、一体化され、及び／又は重ね合わせられてもよい。

ここで簡単に図２Ａ〜図２Ｃを説明し、外科用可視化システム１００の様々な態様を制御するための制御回路１３２の様々な態様を述べる。図２Ａを見ると、本開示の少なくとも１つの態様による、外科用可視化システム１００の態様を制御するように構成されている制御回路４００が示される。制御回路４００は、本明細書に説明される様々なプロセスを実施するように構成することができる。制御回路４００は、少なくとも１つのメモリ回路４０４に連結された１つ以上のプロセッサ４０２（例えば、マイクロプロセッサ、マイクロコントローラ）を備えるマイクロコントローラを備えることができる。メモリ回路４０４は、プロセッサ４０２によって実行されると、本明細書に記載される様々なプロセスを実施するための機械命令をプロセッサ４０２に実行させる、機械実行可能命令を記憶する。プロセッサ４０２は、当該技術分野で既知の多数のシングルコア又はマルチコアプロセッサのうちの任意の１つであってもよい。メモリ回路４０４は、揮発性及び不揮発性の記憶媒体を含むことができる。プロセッサ４０２は、命令処理ユニット４０６及び演算ユニット４０８を含んでもよい。命令処理ユニットは、本開示のメモリ回路４０４から命令を受信するように構成されてもよい。

図２Ｂは、本開示の少なくとも１つの態様による、外科用可視化システム１００の態様を制御するように構成されている組み合わせ論理回路４１０を示す。組み合わせ論理回路４１０は、本明細書に説明される様々なプロセスを実施するように構成することができる。組み合わせ論理回路４１０は、入力４１４で外科用器具又はツールと関連付けられたデータを受信し、組み合わせ論理４１２によってデータを処理し、出力４１６を提供するように構成されている組み合わせ論理４１２を含む有限状態マシンを含み得る。

図２Ｃは、本開示の少なくとも１つの態様による、外科用可視化システム１００の態様を制御するように構成されている順序論理回路４２０を示す。順序論理回路４２０又は組み合わせ論理４２２は、本明細書に記載される様々なプロセスを実施するように構成することができる。順序論理回路４２０は有限状態マシンを含んでもよい。順序論理回路４２０は、例えば、組み合わせ論理４２２、少なくとも１つのメモリ回路４２４、及びクロック４２９を含んでもよい。少なくとも１つのメモリ回路４２４は、有限状態マシンの現在の状態を記憶することができる。特定の例では、順序論理回路４２０は、同期式又は非同期式であってもよい。組み合わせ論理４２２は、入力４２６から外科用装置又はシステムと関連付けられたデータを受信し、組み合わせ論理４２２によってデータを処理し、出力４２８を提供するように構成される。他の態様では、回路は、プロセッサ（例えば、図２Ａのプロセッサ４０２）と、本明細書の様々なプロセスを実施する有限状態マシンと、の組み合わせを含んでもよい。他の態様では、有限状態マシンは、組み合わせ論理回路（例えば図２Ｂの組み合わせ論理回路４１０）と順序論理回路４２０との組み合わせを含むことができる。

図１の外科用可視化システム１００を再び参照すると、重要構造１０１は、目的とする解剖学的構造であり得る。例えば、重要構造１０１は、他の解剖学的構造の中でもとりわけ、尿管、上腸間膜動脈などの動脈、門脈などの静脈、横隔神経などの神経、及び／又は腫瘍であり得る。他の例では、重要構造１０１は、解剖学的分野における異物構造、例えば、外科用装置、外科用締結具、クリップ、留め金、ブジー、バンド、及び／又はプレートなどであり得る。例示的な重要構造は、本明細書及び／又は前述の同時出願の米国特許出願において更に記載されており、それらの各全体が参照により本明細書に組み込まれる。

一態様では、重要構造１０１は、組織１０３に埋め込まれ得る。換言すれば、重要構造１０１は、組織１０３の表面１０５の下に位置付けられ得る。そのような例では、組織１０３は臨床医の視界から重要構造１０１を隠している。重要構造１０１はまた、組織１０３によって撮像装置１２０の視界からも見えない。組織１０３は、例えば、脂肪、結合組織、癒着部、及び／又は器官であり得る。他の例では、重要構造１０１は、視野から部分的に隠され得る。

図１はまた、外科用装置１０２も示す。外科用装置１０２は、外科用装置１０２のシャフトの遠位端から延在する対向するジョーを有するエンドエフェクタを含む。外科用装置１０２は、例えば、切開器具、ステープラ、把持器具、クリップアプライヤ、並びに／又は、単極プローブ、双極プローブ、アブレーションプローブ、及び／若しくは超音波エンドエフェクタを含むエネルギー装置などの任意の好適な外科用装置であり得る。追加的に又は代替的に、外科用装置１０２は、例えば超音波装置などの別の撮像又は診断様式を含むことができる。本開示の一態様では、外科用可視化システム１００は、１つ以上の重要構造１０１の識別、及び外科用装置１０２の重要構造１０１への近接を達成するように構成され得る。

外科用可視化システム１００の撮像装置１２０は、例えば可視光、スペクトル光波（可視又は不可視）、及び構造光パターン（可視又は不可視）などの様々な波長の光を検出するように構成されている。撮像装置１２０は、異なる信号を検出するための複数のレンズ、センサ、及び／又は受信器を含んでもよい。例えば、撮像装置１２０は、本明細書で更に説明するように、ハイパースペクトル、マルチスペクトル、又は選択的スペクトルカメラであり得る。撮像装置１２０はまた、波形センサ１２２（例えば、スペクトル画像センサ、検出器、及び／又は三次元カメラレンズ）も含むことができる。例えば、撮像装置１２０は、２つの二次元画像を同時に記録することによって、手術部位の３次元画像を生成し、手術部位の３次元画像をレンダリングし、及び／又は手術部位で１つ以上の距離を決定するための、共に使用される右側レンズ及び左側レンズを含むことができる。追加的に又は代替的に、撮像装置１２０は、本明細書に更に記載されるように、可視組織のトポグラフィ、並びに隠された重要構造の識別及び位置を示す画像を受信するように構成され得る。例えば、図１に示すように、撮像装置１２０の視野を、組織の表面１０５上の光のパターン（構造光）と重ねることができる。

一態様では、外科用可視化システム１００はロボットシステム１１０に組み込まれてもよい。例えば、ロボットシステム１１０は、第１のロボットアーム１１２と第２のロボットアーム１１４とを含んでもよい。ロボットアーム１１２、１１４は、サーボモータ制御を含むことができる剛性構造部材１１６及び継手１１８を含む。第１のロボットアーム１１２は、外科用装置１０２を操作するように構成され、第２のロボットアーム１１４は、撮像装置１２０を操作するように構成されている。ロボット制御ユニットは、例えば、外科用装置１０２及び撮像装置１２０に作用し得るロボットアーム１１２、１１４への制御運動を発するように構成され得る。

外科用可視化システム１００はまた、表面１０５のトポグラフィ又は状況の決定を可能にするために、縞、グリッド線、及び／又はドットなどの光のパターンを放射するように構成されているエミッタ１０６を含む。例えば、投影された光アレイ１３０は、表面１０５上の三次元走査及び位置合わせのために使用することができる。投影された光アレイ１３０は、例えば、外科用装置１０２、及び／又はロボットアーム１１２、１１４のうちの１つ、及び／又は撮像装置１２０上に位置するエミッタ１０６から放射され得る。一態様では、投影された光アレイ１３０を使用し、組織１０３の表面１０５及び／又は表面１０５の動きにより手術中に画定される形状を決定する。撮像装置１２０は、表面１０５から反射された投影された光アレイ１３０を検出して、表面１０５のトポグラフィ及び表面１０５までの様々な距離を決定するように構成されている。

一態様では、撮像装置１２０はまた、組織１０３の表面１０５を貫通して重要構造１０１に到達することができる電磁放射線１２４（ＮＩＲ光子）を放射するように構成されている、光学波形エミッタ１２３を含んでもよい。撮像装置１２０及びその上の光学波形エミッタ１２３は、ロボットアーム１１４によって位置決め可能であり得る。撮像装置１２０上の対応する波形センサ１２２（例えば、画像センサ、分光計、又は振動センサ）は、波形センサ１２２によって受信された電磁放射線の影響を検出するように構成されている。光学波形エミッタ１２３によって放射される電磁放射線１２４の波長は、重要構造１０１などの解剖学的構造及び／又は物理的構造の種類の識別を可能にするように構成することができる。重要構造１０１の識別は、例えば、スペクトル分析、光音響、及び／又は超音波によって達成することができる。一態様では、電磁放射線１２４の波長は可変であってもよい。波形センサ１２２及び光学波形エミッタ１２３は、例えば、マルチスペクトル撮像システム及び／又は選択的スペクトル撮像システムを含むことができる。他の例では、波形センサ１２２及び光波形エミッタ１２３は、例えば光音響撮像システムを含むことができる。他の例では、光波形エミッタ１２３は、撮像装置１２０から別個の外科用装置上に配置され得る。

外科用可視化システム１００はまた、手術部位において１つ以上の距離を決定するように構成されている距離センサシステム１０４を含んでもよい。一態様では、飛行時間距離センサシステム１０４は、エミッタ１０６などのエミッタと受信器１０８とを含む飛行時間距離センサシステムであってもよく、外科用装置１０２上に配置され得る。他の例では、飛行時間エミッタは構造光エミッタとは別個であり得る。１つの一般的な態様では、飛行時間距離センサシステム１０４のエミッタ１０６部分は、非常に小さいレーザ源を含んでもよく、飛行時間距離センサシステム１０４の受信器１０８部分は、整合センサを含んでもよい。飛行時間距離センサシステム１０４は、「飛行時間」、つまり、エミッタ１０６によって放射されたレーザ光が受信器１０８のセンサ部分に跳ね返るまでにかかる時間を検出することができる。エミッタ１０６中で非常に狭い光源を使用することで、距離センサシステム１０４が、距離センサシステム１０４のすぐ前の組織１０３の表面１０５までの距離を決定することを可能にする。更に図１を参照すると、ｄ_ｅは、エミッタ１０６から組織１０３の表面１０５までのエミッタ−組織間距離であり、ｄ_ｔは、外科用装置１０２の遠位端から組織の表面１０５までの装置−組織間距離である。距離センサシステム１０４を使用して、エミッタ−組織間距離ｄ_ｅを決定することができる。装置−組織間距離ｄ_ｔは、外科用装置１０２の遠位端に対する、外科用装置１０２のシャフト上のエミッタ１０６の既知の位置から得ることができる。換言すれば、エミッタ１０６と外科用装置１０２の遠位端との間の距離が既知である場合、装置−組織間距離ｄ_ｔは、エミッタ−組織間距離ｄ_ｅから決定することができる。特定の例において、外科用装置１０２のシャフトは、１つ以上の関節継手を含むことができ、エミッタ１０６及びジョーに対して関節運動可能であり得る。関節運動構成は、例えば、多関節椎骨様構造を含むことができる。特定の例では、３次元カメラを利用して、表面１０５までの１つ以上の距離を三角測量することができる。

様々な例において、飛行時間距離センサシステム１０４のための受信器１０８は、外科用装置１０２の代わりに、別の外科用装置上に装着され得る。例えば、受信器１０８は、外科用装置１０２が通って手術部位に到達するように延在するカニューレ又はトロカール上に取り付けることができる。更に他の例では、飛行時間距離センサシステム１０４のための受信器１０８は、別のロボット制御アーム（例えばロボットアーム１１４）上、別のロボットによって操作される可動アーム上、及び／又は手術室（ＯＲ）のテーブル若しくは固定具に取り付けることができる。特定の例において、撮像装置１２０は、外科用装置１０２上のエミッタ１０６と撮像装置１２０との間の線を使用してエミッタ１０６から組織１０３の表面１０５までの距離を決定する、飛行時間受信器１０８を含む。例えば、距離ｄ_ｅを、飛行時間距離センサシステム１０４のエミッタ１０６（外科用装置１０２上）及び受信器１０８（撮像装置１２０上）の既知の位置に基づいて三角測量することができる。受信器１０８の三次元位置は、手術中のロボット座標平面に対して既知であり、かつ／又は位置合わせされ得る。

特定の例では、飛行時間距離センサシステム１０４のエミッタ１０６の位置は、第１のロボットアーム１１２によって制御することができ、飛行時間距離センサシステム１０４の受信器１０８の位置は、第２のロボットアーム１１４によって制御することができる。他の例では、外科用可視化システム１００は、ロボットシステムとは別に利用され得る。このような場合、距離センサシステム１０４は、ロボットシステムとは独立していてもよい。

特定の例では、ロボットアーム１１２、１１４のうちの１つ以上は、外科手術で使用される主ロボットシステムとは別個であってもよい。ロボットアーム１１２、１１４のうちの少なくとも１つは、サーボモータ制御なしに特定の座標系に位置決めかつ位置合わせされ得る。例えば、ロボットアーム１１０のための閉ループ制御システム及び／又は複数のセンサは、特定の座標系に対するロボットアーム１１２、１１４の位置を制御及び／又は位置合わせすることができる。同様に、外科用装置１０２及び撮像装置１２０の位置は、特定の座標系に対して位置合わせされ得る。

更に図１を参照すると、ｄ_ｗは、撮像装置１２０上に位置する光学波形エミッタ１２３から重要構造１０１の表面までのカメラ−重要構造間距離であり、ｄ_Ａは、組織１０３の表面１０５の下の重要構造１０１の深さ（すなわち、外科用装置１０２に最も近い表面１０５の部分と重要構造１０１との間の距離）である。様々な態様では、撮像装置１２０上に位置する光波形エミッタ１２３から放射される光波形の飛行時間は、カメラ−重要構造間距離ｄ_ｗを決定するように構成され得る。飛行時間センサと組み合わせたスペクトル撮像の使用について、本明細書で更に説明する。更に、ここで図３を参照すると、本開示の様々な態様において、組織１０３の表面１０５に対する重要構造１０１の深さｄ_Ａは、距離ｄ_ｗ、並びに外科用装置１０２上のエミッタ１０６及び撮像装置１２０上の光学波形エミッタ１２３の既知の位置（及び、したがって、これらの間の距離ｄ_ｘ）から三角測量によって決定され、距離ｄ_ｅ及びｄ_Ａの合計である距離ｄ_ｙを決定することができる。

追加的に又は代替的に、光波形エミッタ１２３からの飛行時間は、光波形エミッタ１２３から組織１０３の表面１０５までの距離を決定するように構成することができる。例えば、第１の波形（又は波形の範囲）を利用して、カメラ−重要構造間距離ｄ_ｗを決定でき、第２の波形（又は波形の範囲）を利用して、組織１０３の表面１０５までの距離を決定できる。そのような例において、異なる波形を利用して、組織１０３の表面１０５の下の重要構造１０１の深さを決定することができる。

追加的に又は代替的に、特定の例では、距離ｄ_Ａは、超音波、登録磁気共鳴画像（ＭＲＩ）又はコンピュータ断層撮影（ＣＴ）スキャンから決定することができる。更に他の例では、距離ｄ_Ａは、撮像装置によって受信された検出信号が材料の種類に基づいて変化し得るため、スペクトル撮像によって決定することができる。例えば、脂肪は、検出信号を第１の方法又は第１の量で減少させることができ、コラーゲンは、検出信号を異なる第２の方法又は第２の量で減少させることができる。

ここで図４の外科用可視化システム１６０を参照すると、外科用装置１６２は、光学波形エミッタ１２３と、反射された波形を検出するように構成されている波形センサ１２２とを含む。光波形エミッタ１２３は、本明細書に更に記載されるように、外科用装置１６２などの共通の装置から距離ｄ_ｔ及びｄ_ｗを決定するための波形を放射するように構成することができる。そのような例において、組織１０３の表面１０５から重要構造１０１の表面までの距離ｄ_Ａは、以下のように決定され得る。
ｄ_Ａ＝ｄ_ｗ−ｄ_ｔ。

本明細書に開示されるように、可視組織、埋め込まれた重要構造、及び外科用装置に関する様々な情報は、スペクトル波長及び構造光アレイを検出するように構成されている画像センサと組み合わせて、１つ以上の飛行時間距離センサ、スペクトル撮像、及び／又は構造光アレイを組み込む組み合わせ法を利用することによって決定することができる。更に、画像センサは、可視光を受信することによって、手術部位の画像を撮像システムに提供するように構成することができる。論理又はアルゴリズムは、飛行時間センサ、スペクトル波長、構造光、及び可視光から受信した情報を識別し、表面組織及び下層の解剖学的構造の三次元画像をレンダリングするために使用される。様々な例において、撮像装置１２０は、複数の画像センサを含むことができる。

カメラ−重要構造間距離ｄ_ｗはまた、１つ以上の代替方法で検出することができる。一態様では、例えば蛍光インドシアニングリーン（indosciedine green）（ＩＣＧ）などの蛍光透視可視化技術を使用して、図６〜図８に示されるような重要構造２０１を照らすことができる。カメラ２２０は、重要構造２０１の左側画像及び右側画像を同時に撮影する２つの光学波形センサ２２２、２２４を含むことができる（図７Ａ及び７Ｂ）。そのような例では、カメラ２２０は、組織２０３の表面２０５の下の重要構造２０１の光を描写することができ、距離ｄ_ｗは、センサ２２２と２２４との間の既知の距離によって決定することができる。特定の例では、距離は、２つ以上のカメラを利用することによって、又は複数の位置間でカメラを移動させることによって、より正確に決定することができる。特定の態様では、１つのカメラは第１のロボットアームによって、第２のカメラは別のロボットアームによって制御され得る。このようなロボットシステムでは、１つのカメラは、例えば従動アーム上の従動カメラであり得る。従動アーム及びその上のカメラは、例えば、他のカメラを追跡し、特定の距離及び／又はレンズ角度を維持するようにプログラムすることができる。

更に他の態様では、外科用可視化システム１００は、２つの別個の波形受信器（すなわち、カメラ／画像センサ）を用いてｄ_ｗを決定してもよい。ここで図９を参照すると、重要構造３０１又はその内容物（例えば、血管又は血管の内容物）が蛍光透視法などによって信号３０２を発しし得る場合、実際の位置は、既知の位置で２つの別個のカメラ３２０ａ、３２０ｂから三角測量することができる。

ここで図１０Ａ及び図１０Ｂを参照すると、別の態様では、外科用可視化システムは、ディザリング又は移動カメラ４４０を用いて、距離ｄ_ｗを決定してもよい。カメラ４４０は、カメラ４４０の異なる位置における３次元座標が既知であるように、ロボット制御される。様々な例において、カメラ４４０は、カニューレ又は患者インターフェースで枢動することができる。例えば、重要構造４０１又はその内容物（例えば、血管又は容器の内容物）が、例えば蛍光透視法などによって信号を発し得る場合、実際の位置は、２つ以上の既知の位置間で急速に移動するカメラ４４０から三角測量することができる。図１０Ａでは、カメラ４４０は、軸Ａに沿って軸方向に移動する。具体的には、カメラ４４０は、ロボットアーム上で行き来することなどによって、位置４４０’として示される位置まで、軸Ａに沿って重要構造４０１に近付く距離ｄ_１を並進移動する。カメラ４４０が距離ｄ_１を移動し、重要構造４０１に対する画像のサイズが変化すると、重要構造４０１までの距離を計算することができる。例えば、４．２８ｍｍの軸方向並進（距離ｄ_１）は、６．２８度の角度θ_１及び８．１９度の角度θ_２に対応し得る。追加的に又は代替的に、カメラ４４０は、異なる位置の間の弧に沿って回転又は掃引することができる。ここで図１０Ｂを参照すると、カメラ４４０は軸Ａに沿って軸方向に移動し、軸Ａを中心に角度θ_３回転する。カメラ４４０の回転の枢動点４４２は、カニューレ／患者インターフェースに位置付けられる。図１０Ｂでは、カメラ４４０は並進し、位置４４０’’まで回転する。カメラ４４０が移動し、重要構造４０１に対する画像の縁部が変化すると、重要構造４０１までの距離を計算することができる。図１０Ｂにおいて、距離ｄ_２は、例えば９．０１ｍｍであってもよく、角度θ_３は、例えば０．９度であってもよい。

図５は、多くの点で外科用可視化システム１００と類似している、外科用可視化システム５００を示す。様々な例において、外科用可視化システム５００は、外科用可視化システム１００の更なる例示であり得る。外科用可視化システム１００と同様に、外科用可視化システム５００は、外科用装置５０２と撮像装置５２０とを含む。撮像装置５２０は、例えば、隠れた構造のスペクトル画像を取得するために複数の波長のスペクトル光を放射するように構成されている、スペクトル光エミッタ５２３を含む。撮像装置５２０はまた、様々な例において、三次元カメラと関連する電子処理回路とを含むことができる。外科用可視化システム５００は、表面からは見えない器官５０３（この例では子宮）内の尿管５０１ａ及び血管５０１ｂなどの特定の重要構造を識別し、それらの回避を促進するために手術中に利用されているところが示されている。

外科用可視化システム５００は、構造光を介して、外科用装置５０２上のエミッタ５０６から子宮５０３の表面５０５までのエミッタ−組織間距離ｄ_Ｅを決定するように構成されている。外科用可視化システム５００は、エミッタ−組織間距離ｄ_ｅに基づいて、外科用装置５０２から子宮５０３の表面５０５まで装置−組織間距離ｄ_ｔを外挿するように構成されている。また、外科用可視化システム５００は、尿管５０１ａから表面５０５までの組織−尿管間距離ｄ_Ａ、及び撮像装置５２０から尿管５０１ａまでのカメラ−尿管間距離ｄ_ｗを決定するように構成されている。図１に関して本明細書で説明するように、例えば、外科用可視化システム５００は、例えば、スペクトル撮像及び飛行時間センサによって距離ｄ_ｗを決定することができる。様々な例において、外科用可視化システム５００は、本明細書に記載される他の距離及び／又は表面マッピング論理に基づいて、組織−尿管間距離ｄ_Ａ（つまり深さ）を決定（例えば、三角測量）することができる。

ここで図１１を参照すると、例えば、外科用可視化システム１００などの外科用可視化システムのための制御システム６００の概略図が示されている。制御システム６００は、特に、例えば脂肪、結合組織、血液、及び／又は他の器官などの他の組織によって重要構造が隠されているときに、スペクトルシグネチャ組織識別及び構造光組織位置決めを統合して、これらの構造を識別する変換システムである。このような技術はまた、器官内の健康な組織から腫瘍及び／又は病的組織を区別するなどの、組織の多様性を検出するのに有用であり得る。

制御システム６００は、ハイパースペクトル撮像及び可視化システムを実施するように構成されており、このシステムでは、外科的視野内の解剖学的構造を検出及び識別するために分子応答が使用される。制御システム６００は、組織データを外科医が使用可能な情報に変換するための変換論理回路６４８を含む。例えば、隠れている物質に対する波長に基づく可変反射率を利用して、解剖学的構造中の重要構造を識別することができる。更に、制御システム６００は、識別されたスペクトルシグネチャと構造光データとを画像内で組み合わせる。例えば、制御システム６００を用いて、増強画像オーバーレイを有するシステムにおける外科的使用のための三次元データセットを作成することができる。技術は、追加の視覚情報を使用して、手術中及び手術前の両方で使用することができる。様々な例において、制御システム６００は、１つ以上の重要構造の近接時に、臨床医に警告を提供するように構成されている。外科手術及び重要構造への近接に基づいて、ロボット自動化及び半自動化アプローチを誘導するための様々なアルゴリズムを採用することができる。

投影された光アレイを用いて、組織の形状及び動作を手術中に決定する。あるいは、フラッシュライダーを、組織の表面マッピングに利用してもよい。

制御システム６００は、重要構造を検出し、重要構造の画像オーバーレイを提供し、可視組織の表面までの距離、及び埋め込まれた／覆われた重要構造までの距離を測定するように構成されている。他の例では、制御システム６００は、可視組織の表面までの距離を測定するか、又は重要構造を検出し、重要構造の画像オーバーレイを提供することができる。

制御システム６００はスペクトル制御回路６０２を備える。スペクトル制御回路６０２は、例えば図２Ａ〜図２Ｃに関連して本明細書に記載されるような、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は別の好適な回路構成であり得る。スペクトル制御回路６０２は、ビデオ入力プロセッサ６０６からビデオ入力信号を受信するプロセッサ６０４を含む。プロセッサ６０４は、ハイパースペクトル処理を行うように構成されてよく、例えば、Ｃ／Ｃ＋＋コードを利用することができる。ビデオ入力プロセッサ６０６は、例えば、シャッター時間、波長、及びセンサ分析などの制御（メタデータ）データのビデオ入力端子を受容する。プロセッサ６０４は、ビデオ入力プロセッサ６０６からのビデオ入力信号を処理し、ビデオ出力信号を、例えばインターフェース制御（メタデータ）データのハイパースペクトルビデオ出力端子を含むビデオ出力プロセッサ６０８に提供するように構成されている。ビデオ出力プロセッサ６０８は、ビデオ出力信号を画像オーバーレイコントローラ６１０に提供する。

ビデオ入力プロセッサ６０６は、患者隔離回路６１４を介して患者側のカメラ６１２に連結される。前述したように、カメラ６１２は、固体画像センサ６３４を含む。患者隔離回路は、患者がシステム内の他の回路から隔離されるように、複数の変圧器を含むことができる。カメラ６１２は、光学素子６３２及び画像センサ６３４を介して術中画像を受信する。画像センサ６３４は、例えば、ＣＭＯＳ画像センサを含むことができ、又は、例えば、図２に関連して本明細書で論じられる画像センサ技術のいずれかを含んでもよい。一態様では、カメラ６１２は、１４ビット／画素信号で画像を出力する。より高い又はより低いピクセル解像度が、本開示の範囲から逸脱することなく利用されてもよいことも理解されよう。分離カメラ出力信号６１３は、ハードウェアレジスタ６１８及びＮｉｏｓ２コプロセッサ６２０を使用してカメラ出力信号６１３を処理する、カラーＲＧＢ融合回路６１６に提供される。ビデオ入力プロセッサ６０６及びレーザパルス制御回路６２２には、カラーＲＧＢ融合出力信号が提供される。

レーザパルス制御回路６２２は、レーザ光エンジン６２４を制御する。レーザ光エンジン６２４は、近赤外（ＮＩＲ）を含む複数の波長（λ_１、λ_２、λ_３．．．λ_ｎ）の光を出力する。レーザ光エンジン６２４は、複数のモードで動作することができる。一態様では、レーザ光エンジン６２４は、例えば、２つのモードで動作することができる。第１のモード、例えば通常動作モードでは、レーザ光エンジン６２４は照明信号を出力する。第２のモード、例えば、識別モードでは、レーザ光エンジン６２４はＲＧＢＧ光及びＮＩＲ光を出力する。様々な例において、レーザ光エンジン６２４は、偏光モードで動作することができる。

レーザ光エンジン６２４からの光出力６２６は、手術中の手術部位６２７内の標的とする解剖学的構造を照明する。レーザパルス制御回路６２２はまた、手術部位６２７の手術組織又は器官上に所定の波長（λ_２）で、ライン及び／又はドットのグリッド又はパターンなどのレーザ光パターン６３１を投影するレーザパターンプロジェクタ６３０用のレーザパルスコントローラ６２８を制御する。カメラ６１２は、カメラ光学素子６３２を通して出力されたパターン化された光及び反射光を受信する。画像センサ６３４は、受信した光をデジタル信号に変換する。

カラーＲＧＢ融合回路６１６はまた、画像オーバーレイコントローラ６１０、並びに、レーザパターンプロジェクタ６３０によって手術部位６２７の標的とする解剖学的構造上に投影されたレーザ光パターン６３１を読み取るためのビデオ入力モジュール６３６に信号を出力する。処理モジュール６３８は、レーザ光パターン６３１を処理し、手術部位６２７での可視組織までの距離を表す第１のビデオ出力信号６４０を出力する。データは、画像オーバーレイコントローラ６１０に提供される。処理モジュール６３８はまた、手術部位の標的とする解剖学的構造の組織又は器官の三次元レンダリング形状を表す第２のビデオ信号６４２を出力する。

第１及び第２のビデオ出力信号６４０、６４２は、集積モジュール６４３に提供される３次元表面モデル上の重要構造の位置を表すデータを含む。スペクトル制御回路６０２のビデオ出力プロセッサ６０８からのデータと組み合わせて、集積モジュール６４３は、覆われた重要構造までの距離ｄ_Ａ（図１）を（例えば、三角測量アルゴリズム６４４を介して）決定することができ、距離ｄ_Ａは、ビデオ出力プロセッサ６４６を介して映像オーバーレイコントローラ６１０に提供され得る。前述の変換論理は、変換論理回路６４８、中間ビデオモニタ６５２、及び手術部位６２７に位置付けられたカメラ６２４／レーザパターンプロジェクタ６３０を包含することができる。

ＣＴ又はＭＲＩスキャンによる術前データ６５０を用いて、特定の三次元変形可能な組織を様々な例で位置合わせ又は整列させることができる。このような術前データ６５０は、集積モジュール６４３、最終的には画像オーバーレイコントローラ６１０に提供することができ、そのため、このような情報はカメラ６１２の画像と重ねられ、ビデオモニタ６５２に提供され得る。術前データの位置合わせは、本明細書、及び、それぞれの全体が参照により本明細書に組み込まれる、例えば「ＩＮＴＥＧＲＡＴＩＯＮＯＦＩＭＡＧＩＮＧＤＡＴＡ」と題する米国特許出願第１６／１２８，１９５号などの前述の同時出願の米国特許出願に更に記載されている。

ビデオモニタ６５２は、画像オーバーレイコントローラ６１０から統合／拡張画像を出力することができる。臨床医は、１つ以上のモニタ上の異なる画像を選択し、及び／又は切り替えることができる。第１のモニタ６５２ａ上で、臨床医は、（Ａ）可視組織の３次元レンダリングが示されている画像と、（Ｂ）１つ以上の隠れた重要構造が可視組織の三次元レンダリングの上に描かれている拡張画像とを切り替えることができる。第２のモニタ６５２ｂでは、臨床医は、例えば、１つ以上の隠れた重要構造及び／又は可視組織の表面までの距離測定値を切り替えることができる。

制御システム６００及び／又はその様々な制御回路は、本明細書に開示される様々な外科用可視化システムに組み込むことができる。

図１２は、本開示の少なくとも１つの態様による、構造（又はパターン）光システム７００を示す。本明細書に記載されるように、例えばストライプ又は線の形態の構造光は、光源及び／又はプロジェクタ７０６から標的とする解剖学的構造の表面７０５上に投影されて、表面７０５の形状及び輪郭を特定することができる。例えば、撮像装置１２０（図１）と様々な点で類似し得るカメラ７２０は、表面７０５上の投影された光パターンを検出するように構成することができる。投影パターンが表面７０５に衝突すると変形する方法により、視覚システムが標的とする解剖学的構造の深さ及び表面情報を計算することを可能にする。

特定の例では、不可視（又は感知不能）構造光を利用することができ、構造光は、投影パターンが混乱し得る他のコンピュータの視覚的タスクと干渉することなく使用される。例えば、２つの正確に反対のパターンを繰り返す赤外光又は非常に速いフレームレートの可視光を利用して干渉を防止することができる。構造光は、ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｓｔｒｕｃｔｕｒｅｄ＿ｌｉｇｈｔで更に説明されている。

ここで図１３を参照すると、ハイパースペクトル撮像の概念を例示するために、地上ハイパースペクトル撮像システム８００が示されている。地上ハイパースペクトル撮像システム８００は、例えば、土壌、水、及び／又は植生などの、地上の特徴又は物体を画像化するように構成されている。地上ハイパースペクトル撮像システム７００は、宇宙船８２０上の宇宙で操作されるハイパースペクトルセンサ８２２を含み、地球の表面８０５の一部分のハイパースペクトル撮像を行う。スペクトル寸法は、いくつかの層を含む。画像の各画素は、その反射率によって画素内に存在する物質を識別するために使用されるサンプリングされたスペクトルを含む。データは、例えば、土壌、水、及び植生の波長の関数として、反射率のグラフ表示８５０、８５２、８５４に変換することができる。地上ハイパースペクトル撮像は、ｗｗｗ．ｍａｒｋｅｌｏｗｉｔｚ．ｃｏｍ／Ｈｙｐｅｒｓｐｅｃｔｒａｌ．ｈｔｍｌで更に説明されている。

更にハイパースペクトル撮像の概念を例示するために、図１４は、本開示の少なくとも１つの態様による、様々な地上の特徴又は物体に関する、ハイパースペクトルシグネチャのグラフ表示８５０である。反射率が縦軸に沿って示され、波長（ｎｍ）が横軸に沿って示される。図示されるように、各対象物である松林、草原、赤砂場、及びシルト質水は、対象物を識別するために使用できる固有のハイパースペクトルシグネチャを有する。

図１３及び図１４に関連して説明されるハイパースペクトル撮像の概念は、本開示の少なくとも１つの態様によって、異なる波長及び吸収帯を有する異なる物質に用いられてもよい。以下の表は、様々な物質に対する波長及び吸収帯を示す。第１の範囲である４００ｎｍ〜７００ｎｍの波長は、可視光スペクトルを表す。第２の範囲である７００ｎｍ〜１４００ｎｍの波長は、近赤外（ＮＩＲ）スペクトルを表す。第３の範囲である１４００ｎｍ〜３０００ｎｍの波長は、短波赤外（ＳＷＩＲ）スペクトルを表す。１２５０ｎｍを中心とする第１の帯域は、鉄吸収及び葉の水分含量を表す。１５００ｎｍ〜１７５０ｎｍの第２の帯域は、プラスチック、繊維ガラス、及び石油を表す。２００ｎｍ〜２４００ｎｍの第３の帯域は、鉱物ＩＤを表す。

表１は、様々な物質に対する波長及び吸収帯を特定する。

ハイパースペクトル撮像の概念の更なる例示として、ここで図１５Ａ〜図１５Ｃを参照すると、スペクトル撮像を目玉焼き９５２に適用して試験を実施した。卵黄９５４及び卵黄９５４を取り囲む卵白９５６を有する目玉焼き９５２の画像を図１５Ａに示す。目玉焼き９５２のスペクトルシグネチャのグラフ表示９５０を図１５Ｂに示す。具体的には、グラフ表示９５０は、目玉焼き９５２の卵黄９５４及び卵白９５６の吸収単位対波長（ｎｍ）を示す。図１５Ｃでは、目玉焼き９５２のスペクトル画像（白黒）が示されており、その画像は、ハイパースペクトルシグネチャデータに基づいて卵黄部分と卵白部分とを区別するように拡張されている。

様々な例において、地上の特徴及び物体並びに目玉焼きに関して例示目的のために本明細書に記載されるようなハイパースペクトル撮像技術を用いて、解剖学的構造内のシグネチャを識別して、重要構造を覆い隠すものから区別することができる。ハイパースペクトル撮像技術は、特に、重要構造が、例えば、脂肪、結合組織、血液、又は他の器官によって覆い隠されているときに、例えば、尿管及び／又は血管などの構造を識別する方法を提供することができる、可視化システムを提供できる。赤外線（ＩＲ）スペクトルにおける異なる波長の反射率の差を使用して、覆い隠すものに対する主要な構造の存在を判定することができる。ここで図１６〜図１８を参照すると、例えば、脂肪、肺組織、及び血液といった覆い隠すものに対して、尿管、動脈、及び神経組織に関する例示的なハイパースペクトルシグネチャが示されている。

図１６は、覆い隠すものに対する例示的な尿管シグネチャのグラフ表示１０５０である。プロットは、脂肪、肺組織、血液、及び尿管の波長に対する波長（ｎｍ）の関数として反射率を表す。図１７は、覆い隠すものに対する例示的な動脈シグネチャのグラフ表示１０５２である。プロットは、脂肪、肺組織、血液、及び動脈に対する波長（ｎｍ）の関数として反射率を表す。図１８は、覆い隠すものに対する例示的な神経シグネチャのグラフ表示１０５４である。プロットは、脂肪、肺組織、血液、及び神経に対する波長（ｎｍ）の関数として反射率を表す。

様々な例において、スペクトル撮像のための選択波長は、手術部位において予想される重要構造及び／又は覆い隠すものに基づいて特定及び利用することができる（すなわち、「選択的スペクトル」撮像）。選択的スペクトル撮像を利用することにより、スペクトル画像を取得するために必要な時間量は、情報をリアルタイム又はほぼリアルタイムで取得し、術中に利用することができるように、最小化することができる。様々な例において、臨床医によって、又は臨床医による入力に基づいて制御回路によって波長を選択することができる。特定の例では、波長を、例えば、クラウドを介して制御回路にアクセス可能な機械学習及び／又はビッグデータに基づいて選択することができる。

前述の組織へのスペクトル撮像の適用は、波形エミッタと組織によって覆い隠される重要構造との間の距離を測定するために、術中に利用することができる。本開示の一態様では、ここで図１９及び図２０を参照すると、波形１１２４、１１２５を利用した飛行時間センサシステム１１０４が示されている。飛行時間センサシステム１１０４は、特定の例において、外科用可視化システム１００（図１）に組み込むことができる。飛行時間センサシステム１１０４は、波形エミッタ１１０６と、同じ外科用装置１１０２上の波形受信器１１０８とを含む。放射された波１１２４は、エミッタ１１０６から重要構造１１０１まで延在し、受信された波１１２５は、重要構造１１０１から受信器１１０８によって反射される。外科用装置１１０２は、患者の空洞１１０７内に延在するトロカール１１１０を通って位置付けられる。

波形１１２４、１１２５は、覆い隠している組織１１０３を透過するように構成される。例えば、波形１１２４、１１２５の波長は、ＮＩＲスペクトル又はＳＷＩＲスペクトルの波長であり得る。一態様では、スペクトル信号（例えば、ハイパースペクトル、マルチスペクトル、又は選択的スペクトル）又は光音響信号をエミッタ１１０６から放射することができ、重要構造１１０１を隠している組織１１０３を透過することができる。放射された波形１１２４は、重要構造１１０１によって反射され得る。受信された波形１１２５は、外科用装置１１０２の遠位端と重要構造１１０１との間の距離ｄに起因して遅延され得る。様々な例において、波形１１２４、１１２５は、本明細書に更に記載されるように、重要構造１１０１のスペクトルシグネチャに基づいて、組織１１０３内の重要構造１１０１を標的とするように選択され得る。様々な例において、エミッタ１１０６は、例えば図２０に示されるように、オン及びオフの二値信号を提供するように構成されており、受信器１１０８によって測定することができる。

放射された波１１２４と受信された波１１２５との間の遅延に基づいて、飛行時間センサシステム１１０４は距離ｄを決定するように構成される（図１９）。図１９のエミッタ１１０６及び受信器１１０８の飛行時間タイミング図１１３０を図２０に示す。遅延は距離ｄの関数であり、距離ｄは、以下の式で与えられる。

式中、
ｃ＝光速度であり、
ｔ＝パルスの長さであり、
ｑ_１＝光が放射される間に蓄積された電荷であり、
ｑ_２＝光が放射されていない間に蓄積された電荷である。

本明細書で提供されるように、波形１１２４、１１２５の飛行時間は、図１９の距離ｄに対応する。様々な例において、追加のエミッタ／受信器及び／又はエミッタ１１０６からのパルス信号は、非透過信号を発するように構成することができる。非透過組織は、エミッタから覆い隠している組織１１０３の表面１１０５までの距離を決定するように構成することができる。様々な例において、重要構造１１０１の深さは、以下の式によって決定することができる。
ｄ_Ａ＝ｄ_ｗ−ｄ_ｔ。
式中、
ｄ_Ａ＝重要構造１１０１の深さであり、
ｄ_ｗ＝エミッタ１１０６から重要構造１１０１までの距離（図１９のｄ）であり、
ｄ_ｔ＝エミッタ１１０６（外科用装置１１０２の遠位端上）から覆い隠している組織１１０３の表面１１０５までの距離である。

本開示の一態様では、ここで図２１を参照すると、波１２２４ａ、１２２４ｂ、１２２４ｃ、１２２５ａ、１２２５ｂ、１２２５ｃを利用した飛行時間センサシステム１２０４が示されている。飛行時間センサシステム１２０４は、特定の例において、外科用可視化システム１００（図１）に組み込むことができる。飛行時間センサシステム１２０４は、波形エミッタ１２０６と波形受信器１２０８とを含む。波形エミッタ１２０６は、第１の外科用装置１２０２ａ上に位置付けられ、波形受信器１２０８は第２の外科用装置１２０２ｂ上に位置付けられる。外科用装置１２０２ａ、１２０２ｂは、患者の空洞１２０７内に延在するそれぞれトロカール１２１０ａ、１２１０ｂを通って位置付けられる。放射された波１２２４ａ、１２２４ｂ、１２２４ｃは、エミッタ１２０６から手術部位に向かって延在し、受信された波１２２５ａ、１２２５ｂ、１２２５ｃは、手術部位における様々な構造及び／又は表面から受信器１２０８に反射される。

異なる放射された波１２２４ａ、１２２４ｂ、１２２４ｃは、手術部位において異なる種類の物質を標的にするように構成されている。例えば、波１２２４ａは覆い隠している組織１２０３を標的とし、波１２２４ｂは第１の重要構造１２０１ａ（例えば、血管）を標的とし、波１２２４ｃは第２の重要構造１２０１ｂ（例えば、癌性腫瘍）を標的とする。波１２２４ａ、１２２４ｂ、１２２４ｃの波長は、可視光、ＮＩＲ、又はＳＷＩＲスペクトルの波長であってよい。例えば、可視光は、組織１２０３の表面１２０５に反射することができ、ＮＩＲ波形及び／又はＳＷＩＲ波形は、組織１２０３の表面１２０５を透過するように構成することができる。様々な態様では、本明細書に記載されるように、スペクトル信号（例えば、ハイパースペクトル、マルチスペクトル、又は選択的スペクトル）又は光音響信号をエミッタ１２０６から放射することができる。様々な例において、波１２２４ｂ、１２２４ｃは、本明細書に更に記載されるように、重要構造１２０１ａ、１２０１ｂのスペクトルシグネチャに基づいて、組織１２０３内の重要構造１２０１ａ、１２０１ｂを標的とするように選択され得る。光音響撮像は、本明細書及び／又は前述の同時出願の米国特許出願において更に記載されており、それらの各全体が参照により本明細書に組み込まれる。

放射された波１２２４ａ、１２２４ｂ、１２２４ｃは、標的物質（すなわち、それぞれ表面１２０５、第１の重要構造１２０１ａ、及び第２の構造１２０１ｂ）から反射され得る。受信された波形１２２５ａ、１２２５ｂ、１２２５ｃは、図２１に示される、距離ｄ_１ａ、ｄ_２ａ、ｄ_３ａ、ｄ_１ｂ、ｄ_２ｂ、ｄ_２ｃに起因して遅延しうる。

エミッタ１２０６及び受信器１２０８が独立して位置決め可能である（例えば、別個の外科用装置１２０２ａ、１２０２ｂ上で、及び／又は別個のロボットアームによって制御される）飛行時間センサシステム１２０４では、様々な距離ｄ_１ａ、ｄ_２ａ、ｄ_３ａ、ｄ_１ｂ、ｄ_２ｂ、ｄ_２ｃを、エミッタ１２０６及び受信器１２０８の既知の位置から計算できる。例えば、手術装置１２０２ａ、１２０２ｂがロボット制御されているとき、位置は既知であり得る。エミッタ１２０６及び受光器１２０８の位置、並びに、特定の組織を標的とするまでの光子流の時間及びその特定の応答の受信器１２０８によって受信された情報に関する知見によって、距離ｄ_１ａ、ｄ_２ａ、ｄ_３ａ、ｄ_１ｂ、ｄ_２ｂ、ｄ_２ｃの決定を可能にできる。一態様では、覆い隠された重要構造１２０１ａ、１２０１ｂまでの距離は、透過波長を使用して三角測量することができる。光の速度は可視光又は不可視光の任意の波長に対して一定であるため、飛行時間センサシステム１２０４は、様々な距離を決定することができる。

更に図２１を参照すると、様々な例において、臨床医に提供された画像では、受信器１２０８を、結果として得られる画像内の標的構造の質量中心が一定のままになるように、すなわち、選択された標的構造１２０３、１２０１ａ、又は１２０１ｂの軸に垂直な平面内で回転させることができる。そのような向きは、重要構造に対して、１つ以上の関連する距離及び／又は視点を迅速に通信することができる。例えば、図２１に示されるように、重要構造１２０１ａが視野平面に垂直である（すなわち、血管がページの内外に向いている）視点から、手術部位が表示される。様々な例において、そのような向きはデフォルト設定であり得るが、画像は臨床医によって回転されるか、ないしは別の方法で調整され得る。特定の例では、臨床医は、撮像システムによって提供される手術部位の視点を画定する、異なる表面及び／又は標的構造を切り替えることができる。

様々な例において、受信器１２０８は、これを通じて外科用装置１２０２ｂが配置される、例えばトロカール１２１０ｂなどのトロカール又はカニューレ上に取り付けられてもよい。他の例では、受信器１２０８は、三次元位置が既知である別個のロボットアームに取り付けることができる。様々な例において、受信器１２０８は、外科用装置１２０２ａを制御するロボットとは別個の可動アーム上に取り付けることができ、又は手術中ロボット座標平面に位置合わせ可能な手術室（ＯＲ）のテーブルに取り付けることができる。そのような例では、エミッタ１２０６及び受信器１２０８の位置は、飛行時間センサシステム１２０４の出力から距離を三角測量することができるように、同じ座標平面に位置合わせすることができる。

ナノ秒の分解能を有するＮＩＲ光の時間分解特性を測定することが可能である、ＴＯＦ−ＮＩＲＳと呼ばれる飛行時間センサシステム及び近赤外分光法（ＮＩＲＳ）の組み合わせは、その全体が参照により本明細書に組み込まれる、「ＴＩＭＥ−ＯＦ−ＦＬＩＧＨＴＮＥＡＲ−ＩＮＦＲＡＲＥＤＳＰＥＣＴＲＯＳＣＯＰＹＦＯＲＮＯＮＤＥＳＴＲＵＣＴＩＶＥＭＥＡＳＵＲＥＭＥＮＴＯＦＩＮＴＥＲＮＡＬＱＵＡＬＩＴＹＩＮＧＲＡＰＥＦＲＵＩＴ」と題するＪｏｕｒｎａｌｏｆｔｈｅＡｍｅｒｉｃａｎＳｏｃｉｅｔｙｆｏｒＨｏｒｔｉｃｕｌｔｕｒａｌＳｃｉｅｎｃｅ，Ｍａｙ２０１３ｖｏｌ．１３８ｎｏ．３２２５−２２８の文献に見出すことができ、ｊｏｕｒｎａｌ．ａｓｈｓｐｕｂｌｉｃａｔｉｏｎｓ．ｏｒｇ／ｃｏｎｔｅｎｔ／１３８／３／２２５．ｆｕｌｌからアクセス可能である。

様々な例において、飛行時間スペクトル波形は、重要構造の深さ及び／又は外科用装置の重要構造への近接度を決定するように構成されている。更に、本明細書に開示される様々な外科用可視化システムは、可視組織の表面に三次元レンダリングを作り出すように構成されている表面マッピング論理を含む。そのような例では、可視組織が重要構造を覆い隠す場合であっても、臨床医は、重要構造への外科用装置の近接度（又は近接していないこと）を認識することができる。１つの例では、手術部位のトポグラフィは、表面マッピング論理によってモニタ上に提供される。重要構造が組織の表面に近い場合、スペクトル撮像は、臨床医に重要構造の位置を伝達することができる。例えば、スペクトル撮像は、表面の５ｍｍ又は１０ｍｍ以内の構造を検出することができる。他の例では、スペクトル撮像は、組織の表面の１０又は２０ｍｍ下の構造を検出することができる。スペクトル撮像システムの既知の限界に基づいて、システムは、スペクトル撮像システムによって単純に検出されない場合、重要構造が範囲外であることを伝えるように構成される。したがって、臨床医は、外科用装置を動かし続けること、及び／又は組織を操作し続けることができる。重要構造がスペクトル撮像システムの範囲内に移動すると、システムは構造を識別することができ、したがって、構造が範囲内にあることを通信することができる。そのような例では、構造が最初に識別され、かつ／又は既定の近接ゾーン内に更に移動されたときに、警告を提供することができる。そのような例では、既知の境界／範囲を有するスペクトル撮像システムによって重要構造が識別されない場合であっても、臨床医に近接度の情報（すなわち、近接していないこと）を提供することができる。

本明細書に開示される様々な外科用可視化システムは、術中に、重要構造の存在及び／又は近接を特定し、不注意による切開及び／又は切断によって重要構造を損傷する前に臨床医に警告するように構成され得る。様々な態様では、外科用可視化システムは、以下の重要構造、例えば、尿管、腸、直腸、神経（横隔神経、反回神経［ＲＬＮ］、突起顔面神経、迷走神経、及びそれらの分枝部を含む）、血管（肺及び肺葉の動脈及び静脈、下腸間膜動脈［ＩＭＡ］及びそれらの分枝部、上直腸動脈、Ｓ字結腸動脈、及び左結腸動脈を含む）、上腸間膜動脈（ＳＭＡ）及びそれらの分枝部（中結腸動脈、右結腸動脈、回腸結腸動脈を含む）、肝動脈及びそれらの分枝部、門脈及びそれらの分枝部、脾臓動脈／静脈及びそれらの分枝部、外腸骨血管及び内腸骨血管（下腹部）、短胃動脈、子宮動脈、正中仙骨血管、及びリンパ節のうちの１つ以上を識別するように構成されている。更に、外科用可視化システムは、外科用装置の重要構造への近接度を示し、かつ／又は、外科用装置が重要構造に接近すると臨床医に警告するように構成されている。

本開示の様々な態様は、術中の重要構造の識別（例えば、尿管、神経、及び／又は血管の識別）及び器具接近モニタリングを提供する。例えば、本明細書に開示される様々な外科用可視化システムは、例えば、組織の表面の１．０〜１．５ｃｍ下などの組織の表面下の重要構造の可視化を可能にする、スペクトル撮像及び外科用器具トラッキングを含み得る。他の例では、外科用可視化システムは、組織の表面の１．０ｃｍ未満又は１．５ｃｍ超下の構造を識別することができる。例えば、表面の０．２ｍｍ以内の構造のみを識別することができる外科用可視化システムであっても、例えば、深さによって本来は見えない場合に有用であり得る。様々な態様では、外科用可視化システムは、例えば、可視組織の表面上の可視白色光画像のオーバーレイとして重要構造をバーチャルに表示することによって、臨床医の視界を拡張することができる。外科用可視化システムは、外科用器具の遠位先端部のリアルタイムな三次元空間的トラッキングを提供することができ、外科用器具の遠位先端が重要構造のある範囲内、例えば、重要構造の１．０ｃｍ以内などに移動すると、近接警告を提供することができる。

本明細書に開示される様々な外科用可視化システムは、重要構造に対して切開が近すぎることを識別することができる。温度（すなわち、重要構造を損傷／加熱／融解させる危険性があり得る重要構造の近くで過度に熱い）、及び／又は、張力（すなわち、重要構造を損傷させる／裂傷させる／引く危険性があり得る重要構造の近くで張力が過度に大きい）に基づくと、切開が重要構造に「近すぎる」場合がある。このような外科用可視化システムは、例えば結紮の前に血管周囲組織を剥離するときに、血管周囲の切開を容易にすることができる。様々な例において、熱画像化カメラを利用して、手術部位の熱を読み取り、検出された熱及びツールから構造までの距離に基づいて警告を臨床医に提供することができる。例えば、ツールの温度が所定の閾値（例えば１２０°Ｆなど）を超える場合、警告は、第１の距離（例えば１０ｍｍなど）で臨床医に提供され得、ツールの温度が既定の閾値以下である場合、警告は、第２の距離（例えば５ｍｍなど）で臨床医に提供され得る。既定の閾値及び／又は警告距離は、デフォルト設定及び／又は臨床医によってプログラム可能であり得る。追加的に又は代替的に、近接警告は、例えば、単極又は双極の切開器具又は血管シーラーの遠位ジョー内の熱を測定する熱電対などの、ツール自体によって行われる熱測定に連結され得る。

本明細書に開示される様々な外科用可視化システムは、臨床医が、注意基準及び／又は装置安全データに基づいて、自信を持って迅速ではあるが安全な切開を進めることを可能にするために、重要構造に対する十分な感度と特異性を提供することができる。このシステムは、患者又は臨床医に対して最小限の電離放射線リスクで外科手術中の術中リアルタイムで機能し得、様々な例において、患者又は臨床医に対する電離放射線リスクはない。逆に、蛍光透視法において、患者及び臨床医は、例えば、解剖学的構造をリアルタイムで見るために利用されるＸ線ビームを介して電離放射線に曝露され得る。

本明細書に開示される様々な外科用可視化システムは、例えば、外科用装置の経路がロボット制御されるときなど、外科用装置の前方経路内の１つ以上の所望の種類の重要構造を検出及び識別するように構成され得る。追加的に又は代替的に、外科用可視化システムは、例えば、外科用装置の周囲領域及び／又は複数の平面／範囲において、１つ以上の種類の重要構造を検出及び識別するように構成され得る。

本明細書に開示される様々な外科用可視化システムは、容易に操作及び／又は解釈することができる。更に、様々な外科用可視化システムは、臨床医がデフォルト設定及び／又は操作をオーバーライドすることを可能にする「オーバーライド」特徴を組み込むことができる。例えば、臨床医は、外科用可視化システムからの警告を選択的にオフにして、かつ／又は、重要構造に対する危険性が、その領域を回避する危険性より低い場合（例えば、重要構造の周囲で癌を除去するとき、癌性組織を残すリスクは、重要構造の損傷のリスクよりも大きい場合がある）など、外科用可視化システムによって提示されるよりも重要構造に近付けることができる。

本明細書に開示される様々な外科用可視化システムは、外科用システムに組み込むことができ、かつ／又は、ワークフローに対する限定された影響を有する外科手術中に使用することができる。換言すれば、外科用可視化システムの実施は、外科手術が実施される方法を変更しなくてよい。更に、外科用可視化システムは、不注意な切断のコストと比較して経済的であり得る。データは、重要構造への不注意による損傷の低減を示しており、償還額の増加を促進することができる。

本明細書に開示される様々な外科用可視化システムは、臨床医が重要構造を予想することを可能にするために、リアルタイム又はほぼリアルタイム、かつ十分事前に動作することができる。例えば、外科用可視化システムは、外科手技の効率を最大化するために、「減速、評価、及び回避」のため十分な時間を提供することができる。

本明細書に開示される様々な外科用可視化システムは、組織に注入される造影剤又は染料を必要としなくてよい。例えば、スペクトル撮像は、造影剤又は染料を使用することなく、術中に隠れた構造を視覚化するように構成される。他の例では、造影剤は、他の可視化システムよりも組織の適切な層に注入するのが容易であり得る。造影剤の注入と重要構造の可視化との間の時間は、例えば、２時間未満であり得る。

本明細書に開示される様々な外科用可視化システムは、臨床データ及び／又は装置データと連結され得る。例えば、データは、外科医が損傷を望まない組織から、エネルギー有効化された外科用装置（又は他の損傷可能性がある装置）までの距離の境界を提供することができる。本明細書に開示される外科用可視化システムとインターフェースする任意のデータモジュールは、例えば、観血的処置又は腹腔鏡処置における独立型外科用装置との使用を可能にするために、ロボットと一体的又は別個に提供することができる。外科用可視化システムは、様々な例においてロボット外科用システムと適合することができる。例えば、視覚化画像／情報は、ロボットコンソール内に表示され得る。

様々な例において、臨床医は、外科用ツールに対する重要構造の位置を知ることができない。例えば、重要構造が組織に埋め込まれている場合、臨床医は、重要構造の位置の確認が不可能な場合がある。特定の例において、臨床医は、重要構造を取り囲む位置の範囲外、及び／又は隠れた重要構造を覆う可視組織から離れて、外科用装置を維持することを望む場合がある。隠れた重要構造の位置が不明である場合、臨床医は、重要構造に過度に接近させる危険性があり、その結果、重要構造の不注意による外傷及び／若しくは切開が生じ、並びに／又は、重要構造付近での過度のエネルギー、熱、及び／若しくは張力をかける恐れがある。あるいは、臨床医は、重要構造である疑いのある場所から遠く離れたまま留め、重要構造を避けようと努力して、望ましくない場所の組織に影響を及ぼすリスクもあり得る。

１つ以上の重要構造に対する外科用装置の追跡を提示する、外科用可視化システムが提供される。例えば、外科用可視化システムは、重要構造に対する外科用装置の近接度を追跡することができる。このような追跡は、手術中、リアルタイムで、及び／又はほぼリアルタイムで行われ得る。様々な例において、追跡データは、撮像システムのディスプレイスクリーン（例えばモニタ）を介して臨床医に提供され得る。

本開示の一態様では、外科用可視化システムは、構造光パターンを可視表面上に放射するように構成されているエミッタを備える外科用装置と、埋め込まれた構造及び可視表面上の構造光パターンを検出するように構成されているカメラを備える撮像システムと、カメラ及び撮像システムと信号通信する制御回路と、を備え、制御回路は、外科用装置から埋め込まれた構造までの距離を決定し、距離を示す信号を撮像システムに提供するように構成されている。例えば、距離は、蛍光透視法によって光る重要構造までのカメラからの距離を計算することによって、カメラの複数のレンズ（例えば、左側レンズ及び右側レンズ）からの画像によって提供される光った構造の三次元画像に基づいて決定することができる。外科用装置から重要構造までの距離は、例えば、外科用装置及びカメラの既知の位置に基づいて三角測量することができる。埋め込まれた重要構造までの距離を決定するための代替的な手段が、本明細書で更に説明される。例えば、ＮＩＲ飛行時間距離センサを使用することができる。追加的に又は代替的に、外科用可視化システムは、埋め込まれた重要構造に重なっている、／覆っている可視組織までの距離を決定することができる。例えば、外科用可視化システムは、隠れた重要構造を識別し、可視構造上に隠れた重要構造の概略、例えば可視組織の表面上の線を描くことによって、隠れた重要構造の画像を拡張することができる。外科用可視化システムは、可視組織上の拡張された線までの距離を更に決定することができる。

本明細書に開示される様々な外科用可視化システムによって提供されるように、隠れた重要構造及び／又は可視構造までの外科用装置の近接度に関する最新情報を臨床医に提供することによって、臨床医は、隠れた重要構造に対する外科用装置の配置について、より情報に基づく判断を行うことができる。例えば、臨床医は、外科用装置と重要構造との間の距離をリアルタイムに／術中に見ることができ、特定の例において、外科用装置が重要構造の既定の近接度及び／又はゾーン内で移動するときに、撮像システムによってアラート及び／又は警告を提供することができる。特定の例において、アラート及び／又は警告は、外科用装置の軌道が、重要構造付近の「飛行禁止」区域に衝突する可能性（例えば、重要構造の１ｍｍ、２ｍｍ、５ｍｍ、１０ｍｍ、２０ｍｍ以上以内）を示すときに提供され得る。そのような例において、重要構造である疑いのある場所及びそこへの外科用装置の近接の認証医による監視を必要とせずに、臨床医は、外科手術を通して操作を維持することができる。結果として、より少ない休止／中断、並びに／又は、改善された精度及び／若しくは確実性で、特定の外科的処置をより迅速に実行することができる。一態様では、外科用可視化システムを利用して、健康な組織から腫瘍／癌組織／病的組織を区別するため、組織の多様性、例えば器官内の組織の多様性検出することができる。このような外科用可視化システムは、健康な組織の除去を最小限に抑えながら、病的組織の除去を最大限にすることができる。

ここで図２２〜図２４を参照すると、三次元カメラ１４２０及び外科用装置１４０２を含む外科用可視化システム１４００が示されている。本明細書で更に説明されるように、カメラ１４２０は画像センサを含む。様々な態様では、外科用可視化システム１４００は、外科用可視化システム１００（図１）と同様であり得る。例えば、外科用可視化システム１４００は、組織１４０３の表面１４０５の下に埋め込まれた１つ以上の重要構造１４０１を識別し、表面１４０５及び／又は重要構造１４０１に対する１つ以上の距離を決定するように構成され得る。

外科用装置１４０２は、構造光のパターンを放射するように構成されているエミッタ１４０６を含む。パターンは表面から反射されるように構成されており、反射された光はカメラ１４２０などのカメラ又はセンサによって検出することができる。反射されたパターンに基づいて、制御回路は、表面１４０５の輪郭及び表面１４０５に対する１つ以上の距離を決定するように構成されている。例えば、制御回路は、表面の三次元モデルを生成することができる。様々な制御回路が本明細書に更に記載される（例えば、図２及び図１１を参照）。

カメラ１４２０は、三次元カメラである。例えば、カメラ１４２０は、二次元左側レンズ、又はセンサ１４０８ａ、及び二次元右側レンズ、又はセンサ１４０８ｂを含む。レンズ１４０８ａ、１４０８ｂは、組織１４０３内に埋め込まれた重要構造１４０１などの１つ以上の重要構造を検出するように構成されている。様々な例において、重要構造１４０１は、例えばＩＣＧなどの造影剤によって光り、例えば蛍光透視法によって撮像され得る。更に、左側レンズ１４０８ａは、図２３に示される光った重要構造１４０１の二次元画像を検出するように構成され、右側レンズ１４０８ｂは、これも図２３に示される光った重要構造１４０１の別の二次元画像を検出するように構成されている。

レンズ１４０８ａ、１４０８ｂからの二次元画像を統合又は組み合わせて、解剖学的標的組織内に埋め込まれた光った重要構造１４０１の三次元画像を生成することができる。様々な例において、外科用装置１４０２から重要構造１４０１までの距離は、カメラ１４２０によって取得された画像から決定することができる。例えば、距離は、レンズ１４０８ａ、１４０８ｂによって取得された画像の両方にアルゴリズムを適用することによって決定することができる。例えば、左側画像ｄ_ｌ（図２３）における距離と右側画像ｄ_ｒ（図２３）における距離を平均して、以下のように、外科用装置１４０２から重要構造１４０１までの距離ｄ（図２２）を得ることができる。

様々な例において、カメラ１４２０及び外科用装置１４０２の相対位置が既知であるため（すなわち、同じロボット座標系などの位置合わせされた座標系内）、例えば、重要構造１４０１からカメラ１４２０までの距離が既知である場合、外科用装置１４０２から重要構造１４０１までの距離を三角測量することができる。ロボットは、アーム（例えば、外科用装置１４０２及びカメラ１４２０）の座標位置を知っているため、三角測量して交差距離を決定することができる。外科用装置と重要構造との間の距離ｄを決定するための代替手段は、本明細書に更に記載されている（例えば、超音波、飛行時間測定システム、ハイパースペクトル信号分析など）。

主に図２３を参照すると、撮像システムのビデオモニタなどのディスプレイスクリーン１４５０に三次元画像を提供することができる。例えば、ディスプレイスクリーン１４５０は、カメラ１４２０によって取得された三次元ライブ画像／ビデオフィードを選択的に表示することができる。様々な例において、ディスプレイスクリーン１４５０はまた、表面マッピング論理及びエミッタ１４０６から放射されカメラ１４２０によって検出される構造光パターンに基づいて、手術部位（例えば、可視組織）の三次元レンダリングを選択的に表示することもできる。特定の例において、手術部位における可視組織の三次元レンダリングは、例えば、埋め込まれた重要構造１４０１に重ね合わせることができる。追加的に又は代替的に、外科用装置１４０２から重要構造１４０１までの距離ｄ（図２２）は、ディスプレイスクリーン１４５０上に表示され得る。

一例において、図２３を更に参照すると、ディスプレイスクリーン１４５０は、重要構造１４０１及び／又はその部分までの距離ｄ（図２２）を示すための色凡例又はキー１４５４ａを用いて、重要構造１４０１の拡張された色付き概略図１４５２ａを表示するように構成され得る。例えば、キー１４５４ａは、外科用装置１４０２が重要構造１４０１から１５ｍｍ〜２０ｍｍ離れている緑色、外科用装置１４０２が重要構造１４０１から１５ｍｍ〜１０ｍｍ離れている黄色、外科用装置１４０２が重要構造１４０１から５ｍｍ〜１０ｍｍ離れている橙色、外科用装置１４０２が重要構造１４０１から０ｍｍ〜５ｍｍ離れている赤色など、直線距離又はゾーンに対応する色のスペクトルを提供する。異なる色は、臨床医への異なる種類の情報に対応することができる。例えば、緑色は「進め」又は「進行せよ」を意味し、黄色は「減速せよ」又は「注意して進め」を意味し、橙色は「最新の注意で実行せよ」を意味し、赤色は「止まれ」を意味することができる。そのような例において、計算された距離に対応する１つ以上の色、及び、外科用装置１４０２のその部分への近接度に応じたキー１４５４ａ上の関連する色で、重要構造１４０１を描写することができる。

様々な例において、臨床医は、キー１４５４ａのスペクトルに沿って距離が１つの近接ゾーンから別のゾーンに移動するときに警告され得る。例えば、距離が緑色ゾーンから黄色ゾーンに移動するときに第１の警告を提供することができ、距離が黄色ゾーンから橙色ゾーンに移動するときに第２の警告を提供することができ、距離が橙色ゾーンから赤色ゾーンに移動するときに第３の警告を提供することができる。警告の種類は、外科用装置１４０２の近接度、及び／又は臨床医によって選択される事前にプログラムされた設定に応じて変化し得る。同様に、様々な態様において、撮像システムは、例えば、重要構造１４０１が外科用装置１４０２の標的であるとき、外科用装置１４０２が重要構造１４０１から離れる方向に移動したときに、臨床医に警告することができる。

別の例において、図２４を参照すると、ディスプレイスクリーン１４５０は、重要構造１４０１及び／又はその部分までの距離ｄ（図２２）を示すためのクロスハッチングの凡例又はキー１４５４ｂを用いて、重要構造１４０１の白黒のクロスハッチングで拡張された概略図１４５２ｂを表示するように構成され得る。

特定の例において、外科用装置１４０２から重要構造１４０１までの距離ｄは、異なる距離に対応する複数の範囲及び／又はゾーンを含む近接スペクトルインジケータに沿って表示され得る。異なるタイプのクロスハッチングは、異なる近接ゾーンに対応することができ、キー１４５４ｂは、距離又は近接ゾーンに対する異なるタイプのクロスハッチングの重要性を説明することができる。近接スペクトルは、例えば、近接度を示すために、色のスペクトル、ある範囲の数値、及び／又は他の差別化記号によって定義することができる。

様々な例において、例えば、外科用可視化システム１４００などの本明細書に開示される外科用可視化システムを利用して、特定の重要構造又はその一部分を標的化することができる。例えば、図２２を再び参照すると、重要構造１４０１は、外科用装置１４０２が標的としている構造であり得る。一例において、重要構造１４０１は、他の組織への血流を損なうことなく組織片を除去するために、臨床医が切開を望む血管上の位置であり得る。例えば、重要構造１４０１は、健康な組織に血液を供給する分岐の下流にある血管上の位置であり得る。そのような例において、血管上の下流位置は、外科用可視化システムによってタグ付けされ、標的化され得る。構造のタグ付けは、参照によりその全体が本明細書に組み込まれる、例えば、同時出願の、「ＳＵＲＧＩＣＡＬＶＩＳＵＡＬＩＺＡＴＩＯＮＡＮＤＭＯＮＩＴＯＲＩＮＧ」と題する米国特許出願第１６／１２８，１９３号に更に記載されている。近接スペクトルインジケータは、外科用装置１４０２の標的化された重要構造１４０１への接近を追跡／監視するように構成され得る。

ここで図２５及び図２６を参照すると、カメラ１５２０と、外科用装置１５０２ａ、１５０２ｂ、１５０２ｃとを含む外科用可視化システム１５００が示されている。本明細書で更に説明されるように、カメラ１５２０は画像センサを含む。様々な態様では、外科用可視化システム１５００は、外科用可視化システム１００（図１）及び外科用可視化システム１４００（図２２〜２４）と同様であり得る。例えば、外科用可視化システム１５００は、組織１５０３の表面１５０５の下に埋め込まれた１つ以上の重要構造１５０１を識別し、重要構造１５０１に対する１つ以上の距離を決定するように構成され得る。

外科用装置１４０２（図２２）と同様に、外科用装置１５０２ａ、１５０２ｂ、１５０２ｃのうちの１つ以上は、光波を放射するように構成されているエミッタを含み得る。例えば、エミッタは、構造光のパターンを放射するように構成することができる。パターンは表面から反射されるように構成されており、反射された光はカメラ１５２０などのカメラ又はセンサによって検出することができる。反射されたパターンに基づいて、制御回路は、表面１５０５の輪郭及び表面１５０５に対する様々な距離を決定するように構成されている。例えば、制御回路は、表面１５０５の三次元モデルを生成することができる。様々な制御回路が本明細書に更に記載される（例えば、図２及び図１１を参照）。

カメラ１４２０（図２２）と同様に、カメラ１５２０は、二次元左側レンズ、又はセンサ１５０８ａ、及び二次元右側レンズ、又はセンサ１５０８ｂを含む、三次元カメラである。レンズ１５０８ａ、１５０８ｂは、埋め込まれた重要構造１５０１を検出するように構成される。例えば、左側レンズ１５０８ａは、重要構造１５０１の二次元画像を検出するように構成され、右側レンズ１５０８ｂは、重要構造１５０１の別の二次元画像を検出するように構成されている。レンズ１５０８ａ、１５０８ｂによって得られた二次元ビューを組み合わせて、撮像システムのディスプレイスクリーン１５５０（図２６）上に手術部位の三次元画像１５５２を作成することができる。ディスプレイスクリーン１５５０は、手術中に臨床医に手術部位及び／又は様々な追加データ／情報のビデオフィードを提供する、ビデオモニタであり得る。例えば、ディスプレイスクリーン１５５０上の三次元画像１５５２は、重要構造１５０１と、構造光及び表面マッピング論理から組織１５０３のトポグラフィ表面マップに重なった外科用装置１５０２ａ、１５０２ｂ、１５０２ｃの相対位置とを示すことができる。

更に、様々な例において、重要構造１５０１までの、それぞれ外科用装置１５０２ａ、１５０２ｂ、１５０２ｃからの距離ｄ_１、ｄ_２、及びｄ_３は、本明細書に更に記載されるように、手術部位の三次元撮像から決定及び／又は近似され得る。例えば、各外科用装置１５０２ａ、１５０２ｂ、１５０２ｃから重要構造１５０１までの距離は、二次元で測定され、平均され、ないしは別の方法で既知の位置及び／又は距離から計算／三角測量することができる。

距離ｄ_１、ｄ_２、及びｄ_３は、距離ｄ_１、ｄ_２、及びｄ_３を表示するように構成されたディスプレイスクリーン１５５０（例えば、ビデオモニタ）に通信される。例えば、距離ｄ_１、ｄ_２、及びｄ_３は、図２６に示すように、色分けされた形式で表示され得る。より具体的には、距離ｄ_１、ｄ_２、及びｄ_３は、距離を示す、近接スペクトルインジケータ１５５４ａ、１５５４ｂ、１５５４ｃに沿ってそれぞれ表示され得る。近接スペクトルインジケータ１５５４ａ、１５５４ｂ、１５５４ｃは、バーに沿って配置された色のスペクトルを含み、これは、重要構造の周囲のゾーンに対応することができる。図２６において、緑色ゾーンは１５ｍｍ〜２０ｍｍの距離に対応し、黄色ゾーンは１５ｍｍ〜１０ｍｍの距離に対応し、橙色ゾーンは５ｍｍ〜１０ｍｍの距離に対応し、赤色ゾーンは０ｍｍ〜５ｍｍの距離に対応する。近接ゾーンは、それぞれ矢印１５５６ａ、１５５６ｂ、１５５６ｃなどのマーカーによって近接スペクトルインジケータ１５５４ａ、１５５４ｂ、１５５４ｃに沿って示すことができ、各外科用装置１５０２ａ、１５０２ｂ、１５０２ｃのゾーンをそれぞれ識別する。

追加的に又は代替的に、近接スペクトルインジケータ１５５４ａ、１５５４ｂ、１５５４ｃは、近接ゾーン／距離を示す数値範囲及び／又は他の記号を含むことができる。特定の例において、近接ゾーンは、異なる重要構造及び／又は異なる外科用装置に対して構成可能又は選択可能であり得る。例えば、血管周囲の近接ゾーンは、エネルギー装置及びステープラに関して異なる場合がある。加えて、エネルギー装置の近接ゾーンは、静脈及び動脈に関して異なる場合がある。

様々な例において、外科用可視化システム１５００は、外科用装置１５０２ａ、１５０２ｂ、１５０２ｃのうちの１つが重要構造１５０１の周囲の所定の位置範囲／最小距離限界／近接ゾーンに接近したときに、アラート、警告、又は他の指示を臨床医に提供するように構成される。警告は、外科用装置１５０２ａ、１５０２ｂ、１５０２ｃの種類及び重要構造１５０１の種類に基づいて、異なる重要距離で提供され得る。

様々な例において、外科用装置１５０２ａ、１５０２ｂ、１５０２ｃのうちの１つ以上は、ロボットツールであってよい。例えば、ロボットシステムは、外科用装置１５０２ａ、１５０２ｂ、１５０２ｃを制御することができる。特定の例において、重要構造の周囲の近接ゾーンは「立ち入り禁止ゾーン」を形成することができ、ロボットシステムは、「立ち入り禁止ゾーン」の外に留まるように外科用装置１５０２ａ、１５０２ｂ、１５０２ｃを自動的に制御することができる。臨床医が「立ち入り禁止ゾーン」内に外科用装置１５０２ａ、１５０２ｂ、１５０２ｃを移動させる入力コマンドを提供する場合、自動ツール制御動作は、外科用装置１５０２ａ、１５０２ｂ、１５０２ｃが画定された「立ち入り禁止ゾーン」に入ることを阻止することができる。特定の例において、例えば、このような自動ツール制御をオン／オフすることができ、デフォルト設定とすることができ、及び／又は臨床医によるオーバーライド入力によって克服することができる。

ここで図２７〜図３１を参照すると、外科用可視化システム１６００が示されている。様々な態様では、外科用可視化システム１６００は、外科用可視化システム１００（図１）と同様であり得る。例えば、外科用可視化システム１６００は、組織１６０３の表面１６０５の下に埋め込まれた１つ以上の重要構造１６０１を識別し、表面１６０５及び／又は重要構造１６０１に対する１つ以上の距離を決定するように構成され得る。外科用可視化システム１６００は、検出器又はカメラ１６２０と外科用装置１６０２とを含む。本明細書で更に説明されるように、カメラ１６２０は画像センサを含む。外科用可視化システム１６００は、三次元形式の術野の可視光のレンダリングを提供するように構成されている。例えば、エミッタは、構造光を放射するように構成することができ、トポグラフィ表面マップに変換することができる。術野の三次元画像は、隠れた構造（すなわち、重要構造）及び／又は重要構造までの距離のオーバーレイと組み合わせることができる。警告システムは、本明細書に更に記載されるように、重要構造が外科用装置の重要距離限界内に位置するとき、臨床医にフィードバックを提供することができる。

外科用装置１６０２は、光波を放射するように構成されているエミッタ１６０６を含む。例えば、エミッタ１６０６は、組織１６０３を透過して重要構造１６０１に到達するように構成された組織透過赤外波長を放射するように構成され得る。エミッタ１６０６は、例えば、ハイパースペクトル、マルチスペクトル、及び／又は選択的スペクトル波形を放射するように構成することができる、例えばスペクトル光源を含むことができる。エミッタ１６０６は、構造光パターンを更に放射することができ、構造光パターンは、カメラ１６２０によって検出され、表面１６０５のトポグラフィ表面マップを生成する。

カメラ１６２０はまた、エミッタ１６０６から放射され、重要構造１６０１によって反射された光波を検出するように構成されている画像センサ又は受信器１６０８を含む。スペクトル撮像論理は、本明細書に更に記載されるように、画像センサ１６０８によって受信された反射された光波に基づいて、重要構造を識別することができる。様々な例において、検出された重要構造１６０１は、可視組織１６０３の表面１６０５の三次元レンダリング上の線又は他の記号として概略的に描写され得る。例えば、重要構造１６０１のおおよその位置は、表面１６０５の三次元表面マップ上の線として臨床医に伝達され得る。特定の例において、画像センサ１６０８はまた可視光を検出するように構成されており、手術部位のライブ画像及び／又はビデオフィードを選択的に記録し、画像／ビデオを撮像システム及び／又はそのディスプレイスクリーン／モニタに伝達することができる。

外科用可視化システム１６００は、本明細書に記載される１つ以上の距離決定方法及び／又はシステムによって、外科用装置１６０２の遠位端１６１２から組織表面までの装置−表面間距離ｄ_２、外科用装置１６０２の遠位端１６１２から組織表面の下の血管までの装置−血管間距離ｄ_３、及び、組織表面の下の重要構造の表面−血管間距離／深さｄ_４を決定するように構成されている。例えば、装置−表面間距離ｄ_２は、表面マッピング論理及び構造光パターンから生成される結果として得られる表面マップから決定することができる。追加的に又は代替的に、装置−表面間距離ｄ_２は、放射された波と、組織１６０３の表面１６０５を標的とする受信された波との間の遅延を検出するように構成された飛行時間距離検知システムによって決定することができる。様々な例において、装置−表面間距離ｄ_２は、重要構造１６０１などの識別された重要構造に重なっている表面１６０５の部分までの距離であり得る。例えば、装置−表面間距離ｄ_２は、外科用装置１６０２の遠位端１６１２から、外科用装置１６０２に最も近い表面１６０５の三次元レンダリング上の拡張線までの距離であり得る。装置−血管間距離ｄ_３は、カメラ１６２０及び／又は１つ以上の画像センサ１６０８によって受信されたスペクトル波のＮＩＲ飛行時間検知から決定することができる。他の例において、装置−血管間距離ｄ_３は、三角測量、三次元カメラ、及び蛍光透視法によって決定することができる。様々な例において、表面−血管間深さｄ_１は、例えば、スペクトル撮像、三次元撮像、及び／若しくは表面マッピングデータによって得られた、超音波によって決定された、リアルタイムの距離及び／若しくは寸法、並びに／又は、術前スキャンで得られた寸法から、計算及び／又は三角測量することができる。代替的な距離決定システムは、本明細書で更に開示される。

外科用可視化システム１６００はまた、カメラ１６２０及びディスプレイスクリーン１６５０を含み得る撮像システムを含む（図２９〜図３０）。撮像システムは、スクリーン１６５０に異なる情報を選択的に表示することができる。例えば、撮像システムは、臨床医がディスプレイスクリーン上の１つ以上の画像、寸法、及び／又は他の情報を選択することを可能にし得る、入力制御部を含むことができる。例示的な入力制御部である、ダイヤル１６６０を図２８に示す。ダイヤル１６６０は、臨床医が、装置−表面間距離ｄ_２、装置−血管間距離ｄ_３、又は表面−血管間距離ｄ_１を選択することを可能にする。例えば、臨床医は、異なる位置の間でダイヤル１６６０を回転させて、異なる距離を選択することができる。他の例において、入力制御部は、例えば、１つ以上の入力、ボタン、トグル、スイッチ、及び／又はタッチスクリーンを含むことができる。特定の例において、２つ以上の距離を同時に選択することができ、及び／又はディスプレイスクリーン１６５０は、予め設定された時間が経過した後に、異なる距離及び／又は画像を切り替えることができる。

ここで図２９〜図３１を参照すると、ディスプレイスクリーン１６５０は、臨床医の入力に基づいて手術部位の異なる画像１６５２ａ、１６５２ｂ、１６５２ｃを表示するように構成されている。例えば、ダイヤル１６６０の位置に応じて、ディスプレイスクリーン１６５０は、異なる画像及び／又は情報を表示することができる。ダイヤル１６６０及びその位置もまた、ディスプレイスクリーン１６５０上に提供することができる。図２９では、ディスプレイスクリーン１６５０は、表面−血管間距離ｄ_１を表示及び／又は監視することができる第１のビュー１６５２ａを示す。例えば、図２９では、ダイヤル１６６０は、表面−血管間距離ｄ_１が選択される第１の位置にある。このような場合、距離ｄ_１が監視され、関連情報が画面１６５０上に表示される。例えば、距離ｄ_１は、例えば、熱及び／又は力関連の懸念のためなど、距離ｄ_１が既定の閾値未満に短縮したときに警告を示す、数値的に及び／又は第１の近接スペクトル１６５６ａに沿って表示され得る。警告は、例えば、スクリーン１６５０上に、並びに／又は追加の視覚信号、聴覚信号、及び／若しくは触覚信号を介して提供され得る。加えて、裸眼では見えない重要構造１６０１は、拡張された第１の図１６５２ａを介して概略的に示されている。

図３０では、ディスプレイスクリーン１６５０は、装置−表面間距離ｄ_２を表示及び／又は監視することができる第２のビュー１６５２ａを示す。例えば、図３０では、ダイヤル１６６０は、装置−表面間距離ｄ_２が選択される第２の位置にある。このような場合、距離ｄ_２が監視され、関連情報が画面１６５０上に表示される。例えば、距離ｄ_２は、例えば、熱及び／又は力関連の懸念のためなど、距離ｄ_２が既定の閾値未満に短縮したときに警告を示す、数値的に及び／又は第２の近接スペクトル１６５６ｂに沿って表示され得る。警告は、例えば、スクリーン１６５０上に、並びに／又は追加の視覚信号、聴覚信号、及び／若しくは触覚信号を介して提供され得る。外科用装置１６０２の先端までの距離が選択されるとき、この距離はツールの投影点から組織表面までとすることができ、ロボット制御アームから三次元デカルト座標系によって決定することができる。

裸眼では見えない重要構造１６０１は、スペクトル撮像によって識別され、拡張された第２の図１６５２ｂを介して概略的に示されている。様々な例において、重要構造１６０１の拡張された概略図は、影付き／仮想線の背景形状として示される図３０に示されるように、オンとオフを切り替えることができる。例えば、図３０の選択された距離ｄ_２は、重要構造１６０１に対して直接的ではないため、臨床医の気が散ることを回避するために、及び／又は他の選択された情報に臨床医の注意を集中させるために重要構造１６０１を影付き又は隠して示すことが望ましい場合がある。様々な例において、本明細書に記載されるように、距離ｄ_２は、隠れた重要構造１６０１を表す表面１６０５上の拡張線までの距離であり得、隠れた重要構造１６０１は、状況を示す影付き及び／又は背景画像として概略的に描写され得る。

図３１では、ディスプレイスクリーン１６５０は、装置−血管間距離ｄ_３を表示及び／又は監視することができる第３のビュー１６５２ｃを示す。例えば、図３１では、ダイヤル１６６０は、装置−血管間距離ｄ_３が選択される第３の位置にある。このような場合、距離ｄ_３が監視され、関連情報が画面１６５０上に表示される。例えば、距離ｄ_３は、例えば、熱及び／又は力関連の懸念のためなど、距離ｄ_３が既定の閾値未満に短縮したときに警告を示す、数値的に及び／又は第３の近接スペクトル１６５６ｃに沿って表示され得る。警告は、例えば、スクリーン１６５０上に、並びに／又は追加の視覚信号、聴覚信号、及び／若しくは触覚信号を介して提供され得る。

裸眼では見えない重要構造１６０１は、拡張された第３の図１６５２ｃを介して概略的に示されている。様々な例において、組織１６０３の表面１６０５の拡張された概略図は、影付き／仮想線の形状として示される図３１に示されるように、オンとオフを切り替えることができる。例えば、選択された距離ｄ_３は、表面１６０５の位置に無関係であるため、臨床医の気が散ることを回避するために、及び／又は他の情報に臨床医の注意を集中させるために表面１６０５を影付き又は隠して示すことが望ましい場合がある。特定の例において、三次元表面マップは、構造光及び表面マッピング論理から生成され得、本明細書に更に記載されるように、ディスプレイスクリーン１６５０上の組織１６０３の表面１６０５を選択的に示すために利用することができる。

図２９〜図３１の画像及び／又はその部分のオンとオフを切り替えることができる。様々な例において、外科用可視化システム１６００を、構造のいずれかに添加される造影剤を使用せずに操作することができる。選択的スペクトル撮像は特定の標的の選択可能性を可能にでき、例えば、重要構造（例えば、神経、器官、尿管、静脈、動脈、又はリンパ節）及び腫瘍の境界部又は機械的縁部の識別に基づく特定の距離及び近接警告と対にすることができる。

外科用装置が手術部位の周囲で操作されているとき、臨床医は、１つ以上の他の構造（例えば、表面組織、隠れた重要構造、他の外科用装置など）に対する外科用装置の位置を知り、かつ／又はこれらに対して外科用装置を「見る」ことを望む場合がある。しかしながら、外科用装置又はその一部分は、外科手術中に視界から遮られている場合がある。例えば、組織又は別の解剖学的構造は、臨床医の視点（例えばカメラ）と外科用装置又は外科用装置の一部分（例えば、関節継手及び／又はジョーなど）との間に位置付けられることがあり、臨床医の視界を遮断する場合がある。そのような例において、臨床医は、外科用装置又はその一部分を見ることができない場合があり、外科用装置を重要構造に過度に接近させる危険性があり得る。例えば、臨床医は、外科用ステープラ、切開器具、エネルギー装置、及び／又は針を、意図せずに重要構造に過度に接近して操作する場合があり、重要構造を切開する、ないしは別の方法で傷つける危険性があり得る。

様々な例において、外科用可視化システムは、臨床医にとって、重要構造に対して遮られた／部分的に遮られた外科用装置の可視化を可能にすることができる。例えば、外科用可視化システムは、外科用装置を識別するように構成され得る。様々な例において、例えば、ハイパースペクトル、マルチスペクトル、又は選択的スペクトル撮像などのスペクトル撮像を利用して、外科用装置を識別することができる。他の検出モダリティとしては、例えば、超音波、登録磁気共鳴画像（ＭＲＩ）、及びコンピュータ断層撮影（ＣＴ）スキャンが挙げられる。外科用可視化システムはまた、解剖学的構造及び／又は他の外科用装置に関して識別された外科用装置を描写するように動作可能に構成されたディスプレイを含む撮像システムを含むことができる。

そのような例において、臨床医は、外科用装置及び／又は重要構造が視界から隠される（又は部分的に隠される）場合であっても、外科用装置の重要構造に対する位置を追跡することができる。重要構造に対する隠れた外科用装置の可視化により、重要構造に対して所望の近接度で、臨床医が外科用装置を慎重かつ迅速に操作することを可能にできる。例えば、臨床医は、解剖学的構造から（例えば動脈から）十分に離れた距離に、切開器具を確実に保持することができる。別の例では、臨床医は、生検針を、重要構造内（例えば、腫瘍内）の１つ以上の好適な位置に確実に到達させることができる。

ここで図３２及び図３３を参照すると、外科用可視化システム１８００が示されている。多くの点で、外科用可視化システム１８００は、外科用可視化システム１００（図１）と同様であり得る。例えば、外科用可視化システム１８００は、組織に埋め込まれた、ないしは別の方法で視界から隠された１つ以上の重要構造を識別し、見えている組織及び／又は重要構造に対する１つ以上の距離を決定するように構成され得る。外科用可視化システム１８００は、本明細書で更に説明するように、画像センサを備えるハイパースペクトルカメラ１８２０を含む。例えば、ハイパースペクトルカメラ１８２０は、エミッタ１８０６と受信器１８０８とを含む。エミッタ１８０６は、複数の組織透過波形を放射するように構成されている。様々な例において、エミッタ１８０６は、複数のハイパースペクトル波形、マルチスペクトル波形、又は選択的スペクトル波形を放射するように構成され得、これらは、組織を透過し、１つ以上の重要構造、例えば外科用装置又は別の解剖学的構造に到達するように構成されている。例えば、エミッタ１８０６は、組織１８０３ａ及び１８０３ｂを透過する波形を放射するように構成されている。

例えば神経、血管、又は尿管などの隠れた解剖学的構造の識別は、本明細書で更に説明される。更に、隠れた解剖学的構造を識別することに加えて、スペクトル撮像は、例えば、エンドエフェクタの金属部分、金属シャフト、ステープル、及び／又は金属バンド若しくはプレートなどの金属を検出するように構成することができる。そのような例において、外科用可視化システムは、隠れた外科用装置を更に検出することができる。例えば、ハイパースペクトルカメラ１８２０上の受信器１８０８は、第１のトロカール１８１０ａを通って位置付けられた第１の装置１８０２ａ、及び第２のトロカール１８１０ｂを通って位置付けられた第２の装置１８０２ｂなどの外科用装置を含む重要構造を識別するように構成されている。第１の装置１８０２ａは、エンドエフェクタ１８１２ａを含むロボット把持ツールであり、これは、この例では結腸の一部分である組織１８０３ａによって臨床医の視界から完全に隠されており、エンドエフェクタ１８１２ａは結腸の下に配置されている。第２の装置１８０２ｂは、組織１８０３ａによって臨床医の視界から部分的に隠されたエンドエフェクタ１８１２ｂを含むロボットステープル留めツールである。例えば、エンドエフェクタ１８１２ｂは、組織１８０３ａをクランプするように位置付けられ、したがって、第１のジョーは組織１８０３ａの上に位置付けられ、第２のジョーは組織１８０３ａの下に位置付けられる。

特定の例において、受信器１８０８は、装置１８０２ａ、１８０２ｂのシャフト、及び／又は、装置１８０２ａ、１８０２ｂのそれぞれエンドエフェクタ１８１２ａ、１８１２ｂを識別することができる。一態様では、臨床医は、手術中に、シャフト又はエンドエフェクタ１８１２ａ、１８１２ｂ又は装置１８０２ａ、１８０２ｂの別の部分を選択し、又はタグ付けし、追跡することができる。例えば、臨床医は、装置１８０２ａ、１８０２ｂのうちの１つのシャフトの追跡を選択して、ツールの側面が他の隣接する解剖学的構造に対してどこにあるかという情報を得ることができる。追加的に又は代替的に、受信器１８０８は、組織１８０３ｂに埋め込まれた動脈１８０１などの１つ以上の解剖学的構造を識別することができる。構造のタグ付けは、参照によりその全体が本明細書に組み込まれる、例えば、同時出願の、「ＳＵＲＧＩＣＡＬＶＩＳＵＡＬＩＺＡＴＩＯＮＡＮＤＭＯＮＩＴＯＲＩＮＧ」と題する米国特許出願第１６／１２８，１９３号に更に記載されている。

受信器１８０８は、手術中に、重要構造（例えば、エンドエフェクタ１８１２ａ、１８１２ｂ、及び動脈１８０１）の位置を追跡するように構成されている。様々な例において、外科用可視化システム１８００は、図３２に示される低侵襲結腸直腸手術などの低侵襲外科処置中に使用するように構成されている。外科用可視化システム１８００はまた、カメラ１８２０及びディスプレイ１８５０を含む撮像システムを含む（図３３）。重要構造の位置は、撮像システムのディスプレイ１８５０を介して臨床医に伝達され得る。

ここで図３３を参照すると、ディスプレイ１８５０は、リアルタイムで手術部位のビデオフィードを表示するように構成されたモニタである。例えば、カメラ１８２０からの画像は、手術部位のライブ画像を臨床医に提供するために、手術中にディスプレイ１８５０に伝達され得る。更に、手術部位の画像は、隠れた重要構造及び／又は距離を含む追加情報で拡張され得る。ディスプレイ１８５０は、手術部位の画像に拡張されている隠れた部分を含む、埋め込まれた動脈１８０１及び外科用装置１８０２ａ、１８０２ｂを示す。

様々な例において、ディスプレイ１８５０はまた、手術部位において特定の解剖学的構造の三次元レンダリングを描写することができる。例えば、組織１８０３ａ（結腸の一部）を、ディスプレイ１８５０上に描写することができる。結腸のレンダリングは、本明細書に更に記載されるように、構造光及び表面マッピング論理を介して得ることができる。例えば、ハイパースペクトルカメラ１８２０は、構造光源を更に含むことができ、構造光源は、例えば組織１８０３ａ及び／又は組織１８０３ｂ上に構造光パターンを放射することができる。更に、ハイパースペクトルカメラ１８２０はまた、構造光パターンを検出するように構成されている受信器を含むことができる。図３３の図を参照すると、結腸は、構造光及び表面マッピング論理から得られた影付き／背景画像として示されており、スペクトル撮像システム（例えば、ハイパースペクトルカメラ１８２０及びスペクトル撮像識別論理）によって識別された重要構造（例えば、エンドエフェクタ１８１２ａ、１８１２ｂ、及び動脈１８０１）は、ディスプレイ１８５０上の結腸に重なっている。

ディスプレイ１８５０はまた、外科用装置１８０２ａ、１８０２ｂのうちの一方又は両方の動脈１８０１への近接度を通信する近接スペクトルインジケータ１８５６を含む。特定の例において、近接スペクトルインジケータ１８５６は、最も近い外科用装置１８０２ａ、１８０２ｂの近接度を表示することができる。他の例において、最も近い外科用装置１８０２ａ、１８０２ｂの近接度をデフォルトモードとすることができるが、臨床医は、別の外科用装置及び／又は解剖学的構造を選択的に選ぶことができる。更に他の例において、近接スペクトルインジケータ１８５６は、異なる外科用装置１８０２ａ、１８０２ｂの間で選択する及び／又は切り替えることができ、又は異なる外科用装置１８０２ａ、１８０２ｂのための異なるスペクトルインジケータ１８５６を含むことができる。

近接スペクトルインジケータ１８５６は、色（例えば、赤色、黄色、緑色）、寸法、及び／又は他の記号を利用して、外科用装置１８０２ａ、１８０２ｂの動脈１８０１への近接度を通信することができる。例えば、近接ゾーンを動脈１８０１の周囲に画定することができ、色又は色の範囲を割り当てることができる。距離が手術中に変化すると、マーカー１８５４は近接スペクトルインジケータ１８５６に沿って移動して近接ゾーンをリアルタイムで伝達することができる。更に図３３を参照すると、マーカー１８５４は、例えば、最も近い外科用装置及び動脈１８０１の近接度が減少するにつれて、緑色ゾーンから黄色ゾーン、赤色ゾーンへと移動することができる。

様々な例において、外科用可視化システム１８００は、外科用装置１８０２ａ、１８０２ｂのうちの１つが重要構造、例えば動脈１８０１の周囲の所定の位置範囲／最小距離限界／近接ゾーンに接近したときに、アラート、警告、又は他の指示を臨床医に提供するように構成される。警告は、外科用装置１８０２ａ、１８０２ｂの種類及び重要構造の種類に基づいて、異なる重要距離で提供され得る。一例において、外科用可視化システム１８００は、マーカー１８５４が赤色ゾーン内に移動するときに警告を提供することができる。

外科用可視化システム１８００は、それぞれエンドエフェクタ１８１２ａ及び１８１２ｂからの１つ以上の距離ｄ_ａ及びｄ_ｂを決定するように構成されている。例えば、外科用可視化システム１８００は、飛行時間距離測定を利用して、（例えば、本明細書で更に説明するように、外科用装置１８０２ａ、１８０２ｂ及び動脈１８０１までの標的化組織透過波長を用いて）カメラ１８２０からの様々な距離を決定することができる。次いで、三角測量アルゴリズムが、例えば、距離ｄ_ａ及びｄ_ｂなどの構造間の相対距離を決定することができる。

外科用可視化システムは、生検中に利用され得る。超音波支援生検処置が図３８に示されており、ここでは、超音波装置１９２０は、手術部位に向けられた超音波１９２４を放射するように構成されている。この例では、臨床医が生検針１９０２を結節１９０１に向かって誘導できるように、超音波１９２４は、甲状腺１９０３内の結節１９０１、又は腫瘍の位置を識別するために甲状腺１９０３に向けられる。様々な例において、結節１９０１内で複数の試料を取り、結節１９０１内の異なる位置から生検組織を取ることが望ましい場合がある。超音波支援生検は、ｗｗｗ．ｆａｉｒｖｉｅｗ．ｏｒｇ／ｐａｔｉｅｎｔ−ｅｄｕｃａｔｉｏｎ／９０２４６で入手可能な文献である、ＴＨＹＲＯＩＤＦＩＮＥＮＥＥＤＬＥＡＳＰＩＲＡＴＩＯＮ（ＦＮＡ）ＢＩＯＰＳＹに更に記載されている。

一態様では、スペクトル撮像技術を含む外科用可視化システムを生検処置中に利用することができる。ここで図３４〜図３７を参照すると、外科用可視化システム２０００が示されている。多くの点で、外科用可視化システム２０００は、外科用可視化システム１００（図１）と同様であり得る。例えば、外科用可視化システム２０００は、組織に埋め込まれた、ないしは別の方法で視界から隠された１つ以上の重要構造を識別し、見えている組織及び／又は重要構造に対する１つ以上の距離を決定するように構成され得る。

外科用可視化システム２０００は、本明細書で更に説明するように、画像センサを備えるハイパースペクトルカメラ２０２０を含む。例えば、カメラ２０２０は、エミッタ２００６と受信器２００８とを含む。エミッタ２００６は、複数の組織透過波を放射するように構成されている。様々な例において、エミッタ２００６は、複数のハイパースペクトル波形、マルチスペクトル波形、又は選択的スペクトル波形を放射するように構成され得、これらは、組織を透過し、１つ以上の重要構造、例えば針２００２及び腫瘍２００１に到達するように構成されている。例えば、エミッタ２００６は、甲状腺などの組織２００３の表面２００５を透過する波形を放射するように構成されている。通常、金属及び／又はプラスチックで構成される針２００２の分子組成が組織とは異なることを考慮すると、これらの材料のスペクトルシグネチャが異なるため、スペクトル撮像によって、組織２００３及び腫瘍２００１から埋め込まれた針２００２を区別することができる。更に、本明細書に更に記載されるように、スペクトル撮像は、異なる種類の組織（すなわち、甲状腺２００３及びその中に埋め込まれた腫瘍２００１）を区別することができる。外科用可視化システム２０００は、組織（例えば、甲状腺２００３の組織）及び／又は重要構造（例えば、腫瘍２００１）への吸引針２００２の近接度を伝達及び／又は決定するように構成されている。例えば、外科用可視化システム２０００は、吸引針２００２、組織２００３、及び標的腫瘍２００１間のスペクトルシグネチャの差を使用して、組織２００３及び標的化された重要構造（すなわち、腫瘍２００１）に対する吸引針２００２の深さを決定することができる。したがって、外科用可視化システム２０００は、超音波装置１９２０（図３８）の代わりに利用され得る。

外科用可視化システム２０００はまた、本明細書で更に説明するように、構造光源及び表面マッピング論理も含む。一態様では、カメラ２０２０は構造光源を含む。例えば、エミッタ２００６は、スペクトル撮像波形と構造光パターンとの間を選択的にパルス放射するように構成され得る。特定の態様では、カメラ２０２０はまた、組織２００３の表面２００５上の構造光のパターンを検出するように構成される。表面マッピング論理は、本明細書に更に記載されるように、撮像システムに提供され、スペクトル撮像システムからのデータと重ねられ得る、組織表面２００５の三次元モデル又はレンダリングを生成するように構成される。

図３４では、針２００２の先端２０１２は、解剖学的標的である組織２００３の表面２００５から距離ｄ_１、及び埋め込まれた腫瘍２００１の表面からの距離ｄ_２に位置する。図３６では、針２００２の先端２０１２は、腫瘍２００１の表面から腫瘍２００１内に距離ｄ_２まで前進させられる。組織２００３及び腫瘍２００１に対する針２００２の位置は、撮像システムに伝達される。例えば、外科用可視化システム２０００は、カメラ２０２０及びディスプレイ２０５０を含む撮像システムを含み得る（図３５及び図３７）。本明細書で更に説明されるように、カメラ２０２０は画像センサを含む。識別された構造（例えば、腫瘍２００１及び針２００２）の位置は、ディスプレイ２０５０を介して臨床医に伝達され得る。

ディスプレイ２０５０は、リアルタイムで手術部位のビデオフィードを表示するように構成されたモニタである。例えば、カメラ２０２０からの画像は、手術部位のライブ画像を臨床医に提供するために、手術中にディスプレイ２０５０に伝達され得る。手術部位の画像は、隠れた重要構造及び／又は距離を含む追加情報で拡張され得る。例えば、ディスプレイ２０５０は、埋め込まれた腫瘍２００１及び、組織によって臨床医の視界から隠されている針２００２の部分を含む、針２００２を示す。

様々な例において、ディスプレイ２０５０はまた、手術部位において特定の解剖学的構造の三次元レンダリングを描写する。例えば、組織２００３はディスプレイ２０５０上に示されている。解剖学的標的組織２００３のレンダリングは、本明細書に更に記載されるように、構造光及び表面マッピング論理を介して得ることができる。例えば、ハイパースペクトルカメラ２０２０は、構造光源を更に含むことができ、構造光源は、例えば組織２００３上に構造光パターンを放射することができる。更に、ハイパースペクトルカメラ２０２０は、構造光パターンを検出するように構成されている受信器を含むことができる。図３５及び図３７を参照すると、組織２００３及び埋め込まれた重要構造（例えば、針２００２及び腫瘍２００１）は、ディスプレイ２０５０上の画像内で重なり合う。

ディスプレイ２０５０はまた、針２００２の、組織２００３の表面２００５まで（距離ｄ_１）及び埋め込まれた腫瘍２００１の表面（距離ｄ_２）までの近接度を通信する、近接スペクトルインジケータ２０５６ａ、２０５６ｂを含む。例えば、近接スペクトルインジケータ２０５６ａ、２０５６ｂは、表面からの正及び負の値の距離を画定することができる。図３４では、針２００２は、組織２００３の内側及び腫瘍２００１の外側にあり、図３５では、近接スペクトルインジケータ２０５６ａは、距離ｄ_１が負の値であることを示し、近接スペクトルインジケータ２０５６ｂは、距離ｄ_２が正の値であることを示す。図３６では、針２００２は、組織２００３の内側及び腫瘍２００１の内側にあり、図３７では、近接スペクトルインジケータ２０５６ａは、距離ｄ_１が負の値であることを示し、近接スペクトルインジケータ２０５６ｂは、距離ｄ_２もまた負の値であることを示す。

様々な態様では、近接スペクトルインジケータ２０５６ａ、２０５６ｂは、近接度を検出するために、色、数値若しくは範囲、及び／又は他の記号を含むことができる。特定の例において、単一の近接スペクトルインジケータは、異なる距離ｄ_１とｄ_２との間で選択する及び／若しくは切り替えることができ、並びに／又は、臨床医は表示する１つ以上の距離を選択することができる。

様々な例において、外科用可視化システム２０００は、針２００２が所定の位置範囲、最小距離限界、及び／又は腫瘍２００１の周囲の近接ゾーン、及び／又は組織２００３内の深さに接近したときに、アラート、警告、又は他の指示を臨床医に提供するように構成されている。

外科用可視化システム２０００は、飛行時間センサシステム（例えば、本明細書で更に説明されるように、表面２００５、針２００２、及び腫瘍２００１に対する標的波長を用いる）を用いて、１つ以上の距離を決定するように構成される。更に、三角測量アルゴリズムが、例えば、距離ｄ_１及びｄ_２などの構造間の相対距離を決定することができる。

特定の例において、図３４〜図３７に示される生検手順は、例えば、図３８に示すように、接触式超音波誘導によって拡張され得る。

本明細書に開示される様々な外科用可視化システムは、組織に埋め込まれた、ないしは別の方法で視界から隠された１つ以上の重要構造を識別し、見えている組織及び／又は重要構造に対する１つ以上の距離を決定するように構成されている。特定の例において、重要構造は、例えば、把持具、切開器具、ステープラ、ステープル、ステープル列／ライン、円形ステープラ、円形ステープラアンビル、胃ブジー、又はヘルニア用タック／クリップなどの外科用装置であり得る。外科手術中に、これらの重要構造の位置を追跡することが望ましい場合がある。例えば、外科手術における後続の工程は、事前の工程中に埋め込まれた及び／又は移動された重要構造の位置に依存し得る。

一例として、結腸の下側前方切除術（ＬＡＲ）の間、臨床医は、端部の吻合を行う前に、結腸の端部に沿ってステープルラインを特定し、追跡することを望む場合がある。図３９〜図４１の例示的なＬＡＲ手順を参照すると、結腸２２７０は、例えば癌性腫瘍などの中間部分を除去するために、２つの部分、第１の結腸部分２２７２及び第２の結腸部分２２７４に横方向切断される場合がある。ステープルの列は、切除前に第１の結腸部分２２７２及び／又は第２の結腸部分２２７４の終端部を封止することができる。

円形ステープラ２２０２は、第１及び第２の結腸部分２２７２及び２２７４を切除するために利用され得る。図３９に示されるように、円形ステープラ２２０２は、第１の結腸部分２２７２内に位置付けられ、アンビル２２０４は、第２の結腸部分２２７４内に位置付けられる。例えば、円形ステープラ２２０２を肛門経由で挿入することができ、アンビル２２０４を切開部を通して配置することができる。アンビル２２０４及び円形ステープラ２２０２は整列され、図４０に示されるように、アンビル２２０４は円形ステープラ２２０２に固定され得る。例えば、円形ステープラ２２０２のトロカール２２０６（図３９）は、アンビル２２０４のシャフト２２０８（図３９）内に配置することができる。その後、図４１を参照すると、円形ステープラ２２０２は、アンビル２２０４に対してナイフ及びステープルを発射して、第１の結腸部分２２７２と第２の結腸部分２２７４との間に封止された経路を形成する。ＬＡＲ手順は、ａｂｄｏｍｉｎａｌｋｅｙ．ｃｏｍ／ｏｐｅｎ−ｔｅｃｈｎｉｑｕｅ−ｆｏｒ−ｌｏｗ−ａｎｔｅｒｉｏｒ−ｒｅｓｅｃｔｉｏｎで入手可能なＯＰＥＮＴＥＣＨＮＩＱＵＥＦＯＲＬＯＷＡＮＴＥＲＩＯＲＲＥＳＥＣＴＩＯＮで更に説明される。

円形ステープラ２２０２及びアンビル２２０４の適切な整列は、第１の結腸部分２２７２及び第２の結腸部分２２７４を封止するために重要である。したがって、手術中に円形ステープラ２２０２及び／又はアンビル２２０４を可視化することが有用であり得る。ステープルラインの位置を可視化し、それに対して１つ以上の距離を決定することも有用であり得る。例えば、臨床医は、手術中に円形ステープラ２２０２、アンビル２２０４、及び１つ以上のステープルライン（したがって、結腸２２７０の切断された端部）の近接度を追跡して、装置の位置合わせ及び／又は位置決めを容易にすることを望む場合がある。外科用可視化システムは、本明細書に開示されるように、円形ステープラ２２０２、トロカール２２０６、及びアンビル２２０４の位置、並びに、例えば結腸２２７０の所望の出口点に対するトロカール２２０６の位置を画像化、可視化、及び追跡することができる。

ここで図４２〜図４５を参照すると、外科用可視化システム２３００が示されている。多くの点で、外科用可視化システム２３００は、外科用可視化システム１００（図１）と同様であり得る。例えば、外科用可視化システム２３００は、組織に埋め込まれた、ないしは別の方法で視界から隠された１つ以上の重要構造を識別し、見えている組織及び／又は重要構造に対する１つ以上の距離を決定するように構成され得る。外科用可視化システム２３００は、本明細書で更に説明するように、画像センサを備えるハイパースペクトルカメラ２３２０を含む。例えば、カメラ２３２０は、エミッタ２３０６と受信器２３０８とを含む。エミッタ２３０６は、複数の組織透過波を放射するように構成されている。様々な例において、エミッタ２３０６は、複数のハイパースペクトル波形、マルチスペクトル波形、又は選択的スペクトル波形を放射するように構成され得、これらは、組織を透過し、１つ以上の重要構造、例えば外科用装置又は別の解剖学的構造に到達するように構成されている。例えば、エミッタ２３０６は、結腸２３０３を透過する波形を放射するように構成されている。外科用可視化システム２３００はまた、構造光源を含む。

例えば、神経、血管、又は尿管などの隠れた解剖学的構造の識別、及び、例えば、外科用エンドエフェクタ、シャフト、又はステープルなどの外科用装置が、本明細書に更に記載される。例えば、ハイパースペクトルカメラ２３２０上の受信器２３０８は、第１の装置２３０２ａ及び第２の装置２３０２ｂなどの外科用装置を含む重要構造を識別するように構成されている。第１の装置２３０２ａはロボット把持ツールであり、第２の装置２３０２ｂはロボットステープル留めツールである。他の例において、装置２３０２ａ、２３０２ｂは、手持ち式外科用器具であってもよく、例えば腹腔鏡手術で使用されてもよい。特定の例において、受信器２３０８は、装置２３０２ａ、２３０２ｂのシャフト及び／又はエンドエフェクタを識別することができる。加えて、ハイパースペクトルカメラ２３２０上の受信器２３０８は、結腸２３０３内のステープルライン２３８０ａ、２３８０ｂを識別するように構成されている。一態様では、臨床医は、重要構造（例えば、外科用装置２３０２ａ、２３０２ｂ及び／又はステープルライン２３８０ａ、２３８０ｂ）の一部分を選択するか、又はタグを付けし、外科手術中に追跡することができる。構造のタグ付けは、参照によりその全体が本明細書に組み込まれる、例えば、同時出願の、「ＳＵＲＧＩＣＡＬＶＩＳＵＡＬＩＺＡＴＩＯＮＡＮＤＭＯＮＩＴＯＲＩＮＧ」と題する米国特許出願第１６／１２８，１９３号に更に記載されている。

受信器２３０８は、手術中に、重要構造（例えば、外科用装置２３０２ａ、２３０２ｂ、及びステープルライン２３８０ａ、２３８０ｂ）の位置を追跡するように構成されている。様々な例において、図３９〜図４１に示されるように、外科用可視化システム２３００はＬＡＲ処置中に使用するように構成されている。このような処置では、覆い隠された、又は部分的に覆い隠れた外科用装置２３０２ａ、２３０２ｂを、こちらも覆い隠され得る、又は部分的に覆い隠され得るステープルライン２３８０ａ、２３８０ｂに対して可視化することが有用であり得る。例えば、１つ以上の重要構造は、脂肪又は腸間膜によって覆い隠され得る。外科用可視化システム２３００はまた、カメラ２３２０及びディスプレイ２３５０を含む撮像システムを含む（図４３及び４５）。外科用装置２３０２ａ、２３０２ｂ及びステープルライン２３８０ａ、２３８０ｂの相対位置は、撮像システムのディスプレイ２３５０を介して臨床医に伝達され得る。

ここで図４３を参照すると、ディスプレイ２３５０は、リアルタイムで手術部位のビデオフィードを表示するように構成されたモニタである。例えば、カメラ２３２０からの画像は、手術部位のライブ画像を臨床医に提供するために、手術中にディスプレイ２３５０に伝達され得る。更に、手術部位の画像は、隠れた重要構造及び／又は距離を含む追加情報で拡張され得る。ディスプレイ２３５０は、手術部位の画像に拡張されている隠れた部分を含む、埋め込まれたステープルライン２３８０ａ、２３８０ｂ及び外科用装置２３０２ａ、２３０２ｂを示す。

様々な例において、ディスプレイ２３５０はまた、手術部位において特定の解剖学的構造の三次元レンダリングを描写する。例えば、結腸２３０３はディスプレイ２３５０上に示され得る。結腸２３０３及びその動きのレンダリングは、本明細書に更に記載されるように、構造光及び表面マッピング論理を介して得ることができる。例えば、ハイパースペクトルカメラ２３２０は、構造光源を更に含むことができ、構造光源は、例えば結腸２３０３上に構造光パターンを放射することができる。更に、ハイパースペクトルカメラ２３２０はまた、構造光パターンを検出するように構成されている受信器を含むことができる。他の例において、別個の装置は、構造光パターンを放射及び／又は検出することができる。図４３及び図４５の図を参照すると、結腸２３０３は、構造光及び表面マッピング論理から得られた影付き／背景画像として示されており、スペクトル撮像システムによって識別された重要構造（例えば、外科用装置２３０２ａ、２３０２ｂ、及びステープルライン２３８０ａ、２３８０ｂ）は、ディスプレイ２３５０上の結腸２３０３の三次元レンダリングに重なっている。

ディスプレイ２３５０はまた、外科用装置２３０２ａ、２３０２ｂのうちの一方又は両方のステープルライン２３８０ａ、２３８０ｂの一方又は両方への近接度を通信する近接スペクトルインジケータ２３５６を含む。様々な例において、臨床医は、ステープルライン２３８０ａ、２３８０ｂ及び外科用装置２３０２ａ、２３０２ｂを選択的に選び、近接スペクトルインジケータ２３５６を追跡して監視し、及び／又はディスプレイ２３５０上に表示することができる。他の例において、近接スペクトルインジケータ２３５６は、異なる外科用装置２３０２ａ、２３０２ｂ、及び／又はステープルライン２３８０ａ、２３８０ｂの間で選択する及び／又は切り替えることができ、又は異なる外科用装置２３０２ａ、２３０２ｂ、及びステープルライン２３８０ａ、２３８０ｂのための異なるスペクトルインジケータ２３５６を含むことができる。特定の例において、タグ付けされたステープルライン２３８０ａ、２３８０ｂを、カメラ２３２０によって追跡し、例えばディスプレイ２３５０上で視認可能なままにすることができる。

近接スペクトルインジケータ２３５６は、色（例えば、赤色、黄色、緑色）、寸法、及び／又は他の記号を利用して、外科用装置２３０２ａ、２３０２ｂのステープルライン２３８０ａ、２３８０ｂへの近接度を通信することができる。例えば、近接ゾーンをステープルライン２３８０ａ、２３８０ｂの周囲に画定することができ、色又は色の範囲を割り当てることができる。距離が手術中に変化すると、マーカー２３５４は近接スペクトルインジケータ２３５６に沿って移動して近接ゾーンをリアルタイムで伝達することができる。更に図４３及び図４５を参照すると、マーカー２３５４は、例えば、近接度が減少するにつれて、緑色ゾーンから黄色ゾーン、赤色ゾーンへと移動することができる。

様々な例において、外科用可視化システム２３００は、外科用装置２３０２ａ、２３０２ｂのうちの１つがステープルライン２３８０ａ、２３８０ｂの周囲の所定の位置範囲／最小距離限界／近接ゾーンに接近したときに、アラート、警告、又は他の指示を臨床医に提供するように構成される。警告は、外科用装置２３０２ａ、２３０２ｂの種類に基づいて、異なる重要距離で提供され得る。一例において、外科用可視化システム２３００は、マーカー２３５４が赤色ゾーン内に移動するときに警告を提供することができる。

外科用可視化システム２３００は、それぞれ外科用装置２３０２ａ及び２３０２ｂからの１つ以上の距離を決定するように構成されている。例えば、外科用可視化システム２３００は、飛行時間距離測定を利用して、（例えば、本明細書で更に説明するように、外科用装置２３０２ａ、２３０２ｂ及びステープルライン２３８０ａ、２３８０ｂまでの標的化波長を用いて）カメラ２３２０からの様々な距離を決定することができる。次いで、三角測量アルゴリズムが、例えば構造間の相対距離を決定することができる。

特定の例において、ロボットシステムは、それを把持し、吻合などの後続の外科的工程のために結腸を位置付けるかのように、タグ付けされたステープルライン２３８０ａ、２３８０ｂに自律的に追跡するように構成され得る。例えば、ロボットシステムは、ステープルライン２３８０ａ、２３８０ｂから予め設定された距離だけ離れた位置、及び／又はステープルライン２３８０ａ、２３８０ｂの上方に自動的に移動することができる。ステープルライン２３８０ａ、２３８０ｂに近接して自動的に移動すると、ロボットコンソールにいる臨床医は、コマンドステーション／コンソールにおいて制御部を介して外科用ツールを更に位置付けることができる。

例えば、結腸２３０３の吻合を図４４及び図４５に示す。結腸２３０３の吻合のための円形ステープル２３０２ｃ及びアンビル２３０２ｄを備える外科用装置２３０２が図４４に示されている。例えば、ロボットシステムは、外科用装置２３０２ａを制御してステープルライン２３８０ａを掴み、ステープルライン２３８０ａを、外科用装置２３０２のアンビル２３０２ｄと共に円形ステープラ２３０２ｃに向かって引くことができる。そのような例において、ハイパースペクトルカメラ２３２０は、結腸２３０３の下部に隠れている円形ステープラ２３０２ｃ、及び結腸２３０３の上部に隠れているアンビル２３０２ｄを検出するように構成されている。特定の例において、アンビル２３０２ｄ及び円形ステープラ２３０２ｃの可視化は、アンビル２３０２ｄと円形ステープラ２３０２ｃのトロカール２３１２との整列を容易にすることができる。

ここで図４５を参照すると、外科用可視化システム２３００用のディスプレイ２３５０が示される。ディスプレイ２３５０は、これらの隠れた部分を含む、覆い隠されたステープルライン２３８０ａ、２３８０ｂ、外科用装置２３０２ａ、円形ステープラ２３０２ｃ、アンビル２３０２ｄ、及び別の把持装置２３０２ｅを示し、結腸２３０３の可視組織の表面マップ上に重ね合わされている。ディスプレイ２３５０は、アンビル２３０２ｄから第１のステープルライン２３８０ａまでの距離ｄ_１、及びアンビル２３０２ｄから円形ステープラ２３０２ｃのトロカール２３１２までの距離ｄ_２を用いて更に拡張されている。

外科用可視化システム２３００を利用して、腹腔鏡から見たときに、結腸２３０３内の外科用装置２３０２（すなわち、円形ステープラ２３０２ｃ及びアンビル２３０２ｄ）を見ることができる。様々な例において、臨床医は、外科用装置２３０２又は他の外科用装置の表示のオン又はオフを切り替えることができる。外科用装置２３０２が見えているとき、臨床医は、円形ステープラ２３０２ｃ、トロカール２３１２、及びアンビル２３０２ｄの位置を知ることができる。加えて、臨床医は、結腸２３０３からの所望の出口点に対するトロカール２３１２の位置を可視化することができる。

ここで図４６を参照すると、胃２４０３は、外科用装置、より具体的には内部に配置されたブジー２４０２と共に示されている。ブジー２４０２は、典型的には可撓性又は柔軟性本体２４１２からなる外科用装置である。ブジー２４０２はまた、剛性プラスチック又は金属から構成され得る１つ以上のバンド２４１４ａ、２４１４ｂ、２４１４ｃ、２４１４ｄ、２４１４ｅ、２４１４ｆ、２４１４ｇを含むことができる。スリーブ状胃切除術中、ブジー２４０２を、胃２４０３の小彎に沿って胃２４０３内に配置させ、胃の隣接する部分、典型的には胃底２４０５を除去することができる。例えば、ステープルのライン２４１６は胃２４０３を切開し、胃２４０３の残りの部分から胃底２４０５を除去することができる。

ここで図４７を参照すると、スリーブ状胃切除術のステープル留め工程が示されている。ステープル留め工程において、リニアステープラ２５０２ａ及び把持具２５０２ｂは、胃の組織２５０３に影響を及ぼしている。ステープラ２５０２ａ及び把持具２５０２ｂは、例えばロボット外科手術中のロボットツールであってよい。幽門などの重要構造２５０１は、組織２５０３によって少なくとも部分的に隠されている。更に、ブジー２５１２は、胃の組織２５０３内に配置される。様々な例において、外科医は、重要構造２５０１に対するリニアステープラ２５０２ａ、把持具２５０２ｂ、及び／又はブジー２５１２の位置を知ることを望む場合がある。例えば、ブジー２５１２を、重要構造２５０１から最小距離α、例えば幽門から少なくとも５ｃｍだけ離間させることが重要であり得る。そのような例において、重要構造２５０１は、ブジー２５１２の位置決めのための解剖学的ランドマークを構成する。様々な例において、例えば、重要構造２５０１及び／又はブジー２５１２などの検出可能な重要構造は、他の外科用装置の位置決めのための解剖学的ランドマークとして機能することができる。様々な解剖学的構造に対するブジー２５１２の適切な位置決めを確実にするために、他の距離についても監視及び／又は可視化することもできる。例えば、ステープル上の過度の歪みを防止しながら、胃スリーブの適切なサイズ決定のために、リニアステープラ２５０２ａをブジー２５１２から適切な距離に位置付けることが重要であり得る。胃スリーブ処置は、その全体が参照により本明細書に組み込まれ、ｍｅｄｉｃａｌｄｅｖｉｃｅｓ．ａｓｍｅｄｉｇｉｔａｌｃｏｌｌｅｃｔｉｏｎ．ａｓｍｅ．ｏｒｇ／ａｒｔｉｃｌｅ．ａｓｐｘ？ａｒｔｉｃｌｅｉｄ＝１４７４０２８で入手可能な、文献「ＳｌｅｅｖｅＧａｓｔｒｅｃｔｏｍｙＳｕｒｇｉｃａｌＡｓｓｉｓｔｉｖｅＩｎｓｔｒｕｍｅｎｔｆｏｒＡｃｃｕｒａｔｅＲｅｍｎａｎｔＳｔｏｍａｃｈＶｏｌｕｍｅ」ＡＳＭＥ，Ｊ．Ｍｅｄ．Ｄｅｖｉｃｅｓ，２０１０；Ｖｏｌ．４，Ｉｓｓｕｅ２で更に説明されている。胃スリーブ処置は、ａｉｓｃｈａｎｎｅｌ．ｃｏｍ／ｓｏｃｉｅｔｙ／ｍａｉｎ−ｓｔｅｐｓ−ｔｏ−ｐｅｒｆｏｒｍ−ａ−ｓｌｅｅｖｅ−ｇａｓｔｒｅｃｔｏｍｙ／で更に説明されている。

ここで図４８及び図４９を参照すると、外科用可視化システム２６００が図示されている。多くの点で、外科用可視化システム２６００は、外科用可視化システム１００（図１）と同様であり得る。例えば、外科用可視化システム２６００は、組織に埋め込まれた、ないしは別の方法で視界から隠された１つ以上の重要構造を識別し、見えている組織及び／又は重要構造に対する１つ以上の距離を決定するように構成され得る。具体的には、外科用可視化システム２６００は、胃スリーブ処置中に胃２６０３内に位置する隠れたブジー２６１２の可視化を可能にするように構成されている。ブジー２６１２は、可撓性の膨張式本体、つまりスリーブ２６１４及びバンド２６１６を含む。他の例において、ブジー２６１２は、図４８に示される５つのバンド２６１６よりも多い又は少ないバンドを有してもよい。バンド２６１６は、本体２６１４とは異なる材料で構成される。本明細書に更に記載されるように、ブジー２６１２が胃２６０３内に隠れているときであっても、スペクトル撮像は異なる材料、つまりブジー２６１２の位置を識別するように構成され得る。例えば、ブジー２６１２は、スペクトル撮像で検出することができる主要なセグメントにおいて光学的に異なる材料から構成される。

外科用可視化システム２６００は、本明細書で更に説明するように、画像センサを備えるハイパースペクトルカメラ２６２０を含む。例えば、カメラ２６２０は、エミッタ２６０６と受信器２６０８とを含むことができる。カメラ２６２０は、手術部位を画像化するために腹腔鏡処置中に利用することができる。エミッタ２６０６は、複数の組織透過波を放射するように構成されている。様々な例において、エミッタ２６０６は、複数のハイパースペクトル波形、マルチスペクトル波形、又は選択的スペクトル波形を放射するように構成され得、これらは、組織を透過し、１つ以上の重要構造、例えば外科用装置又は別の解剖学的構造に到達するように構成されている。例えば、エミッタ２６０６は、胃２６０３を透過する波形を放射するように構成されている。外科用可視化システム２６００はまた、胃２６０３の表面トポグラフィを決定するように構成され得る、構造光源及び受信器／画像センサ２０６８を含むことができる。

例えば、神経、血管、又は尿管などの隠れた解剖学的構造の識別、及び、例えば、外科用エンドエフェクタ、シャフト、又はステープルなどの外科用装置が、本明細書に更に記載される。例えば、ハイパースペクトルカメラ２６２０上の受信器２６０８は、ブジー２６１２、本体２６１４、及びバンド２６１６などの外科用装置、並びにリニアステープラ２６０２などの外科用ツールを含む重要構造を識別し、追跡するように構成されている。

外科用可視化システム２６００はまた、カメラ２６２０及びディスプレイ２６５０を含む撮像システムを含む（図４９）。リニアステープラ２６０２及びブジー２６１２の相対位置は、撮像システムのディスプレイ２６５０を介して臨床医に伝達され得る。

ここで図４９を参照すると、ディスプレイ２６５０は、リアルタイムで手術部位のビデオフィードを表示するように構成されたモニタである。例えば、カメラ２６２０からの画像は、手術部位のライブ画像を臨床医に提供するために、手術中にディスプレイ２６５０に伝達され得る。更に、手術部位の画像は、隠れた重要構造及び／又は距離を含む追加情報で拡張され得る。ディスプレイ２６５０は、手術部位の画像に拡張された、覆い隠されたブジー２６１２を示す。様々な例において、ブジー２６１２などの覆い隠された重要構造の可視化は、臨床医によってオンとオフの切り替えができる。例えば、ブジー２６１２は、デフォルトの画像では影として描写することができ、特定のユーザ入力によってディスプレイ２６５０から選択的に消すことができる。

様々な例において、ディスプレイ２６５０はまた、手術部位において特定の解剖学的構造の三次元レンダリングを描写する。例えば、胃２６０３はディスプレイ２６５０上に示され得る。胃２６０３のレンダリングは、本明細書に更に記載されるように、構造光及び表面マッピング論理を介して得ることができる。図４９の図を参照すると、胃２６０３は、構造光及び表面マッピング論理から得られた影付き／背景画像として示され、重要構造（例えば、ブジー２６１２並びにリニアステープラ２６０２）は背景に重なっている。換言すれば、隠れた構造のスペクトル画像は、胃２６０３の三次元表示と統合される。

外科用可視化システム２６００は、リニアステープラ２６０２及び／又はブジー２６１２から、幽門、すなわち胃２６０３から小腸内への開口部などの重要構造までの１つ以上の距離を決定するように構成されている。外科用可視化システム２６００は、飛行時間距離測定を利用して、（例えば、本明細書で更に説明するように、外科用装置及び／又は解剖学的構造までの標的化波長を用いて）カメラ２６２０からの様々な距離を決定することができる。次いで、三角測量アルゴリズムが、例えば構造間の相対距離を決定することができる。様々な例において、本明細書に更に記載されるように、距離が閾値及び／又は範囲を満たすときに、警報を提供することができる。

様々な例において、ブジー２６１２の異なる材料は、リニアステープラ２６０２の位置決めを補助することができる。例えば、特定の胃スリーブ処置において、触覚により、リニアステープラ２６０２の配置に関するフィードバックを臨床医に提供することができる。例えば、臨床医は胃２６０３を触診してブジー２６１２の位置を判定することができる。しかしながら、ロボットを利用すると、臨床医は、感覚／触覚フィードバックに基づいてブジー６２１２の位置を十分に評価することができない場合がある。ブジー２６１２の可視化は、触覚の代わり及び／又は捕捉になり得る。例えば、外科用可視化システム２６００は、リニアステープラ２６０２の遠位端からブジー２６１２までの距離を決定するように構成されており、ロボットシステムが様々な医療装置を位置決めするのを支援することができる。更に、距離及び／又は位置は、本明細書に更に記載されるように、撮像システムによって臨床医に伝達され得る。

様々な態様において、外科用可視化システムは、例えば、クリップなどの金属製締結具を識別するように構成され得る。例えば、外科手術中に外科用クリップを組織に埋め込むことができる（例えば、静脈又は動脈上に配置して塞ぐ）。外科用クリップに対してステープルを発射すると、その結果発射運動に影響を及ぼし得る。例えば、エンドエフェクタのジョー間の外科用クリップは、エンドエフェクタが組織を均一にクランプすることを妨げる場合があり、かつ／又は、クロージャビーム、発射部材、及び／若しくは切断要素を詰まらせる場合がある。更に、ステープルが外科用クリップに向かって発射される場合、ステープルの発射が失敗し、及び／又は変形する場合がある。そのような例において、ステープルラインは不完全な封止をもたらし得る。本明細書に開示される様々な外科用可視化システムは、外科用クリップを識別することができ、様々な例において、外科用クリップが外科用装置に近接し過ぎて位置付けられると（例えば、切断位置内又は付近）、臨床医に通知することができる。

ここで図５０及び図５１を参照すると、外科用可視化システム２７００が示されている。多くの点で、外科用可視化システム２７００は、外科用可視化システム１００（図１）と同様であり得る。例えば、外科用可視化システム２７００は、組織に埋め込まれた、ないしは別の方法で視界から隠された１つ以上の重要構造を識別し、見えている組織及び／又は重要構造に対する１つ以上の距離を決定するように構成され得る。具体的には、外科用可視化システム２７００は、外科処置中に組織２７０３内の隠れたクリップ２７１２の可視化を可能にするように構成されている。本明細書に更に記載されるように、クリップ２７１２が視野から隠れているときであっても、スペクトル撮像はクリップ２７１２の材料、つまりクリップ２７１２の位置を識別するように構成され得る。

外科用可視化システム２７００は、本明細書で更に説明するように、画像センサを備えるハイパースペクトルカメラ２７２０を含む。例えば、カメラ２７２０は、エミッタ２７０６と受信器２７０８とを含む。カメラ２７２０は、手術部位を画像化するために腹腔鏡処置中に利用することができる。エミッタ２７０６は、複数の組織透過波を放射するように構成されている。様々な例において、エミッタ２７０６は、複数のハイパースペクトル波形、マルチスペクトル波形、又は選択的スペクトル波形を放射するように構成され得、これらは、組織を透過し、１つ以上の重要構造、例えば外科用装置又は別の解剖学的構造に到達するように構成されている。例えば、エミッタ２７０６は、組織２７０３を透過する波形を放射するように構成されている。外科用可視化システム２７００はまた、組織２７０３の表面トポグラフィを決定するように構成され得る、構造光源を含む。

例えば、神経、血管、又は尿管などの隠れた解剖学的構造の識別、及び、例えば、外科用エンドエフェクタ、シャフト、又はステープルなどの外科用装置が、本明細書に更に記載される。例えば、ハイパースペクトルカメラ２７２０上の受信器２７０８は、例えば血管２７０１などの解剖学的構造、例えばクリップ２７１２などの外科用装置、並びに、リニアステープラ２７０２ａ及び把持具２７０２ｂなどの外科用ツールを含む重要構造を識別し、追跡するように構成されている。

外科用可視化システム２７００はまた、カメラ２７２０及びディスプレイ２７５０を含む撮像システムを含む（図５１）。外科用装置２７０２ａ、２７０２ｂ、クリップ２７１２、及び血管２７０１の相対位置は、撮像システムのディスプレイ２７５０を介して臨床医に伝達され得る。

ここで図５１を参照すると、ディスプレイ２７５０は、リアルタイムで手術部位のビデオフィードを表示するように構成されたモニタである。例えば、カメラ２７２０からの画像は、手術部位のライブ画像を臨床医に提供するために、手術中にディスプレイ２７５０に伝達され得る。更に、手術部位の画像は、隠れた重要構造及び／又は距離を含む追加情報で拡張され得る。ディスプレイ２７５０は、手術部位の画像に拡張された、覆い隠されたクリップ２７１２を示す。様々な例において、クリップ２７１２などの覆い隠された重要構造の可視化は、臨床医によってオンとオフの切り替えができる。例えば、クリップ２７１２は、デフォルトの画像では影として描写することができ、特定のユーザ入力によってディスプレイ２７５０の画像から選択的に消すことができる。

様々な例において、ディスプレイ２７５０はまた、手術部位において特定の解剖学的構造の三次元レンダリングを描写する。例えば、組織２７０３はディスプレイ２７５０上に示され得る。組織２７０３のレンダリングは、本明細書に更に記載されるように、構造光及び表面マッピング論理を介して得ることができる。図５１のディスプレイ２７５０上の画像を参照すると、組織２７０３は、構造光及び表面マッピング論理から得られた影付き／背景画像として示され、スペクトル撮像によって識別された重要構造（例えば、クリップ２７１２、血管２７０１、及び外科用装置２７０２ａ、２７０２ｂ）は背景に重なっている。換言すれば、隠れた構造のスペクトル画像は、組織２７０３の三次元表示と統合される。

外科用可視化システム２６００は、重要構造からの１つ以上の距離を決定するように構成されている。例えば、クリップ２７１２に対する外科用装置２７０２ａ、２７０２ｂの近接度を追跡することができる。外科用可視化システム２７００は、飛行時間距離測定を利用して、（例えば、本明細書で更に説明するように、外科用装置及び／又は解剖学的構造までの標的化波長を用いて）カメラ２７２０からの様々な距離を決定することができる。次いで、三角測量アルゴリズムが、例えば構造間の相対距離を決定することができる。

図５０に示されるように、クリップ２７１２は、リニアステープラ２７０２ａの対向するジョーの間に位置付けられる。そのような例において、クリップ２７１２は、リニアステープラ２７０２ａとクリップ２７１２との間の最小距離によって画定され得る、リニアステープラ２７０２ａの近接ゾーン内にあってもよい。様々な例において、近接ゾーンは、外科手術の外科用装置及び／又は工程に依存し得る。クリップ２７１２は、リニアステープラ２７０２ａの近接ゾーン内にあるため、ディスプレイ２７５０は、アラート又は警告を臨床医に提供するように構成されている。警告を、例えば、スクリーン上の感嘆符又は他の記号として、並びに／又は、例えば点滅、光、及び／若しくは音として伝えることができる。特定の例において、警告は、例えば、近接スペクトルインジケータ２７５６に沿って伝えられ得る。

同様に、外科用可視化システム２７００は、例えば、別のクリップ、タック、又はステープルなどの追加の締結具を検出し、外科用装置又は、例えば外科用装置のエンドエフェクタ若しくはシャフトなどのその一部分に対して締結具を追跡するように構成され得る。ここで図５２を参照すると、腹腔鏡的ヘルニア修復術が示されている。このような手術の間、外科用タック２８１２を使用して、外科用メッシュ２８１４を腹壁などの組織２８０３に固定することができる。例えば、外科用メッシュ２８１４は腹壁に固定されて、腸が腹壁内に突出するのを防ぐことができる。

様々な例において、外科用可視化システムは、外科用タック２８１２を識別して、タック２８１２が重要構造を損傷しないこと、及び／又は重要構造に対して臨界近接ゾーン内に位置付けられないことを確実に行うように構成され得る。再び図５２を参照すると、外科用可視化システムは、外科用タック２８１２、メッシュ２８１４、外科用装置、及び腸上のヘルニア２８０１などの１つ以上の解剖学的構造を識別するように構成され得る。本明細書に記載されるように、外科用可視化システムは、構造光と組み合わせてスペクトル撮像を利用して１つ以上の構造を識別し、腹腔内の腸などの組織の三次元表示を生成することができる。特定の例において、システムは、タック２８１２、組織２８０３、ヘルニア２８０１、及びメッシュ２８１４のハイパースペクトルシグネチャの差によって、タック２８１２の深さを確認することができる。特定の例において、外科用可視化システムは、タック２８１２を介して組織２８０３と接合するための、例えば隠れたメッシュ２８１４の視認性を提供することができる。本明細書に開示される様々な外科用可視化システムは、ヘルニア用タックを識別することができ、様々な例において、外科用タックが外科用装置及び／又は重要構造に近接し過ぎて位置付けられると、臨床医に通知することができる。

例示の臨床用途
本明細書に開示される様々な外科用可視化システムは、以下の臨床用途のうちの１つ以上で使用され得る。以下の臨床用途は非網羅的であり、本明細書に開示される様々な外科用可視化システムのうちの１つ以上に対する単に例示的な用途である。

外科用可視化システムは、本明細書に開示されるように、例えば、泌尿器科、婦人科、腫瘍科、大腸直腸科、胸部外科、肥満／胃治療科、及び肝胆膵科（ＨＰＢ）などの異なる専門における多くの異なる種類の処置に使用することができる。例えば、前立腺切除術などの泌尿器手術では、尿路が脂肪若しくは結合組織中で検出される場合があり、及び／又は、神経が、例えば脂肪中で検出される場合がある。例えば、子宮摘出術などの婦人科腫瘍手術、及び低位前方切除術（ＬＡＲ）などの大腸直腸手術では、尿管が、例えば脂肪及び／又は結合組織内で検出される場合がある。例えば、肺葉切除術などの胸部手術では、血管が肺若しくは結合組織内で検出されル場合があり、及び／又は、神経が結合組織内で検出される場合がある（例えば、食道瘻造設術）。肥満手術では、血管が脂肪中に検出される場合がある。例えば、肝切除術又は膵切除術などのＨＰＢ手術では、血管が、脂肪（肝外）、結合組織（肝外）中に検出される場合があり、胆管が、実質組織（肝臓又は膵臓）中に検出される場合がある。

一例では、臨床医は、子宮内膜筋腫の除去を望む場合がある。術前の磁気共鳴画像（ＭＲＩ）スキャンから、臨床医は、子宮内膜筋腫が腸の表面上に位置することを知ることができる。したがって、臨床医は、どの組織が腸の一部分を構成し、どの組織が直腸の一部を構成するかを術中に知ることを望む場合がある。そのような例において、外科用可視化システムは、本明細書に開示されるように、異なる種類の組織（腸対直腸）を示し、その情報を撮像システムを介して臨床医に伝達することができる。更に、撮像システムは、選択された組織に対する外科用装置の近接度を決定及び通信することができる。そのような例では、外科用可視化システムは、重大な合併症を伴わずに、処置効率を向上することができる。

別の例では、臨床医（例えば、婦人科医）は、重要構造に近付きすぎることを回避するために特定の解剖学的領域から離れたまま留まることができるため、臨床医は、例えば子宮内膜症の全てを除去しない場合がある。外科用可視化システムは、本明細書に開示されるように、婦人科医が、外科用装置が全ての子宮内膜症を除去するのに十分に接近することができ、患者の転帰を改善することができる（民主化手術）ように、婦人科医が重要構造に接近し過ぎるリスクを軽減することを可能にすることができる。このようなシステムは、外科医が、例えば、特に超音波又は電気手術エネルギーなどの治療用エネルギーの印加中に、避けるべき領域を特定するため停止及び再開を繰り返す代わりに、手術処置中に「移動し続ける」ことを可能にできる。婦人科用途では、子宮動脈及び尿管は大切な重要構造であり、システムは、関与する組織の提示及び／又は厚さを考慮すると、子宮摘出術及び子宮内膜手術に特に有用であり得る。

別の例では、臨床医は、近すぎるために、標的とする葉以外の葉への血液供給に影響を及ぼし得る場所で、血管を切開するリスクがある場合がある。更に、患者間の解剖学的差異が、特定の患者に基づくと異なる葉に影響を及ぼす血管（例えば分岐血管）の切開をもたらし得る。外科用可視化システムは、本明細書に開示されるように、所望の位置で正しい血管の識別を可能にすることができ、これにより、臨床医が適切な解剖学的物を確実に切開することを可能にする。例えば、システムは、正しい血管が正しい位置にあることを確認することができ、その後臨床医が血管を安全に分割することができる。

別の例では、臨床医は、血管の解剖学的構造が不確実であるために、最良の場所での切開前に、複数の切開を行うことがある。しかしながら、より多くの切開が出血のリスクを増大させることがあるため、最初の工程で最良の場所を切開することが望ましい。外科用可視化システムは、本明細書に開示されるように、正しい血管及び切開のための最良の位置を示すことによって、切開の数を最小化することができる。例えば、尿管及び基靱帯は密集しており、切開中に固有の課題を提供する。そのような例では、切開部の数を最小化することが特に望ましい場合がある。

別の例では、癌組織を除去する臨床医（例えば、腫瘍外科医）は、重要構造の識別、癌の局在、癌のステージ分類、及び／又は組織の正常性の評価を知ることを望む場合がある。このような情報は、臨床医が「肉眼」で見るものを超えている。外科用可視化システムは、本明細書に開示されるように、手術中に臨床医にそのような情報を決定及び／又は伝達し、手術中の決定を強化し、外科結果を改善することができる。特定の例では、外科用可視化システムは、低侵襲手術（ＭＩＳ）、観血的手術、及び／又は、例えば内視鏡又は外視鏡のいずれかを使用するロボットアプローチと互換性があり得る。

別の例では、臨床医（例えば、腫瘍外科医）は、外科手術中に保守的になり過ぎることを回避するために、１つ以上の重要構造への外科用ツールの近接度に関する１回以上の警告をオフにすることを望む場合がある。他の例では、臨床医は、１つ以上の重要構造から十分に遠く離れたままであるように、近接度及び／又は「飛行禁止区域」を示すための触覚フィードバック（例えば、振動／ブザー）などの特定の種類の警告の受信を望む場合がある。外科用可視化システムは、本明細書に開示されるように、例えば、臨床医の経験及び／又は処置の所望の積極性に基づいて順応性を提供することができる。そのような例では、システムは、重要構造を予測して回避するために、「知りすぎる」と「十分に知っている」との間のバランスを提供する。外科用可視化システムは、外科手術中の次工程の計画を支援することができる。

本明細書に記載される主題の様々な態様は、以下の番号付けされた実施例において説明される。
実施例１−ディスプレイスクリーンと、構造光パターンを表面上に放射するように構成されている外科用装置と、表面の下に埋め込まれた構造を識別するように構成されている画像センサと、画像センサと信号通信する制御回路と、を備える、外科用可視化システム。制御回路は、表面上の構造光パターンを示す画像データを受信し、画像データに基づいて表面の三次元デジタル表示を生成し、構造及び外科用装置の画像を画像センサから取得し、構造及び外科用装置の画像をディスプレイスクリーン上の表面の三次元デジタル表示と重ね合わせ、かつ、外科用装置から構造までの距離を画像から決定するように構成されている。

実施例２−表面を透過し、構造に到達することが可能な複数の波長のスペクトル光を放射するように構成されているエミッタを更に備え、画像センサが、反射されたスペクトル光を検出するように構成されており、制御回路が、反射されたスペクトル光に基づいて、表面の下の構造の位置を識別するように更に構成されている、実施例１に記載の外科用可視化システム。

実施例３−画像センサを含む三次元カメラを更に備え、画像が三次元画像を含む、実施例１又は２に記載の外科用可視化システム。

実施例４−ディスプレイスクリーンがデジタル近接スペクトルを含み、制御回路が、デジタル近接スペクトル上に外科用装置から構造までの距離を表示するように更に構成されている、実施例１、２、又は３に記載の外科用可視化システム。

実施例５−デジタル近接スペクトルが複数の色を含む、実施例４に記載の外科用可視化システム。

実施例６−デジタル近接スペクトルがある範囲の数値を含む、実施例４に記載の外科用可視化システム。

実施例７−デジタル近接スペクトルがある範囲の距離に対応する複数のクロスハッチングパターンを含む、実施例４に記載の外科用可視化システム。

実施例８−表面の三次元デジタル表示及び構造の位置がディスプレイスクリーン上でリアルタイムに更新される、実施例１、２、３、４、５、６、又は７に記載の外科用可視化システム。

実施例９−制御回路と信号通信するロボット制御ユニットを更に備え、外科用装置がロボット制御ユニットによって動作可能に制御され、ロボット制御ユニットは、外科用装置から構造までの距離が最小距離未満まで短縮したときに、外科用装置の動作を調節するように構成されている、実施例１、２、３、４、５、６、７、又は８に記載の外科用可視化システム。

実施例１０−構造内に造影剤を更に含み、造影剤が構造を光らせるように構成されており、画像センサが、光った構造から反射された可視光を検出するように構成されている、実施例１、２、３、４、５、６、７、８、又は９に記載の外科用可視化システム。

実施例１１−第２の外科用装置を更に備える、実施例１、２、３、４、５、６、７、８、９、又は１０に記載の外科用可視化システム。制御回路は、第２の外科用装置から構造までの第２の距離を画像から決定し、第２の距離を画像システムに提供するように更に構成されている。

実施例１２−ディスプレイスクリーンが、第２の外科用装置及び第２の近接スペクトルインジケータ上の第２の距離を表示するように更に構成されている、実施例１１に記載の外科用可視化システム。

実施例１３−制御回路は、外科用装置から構造までの距離が第１の最小距離未満に短縮したときに、第１の警告を表示し、第２の外科用装置から構造までの第２の距離が第２の最小距離未満に短縮したときに、第２の警告を表示するように更に構成されている、実施例１１又は１２に記載の外科用可視化システム。第２の最小距離は、第１の最小距離と異なる。

実施例１４−制御回路が、外科用装置及び画像センサの既知の位置からの距離を三角測量するように構成されている、実施例１、２、３、４、５、６、７、８、９、１０、１１、１２、又は１３に記載の外科用可視化システム。

実施例１５−プロセッサと、プロセッサに通信可能に連結されているメモリと、を備える外科用可視化システム。メモリは、表面上の構造光パターンを示す画像データを受信し、画像データに基づいて表面の三次元デジタル表示を生成し、かつ、埋め込まれた構造及び外科用装置の画像を画像センサから取得し、埋め込まれた構造及び外科用装置の画像をディスプレイスクリーン上の表面の三次元デジタル表示と重ね合わせ、かつ、外科用装置から埋め込まれた構造を覆っている表面の一部分までの距離を決定するための、プロセッサによって実行可能な命令を記憶している。

実施例１６−埋め込まれた構造の位置が、表面を透過し、埋め込まれた構造に到達することが可能な反射されたスペクトル光によって識別される、実施例１５に記載の外科用可視化システム。

実施例１７−コンピュータ可読命令を記憶している非一時的コンピュータ可読媒体であって、コンピュータ可読命令は、実行されると、機械に、表面上の構造光パターンを示す画像データを受信させ、画像データに基づいて表面の三次元デジタル表示を生成させ、埋め込まれた構造及び外科用装置の三次元画像を画像センサから取得させ、埋め込まれた構造及び外科用装置の画像をディスプレイスクリーン上の表面の三次元デジタル表示と重ね合わせさせ、かつ、外科用装置から埋め込まれた構造までの距離を三次元画像から決定させる、コンピュータ可読命令を記憶している非一時的コンピュータ可読媒体。

実施例１８−コンピュータ可読命令が、実行されると、機械に更に、距離を示す信号をディスプレイスクリーンに提供させ、距離が既定の閾値距離を満たすときに警告信号を発行させる、実施例１７に記載の非一時的コンピュータ可読媒体。

実施例１９−ディスプレイと、三次元カメラを含む第１のロボットツールと、を備える、外科用可視化システム。三次元カメラは、画像センサを含む。外科用可視化システムは、表面を透過し、表面の下の構造に到達することが可能な複数の波長のスペクトル光を放射するように構成されているスペクトル光エミッタを含む、第２のロボットツールを更に備える。画像センサは、反射された可視光及び複数の波長の反射されたスペクトル光を検出するように構成されている。外科用可視化システムは、画像センサ及びディスプレイと信号通信する制御回路を更に備える。制御回路は、構造及び第２のロボットツールの三次元画像を画像センサから取得し、第２のロボットツールから構造までの距離を三次元画像から決定し、かつ、距離を示す信号をディスプレイに提供するように構成されている。

実施例２０−第２のロボットツールが構造光エミッタを更に備える、実施例１９に記載の外科用可視化システム。制御回路は、表面上の構造光パターンを示す画像データを受信し、画像データに基づいて表面の三次元デジタル表示を生成し、かつ、構造の三次元画像が表面の三次元デジタル表示と統合されるディスプレイにビデオ信号を提供するように更に構成されている。

実施例２１−複数の組織透過波形を放射するように構成されているエミッタと、複数の組織透過波形を検出するように構成されている受信器と、ディスプレイを含む撮像システムと、受信器と信号通信する制御回路と、を備える、外科用可視化システム。制御回路は、外科用装置の隠れた部分の画像を表すデータを受信器から受信し、外科用装置の隠れた部分の画像をディスプレイに提供するように構成されている。

実施例２２−エミッタ及び受信器を含むハイパースペクトルカメラを更に備える、実施例２１に記載の外科用可視化システム。

実施例２３−構造光源を含む組織表面マッピングシステムを更に備える、実施例２１又は２２に記載の外科用可視化システム。制御回路は、組織表面の三次元表示を表すデータを組織表面マッピングシステムから受信し、ディスプレイに組織表面の三次元表示を提供し、かつ、ディスプレイ上で、組織表面の三次元表示の上に外科用装置の隠れた部分の画像を重ね合わせるように更に構成されている。

実施例２４−外科用装置がロボット手術ツールを含む、実施例２１、２２、又は２３に記載の外科用可視化システム。

実施例２５−外科用装置が吸引用針を含む、実施例２１、２２、又は２３に記載の外科用可視化システム。

実施例２６−複数の組織透過波形が、外科用装置の隠れた部分を標的とするように構成された第１の波形と、解剖学的構造を標的とするように構成された第２の波形と、を含む、実施例２１、２２、２３、２４、又は２５に記載の外科用可視化システム。

実施例２７−制御回路が、外科用装置の隠れた部分に対応する第１のスペクトルシグネチャ及び解剖学的構造に対応する第２のスペクトルシグネチャを識別するように更に構成されている、実施例２６に記載の外科用可視化システム。

実施例２８−制御回路が、外科用装置の隠れた部分と解剖学的構造との間の距離を決定するように更に構成されている、実施例２６又は２７に記載の外科用可視化システム。

実施例２９−ディスプレイが、外科用装置の隠れた部分と解剖学的構造との間の距離を伝達するように構成されている、実施例２８に記載の外科用可視化システム。

実施例３０−制御回路は、外科用装置の隠れた部分と解剖学的構造との間の距離が閾値最小距離に達したときに警告を発するように更に構成されている、実施例２８又は２９に記載の外科用可視化システム。

実施例３１−制御回路が、プロセッサと、プロセッサに通信可能に連結されているメモリと、を含む、実施例２１、２２、２３、２４、２５、２６、２７、２８、２９、又は３０に記載の外科用可視化システム。メモリは、外科用装置の隠れた部分の画像を表すデータを受信器から受信し、外科用装置の隠れた部分の画像をディスプレイに提供するための、プロセッサによって実行可能な命令を記憶している。

実施例３２−ハイパースペクトルカメラと、ハイパースペクトルカメラと信号通信する制御回路と、を備える、外科用可視化システム。ハイパースペクトルカメラは、エミッタ及び画像センサを含む。エミッタは、複数の組織透過波形を放射するように構成されている。画像センサは、複数の組織透過波形を検出するように構成されている。制御回路は、画像センサによって検出された複数の組織透過波形から第１の重要構造の位置を表すデータを受信し、画像センサによって検出された複数の組織透過波形から第２の重要構造の位置を表すデータを受信し、かつ、第１の重要構造と第２の重要構造との間の距離を決定するように構成されている。

実施例３３−第１の重要構造が外科用装置及び解剖学的構造のうちの１つを含む、実施例３２に記載の外科用可視化システム。

実施例３４−第２の重要構造が外科用装置及び解剖学的構造のうちの１つを含む、実施例３２又は３３に記載の外科用可視化システム。

実施例３５−制御回路が、プロセッサと、プロセッサに通信可能に連結されているメモリとを含む、実施例３２、３３、又は３４に記載の外科用可視化システム。メモリは、画像センサによって検出された複数の組織透過波形から第１の重要構造を識別し、画像センサによって検出された複数の組織透過波形から第２の重要構造を識別し、かつ、第１の重要構造と第２の重要構造との間の距離を決定するための、プロセッサによって実行可能な命令を記憶している。

実施例３６−ビデオモニタを更に備え、制御回路が、ビデオモニタ上に第１の重要構造及び第２の重要構造をリアルタイムで概略的に描写するように更に構成されている、実施例３２、３３、３４、又は３５に記載の外科用可視化システム。

実施例３７−エミッタが、表面に到達するように構成された構造光パターンを放射するように更に構成されている、実施例３２、３３、３４、３５、又は３６に記載の外科用可視化システム。画像センサは、構造光パターンを検出するように更に構成されている。制御回路は、画像センサによって検出された構造光パターンから表面の三次元表示を表すデータを受信するように更に構成されている。

実施例３８−制御回路が、表面の三次元表示に基づいて画像を生成し、かつ、画像上に第１の重要構造及び第２の重要構造の概略的描写を重ね合わせるように更に構成されている、実施例３７に記載の外科用可視化システム。

実施例３９−コンピュータ可読命令を記憶している非一時的コンピュータ可読媒体であって、コンピュータ可読命令は、実行されると、機械に、第１の隠れた構造の第１の画像を表すデータを画像センサから受信させ、第１の隠れた構造の第１の画像をディスプレイに提供させ、第２の隠れた構造の第２の画像を表すデータを画像センサから受信させ、第２の隠れた構造の第２の画像をディスプレイに提供させ、かつ、第１の隠れた構造と第２の隠れた構造との間の距離を決定させる、コンピュータ可読命令を記憶している非一時的コンピュータ可読媒体。

実施例４０−コンピュータ可読命令が、実行されると、機械に更に、表面上の構造光パターンを検出するように構成されている受信器からデータを受信させ、データから表面の三次元レンダリングを生成させ、表面の三次元レンダリングをディスプレイに提供させ、かつ、ディスプレイ上で、第１の隠れた構造の第１の画像及び第２の隠れた構造の第２の画像を表面の三次元レンダリング上に重ね合わせさせる、実施例３９に記載の非一時的コンピュータ可読媒体。

実施例４１−第１のプロジェクタと、第２のプロジェクションと、制御回路と、を備える、外科用可視化システム。第１のプロジェクタは、構造光パターンを解剖学的構造の表面上に放射するように構成されている。第２のプロジェクタは、解剖学的構造を透過し、ステープルラインに到達することが可能な複数の波長のスペクトル光を放射するように構成されている。制御回路は、画像センサと信号通信を行う。制御回路は、解剖学的構造の表面上の構造光パターンを示す構造光データを画像センサから受信し、解剖学的構造の三次元表示を構造光データから計算し、ステープルラインのスペクトル画像を示すスペクトル光データを画像センサから受信し、ステープルラインのスペクトル画像をスペクトル光データから生成し、かつ、ステープルラインに対する距離を決定するように構成されている。

実施例４２−ビデオモニタを更に備え、制御回路がビデオモニタと信号通信している、実施例４１に記載の外科用可視化システム。制御回路は、解剖学的構造の三次元表示を示す第１のビデオ信号をビデオモニタにリアルタイムで選択的に提供するように更に構成されている。制御回路は、ステープルラインの位置を示す第２のビデオ信号をビデオモニタにリアルタイムで選択的に提供するように更に構成されている。

実施例４３−制御回路が、第１のビデオ信号及び第２のビデオ信号を選択的に統合し、解剖学的構造の三次元表示に重なるステープルラインの位置を示すビデオを生成するように更に構成されている、実施例４２に記載の外科用可視化システム。

実施例４４−制御回路が、ステープルラインに対する距離を示す第１の信号をビデオモニタに選択的に提供するように更に構成されている、実施例４２又は４３に記載の外科用可視化システム。

実施例４５−制御回路が、ロボットツールの外科用エンドエフェクタのスペクトル画像を示すスペクトル光データを画像センサから受信するように更に構成されている、実施例４１、４２、４３、又は４４に記載の外科用可視化システム。制御回路は、スペクトル光データから外科用エンドエフェクタのスペクトル画像を生成するように更に構成されている。

実施例４６−制御回路が、画像センサ及びロボットツールの座標から外科用エンドエフェクタとステープルラインとの間の距離を三角測量するように更に構成されている、実施例４５に記載の外科用可視化システム。

実施例４７−制御回路が、円形ステープラのトロカールのスペクトル画像を示すスペクトル光データを画像センサから受信するように更に構成されている、実施例４１、４２、４３、又は４４に記載の外科用可視化システム。制御回路は、スペクトル光データからトロカールのスペクトル画像を生成するように更に構成されている。

実施例４８−制御回路が、円形ステープラアンビルのスペクトル画像を示すスペクトル光データを画像センサから受信するように更に構成されている、実施例４７に記載の外科用可視化システム。制御回路は、スペクトル光データから円形ステープラアンビルのスペクトル画像を生成するように更に構成されている。

実施例４９−制御回路が、トロカールと円形ステープラアンビルとの間の距離を決定するように更に構成されている、実施例４８に記載の外科用可視化システム。

実施例５０−制御回路が、円形ステープラアンビルとステープルラインとの間の距離を示す第１の信号をビデオモニタに提供するように更に構成されている、実施例４９に記載の外科用可視化システム。制御回路は、トロカールと円形ステープラアンビルとの間の距離を示す第２の信号をビデオモニタに提供するように更に構成されている。

実施例５１−制御回路が、ユーザ選択入力に基づいて第２のビデオ信号をビデオモニタに提供し、ステープルラインを追跡するように更に構成されている、実施例４２又は４３に記載の外科用可視化システム。

実施例５２−制御回路が、外科用装置を支持するロボットアームを制御するように動作可能に構成されたロボット制御ユニットと信号通信し、ロボット制御ユニットが、制御信号を提供して、ステープルラインを視界から隠している解剖学的構造の一部分に向かってロボットアームを移動させるように動作可能に構成されている、実施例４１、４２、４３、４４、４５、４６、４７、４８、４９、５０、又は５１に記載の外科用可視化システム。

実施例５３−第１のプロジェクタと、第２のプロジェクタと、画像センサと、を含む、ハイパースペクトルカメラを更に備える、実施例４１、４２、４３、４４、４５、４６、４７、４８、４９、５０、５１、又は５２に記載の外科用可視化システム。

実施例５４−プロセッサと、プロセッサに通信可能に連結されているメモリと、を備える外科用可視化システム。メモリは、プロセッサによって実行されると、解剖学的構造の表面上の構造光パターンを示す構造光データを画像センサから受信させ、解剖学的構造の三次元表示を構造光データから計算させ、ステープルラインのスペクトル画像を示すスペクトル光データを画像センサから受信させ、ステープルラインのスペクトル画像をスペクトル光データから生成させ、かつ、ステープルラインに対する距離を決定させる、命令を記憶している。

実施例５５−メモリが、プロセッサによって実行されると、解剖学的構造の三次元表示を示す第１のビデオ信号をビデオモニタにリアルタイムで選択的に提供させ、かつ、ステープルラインの位置を示す第２のビデオ信号をビデオモニタにリアルタイムで選択的に提供させる、命令を記憶している、実施例５４に記載の外科用可視化システム。

実施例５６−メモリが、プロセッサによって実行されると、第１のビデオ信号及び第２のビデオ信号を選択的に統合させ、解剖学的構造の三次元表示に重なるステープルラインの位置を示すビデオを生成させる、命令を記憶している、実施例５５に記載の外科用可視化システム。

実施例５７−メモリが、プロセッサによって実行されると、ステープルラインに対する距離を示す第１の信号をビデオモニタに選択的に提供させる、命令を記憶している、実施例５５又は５６に記載の外科用可視化システム。

実施例５８−コンピュータ可読命令を記憶している非一時的コンピュータ可読媒体であって、コンピュータ可読命令は、実行されると、機械に、解剖学的構造の表面上の構造光パターンを示す構造光データを画像センサから受信させ、解剖学的構造の三次元表示を構造光データから計算させ、ステープルラインのスペクトル画像を示すスペクトル光データを画像センサから受信させ、ステープルラインのスペクトル画像をスペクトル光データから生成させ、ステープルラインに対する距離を決定させる、コンピュータ可読命令を記憶している非一時的コンピュータ可読媒体。

実施例５９−コンピュータ可読命令が、実行されると、機械に更に、解剖学的構造の三次元表示を示す第１のビデオ信号をビデオモニタにリアルタイムで選択的に提供させ、かつ、ステープルラインの位置を示す第２のビデオ信号をビデオモニタにリアルタイムで選択的に提供させる、実施例５８に記載のコンピュータ可読命令を記憶している非一時的コンピュータ可読媒体。

実施例６０−コンピュータ可読命令が、実行されると、機械に更に、第１のビデオ信号及び第２のビデオ信号を選択的に統合させ、解剖学的構造の三次元表示に重なるステープルラインの位置を示すビデオを生成させる、実施例５９に記載のコンピュータ可読命令を記憶している非一時的コンピュータ可読媒体。

いくつかの形態が例示され説明されてきたが、添付の特許請求の範囲をそのような詳細に制限又は限定することは、本出願人が意図するところではない。多くの修正、変形、変更、置換、組み合わせ及びこれらの形態の等価物を実装することができ、本開示の範囲から逸脱することなく当業者により想到されるであろう。更に、記述する形態に関連した各要素の構造は、その要素によって行われる機能を提供するための手段として代替的に説明することができる。また、材料が特定の構成要素に関して開示されているが、他の材料が使用されてもよい。したがって、上記の説明文及び添付の特許請求の範囲は、全てのそのような修正、組み合わせ、及び変形を、開示される形態の範囲に含まれるものとして網羅することを意図としたものである点を理解されたい。添付の特許請求の範囲は、全てのそのような修正、変形、変更、置換、修正、及び等価物を網羅することを意図する。

上記の詳細な説明は、ブロック図、フローチャート及び／又は実施例を用いて、装置及び／又はプロセスの様々な形態について記載してきた。そのようなブロック図、フローチャート及び／又は実施例が１つ以上の機能及び／又は動作を含む限り、当業者に理解されたいこととして、そのようなブロック図、フローチャート及び／又は実施例に含まれる各機能及び／又は動作は、多様なハードウェア、ソフトウェア、ファームウェア又はこれらの事実上の任意の組み合わせによって、個々にかつ／又は集合的に実装することができる。当業者には、本明細書で開示される形態のうちのいくつかの態様の全部又は一部が、１台以上のコンピュータ上で稼働する１つ以上のコンピュータプログラムとして（例えば、１台以上のコンピュータシステム上で稼働する１つ以上のプログラムとして）、１つ以上のプロセッサ上で稼働する１つ以上のプログラムとして（例えば、１つ以上のマイクロプロセッサ上で稼働する１つ以上のプログラムとして）、ファームウェアとして、又はこれらの実質的に任意の組み合わせとして集積回路上で等価に実装することができ、回路を設計すること、並びに／又はソフトウェア及び／若しくはファームウェアのコードを記述することは、本開示を鑑みれば当業者の技能の範囲内に含まれることが理解されよう。更に、当業者には理解されることとして、本明細書に記載した主題の機構は、多様な形式で１つ以上のプログラム製品として配布されることが可能であり、本明細書に記載した主題の具体的な形態は、配布を実際に行うために使用される信号搬送媒体の特定のタイプにかかわらず用いられる。

様々な開示された態様を実施するように論理をプログラムするために使用される命令は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、キャッシュ、フラッシュメモリ又は他のストレージなどのシステム内メモリに記憶され得る。更に、命令は、ネットワークを介して、又は他のコンピュータ可読媒体によって配布され得る。したがって、機械可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で情報を記憶又は送信するための任意の機構が挙げられ得るが、フロッピーディスケット、光ディスク、コンパクトディスク、読み出し専用メモリ（ＣＤ−ＲＯＭ）、並びに磁気光学ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、磁気若しくは光カード、フラッシュメモリ又は、電気的、光学的、音響的、若しくは他の形態の伝播信号（例えば、搬送波、赤外線信号、デジタル信号など）を介してインターネットを介した情報の送信に使用される有形機械可読ストレージに限定されない。したがって、非一時的コンピュータ可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で電子命令又は情報を記憶又は送信するのに好適な任意のタイプの有形機械可読媒体が挙げられる。

本明細書の任意の態様で使用されるとき、用語「制御回路」は、例えば、ハードワイヤード回路、プログラマブル回路（例えば、１つ以上の個々の命令処理コアを含むコンピュータプロセッサ、処理ユニット、プロセッサ、マイクロコントローラ、マイクロコントローラユニット、コントローラ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブル論理機構（ＰＬＤ）、プログラマブル論理アレイ（ＰＬＡ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ））、状態機械回路、プログラマブル回路によって実行される命令を記憶するファームウェア、及びこれらの任意の組み合わせを指すことができる。制御回路は、集合的に又は個別に、例えば、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、スマートフォンなどの、より大きなシステムの一部を形成する回路として具現化され得る。したがって、本明細書で使用するとき、「制御回路」は、少なくとも１つの個別の電気回路を有する電気回路、少なくとも１つの集積回路を有する電気回路、少なくとも１つの特定用途向け集積回路を有する電気回路、コンピュータプログラムによって構成された汎用コンピューティング装置（例えば、本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成された汎用コンピュータ、又は本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成されたマイクロプロセッサ）を形成する電気回路、メモリ装置（例えば、ランダムアクセスメモリの形態）を形成する電気回路及び／又は通信装置（例えばモデム、通信スイッチ、又は光−電気設備）を形成する電気回路を含むが、これらに限定されない。当業者は、本明細書で述べた主題が、アナログ形式若しくはデジタル形式、又はこれらのいくつかの組み合わせで実装されてもよいことを認識するであろう。

本明細書の任意の態様で使用される場合、用語「論理」は、前述の動作のいずれかを実施するように構成されたアプリケーション、ソフトウェア、ファームウェア及び／又は回路を指し得る。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に記録されたソフトウェアパッケージ、コード、命令、命令セット及び／又はデータとして具現化されてもよい。ファームウェアは、メモリ装置内のコード、命令、若しくは命令セット及び／又はハードコードされた（例えば、不揮発性の）データとして具現化されてもよい。

本明細書の任意の態様で使用するとき、用語「構成要素」、「システム」、「モジュール」などは、ハードウェア、ハードウェアとソフトウェアとの組み合わせ、ソフトウェア、又は実行中のソフトウェアのどちらかであるコンピュータ関連エンティティを指すことができる。

本明細書の任意の態様で使用するとき、「アルゴリズム」とは、所望の結果につながる工程の自己無撞着シーケンスを指し、「工程」とは、必ずしも必要ではないが、記憶、転送、結合、比較及び別様に操作されることが可能な電気信号又は磁気信号の形態を取ることができる物理量及び／又は論理状態の操作を指す。これらの信号を、ビット、値、要素、記号、文字、用語、番号などとして言及することが一般的な扱い方である。これらの及び類似の用語は、適切な物理量と関連付けられてもよく、また単に、これらの量及び／又は状態に適用される便利なラベルである。

ネットワークとしては、パケット交換ネットワークが挙げられ得る。通信装置は、選択されたパケット交換ネットワーク通信プロトコルを使用して、互いに通信することができる。１つの例示的な通信プロトコルとしては、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）を使用して通信を可能にすることができるイーサネット通信プロトコルを挙げることができる。イーサネットプロトコルは、ＩｎｓｔｉｔｕｔｅｏｆＥｌｅｃｔｒｉｃａｌａｎｄＥｌｅｃｔｒｏｎｉｃｓＥｎｇｉｎｅｅｒｓ（ＩＥＥＥ）によって発行された２００８年１２月発行の表題「ＩＥＥＥ８０２．３Ｓｔａｎｄａｒｄ」、及び／又は本規格の後のバージョンのイーサネット規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信装置は、Ｘ．２５通信プロトコルを使用して互いに通信することができる。Ｘ．２５通信プロトコルは、ＩｎｔｅｒｎａｔｉｏｎａｌＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＵｎｉｏｎ−ＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＳｔａｎｄａｒｄｉｚａｔｉｏｎＳｅｃｔｏｒ（ＩＴＵ−Ｔ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信装置は、フレームリレー通信プロトコルを使用して互いに通信することができる。フレームリレー通信プロトコルは、ＣｏｎｓｕｌｔａｔｉｖｅＣｏｍｍｉｔｔｅｅｆｏｒＩｎｔｅｒｎａｔｉｏｎａｌＴｅｌｅｇｒａｐｈａｎｄＴｅｌｅｐｈｏｎｅ（ＣＣＩＴＴ）及び／又はｔｈｅＡｍｅｒｉｃａｎＮａｔｉｏｎａｌＳｔａｎｄａｒｄｓＩｎｓｔｉｔｕｔｅ（ＡＮＳＩ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、送受信機は、非同期転送モード（ＡＴＭ）通信プロトコルを使用して互いに通信することが可能であり得る。ＡＴＭ通信プロトコルは、ＡＴＭＦｏｒｕｍによって「ＡＴＭ−ＭＰＬＳＮｅｔｗｏｒｋＩｎｔｅｒｗｏｒｋｉｎｇ２．０」という題で２００１年８月に公開されたＡＴＭ規格及び／又は本規格の後のバージョンに準拠するか、又は互換性があり得る。当然のことながら、異なる及び／又は後に開発されたコネクション型ネットワーク通信プロトコルは、本明細書で等しく企図される。

別段の明確な定めがない限り、前述の開示から明らかなように、前述の開示全体を通じて、「処理すること（processing）」、「計算すること（computing）」、「算出すること（calculating）」、「判定すること（determining）」、「表示すること（displaying）」などの用語を使用する議論は、コンピュータシステムのレジスタ及びメモリ内で物理（電子的）量として表現されるデータを、コンピュータシステムのメモリ若しくはレジスタ又は他のそのような情報記憶、伝送、若しくは表示装置内で物理量として同様に表現される他のデータへと操作し変換する、コンピュータシステム又は類似の電子計算装置のアクション及び処理を指していることが理解されよう。

１つ以上の構成要素が、本明細書中で、「ように構成される（configured to）」、「ように構成可能である（configurable to）」、「動作可能である／ように動作する（operable/operative to）」、「適合される／適合可能である（adapted/adaptable）」、「ことが可能である（able to）」、「準拠可能である／準拠する（conformable/conformed to）」などと言及され得る。当業者は、「ように構成される」は、一般に、文脈上他の意味に解釈すべき場合を除き、アクティブ状態の構成要素及び／又は非アクティブ状態の構成要素及び／又はスタンドバイ状態の構成要素を包含し得ることを理解するであろう。

「近位」及び「遠位」という用語は、本明細書では、外科用器具のハンドル部分を操作する臨床医を基準として使用される。「近位」という用語は、臨床医に最も近い部分を指し、「遠位」という用語は、臨床医から離れた位置にある部分を指す。便宜上及び明確性のために、「垂直」、「水平」、「上」、及び「下」などの空間的用語が、本明細書において図面に対して使用され得ることが更に理解されよう。しかしながら、外科用器具は、多くの配向及び位置で使用されるものであり、これらの用語は限定的及び／又は絶対的であることを意図したものではない。

当業者は、一般に、本明細書で使用され、かつ特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本文）で使用される用語は、概して「オープンな」用語として意図されるものである（例えば、「含む（including）」という用語は、「〜を含むが、それらに限定されない（including but not limited to）」と解釈されるべきであり、「有する（having）」という用語は「〜を少なくとも有する（having at least）」と解釈されるべきであり、「含む（includes）」という用語は「〜を含むが、それらに限定されない（includes but is not limited to）」と解釈されるべきであるなど）ことを理解するであろう。更に、導入された請求項記載（introduced claim recitation）において特定の数が意図される場合、かかる意図は当該請求項中に明確に記載され、またかかる記載がない場合は、かかる意図は存在しないことが、当業者には理解されるであろう。例えば、理解を助けるものとして、後続の添付の特許請求の範囲は、「少なくとも１つの（at least one）」及び「１つ以上の（one or more）」という導入句を、請求項記載を導入するために含むことがある。しかしながら、かかる句の使用は、「ａ」又は「ａｎ」という不定冠詞によって請求項記載を導入した場合に、たとえ同一の請求項内に「１つ以上の」又は「少なくとも１つの」といった導入句及び「ａ」又は「ａｎ」という不定冠詞が含まれる場合であっても、かかる導入された請求項記載を含むいかなる特定の請求項も、かかる記載事項を１つのみ含む請求項に限定されると示唆されるものと解釈されるべきではない（例えば、「ａ」及び／又は「ａｎ」は通常、「少なくとも１つの」又は「１つ以上の」を意味するものと解釈されるべきである）。定冠詞を使用して請求項記載を導入する場合にも、同様のことが当てはまる。

更に、導入された請求項記載において特定の数が明示されている場合であっても、かかる記載は、典型的には、少なくとも記載された数を意味するものと解釈されるべきであることが、当業者には認識されるであろう（例えば、他に修飾語のない、単なる「２つの記載事項」という記載がある場合、一般的に、少なくとも２つの記載事項、又は２つ以上の記載事項を意味する）。更に、「Ａ、Ｂ及びＣなどのうちの少なくとも１つ」に類する表記が用いられる場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ及びＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。「Ａ、Ｂ又はＣなどのうちの少なくとも１つ」に類する表記が用いられる場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、又はＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。更に、典型的には、２つ以上の選択的な用語を表すあらゆる選言的な語及び／又は句は、文脈上他の意味に解釈すべき場合を除いて、明細書内であろうと、請求の範囲内であろうと、あるいは図面内であろうと、それら用語のうちの１つ、それらの用語のうちのいずれか、又はそれらの用語の両方を含む可能性を意図すると理解されるべきであることが、当業者には理解されよう。例えば、「Ａ又はＢ」という句は、典型的には、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むものと理解されよう。

添付の特許請求の範囲に関して、当業者は、本明細書における引用した動作は一般に、任意の順序で実施され得ることを理解するであろう。また、様々な動作のフロー図がシーケンス（単数又は複数）で示されているが、様々な動作は、例示されたもの以外の順序で行われてもよく、又は同時に行われてもよいことが理解されるべきである。かかる代替の順序付けの例は、文脈上他の意味に解釈すべき場合を除いて、重複、交互配置、割り込み、再順序付け、増加的、予備的、追加的、同時、逆又は他の異なる順序付けを含んでもよい。更に、「〜に応答する」、「〜に関連する」といった用語、又は他の過去時制の形容詞は、一般に、文脈上他の意味に解釈すべき場合を除き、かかる変化形を除外することが意図されるものではない。

「一態様」、「態様」、「例示」、「一例示」などへの任意の参照は、その態様に関連して記載される特定の機構、構造又は特性が少なくとも１つの態様に含まれると意味することは特記に値する。したがって、本明細書の全体を通じて様々な場所に見られる語句「一態様では」、「態様では」、「例示では」及び「一例示では」は、必ずしも全てが同じ態様を指すものではない。更に、特定の特徴、構造、又は特性は、１つ以上の態様において任意の好適な様態で組み合わせることができる。

本明細書で参照され、かつ／又は任意の出願データシートに列挙される任意の特許出願、特許、非特許刊行物、又は他の開示資料は、組み込まれる資料が本明細書と矛盾しない範囲で、参照により本明細書に組み込まれる。それ自体、また必要な範囲で、本明細書に明瞭に記載される開示は、参考により本明細書に組み込まれるあらゆる矛盾する資料に優先するものとする。参照により本明細書に組み込まれると言及されているが、現行の定義、見解、又は本明細書に記載される他の開示内容と矛盾する任意の内容、又はそれらの部分は、組み込まれた内容と現行の開示内容との間に矛盾が生じない範囲においてのみ、組み込まれるものとする。

要約すると、本明細書に記載した構想を用いる結果として得られる多くの利益が記載されてきた。１つ以上の形態の上述の記載は、例示及び説明を目的として提示されているものである。包括的であることも、開示された厳密な形態に限定することも意図されていない。上記の教示を鑑みて、修正又は変形が可能である。１つ以上の形態は、原理及び実際の応用について例示し、それによって、様々な形態を様々な修正例と共に、想到される特定の用途に適するものとして当業者が利用できるようにするために、選択され記載されたものである。本明細書と共に提示される特許請求の範囲が全体的な範囲を定義することが意図される。

〔実施の態様〕
（１）外科用可視化システムであって、
ディスプレイスクリーンと、
構造光パターンを表面上に放射するように構成されている、外科用装置と、
前記表面の下に埋め込まれた構造を識別するように構成されている、画像センサと、
前記画像センサと信号通信する制御回路であって、
前記表面上の前記構造光パターンを示す画像データを受信し、
前記画像データに基づいて前記表面の三次元デジタル表示を生成し、
前記構造及び前記外科用装置の画像を前記画像センサから取得し、
前記構造及び前記外科用装置の前記画像を、前記ディスプレイスクリーン上の前記表面の前記三次元デジタル表示と重ね合わせ、かつ、
前記外科用装置から前記構造までの距離を前記画像から決定するように構成されている、制御回路と、を備える、外科用可視化システム。
（２）前記表面を透過し、前記構造に到達することが可能な複数の波長のスペクトル光を放射するように構成されているエミッタを更に備え、前記画像センサが、反射されたスペクトル光を検出するように構成されており、前記制御回路が、前記反射されたスペクトル光に基づいて、前記表面の下の前記構造の位置を識別するように更に構成されている、実施態様１に記載の外科用可視化システム。
（３）前記画像センサを含む三次元カメラを更に備え、前記画像が三次元画像を含む、実施態様２に記載の外科用可視化システム。
（４）前記ディスプレイスクリーンがデジタル近接スペクトルを含み、前記制御回路が、前記デジタル近接スペクトル上に前記外科用装置から前記構造までの前記距離を表示するように更に構成されている、実施態様３に記載の外科用可視化システム。
（５）前記デジタル近接スペクトルが複数の色を含む、実施態様４に記載の外科用可視化システム。

（６）前記デジタル近接スペクトルがある範囲の数値を含む、実施態様４に記載の外科用可視化システム。
（７）前記デジタル近接スペクトルがある範囲の距離に対応する複数のクロスハッチングパターンを含む、実施態様４に記載の外科用可視化システム。
（８）前記表面の前記三次元デジタル表示及び前記構造の位置が前記ディスプレイスクリーン上でリアルタイムに更新される、実施態様１に記載の外科用可視化システム。
（９）前記制御回路と信号通信するロボット制御ユニットを更に備え、前記外科用装置が前記ロボット制御ユニットによって動作可能に制御され、前記ロボット制御ユニットは、前記外科用装置から前記構造までの前記距離が最小距離未満まで短縮したときに、前記外科用装置の動作を調節するように構成されている、実施態様１に記載の外科用可視化システム。
（１０）前記構造内に造影剤を更に含み、前記造影剤が前記構造を光らせるように構成されており、前記画像センサが、光った前記構造から反射された可視光を検出するように構成されている、実施態様１に記載の外科用可視化システム。

（１１）第２の外科用装置を更に備え、前記制御回路が、
前記第２の外科用装置から前記構造までの第２の距離を前記画像から決定し、かつ、
前記第２の距離を前記画像システムに提供するように更に構成されている、実施態様１に記載の外科用可視化システム。
（１２）前記ディスプレイスクリーンが、前記第２の外科用装置及び第２の近接スペクトルインジケータ上の前記第２の距離を表示するように更に構成されている、実施態様１１に記載の外科用可視化システム。
（１３）前記制御回路が、
前記外科用装置から前記構造までの前記距離が第１の最小距離未満に短縮したときに、第１の警告を表示し、かつ、
前記第２の外科用装置から前記構造までの前記第２の距離が第２の最小距離未満に短縮したときに、第２の警告を表示するように更に構成されており、前記第２の最小距離が前記第１の最小距離と異なる、実施態様１１に記載の外科用可視化システム。
（１４）前記制御回路が、前記外科用装置及び前記画像センサの既知の位置からの距離を三角測量するように構成されている、実施態様１に記載の外科用可視化システム。
（１５）外科用可視化システムであって、
プロセッサと、
前記プロセッサに通信可能に連結されているメモリであって、
表面上の構造光パターンを示す画像データを受信し、
前記画像データに基づいて前記表面の三次元デジタル表示を生成し、
埋め込まれた構造及び外科用装置の画像を画像センサから取得し、
前記埋め込まれた構造及び前記外科用装置の前記画像をディスプレイスクリーン上の前記表面の前記三次元デジタル表示と重ね合わせ、かつ、
前記外科用装置から前記埋め込まれた構造を覆っている前記表面の一部分までの距離を決定するための、前記プロセッサによって実行可能な命令を記憶している、メモリと、を備える、外科用可視化システム。

（１６）前記埋め込まれた構造の位置が、前記表面を透過し、前記埋め込まれた構造に到達することが可能な反射されたスペクトル光によって識別される、実施態様１５に記載の外科用可視化システム。
（１７）コンピュータ可読命令を記憶している非一時的コンピュータ可読媒体であって、前記コンピュータ可読命令は、実行されると、機械に、
表面上の構造光パターンを示す画像データを受信させ、
前記画像データに基づいて前記表面の三次元デジタル表示を生成させ、
埋め込まれた構造及び外科用装置の三次元画像を画像センサから取得させ、
前記埋め込まれた構造及び前記外科用装置の前記画像をディスプレイスクリーン上の前記表面の前記三次元デジタル表示と重ね合わせさせ、かつ、
前記外科用装置から前記埋め込まれた構造までの距離を前記三次元画像から決定させる、コンピュータ可読命令を記憶している非一時的コンピュータ可読媒体。
（１８）前記コンピュータ可読命令が、実行されると、前記機械に更に、
前記距離を示す信号を前記ディスプレイスクリーンに提供させ、かつ、
前記距離が既定の閾値距離を満たすときに警告信号を発行させる、実施態様１７に記載の非一時的コンピュータ可読媒体。
（１９）外科用可視化システムであって、
複数の組織透過波形を放射するように構成されている、エミッタと、
前記複数の組織透過波形を検出するように構成されている、受信器と、
ディスプレイを含む撮像システムと、
前記受信器と信号通信する制御回路であって、
外科用装置の隠れた部分の画像を表すデータを前記受信器から受信し、かつ、
前記外科用装置の前記隠れた部分の前記画像を前記ディスプレイに提供するように構成されている、制御回路と、を備える、外科用可視化システム。
（２０）前記エミッタ及び前記受信器を含むハイパースペクトルカメラを更に備える、実施態様１９に記載の外科用可視化システム。

（２１）構造光源を含む組織表面マッピングシステムを更に備え、前記制御回路が、
組織表面の三次元表示を表すデータを前記組織表面マッピングシステムから受信し、
前記ディスプレイに前記組織表面の前記三次元表示を提供し、かつ、
前記ディスプレイ上で、前記組織表面の前記三次元表示の上に前記外科用装置の前記隠れた部分の前記画像を重ね合わせるように更に構成されている、実施態様１９に記載の外科用可視化システム。
（２２）前記外科用装置がロボット手術ツールを含む、実施態様１９に記載の外科用可視化システム。
（２３）前記外科用装置が吸引用針を含む、実施態様１９に記載の外科用可視化システム。
（２４）前記複数の組織透過波形が、
前記外科用装置の前記隠れた部分を標的とするように構成された第１の波形と、
解剖学的構造を標的とするように構成された第２の波形と、を含む、実施態様１９に記載の外科用可視化システム。
（２５）前記制御回路が、前記外科用装置の前記隠れた部分に対応する第１のスペクトルシグネチャ及び前記解剖学的構造に対応する第２のスペクトルシグネチャを識別するように更に構成されている、実施態様２４に記載の外科用可視化システム。

（２６）前記制御回路が、前記外科用装置の前記隠れた部分と前記解剖学的構造との間の距離を決定するように更に構成されている、実施態様２５に記載の外科用可視化システム。
（２７）前記ディスプレイが、前記外科用装置の前記隠れた部分と前記解剖学的構造との間の前記距離を伝達するように構成されている、実施態様２６に記載の外科用可視化システム。
（２８）前記制御回路は、前記外科用装置の前記隠れた部分と前記解剖学的構造との間の前記距離が閾値最小距離に達したときに警告を発するように更に構成されている、実施態様２７に記載の外科用可視化システム。
（２９）前記制御回路が、プロセッサと、前記プロセッサに通信可能に連結されているメモリと、を含み、前記メモリは、
前記外科用装置の前記隠れた部分の前記画像を表すデータを前記受信器から受信し、かつ、
前記外科用装置の前記隠れた部分の前記画像を前記ディスプレイに提供するための、前記プロセッサによって実行可能な命令を記憶している、実施態様１９に記載の外科用可視化システム。
（３０）外科用可視化システムであって、
ハイパースペクトルカメラであって、
複数の組織透過波形を放射するように構成されている、エミッタと、
前記複数の組織透過波形を検出するように構成されている、画像センサと、を含む、ハイパースペクトルカメラと、
前記ハイパースペクトルカメラと信号通信する制御回路であって、
前記画像センサによって検出された前記複数の組織透過波形から第１の重要構造の位置を表すデータを受信し、
前記画像センサによって検出された前記複数の組織透過波形から第２の重要構造の位置を表すデータを受信し、かつ、
前記第１の重要構造と前記第２の重要構造との間の距離を決定するように構成されている、制御回路と、を備える、外科用可視化システム。

（３１）前記第１の重要構造が外科用装置及び解剖学的構造のうちの１つを含む、実施態様３０に記載の外科用可視化システム。
（３２）前記第２の重要構造が外科用装置及び解剖学的構造のうちの１つを含む、実施態様３１に記載の外科用可視化システム。
（３３）前記制御回路が、プロセッサと、前記プロセッサに通信可能に連結されているメモリと、を含み、前記メモリは、
前記画像センサによって検出された前記複数の組織透過波形から前記第１の重要構造を識別し、
前記画像センサによって検出された前記複数の組織透過波形から前記第２の重要構造を識別し、かつ、
前記第１の重要構造と前記第２の重要構造との間の前記距離を決定するための、前記プロセッサによって実行可能な命令を記憶している、実施態様３０に記載の外科用可視化システム。
（３４）ビデオモニタを更に備え、前記制御回路が、前記ビデオモニタ上に前記第１の重要構造及び前記第２の重要構造をリアルタイムで概略的に描写するように更に構成されている、実施態様３０に記載の外科用可視化システム。
（３５）前記エミッタが、表面に到達するように構成された構造光パターンを放射するように更に構成されており、前記画像センサが、前記構造光パターンを検出するように更に構成されており、前記制御回路が、
前記画像センサによって検出された前記構造光パターンから前記表面の三次元表示を表すデータを受信するように更に構成されている、実施態様３４に記載の外科用可視化システム。

（３６）前記制御回路が、
前記表面の前記三次元表示に基づいて画像を生成し、かつ、
前記画像上に前記第１の重要構造及び前記第２の重要構造の概略的描写を重ね合わせるように更に構成されている、実施態様３５に記載の外科用可視化システム。
（３７）コンピュータ可読命令を記憶している非一時的コンピュータ可読媒体であって、前記コンピュータ可読命令は、実行されると、機械に、
第１の隠れた構造の第１の画像を表すデータを画像センサから受信させ、
前記第１の隠れた構造の前記第１の画像をディスプレイに提供させ、
第２の隠れた構造の第２の画像を表すデータを前記画像センサから受信させ、
前記第２の隠れた構造の前記第２の画像を前記ディスプレイに提供させ、かつ、
前記第１の隠れた構造と前記第２の隠れた構造との間の距離を決定させる、コンピュータ可読命令を記憶している非一時的コンピュータ可読媒体。
（３８）前記コンピュータ可読命令が、実行されると、前記機械に更に、
表面上の構造光パターンを検出するように構成されている受信器からデータを受信させ、
前記データから前記表面の三次元レンダリングを生成させ、
前記表面の前記三次元レンダリングを前記ディスプレイに提供させ、かつ、
前記ディスプレイ上で、前記第１の隠れた構造の前記第１の画像及び前記第２の隠れた構造の前記第２の画像を前記表面の前記三次元レンダリング上に重ね合わせさせる、実施態様３７に記載の非一時的コンピュータ可読媒体。
（３９）外科用可視化システムであって、
構造光パターンを解剖学的構造の表面上に放射するように構成されている、第１のプロジェクタと、
前記解剖学的構造を透過し、ステープルラインに到達することが可能な複数の波長のスペクトル光を放射するように構成されている、第２のプロジェクタと、
画像センサと信号通信する制御回路であって、
前記解剖学的構造の前記表面上の前記構造光パターンを示す構造光データを前記画像センサから受信し、
前記解剖学的構造の三次元表示を前記構造光データから計算し、
前記ステープルラインのスペクトル画像を示すスペクトル光データを前記画像センサから受信し、
前記ステープルラインの前記スペクトル画像を前記スペクトル光データから生成し、かつ、
前記ステープルラインに対する距離を決定するように構成されている、制御回路と、を備える、外科用可視化システム。
（４０）ビデオモニタを更に備え、前記制御回路が前記ビデオモニタと信号通信しており、前記制御回路が、
前記解剖学的構造の前記三次元表示を示す第１のビデオ信号を前記ビデオモニタにリアルタイムで選択的に提供し、かつ、
前記ステープルラインの位置を示す第２のビデオ信号を前記ビデオモニタにリアルタイムで選択的に提供するように更に構成されている、実施態様３９に記載の外科用可視化システム。

（４１）前記制御回路が、前記第１のビデオ信号及び前記第２のビデオ信号を選択的に統合し、前記解剖学的構造の前記三次元表示に重なる前記ステープルラインの前記位置を示すビデオを生成するように更に構成されている、実施態様４０に記載の外科用可視化システム。
（４２）前記制御回路が、前記ステープルラインに対する前記距離を示す第１の信号を前記ビデオモニタに選択的に提供するように更に構成されている、実施態様４１に記載の外科用可視化システム。
（４３）前記制御回路が、
ロボットツールの外科用エンドエフェクタのスペクトル画像を示すスペクトル光データを前記画像センサから受信し、かつ、
前記スペクトル光データから前記外科用エンドエフェクタの前記スペクトル画像を生成するように更に構成されている、実施態様４１に記載の外科用可視化システム。
（４４）前記制御回路が、前記画像センサ及び前記ロボットツールの座標から前記外科用エンドエフェクタと前記ステープルラインとの間の距離を三角測量するように更に構成されている、実施態様４３に記載の外科用可視化システム。
（４５）前記制御回路が、
円形ステープラのトロカールのスペクトル画像を示すスペクトル光データを前記画像センサから受信し、かつ、
前記スペクトル光データから前記トロカールの前記スペクトル画像を生成するように更に構成されている、実施態様４１に記載の外科用可視化システム。

（４６）前記制御回路が、
円形ステープラアンビルのスペクトル画像を示すスペクトル光データを前記画像センサから受信し、かつ
前記スペクトル光データから前記円形ステープラアンビルの前記スペクトル画像を生成するように更に構成されている、実施態様４５に記載の外科用可視化システム。
（４７）前記制御回路が、前記トロカールと前記円形ステープラアンビルとの間の距離を決定するように更に構成されている、実施態様４６に記載の外科用可視化システム。
（４８）前記制御回路が、
前記円形ステープラアンビルと前記ステープルラインとの間の距離を示す第１の信号を前記ビデオモニタに提供し、かつ、
前記トロカールと前記円形ステープラアンビルとの間の前記距離を示す第２の信号を前記ビデオモニタに提供するように更に構成されている、実施態様４７に記載の外科用可視化システム。
（４９）前記制御回路が、ユーザ選択入力に基づいて前記第２のビデオ信号を前記ビデオモニタに提供し、前記ステープルラインを追跡するように更に構成されている、実施態様４１に記載の外科用可視化システム。
（５０）前記制御回路が、外科用装置を支持するロボットアームを制御するように動作可能に構成されたロボット制御ユニットと信号通信し、前記ロボット制御ユニットが、制御信号を提供して、前記ステープルラインを視界から隠している前記解剖学的構造の一部分に向かって前記ロボットアームを移動させるように動作可能に構成されている、実施態様４１に記載の外科用可視化システム。

（５１）前記第１のプロジェクタと、前記第２のプロジェクタと、前記画像センサと、を含む、ハイパースペクトルカメラを更に備える、実施態様３９に記載の外科用可視化システム。
（５２）外科用可視化システムであって、
プロセッサと、
前記プロセッサに通信可能に連結されているメモリであって、前記メモリは、前記プロセッサによって実行されると、
解剖学的構造の表面上の構造光パターンを示す構造光データを画像センサから受信させ、
前記解剖学的構造の三次元表示を前記構造光データから計算させ、
ステープルラインのスペクトル画像を示すスペクトル光データを前記画像センサから受信させ、
前記ステープルラインのスペクトル画像を前記スペクトル光データから生成させ、かつ、
前記ステープルラインに対する距離を決定させる、命令を記憶している、メモリと、を備える、外科用可視化システム。
（５３）前記メモリが、前記プロセッサによって実行されると、
前記解剖学的構造の前記三次元表示を示す第１のビデオ信号をビデオモニタにリアルタイムで選択的に提供させ、かつ、
前記ステープルラインの位置を示す第２のビデオ信号を前記ビデオモニタにリアルタイムで選択的に提供させる、命令を記憶している、実施態様５２に記載の外科用可視化システム。
（５４）前記メモリが、前記プロセッサによって実行されると、前記第１のビデオ信号及び前記第２のビデオ信号を選択的に統合させ、前記解剖学的構造の前記三次元表示に重なる前記ステープルラインの前記位置を示すビデオを生成させる、命令を記憶している、実施態様５３に記載の外科用可視化システム。
（５５）前記メモリが、前記プロセッサによって実行されると、前記ステープルラインに対する前記距離を示す第１の信号を前記ビデオモニタに選択的に提供させる、命令を記憶している、実施態様５４に記載の外科用可視化システム。

（５６）コンピュータ可読命令を記憶している非一時的コンピュータ可読媒体であって、前記コンピュータ可読命令は、実行されると、機械に、
解剖学的構造の表面上の構造光パターンを示す構造光データを画像センサから受信させ、
前記解剖学的構造の三次元表示を前記構造光データから計算させ、
ステープルラインのスペクトル画像を示すスペクトル光データを前記画像センサから受信させ、
前記ステープルラインのスペクトル画像を前記スペクトル光データから生成させ、かつ、
前記ステープルラインに対する距離を決定させる、コンピュータ可読命令を記憶している非一時的コンピュータ可読媒体。
（５７）前記コンピュータ可読命令が、実行されると、前記機械に更に、
前記解剖学的構造の前記三次元表示を示す第１のビデオ信号をビデオモニタにリアルタイムで選択的に提供させ、かつ、
前記ステープルラインの位置を示す第２のビデオ信号を前記ビデオモニタにリアルタイムで選択的に提供させる、実施態様５６に記載のコンピュータ可読命令を記憶している非一時的コンピュータ可読媒体。
（５８）前記コンピュータ可読命令が、実行されると、前記機械に更に、前記第１のビデオ信号及び前記第２のビデオ信号を選択的に統合させ、前記解剖学的構造の前記三次元表示に重なる前記ステープルラインの前記位置を示すビデオを生成させる、実施態様５７に記載のコンピュータ可読命令を記憶している非一時的コンピュータ可読媒体。

Claims

外科用可視化システムであって、
ディスプレイスクリーンと、
構造光パターンを表面上に放射するように構成されている、外科用装置と、
前記表面の下に埋め込まれた構造を識別するように構成されている、画像センサと、
前記画像センサと信号通信する制御回路であって、
前記表面上の前記構造光パターンを示す画像データを受信し、
前記画像データに基づいて前記表面の三次元デジタル表示を生成し、
前記構造及び前記外科用装置の画像を前記画像センサから取得し、
前記構造及び前記外科用装置の前記画像を、前記ディスプレイスクリーン上の前記表面の前記三次元デジタル表示と重ね合わせ、かつ、
前記外科用装置から前記構造までの距離を前記画像から決定するように構成されている、制御回路と、を備える、外科用可視化システム。
前記表面を透過し、前記構造に到達することが可能な複数の波長のスペクトル光を放射するように構成されているエミッタを更に備え、前記画像センサが、反射されたスペクトル光を検出するように構成されており、前記制御回路が、前記反射されたスペクトル光に基づいて、前記表面の下の前記構造の位置を識別するように更に構成されている、請求項１に記載の外科用可視化システム。
前記画像センサを含む三次元カメラを更に備え、前記画像が三次元画像を含む、請求項２に記載の外科用可視化システム。
前記ディスプレイスクリーンがデジタル近接スペクトルを含み、前記制御回路が、前記デジタル近接スペクトル上に前記外科用装置から前記構造までの前記距離を表示するように更に構成されている、請求項３に記載の外科用可視化システム。
前記デジタル近接スペクトルが複数の色を含む、請求項４に記載の外科用可視化システム。
前記デジタル近接スペクトルがある範囲の数値を含む、請求項４に記載の外科用可視化システム。
前記デジタル近接スペクトルがある範囲の距離に対応する複数のクロスハッチングパターンを含む、請求項４に記載の外科用可視化システム。
前記表面の前記三次元デジタル表示及び前記構造の位置が前記ディスプレイスクリーン上でリアルタイムに更新される、請求項１に記載の外科用可視化システム。
前記制御回路と信号通信するロボット制御ユニットを更に備え、前記外科用装置が前記ロボット制御ユニットによって動作可能に制御され、前記ロボット制御ユニットは、前記外科用装置から前記構造までの前記距離が最小距離未満まで短縮したときに、前記外科用装置の動作を調節するように構成されている、請求項１に記載の外科用可視化システム。
前記構造内に造影剤を更に含み、前記造影剤が前記構造を光らせるように構成されており、前記画像センサが、光った前記構造から反射された可視光を検出するように構成されている、請求項１に記載の外科用可視化システム。
第２の外科用装置を更に備え、前記制御回路が、
前記第２の外科用装置から前記構造までの第２の距離を前記画像から決定し、かつ、
前記第２の距離を前記画像システムに提供するように更に構成されている、請求項１に記載の外科用可視化システム。
前記ディスプレイスクリーンが、前記第２の外科用装置及び第２の近接スペクトルインジケータ上の前記第２の距離を表示するように更に構成されている、請求項１１に記載の外科用可視化システム。
前記制御回路が、
前記外科用装置から前記構造までの前記距離が第１の最小距離未満に短縮したときに、第１の警告を表示し、かつ、
前記第２の外科用装置から前記構造までの前記第２の距離が第２の最小距離未満に短縮したときに、第２の警告を表示するように更に構成されており、前記第２の最小距離が前記第１の最小距離と異なる、請求項１１に記載の外科用可視化システム。
前記制御回路が、前記外科用装置及び前記画像センサの既知の位置からの距離を三角測量するように構成されている、請求項１に記載の外科用可視化システム。
外科用可視化システムであって、
プロセッサと、
前記プロセッサに通信可能に連結されているメモリであって、
表面上の構造光パターンを示す画像データを受信し、
前記画像データに基づいて前記表面の三次元デジタル表示を生成し、
埋め込まれた構造及び外科用装置の画像を画像センサから取得し、
前記埋め込まれた構造及び前記外科用装置の前記画像をディスプレイスクリーン上の前記表面の前記三次元デジタル表示と重ね合わせ、かつ、
前記外科用装置から前記埋め込まれた構造を覆っている前記表面の一部分までの距離を決定するための、前記プロセッサによって実行可能な命令を記憶している、メモリと、を備える、外科用可視化システム。
前記埋め込まれた構造の位置が、前記表面を透過し、前記埋め込まれた構造に到達することが可能な反射されたスペクトル光によって識別される、請求項１５に記載の外科用可視化システム。
コンピュータ可読命令を記憶している非一時的コンピュータ可読媒体であって、前記コンピュータ可読命令は、実行されると、機械に、
表面上の構造光パターンを示す画像データを受信させ、
前記画像データに基づいて前記表面の三次元デジタル表示を生成させ、
埋め込まれた構造及び外科用装置の三次元画像を画像センサから取得させ、
前記埋め込まれた構造及び前記外科用装置の前記画像をディスプレイスクリーン上の前記表面の前記三次元デジタル表示と重ね合わせさせ、かつ、
前記外科用装置から前記埋め込まれた構造までの距離を前記三次元画像から決定させる、コンピュータ可読命令を記憶している非一時的コンピュータ可読媒体。
前記コンピュータ可読命令が、実行されると、前記機械に更に、
前記距離を示す信号を前記ディスプレイスクリーンに提供させ、かつ、
前記距離が既定の閾値距離を満たすときに警告信号を発行させる、請求項１７に記載の非一時的コンピュータ可読媒体。
外科用可視化システムであって、
複数の組織透過波形を放射するように構成されている、エミッタと、
前記複数の組織透過波形を検出するように構成されている、受信器と、
ディスプレイを含む撮像システムと、
前記受信器と信号通信する制御回路であって、
外科用装置の隠れた部分の画像を表すデータを前記受信器から受信し、かつ、
前記外科用装置の前記隠れた部分の前記画像を前記ディスプレイに提供するように構成されている、制御回路と、を備える、外科用可視化システム。
前記エミッタ及び前記受信器を含むハイパースペクトルカメラを更に備える、請求項１９に記載の外科用可視化システム。
構造光源を含む組織表面マッピングシステムを更に備え、前記制御回路が、
組織表面の三次元表示を表すデータを前記組織表面マッピングシステムから受信し、
前記ディスプレイに前記組織表面の前記三次元表示を提供し、かつ、
前記ディスプレイ上で、前記組織表面の前記三次元表示の上に前記外科用装置の前記隠れた部分の前記画像を重ね合わせるように更に構成されている、請求項１９に記載の外科用可視化システム。
前記外科用装置がロボット手術ツールを含む、請求項１９に記載の外科用可視化システム。
前記外科用装置が吸引用針を含む、請求項１９に記載の外科用可視化システム。
前記複数の組織透過波形が、
前記外科用装置の前記隠れた部分を標的とするように構成された第１の波形と、
解剖学的構造を標的とするように構成された第２の波形と、を含む、請求項１９に記載の外科用可視化システム。
前記制御回路が、前記外科用装置の前記隠れた部分に対応する第１のスペクトルシグネチャ及び前記解剖学的構造に対応する第２のスペクトルシグネチャを識別するように更に構成されている、請求項２４に記載の外科用可視化システム。
前記制御回路が、前記外科用装置の前記隠れた部分と前記解剖学的構造との間の距離を決定するように更に構成されている、請求項２５に記載の外科用可視化システム。
前記ディスプレイが、前記外科用装置の前記隠れた部分と前記解剖学的構造との間の前記距離を伝達するように構成されている、請求項２６に記載の外科用可視化システム。
前記制御回路は、前記外科用装置の前記隠れた部分と前記解剖学的構造との間の前記距離が閾値最小距離に達したときに警告を発するように更に構成されている、請求項２７に記載の外科用可視化システム。
前記制御回路が、プロセッサと、前記プロセッサに通信可能に連結されているメモリと、を含み、前記メモリは、
前記外科用装置の前記隠れた部分の前記画像を表すデータを前記受信器から受信し、かつ、
前記外科用装置の前記隠れた部分の前記画像を前記ディスプレイに提供するための、前記プロセッサによって実行可能な命令を記憶している、請求項１９に記載の外科用可視化システム。
外科用可視化システムであって、
ハイパースペクトルカメラであって、
複数の組織透過波形を放射するように構成されている、エミッタと、
前記複数の組織透過波形を検出するように構成されている、画像センサと、を含む、ハイパースペクトルカメラと、
前記ハイパースペクトルカメラと信号通信する制御回路であって、
前記画像センサによって検出された前記複数の組織透過波形から第１の重要構造の位置を表すデータを受信し、
前記画像センサによって検出された前記複数の組織透過波形から第２の重要構造の位置を表すデータを受信し、かつ、
前記第１の重要構造と前記第２の重要構造との間の距離を決定するように構成されている、制御回路と、を備える、外科用可視化システム。
前記第１の重要構造が外科用装置及び解剖学的構造のうちの１つを含む、請求項３０に記載の外科用可視化システム。
前記第２の重要構造が外科用装置及び解剖学的構造のうちの１つを含む、請求項３１に記載の外科用可視化システム。
前記制御回路が、プロセッサと、前記プロセッサに通信可能に連結されているメモリと、を含み、前記メモリは、
前記画像センサによって検出された前記複数の組織透過波形から前記第１の重要構造を識別し、
前記画像センサによって検出された前記複数の組織透過波形から前記第２の重要構造を識別し、かつ、
前記第１の重要構造と前記第２の重要構造との間の前記距離を決定するための、前記プロセッサによって実行可能な命令を記憶している、請求項３０に記載の外科用可視化システム。
ビデオモニタを更に備え、前記制御回路が、前記ビデオモニタ上に前記第１の重要構造及び前記第２の重要構造をリアルタイムで概略的に描写するように更に構成されている、請求項３０に記載の外科用可視化システム。
前記エミッタが、表面に到達するように構成された構造光パターンを放射するように更に構成されており、前記画像センサが、前記構造光パターンを検出するように更に構成されており、前記制御回路が、
前記画像センサによって検出された前記構造光パターンから前記表面の三次元表示を表すデータを受信するように更に構成されている、請求項３４に記載の外科用可視化システム。
前記制御回路が、
前記表面の前記三次元表示に基づいて画像を生成し、かつ、
前記画像上に前記第１の重要構造及び前記第２の重要構造の概略的描写を重ね合わせるように更に構成されている、請求項３５に記載の外科用可視化システム。
コンピュータ可読命令を記憶している非一時的コンピュータ可読媒体であって、前記コンピュータ可読命令は、実行されると、機械に、
第１の隠れた構造の第１の画像を表すデータを画像センサから受信させ、
前記第１の隠れた構造の前記第１の画像をディスプレイに提供させ、
第２の隠れた構造の第２の画像を表すデータを前記画像センサから受信させ、
前記第２の隠れた構造の前記第２の画像を前記ディスプレイに提供させ、かつ、
前記第１の隠れた構造と前記第２の隠れた構造との間の距離を決定させる、コンピュータ可読命令を記憶している非一時的コンピュータ可読媒体。
前記コンピュータ可読命令が、実行されると、前記機械に更に、
表面上の構造光パターンを検出するように構成されている受信器からデータを受信させ、
前記データから前記表面の三次元レンダリングを生成させ、
前記表面の前記三次元レンダリングを前記ディスプレイに提供させ、かつ、
前記ディスプレイ上で、前記第１の隠れた構造の前記第１の画像及び前記第２の隠れた構造の前記第２の画像を前記表面の前記三次元レンダリング上に重ね合わせさせる、請求項３７に記載の非一時的コンピュータ可読媒体。
外科用可視化システムであって、
構造光パターンを解剖学的構造の表面上に放射するように構成されている、第１のプロジェクタと、
前記解剖学的構造を透過し、ステープルラインに到達することが可能な複数の波長のスペクトル光を放射するように構成されている、第２のプロジェクタと、
画像センサと信号通信する制御回路であって、
前記解剖学的構造の前記表面上の前記構造光パターンを示す構造光データを前記画像センサから受信し、
前記解剖学的構造の三次元表示を前記構造光データから計算し、
前記ステープルラインのスペクトル画像を示すスペクトル光データを前記画像センサから受信し、
前記ステープルラインの前記スペクトル画像を前記スペクトル光データから生成し、かつ、
前記ステープルラインに対する距離を決定するように構成されている、制御回路と、を備える、外科用可視化システム。
ビデオモニタを更に備え、前記制御回路が前記ビデオモニタと信号通信しており、前記制御回路が、
前記解剖学的構造の前記三次元表示を示す第１のビデオ信号を前記ビデオモニタにリアルタイムで選択的に提供し、かつ、
前記ステープルラインの位置を示す第２のビデオ信号を前記ビデオモニタにリアルタイムで選択的に提供するように更に構成されている、請求項３９に記載の外科用可視化システム。
前記制御回路が、前記第１のビデオ信号及び前記第２のビデオ信号を選択的に統合し、前記解剖学的構造の前記三次元表示に重なる前記ステープルラインの前記位置を示すビデオを生成するように更に構成されている、請求項４０に記載の外科用可視化システム。
前記制御回路が、前記ステープルラインに対する前記距離を示す第１の信号を前記ビデオモニタに選択的に提供するように更に構成されている、請求項４１に記載の外科用可視化システム。
前記制御回路が、
ロボットツールの外科用エンドエフェクタのスペクトル画像を示すスペクトル光データを前記画像センサから受信し、かつ、
前記スペクトル光データから前記外科用エンドエフェクタの前記スペクトル画像を生成するように更に構成されている、請求項４１に記載の外科用可視化システム。
前記制御回路が、前記画像センサ及び前記ロボットツールの座標から前記外科用エンドエフェクタと前記ステープルラインとの間の距離を三角測量するように更に構成されている、請求項４３に記載の外科用可視化システム。
前記制御回路が、
円形ステープラのトロカールのスペクトル画像を示すスペクトル光データを前記画像センサから受信し、かつ、
前記スペクトル光データから前記トロカールの前記スペクトル画像を生成するように更に構成されている、請求項４１に記載の外科用可視化システム。
前記制御回路が、
円形ステープラアンビルのスペクトル画像を示すスペクトル光データを前記画像センサから受信し、かつ
前記スペクトル光データから前記円形ステープラアンビルの前記スペクトル画像を生成するように更に構成されている、請求項４５に記載の外科用可視化システム。
前記制御回路が、前記トロカールと前記円形ステープラアンビルとの間の距離を決定するように更に構成されている、請求項４６に記載の外科用可視化システム。
前記制御回路が、
前記円形ステープラアンビルと前記ステープルラインとの間の距離を示す第１の信号を前記ビデオモニタに提供し、かつ、
前記トロカールと前記円形ステープラアンビルとの間の前記距離を示す第２の信号を前記ビデオモニタに提供するように更に構成されている、請求項４７に記載の外科用可視化システム。
前記制御回路が、ユーザ選択入力に基づいて前記第２のビデオ信号を前記ビデオモニタに提供し、前記ステープルラインを追跡するように更に構成されている、請求項４１に記載の外科用可視化システム。
前記制御回路が、外科用装置を支持するロボットアームを制御するように動作可能に構成されたロボット制御ユニットと信号通信し、前記ロボット制御ユニットが、制御信号を提供して、前記ステープルラインを視界から隠している前記解剖学的構造の一部分に向かって前記ロボットアームを移動させるように動作可能に構成されている、請求項４１に記載の外科用可視化システム。
前記第１のプロジェクタと、前記第２のプロジェクタと、前記画像センサと、を含む、ハイパースペクトルカメラを更に備える、請求項３９に記載の外科用可視化システム。
外科用可視化システムであって、
プロセッサと、
前記プロセッサに通信可能に連結されているメモリであって、前記メモリは、前記プロセッサによって実行されると、
解剖学的構造の表面上の構造光パターンを示す構造光データを画像センサから受信させ、
前記解剖学的構造の三次元表示を前記構造光データから計算させ、
ステープルラインのスペクトル画像を示すスペクトル光データを前記画像センサから受信させ、
前記ステープルラインのスペクトル画像を前記スペクトル光データから生成させ、かつ、
前記ステープルラインに対する距離を決定させる、命令を記憶している、メモリと、を備える、外科用可視化システム。
前記メモリが、前記プロセッサによって実行されると、
前記解剖学的構造の前記三次元表示を示す第１のビデオ信号をビデオモニタにリアルタイムで選択的に提供させ、かつ、
前記ステープルラインの位置を示す第２のビデオ信号を前記ビデオモニタにリアルタイムで選択的に提供させる、命令を記憶している、請求項５２に記載の外科用可視化システム。
前記メモリが、前記プロセッサによって実行されると、前記第１のビデオ信号及び前記第２のビデオ信号を選択的に統合させ、前記解剖学的構造の前記三次元表示に重なる前記ステープルラインの前記位置を示すビデオを生成させる、命令を記憶している、請求項５３に記載の外科用可視化システム。
前記メモリが、前記プロセッサによって実行されると、前記ステープルラインに対する前記距離を示す第１の信号を前記ビデオモニタに選択的に提供させる、命令を記憶している、請求項５４に記載の外科用可視化システム。
コンピュータ可読命令を記憶している非一時的コンピュータ可読媒体であって、前記コンピュータ可読命令は、実行されると、機械に、
解剖学的構造の表面上の構造光パターンを示す構造光データを画像センサから受信させ、
前記解剖学的構造の三次元表示を前記構造光データから計算させ、
ステープルラインのスペクトル画像を示すスペクトル光データを前記画像センサから受信させ、
前記ステープルラインのスペクトル画像を前記スペクトル光データから生成させ、かつ、
前記ステープルラインに対する距離を決定させる、コンピュータ可読命令を記憶している非一時的コンピュータ可読媒体。
前記コンピュータ可読命令が、実行されると、前記機械に更に、
前記解剖学的構造の前記三次元表示を示す第１のビデオ信号をビデオモニタにリアルタイムで選択的に提供させ、かつ、
前記ステープルラインの位置を示す第２のビデオ信号を前記ビデオモニタにリアルタイムで選択的に提供させる、請求項５６に記載のコンピュータ可読命令を記憶している非一時的コンピュータ可読媒体。
前記コンピュータ可読命令が、実行されると、前記機械に更に、前記第１のビデオ信号及び前記第２のビデオ信号を選択的に統合させ、前記解剖学的構造の前記三次元表示に重なる前記ステープルラインの前記位置を示すビデオを生成させる、請求項５７に記載のコンピュータ可読命令を記憶している非一時的コンピュータ可読媒体。