JP2022510393A - 画像誘導手術のための照明補正近赤外線（ｎｉｒ）イメージング - Google Patents

Abstract

本明細書に記載される技術は、手術シーンの部分の視覚的表現を表示する方法で具体化することができる。この方法は、手術装置と関連付けられたカメラの第１のセンサを使用してキャプチャされた情報を表すデータを受信するステップを含み、この情報は、手術シーンの部分から放射される蛍光の量を表す第１の量を示す。本方法はまた、手術シーンの部分から蛍光を放射させる励起シグナルの量を表す第２の量を示す情報を得るステップと、第１の量及び第２の量の関数として正規化された蛍光シグナルを生成するステップとを含む。この方法は、さらに、正規化された蛍光シグナルに基づいて手術シーンの部分の視覚的表現を生成するステップと、手術装置に関連付けられたディスプレイ装置に視覚的表現を提示するステップとを含む。

Description

（関連出願の相互参照）
本出願は、２０１８年１２月５日に出願された“Illumination Corrected Near-Infrared （NIR） Imaging for Image Guided Surgery”と題する米国仮出願第62/775,451号の利益を主張する。前述の出願の開示は、その全体が参照により本明細書に組み込まれる。

本開示は、内視鏡手術システムにおいて使用される近赤外線（ＮＩＲ）イメージングに関する。

外科的介入を受ける患者が経験する外傷を減らすために、低侵襲手術システムが開発されている。これらのシステムは小さい切開部だけを必要とし、外科医は手術を行うためにスティック状のカメラや器具を使用する。外傷を減少させることに加えて、このタイプの遠隔操作システムは、外科医の器用さを増加させ、また、外科医が遠隔位置から患者に対して手術を行うことを可能にする。遠隔手術は、手術システムの一般的な用語であり、外科医は、手術器具を直接手で保持したり動かしたりするのではなく、手術器具の動きを操作するために、例えばサーボ機構などの何らかの形態の遠隔制御を使用する。このような遠隔手術システムでは、外科医は、ディスプレイ装置を通して手術部位の画像を提供される。ディスプレイ装置を通して受け取った視覚的なフィードバックに基づいて、外科医は、マスター制御入力装置を操作することによって、患者に対する手術処置を実行し、このマスター制御入力装置は、遠隔ロボット器具の動作を制御する。

一態様では、本明細書は、手術シーンの部分の視覚的表現を表示する方法を特徴とする。この方法は、手術装置と関連付けられたカメラの第１のセンサを使用してキャプチャされた情報を表すデータを受信するステップを含み、この情報は、手術シーンの部分から放射される蛍光の量を表す第１の量を示す。本方法はまた、手術シーンの部分から蛍光を放射させる励起シグナルの量を表す第２の量を示す情報を得るステップと、１つ又は複数の処理装置によって、第１の量及び第２の量の関数として正規化された蛍光シグナルを生成するステップとを含む。本方法はさらに、正規化された蛍光シグナルに基づいて手術シーンの部分の視覚的表現を生成するステップと、手術シーンの部分の視覚的表現を手術装置に関連付けられるディスプレイ装置に提示するステップとを含む。

別の態様では、本明細書は、第１の画像センサ及びレンダリングエンジンを含むイメージングシステムを特徴とする。第１の画像センサは、手術シーンの部分から放射される蛍光の量を表す第１の量を示す情報を感知するように構成される。レンダリングエンジンは、１つ又は複数の処理装置を含み、手術シーンの部分から蛍光を放射させる励起シグナルの量を表す第２の量を示す情報を得る、第１の量及び第２の量の関数として正規化された蛍光シグナルを生成する、及び正規化された蛍光シグナルに基づいて手術シーンの部分の視覚的表現を生成するように構成される。システムはまた、視覚的表現を提示するように構成されたディスプレイ装置を含む。

別の態様では、本明細書は、１つ又は複数の処理装置に種々の動作を実行させるための命令をエンコードした１つ又は複数の非一時的な機械可読記憶装置を特徴とする。動作は、手術装置と関連付けられたカメラの第１のセンサを使用してキャプチャされた情報を表すデータを受信することを含む。情報は、手術シーンの部分から放射される蛍光の量を表す第１の量を示す。動作はまた、手術シーンの部分から蛍光を放射させる励起シグナルの量を表す第２の量を示す情報を得ることと、第１の量及び第２の量の関数として正規化された蛍光シグナルを生成することとを含む。動作は、さらに、正規化された蛍光シグナルに基づいて手術シーンの部分の視覚的表現を生成することと、手術シーンの部分の視覚的表現を手術装置に関連付けられたディスプレイ装置に提示させることを含む。

上記の態様の実装は、以下の特徴の１つ又は複数を含むことができる。

第２の量を示す情報を得ることは、手術シーンの部分から反射される励起シグナルの部分を受信することと、第２のセンサを使用して励起シグナルの部分をキャプチャすることと、第２のセンサからの出力信号に基づいて第２の量を決定することとを含むことができる。第１のセンサ及び第２のセンサの各々は、近赤外線（ＮＩＲ）センサであることができる。励起シグナルの部分をキャプチャすることは、第２のセンサへ向かって励起シグナルの部分の伝搬の方向を変更することを含むことができる。伝搬の方向は、伝搬の方向に対してある角度に配置された反射要素を用いて変化させることができる。第２の量を示す情報を得ることは、励起シグナルのソースに関連する深度マップにアクセスすることを含むことができ、深度マップは、ソースからの空間的分離（spatial separation）の関数として、励起シグナルの強度変動に関する情報を提供する。第２の量を示す情報を得ることはまた、手術シーンの部分と励起シグナルのソースとの間の空間的分離に関する情報を表すデータを受信することと、（ｉ）手術シーンの部分とソースとの間の空間的分離、及び（ｉｉ）深度マップに基づいて第２の量を決定することとを含むことができる。空間的分離に関する情報を表すデータは、第３のセンサから受信することができる。手術シーンの部分とソースとの間の空間的分離に関する情報は、（ｉ）手術シーンの部分とソースとの間の角度、及び（ｉｉ）手術シーンの部分とソースとの間の距離のうちの少なくとも１つを含むことができる。視覚的表現を提示することは、正規化された蛍光シグナルに関連する閾値条件に関するユーザ入力を受信することと、正規化された蛍光シグナルが閾値条件を満たす領域を決定することと、正規化された蛍光シグナルが閾値条件を満たす領域の識別を視覚的表現が含むように視覚的表現を生成することを含むことができる。ある場合には、ユーザ入力は、ディスプレイ装置上の手術シーンの視覚的表現を提示することに応答して受信することができ、ユーザ入力は、手術シーンにおいて手術装置を操作することに関する。カメラは、手術装置内に配置することができる。第１の量及び第２の量の関数は、第１の量と第２の量の比率を含むことができる。

本明細書に記載する実施形態のいくつか又は全ては、以下の利点の１つ又は複数を提供し得る。対応する部分に入射する励起エネルギの量を表す値に関してＮＩＲ画像の画素値を正規化することによって、画像にわたる照明変動による望ましくない影響は実質的に緩和され得る。これは、ＮＩＲ蛍光の検出強度が内視鏡位置に依存しないことを可能にし得る。このような位置的独立性は、特定の組織型における色素（dye）（例えば、インドシアニングリーン（ＩＣＧ））の実際の量のより正確な測定を可能にすることができ、外科医が、癌などの疾患に罹患した組織領域の辺縁（margins）を位置特定する（locate）ことをより容易にし得る。

コンピュータ支援遠隔操作手術システムの例示的な患者側カートの斜視図である。 コンピュータ支援遠隔操作手術システムの例示的な外科医コンソールの正面図である。 コンピュータ支援遠隔操作手術システムの例示的なロボットマニピュレータアームアセンブリの側面図である。 標準的な近赤外線（ＮＩＲ）画像の一例である。 本明細書に記載の技術を実装する例示的な内視鏡システムのブロック図である。 標準的な近赤外線（ＮＩＲ）画像の一例である。 本明細書に記載される技術に従って生成されたＮＩＲ画像の一例である。 本明細書に記載の技術に従ってＮＩＲ画像を生成するための例示的なプロセスのフローチャートである。

本明細書は、画像の様々な部分に対する検出された蛍光シグナルが、そのような部分に対応する組織に入射することになると推定される励起エネルギの測度（measure）に関して正規化される近赤外線（ＮＩＲ）イメージング技術を記述する。励起エネルギの測度は、複数の方法で決定することができる。いくつか場合には、励起エネルギの測度は、組織から反射される励起エネルギの量を感知するように構成されたセンサの出力に基づいて導出される。いくつかの場合には、励起エネルギの測度は、内視鏡から組織に向けられた電磁放射の物理学を表す理論的又は経験的モデルを使用して計算することができる。本明細書に記載される技術を使用して生成される正規化されたＮＩＲ画像は、入射励起エネルギの量の変動（例えば、エネルギ源に対する異なる距離、向きに起因する）による蛍光シグナルの変動を説明し、下にある蛍光のより正確な表現を提供し得る。いくつかの場合には、これは、組織の対応する部分によって吸収される色素（例えば、インドシアニングリーン（ＩＣＧ））の真の量を決定するためにより信頼性をもって使用され得、従って、ＮＩＲイメージングの診断能力を改善する。

この技術の態様は、主に、カリフォルニア州サニーベールのIntuitive Surgical, Inc.によって開発されたda Vinci（登録商標）手術システムを使用した実装に関して説明されている。このような手術システムの例としては、da Vinci（登録商標）Ｘｉ（商標）手術システム（モデルＩＳ４０００）がある。本明細書に開示される態様は、コンピュータ支援、非コンピュータ支援、並びに手動及びコンピュータ支援のハイブリッドの組み合わせの実施形態及び実装形態を含む種々の方法で実施及び実装され得ることを理解されたい。da Vinci（登録商標）手術システム、例えば、モデルＩＳ４０００に関する実装は、説明のために記載されており、本明細書に開示されている発明の態様の範囲を限定するものとみなされるべきではない。適用可能な場合、本発明の態様は、追加の機械的支持を有する、比較的小さい、ハンドヘルドの、手動の装置及び比較的大きなシステムの両方、ならびにコンピュータ支援遠隔操作医療装置の他の実施形態において具体化され、実装され得る。この技術は、主としてピアインディスプレイの例を参照して説明されているが、この技術は、例えば、バーチャル又は拡張現実（ＶＲ／ＡＲ）システムで使用されるヘッドマウントディスプレイ装置のような、他のタイプのウェアラブル又は非ウェアラブルディスプレイ装置にも使用され得る。キャプチャされた画像は、３ＤＴＶのような装置や、ある種のスクリーンに投影され、正しい画像が正しい眼に確実に届くようにしてステレオ効果を完成させるメガネを着用しているユーザによって観察される画像のような、大きなフォーマットのディスプレイ上に表示されることもできる。代替的には、オートステレオタイプのディスプレイ、例えば、視聴者（ユーザ）のヘッド及び／又はアイトラッキングを組み込むこともできるレンチキュラベースのＬＣＤタイプのディスプレイを使用してもよい。

図１及び図２を参照すると、低侵襲コンピュータ支援遠隔手術（ＭＩＳとも称する）のためのシステムは、患者側カート１００及び外科医コンソール５０を含むことができる。遠隔手術は、手術システムの一般的な用語であり、外科医は、手術器具を直接手で保持したり動かしたりするのではなく、手術器具の動きを操作するために、例えばサーボ機構などの何らかの形態の遠隔制御を使用する。ロボット操作可能な手術器具は、患者体内の手術部位の組織を治療するために、小さい、低侵襲の手術開口部を通して挿入することができ、開腹手術に必要とされるかなり大きい切開部に関連する外傷を回避する。これらのロボットシステムは、器具のシャフトを低侵襲開口部で旋回させる（pivoting）こと、開口部を通ってシャフトを軸方向にスライドさせること、開口部内でシャフトを回転させること、及び／又は類似のものによって、非常に複雑な手術タスクを実行するのに十分な器用さで手術器具の作用端部を動かすことができる。

図示された実施形態では、患者側カート１００は、ベース１１０、第１のロボットマニピュレータアームアセンブリ１２０、第２のロボットマニピュレータアームアセンブリ１３０、第３のロボットマニピュレータアームアセンブリ１４０、及び第４のロボットマニピュレータアームアセンブリ１５０を含む。各ロボットマニピュレータアームアセンブリ１２０、１３０、１４０、及び１５０は、ベース１１０に旋回可能（pivotably）に結合されている。いくつかの実施形態では、４個未満又は４個超のロボットマニピュレータアームアセンブリが、患者側カート１００の一部として含まれてもよい。図示された実施形態では、ベース１１０は、可動性を容易にするためのキャスタを含むが、いくつかの実施形態では、患者側カート１００は、床、天井、手術台、構造骨組（structural framework）などに固定して取り付けられる。

典型的な用途では、ロボットマニピュレータアームアセンブリ１２０、１３０、１４０、又は１５０のうちの２つが手術器具を保持し、第３のものがステレオ（立体）内視鏡を保持する。残りのロボットマニピュレータアームアセンブリは、第３の器具が作業サイトに導入され得るように利用可能である。代替的には、残りのロボットマニピュレータアームアセンブリは、第２の内視鏡又は超音波トランスデューサなどの他の画像キャプチャ装置を作業サイトに導入するために使用されてもよい。

ロボットマニピュレータアームアセンブリ１２０、１３０、１４０、及び１５０の各々は、作動可能なジョイントを介して一緒に結合され操作されるリンクから通常形成される。ロボットマニピュレータアームアセンブリ１２０、１３０、１４０、及び１５０の各々は、セットアップアーム及び装置マニピュレータを含む。セットアップアームは、患者への入口開口部にピボットポイントが生じるように、保持された装置を位置決めする。次いで、装置マニピュレータは、保持された装置がピボットポイントの周りで旋回し、入口開口部に挿入され、入口開口部から引き出され、そのシャフト軸の周りに回転し得るように、その保持された装置を操作し得る。

図示された実施形態では、外科医コンソール５０は、立体視ピアインディスプレイ４５を含み、これにより、ユーザは、患者側のカート１００と共に使用される立体カメラによってキャプチャされた画像から、立体視で手術作業サイトを見ることができる。左右の接眼レンズ（eyepieces）４６、４７が立体視ピアインディスプレイ４５に設けられ、これによりユーザがディスプレイ４５内の左右のディスプレイスクリーンをユーザの左右の目でそれぞれ見ることができるようになっている。典型的には、適切なビューア又はディスプレイ上で手術部位の画像を観察しながら、外科医は、ロボット器具の動作を制御するマスター制御入力装置を操作することによって、患者への手術処置を実行する。

外科医コンソール５０はまた、患者側カート１００のロボットマニピュレータアームアセンブリ１２０、１３０、１４０、及び１５０によって保持されている装置（例えば、手術器具）を好ましくは６自由度（ＤＯＦ）以上で操作するために、ユーザが自分の左手及び右手でそれぞれ把持し得る左及び右入力装置４１、４２を含む。トー部及びヒール部を持つフットペダル４４が、フットペダルに関連する装置の動き及び／又は作動をユーザが制御できるように、外科医のコンソール５０に設けられている。

処理装置４３が、制御及び他の目的のために外科医コンソール５０に設けられている。処理装置４３は、医療ロボットシステムにおいて種々の機能を実行する。処理装置４３によって実行される一つの機能は、入力装置４１、４２の機械的運動を変換及び伝達して、外科医が手術器具などの装置を効果的に操作できるように、関連するロボットマニピュレータアームアセンブリ１２０、１３０、１４０、及び１５０内の対応する関節を作動させることである。処理装置４３の別の機能は、本明細書に記載の方法、クロスカップリング制御ロジック、及びコントローラを実装することである。

処理装置４３は、１つ又は複数のプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及び／又はマイクロコントローラを含むことができ、ハードウェア、ソフトウェア、及び／又はファームウェアの組み合わせとして実装され得る。また、本明細書に記載されるその機能は、１つのユニットによって実行されてもよく、又は多数のサブユニットに分割されてもよく、サブユニットの各々は、ハードウェア、ソフトウェア及びファームウェアの任意の組み合わせによって実装されてもよい。さらに、外科医コンソール５０の一部として示されているか、又は外科医コンソール５０に物理的に隣接しているが、処理装置４３は遠隔手術システム全体にサブユニットとして分散されてもよい。サブユニットの１つ又は複数は、遠隔手術システムに対して物理的にリモートにあってもよい（例えば、遠隔サーバー上に配置されてもよい）。

図３も参照すると、ロボットマニピュレータアームアセンブリ１２０、１３０、１４０、及び１５０は、内視鏡ステレオカメラ及び手術器具などの装置を操作して、低侵襲手術を行うことができる。例えば、図示された構成では、ロボットマニピュレータアームアセンブリ１２０は、器具ホルダ１２２に旋回可能に結合されている。カニューレ１８０及び手術器具２００は、次に、器具ホルダ１２２に解放可能に結合される。カニューレ１８０は、手術中に患者インターフェース部位（patient interface site）に位置する中空の管状部材である。カニューレ１８０は、内視鏡カメラ（又は内視鏡）又は手術器具２００の細長いシャフト２２０が摺動可能に配置される管腔を画定する。以下にさらに説明されるように、いくつかの実施形態では、カニューレ１８０は、体壁リトラクタ部材（body wall retractor member）を有する遠位端部を含む。器具ホルダ１２２は、ロボットマニピュレータアームアセンブリ１２０の遠位端部に旋回可能に結合されている。いくつかの実施形態では、器具ホルダ１２２とロボットマニピュレータアームアセンブリ１２０の遠位端部との間の旋回可能な結合は、外科医のコンソール５０から処理装置４３を使用して作動可能なモータ駆動ジョイント（motorized joint）である。

器具ホルダ１２２は、器具ホルダフレーム１２４と、カニューレクランプ１２６と、器具ホルダキャリッジ１２８とを含む。図示された実施形態では、カニューレクランプ１２６は、器具ホルダフレーム１２４の遠位端部に固定される。カニューレクランプ１２６は、カニューレ１８０と結合する又はカニューレ１８０から分離するように作動することができる。器具ホルダキャリッジ１２８は、器具ホルダフレーム１２４に移動可能に結合される。より詳細には、器具ホルダキャリッジ１２８は、器具ホルダフレーム１２４に沿って直線的に移動可能である。いくつかの実施形態では、器具ホルダフレーム１２４に沿った器具ホルダキャリッジ１２８の移動は、処理装置４３によって作動可能／制御可能であるモータ駆動の並進移動である。手術器具２００は、トランスミッションアセンブリ２１０、細長いシャフト２２０、及びエンドエフェクタ２３０を含む。トランスミッションアセンブリ２１０は、器具ホルダキャリッジ１２８に解放可能に結合され得る。シャフト２２０は、トランスミッションアセンブリ２１０から遠位に延びる。エンドエフェクタ２３０は、シャフト２２０の遠位端部に配置される。

シャフト２２０は、カニューレ１８０の長手方向軸と一致する長手方向軸２２２を規定する。器具ホルダキャリッジ１２８が器具ホルダフレーム１２４に沿って並進すると、手術器具２００の細長いシャフト２２０は、長手方向軸２２２に沿って移動する。このような方法で、エンドエフェクタ２３０は、患者の体内の手術作業空間に挿入される及び／又はそこから引込められることができる。

腹腔鏡下手術は、外科医が内視鏡を用いて手術部位を観察し、診査、切開、縫合、及び他の手術作業のために腹腔鏡器具を用いて精密な運動操作を行うことを必要とする。これらの作業は、しばしば組織との微細な両手操作の相互作用（bi-manual interactions）を必要とする。いくつかの場合には、このような両手操作の運動タスクは、外科医が手術シーンの３Ｄビューを提示されるときに、一般的により容易に実行され得る。患者の体内の手術ワークスペース（手術シーン）は、立体視ディスプレイ４５を介して外科医に３Ｄ視覚化として提供されることができる。本明細書に記載される技術は、主にピアイン立体視ディスプレイ装置の例を使用するが、他のタイプの立体視ディスプレイ装置及び非立体視ディスプレイ装置も本技術の範囲内である。ピアイン立体視ディスプレイとは、ユーザがディスプレイを、それを着用することなく又はそれを他のユーザと同時に共有することなく、見ることを可能にするディスプレイをいう。立体顕微鏡は、ピアイン立体視ディスプレイの一例である。図２に示す立体視ディスプレイ装置４５は、ピアイン立体視ディスプレイ装置の別の例である。

いくつかの実装形態では、立体視ディスプレイ４５は、外科医にＮＩＲ画像を提示するように構成することができる。このためには、ＩＣＧのような色素が患者又は被験体に投与され、色素の位置がＮＩＲ励起シグナルの下で画像化される。ＩＣＧなどの色素は蛍光を発生し、これはＮＩＲ励起下で検出することができる。ディスプレイ上にＮＩＲ画像を提示することは、対応する手術領域の画像を生成し、その上にＩＣＧによって生成された蛍光シグナルの表現（representation）を重ね合わせることを含むことができる。手術領域の画像は白黒画像として表示され、蛍光シグナルは典型定期には、白黒画像の上に緑色で表示される。このようなＮＩＲ画像４００の一例を図４に示す。

ＮＩＲ画像における緑色蛍光シグナルの強度は、種々のパラメータの関数とすることができる。例えば、組織内のＩＣＧの量の関数であることに加えて、蛍光の強度は、ＩＣＧが存在する組織の部分に入射するＮＩＲ光の量に直接関連する。図４の例では、部分４０５における蛍光シグナルの強度は、部分４１０における蛍光シグナルの強度よりも高い。しかしながら、強度変化の少なくとも一部は、対応する部分に入射するＮＩＲ励起エネルギの量に起因し得る。例えば、部分４０５におけるより高い強度は、部分４０５上に入射する励起エネルギの量が（部分４１０上に入射するものと比較して）より高いためであることがあり、必ずしも部分４０５におけるＩＣＧの量がより大きいためではない。また、内視鏡光源は、典型的には内視鏡プローブの先端に位置するので、ＩＣＧに影響を与える光又は励起エネルギの強度（従って、対応する組織から放射される蛍光の量）は、内視鏡の位置（例えば、組織からの距離、角度など）に依存する。例えば、蛍光の強度が、ＩＣＧに入射するＮＩＲの量に直接比例する場合、ＮＩＲ光源（ＮＩＲ光が最も明るい）の視野（ＦＯＶ）の中心のＩＣＧは、明るい緑色を輝かせる。しかしながら、同じ部分をＦＯＶの側部に移動させると、ＮＩＲ光がＦＯＶの縁部でそれほど強くなければ、蛍光強度は顕著に減少する。さらに、内視鏡を組織に向かって前方に又は組織から離れて後方に動かすと、蛍光の強度は、前方の動きに伴って増加し、後方の動きに伴って減少することによって変化する。

ＮＩＲイメージングから収集された情報が主として組織内のＩＣＧの量に依存する場合には、組織に入射する励起エネルギの量の変動による蛍光の変動は望ましくない。本明細書に記載される技術は、基準（reference）ＮＩＲ信号を使用して、あらゆる内視鏡位置効果を補償及び補正することを記載する。このような位置的独立性は、例えば、外科医が特定の組織型におけるＩＣＧの量を決定することを容易にすることによって、ＮＩＲイメージングの診断能力を改善することができる。いくつかの場合では、本明細書に記載される技術によって提供される改良された可視化は、（例えば、癌性細胞をより正確に検出することによって）罹患組織の辺縁の位置を容易に特定し、それによって、潜在的に根底にある外科的プロセスを改善する。

図５は、本明細書に記載の技術を実装する例示的な内視鏡システム５００のブロック図である。システム５００は、人体に挿入されるように構成された内視鏡シャフト５０５を含む。組織を照明するために励起エネルギを放射するように構成された１つ又は複数の照明源を、内視鏡シャフト５０５の先端部５１０に配置することができる。１つ又は複数の照明源は、可視範囲及び／又は他の波長範囲の電磁放射線を放射するように構成されたＮＩＲ光源及び／又はソースを含むことができる。いくつかの実装態様では、１つ又は複数の先端部５１０及びシャフト５０５は、組織／手術シーンからの光をシャフト５０５を通してシャフト５０５の反対側の端部に配置された１つ又は複数の画像センサ又はカメラに向ける種々の光学素子を含むことができる。

いくつかの実装形態では、システム５００は、先端部５１０に配置された１つ又は複数の照明源を使用して照明された組織／手術シーンから発する蛍光を感知するように構成される蛍光検出カメラ５１５を含む。蛍光検出カメラ５１５は、蛍光シグナルが期待される波長範囲の電磁エネルギを感知するように構成された画像センサ５２０を含む。例えば、ＩＣＧがＮＩＲイメージングにおいて色素として使用される場合、予想される蛍光スペクトルは約７５０～９５０ｎｍである。このような場合、画像センサ５２０は、光学経路内の画像センサ５２０の前に光学フィルタを配置することによって、蛍光スペクトルを感知するように構成することができ、光学フィルタの通過帯域は、７５０～９５０ｎｍの範囲内にある。画像化される組織に関連する色素及び／又は吸収／発光スペクトルに応じて、他の光学フィルタを使用してもよい。

いくつかの実装形態では、ＮＩＲ励起エネルギに関連する波長範囲は、蛍光スペクトルと一致する。例えば、ＮＩＲ励起エネルギは、８００ｎｍの電磁放射を介して供給されることができる。従って、蛍光スペクトル内の信号を通過させるように構成された光学フィルタは、画像センサ５２０の出力に対するＮＩＲ励起エネルギの影響を低減する停止バンドを含むように構成されることもできる。このようなフィルタは、組織から反射されるＮＩＲ励起エネルギの少なくとも一部を吸収／ブロックする。

本明細書に記載される技術は、少なくとも部分的に、組織の部分から反射されたＮＩＲ励起エネルギが、組織のその部分に入射する励起エネルギの量の測度として使用されることができるという実現から生じる。例えば、ＦＯＶ全体の反射率が一様であると仮定すると、ＦＯＶの異なる部分から反射される励起エネルギの量の変化は、対応する部分に入射する励起エネルギの量の測度として使用することができる。ＦＯＶ内の組織の反射率特性が既知である場合、適切な補正／調整を組み込んで、対応する部分に入射する励起エネルギの量を推定することができる。いずれの場合においても、ＦＯＶの異なる部分に入射する励起エネルギの量の推定値を使用して、補正された出力が励起エネルギの不均一な分布による変動から実質的に独立であるように、画像センサ５２０のセンサ出力を補正することができる。例えば、組織の部分に入射する励起エネルギの推定量が高い場合、それに応じて、センサ５２０の出力の対応する部分を減衰させることができる。他方、組織の一部に入射する励起エネルギの推定量が低い場合、それに応じて、センサ５２０の出力の対応する部分をブーストすることができる。幾つかの実装形態では、そのような補正は、以下の方程式を使用して表すことができる：
［絶対蛍光シグナル］＝［感知蛍光シグナル］／［推定励起シグナル］ （１）
ここで感知蛍光シグナルは、ＦＯＶの部分に対応する１つ又は複数のピクセルに対する画像センサ５２０の出力を表し、推定励起シグナルは、ＦＯＶの対応する部分に入射する励起エネルギの推定量を表し、絶対蛍光シグナルは、補正シグナルを表す。

ＦＯＶの異なる部分に入射する励起エネルギの量は、様々な方法で決定することができる。いくつかの実装形態では、入射励起エネルギの量は、１つ又は複数のセンサを使用して検出することができる。例えば、図５に示すように、システム５００は、ＮＩＲ励起エネルギを感知するための画像センサ５３５を含む別個のＮＩＲカメラ５３０を含むことができる。このような場合、システム５００は、反射されたＮＩＲ励起エネルギを吸収／ブロックする代わりに、そのようなエネルギを選択的に画像センサ５３５に向かって反射するフィルタ５２５も含む。フィルタ５２５は、ＮＩＲ励起シグナル５２８を選択的に画像センサ５３５に向かって反射し、一方、蛍光シグナル５２７を画像センサ５２０に向かって通過させる反射面を含むことができる。幾つかの実装形態では、他の構成が使用されてもよい。例えば、蛍光検出カメラ５１５及びＮＩＲカメラの位置を逆にすることができ、フィルタ５２５は、ＮＩＲ励起シグナル５２８を通過させながら、蛍光シグナル５２７を選択的に反射するように構成することができる。いずれの場合も、蛍光検出カメラ５１５は、蛍光を検出し、ＮＩＲカメラ５３０は、組織に入射する励起エネルギの量が画像センサ５３５の出力に基づいて推定されるように、組織から反射される励起エネルギを検出する。

いくつかの実装態様では、内視鏡シャフト５０５の先端部５１０に配置された１つ又は複数の照明源からの電磁エネルギの分布／伝搬パターンを表すモデルに基づいて、ＦＯＶの異なる部分に入射する励起エネルギの量を決定することができる。例えば、理論的／経験的モデル（例えば、深度マップ）が、照明の強度が照明源からの距離／角度とともにどのように低下するかについての情報を提供し得、そのようなモデルは、ＦＯＶ内の特定の部分で入射する励起エネルギの量を決定するために使用され得る。モデルは、例えば、対応するソースの特定の照明パターンによる強度の変化、及び／又は強度のコサイン因子低下（cosine factor fall-off）を考慮するように構成することができる。内視鏡システム５００は、ＦＯＶ内の組織から照明源の距離を測定／推定するための距離センサ（例えば、内視鏡シャフト５０５の先端部５１０に配置された距離センサ）を含むことができ、距離情報を使用して、ＦＯＶ内の様々な部分に入射する励起エネルギの量を判定／推定することができる。

システム５００は、画像センサ５２０及び５３５から受信されたセンサ出力に基づいて補正されたＮＩＲ画像を生成するように構成されたレンダリングエンジン５４０を含むことができる。レンダリングエンジンは、１つ又は複数の処理装置（例えば、図２に示される処理装置４３）を含むことができ、これらの処理装置は、上記式（１）に従って、ＦＯＶに対応する各画素についての絶対蛍光シグナルを計算するように構成することができる。いくつかの実装形態では、推定励起シグナルがゼロに近いピクセルに関して、レンダリングエンジン５４０は、ゼロに近い値による除算から生じる不安定性を回避するために、補正プロセスをマスクするように構成することができる。次いで、レンダリングエンジン５４０は、補正されたＮＩＲ画像がディスプレイ５５０に提示されるように、ディスプレイ５５０のための制御信号を生成することができる。いくつかの実装態様では、ディスプレイ５５０は、図１を参照して上述した立体視ディスプレイ４５の一部として配置することができる。

入射励起エネルギの対応する推定値に関するＮＩＲ画像画素値の正規化は、いくつかの利点を提供することができる。幾つかのそのような利点は、図６Ａおよび６Ｂの例において説明される。具体的には、図６Ａは、本明細書に記載される補正なしの標準近赤外線（ＮＩＲ）画像の一例であり、図６Ｂは、本明細書に記載される技術に従って生成されるＮＩＲ画像の一例である。図６Ａにおいて、領域６０５ａにおける蛍光の強度は、領域６１０ａにおける蛍光の強度よりも小さい。これは、外科医又は医療専門家が、領域６１０ａにおけるＩＣＧの量が領域６０５ａにおけるＩＣＧの量よりも多いと信じるに至る可能性がある。しかし、図６Ｂに示すように、本明細書に記載された技術に従ってＮＩＲ画像を補正すると、逆が真であるように見える。具体的には、図６Ｂにおいて、領域６１０ｂは、領域６０５ｂよりも暗く見え、それによって、領域６１０ｂにおけるＩＣＧの量は、領域６０５ｂにおけるＩＣＧの量よりも少ないことを示す。したがって、図６Ａの表現は、図６Ｂの補正された画像で説明される入射励起エネルギの差分量の影響を受けた。

図６Ａ及び６Ｂの比較例によって示されるように、本明細書に記載される技術は、組織の種々の部分によって吸収されるＩＣＧのような色素の実際の量の可視化を可能にすることができる。図６Ａ及び図６Ｂに示す例は、吸収されたＩＣＧが可視化される組織の表面又はその近傍にあると仮定している。いくつかの実装形態では、追加の補正を組み込んで、比較的深く組織に吸収されたＩＣＧを考慮することができる。いくつかの実装形態では、組織によって吸収された色素の実際の量を検出する能力は、ＮＩＲイメージングに関連する種々のタイプの可視化を容易にする。例えば、補正されたＮＩＲ画像のデータは、吸収された色素の量に応じて異なる領域を区別する（demarcate）ために使用することができる。いくつかの実装形態では、これは、外科医が罹患領域の輪郭をより良く識別するのを助けることができる。図５に戻って参照すると、レンダリングエンジン５４０は、例えば、ユーザ入力に基づいて、ＩＣＧ吸収が閾値（例えば、最大吸収の５０％、９０％、又は別のパーセンテージ）を超える画像内の領域を識別するように構成することができる。次いで、対応する輪郭が、ディスプレイ装置５５０に提示されることができる。いくつかの実装形態では、補正されたＮＩＲ画像及び／又は上述の輪郭を見ることに応答して、図１及び図２に示すシステムのような遠隔操作手術システムを操作するために外科医からのユーザ入力を受け取ることができる。

図７は、ディスプレイ装置に手術シーンの部分の視覚的表現を表示するための例示的プロセス７００のフローチャートである。いくつかの実装形態では、ディスプレイ装置は、図２を参照して上述した立体視ディスプレイ４５であることができる。いくつかの実装形態では、プロセス７００の少なくとも一部は、図２を参照して上述した処理装置４３によって実行され得る。プロセス７００の動作は、手術装置と関連付けられたカメラの第１のセンサを使用してキャプチャされた情報を表すデータを受信すること含むことができる（７１０）。第１のセンサを使用してキャプチャされた情報は、手術シーンの部分から放射される蛍光の量を表す第１の量を示す。いくつかの実装形態では、カメラは、内視鏡装置に配置されたＮＩＲカメラであることができる。蛍光は、手術シーンの組織に存在する色素（例えば、ＩＣＧ）が、ソース（例えば、ＮＩＲ光源）によって提供される励起エネルギを吸収し、異なる波長範囲で吸収エネルギの一部を再放射する場合に生じ得る。再放射が起こる波長範囲は、蛍光スペクトルと呼ぶことができる。

また、プロセス７００の動作は、手術シーンの部分から蛍光を放射させる励起シグナルの量を表す第２の量を示す情報を得ることを含む（７２０）。いくつかの実装形態では、第２の量を示す情報は、図５に示す内視鏡システムのようなデュアルセンサシステムを用いて得られる。例えば、第２の量を示す情報を得ることは、手術シーンの部分から反射される励起シグナルの一部を受信することと、図５に示すＮＩＲカメラ５３０の画像センサ５３５のような第２のセンサを使用して励起シグナルの一部をキャプチャすることとを含むことができる。次いで、第２の量は、第２のセンサからの出力信号に基づいて決定されることができる。幾つかの実装形態では、第１のセンサ及び第２のセンサの各々は、近赤外線（ＮＩＲ）センサであることができる。いくつかの実装形態では、励起シグナルの一部をキャプチャすることは、第２のセンサに向かって励起シグナルの一部の伝搬の方向を変更することを含む。これは、例えば、反射されたＮＩＲシグナル５２８の伝搬の初期方向（又は蛍光シグナル５２７の伝搬の方向）に対してある角度に配置された反射面又は素子を含む光学フィルタ５２５（図５）を使用して行うことができる。

いくつかの実装形態では、第２の量を示す情報を得ることは、励起シグナルのソースに関連する深度マップにアクセスすることも含むことができる。このような深度マップは、ソースからの空間的分離の関数として、励起シグナルの強度変動に関する情報を提供することができる。このような深度マップアプローチを使用する実装形態では、手術シーンの部分と励起シグナルのソースとの間の空間的分離に関する情報を表すデータを受信することができ、次いで、第２の量は、（ｉ）手術シーンの部分とソースとの間の空間的分離、及び（ｉｉ）深度マップから得られた情報に基づいて決定されることができる。空間的分離に関する情報を表すデータは、内視鏡装置の先端部に配置された距離センサのような第３のセンサから受信することができる。手術シーンの部分とソースとの間の空間的分離に関する情報は、手術シーンの部分とソースとの間の角度、及び／又は手術シーンの部分とソースとの間の距離を含むことができる。

プロセス７００の動作は、さらに、第１の量及び第２の量の関数として正規化された蛍光シグナルを生成することを含む（７３０）。いくつかの実装形態では、第１の量と第２の量の関数は、式（１）の右辺で表される比のように、第１の量と第２の量の比を含むことができる。

プロセス７００の動作はまた、正規化された蛍光シグナルに基づいて手術シーンの部分の視覚的表現を生成すること（７４０）と、手術シーンの部分の視覚的表現を手術装置と関連付けられたディスプレイ装置に提示すること（７５０）を含む。いくつかの実装形態では、これは、正規化された蛍光シグナルに関連する閾値条件に関するユーザ入力を受信することと、正規化された蛍光シグナルが閾値条件を満たす領域を決定することと、視覚的表現が正規化された蛍光シグナルが閾値条件を満たす領域の識別を含むように視覚的表現を生成することとを含むことができる。例えば、外科医は、ＩＣＧ吸収が閾値を超える領域の輪郭を表示することを要求するユーザ入力を提供することができ、次いで、視覚的表現は、それに応じて、そのような輪郭を含むことができる。いくつかの実装形態では、ディスプレイ装置に手術シーンの視覚的表現を提示すること応答して、手術シーンでの手術装置を操作することに関するユーザ入力を受信することができる。

本明細書に記載される遠隔操作手術システム又はその一部の機能性、及びその種々の修正（以下「機能」という）は、少なくとも部分的には、コンピュータプログラム製品、例えば、１つ又は複数の非一時的機械可読媒体又は記憶装置などの情報キャリア内に実体的に具現化されたコンピュータプログラムを介して、１つ又は複数のデータ処理装置、例えば、プログラマブルプロセッサ、ＤＳＰ、マイクロコントローラ、コンピュータ、複数のコンピュータ、及び／又はプログラマブル論理コンポーネントの動作を実行又は制御するために、実装することができる。

コンピュータプログラムは、コンパイル又は解釈された言語を含む任意の形態のプログラミング言語で書くことができ、また、スタンドアロンプログラム若しくはモジュール、コンポーネント、サブルーチン、又はコンピューティング環境での使用に適した他のユニットとして、任意の形態で展開することができる。コンピュータプログラムは、１つのサイトで１つ又は複数の処理装置上で実行されるか、又は複数のサイトに分散され、ネットワークによって相互接続されるように展開することができる。

機能の全部又は一部を実装することに関連するアクションは、本明細書に記載されるプロセスの機能を実行するために、１つ又は複数のコンピュータプログラムを実行する１つ又は複数のプログラマブルプロセッサ又は処理装置によって実行することができる。機能の全部又は一部は、特殊目的論理回路、例えば、ＦＰＧＡ及び／又はＡＳＩＣ（特定用途向け集積回路）として実装することができる。

コンピュータプログラムの実行に適したプロセッサは、例えば、汎用及び専用マイクロプロセッサの両方、及び任意の種類のデジタルコンピュータの任意の１つ又は複数のプロセッサを含む。一般に、プロセッサは、読み出し専用メモリ又はランダムアクセスメモリ又はその両方から命令及びデータを受信する。コンピュータのコンポーネントは、命令を実行するためのプロセッサと、命令及びデータを記憶するための１つ又は複数のメモリデバイスとを含む。

本明細書は多くの特定の実装の詳細を含んでいるが、これらは、請求項に記載され得るものを限定するものではなく、むしろ、特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。他の実施形態も、本明細書に記載される技術の範囲内にあり得る。別々の実施形態の文脈において本明細書に記載されるいくつかの特徴は、単一の実施形態において組み合わせて実施することもできる。逆に、単一の実施形態の文脈において説明される種々の特徴は、複数の実施形態において別々に、又は任意の適切なサブコンビネーションで実施することもできる。さらに、特徴は、本明細書中では、特定の組み合わせで作用するものとして記載され、最初にそのように請求項に記載されてもよいが、請求項に記載された組み合わせからの１つ又は複数の特徴は、場合によっては、組み合わせから切り出され得、請求項に記載された組み合わせは、サブコンビネーション又はサブコンビネーションのバリエーションに向けられ得る。

本明細書に記載された異なる実施形態の要素は、上に具体的に記載されていない他の実施形態を形成するために組み合わされてもよい。要素は、それらの動作に悪影響を与えることなく、本明細書に記載される構造から除外され得る。さらに、種々の別々の要素を１つ又は複数の個々の要素に組み合わせて、本明細書に記載の機能を実行することができる。

Claims (26)

1. 手術シーンの部分の視覚的表現を表示する方法であって、前記方法は：
   手術装置と関連付けられたカメラの第１のセンサを使用してキャプチャされた情報を表すデータを受信するステップであって、前記情報は、前記手術シーンの前記部分から放射される蛍光の量を表す第１の量を示す、ステップと；
   前記手術シーンの前記部分から前記蛍光を放射させる励起シグナルの量を表す第２の量を示す情報を得るステップと；
   １つ又は複数の処理装置によって、前記第１の量及び前記第２の量の関数として正規化された蛍光シグナルを生成するステップと；
   前記正規化された蛍光シグナルに基づいて前記手術シーンの前記部分の前記視覚的表現を生成するステップと；
   前記手術シーンの前記部分の前記視覚的表現を前記手術装置に関連付けられたディスプレイ装置に提示するステップと；を含む、
   方法。
2. 前記第２の量を示す前記情報を得るステップは：
   前記手術シーンの前記部分から反射される前記励起シグナルの部分を受信するステップと；
   第２のセンサを使用して前記励起シグナルの前記部分をキャプチャするステップと、
   前記第２のセンサからの出力信号に基づいて前記第２の量を決定するステップと；を含む、
   請求項１に記載の方法。
3. 前記第１のセンサ及び前記第２のセンサの各々は、近赤外線（ＮＩＲ）センサである、
   請求項２に記載の方法。
4. 前記励起シグナルの前記部分をキャプチャするステップは：
   前記第２のセンサへ向かって前記励起シグナルの前記部分の伝搬の方向を変更するステップを含む、
   請求項２に記載の方法。
5. 前記伝搬の方向は、前記伝搬の方向に対してある角度に配置された反射要素を用いて変化する、
   請求項４に記載の方法。
6. 前記第２の量を示す前記情報を得るステップは：
   前記励起シグナルのソースに関連する深度マップにアクセスするステップであって、前記深度マップは、前記ソースからの空間的分離の関数として、前記励起シグナルの強度変動に関する情報を提供する、ステップと；
   前記手術シーンの前記部分と前記励起シグナルの前記ソースとの間の空間的分離に関する情報を表すデータを受信するステップと、
   （ｉ）前記手術シーンの前記部分と前記ソースとの間の前記空間的分離、及び（ｉｉ）前記深度マップに基づいて前記第２の量を決定するステップと；を含む、
   請求項１に記載の方法。
7. 前記空間的分離に関する情報を表す前記データは、第３のセンサから受信される、
   請求項６に記載の方法。
8. 前記手術シーンの前記部分と前記ソースとの間の前記空間的分離に関する前記情報は、（ｉ）前記手術シーンの前記部分と前記ソースとの間の角度、及び（ｉｉ）前記手術シーンの前記部分と前記ソースとの間の距離のうちの少なくとも１つを含む、
   請求項６に記載の方法。
9. 前記視覚的表現を提示するステップは：
   前記正規化された蛍光シグナルに関連する閾値条件に関するユーザ入力を受信するステップと；
   前記正規化された蛍光シグナルが前記閾値条件を満たす領域を決定するステップと；
   前記正規化された蛍光シグナルが前記閾値条件を満たす前記領域の識別を前記視覚的表現が含むように前記視覚的表現を生成するステップと；を含む、
   請求項１に記載の方法。
10. 前記ディスプレイ装置上の前記手術シーンの前記視覚的表現を提示することに応答してユーザ入力を受信するステップをさらに含み、前記ユーザ入力は、前記手術シーンにおいて前記手術装置を操作することに関する、
    請求項１に記載の方法。
11. 前記カメラは、前記手術装置内に配置される、
    請求項１に記載の方法。
12. 前記第１の量及び前記第２の量の前記関数は、前記第１の量と前記第２の量の比率を含む、
    請求項１に記載の方法。
13. 手術シーンの部分から放射される蛍光の量を表す第１の量を示す情報を感知するように構成される第１の画像センサと；
    １つ又は複数の処理装置を含むレンダリングエンジンであって：
    前記手術シーンの前記部分から前記蛍光を放射させる励起シグナルの量を表す第２の量を示す情報を得る、
    前記第１の量及び前記第２の量の関数として正規化された蛍光シグナルを生成する、及び
    前記正規化された蛍光シグナルに基づいて前記手術シーンの前記部分の視覚的表現を生成する、
    ように構成される、レンダリングエンジンと；
    前記視覚的表現を提示するように構成されたディスプレイ装置と；
    を有する、
    イメージングシステム。
14. 前記手術シーンの前記部分から反射される前記励起シグナルの部分をキャプチャするように構成される第２の画像センサを有する、
    請求項１３に記載のイメージングシステム。
15. 前記レンダリングエンジンは、前記第２の画像センサからの出力信号に基づいて前記第２の量を決定するように構成される、
    請求項１４に記載のイメージングシステム。
16. 前記第１の画像センサ及び前記第２の画像センサの各々は、近赤外線（ＮＩＲ）センサである、
    請求項１４に記載のイメージングシステム。
17. 前記手術シーンの前記部分から放射された前記蛍光の少なくとも一部が前記第1の画像センサに向かって伝搬することを可能にしながら、前記第２の画像センサに向かって前記励起シグナルの前記部分の伝搬の方向を選択的に変更するように構成された光学フィルタを有する、
    請求項１４に記載のイメージングシステム。
18. 前記光学フィルタは、前記伝搬の方向に対してある角度に配置された反射要素を有する、
    請求項１７に記載のイメージングシステム。
19. 前記レンダリングエンジンは：
    前記励起シグナルのソースに関連する深度マップにアクセスし、前記深度マップは、前記ソースからの空間的分離の関数として、前記励起シグナルの強度変動に関する情報を提供し；
    前記手術シーンの前記部分と前記励起シグナルの前記ソースとの間の空間的分離に関する情報を表すデータを受信し；
    （ｉ）前記手術シーンの前記部分と前記ソースとの間の前記空間的分離、及び（ｉｉ）前記深度マップに基づいて前記第２の量を決定する；
    ように構成される、
    請求項１３に記載のイメージングシステム。
20. 前記空間的分離に関する情報を表す前記データを提供するように構成される第３のセンサを有する、
    請求項１９に記載のイメージングシステム。
21. 前記手術シーンの前記部分と前記ソースとの間の前記空間的分離に関する前記情報は、（ｉ）前記手術シーンの前記部分と前記ソースとの間の角度、及び（ｉｉ）前記手術シーンの前記部分と前記ソースとの間の距離のうちの少なくとも１つを含む、
    請求項１９に記載のイメージングシステム。
22. 前記レンダリングエンジンは：
    前記正規化された蛍光シグナルに関連する閾値条件に関するユーザ入力を受信し；
    前記正規化された蛍光シグナルが前記閾値条件を満たす領域を決定し；
    前記正規化された蛍光シグナルが前記閾値条件を満たす前記領域の識別を前記視覚的表現が含むように前記視覚的表現を生成する；
    ように構成される、
    請求項１３に記載のイメージングシステム。
23. 前記イメージングシステムは、１つ又は複数の入力装置を有する手術装置の一部として配置され、前記１つ又は複数の入力装置は、前記ディスプレイ装置上への前記手術シーンの前記視覚的表現の提示に応答してユーザ入力を受信するように構成され、前記ユーザ入力は、前記手術シーンにおいて前記手術装置を操作することに関する、
    請求項１３に記載のイメージングシステム。
24. 前記第１の画像センサは、内視鏡装置のカメラに配置される、
    請求項１３に記載のイメージングシステム。
25. 前記第１の量及び前記第２の量の前記関数は、前記第１の量と前記第２の量の比率を含む、
    請求項１３に記載のイメージングシステム。
26. １つ又は複数の処理装置に動作を実行させるための命令をエンコードした１つ又は複数の非一時的な機械可読記憶装置であって、前記動作は：
    手術装置と関連付けられたカメラの第１のセンサを使用してキャプチャされた情報を表すデータを受信することであって、前記情報は、手術シーンの部分から放射される蛍光の量を表す第１の量を示す、受信することと；
    前記手術シーンの前記部分から前記蛍光を放射させる励起シグナルの量を表す第２の量を示す情報を得ることと；
    前記第１の量及び前記第２の量の関数として正規化された蛍光シグナルを生成することと；
    前記正規化された蛍光シグナルに基づいて前記手術シーンの前記部分の視覚的表現を生成することと；
    前記手術シーンの前記部分の前記視覚的表現を前記手術装置に関連付けられたディスプレイ装置に提示させることと；を含む、
    １つ又は複数の非一時的な機械可読記憶装置。

Images