JP2007181670A - ３次元テレストレーションを提供する医療ロボットシステム - Google Patents

Abstract

【課題】解剖学的構造の３Ｄ画像上に３Ｄテレストレーションを提供する医療ロボットシステムおよび方法を提供すること。
【解決手段】医療ロボットシステムは、指導外科医から解剖学的構造の立体画像の対のうちの１つに関連する２Ｄテレストレーショングラフィック入力を受信することと、不一致マップを使用して立体画像の対のもう一方における対応する２Ｄテレストレーショングラフィック入力を決定することと、テレストレーショングラフィック入力をぞれぞれの立体画像の対のうちの１つにブレンドすることと、テレストレーショングラフィック入力の３Ｄビューが解剖学的構造の３Ｄビューに対するオーバレイとして手術をする外科医に表示され得るように、ブレンドされた結果を３Ｄディスプレイに提供することとによって、解剖学的構造の３Ｄビューの上に３Ｄテレストレーションを提供する。
【選択図】図１

Description

（連邦委託研究または開発に関する記述）
本発明は、Ｎａｔｉｏｎａｌ Ｉｎｓｔｉｔｕｅｓ ｏｆ Ｈｅａｌｔｈによって授与された契約第１ Ｒ４１ ＥＢ００４１７７−０１号の下における政府支援によってなされた。政府は、本発明において所定の権利を有する。

（技術分野）
本発明は、一般に、侵襲最小ロボット手術システムに関し、より詳細には、３次元テレストレーションを提供する医療ロボットシステムに関する。

腹腔鏡検査法および胸腔鏡検査法のような侵襲最小外科的方法は、劇的に、病的状態を減らし得、看護の鋭敏さを減らし得、回復時間を早め得、かつより多くの満足した患者につながり得る。従来の腹腔鏡検査法および胸腔鏡検査法を行う外科医は、しかしながら、急な学習曲線に直面し、開手術（ｏｐｅｎ ｓｕｒｇｅｒｙ）と比較して彼らの器用さの劇的な減少とともに、手術現場を見て触れられることの深刻な低下に対処しなければならない。

外科的テレロボットは、高忠実度３次元（３Ｄ）ビジョンおよび工具シャフトの端にある直観（ｉｎｔｕｉｔｉｖｅ）間接手首を外科医に与え得、それによって外科的分野における対象物を感知および操作する外科医の能力を根本的に改良する。テレロボットは、外科医の手の動作を減らすこともでき、より正確な操作のために震えを除去することもできる。これらの進歩は、外科医が、従来不可能であったような全内視鏡冠動脈バイパス手術および全内視鏡根治的前立腺切除術のような困難な処置の速い採用を達成することを可能にする。

様々な種類の外科的処置に対する基準の手法としての侵襲最小手術（ＭＩＳ）の出現は、外科研修医のためのおよび外科開業医のための腹腔鏡検査法の技術習得の重要性を増加させた。現行の外科的トレーニングモデルは、進歩したＭＩＳにおける十分な経験を提供せず、複雑なＭＩＳ処置に対する学習曲線は、未経験の外科医に対する更なる複雑性につながり得る。

進歩した腹腔鏡検査法における、外科研修医レジデントの挑戦は、ＭＩＳ処置が更に複雑になるとともに、より困難になった。侵襲最小外科的教育は、外科的操作および視覚化スキルの新しいセットの発展を必要とする。この必要性に応ずるために、現行のゴールドスタンダードは、専用のレジデンシー後のＭＩＳフェローシップである。無生命の実験室およびシミュレーショントレーニングのようないくつかのストラテジーも、初期のトレーニングの間における進歩した腹腔鏡検査法の手術に対するレジデントの関与を増加させるために、異なる成功率によって発展された。

より大きな挑戦は、進歩した侵襲最小手術を行うことに関心を抱いている既に開業している外科医に直面する。より少ない侵襲手法に向かう外科的看護の基準における進行中のシフトとともに、ＭＩＳ処置に対する患者の強い要求は、動機付けを提供する。しかしながら、これらの外科医にとって、彼らのオープンまたは基本的なＭＩＳスキルを進歩したＭＩＳ処置に変えることはしばしば困難であり、不満足な外科的結果および増加した複雑さにつながる。

開業医のための現行のトレーニングパラダイムは、無生物または動物の実験室において非常に限定されたハンドオン経験を備える処置特定短コースに集中していた。そのようなストラテジーは、適切な知識および経験ベースを広めることに対してかなり乏しく、本質的に、人間の実際の手術における経験を提供しない。生徒は、多数の初期処置において、彼らの外科的指導者の存在を頻繁に必要とする。少なくとも１つの研究は、共通の腹腔鏡検査法のトレーニングコースが、外科医を熟練させることに対して不十分であり、かつ訪問指導者による単一の監督セッションが十分であり得ないことを示した。

従来の指導は、経験のある外科医の物理的存在を要求する。多数の新しい処置に対して、非常に少ない外科医が、一症例を監督または指導するための十分な経験を習得している。これは、その小グループの外科医に対する要求を増加させる。一症例を指導するために移動することは、指導者の実践および個人の人生から時間をとり、かつ学んでいる外科医および患者によって負担される費用を有する。

テレストレーション（ｔｅｌｅｓｔｒａｔｉｏｎ）（「テレイラストレーション（ｔｅｌｅ−ｉｌｌｕｓｔｒａｔｉｏｎ）」を省略）は、効果的習得ツールとして示された。ここにおいて、指導者は、生徒の２次元外科的ビュー（ｖｉｅｗ）にオーバレイされた図示を生成することができる。外科研修医が実権を握ったままであり得る一方、テレストレーションは、言語通信より更に明示的になり得、かつ機械的表示よりあまり不便にならない事がある指導の方法を提供する。テレストレーションは、指導者が、明瞭および有用なビジュアルキューを、同じ部屋またはある距離にわたって存在する、学んでいる外科医に提供することを可能にする。テレストレーションは、ロボット手術トレーニング機会のアクセス性を改良し、かつロボット補助手術に対する採用率を増加させる可能性を有す。

ロボット外科的システムの一例は、Ｉｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ，Ｉｎｃ．，Ｓｕｎｎｙｖａｌｅ，Ｃａｌｉｆｏｒｎｉａのｄａ Ｖｉｎｃｉ（登録商標）Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍである。ｄａ Ｖｉｎｃｉ（登録商標） Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍは、僧帽弁修復、ＧＥＲＤ病の治療のためのＮｉｓｓｅｎ Ｆｕｎｄｏｐｌｉｃａｔｉｏｎ、肥満に対するガスティックバイパス手術、前立腺の除去のための根治的前立腺切除術（ｄａ Ｖｉｎｃｉ（登録商標）前立腺切除術）、食道手術、重症筋無力症のための胸腺切除、および双心室（ｂｉＶｅｎｔｒｉｃｕｌａｒ）再同期のための心外膜ペースメーカリードのような様々な種類の外科的処置のために使用され得る。

ｄａ Ｖｉｎｃｉ（登録商標） Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍのユニークな特徴は、手術を行っている外科医に対して優れたテレプレゼンスを提供するその３次元ディスプレイである。ｄａ Ｖｉｎｃｉ（登録商標） Ｓｕｇｉｃａｌ Ｓｙｓｔｅｍは、３次元シーンの錯覚を生成するために２つ陰極線管、一連のミラーおよび対物レンズを使用して右および左のステレオ画像を外科医に提供する。

実の双眼３Ｄラパロスコピック環境における生徒へのテレストレーションは、いくつかの決定的な方法において、従来の２Ｄ腹腔鏡検査法の視覚化に対する多大な改良を表す。２Ｄ操作画像を３Ｄ精神解剖学的モデルに変えることを必要とする学習曲線は、ＭＩＳ初心者および経験豊かな外科医等に対して重大な挑戦をもたらす。３次元における本来の立体視覚化を回復することが、一般に、外科的精度を大きく強化する一方、そのようなイメージングが患者の成功の結果に対して絶対的に重大である、多数の特定状況がある。血管茎の制御、神経スペアリング（ｎｅｒｖｅ−ｓｐａｒｉｎｇ）解剖、微小血管吻合、ならびに心臓解剖および吻合のような技術的手技は、それぞれの解剖構造の各局面の詳細な理解を必要とする。

そのような３次元ディスプレイにおけるテレストレーティングに対する一課題は、しかしながら、タッチスクリーンを用いる指導者が、２次元（２Ｄ）画像においてのみテレストレートできることである。それによって、指導者は、手術をする外科医がフットペダルに触れることを必要とするか、またはテレストレーションを見るために３Ｄビューから２Ｄビューにスイッチするための他のスイッチイングデバイスを必要とする。これは、外科医にテレストレーションの便益を与えるが、処置の流れを妨げ、かつ３Ｄビジョンの便益を除去する。

指導者からの通信を効率的に理解し、それらを３Ｄの手術現場に適用するために、被訓練者は、指導者の図を見るために、低下した２Ｄディスプレイにスイッチするための彼のまたは彼女の流れを中断することなく、３Ｄにおけるそれらの通信を知覚できるべきである。モードを２Ｄにスイッチすることを被訓練者に要求することより、むしろ、手術中に被訓練者の３Ｄディスプレイに生で指導者のテレストレーションを生じさせることが、指導者と被訓練者間のより頻繁および即興の通信を奨励する。３Ｄテレストレーションを提供するための１つの選択は、指導者に３Ｄ入力デバイスおよびステレオディスプレイを使用させることである。しかしながら、含まれるコストおよびロジスティクスは、解決策の魅力およびスケーラビリティを激しく制限する。

従って、本発明の一目的は、指導外科医のために３Ｄ入力デバイスおよびステレオディスプレイを必要としない解剖学的構造の３Ｄ画像上にテレストレートする方法を提供することである。

本発明の他の目的は、実質的にリアルタイムにて動作し、かつ侵襲最小外科的処置においてローカルおよびリモートに指導するために適した解剖学的構造の３Ｄ画像上にテレストレートする方法を提供することである。

本発明の更なる他の目的は、カメラに対して相対的に動いている解剖学的構造の３Ｄ画像上にテレストレートする方法を提供することである。

本発明の更なる他の目的は、解剖学的構造の３Ｄ画像上に３Ｄテレストレーションを提供する医療ロボットシステムである。

これらのおよび更なる目的は、本発明の様々な局面によって達成される。手短に述べると、一局面は、解剖学的構造の立体画像の対のうちの１つに関連するテレストレーショングラフィック入力を受信することと、テレストレーショングラフィック入力の３Ｄビューが解剖学的構造の３次元ビューに対するオーバレイとして表示され得るように、立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定することとを包含する、解剖学的構造の３Ｄ画像においてテレストレートする方法である。

他の局面は、解剖学的構造の立体画像の一対に関連するテレストレーショングラフィック入力を受信するように構成され、かつテレストレーショングラフィック入力の３Ｄビューが解剖学的構造の３Ｄビューに対するオーバレイとして表示され得るように、立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定するように構成される外科医コンソールを備える、３Ｄテレストレーションを提供する医療ロボットシステムである。

他の局面は、侵襲最小外科的処置の間に患者の解剖学的構造の立体画像の対をキャプチャするために患者の体に挿入可能である立体カメラアセンブリ；立体カメラアセンブリによってキャプチャされた立体画像の対の右または左のビューを受信するように構成された受信器と、受信された右または左のビューを２次元で表示するためのディスプレイと、エキスパートコンソールのオペレータによる２次元で表示された右または左のビューの上のテレストレーショングラフィック入力の生成を容易するように構成されるテレストレーションデバイスと、テレストレーショングラフィック入力を送信するように構成される送信器とを有するエキスパートコンソール；および、立体カメラアセンブリによってキャプチャされた立体画像の対を受信するように構成される第１の受信器と、エキスパートコンソールの送信器によって送信されたテレストレーショングラフィック入力を受信するように構成される第２の受信器とを有する外科医コンソールであって、立体画像の受信された対から不一致マップを生成するように構成され、かつテレストレーショングラフィック入力の３Ｄビューが解剖学的構造の３Ｄビューに対するオーバレイとして表示され得るように、不一致マップを使用して立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定するように構成される、外科医コンソールとを備える、３Ｄテレストレーションを提供する医療ロボットシステムである。

本発明はさらに、以下の手段を提供する。

（項目１）
解剖学的構造の３次元画像においてテレストレートする方法であって、
解剖学的構造の立体画像の対のうちの１つに関連するテレストレーショングラフィック入力を受信することと、
該テレストレーショングラフィック入力の３次元ビューが該解剖学的構造の３次元ビューに対するオーバレイとして表示され得るように、該立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定することと
を包含する、方法。

（項目２）
上記解剖学的構造が、患者の体の外側である、項目１に記載の方法。

（項目３）
上記解剖学的構造が、患者の体内の肉体部分である、項目１に記載の方法。

（項目４）
ある場所から上記テレストレーショングラフィック入力を受信する前に該場所に上記立体画像の対のうちの上記１つに対する情報を送信することをさらに包含する、項目３に記載の方法。

（項目５）
上記場所が、エキスパート外科医によって動作されるコンピュータである、項目４に記載の方法。

（項目６）
上記立体画像の対のうちの上記１つに対する情報を上記場所に送信する前に、該立体画像の対に対する該情報を受信することをさらに包含する、項目４に記載の方法。

（項目７）
上記立体画像の対に対する上記情報が、上記患者の上記体内に挿入された立体内視鏡から受信される、項目６に記載の方法。

（項目８）
上記立体画像の対が、対応する右および左のカメラビューを含む、項目７に記載の方法。

（項目９）
上記立体画像の対に対する上記受信された情報から不一致マップを生成することをさらに包含する、項目６に記載の方法。

（項目１０）
上記立体画像の対の上記もう一方における上記対応するテレストレーショングラフィック入力を決定することが、上記不一致マップを使用する、項目９に記載の方法。

（項目１１）
上記立体画像の対のうちの上記１つに対する情報を上記場所に送信した後、時間的に後の立体画像の対に対する情報を受信することと、
該立体画像の対に対する上記解剖学的構造の動きを決定するために、該立体画像の対に対する該情報を該時間的に後の立体画像の対の該情報と相関させることと、
該解剖学的構造の該動きを追跡するために、上記テレストレーショングラフィック入力の上記３次元ビューを位置づけることと
をさらに包含する、項目６に記載の方法。

（項目１２）
上記立体画像の対に対する上記情報と上記時間的に後の立体画像の対に対する上記情報との上記相関を使用して信頼測定を決定することと、
該信頼測定の大きさに比例する明るさを用いて、上記テレストレーショングラフィック入力を表示することと
を包含する、項目１１に記載の方法。

（項目１３）
上記テレストレーショングラフィック入力の上記３次元ビューを、上記解剖学的構造の３次元ビューに対する非破壊グラフィックオーバレイとして表示することをさらに包含する、項目１に記載の方法。

（項目１４）
上記テレストレーショングラフィック入力の上記３次元ビューを上記表示することは、該テレストレーショングラフィック入力の該３次元ビューが時間の経過とともに衰退するように実行される、項目１３に記載の方法。

（項目１５）
３次元テレストレーションを提供する医療ロボットシステムであって、該医療ロボットシステムは、外科医コンソールであって、解剖学的構造の立体画像の対に関連するテレストレーショングラフィック入力を受信するように構成されており、かつ該テレストレーショングラフィック入力の３次元ビューが該解剖学的構造の３次元ビューに対するオーバレイとして表示され得るように、該立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定するように構成されている外科医コンソールを備える、医療ロボットシステム。

（項目１６）
上記解剖学的構造が、患者の体の外側である、項目１５に記載の医療ロボットシステム。

（項目１７）
上記解剖学的構造が、患者の体内の肉体部分である、項目１５に記載の医療ロボットシステム。

（項目１８）
ある場所から上記テレストレーショングラフィック入力を受信する前に該場所に上記立体画像の対のうちの上記１つに対する情報を送信する手段をさらに備える、項目１７に記載の医療ロボットシステム。

（項目１９）
上記場所が、エキスパート外科医によって動作されるコンソールである、項目１８に記載の医療ロボットシステム。

（項目２０）
上記外科医コンソールが、上記立体画像の対のうちの上記１つに対する情報を上記場所に送信する前に、該立体画像の対に対する該情報を受信するようにさらに構成される、項目１８に記載の医療ロボットシステム。

（項目２１）
上記立体画像の対に対する上記情報が、上記外科医コンソールによって上記患者の上記体内に挿入された立体内視鏡から受信される、項目２０に記載の医療ロボットシステム。

（項目２２）
上記立体画像の対が、上記立体内視鏡の対応する右および左のカメラビューを含む、項目２１に記載の医療ロボットシステム。

（項目２３）
上記外科医コンソールが、上記解剖学的構造の上記立体画像の対に対する上記受信された情報から不一致マップを生成するようにさらに構成される、項目２０に記載の医療ロボットシステム。

（項目２４）
上記外科医コンソールが、上記立体画像の対の上記もう一方における上記対応するテレストレーショングラフィック入力を決定するために、上記不一致マップを使用するようにさらに構成される、項目２３に記載の医療ロボットシステム。

（項目２５）
上記外科医コンソールが、上記立体画像の対のうちの上記１つに対する情報を上記場所に送信した後、時間的に後の立体画像の対に対する情報を受信するようにさらに構成されており、該立体画像の対に対する上記解剖学的構造の動きを決定するために、該立体画像の対に対する該情報を該時間的に後の立体画像の対の該情報と相関させるようにさらに構成されており、かつ該解剖学的構造の該動きを追跡するために、上記テレストレーショングラフィック入力の上記３次元ビューを位置づけるようにさらに構成されている、項目２０に記載医療ロボットシステム。

（項目２６）
上記外科医コンソールが、上記立体画像の対に対する上記情報と上記時間的に後の立体画像の対に対する情報との上記相関を使用して信頼測定を決定するようにさらに構成されており、該信頼測定の大きさに比例する明るさを用いて上記テレストレーショングラフィック入力を表示するようにさらに構成されている、項目２５に記載の医療ロボットシステム。

（項目２７）
上記外科医コンソールは、３次元ディスプレイを含んでおり、かつ上記テレストレーショングラフィック入力の上記３次元ビューを、該３次元ディスプレイにおいて、上記解剖学的構造の３次元ビューに対するグラフィックオーバレイとして表示するようにさらに構成されている、項目１５に記載の医療ロボットシステム。

（項目２８）
上記外科医コンソールが、上記テレストレーショングラフィック入力の上記３次元ビューが時間の経過とともに衰退するように、該テレストレーショングラフィック入力の該３次元ビューを表示するようにさらに構成されている、項目２７に記載の医療ロボットシステム。

（項目２９）
３次元テレストレーションを提供する医療ロボットシステムであって、
侵襲最小外科的処置の間に患者の解剖学的構造の立体画像の対をキャプチャするために該患者の体に挿入可能である立体カメラアセンブリと、
該立体カメラアセンブリによってキャプチャされた該立体画像の対の右または左のビューを受信するように構成された受信器と、該受信された右または左のビューを２次元で表示するためのディスプレイと、エキスパートコンソールのオペレータによる該２次元で表示された右または左のビューの上のテレストレーショングラフィック入力の生成を容易するように構成されたテレストレーションデバイスと、該テレストレーショングラフィック入力を送信するように構成された送信器とを有するエキスパートコンソールと、
該立体カメラアセンブリによってキャプチャされた該立体画像の対を受信するように構成された第１の受信器と、該エキスパートコンソールの該送信器によって送信された該テレストレーショングラフィック入力を受信するように構成された第２の受信器とを有する外科医コンソールであって、該立体画像の受信された対から不一致マップを生成するように構成されており、かつ該テレストレーショングラフィック入力の３次元ビューが該解剖学的構造の３次元ビューに対するオーバレイとして表示され得るように、該不一致マップを使用して該立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定するように構成されている、外科医コンソールと
を備える、医療ロボットシステム。

（項目３０）
上記外科医コンソールが、上記立体画像の対のうちの上記１つに対する情報をある場所に送信した後、時間的に後の立体画像の対に対する情報を受信するようにさらに構成されており、該立体画像の対に対する上記解剖学的構造の動きを決定するために該立体画像の対に対する該情報を該時間的に後の立体画像の対の情報と相関させるように構成されており、かつ該解剖学的構造の該動きを追跡するために上記テレストレーショングラフィック入力の上記３次元ビューを位置づけるようにさらに構成されている、項目２９に記載の医療ロボットシステム。

本発明により、指導外科医のために３Ｄ入力デバイスおよびステレオディスプレイを必要としない解剖学的構造の３Ｄ画像上にテレストレートする方法が提供され得る。

また、本発明により、実質的にリアルタイムにて動作し、かつ侵襲最小外科的処置においてローカルおよびリモートに指導するために適した解剖学的構造の３Ｄ画像上にテレストレートする方法が提供され得る。

また、本発明により、カメラに対して相対的に動いている解剖学的構造の３Ｄ画像上にテレストレートする方法が提供され得る。

また、本発明により、解剖学的構造の３Ｄ画像上に３Ｄテレストレーションを提供する医療ロボットシステムが提供され得る。

本発明の更なる目的、特徴および利点は、その好ましい実施形態の添付の図面を考慮すべき以下の説明から明らかになるであろう。

図１は、例として、３次元テレストレーションを提供する医療ロボットシステム１００を示す。この例においては、手術をする外科医（Ｓ）は、患者（Ｐ）に侵襲最小外科的処置を行っている。更に、侵襲最小外科的処置におけるエキスパートであるか、または少なくともより経験がある指導外科医（Ｍ）は、処置のときに手術をする外科医（Ｓ）に指導またはアドバイスをする。患者（Ｐ）サイトに位置する一人以上のアシスタント（Ａ）も、処置のときに手術をする患者（Ｓ）を補助し得る。

システム１００は、手術をする外科医（Ｓ）によって操作される外科医マスター制御ステーション１５１（明細書中において「外科医コンソール」とも呼ばれる）、３つのスレーブロボットメカニズム１２１〜１２３を有するスレーブカート１２０、および指導外科医（Ｍ）によって操作される指導者マスター制御ステーション１３１（明細書中において「指導者コンソール」とも呼ばれる）を含む。指導者マスター制御ステーション１３１は、点から成る曲線によって外科医マスター制御ステーション１５１から離れて示される。なぜなら、指導者マスター制御ステーション１３１は、外科医マスター制御ステーション１５１に対してローカル（すなわち、手術室環境内）であり、または外科医マスター制御ステーション１５１からリモート（すなわち、手術室環境からリモート）のいずれかになり得るからである。

スレーブロボットメカニズム１２１〜１２３の遠位端に結合される手術関連デバイス（手術関連デバイス１６７のような）が、患者（Ｐ）に侵襲最小外科的処置を実行するために患者（Ｐ）内の切開（切開１６６のような）を介して挿入され得、かつ手術をする外科医（Ｓ）によってマスター制御ステーション１５１において操作され得るように、スレーブカート１２０は、患者（Ｐ）に沿って配置される。スレーブロボットメカニズム１２１〜１２３の各々は、好ましくは、リンケージであって、互いに結合され、かつ従来の様式においてモータ制御された継手を介して操作されているリンケージを含む。

１つのスレーブカート１２０のみが本例において使用されるものとして示されるが、必要に応じて追加のスレーブカートも使用され得る。更に、カート１２０において、３つのスレーブロボットメカニズム１２１〜１２３が示されるが、必要に応じて１つのスレーブカートに対してより多く、またはより少ないスレーブロボットメカニズムが使用され得る。スレーブカート１２０のようなスレーブカートの追加の詳細は、本明細書中に参考に援用される、同一出願人に係る米国特許第６，８３７，８８３号の「Ａｒｍ Ｃａｒｔ ｆｏｒ Ｔｅｌｅｒｏｂｏｔｉｃ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」において見出され得る。

立体内視鏡は、好ましくは、スレーブロボットメカニズムの遠位端に結合される手術関連デバイスの１つである。他の手術関連デバイスは、クランプ、捕捉器具（ｇｒａｓｐｅｒ）、はさみ、ホッチキス、および持針器のような、侵襲最小外科的処置を実行するための操作可能エンドエフェクタを備える様々な工具になり得る。

一度に使用される手術関連デバイスの数、結果的に、システム１００におけるスレーブロボットメカニズムの数は、一般に、診断用または外科的処置、ならびに他の要因との手術室内における空間制限による。処置の間に使用される１つ以上の手術関連デバイスを変更する必要がある場合、複数のアシスタント（Ａ）のうちの１つは、もう必要ではない手術関連デバイスをそのスレーブロボットメカニズムの遠位端から除去し得、かつ手術室内の一盛りのそのようなデバイスからの他の手術関連デバイスと置き換え得る。代替的に、ロボットメカニズムは、手術をする外科医（Ｓ）の複数のマスター入力デバイスのうちの１つを使用して工具交換を実行するために、手術をする外科医（Ｓ）に提供され得る。

侵襲最小外科的処置における外科医のコラボレーションおよび／または指導を容易にするために、参加する外科医の各々は、手術部位を見るための関連ディスプレイおよび他の参加する外科医と通信するためのマイクロホンおよびイアホンセットのような通信手段を有する。この場合における立体内視鏡の使用は、手術部位のリアルタイム、３次元画像の生成および表示を可能にする。

より詳細には、３Ｄディスプレイ１５２は、外科医マスター制御ステーション１５１に結合または統合され、３Ｄディスプレイ１３２および２Ｄタッチスクリーン１３５は、指導者マスター制御ステーション１３１に結合または統合され、かつ２Ｄディスプレイ１４２は、ビジョンカート１４１上に提供される。その結合または統合は、手術をする外科医（Ｓ）、指導外科医（Ｍ）、および一人以上のアシスタント（Ａ）が、侵襲最小外科的処置の間、手術部位を見ることが可能であるようになされる。

参加者の各々に提供される通信手段は、従来のオーディオシステムの一部として、個々のマイクロホンおよびイアホン（またはスピーカ）構成要素、または代替的に、手術をする外科医（Ｓ）の頭の上に配置されて示されるヘッドホンセット１５３のような個々のヘッドホンセットを含み得る。好ましくは、二重オーディオ通信システム（マイクロホンおよびスピーカの対）は、各外科医のマスター制御ステーションに組み入れられる。代替的に、ヘッドセットのユーザに最大の快適および自由な動きを提供するためにワイヤレス通信を使用するもの、あるいはそれぞれのマスター制御ステーションまたはスレーブカートにワイヤを通じて接続され得、次いで、手術をする外科医（Ｓ）、指導外科医（Ｍ）および一人以上のアシスタント（Ａ）の間の音声通信のためにライン１１０およびライン１１２を通じて一緒に接続されるものも含む、ヘッドセットが使用され得る。

図２は、簡略化した例として、外科医コンソールまたはマスター制御ステーション１５１の正面斜視図を示す。外科医コンソール１５１に含まれるものは、右および左の眼窩２２３および２２４を有する３Ｄディスプレイ１５２である。ここにおいて、眼窩は、外科医コンソール１５１の前に着席している外科医がその眼窩を通して下を見て、それによってそこで見られた手術部位がそのような位置にあるという感覚を外科医に与えるように位置される。右および左のマスター入力デバイス２０３および２０４も含まれる。ここにおいて、マスター入力デバイスは、外科医が３Ｄディスプレイ１５２を通じて見られるように手術部位における関連器具を直接操作しているとう感覚を外科医が有するように、外科医コンソール１５１の凹所領域２１０内に位置される。プロセッサ２４０は、処理能力を提供するために外科医コンソール１５１に結合または統合される。テレストレーションをターンオンおよびターンオフするため、テレストレーションを隠し表示して後でリコールするため、または３Ｄディスプレイ１５１において３Ｄと２Ｄビュー間をスイッチするためのようなスイッチング能力を提供するために、フットペダル２３１も外科医コンソール１５１に含まれる。代替的に、そのようなスイッチング能力は、テレストレーションデバイス、入力デバイス、または制御コンソールディスプレイ上のボタンを使用してインプリメントされ得るか、または音声入力によってインプリメントされ得る。

外科医マスター制御ステーション１５１のようなマスター制御ステーションの追加の詳細は、本明細書中に参考に援用される、同一出願人に係る米国特許第６，７１４，８３９号の「Ｍａｓｔｅｒ Ｈａｖｉｎｇ Ｒｅｄｕｎｄａｎｔ Ｄｅｇｒｅｅｓ ｏｆ Ｆｒｅｅｄｏｍ」および同一出願人に係る米国特許第６，６５９，９３９号の「Ｃｏｏｐｅｒａｔｉｖｅ Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｉｖｅ Ｔｅｌｅｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」において見出され得る。指導者マスター制御ステーション１３１は、外科医コンソール１５１に類似して構成され得るか、または代替的に、単に、手術部位（例えば、外科医マスター制御ステーション１５１から提供されるように）の２Ｄビューイングのための取り付けられたタッチスクリーンおよびデジタルペンを備える従来のパーソナルコンピュータ、およびそこに見られる解剖学的構造におけるテレストレーションになり得る。

侵襲最小外科的処置を実行するために、手術をする外科医（Ｓ）は、右および左のマスター入力デバイス２０３および２０４のうちの１つまたは両方を操作し得る。それによって、スレーブロボットメカニズム１２３のような関連スレーブロボットメカニズムは、手術をする外科医（Ｓ）が彼または彼女の３Ｄディスプレイ１５２を通じて手術部位を見る間、患者（Ｐ）の体内にある切開１６６のような侵襲最小切開を介して外科的デバイス１６７のようなそれぞれの手術関連デバイスを操作する。

好ましくは、手術をする外科医（Ｓ）が関連する手術関連デバイスを直接制御しているという強い認識力を有するように、マスター入力デバイスは、手術をする外科医（Ｓ）に、テレプレゼンス、またはマスター入力デバイスがそれらに関連する手術関連デバイスと統合しているという知覚を提供するために、それらの関連する手術関連デバイスと同じ自由度において移動可能になる。このために、位置、力、および触覚フィードバックセンサは、好ましくは、位置、力、および触覚感覚をデバイス（またはそれらのスレーブロボットメカニズム）からそれらの関連するマスター入力デバイスに送信し戻すように使用される。それは、手術をする外科医（Ｓ）が、マスター入力デバイスを動作するとともに、彼または彼女の手によってそのように感じ得るようにである。

前述したように、テレプレゼンス経験を更に拡張するために、マスター制御ステーション１５１の３Ｄディスプレイ１５２上に表示される手術部位の３Ｄ画像（およびそこに見られる解剖学的構造）は、手術をする外科医（Ｓ）が手術部位を実際に下に直接向いて見ていると感じるように適応される。このために、手術をする外科医（Ｓ）によって操作される手術関連デバイスの画像は、観測点（すなわち、内視鏡またはビューイングカメラ）が画像の視点からではない場合もあり得るにも関らず、彼または彼女の手が位置している場所に実質的に配置されるように見える。

医療ロボットシステム１００および３Ｄディスプレイ１５２のようなテレプレゼンスシステムおよび３Ｄディスプレイの追加の詳細は、本発明の譲受人によって排他的にライセンスされ、本明細書中に参考に援用される米国特許第５，８０８，６６５号の「Ｅｎｄｏｓｃｏｐｉｃ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｕｓｅ」、および本明細書中に参考に援用され、同一出願人に係る米国特許第６，４２４，８８５号の「Ｃａｍｅｒａ Ｒｅｆｅｒｅｎｃｅｄ Ｃｏｎｔｒｏｌ ｉｎ ａ Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｂｅ Ｓｕｒｇｉｃａｌ Ａｐｐａｒａｔｕｓ」において見出され得る。

図３は、一例として、３Ｄテレストレーションを提供する医療ロボットシステムの一部のブロック図を示す。この例において、手術をする外科医（Ｓ）が患者（Ｐ）に沿ってローカルに配置（すなわち、手術室内にて）される一方、指導外科医（Ｍ）は、リモートに配置（すなわち、手術室内ではない）されると仮定される。

患者内における手術部位に挿入された立体内視鏡（スレーブロボットメカニズム１２２に結合される手術関連デバイスのような）によってキャプチャされた右（Ｒ）および左（Ｌ）のカメラビュー（または立体画像の対）の情報は、外科医コンピュータ３０２（マスター制御ステーション１５１のプロセッサ２４０のような）によって立体内視鏡３０１から受信される。同時に、立体画像の各対のうちの１つのカメラビュー（例えば、右のカメラビューのような）は、映像通信インターフェース３０６および３１６を介してエキスパートまたは指導者コンピュータ３１２（指導者マスター制御ステーション１３１に結合されまたは統合されるプロセッサのような）に送信される。そのような目的のために適した映像通信インターフェースの例としては、Ｐｌｅａｓａｎｔｏｎ，ＣａｌｉｆｏｒｎｉａのＰｏｌｙｃｏｍ Ｉｎｃ．によって配布されるＰｏｌｙｃｏｍ ＶＳ４０００またはＶＳＸ ７０００ｅが挙げられる。手術部位における解剖学的構造のうちの１つのカメラビューを送信するためのそれらの使用に追加して、映像通信インターフェース３０６および３１６は、それぞれが外科医コンピュータ３０２およびエキスパートコンピュータ３１２を動作する手術をする外科医とエキスパート外科医との間のオーディオを通信するためにも使用され得る。

外科医コンピュータ３０２は、立体画像の対に対する受信された情報を処理し、それらを手術をする外科医（Ｓ）による３次元ビューイングのために３Ｄディスプレイ３０３（マスター制御ステーション１５１の３Ｄディスプレイ１５２のような）に提供する。手術をする外科医（Ｓ）は、次いで、スレーブロボットメカニズム３０５（スレーブカート１２０のスレーブロボットメカニズム１２１および１２３のような）、結果的にはそれらの取り付けられた手術関連デバイスを駆動するようにマスター操作器３０４（右および左のマスター入力デバイス２０３および２０４）を操作する。

その間、エキスパートコンピュータ３１２は、受信されたカメラビューを処理し、それを指導外科医（Ｍ）による２次元ビューイングのためにタッチスクリーン３１３（指導者マスター制御ステーション１３１に結合されるタッチスクリーン１３５のような）に提供する。そのような目的のために適したタッチスクリーンの一例は、Ｖａｎｃｏｕｖｅｒ，ＷａｓｈｉｎｇｔｏｎのＷａｃｏｍ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｒｐ．によって配布されるＷａｃｏｍ Ｃｉｎｔｉｑ １５Ｘである。指導者外科医（Ｍ）は、次いで、デジタルペン（指導者マスター制御ステーション１３１に結合されるデジタルペン１３６のような）を使用してタッチスクリーン３１３の表面にテレストレーショングラフィックを描き得る。テレストレーショングラフィックは、典型的に、手書きの線、円、矢印等になり得る。

指導外科医（Ｍ）がテレストレーショングラフィック入力の情報を描く一方、エキスパートコンピュータ３１２は、次いで、例えば、ＴＣＰ／ＩＰ接続を介して部分的にリアルタイムに外科医コンピュータ３０２にテレストレーショングラフィック入力の情報を自動的に送信し得る。あるいは、エキスパートコンピュータ３１２は、例えば、タッチスクリーン３１３またはそのデジタルペン上の適切なボタンまたはスイッチをクリックすることによって、指導外科医（Ｍ）が送信が行われるべきであること示した後にだけＴＣＰ／ＩＰ接続を介してテレストレーショングラフィック入力の全体を送信し得る。

外科医コンピュータ３０２は、次いで、エキスパートコンピュータ３１２から受信されたテレストレーショングラフィック入力を処理する。それは、テレストレーショングラフィック入力の３Ｄビューが、図６を参照して説明される方法に従い、３Ｄディスプレイ３０３内のテレストレーショングラフィック入力に対応する解剖学的構造の３Ｄビューに対するオーバレイとして表示され得るようにである。本明細書中に説明されるように、それぞれのタスクを実行するように外科医コンピュータ３０２およびエキスパートコンピュータ３１２にそれぞれ構成されるモジュールについての追加の詳細は、図４および図５を参照して更に下述される。

図４は、一例として、３Ｄテレストレーション能力を外科医コンピュータ３０２に提供するモジュールおよび外科医コンピュータ３０２のこれらのモジュールと相互作用するハードウェア構成要素のブロック図を示す。図５は、一例として、テレストレーショングラフィック入力を生成し、それをそのようなグラフィック入力の３Ｄテレストレーションのために外科医コンピュータ３０２に送信する能力を指導者またはエキスパートコンピュータ３１２に提供するモジュール、およびエキスパートコンピュータ３１２のこれらのモジュールと相互作用するハードウェア構成要素のブロック図を示す。

初めに図４を参照すると、カナダのＭａｔｒｏｘ Ｅｌｅｃｔｒｏｎｉｃ Ｓｙｓｔｅｍｓ Ｌｔｄ．によって配布されるＭａｔｒｏｘ Ｏｒｉｏｎフレームグラバーボードのような画像取得モジュール４０１は、内視鏡カメラからの左および右のＮＴＳＣ信号においてのように、立体内視鏡３０１からの立体画像の対の情報をキャプチャする。更に、その情報を画像取得モジュール４０１によってキャプチャされる、対応する右および左のカメラビュー（またはフレーム）を使用して不一致マップを定期的に生成または更新する画像相関モジュール４０２に提供する。

画像取得モジュール４０１の出力は、タッチスクリーン４１２上に２Ｄにて表示される、Ｗａｃｏｍ Ｃｉｎｔｉｑ １５Ｘのようなローカルタッチスクリーン４１２に立体画像の対のうちの選択された１つのために情報を提供するローカルユーザインターフェース４１１にも提供され得る。ローカルエキスパートまたは指導外科医は、次いで、レンダリングユニット４０４に提供されるテレストレーショングラフィックユニットを生成するために、デジタルペンを使用してタッチスクリーン４１２上にてテレストレートし得る。

画像取得モジュール４０１の出力は、立体画像のキャプチャされた対をレンダリングユニット４０４によって生成される３Ｄテレストレーショングラフィックユニットと組み合わせ、その組み合わせを手術をする外科医（Ｓ）による３次元ビューイングのために３Ｄディスプレイ３０３に提供するグラフィックオーバレイモジュール４０５にも提供される。レンダリングユニット４０４は、ローカルユーザインターフェース４１１を介してローカル指導者から、またはテレストレーショングラフィック受信ユニット４０３を介してリモート指導者のいずれかから、立体画像の対のうちの１つに関連する２Ｄテレストレーショングラフィック入力を受信し得る。

図５を参照すると、Ｍａｔｒｏｘ Ｏｒｉｏｎフレームグラバーのような画像取得モジュール５０１は、内視鏡カメラからの右のＮＴＳＣ信号においてのように、映像通信インターフェース３１６によって受信される立体画像の対のうちの選択された１つの情報をキャプチャする。更に、その情報をタッチスクリーン３１３上の２Ｄに表示されるように、Ｗａｃｏｍ Ｃｉｎｔｉｑ １５Ｘのようなタッチスクリーン３１３に、リモートユーザインターフェース５０２を介して提供する。

エキスパートまたは指導外科医は、次いで、リモートユーザインターフェース５０２を介してテレストレーショングラフィック送信ユニット５０３に提供されるテレストレーショングラフィック入力を生成するために、デジタルペンを使用してタッチスクリーン３１３上にテレストレートし得る。テレストレーショングラフィック送信ユニットは、次いで、ＴＣＰ／ＩＰを通じてリアルタイムにて自動的にまたはユーザコマンドによって、外科医コンピュータ３０２内のテレストレーショングラフィック受信ユニット４０３に、テレストレーショングラフィック入力をメタデータ（選択されたグラフィック言語形式であり得る）として送信する。

図６は、立体内視鏡３０１から受信された立体画像の対の情報において動作する外科医コンピュータ３０２内のモジュールによって一般的に実行される解剖学的構造の３Ｄ画像上にテレストレートするための方法のフロー図を示す。テレストレーションはリモート指導者外科医（すなわち、手術室環境からリモートである）によって実行されることがこの例の目的に対して仮定されるが、この方法が、テレストレーションがローカル指導者外科医（すなわち、手術室環境内において）によって実行される場合に対しても同様に適用可能であることが理解される。

方法を実行する前、立体内視鏡３０１は、好ましくは、その内因性および外因性パラメータの両方に対して完全に較正される。それは、光学的ひずみが除去され、結果の透視画像は、アライメントへと直されるようにである。より詳細には、図９における例に示されるように、この様式において立体内視鏡３０１を較正することは、左および右のカメラビュー画像における相関点の間の不一致が水平のエピポーラ（ｅｐｉｐｏｌａｒ）線に沿ってあり、誤った一致に対してより少ないチャンスを備える１次元サーチを可能にし、それによって、解像度および正確度を改良する。この非リアルタイムカメラ較正は、一般に、Ｃａｌｉｆｏｒｎｉａ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ（Ｃａｌｔｅｃｈ）のウェブサイトからダウンロード可能であるＣａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｏｏｌｂｏｘ ｆｏｒ Ｍａｔｌａｂ（登録商標）を用いてのように、従来技術を使用して実行される。

６０１において、画像取得モジュール４０１は、立体内視鏡３０１から立体画像の対の情報を連続して受信する。同時に、映像通信ユニット３０６は、リモートエキスパートタッチスクリーン３１３への送信のために、立体内視鏡３０１から立体画像の対のうちの選択された１つ（例えば、立体内視鏡３０１内の右および左のカメラのうちの１つに対応する）のみに対する情報を連続して受信し得る。

６０２において、画像取得モジュール４０１は、６０１にて受信された情報から右および左のカメラビュー（すなわち、右および左の２Ｄフレーム）のセットをキャプチャまたは取得する。更に、画像取得モジュール４０１は、そのカメラビューを、好ましくは、リアルタイム動作に対して十分に速く、かつ侵襲最小外科的処置に適した手術部位の３Ｄビューを提供するために十分に正確である画像相関アルゴリズムを使用して右および左のカメラビューから不一致マップを構成する画像相関モジュール４０２に提供する。そのような画像相関アルゴリズムの一例は、本明細書中に参考に援用される、Ｄｏｕｇｌａｓ Ｐ．Ｈａｒｔに公布されＭａｓｓａｃｈｕｓｅｔｔｓ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙに譲渡された米国特許第６，１０８，４５８号の「Ｓｐａｒｓｅ Ａｒｒａｙ Ｉｍａｇｅ Ｃｏｒｒｅｌａｔｉｏｎ」に説明される。

６０３において、レンダリングユニット４０４は、第一に、リモート指導者またはローカル指導者から受信されるテレストレーショングラフィック入力の３Ｄビューをレンダリングする。グラフィックオーバレイモジュール４０５は、次いで、６０１にて受信されたステレオ画像の対によって提供されたように、手術部位の３Ｄビューの上にテレストレーショングラフィック入力のレンダリングされた３Ｄビューをオーバレイする。最後に、グラフィックオーバレイモジュール４０５は、オーバレイされた３Ｄテレストレーショングラフィック入力を手術部位の３Ｄビューに提供する。それは、３Ｄディスプレイ３０３が、それらを手術をする外科医（Ｓ）に表示し得るようにである。

６０４において、立体内視鏡３０１から立体画像の対の情報を連続して受信する画像取得モジュール４０１は、前にキャプチャされたものの時間的に後に受信される情報から右および左のカメラビュー（すなわち、右および左の２Ｄフレーム）の他のセットをキャプチャまたは取得する。

６０５において、後に受信された情報の右および左のフレームは、適切な画像相関アルゴリズムを使用してそれらの前にキャプチャされた対応物と相関される（すなわち、時間ｔ＋１にてキャプチャされる右のフレームは、時間ｔ＋０にて前にキャプチャされた右のフレームと相関され、時間ｔ＋１にてキャプチャされる左のフレームは、時間ｔ＋０にて前にキャプチャされた左のフレームと相関される）。このように、右および左のフレームをそれらの前にキャプチャされた対応物と相関させることによって、手術部位にあり、カメラビュー内の解剖学的構造の動きは決定され得る。更に、テレストレーショングラフィック入力の３Ｄポジションは、それが描かれたものの上で、解剖学的構造の追跡動きに従って動かされ得る。更に、信頼測定は相関値のように計算され得、表示されたテレストレーショングラフィック入力の明るさは、信頼測定の大きさに比例し得る。

６０６において、ロールオーバカウンタはインクリメントされ、６０７において、カウンタはロールオーバしたか否かをチェックされる。ロールオーバをしていない場合、この方法は、内側ループ６０３〜６０７を繰り返すためにループバックする。ロールオーバした場合、この方法は、外側ループ６０２〜６０７を繰り返すためにループバックする。このようにして、６０２における不一致マップの生成は、６０４〜６０５にて実行された解剖学追跡と比較して低頻度にて実行され得る。例えば、ロールオーバカウンタのためのクロック周波数およびロールオーバ値を適切に選択することによって、内側ループ６０３〜６０７は、３０Ｈｚの周波数において実行され得る。その一方、外側ループ６０２〜６０７は、１Ｈｚのレートのように、より低頻度に実行される。ロールオーバカウンタがこの目的のために使用されるように説明されるが、同じまたは類似した機能を達成するための他の従来技術が代わりに使用され得、それらは本発明の範囲内にあるように十分に考えられる。

図７は、一例として、図６を参照して説明される方法の機能６０３を実行するときにレンダリングユニット４０４およびグラフィックオーバレイモジュール４０５によって実行されるタスクを詳しく述べるフロー図を示す。立体画像の対の右のカメラビューが、ビューイングおよびテレストレーションのためにリモート指導外科医に送信されたことがこの例において仮定されるが、明細書中に説明される以下および他の方法は、代わりに左のビューが送信される場合に対しても同様に適用可能である。

７０１において、レンダリングユニット４０４は、テレストレーショングラフィック受信ユニット４０３を通じてリモート指導外科医から、立体画像の対の右のカメラビューに対応するテレストレーショングラフィック入力のための情報を受信する。受信された情報が、好ましくは、テレストレーショングラフィック入力を選択されたグラフィック言語に規定するので、レンダリングユニット４０４は、受信された情報を不一致マップと一致するように必要に応じて変換する。

好ましくは、テレストレーショングラフィック入力の深さは、右のカメラビューに位置する解剖学的構造と同じである。従って、右のカメラビューに対応する受信されたテレストレーショングラフィック入力の位置から、テレストレーショングラフィック入力の深さは、不一致マップを使用して容易に決定可能である。なぜなら、不一致マップは、立体内視鏡３０１のための較正処理の間、非リアルタイムにおいて決定され得る深さマップに直接関連するからである。

７０２において、レンダリングユニット４０４は、次いで、右のカメラビュー内の受信されたテレストレーショングラフィック入力位置に対応する左のカメラビュー内のテレストレーショングラフィック入力位置を決定する。これは、右および左のカメラビューのために前に生成された不一致マップを使用することによって行われる。より詳細に、右のカメラビューに対応する受信されたテレストレーショングラフィック入力の選択された点に対して、不一致値は読み取られる。読み取られない場合、これらの点の場所における不一致マップから決定される。それらの点に対する左のカメラビュー内の対応する場所は、次いで、不一致値によって右のカメラビュー内の場所を調節することによって決定される。

７０３において、グラフィックオーバレイモジュール４０５は、右のカメラビューに対して位置されたテレストレーショングラフィック入力を右のカメラビューの上にオーバレイするか、または右のカメラビューとブレンドする。更に、左のカメラビューに対して位置されたテレストレーショングラフィック入力を左のカメラビューの上にオーバレイするか、または左のカメラビューとブレンドする。好ましくは、両方のオーバレイは、内在するカメラビュー情報が保存されるように、非破棄様式において実行される。グラフィックオーバレイモジュール４０５は、次いで、オーバレイされた３Ｄテレストレーショングラフィック入力を備える立体の右および左のカメラビュー情報を３Ｄディスプレイ３０３に提供する。それは、手術をする外科医（Ｓ）が、３Ｄ解剖学的構造上に適切に位置される３Ｄテレストレーショングラフィック入力で手術部位を見得るようにである。必要に応じて、情報は、３Ｄテレストレーショングラフィック入力がリアルタイムに手によって描かれたように現れるか、または一度に全体において現れるかのどちらかの方法において、３Ｄディスプレイ３０３に提供され得る。更に、必要に応じて、情報は、３Ｄテレストレーショングラフィック入力が１つの端からもう一方の端まで徐々に消えるか、または全ての点を一緒に衰退させるかのどちらかによって、ある期間の後に衰退するような方法において、３Ｄディスプレイ３０３に提供され得る。更に、前述されたように、信頼測定は相関値のように計算され得、表示されたテレストレーショングラフィック入力の明るさは、信頼測定の大きさに比例し得る。

図８は、一例として、図６を参照して説明される方法の解剖学的構造追跡機能６０５を実行するときにレンダリングユニット４０４およびグラフィックオーバレイモジュール４０５によって実行されるタスクを詳しく述べるフロー図を示す。８０１において、レンダリングユニット４０４は、画像相関モジュール４０２に、（ａ）画像取得モジュール４０１によって、最も最近キャプチャされた右のカメラビューをその直前にキャプチャされた右のカメラビューと相関させ、（ｂ）画像取得モジュール４０１によって、最も最近キャプチャされた左のカメラビューをその直前にキャプチャされた左のカメラビューと相関させることによってフレーム−フレーム（Ｆ／Ｆ）画像相関を実行する。このＦ／Ｆ画像相関を実行することによって、立体内視鏡の３Ｄ空間内の新しい位置が、テレストレーショングラフィック入力が上にオーバレイされる解剖学的構造のために決定される。

仮に、立体内視鏡３０１に対して相対的であったとしても、手術部位において見られる解剖学的構造はゆっくりと動くことだけを期待されているため、８０１にて実行されるＦ／Ｆ画像相関は、不一致マップを構成するために６０２にて実行される画像相関より速く実行され得る。なぜなら、画像相関が実行される領域が減少され得るからである。領域のこの減少は、特に有用である。なぜなら、右および左のカメラビューにおける識別特性の位置が、水平のエピポーラ線に沿うそれらの不一致値によってのみ異なることが期待される不一致マップ決定とは違って、解剖学追跡目的のためには、垂直および深さの動きを考慮することも有用であるからである。

８０２において、レンダリングユニット４０４は、次いで、最も最近のキャプチャされた右および左のカメラビュー内のテレストレーショングラフィック入力の位置を更新する。それによって、テレストレーショングラフィック入力が上にオーバレイされる解剖学的構造の動きを追跡する。特に、解剖学的構造およびテレストレーショングラフィック入力の共有された（すなわち、オーバレイされた）点の各々のために、テレストレーショングラフィック入力点は、Ｆ／Ｆ画像相関を通じて決定されたように、右および左の両方のカメラビューにおけるその対応する解剖学的構造点の新しい位置に移動される。

本発明の様々な局面が好ましい実施形態に対して説明されたが、本発明に、添付の特許請求の範囲の全範囲内の完全な保護が与えられることが理解される。

医療ロボットシステムは、指導外科医から解剖学的構造の立体画像の対のうちの１つに関連する２Ｄテレストレーショングラフィック入力を受信することと、不一致マップを使用して立体画像の対のもう一方における対応する２Ｄテレストレーショングラフィック入力を決定することと、テレストレーショングラフィック入力をぞれぞれの立体画像の対のうちの１つにブレンドすることと、テレストレーショングラフィック入力の３Ｄビューが解剖学的構造の３Ｄビューに対するオーバレイとして手術をする外科医に表示され得るように、ブレンドされた結果を３Ｄディスプレイに提供することとによって、解剖学的構造の３Ｄビューの上に３Ｄテレストレーションを提供する。

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明の局面を使用して、３Ｄテレストレーションを提供する医療ロボットシステムを備える手術室の平面図を示す。 本発明の局面を使用するように構成されるプロセッサを含むマスター制御ステーションの正面斜視図を示す。 本発明の局面を使用して、３Ｄテレストレーションを提供する医療ロボットシステムのブロック図を示す。 本発明の局面を使用して、外科医コンピュータ内のモジュールおよび外科医コンピュータに結合された構成要素のブロック図を示す。 本発明の局面を実施するために有用である、エキスパートコンピュータ内のモジュールおよびエキスパートコンピュータに結合された構成要素のブロック図を示す。 本発明の局面を使用して、解剖学的構造の３Ｄ画像上にテレストレートする方法のフロー図を示す。 本発明の局面を使用して、３Ｄ解剖学的構造の上に３Ｄテレストレーショングラフィック入力をオーバレイする方法のフロー図を示す。 本発明の局面を使用して、解剖追跡および追跡された解剖学的構造の上の３Ｄテレストレーションのための方法のフロー図を示す。 本発明の局面を実施するために有用である、３Ｄ座標フレームにおける点の立体画像の対に対するエピポーラジオメトリの一例を示す。

符号の説明

１００ 医療ロボットシステム
１２０ スレーブカート
１３１ 指導者マスター制御ステーション
１３２、１５２ ３Ｄディスプレイ
１３５ ２Ｄタッチスクリーン
１３６ デジタルペン
１４１ ビジョンカート
１４２ ２Ｄディスプレイ
１５１ 外科医マスター制御ステーション
１５３ ヘッドホンセット
１６６ 切開
１６７ 手術関連デバイス

Claims (30)

1. 解剖学的構造の３次元画像においてテレストレートする方法であって、
   解剖学的構造の立体画像の対のうちの１つに関連するテレストレーショングラフィック入力を受信することと、
   該テレストレーショングラフィック入力の３次元ビューが該解剖学的構造の３次元ビューに対するオーバレイとして表示され得るように、該立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定することと
   を包含する、方法。
2. 前記解剖学的構造が、患者の体の外側である、請求項１に記載の方法。
3. 前記解剖学的構造が、患者の体内の肉体部分である、請求項１に記載の方法。
4. ある場所から前記テレストレーショングラフィック入力を受信する前に該場所に前記立体画像の対のうちの前記１つに対する情報を送信することをさらに包含する、請求項３に記載の方法。
5. 前記場所が、エキスパート外科医によって動作されるコンピュータである、請求項４に記載の方法。
6. 前記立体画像の対のうちの前記１つに対する情報を前記場所に送信する前に、該立体画像の対に対する該情報を受信することをさらに包含する、請求項４に記載の方法。
7. 前記立体画像の対に対する前記情報が、前記患者の前記体内に挿入された立体内視鏡から受信される、請求項６に記載の方法。
8. 前記立体画像の対が、対応する右および左のカメラビューを含む、請求項７に記載の方法。
9. 前記立体画像の対に対する前記受信された情報から不一致マップを生成することをさらに包含する、請求項６に記載の方法。
10. 前記立体画像の対の前記もう一方における前記対応するテレストレーショングラフィック入力を決定することが、前記不一致マップを使用する、請求項９に記載の方法。
11. 前記立体画像の対のうちの前記１つに対する情報を前記場所に送信した後、時間的に後の立体画像の対に対する情報を受信することと、
    該立体画像の対に対する前記解剖学的構造の動きを決定するために、該立体画像の対に対する該情報を該時間的に後の立体画像の対の該情報と相関させることと、
    該解剖学的構造の該動きを追跡するために、前記テレストレーショングラフィック入力の前記３次元ビューを位置づけることと
    をさらに包含する、請求項６に記載の方法。
12. 前記立体画像の対に対する前記情報と前記時間的に後の立体画像の対に対する前記情報との前記相関を使用して信頼測定を決定することと、
    該信頼測定の大きさに比例する明るさを用いて、前記テレストレーショングラフィック入力を表示することと
    を包含する、請求項１１に記載の方法。
13. 前記テレストレーショングラフィック入力の前記３次元ビューを、前記解剖学的構造の３次元ビューに対する非破壊グラフィックオーバレイとして表示することをさらに包含する、請求項１に記載の方法。
14. 前記テレストレーショングラフィック入力の前記３次元ビューを前記表示することは、該テレストレーショングラフィック入力の該３次元ビューが時間の経過とともに衰退するように実行される、請求項１３に記載の方法。
15. ３次元テレストレーションを提供する医療ロボットシステムであって、該医療ロボットシステムは、外科医コンソールであって、解剖学的構造の立体画像の対に関連するテレストレーショングラフィック入力を受信するように構成されており、かつ該テレストレーショングラフィック入力の３次元ビューが該解剖学的構造の３次元ビューに対するオーバレイとして表示され得るように、該立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定するように構成されている外科医コンソールを備える、医療ロボットシステム。
16. 前記解剖学的構造が、患者の体の外側である、請求項１５に記載の医療ロボットシステム。
17. 前記解剖学的構造が、患者の体内の肉体部分である、請求項１５に記載の医療ロボットシステム。
18. ある場所から前記テレストレーショングラフィック入力を受信する前に該場所に前記立体画像の対のうちの前記１つに対する情報を送信する手段をさらに備える、請求項１７に記載の医療ロボットシステム。
19. 前記場所が、エキスパート外科医によって動作されるコンソールである、請求項１８に記載の医療ロボットシステム。
20. 前記外科医コンソールが、前記立体画像の対のうちの前記１つに対する情報を前記場所に送信する前に、該立体画像の対に対する該情報を受信するようにさらに構成される、請求項１８に記載の医療ロボットシステム。
21. 前記立体画像の対に対する前記情報が、前記外科医コンソールによって前記患者の前記体内に挿入された立体内視鏡から受信される、請求項２０に記載の医療ロボットシステム。
22. 前記立体画像の対が、前記立体内視鏡の対応する右および左のカメラビューを含む、請求項２１に記載の医療ロボットシステム。
23. 前記外科医コンソールが、前記解剖学的構造の前記立体画像の対に対する前記受信された情報から不一致マップを生成するようにさらに構成される、請求項２０に記載の医療ロボットシステム。
24. 前記外科医コンソールが、前記立体画像の対の前記もう一方における前記対応するテレストレーショングラフィック入力を決定するために、前記不一致マップを使用するようにさらに構成される、請求項２３に記載の医療ロボットシステム。
25. 前記外科医コンソールが、前記立体画像の対のうちの前記１つに対する情報を前記場所に送信した後、時間的に後の立体画像の対に対する情報を受信するようにさらに構成されており、該立体画像の対に対する前記解剖学的構造の動きを決定するために、該立体画像の対に対する該情報を該時間的に後の立体画像の対の該情報と相関させるようにさらに構成されており、かつ該解剖学的構造の該動きを追跡するために、前記テレストレーショングラフィック入力の前記３次元ビューを位置づけるようにさらに構成されている、請求項２０に記載医療ロボットシステム。
26. 前記外科医コンソールが、前記立体画像の対に対する前記情報と前記時間的に後の立体画像の対に対する情報との前記相関を使用して信頼測定を決定するようにさらに構成されており、該信頼測定の大きさに比例する明るさを用いて前記テレストレーショングラフィック入力を表示するようにさらに構成されている、請求項２５に記載の医療ロボットシステム。
27. 前記外科医コンソールは、３次元ディスプレイを含んでおり、かつ前記テレストレーショングラフィック入力の前記３次元ビューを、該３次元ディスプレイにおいて、前記解剖学的構造の３次元ビューに対するグラフィックオーバレイとして表示するようにさらに構成されている、請求項１５に記載の医療ロボットシステム。
28. 前記外科医コンソールが、前記テレストレーショングラフィック入力の前記３次元ビューが時間の経過とともに衰退するように、該テレストレーショングラフィック入力の該３次元ビューを表示するようにさらに構成されている、請求項２７に記載の医療ロボットシステム。
29. ３次元テレストレーションを提供する医療ロボットシステムであって、
    侵襲最小外科的処置の間に患者の解剖学的構造の立体画像の対をキャプチャするために該患者の体に挿入可能である立体カメラアセンブリと、
    該立体カメラアセンブリによってキャプチャされた該立体画像の対の右または左のビューを受信するように構成された受信器と、該受信された右または左のビューを２次元で表示するためのディスプレイと、エキスパートコンソールのオペレータによる該２次元で表示された右または左のビューの上のテレストレーショングラフィック入力の生成を容易するように構成されたテレストレーションデバイスと、該テレストレーショングラフィック入力を送信するように構成された送信器とを有するエキスパートコンソールと、
    該立体カメラアセンブリによってキャプチャされた該立体画像の対を受信するように構成された第１の受信器と、該エキスパートコンソールの該送信器によって送信された該テレストレーショングラフィック入力を受信するように構成された第２の受信器とを有する外科医コンソールであって、該立体画像の受信された対から不一致マップを生成するように構成されており、かつ該テレストレーショングラフィック入力の３次元ビューが該解剖学的構造の３次元ビューに対するオーバレイとして表示され得るように、該不一致マップを使用して該立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定するように構成されている、外科医コンソールと
    を備える、医療ロボットシステム。
30. 前記外科医コンソールが、前記立体画像の対のうちの前記１つに対する情報をある場所に送信した後、時間的に後の立体画像の対に対する情報を受信するようにさらに構成されており、該立体画像の対に対する前記解剖学的構造の動きを決定するために該立体画像の対に対する該情報を該時間的に後の立体画像の対の情報と相関させるように構成されており、かつ該解剖学的構造の該動きを追跡するために前記テレストレーショングラフィック入力の前記３次元ビューを位置づけるようにさらに構成されている、請求項２９に記載の医療ロボットシステム。

Images