JP2012529970A - 低侵襲手術のための仮想測定ツール - Google Patents

低侵襲手術のための仮想測定ツール Download PDF

Info

Publication number
JP2012529970A
JP2012529970A JP2012516098A JP2012516098A JP2012529970A JP 2012529970 A JP2012529970 A JP 2012529970A JP 2012516098 A JP2012516098 A JP 2012516098A JP 2012516098 A JP2012516098 A JP 2012516098A JP 2012529970 A JP2012529970 A JP 2012529970A
Authority
JP
Japan
Prior art keywords
tissue
tool
location
image
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012516098A
Other languages
English (en)
Other versions
JP2012529970A5 (ja
Inventor
ブランドン ディー. イコビッツ,
タオ チャオ,
サイモン ディマイオ,
ウェンイ チャオ,
クリストファー ジェイ. ハッサー,
ミリアム ジェイ. キューレット,
キャサリン ジェイ. モーア,
ヒューバート シュタイン,
Original Assignee
インテュイティブ サージカル オペレーションズ, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテュイティブ サージカル オペレーションズ, インコーポレイテッド filed Critical インテュイティブ サージカル オペレーションズ, インコーポレイテッド
Publication of JP2012529970A publication Critical patent/JP2012529970A/ja
Publication of JP2012529970A5 publication Critical patent/JP2012529970A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/35Surgical robots for telesurgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00477Coupling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/061Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)

Abstract

遠隔手術および他の用途のためのロボットおよび/または測定デバイス(10)、システム、および方法は、システムユーザ(18)が、測定されている組織および他の構造を操作することを可能にするように、ツール(26)に動作可能に連結された入力デバイス(16)を採用する。システムは、立体画像からの3次元位置情報を利用し得る。2つ以上の離散点(242、244)を、直線または湾曲構造に沿った累積長、面積測定、体積測定等を提供するように、3次元内で指定されることができる。離散点は、単一の手術ツール(240)によって、または2つ以上の手術ツールを分離する距離によって、識別され得、ユーザは、随意で、構造に沿って一対のツールを「手を交互に動かし」進めることによって、立体画像捕捉デバイスの視野より長い構造を測定する。

Description

本発明は、概して、改良型ロボットおよび/または測定デバイス、システム、および方法に関する。例示的実施形態は、長さ測定、面積測定、体積測定等を取得するように、組織(または他の構造)に沿った離散3次元(3D)点場所、連続3D輪郭、および他の3D構造情報を入力および指定するために、立体画像処理とともにロボットツールの遠隔操作の組み合わせを利用する、ロボット手術システムを提供する。
低侵襲手術技法は、診断または外科的手技中に損傷される外部組織の量を低減し、それにより、患者の回復時間、不快感、および付随組織損傷を低減することを目的としている。結果として、低侵襲手術技法を使用して、標準的な手術の入院の平均的長さが有意に短縮され得る。また、患者の回復時間、患者の不快感、手術の副作用、および仕事を休む時間も、低侵襲手術で低減され得る。
内視鏡検査が、低侵襲手術の周知の形態であり、内視鏡検査の一般的な形態は、腹腔の内側の低侵襲検査および手術である、腹腔鏡検査である。標準的な腹腔鏡手術では、患者の腹部がガスで吹送され、腹腔鏡器具用の進入ポートを提供するように、カニューレスリーブが小(約1/2インチ以下)切開を通過させられる。
腹腔鏡手術器具は、概して、腹腔鏡または内視鏡(手術野を視認するため)と、作業ツールとを含む。作業ツールは、各ツールの作業端またはエンドエフェクタが、細長いシャフトによって、そのハンドルから分離されていることを除いて、従来の切開手術で使用されるものと同様である。手術器具のエンドエフェクタまたは作業部は、組織を操作または治療することができ、(例えば)クランプ、把持装置、鋏、吻合器、画像捕捉レンズ、または針ホルダを含み得る。
外科的手技を行うために、外科医は、作業ツールまたは器具を、内部手術部位までカニューレスリーブを通過させ、腹部の外側からツールまたは器具を操作する。外科医は、腹腔鏡から得られる手術部位の画像を表示するモニタを用いて、手技を視認する。同様の内視鏡技法が、例えば、関節鏡検査、後腹膜鏡検査、骨盤鏡検査、腎盂鏡検査、膀胱鏡検査、脳槽鏡検査、洞房鏡検査、子宮鏡検査、尿道鏡検査等で採用される。
低侵襲遠隔手術ロボットシステムは、内部手術部位内で作業する時に外科医の器用さを増大させるように、および随意的に、外科医が遠隔場所から患者に手術をすることを可能にするように、開発されている。遠隔手術システムでは、外科医にはしばしば、制御コンソールにおいて手術部位の画像が提供される。好適なビューアまたはディスプレイ上で手術部位の3D画像を視認しながら、外科医は、制御コンソールのマスタ入力または制御デバイスを操作することによって、患者に外科的手技を行う。マスタ入力デバイスのそれぞれは、サーボ機械的に操作される手術器具の運動を制御する。外科的手技中に、遠隔手術システムは、マスタ入力デバイスの操作に応答して、外科医にとって種々の機能、例えば、針を保持または駆動すること、血管を把持すること、組織を解離すること等を果たす、エンドエフェクタを有する種々の手術器具またはツールの機械的作動および制御を提供することができる。
新しい遠隔手術ロボットシステムは、患者への少ない外傷を伴って治療を行う外科医の能力を拡張するための驚異的な展望を有するが、多くの成功と同様に、依然としてさらなる改良が望ましいであろう。例えば、既知のロボットシステムはしばしば、エンドエフェクタの移動要求、場所等を計算するために、ロボット連結部の関節のそれぞれと関連付けられるセンサからの関節位置情報に依存する。そのような関節ベースの情報は、ほとんどの遠隔手術目的で、エンドエフェクタの十分に正確な相対移動を提供するが、この関節ベースのデータを使用して決定される、手術ツールの絶対的な場所は、全ての目的で十分に精密ではない場合がある。特に、ロボット手術システムを使用して、組織測定情報を取得することが有利となる時があり、関節ベースのデータによって提供される精度における何らかの改良が、そのような測定のために有益であり得る。
上記を踏まえて、手術および他の用途のための改良型ロボットおよび/または測定システムを提供することが望ましいであろう。理想的には、関節ベースのデータのみを使用して容易に提供されるものを超える精度の3次元測定を含む測定を用いて、医師が組織と相互作用するとともに組織を測定することをこれらの改良が可能にすれば、特に有用であろう。
本発明の側面は、概して、改良型ロボットおよび/または測定デバイス、システム、および方法を提供する。本発明の実施形態は、内視鏡カニューレスリーブ、天然開口等の低侵襲開口を通した、遠隔手術治療法での使用を見出し得る。そのような実施形態は、システムユーザが、測定されている組織を操作し、そうでなければそれと相互作用することを可能にするように、手術ツールに動作可能に連結される遠隔手術入力デバイスを採用し得る。単に関節ベースのデータに依存するよりもむしろ、システムは、立体画像から生成される3次元(3D)位置情報を利用し得、画像はまた、システムユーザにも提示される。組織上の2つ以上の離散点の間の3D位置オフセットに加えて、システムはまた、ユーザが、関心の組織に沿った位置の効果的に連続的な曲線を識別することを可能にし得る。次いで、システムは、3D線分の長さ測定、直線または湾曲組織に沿った累積長のポリライン測定、組織構造内の面積の測定、組織体積測定、縦横比等を決定することができる。離散点は、単一の手術ツールによって、または2つ以上の手術ツールを分離する距離によって、識別され得、ユーザは、随意で、組織構造に沿って一対のツールを「手を交互に動かし」進める(随意で組織構造を直線化または伸張しながら)ことによって、組織構造(立体画像捕捉デバイスの視野より長い構造、または部分的に隠れている)の長さを測定する。システムユーザが、測定される組織場所を識別しながら組織と相互作用することを可能にすることによって、かつ、測定を決定するために(随意で、関節ベースのデータと組み合わせて)撮像データを採用することによって、特に、少なくとも部分的に隠れている組織と連動するときに、組織測定の測定精度および容易性を有意に強化することができる。
第1の側面では、本発明は、組織を測定する方法を提供する。方法は、対応する画像データを生成するように、組織の画像を取得するステップを含む。第1の組織場所は、第1のロボットツールで示される。第1のグラフィカルインジケータが、第1の組織場所における組織の画像上に重ねられる。画像データを使用して、第1のグラフィカルインジケータと第2の組織場所との間の測定が生成される。
取得された組織の画像は、典型的には、立体ディスプレイ上に示される左右の立体画像の両方を含む。第1のツールは、それらの立体画像を参照してシステムユーザによって第1の組織場所に誘導され得る。ツールおよびディスプレイは、典型的には、遠隔手術システム内に含まれる。システムユーザはしばしば、組織場所が係合されるか、またはそうでなければロボットツールによって示されるときに、少なくとも1つの組織指定コマンドを入力する。立体画像捕捉デバイスはしばしば、立体撮像データを立体ディスプレイに伝送する。グラフィカルインジケータは、3次元で前記第1の場所と一致して見えるように、組織の立体画像上に重ねられる3Dインジケータを含み得る。システムは、第1のツールと関連付けられる立体撮像データを使用して、重ねられたインジケータの第1の場所を決定することができる。
第1のツールは、第1の組織場所および第2の組織場所の両方を示すために使用され得、組織場所は、連続的に示される。代替として、第2のロボットツールが、第2の組織場所を示し得、第2の組織場所は、第1の組織場所と同時に係合される。組織場所は、ツールで組織を係合または触診することによって示すことができ、ツールは、随意で、組織を直線化または伸張するように、または測定構成に移動させるように、組織を操作する。代替実施形態では、ツールは、ツールを組織表面に実際に接触させることなくツールを場所に近接させることによって、組織場所を示し得る。組織の3次元場所は、立体撮像データ等から決定することができ、次いで、グラフィカルインジケータは、ツールから組織表面へと素早く動かされることができる。
画像は、複数のロボットツールを含む、複数のツールを包含し得る。画像を使用して第1のツールを第1の組織場所に誘導する間、グラフィカルツール測定マーカが、第1のツールと一致するディスプレイ上に重ねられ得る。これは、どのツールが測定に使用されるべきかに関して混乱を回避することができ、また、システムユーザに対してツール上の測定データ点を識別することによって、精度を強化し得る。第1のツールを第1の場所に誘導する間、第1の場所と第2の場所との間に延在する移動線が、ディスプレイ上に重ねられ得、移動線は、ツール操作中に伸張線またはゴムバンドのように見える。1つ以上の追加の組織場所が、ロボット制御で示され得、測定は、連続的な一対の組織場所の間の3Dオフセット距離を含む。輪郭または複数の連続線分に沿った全長の測定を可能にするように、連続的な複数対間のオフセット距離の累計も提供され得る。
いくつかの実施形態では、組織場所は、第1のツールおよび第2のツールによって交互に示され得る。そのような実施形態では、ツールはそれぞれ、随意で、ツールのジョーで関連場所における組織を把持し得る。ツールによって把持される場所の間の距離は、把持された組織構造に沿って手を交互に動かした長さを測定するように合計され得る。組織場所は、ジョーの作動によって(随意で、ジョーの開放、ジョーの閉鎖等によって)指定され得る。連続的な一連の組織場所を指定するために単一のツールが使用される場合、ジョーを開閉するために使用される同じ種類の作動でシステムのハンドルを作動させることによって、組織場所を指定するコマンドがユーザによって入力され得る。追加の入力ボタン、フットペダル入力、プルダウンコマンドメニュー、口頭による入力コマンド等を含む、代替的な組織指定コマンドも採用され得、以前に入力された組織場所を再指定または除去するために、他の入力コマンドが採用され得る。
多くの実施形態では、ユーザは、第2の場所、多くの場合では複数の追加の組織場所をロボット制御で係合するか、またはそうでなければ示し得る。場所および/またはシステムユーザからの入力は、囲まれた領域を規定し得、測定は、その領域の測定を含む。いくつかの実施形態では、組織場所は、領域を境界する離散的に指定された場所を備え得る。代替として、組織場所は、密接して離間した時間間隔で、以前の場所から所望の分離距離を置いて等、ツール場所を識別すること等によって、領域を境界する実質的に連続的な線を備え得る。いずれの場合にも、面積の中心が識別され得、面積は、中心と境界に沿った組織場所との間で規定される三角形の面積を合計することによって計算され得る。領域の長さに対する領域の幅、長さに対する2つの組織特徴の間の幅等を決定すること等によって、場所によって規定される縦横比も決定され得る。
組織が生理学的に動いている組織(鼓動する心臓等)を備える場合、いったん第1のツールが第1の組織場所を示すと、立体ビデオ画像が測定のために停止させられ得る。次いで、第2の組織場所を示すように、静止または停止立体画像上に重ねられた3次元グラフィカルインジケータを位置付けることによって、第2の組織場所を示すことができる。
別の側面では、本発明は、組織を測定するためのシステムを提供する。システムは、手術部位に向かって配向される画像捕捉デバイスを備える。画像捕捉デバイスは、使用中に、手術部位における組織の画像に対応する画像データを生成する。画像をシステムユーザに示すように、ディスプレイが画像捕捉デバイスに連結される。第1のツールによって示される組織場所を指定するための入力とともに、第1のロボットツールが提供される。第1の指定組織場所における組織の画像上に第1のグラフィカルインジケータを重ねるように、プロセッサが入力をディスプレイに連結する。プロセッサはまた、画像を使用して第1のグラフィカルインジケータと第2の組織場所との間の測定も決定する。
さらに別の側面では、本発明は、生理学的に動いている組織を測定するためのロボットシステムを提供する。システムは、手術部位に向かって配向される立体画像捕捉デバイスを備える。使用中、画像捕捉デバイスは、手術部位における組織の画像に対応するビデオ画像データを生成する。画像をシステムユーザに示すように、ディスプレイが画像捕捉デバイスに連結される。3次元入力が組織場所を指定し、第1の指定組織場所が指定されるときに、組織の停止立体画像上に重ねられる3次元グラフィカルインジケータを位置決めするように、プロセッサが入力をディスプレイに連結する。グラフィカルインジケータと第1の組織場所との間の測定が、プロセッサによって決定される。
図1は、本発明の実施形態による、手術を行うために使用されている低侵襲ロボット手術システムの平面図である。 図2は、ロボット手術システム用の外科医の制御コンソールの正面図である。 図3は、ロボット手術システム視覚カートの正面図である。 図4は、図1のロボット手術システムのデータ処理構造を図式的に図示する。 図5Aは、ロボット手術システムの患者側カート(手術ロボット)の正面図である。 図5Bおよび5Cは、8mmシャフトロボット手術ツールおよび5mmシャフトロボット手術ツールのそれぞれの正面図である。 図5Bおよび5Cは、8mmシャフトロボット手術ツールおよび5mmシャフトロボット手術ツールのそれぞれの正面図である。 図6は、図1のシステムを使用して組織を測定する方法に含まれるステップを概略的に図示する。 図7は、輪郭測定のため、具体的には、複数の組織または他の構造場所を指定するためのフローチャートである。 図8は、組織または他の構造場所を利用する輪郭測定ツールのクラス図である。 図9は、本発明の随意的な実施形態による、規則的に離間した場所またはサンプルを生成するための効果的に連続的なサンプリングモードのフローチャートである。 図10Aおよび10Bは、面積またはコンテナ計算およびディスプレイのクラス図である。 図10Aおよび10Bは、面積またはコンテナ計算およびディスプレイのクラス図である。 図11は、測定のための手を交互に動かした組織または他の場所の指定用のソフトウェアを図示するフローチャートである。 図12は、指定場所および伸張線が重ねられる、ロボット手術ツール画像のスクリーンショットである。 図13は、累積長測定のための組織場所の間で輪郭または連続的な一連の線分を指定する、単一のロボット手術ツールの簡略図である。 図14は、組織構造の周囲および面積を測定するために使用されているツールのスクリーンショットである。 図15Aは、手を交互に動かしたアプローチで、可撓性組織構造の長さを測定するために使用されている、2つの手術ロボットツールの簡略図である。 図15Bは、手を交互に動かした測定を得る、2つのロボット手術ツールのスクリーンショットである。
本発明の側面は、概して、特に遠隔手術および他の医療ロボット用途のための改良型ロボットおよび/または測定デバイス、システム、および方法を提供する。本発明の実施形態は、1つ以上の低侵襲開口(カニューレまたは天然開口等)を通してアクセスされる内部手術部位に位置する組織および他の構造の測定のために、最も直接的な使用を見出し得る。本発明に関連した研究は、ロボット手術ツールを使用して測定される組織を係合および/または操作することによって、そのような部位での測定が強化され得ることを示している。移動コマンドを計算するために、ロボット連結部からの関節ベースのデータを使用して、非常に良好な精度でロボット操作を行うことができる一方で、内部手術部位内の測定精度は、内部手術部位内の組織および/またはロボット手術ツールの場所を決定するのに役立つように立体撮像データの画像処理を採用することによって、強化され得る。システムユーザに提示される立体画像上に適切な指標を重ねることによって、ユーザは、組織または他の構造場所を正確に指定し、長さ、面積、体積等を決定するように、3次元(3D)空間内で輪郭(平滑に湾曲する輪郭および/または一連の線分を含む)を測定することができる。
図1は、典型的には、手術台14に横たわっている患者12に低侵襲診断または外科的手技を行うために使用される、低侵襲ロボット手術(MIRS)システム10の平面図である。システムは、手技中に外科医18による使用のための外科医のコンソール16を含むことができる。1人以上の助手20も、手技に参加し得る。MIRSシステム10はさらに、患者側カート22(手術ロボット)と、視覚カート24とを含むことができる。患者側カート22は、外科医18がコンソール16を通して手術部位を視認している間に、患者12の身体の低侵襲切開を通して、少なくとも1つの可撤性に連結された器具またはツールアセンブリ26(以降では単に「ツール」と呼ばれる)を操作することができる、マニピュレータ23を含む。手術部位の画像は、内視鏡28を位置付けて配向するように、患者側カート22の別のマニピュレータ23によって操作することができる、立体内視鏡等の内視鏡28によって取得することができる。視覚カート24は、外科医のコンソール16を通して後に外科医18に表示するために、内視鏡28からの手術部位の画像を処理するために使用することができる。一度に使用される手術ツール26の数は、概して、いくつかある要因の中でも、診断または外科的手技、および手術室内の空間的制約に依存する。随意で、特に3つ以上のツールが使用されるときに、2つ以上の外科医のコンソールが提供され得、それによって、その開示が参照することによって本明細書に組み込まれる、米国特許第6,659,939号(1999年11月3日出願)でより完全に説明されているように、2人の外科医が協働すること、器具の制御を譲渡すること、および同等のことを行うことを可能にする。手技中に使用されているツール26のうちの1つ以上を交換することが必要な場合、助手20は、患者側カート22から、その時にもはや使用されていないツール26を除去し、それを手術室内のトレイ30からの別のツール26で置換し得る。
図2は、外科医のコンソール16の正面図である。外科医のコンソール16は、奥行き知覚を可能にする、手術部位の調整された立体像を外科医18に提示するための左眼ディスプレイ32および右眼ディスプレイ34を含む。コンソール16はさらに、1つ以上の制御デバイス36(マスタ)を含み、それは順に、患者側カート22(図1に示される)に1つ以上のツール(スレーブ)を操作させる。好ましくは、制御デバイス36は、テレプレゼンス、つまり、外科医がツール26を直接制御する強い感覚を有するように、制御デバイス36がツール26と一体であるという知覚を外科医に提供するように、関連ツール26(図1に示される)と同じ自由度を提供する。この目的を達成するために、位置、力、および触覚フィードバックセンサ(図示せず)が、随意で、制御デバイス36を通して外科医の手にツール26からの位置、力、および触感を返送するために採用される。
外科医が、手技を直接監視し、必要であれば物理的に存在し、電話または他の通信媒体よりもむしろ直接助手に話し掛けてもよいように、外科医のコンソール16は通常、患者と同じ部屋の中に位置する。しかしながら、外科医は、患者とは異なる部屋、異なる建物、または他の遠隔場所に位置することができ、したがって、遠隔手術手技を可能にすることが理解されるであろう。
図3は、視覚カート24の正面図である。視覚カート24は、内視鏡28と連結することができ、外科医のコンソール上で、あるいは局所および/または遠隔に位置する任意の他の好適なディスプレイ上で、外科医等に後に表示するために、捕捉された画像を処理するプロセッサを含むことができる。例えば、立体内視鏡が使用される場合、視覚カート24は、手術部位の調整された立体画像を外科医に提示するように、捕捉された画像を処理することができる。そのような調整は、対向画像間の整合を含むことができ、立体内視鏡の立体作業距離を調整するステップを含むことができる。別の実施例として、画像処理は、光学収差等の画像捕捉デバイスの撮像誤差を補うように、以前に決定されたカメラ較正パラメータの使用を含むことができる。使用することができる可能な画像処理の一部の例示的な詳細は、その全開示が参照することによって本明細書に組み込まれる、例えば、米国特許第7,277,120号(2004年3月7日出願)を含む、Intuitive Surgical, Inc.に譲渡された多数の特許および特許出願で説明されている。
図4は、構成要素間の通信経路を示す、ロボット手術システム50(図1のMIRSシステム10等)を図式的に図示する。上述のように、外科医のコンソール52(図1の外科医のコンソール16等)は、低侵襲手技中に患者側カート(手術ロボット)54(図1の患者側カート22等)を制御するために外科医によって使用することができる。患者側カート54は、手技部位の画像を捕捉し、捕捉された画像を視覚カート56(図1の視覚カート24等)に出力するために、立体内視鏡等の撮像デバイスを使用することができる。視覚カート56は、後続の表示前に、種々の方法で捕捉された画像を処理することができる。代替として、患者側カート54は、視覚カート56の外側で処理するために捕捉された画像を出力することができる。例えば、患者側カート54は、捕捉された画像を処理するために使用することができるプロセッサ58に、捕捉された画像を出力することができる。画像はまた、合同で、連続して、および/またはそれらの組み合わせで、捕捉された画像を処理するように、ともに連結することができる、視覚カート56およびプロセッサ58の組み合わせによって処理することもできる。1つ以上の別個のディスプレイ60も、手技部位の画像、または任意の他の関連画像等の画像の局所および/または遠隔表示のために、プロセッサ58および/または視覚カート56と連結することができる。
本明細書で説明されるプロセッサのそれぞれは、典型的には、本明細書で説明される方法のステップのうちのいくつかまたは全てを実装するためのコンピュータ可読命令またはソフトウェアを採用する、有形媒体(例えば、1つ以上の場所および/または記憶種類)59を含む。有形媒体59は、コンパクトディスクまたはデジタルビデオディスク等の光学記録媒体、ハードディスクドライブ、フロッピー(登録商標)ディスク、バックアップテープ等の磁気記録媒体、読み出し専用メモリ、ランダムアクセスメモリ、不揮発性メモリ、メモリスティック等のメモリを備え得る。有形媒体59に記憶されたソフトウェアまたはコードは、有形記録媒体、インターネットまたは他のネットワークシステム、無線信号伝送等を介して、プロセッサに伝送され得る。プロセッサ58と関連付けられた有形媒体として図4で概略的に示されているが、ソフトウェアは、外科医のコンソール52、患者側カート54、および視覚カート56のプロセッサ、および/またはプロセッサ58を含む、いくつかの異なるプロセッサに存在し得る。よって、ソフトウェアは、多種多様な集中型または分散型データ処理システムアーキテクチャのうちのいずれかにおいて、ロボット手術システム50の構成要素のうちの1つ以上に物理的に載置される、1つ以上のプロセッサ回路またはプロセッサボードで作動し得る。同様に、ソフトウェアは、単一のモノリシックコードとして書き込まれてもよいが、しばしば、一連のサブルーチンに分割され、コードの異なる部分が、随意で、異なるプロセッサボード上で作動する。本明細書で説明されるモジュールに起因する機能性はしばしば、ソフトウェア(有形媒体59上で具現化されるソフトウェアコード)、ハードウェア(プロセッサ58のプロセッサ回路、またはロボット手術システム50の他のプロセッサボードのうちの1つ)、および/またはデータ処理タスクに好適であるソフトウェアおよびハードウェアの組み合わせとして実装される。
図5A、5B、および5Cは、それぞれ、患者側カート22、8mmシャフト手術ツール62、および5mmシャフト手術ツール64を示す。手術ツール62および64は、手術ツール26の実施例である。示された患者側カート22は、3つの手術ツール26、および外科的手技の部位の画像の捕捉に使用される立体内視鏡等の撮像デバイス28の操作を提供する。操作は、いくつかのロボット関節を有するロボット機構によって提供される。撮像デバイス28および手術ツール26(例えば、エンドエフェクタ66)は、必要な切開のサイズを最小限化するよう、運動学的旋回中心25(図1参照)が切開において維持されるように、患者の切開を通して位置付け、操作することができる。手術部位の画像は、手術ツール26の遠位端が撮像デバイス28の視野内に位置付けられた場合に、手術ツール26の遠位端の画像を含むことができる。
図1および5Aを参照して理解することができるように、各ツール26は、典型的には、マニピュレータ23によって支持される。マニピュレータは、入力移動コマンドによって内部手術部位内でツールのエンドエフェクタを移動させるように、外科医のコンソール16のプロセッサの指揮下で手術中に移動する。マニピュレータ23は、概して、マニピュレータおよびツールが、手術に備えて手動で位置付けられることを可能にするように、受動支持連結部27によって支持される。設定アーム(1つ以上の非電動式の係止可能な設定関節を含むことができる)と呼ばれることもある支持連結部27はまた、ツールの位置および配向が手技中に変更されることも可能にし、助手20が、典型的には、ツールを引き抜き、固定構成から手動可動構成に設定関節を解放し、マニピュレータ23を新しい所望の場所に移動させ、設定関節を再び固定する。関節ベースのデータが、外科医18の入力に応じた移動コマンドの計算のために、マニピュレータ23および支持連結部27の両方から、外科医カート16のプロセッサに提供される。
ここで5Bおよび5Cを参照すると、ツール62、64は、典型的には、マニピュレータ23によって支持可能な近位端65と、近位端から遠位端69まで延在する細長いシャフト67とを含む。エンドエフェクタ71は、連結部73によってシャフト67の遠位端69に連結され、エンドエフェクタおよび連結部は、概して、連結部23のモータによって駆動される。代替実施形態では、設定関節の自由度のうちの少なくともいくつかが電動式であり得、および/またはマニピュレータの自由度のうちのいくつかが受動的であり得る。旋回中心は、マニピュレータ23の並行連結構造によって規定され得(遠隔中心連結部内に包含される)、またはマニピュレータの受動関節が、患者体内への開口の周囲でのツールの自然または環境的強制の旋回を可能にし得る。旋回移動の計算された遠隔中心が提供されることを可能にする、冗長関節駆動型連結部を含む、依然としてさらなる代替が可能である。
ここで図6を参照すると、ロボットシステム50を使用した測定の方法110を理解することができる。測定は、フットペダル、プルダウンメニュー、補助入力デバイス(キーボード、マウス等)、ロボットシステムまたはアシスタントへの言葉によるコマンド、または多種多様な代替アプローチのうちのいずれかを使用して、測定モードを選択することによって開始され得る112。測定マーカまたは他の指標が、測定ツール上に重ねられ得る114。1つだけのツールが測定を行うために使用される場合、ツールのうちのどれが測定ツールであるかに関する視覚的指示を有することが、システムユーザにとって役立つ。同様に、両方のツールが測定に使用されるという指示、および/または識別されるべきツール上の測定場所に対する指示を有することが役立ち得る(例えば、システムがジョーの間の係合表面の遠位先端からのオフセットを計算する場合に、ユーザがジョーの旋回点から測定しないように)。ユーザは、以下でより詳細に説明されるように、利き手(例えば、右利きの外科医の右手)によって制御されるツールを指定するように、どのツールが測定ツールとして使用されるかを選択または変更し得る。測定はしばしば、1つまたは2つの器具を制御する1人のユーザからの入力を参照して説明されるが、特に、3つ以上の場所を指定する場合、測定のために3つ以上の場所で組織を同時に構成するときに、および/または同等のときに、2つより多くの器具の調整された運動が随意で採用される。3つ以上のツールを採用する、本明細書で説明されるシステムおよび方法の実施形態は、複数のシステムユーザからの同時3次元入力に適応する入力デバイスから利益を受け得る。例えば、一度に3つ以上の器具を制御している間に2人の外科医の協働を促進するために、二重外科医コンソール配列を使用することができる。
実際に測定を行うために、システムユーザは、典型的には、測定ツールで組織場所を示すように、マスタコントローラ(例えば、図2の制御デバイス36)を操作する116。システムユーザは、随意で、ツールを組織に軽く接触させる、組織を触診する、または組織を把持および再構成する等、該場所で組織に係合し得る。代替として、ユーザは、実際に組織に触れることなく、正確な点指定となるように組織に十分近い場所へツールを運んでもよい。ツールの使用は、組織に触れることもなく、点指定が有効であることをユーザが確信することを可能にでき、マーカ上の場所マーカの位置付けを検証することにより、マーカ精度、再現性、および信頼性をさらに強化することができる。それにもかかわらず、組織と接触することにより、器具先端が意図された深さにあることを確認するために、有用な視覚的合図を提供することができる。
いったんツールの測定マーカが所望の場所に来ると、次いで、ユーザは、システムに組織場所を指定するために、(マスタコントローラ、随意で、測定ツールまたは異なるマスタコントローラと関連付けられた1つのマスタコントローラのハンドルを開く、および/または閉じること、フットペダルを押下すること等によって)入力を作動させ得る118。次いで、システムは、指定された組織場所のマーカを重ねることができる120。誤って指定された場所は、随意で、非利き手と関連付けられたマスタコントローラのハンドルを作動させること等によって、代替的な入力によって除去され得る。立体表示の画像上へのマーカの重畳、およびツール場所データの決定は、図4に示されるようにプロセッサ58を使用して、視覚カート56のプロセッサによって、手術ロボット54のプロセッサによって、または代替的なプロセッサ構造によって実装され得ることに留意されたい。組織場所情報は、患者側カート54から出力されるロボットデータから提供される情報を含み得、および/または利用し得、ロボットデータはしばしば、外科医のコンソール52から、および患者側カート54からの関節ベースのデータを備える。指定された組織場所に対応する3次元位置データはしばしば、少なくとも部分的に立体または他の画像捕捉デバイスに基づく。いくつかの実施形態では、手術部位内のツールの場所に関する情報のうちの少なくともいくらかは、(参照することによって本明細書に以前に組み込まれた、同時係属中の米国特許出願第12/428,691号(2009年4月23日出願)でより完全に説明されているように)システムユーザに表示されるツールおよび手術部位の画像として表示されるデータを処理することによって、および/または多種多様な代替的な画像ベースのツール追跡システムのうちのいずれかから、提供され得る。
上述のように、ロボットツールによる組織場所の指示中の組織とツールとの間の相互作用は、組織の付近にある(が触れない)ことから、組織を活発に把持して再構成することに及び得る。例えば、ツールは、測定される組織構造を再配置し得、随意で、組織を把持し、組織構造を直線化し、介在組織または他の物体の後ろから構造を取り出し、カメラの視野の中へ持ち込む等を行う。いくつかの実施形態では、ツールは、随意で、軟組織表面より下側の場所を示し、測定場所の指定の精度および再現性を強化し、および/または同等のことを行うように、組織を触診する。ツールが組織表面からわずかに分離される実施形態では、組織表面および/または構造の3D場所を決定するために、種々の画像合致技法を、較正された立体カメラ(例えば、その全開示が参照することによって本明細書に組み込まれる、米国特許出願第12/415,377号(2009年3月21日出願)で説明される構造および技法を使用して較正されるもの)からのデータと組み合わせることができる。一般論として、左右の画像の中の表面、特徴、または構造の場所は、較正情報とともに、カメラに対する構造の水平位置(X−Y)、およびカメラとその表面、特徴、または構造との間の距離を決定するために使用することができる。その全開示が参照することによって本明細書に組み込まれる、米国特許出願第61/204,082号(2008年12月31日出願)でより詳細に説明されているように、左右の立体画像間の選択的でロバストな画像合致は、手術野内の組織表面上の1つ以上の選択された点の対応する左右の画像を効率的かつロバストに識別することができる。随意で、同様に参照することによって本明細書に組み込まれる、米国特許出願第61/203,975号(2008年12月31日出願)でより完全に説明されているように、適切なツールマーカの援助を受けて、ツールの場所を決定するために、関連技法を使用することができる。
例示的なスパース画像合致技法では、第1の画像からの関心の点が、第2の画像に合致するために識別される。そのような関心の点は、組織表面上の所望の場所または点を覆ってツール先端または同等物を位置付けることによって、識別され得、随意で、ツールが組織表面からわずかに分離されたままであるように(より具体的には、組織表面とカメラとの間)、先端がシステムユーザの利き眼で見られるような点の上に配置される。選択的に識別された関心の点は、選択的合致で第2の画像に(随意で、非利き眼に示されるように)合致させることができる。選択的合致は、領域合致、特徴合致、特徴補間、および/または以前に合致した点の補間を含み得る、画像の局所特徴に適切である合致で、選択的に識別された点を合致させることができる。例えば、選択された関心の点に応じて領域を識別することができ、領域は、選択的に識別された関心の点を合致させるために使用され得る。領域合致スコアは、領域が合致される場合に決定されることができ、十分に合致していない領域については、不十分に合致した領域の特徴が決定され、第2の画像に合致させられることにより、これらの特徴が第2の画像に関心の点を合致させるために使用されことができる。不十分な領域合致に応じた、この特徴合致の使用は、良好な合致速度を依然として提供しながら、よりロバストな合致を提供する。特に、手術野が組織からの異なる深さで干渉物体を含むときに、合致される関心の点を評価するために、柔軟なエピポーラ拘束および/または焦点拘束を使用することができる。特徴合致の信頼スコアが閾値を下回る場合、補間が使用されるか、または悪い点が拘束によって除外され得る。
実施例として、関心の点は、組織の右の画像のピクセル場所を参照して識別され得る。画像合致の出力は、概して、左の画像で見られるような組織表面の対応するピクセル場所を含み得る。各ピクセル場所は、その眼に対する関連X−Y場所を効果的に提供し、座標系の間の視差オフセットは、概して、深さがカメラ較正データごとに決定されることを可能にする。合致は、ツールが指示場所にある間に(または邪魔になる場合は、組織表面場所とカメラとの間から移動した後に)発生し得、場所マーカは、ツールから組織表面へ素早く移動し得る。ツールの周囲の領域またはウィンドウの中の一連の合致した組織表面場所を決定すること、ツール上の測定場所の場所を決定すること、および、組織表面がツールに最も近い場合に、マーカを組織表面へ素早く移動させること等の代替的な場所指示技法およびシステムも採用され得る。
図6に示される例示的測定方法110を続けると、第1の組織場所が指定された後、次いで、システムユーザは、マスタコントローラを操作して、ツールを次の所望の組織場所に移動させ得る122。ツールがシステムユーザに提示された立体画像の中で移動するときに、以前の指定組織場所から、移動する測定ツールまで、より具体的には、測定ツール上に重ねられたままであるマーカまで、伸張線が部位の画像上に重ねられる124。伸張線の長さ等を含む、増分データが、マスタコントローラの移動中に表示され得る。随意で、全長(複数対の指定組織場所の間の以前のオフセットを含む)もまた、画像上に重ねられ得る。
マーカ等を、組織上、ロボット構造(ツール等)上、または画像で示されるような他の構造上に重ねる場合、しばしば、システムユーザに提示される立体画像において、下層構造が現れるのと同じ深さでマーカを現れさせることが有利となるであろう。マーカが下層組織または他の構造と同じ深さで現れるように、左右の画像の中の場所を合致させるために種々の方法が使用され得るが、参照することによって本明細書に以前に組み込まれる同時係属中の米国特許出願第61/204,082号で説明されている、特に効率的でロバストな画像合致技法が、有意な利点を有する。
いったん測定ツールが(所望に応じて)次の組織場所を係合し、操作すると、ユーザは、組織場所を指定するように入力を作動させることができる128。画像から抽出されたデータに基づいて(随意で、画像ベースの場所情報を検証するために、関節ベースまたは運動学的ロボットデータも利用して)、オフセットデータを更新することができ130、別のマーカを指定組織場所に重ねることができる132。いくつかの実施形態では、伸張線が、直前の指定場所と移動するツールとの間のみに現れ得るが、代替実施形態は、ユーザが複数の指定組織場所によって規定された全体的輪郭を見ることができるように、伸張線分を限定し得る。指定組織場所は、上述のように、システムユーザに提示される立体画像の画像処理によって取得される、ツール追跡データから抽出され得、データはしばしば、組織場所の間の3Dオフセットを含む。データは、輪郭を規定するために、指定組織場所を接続する一連の直線分を含む、3Dポリラインを規定し得る。代替実施形態は、指定された点の間のスプラインまたは他の曲線を採用し得、あるいは、画像合致技法によって識別される下層または最も近い組織表面の上に線を投影し得る。システムユーザが、これが最後の場所であることを示す(および/または、面積を効果的に取り囲むこと、事前識別された数の関心の線分に達すること等によって、システムが最後の場所であると決定する)場合134、最終測定が表示され得136、表示はしばしば、再び手術部位に重ねられる。代替実施形態は、組織画像ウィンドウ外、別個のディスプレイ上、組織画像ディスプレイ内の別個のウィンドウ上等で、組織画像から始動させられる表示データを採用し得る。ユーザは、マスタ制御ハンドルをダブルクリックすること、フットペダルを押下すること、代替的なハンドル(または両方のハンドル)を作動させること等によって、最後の場所であることを示し得る。場所が最後の場所として識別されない場合、システムは、ユーザが再びマスタコントローラを操作し、追加の組織場所を指定すること等を可能にし得る122。
システム50および方法110(それらの変化例を含む)は、低侵襲外科的手技中に体内3D測定が得られることを可能にすることができる。これらのシステムおよび方法は、開発されているロボット手術システム(CaliforniaのIntuitive Surgical, Inc.から市販されているda Vinci(登録商標)手術システムを含む)を活用することができる。代替実施形態は、現在開発されている、または将来開発されるロボット手術システムに基づいてもよく、またはそれらに追加され得る。本明細書で説明される技法およびシステムは、画像データを使用したツールの追跡と、グラフィカル情報を用いて(特に、測定ツール上、またはいずれの測定ツールとも無関係の測定カーソルまたはマーカを描写する3Dオーバーレイグラフィックを用いて)手術野を増強することとを伴ない得る。測定場所およびツールインジケータ、伸張線および他の測定マーカ、ならびに出力グラフィック(双方向3D数値的表示等)は、画像フィールド内の組織または他の構造上、画像フィールド外であるが外科医のディスプレイ内、および/または別の補助表示システム上に現れることができる。
例示的実施形態では、3次元で視野内の生体構造または他の構造と一致して見えるよう、3Dインジケータ視覚要素(点、線、および/または数値的表示を含む)がレンダリングされるように、外科医による生体構造の立体内視鏡像と整合する較正された立体カメラモデルを使用して、3Dオーバーレイ視覚要素がレンダリングされ得る。十分な速さでオーバーレイ視覚要素を更新することにより、外科医は、外科医のコンソール16(図2参照)上のマスタ制御入力デバイス36でマーカを効果的に操縦することによって、3Dマーカを対話形式で位置付け得る。マーカとともにツールを移動させることは、外科医が、測定を行うとき組織と相互作用することを可能にし、それは、組織表面と一致しない空間内の場所にマーカを配置することを回避し得、立体画像捕捉デバイスに向かって組織表面より上側の空間内にマーカを浮遊させることを回避し、または、効果的に組織表面内の場所にあるが、画像捕捉デバイスから離れた3D空間内の組織場所を越えた位置にマーカをおくことを回避する。
好ましくは、所望の測定のための3Dマーカを操作するために、器具先端のデカルト位置(または他の測定場所)が十分正確に決定される。デカルト位置はしばしば、カメラ参照フレーム内で決定され、ロボットシステムによって提供されるツールに対する制御は、予測可能な方式で器具先端、背景組織および他の構造等に対してマーカを移動させることを促進する。マーカ位置および移動の所望の精度を提供するために、カメラ視野内のツール位置を追跡する、画像ベースのツール追跡システムを採用することができる。代替的実施形態では、器具を指示するロボットマニピュレータ(随意で、カメラまたは他の画像捕捉デバイスを指示するマニピュレータ)は、カメラ参照フレーム内の器具先端位置誤差を最小限化するように較正され得る(典型的には、手術の開始前に)。
3Dオーバーレイ視覚要素を、器具に関する正確な情報と組み合わせることによって、種々の測定相互作用が達成され得る。これらの測定相互作用のうちの多くは、システムユーザによってロボット手術システムに入力される移動コマンドによる、器具先端のマスタ・スレーブ追従を使用することを伴う。ツールの移動を生じさせることに加えて、手術部位の表示上に重ねられた3Dマーカまたはカーソル、具体的には、ツールの先端上に重ねられた3Dマーカまたはカーソルの移動は、マーカに器具先端を密接に辿らせる。ツールの器具先端または遠位端が生体構造に触れると、3Dマーカは、その生体構造と十分に一致して、正確な場所指定を可能にする。ボタンを押すこと、またはフットスイッチを使用して、システムユーザは、マーカおよび器具先端の現在の位置をサンプリングする。器具の追加の移動およびボタンを押すことが、一連の点をサンプリングするために使用され得る。それらのサンプリングされた点の間の累積ユークリッド距離を、相互作用的に計算しユーザに表示することができる。しばしば、この基礎的器具測定相互作用を使用して、いくつかの測定モードがサポートされ得る。よって、外科医は、連続して2つ以上の点の間の距離を測定し得る。これらの点は、開放または閉鎖輪郭を形成し得る。閉鎖輪郭の表面積または点の凸包の体積等の他の数量が、これらの点から導出され得る。長い輪郭を測定するための相互作用は、規則的な距離または時間間隔を置いた点の自動サンプリング等によって、促進され得る。
多角形またはポリラインの表現に加えて、組織の構造をより良好に近似するために、その平滑性に向かう自然な傾向により、スプラインまたは同様のモデルがデータに適合させられることができる。適合プロセスは、点を特定する時の手の動きのいくらかのジッタリングを潜在的に除去することができる。点における誤差の非均一性(典型的には、視認方向により多くの誤差をもたらす)に対処するために、3D点の共分散行列が、視認幾何学形状をから導出されることができ、適合プロセスの利益になり得る。
いくつかのモードでは、楕円形、楕円体、柔軟なオブジェクト等の2次元または3Dパラメトリック幾何学形状を効果的に規定するために、コンピュータグラフィックで使用されるように、点も使用され、随意で、ほんのわずかな点の場所が使用される。幾何学形状の特性は、2次元形状の周囲および面積、3D形状の体積等を計算すること等によって、導出または決定することができる。
本明細書で説明される方法およびシステムはしばしば、適切に装備されたロボット手術システム、特に、画像ベースのツール追跡能力を既に有する、そのようなシステムに、追加のソフトウェアモジュールを追加することによって、実装され得る。本明細書で説明される仮想測定ソフトウェアツールは、システムとユーザとの間の相互作用の種々のモード、ならびに測定計算のための異なるモードをサポートし得る。システムユーザと計算モジュールとの間の相互作用の1つのそのような部類は、(例えば)3D輪郭の長さ、閉鎖輪郭の表面積、および/または同等物を測定するために単一のツールが使用される、片手測定を含み得る。システムユーザと測定計算モジュールとの間の別の種類の相互作用は、両手および2つの関連ツールの使用を伴い得、ツールは随意で、測定中に把持および操作を行う。これらの測定ツールは、概して、オーバーレイ視覚要素が3D立体像において器具先端と一致して見えるように、ツールエンドエフェクタまたは器具先端の位置を正確に決定する遠隔手術システムの能力、および、システムのディスプレイ上のオーバーレイ視覚要素におけるその位置上に正確にハイライトまたは描画する遠隔手術システムの能力に依存し得る。
ここで図7を参照すると、輪郭をサンプリングするか、または場所を指定するために、例示的なデータサンプリングまたは指定方法150が使用され得る。システムユーザはしばしば、測定器具先端の場所を制御するために利き手を使用し、サンプルを追加または除去するために非利き手でハンドルを把持するか、または作動させ得る。例えば、右利きのシステムユーザは、典型的には、ツールの操縦のために右手を使用し、場所を指定および/または指定解除するために左手を使用する。方法150については、右手が利き手であると仮定され、左手が非利き手であると仮定される。これは、設定メニュー、プルダウンメニュー等を使用して変更され得る。
サンプリングまたは指定方法150の全体を通して、器具把持装置またはジョーが閉じられたままであるように、右手は閉鎖把持状態のままであり得る。これは、組織に接触し、関心の点を指定するための有利な構成でジョーを有するツールを構成し得、随意で、それは、システムに対する測定ツールを識別し得る。ツールジョーは、典型的には、マスタコントローラのハンドルのパドルを閉じることによって閉じられる。右手がハンドルを把持している場合に152、ツールは、そのハンドルも閉じるように、左手で簡潔に把持することによって156、点を追加することができる154。点を追加および除去するために非利き手を使用することにより、ツール位置付けの精度に悪影響を及ぼし得る利き手の意図しない動きを阻止する。代替実施形態では、好ましくは、入力作動がツールの制御された配置に干渉しないように、フットペダルまたは外科医のコンソール上の追加のボタンが提供され得る。右手が開かれている場合に158、ツールは、左手で把持することによって162、点を除去することができる160。
ユーザとのシステムの相互作用は、測定モードであるときに、器具先端を対話形式で追跡する点が常に存在するようなものである。システムユーザは、器具を制御して、測定されるべき生体構造と一致するように、この点を位置付ける。場所に定着すると、点は、左手で把持することによって正確に置かれ得、それは、効果的に現在の場所に点または点マーカをドロップし、相互作用的に移動されるべき新しい点を追加する。ユーザインターフェース体験をさらに向上させるために、ポリライン可視化が、器具先端における最後の点まで順に各対の点の間の接続を表示する。これは、測定される生体構造に対して輪郭の方向を整合させるための追加の視覚的確認を提供する。サンプリング方法150のフローチャートは、測定されたポリラインの3D可視化が、ポリラインが変更された時にいつでも操作者のために再描画されるものと仮定することに留意されたい。
ここで図8を参照すると、輪郭関連測定ツールのクラス図、ならびにこれらのツール間の挙動のインヘリタンスが示されている。これらのツールは、測定された点の配置に対処するように、ボタンを押す事象および運動事象に応答する。ツールは、図7に示された同じ点配置相互作用モードをサポートするが、表示するための測定テキストを生じるように一連の点を処理する方法で異なり得る。サポートされる相互作用モードは、2つ点の間の距離を測定するための2点間配置、任意の輪郭を測定するためのポリライン点配置、および空間的に規則的にサンプリングされた測定を生じるための連続点配置を含む。
輪郭測定ツールはまた、図9に図示されるような連続サンプリングモードまたは場所指定方法180もサポートする。方法180は、規則的に離間したサンプルを生じる。操作者は、随意で、2つのサンプル点の間の最小間隔を決定する、所望のサンプリング許容値を特定し得る。0.1ミリメートルから20ミリメートルの間の許容値が有用であり得、1ミリメートルの許容値がデフォルト値として使用され得るように、1ミリメートルの許容値がしばしば有用である。左右の把持は、概して上記で説明されるものと類似した方式で、点を追加または除去するために使用され得、新しいサンプルを追加することを正当化するほどにツールが十分遠くに移動させられた時を決定するために、距離測定ステップ182が使用される。サンプリングのための代替方法論は、時間ベースの周期的サンプリング、空間的数量差の変化(例えば、ツール経路の連続性および/または曲率に応じてサンプルが取得される)、または空間的および時間的数量に基づく何らかの複合測定基準(例えば、ツールの速度および/または加速度に応じてサンプルが取得される)等に依存し得る。
ここで図10Aおよび10Bを参照すると、輪郭ツールは、概して、ポリライン3Dオブジェクトに依存し得る。これは、そこから長さおよび面積測定を計算する、一連のサンプリングされた3D点を記憶するために使用され得る。開放輪郭ツールは、以下の式を使用したポリライン3DオブジェクトのComputeLength方法を使用して、その測定値を生じることができる。
Figure 2012529970
閉鎖輪郭ツールは、式1を使用して、その測定を生じ、次いで、順序の中の最後の点を順序の中の第1の点に接続する区分の長さを加算する。閉鎖輪郭面積は、随意で、三角形のモザイク状配列を使用して、閉鎖表面積を近似することによって計算される。次いで、面積は、各三角形の面積を積分することによって得られうる。表面をモザイク状に形成するための1つのアプローチは、3D輪郭の重心に固定点を伴う三角扇形を使用することである。これは、測定される輪郭の大部分を表す、凸面およびほぼ凸面の入力に特によく機能する。
本発明の実施形態はまた、手を交互に動かした測定と呼ばれる、両手での器具相互作用を可能にする。これは、2つの把持器具で組織を操作しながら、システムユーザが組織の長さを測定することを可能にするように実装することができ、操作のうちの一部または全てが画像捕捉デバイスの視野内で発生する。そのような測定のために、各ツールの把持装置に沿った点が追跡され得、現在把持されている組織の長さを測定するために、それらの点の間のユークリッド距離が使用される。相互作用はまた、システムユーザが、ツールの間で把持される組織の長さを連続的に累積することも可能にする。ツール間の距離は、ツール把持装置の関節動作に基づいて、自動的にサンプリングされ、累積される。ロボット手術システムとの手を交互に動かした相互作用の性質により、一方の手は、新しい場所を把持している(したがって指定している)と仮定することができる。いったん新しい場所が把持され、他方の手が組織を解放すると、システムは、器具間の距離を自動的にサンプリングし、累積する。このサンプリング条件は、ユーザが累積測定を行うことを決定する前に把持および再把持することを可能にするという点で便利であり、組織が右手ツールから解放され、外科医が左手ツールを越えて手を伸ばしている場合に、外科医は、左手ツールを解放することによって新しい把持場所を指定する前に、組織全体を移動させるか、または他の組織を邪魔にならない所に移動させ得る。加えて、システムユーザは、サンプリングされることが所望される線形区分の長さを最もうまく近似するために、測定されている組織を直線化するか、またはわずかに伸張さえする機会を有し得る。
ここで図11を参照すると、手を交互に動かしたデータサンプリング方法200は、測定された全長を累積しながら、画像捕捉デバイスの視野内で、および/または視野を通して、ユーザが組織を把持し、操作し、移動させることを可能にする。相互作用は、長いロープを引っ張るためにそれぞれの手を交互に使用することに類似した、直観的両手測定パラダイムを提供する。相互作用は、測定の方向または長さに制限を課さない。操作者は、一連の区分線形測定を行うことによって、任意の長い、または曲線の検体を測定し得る。この測定相互作用の1つの使用例は、消化管手技で腸の長さを測定するためである。手を交互に動かしたサンプリング方法200では、システムユーザとシステムとの間の相互作用は、システムユーザが、一方の手で把持し、他方の手で測定するという交互パターンを使用することを可能にするように設計されている。測定は、操作者が一方または他方の手で測定される検体を把持することから開始される。把持していない手は、測定する手になる。システムは、左右の手と関連付けられたツールとマスタコマンド入力デバイスとの間の計算された距離、ならびに以前の測定の現在合計を継続的に計算し、表示する。把持する手を解放する前に202、把持していない手は、測定された長さを表明するために所望の把持を決める前に、自由に複数回把持および解放できる。把持する手を解放すると202、測定が表明され、手の間の関係が切り替えられる。測定を表明することは、2つのツール間の計算された距離を現在合計と加算することを伴う204。次いで、前の測定する手は、検体を把持したままにされ、前の把持する手は、ここでは、役割の切替により、新しい場所を自由に指定できる測定ツールである206。
図12は、画像データを使用した2点間単一線分測定を図形的に示す、スクリーンショットである。表示された画像220は、マーカ224が重ねられているツール222を示す。マーカ226は、以前に指定された場所で示され、伸張線228は、以前に指定された場所とツール上のマーカとの間に延在する。伸張線の長さを示す数値的図形230が、伸張線からオフセットされ、撮像デバイスの視野内で提供される。表示された伸張線228を背景組織に対して可視的にするために、種々の色が伸張線に使用され得る。図12によって図示された実施形態では、伸張線228は、明るい緑色である。同様に、種々の色が、表示されたマーカに使用され得る。
次に、図13を参照すると、ポリライン測定が概略的に図示されている。ツール240が、2つの組織場所242、244を指定するために以前に使用されており、表示されたマーカは、ツールが移動した後に、それらの場所に残されている。線分246は、以前に指定された場所の間で固定されたままである。伸張線248は、ツール240とともに移動し、具体的には、直前に指定された場所244とツール上の測定場所250との間に延在する。測定中にツールとともに移動するように見えるように、マーカ252が、ツールの測定場所においてツールに重ねられる。マークされた場所は、一直線で、単一の平面内等で位置する必要はない(しばしばそうならない)ことに留意されたい。いったん組織場所が指定されると、表示されたマーカは、測定されている組織の代替的な部分を視認するようにカメラが移動するときに、組織とともに残り得る。
ここで図14を参照すると、囲い込まれたポリライン測定の例示的実施形態を見ることができる。関心の組織構造の周囲および/または面積が表示され得、ここでは組織構造は、僧帽弁輪を備えることに留意されたい。異なる色が、異なる表示されたマーカまたは線に使用され得る。例えば、面積境界線254は、黄色で示され得、面積の中心258から表示されたマーカ226のそれぞれまで延在するモザイク状配列256は、白で示され得る。モザイク状配列の線は、面積境界線254内の面積を計算する際に使用され得る。
例示的な手を交互に動かした測定方法は、図15Aおよび15Bを参照して理解することができる。測定ツール260は、可撓性組織または他の構造FT(ここでは測定テープ)に沿って移動し、測定ツール260と把持ツール262との間の測定距離を示す出力を生成する。いったん可撓性組織FTに沿った所望の場所が識別され、組織が適切に直線化および/または伸張されると、測定ツール260は、把持ツール262は解放されているが、閉鎖把持モードのままであり得、ツール間の最新の分離を含むために、累積距離測定を更新する。分離距離は再び、2つのツールの役割が切り替わり、以前の測定ツール260が把持ツールである状態等で示され得る。
図15Bの説明図は、巻き尺を使用した、手を交互に動かした測定相互作用の検証を示す。測定されている長さを表すように、線分が器具把持装置の間に3次元で重ね合わせられる。中間長さおよび累積測定長さを示すように、テキストメッセージが区分の中間点に相互作用的に表示される。
追加の実施形態は、オフセット、面積、体積、縦横比等の測定を促進するように、上記で説明される技法およびシステムのうちのいくつかを静止立体画像と組み合わせ得る。例えば、特に、閉胸式鼓動心臓手技中に心臓の組織構造の測定のために、動作する組織から測定を得ることが望ましいことがある。そのような生理学的動作中に正確な測定を促進するように、プロセッサは、システムユーザに提示される立体ビデオ画像(外科医のコンソールにおいて1人以上の外科医に提示される立体画像、関連ディスプレイにおいて助手または監督に提示される2次元画像)を停止させることができる。画像は、組織場所の指定に備えたシステムユーザからの入力によって、またはロボットツールが第1の組織場所に配置されている、またはそれに隣接していることを示す入力に応答して、停止させられ得る。いずれにしても、次いで、同じ(または異なる)システムユーザが、停止画像の中で1つ以上の組織場所を識別することができる。随意で、組織場所は、組織画像の所望の場所へ3Dカーソルを操縦するために外科医のコンソールのマスタ入力デバイスを使用することによって、識別することができる。代替として、システムユーザは、2つの停止立体画像のうちの1つの中で場所を単純に指定し得る。いずれにしても、組織指定コマンドがプロセッサによって受信されると、カーソルは、立体画像のうちの1つの中のカーソルの場所に基づいて、組織表面へと素早く動き得る。所望の組織場所が停止画像に入力されているときに、3次元オフセットおよび測定が、上記で説明されるように3次元画像データから決定され得る。組織場所の全てが、随意で、カーソル等を使用して示され得るが、ロボットツールを用いた少なくとも第1の場所の指示は、局所組織を安定させるのに役立ち得る。鼓動している心臓および/または他の周期的に動作する組織の測定のために、組織動作サイクルの異なる段階で一連の測定を生成するように、時系列画像が捕捉され、使用され得る。よって、そのようなシステムおよび方法は、(例えば)心臓の一連の周期的拍出状態を捕捉し、それらの状態の測定を行って、種々の心臓の症状の診断および治療を強化することができる。
理解を明確にするため、および一例として、例示的実施形態を説明してきたが、種々の修正、適合、および変更が当業者に明白となるであろう。よって、本発明の範囲は、添付の請求項のみによって限定される。
本発明はさらに、例えば、以下を提供する。
(項目1)
組織を測定する方法であって、
前記組織の画像を取得し、対応する画像データを生成することと、
第1のロボットツールで第1の組織場所を示すことと、
前記組織の画像上において前記第1の場所に第1のグラフィカルインジケータを重ねることと、
前記画像データを使用して、前記第1のグラフィカルインジケータと第2の組織場所との間の測定を生成することと
を含む、方法。
(項目2)
前記組織の画像は、立体ディスプレイ上に示される左右の立体画像を備え、前記第1のツールは、立体画像を参照してシステムユーザによって前記第1の組織場所に誘導され、前記第1のツールおよび前記ディスプレイは、遠隔手術システムに含まれ、前記方法は、前記第1の場所および前記第2の場所が係合されるときに、前記ユーザによって、少なくとも1つの組織指定コマンドを入力することをさらに含む、項目1に記載の方法。
(項目3)
前記システムは、立体撮像データを前記立体ディスプレイに伝送する、立体画像捕捉デバイスを含み、前記グラフィカルインジケータは、前記組織の立体画像上に重ねられた3次元インジケータを備え、前記3次元インジケータは、3次元で前記第1の場所と一致して見え、前記システムは、前記第1のツールの前記立体撮像データを使用して、前記重ねられたインジケータの前記第1の場所を決定する、項目2に記載の方法。
(項目4)
前記第1のツールは、前記第1の組織場所を示し、前記第1のツールは、前記第2の組織場所も示し、前記第1の組織場所および前記第2の組織場所は、連続的に示される、項目2に記載の方法。
(項目5)
第2のロボットツールが、前記第2の組織場所を示し、前記第1の組織場所および前記第2の組織場所は、同時に示される、項目2に記載の方法。
(項目6)
前記画像は、前記第1のツールを含む複数のロボットツールを包含し、前記方法は、前記画像を使用して前記第1のツールを前記第1の組織場所に誘導する間、前記第1のツールと一致する表示の上にグラフィカルツール測定マーカを重ねることをさらに含む、項目1に記載の方法。
(項目7)
前記第1のツールを前記第1の場所に誘導する間、前記第1の場所および前記第2の場所の間に延在する移動線を重ねることをさらに含む、項目6に記載の方法。
(項目8)
少なくとも1つの追加の組織場所をロボット制御で示すことであって、前記測定は、連続的な一対の組織場所の間の3次元オフセット距離を含む、ことと、複数のオフセット距離の累計を決定することとをさらに含む、項目1に記載の方法。
(項目9)
前記第1のツールは、前記第1の組織場所で前記組織を把持して操作し、前記方法は、前記第1のツールと第2のロボットツールとを用いて、前記ツールのジョーで前記場所における組織を把持することによって、複数の追加の組織場所を交互に係合することと、前記把持した組織に沿って手を交互に動かした長さを測定するために、前記場所の間の距離を合計することとをさらに含む、項目1に記載の方法。
(項目10)
囲まれた領域を規定する複数の追加の組織場所を示すことをさらに含み、前記測定は、面積測定を含む、項目1に記載の方法。
(項目11)
前記第1のツールで前記第1の組織場所を触診することをさらに含む、項目1に記載の方法。
(項目12)
前記ツールは、前記第1の組織場所を示すために、前記組織を操作し、前記組織を測定構成に移動させる、項目1に記載の方法。
(項目13)
前記第1の組織場所は、前記第1の場所に向けて前記第1のツールを移動させ、組織表面の立体画像データを使用して、前記組織場所を、前記ツールから前記ツールに隣接する前記組織表面に素早く動かすことによって示される、項目1に記載の方法。
(項目14)
前記組織は、生理学的に動いている組織を含み、前記画像は、前記第1のツールが前記第1の組織場所を示している間に取得された前記動いている組織の静止立体画像を含み、前記第2の組織場所は、前記第2の組織場所を示すために、前記静止立体画像上に重ねられた3次元グラフィカルインジケータを位置付けることによって示される、項目1に記載の方法。
(項目15)
組織を測定するためのロボットシステムであって、
手術部位に向けて配向可能な画像捕捉デバイスであって、使用において、前記手術部位における前記組織の画像に対応する画像データを生成する画像捕捉デバイスと、
前記画像をシステムユーザに示すために、前記画像捕捉デバイスに連結されたディスプレイと、
第1のロボットツールと、
前記第1のツールによって示される組織場所を指定するための入力と、
プロセッサと
を備え、
前記プロセッサは、前記入力を前記ディスプレイに連結し、第1の指定組織場所において、前記組織の前記画像の上に第1のグラフィカルインジケータを重ね、前記画像を使用して、前記第1のグラフィカルインジケータと第2の組織場所との間の測定を決定する、
システム。
(項目16)
前記画像捕捉デバイスは、立体画像捕捉デバイスを備え、前記ディスプレイは、立体ディスプレイを備え、前記システムは、前記ロボットツールに連結されたマスタコントローラをさらに備え、前記マスタコントローラは、システムユーザからの移動コマンドを受信し、前記ディスプレイ上に示された左右の立体画像を参照して前記第1のツールを前記第1の組織場所に誘導し、前記プロセッサは、前記ユーザが前記第1のツールを前記第1の組織場所に誘導する間、前記第1のツールと一致する画像の上にグラフィカルツール測定マーカを重ねる、項目15に記載のシステム。
(項目17)
前記プロセッサは、前記ユーザから連続的に組織指定コマンドを受信し、前記第1のツールを用いた前記第2の組織場所の指示を促進するように構成されている、項目16に記載のシステム。
(項目18)
前記プロセッサは、前記ユーザから組織指定コマンドを受信し、前記第1のツールで前記第1の組織場所を示し、かつ、第2のロボットツールで前記第2の組織場所を同時に示すように構成されている、項目16に記載のシステム。
(項目19)
前記プロセッサは、前記入力を前記ディスプレイに連結し、前記ユーザが前記第1のツールを前記第1の組織場所に誘導している間、前記第1の場所と前記第2の場所との間に延在する移動線を重ねる、項目16に記載のシステム。
(項目20)
前記プロセッサは、前記測定が、前記組織画像の上に重ねられ、かつ前記線から分離されて表示されるように、オフセット表示場所を決定するように構成されている、項目19に記載のシステム。
(項目21)
前記プロセッサは、前記入力を前記ディスプレイに連結し、追加の組織場所を示す追加の入力指定コマンドを受信し、連続的な複数対の組織場所の間の3次元オフセット距離を決定し、かつ、オフセット距離を合計して、結果として生じる累積測定を前記画像の上に重ねる、項目15に記載のシステム。
(項目22)
前記第1のツールおよび前記第2のツールは、それぞれ、ジョーを備え、前記組織指定入力は、前記ジョーに対するジョー関節動作入力を含み、前記プロセッサは、前記組織に沿った手を交互に動かした長さの測定における複数のオフセット距離を合計することによって、前記複数のオフセット距離を測定するよう構成されている、項目15に記載のシステム。
(項目23)
前記プロセッサは、前記入力を前記ディスプレイに連結し、囲まれた領域を規定するよう追加の入力指定コマンドを受信し、前記測定は、面積測定を含む、項目15に記載のシステム。
(項目24)
前記組織場所は、領域の境界を定める離散場所を含み、各組織場所は、関連付けられた指定コマンドを有する、項目15に記載のシステム。
(項目25)
前記画像捕捉デバイスは、立体画像捕捉デバイスを備え、前記プロセッサは、前記画像データに応答して、組織表面の3次元場所を決定し、前記プロセッサは、前記グラフィカルインジケータを、前記第1のツールから前記組織表面に素早く動かすことによって、前記第1の組織場所を指定する、項目15に記載のシステム。
(項目26)
前記組織は、生理学的に動いている組織を含み、前記画像は、前記動いている組織の静止立体画像を含み、前記システムは、前記プロセッサによって前記ディスプレイに連結された3次元入力デバイスをさらに備え、前記静止立体画像上に重ねられる3次元グラフィカルインジケータが、入力デバイスを使用して位置付けられることにより、前記第2の組織場所を示す、項目15に記載のシステム。
(項目27)
生理学的に動いている組織を測定するためのロボットシステムであって、
手術部位に向けて配向可能な立体画像捕捉デバイスであって、使用において、前記手術部位における前記組織の画像に対応するビデオ画像データを生成する画像捕捉デバイスと、
前記画像をシステムユーザに示すために、前記画像捕捉デバイスに連結されたディスプレイと、
組織場所を指定するための入力と、
プロセッサと
を備え、
前記プロセッサは、前記入力を前記ディスプレイに連結し、第1の指定組織場所が指定された場合に、前記組織の停止立体画像の上に重ねられた3次元グラフィカルインジケータを位置決めし、かつ、前記グラフィカルインジケータと前記第1の組織場所との間の測定を決定する、
システム。

Claims (26)

  1. 組織を測定する方法であって、
    前記組織の画像を取得し、対応する画像データを生成することと、
    第1のロボットツールで第1の組織場所を示すことと、
    前記組織の画像上において前記第1の場所に第1のグラフィカルインジケータを重ねることと、
    前記画像データを使用して、前記第1のグラフィカルインジケータと第2の組織場所との間の測定を生成することと
    を含む、方法。
  2. 前記組織の画像は、立体ディスプレイ上に示される左右の立体画像を備え、前記第1のツールは、立体画像を参照してシステムユーザによって前記第1の組織場所に誘導され、前記第1のツールおよび前記ディスプレイは、遠隔手術システムに含まれ、前記方法は、前記第1の場所および前記第2の場所が係合されるときに、前記ユーザによって、少なくとも1つの組織指定コマンドを入力することをさらに含む、請求項1に記載の方法。
  3. 前記システムは、立体撮像データを前記立体ディスプレイに伝送する、立体画像捕捉デバイスを含み、前記グラフィカルインジケータは、前記組織の立体画像上に重ねられた3次元インジケータを備え、前記3次元インジケータは、3次元で前記第1の場所と一致して見え、前記システムは、前記第1のツールの前記立体撮像データを使用して、前記重ねられたインジケータの前記第1の場所を決定する、請求項2に記載の方法。
  4. 前記第1のツールは、前記第1の組織場所を示し、前記第1のツールは、前記第2の組織場所も示し、前記第1の組織場所および前記第2の組織場所は、連続的に示される、請求項2に記載の方法。
  5. 第2のロボットツールが、前記第2の組織場所を示し、前記第1の組織場所および前記第2の組織場所は、同時に示される、請求項2に記載の方法。
  6. 前記画像は、前記第1のツールを含む複数のロボットツールを包含し、前記方法は、前記画像を使用して前記第1のツールを前記第1の組織場所に誘導する間、前記第1のツールと一致する表示の上にグラフィカルツール測定マーカを重ねることをさらに含む、請求項1に記載の方法。
  7. 前記第1のツールを前記第1の場所に誘導する間、前記第1の場所および前記第2の場所の間に延在する移動線を重ねることをさらに含む、請求項6に記載の方法。
  8. 少なくとも1つの追加の組織場所をロボット制御で示すことであって、前記測定は、連続的な一対の組織場所の間の3次元オフセット距離を含む、ことと、複数のオフセット距離の累計を決定することとをさらに含む、請求項1に記載の方法。
  9. 前記第1のツールは、前記第1の組織場所で前記組織を把持して操作し、前記方法は、前記第1のツールと第2のロボットツールとを用いて、前記ツールのジョーで前記場所における組織を把持することによって、複数の追加の組織場所を交互に係合することと、前記把持した組織に沿って手を交互に動かした長さを測定するために、前記場所の間の距離を合計することとをさらに含む、請求項1に記載の方法。
  10. 囲まれた領域を規定する複数の追加の組織場所を示すことをさらに含み、前記測定は、面積測定を含む、請求項1に記載の方法。
  11. 前記第1のツールで前記第1の組織場所を触診することをさらに含む、請求項1に記載の方法。
  12. 前記ツールは、前記第1の組織場所を示すために、前記組織を操作し、前記組織を測定構成に移動させる、請求項1に記載の方法。
  13. 前記第1の組織場所は、前記第1の場所に向けて前記第1のツールを移動させ、組織表面の立体画像データを使用して、前記組織場所を、前記ツールから前記ツールに隣接する前記組織表面に素早く動かすことによって示される、請求項1に記載の方法。
  14. 前記組織は、生理学的に動いている組織を含み、前記画像は、前記第1のツールが前記第1の組織場所を示している間に取得された前記動いている組織の静止立体画像を含み、前記第2の組織場所は、前記第2の組織場所を示すために、前記静止立体画像上に重ねられた3次元グラフィカルインジケータを位置付けることによって示される、請求項1に記載の方法。
  15. 組織を測定するためのロボットシステムであって、
    手術部位に向けて配向可能な画像捕捉デバイスであって、前記手術部位における前記組織の画像に対応する画像データを生成するように適合されている画像捕捉デバイスと、
    前記画像をシステムユーザに示すために、前記画像捕捉デバイスに連結されたディスプレイと、
    第1のロボットツールと、
    前記第1のツールによって示される組織場所を指定するための入力と、
    プロセッサと
    を備え、
    前記プロセッサは、前記入力を前記ディスプレイに連結し、第1の指定組織場所において、前記組織の前記画像の上に第1のグラフィカルインジケータを重ね、前記画像を使用して、前記第1のグラフィカルインジケータと第2の組織場所との間の測定を決定すし、
    前記プロセッサは、前記入力を前記ディスプレイに連結し、前記第2の組織場所および追加の組織場所を示す追加の入力指定コマンドを受信し、連続的な複数対の組織場所の間の3次元オフセット距離を決定し、かつ、結果として生じる累積測定を前記画像の上に重ねるように適合されている、
    システム。
  16. 前記画像捕捉デバイスは、立体画像捕捉デバイスを備え、前記ディスプレイは、立体ディスプレイを備え、前記システムは、前記ロボットツールに連結されたマスタコントローラをさらに備え、前記マスタコントローラは、システムユーザからの移動コマンドを受信し、前記ディスプレイ上に示された左右の立体画像を参照して前記第1のツールを前記第1の組織場所に誘導し、前記プロセッサは、前記ユーザが前記第1のツールを前記第1の組織場所に誘導する間、前記第1のツールと一致する画像の上にグラフィカルツール測定マーカを重ねる、請求項15に記載のシステム。
  17. 前記プロセッサは、前記ユーザから連続的に組織指定コマンドを受信し、前記第1のツールを用いた前記第2の組織場所の指示を促進するように構成されている、請求項16に記載のシステム。
  18. 前記プロセッサは、前記ユーザから組織指定コマンドを受信し、前記第1のツールで前記第1の組織場所を示し、かつ、第2のロボットツールで前記第2の組織場所を同時に示すように構成されている、請求項16に記載のシステム。
  19. 前記プロセッサは、前記入力を前記ディスプレイに連結し、前記ユーザが前記第1のツールを前記第1の組織場所に誘導している間、前記第1の場所と前記第2の場所との間に延在する移動線を重ねる、請求項16に記載のシステム。
  20. 前記プロセッサは、前記測定が、前記組織画像の上に重ねられ、かつ前記線から分離されて表示されるように、オフセット表示場所を決定するように構成されている、請求項19に記載のシステム。
  21. 前記第1のツールおよび前記第2のツールは、それぞれ、ジョーを備え、前記組織指定入力は、前記ジョーに対するジョー関節動作入力を含み、前記プロセッサは、前記組織に沿った手を交互に動かした長さの測定における複数のオフセット距離を合計することによって、前記複数のオフセット距離を測定するよう構成されている、請求項15に記載のシステム。
  22. 前記プロセッサは、前記入力を前記ディスプレイに連結し、囲まれた領域を規定するよう追加の入力指定コマンドを受信し、前記測定は、面積測定を含む、請求項15に記載のシステム。
  23. 前記組織場所は、領域の境界を定める離散場所を含み、各組織場所は、関連付けられた指定コマンドを有する、請求項15に記載のシステム。
  24. 前記画像捕捉デバイスは、立体画像捕捉デバイスを備え、前記プロセッサは、前記画像データに応答して、組織表面の3次元場所を決定し、前記プロセッサは、前記グラフィカルインジケータを、前記第1のツールから前記組織表面に素早く動かすことによって、前記第1の組織場所を指定する、請求項15に記載のシステム。
  25. 前記組織は、生理学的に動いている組織を含み、前記画像は、前記動いている組織の静止立体画像を含み、前記システムは、前記プロセッサによって前記ディスプレイに連結された3次元入力デバイスをさらに備え、前記静止立体画像上に重ねられる3次元グラフィカルインジケータが、入力デバイスを使用して位置付けられることにより、前記第2の組織場所を示す、請求項15に記載のシステム。
  26. 生理学的に動いている組織を測定するためのロボットシステムであって、
    手術部位に向けて配向可能な立体画像捕捉デバイスであって、使用において、前記手術部位における前記組織の画像に対応するビデオ画像データを生成する画像捕捉デバイスと、
    前記画像をシステムユーザに示すために、前記画像捕捉デバイスに連結されたディスプレイと、
    組織場所を指定するための入力と、
    プロセッサと
    を備え、
    前記プロセッサは、前記入力を前記ディスプレイに連結し、第1の指定組織場所が指定された場合に、前記組織の停止立体画像の上に重ねられた3次元グラフィカルインジケータを位置決めし、かつ、前記グラフィカルインジケータと前記第1の組織場所との間の測定を決定する、
    システム。
JP2012516098A 2009-06-16 2010-05-19 低侵襲手術のための仮想測定ツール Pending JP2012529970A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/485,503 2009-06-16
US12/485,503 US9492240B2 (en) 2009-06-16 2009-06-16 Virtual measurement tool for minimally invasive surgery
PCT/US2010/035402 WO2010147729A1 (en) 2009-06-16 2010-05-19 Virtual measurement tool for minimally invasive surgery

Publications (2)

Publication Number Publication Date
JP2012529970A true JP2012529970A (ja) 2012-11-29
JP2012529970A5 JP2012529970A5 (ja) 2013-05-09

Family

ID=42320306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012516098A Pending JP2012529970A (ja) 2009-06-16 2010-05-19 低侵襲手術のための仮想測定ツール

Country Status (6)

Country Link
US (1) US9492240B2 (ja)
EP (1) EP2442743B1 (ja)
JP (1) JP2012529970A (ja)
KR (1) KR101720047B1 (ja)
CN (1) CN102458294A (ja)
WO (1) WO2010147729A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016154848A (ja) * 2015-02-06 2016-09-01 キオプティック フォトニクス ゲーエムベーハー ウント コー カーゲー 膣内撮像デバイス、システムおよび方法
CN106535806A (zh) * 2014-03-28 2017-03-22 直观外科手术操作公司 来自多端口视角的手术场景的定量三维成像
JP2019162339A (ja) * 2018-03-20 2019-09-26 ソニー株式会社 手術支援システムおよび表示方法
JP2020054832A (ja) * 2014-03-28 2020-04-09 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 手術シーンの定量的三次元撮像
JP2022512274A (ja) * 2018-10-03 2022-02-03 シーエムアール・サージカル・リミテッド ナビゲーション支援

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8944070B2 (en) 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
CN104688349B (zh) 2006-06-13 2017-05-10 直观外科手术操作公司 微创手术系统
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US10258425B2 (en) 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
US20090192523A1 (en) 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
US8556807B2 (en) * 2006-12-21 2013-10-15 Intuitive Surgical Operations, Inc. Hermetically sealed distal sensor endoscope
US8814779B2 (en) 2006-12-21 2014-08-26 Intuitive Surgical Operations, Inc. Stereoscopic endoscope
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US9469034B2 (en) 2007-06-13 2016-10-18 Intuitive Surgical Operations, Inc. Method and system for switching modes of a robotic system
US8620473B2 (en) 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US9522046B2 (en) * 2010-08-23 2016-12-20 Gip Robotic surgery system
DE102008027485B4 (de) * 2008-06-09 2010-02-11 Gsi Helmholtzzentrum Für Schwerionenforschung Gmbh Deposition einer Solldosisverteilung in einem zyklisch bewegten Zielgebiet
US8864652B2 (en) 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
US8184880B2 (en) * 2008-12-31 2012-05-22 Intuitive Surgical Operations, Inc. Robust sparse image matching for robotic surgery
US8830224B2 (en) 2008-12-31 2014-09-09 Intuitive Surgical Operations, Inc. Efficient 3-D telestration for local robotic proctoring
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
US8918211B2 (en) 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
US8521331B2 (en) 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
US8935003B2 (en) 2010-09-21 2015-01-13 Intuitive Surgical Operations Method and system for hand presence detection in a minimally invasive surgical system
US8543240B2 (en) * 2009-11-13 2013-09-24 Intuitive Surgical Operations, Inc. Master finger tracking device and method of use in a minimally invasive surgical system
US8996173B2 (en) 2010-09-21 2015-03-31 Intuitive Surgical Operations, Inc. Method and apparatus for hand gesture control in a minimally invasive surgical system
US8682489B2 (en) * 2009-11-13 2014-03-25 Intuitive Sugical Operations, Inc. Method and system for hand control of a teleoperated minimally invasive slave surgical instrument
WO2012049623A1 (en) 2010-10-11 2012-04-19 Ecole Polytechnique Federale De Lausanne (Epfl) Mechanical manipulator for surgical instruments
JP5669590B2 (ja) * 2011-01-20 2015-02-12 オリンパス株式会社 マスタスレーブマニピュレータ及び医療用マスタスレーブマニピュレータ
US20120206568A1 (en) * 2011-02-10 2012-08-16 Google Inc. Computing device having multiple image capture devices and image modes
CN103717355B (zh) 2011-07-27 2015-11-25 洛桑联邦理工学院 用于远程操纵的机械遥控操作装置
JP6005950B2 (ja) 2011-08-04 2016-10-12 オリンパス株式会社 手術支援装置及びその制御方法
JP6009840B2 (ja) 2011-08-04 2016-10-19 オリンパス株式会社 医療機器
EP2740433B1 (en) 2011-08-04 2016-04-27 Olympus Corporation Surgical implement and medical treatment manipulator
JP5953058B2 (ja) 2011-08-04 2016-07-13 オリンパス株式会社 手術支援装置およびその着脱方法
JP5931497B2 (ja) 2011-08-04 2016-06-08 オリンパス株式会社 手術支援装置およびその組立方法
JP5936914B2 (ja) 2011-08-04 2016-06-22 オリンパス株式会社 操作入力装置およびこれを備えるマニピュレータシステム
US9519341B2 (en) 2011-08-04 2016-12-13 Olympus Corporation Medical manipulator and surgical support apparatus
JP6000641B2 (ja) 2011-08-04 2016-10-05 オリンパス株式会社 マニピュレータシステム
CN103717169B (zh) 2011-08-04 2016-11-16 奥林巴斯株式会社 医疗用机械手及其控制方法
JP5841451B2 (ja) 2011-08-04 2016-01-13 オリンパス株式会社 手術器具およびその制御方法
JP6021484B2 (ja) 2011-08-04 2016-11-09 オリンパス株式会社 医療用マニピュレータ
JP6081061B2 (ja) 2011-08-04 2017-02-15 オリンパス株式会社 手術支援装置
JP6021353B2 (ja) * 2011-08-04 2016-11-09 オリンパス株式会社 手術支援装置
JP6037683B2 (ja) * 2012-07-02 2016-12-07 オリンパス株式会社 計測装置、計測装置の作動方法、およびプログラム
KR102304096B1 (ko) 2012-08-03 2021-09-24 스트리커 코포레이션 로봇 수술을 위한 시스템 및 방법
US9226796B2 (en) * 2012-08-03 2016-01-05 Stryker Corporation Method for detecting a disturbance as an energy applicator of a surgical instrument traverses a cutting path
GB2505926A (en) * 2012-09-14 2014-03-19 Sony Corp Display of Depth Information Within a Scene
US10507066B2 (en) 2013-02-15 2019-12-17 Intuitive Surgical Operations, Inc. Providing information of tools by filtering image areas adjacent to or on displayed images of the tools
KR102605152B1 (ko) * 2016-02-23 2023-11-24 삼성전자주식회사 객체 표시 방법 및 이를 위한 초음파 장치
US11747895B2 (en) 2013-03-15 2023-09-05 Intuitive Surgical Operations, Inc. Robotic system providing user selectable actions associated with gaze tracking
US11020016B2 (en) * 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US11800991B2 (en) 2013-08-15 2023-10-31 Intuitive Surgical Operations, Inc. Graphical user interface for catheter positioning and insertion
JP6000928B2 (ja) * 2013-10-24 2016-10-05 オリンパス株式会社 医療用マニピュレータおよび医療用マニピュレータの初期化方法
US20150157197A1 (en) * 2013-12-09 2015-06-11 Omer Aslam Ilahi Endoscopic image overlay
JP6278747B2 (ja) * 2014-02-28 2018-02-14 オリンパス株式会社 マニピュレータのキャリブレーション方法、マニピュレータ、およびマニピュレータシステム
US11266465B2 (en) 2014-03-28 2022-03-08 Intuitive Surgical Operations, Inc. Quantitative three-dimensional visualization of instruments in a field of view
US10350009B2 (en) 2014-03-28 2019-07-16 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging and printing of surgical implants
US10555788B2 (en) 2014-03-28 2020-02-11 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
EP3185808B1 (en) * 2014-08-27 2022-02-23 DistalMotion SA Surgical system for microsurgical techniques
KR102293915B1 (ko) * 2014-12-05 2021-08-26 삼성메디슨 주식회사 초음파 이미지 처리 방법 및 이를 위한 초음파 장치
WO2016097868A1 (en) 2014-12-19 2016-06-23 Distalmotion Sa Reusable surgical instrument for minimally invasive procedures
US11039820B2 (en) 2014-12-19 2021-06-22 Distalmotion Sa Sterile interface for articulated surgical instruments
WO2016097873A2 (en) 2014-12-19 2016-06-23 Distalmotion Sa Articulated handle for mechanical telemanipulator
WO2016097871A1 (en) 2014-12-19 2016-06-23 Distalmotion Sa Docking system for mechanical telemanipulator
DK3232951T3 (da) 2014-12-19 2024-01-15 Distalmotion Sa Kirurgisk instrument med leddelt ende-effektor
WO2016162751A1 (en) 2015-04-09 2016-10-13 Distalmotion Sa Articulated hand-held instrument
EP3280343B1 (en) 2015-04-09 2024-08-21 DistalMotion SA Mechanical teleoperated device for remote manipulation
US20170071456A1 (en) * 2015-06-10 2017-03-16 Nitesh Ratnakar Novel 360-degree panoramic view formed for endoscope adapted thereto with multiple cameras, and applications thereof to reduce polyp miss rate and facilitate targeted polyp removal
WO2017037532A1 (en) 2015-08-28 2017-03-09 Distalmotion Sa Surgical instrument with increased actuation force
JP6673684B2 (ja) * 2015-12-11 2020-03-25 株式会社メディカロイド 遠隔操作装置及び遠隔手術システム
AU2016380277B2 (en) 2015-12-31 2021-12-16 Stryker Corporation System and methods for performing surgery on a patient at a target site defined by a virtual object
US10154886B2 (en) * 2016-01-06 2018-12-18 Ethicon Llc Methods, systems, and devices for controlling movement of a robotic surgical system
EP4374768A3 (en) 2016-06-30 2024-08-07 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure
EP3478210B1 (en) 2016-06-30 2023-08-09 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information during an image-guided procedure
EP3512452A1 (en) * 2016-09-16 2019-07-24 Zimmer, Inc. Augmented reality surgical technique guidance
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
WO2018169891A1 (en) 2017-03-13 2018-09-20 Zimmer, Inc. Augmented reality diagnosis guidance
WO2018195216A1 (en) 2017-04-18 2018-10-25 Intuitive Surgical Operations, Inc. Graphical user interface for monitoring an image-guided procedure
US11058503B2 (en) 2017-05-11 2021-07-13 Distalmotion Sa Translational instrument interface for surgical robot and surgical robot systems comprising the same
US11432877B2 (en) 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
US10772703B2 (en) * 2017-08-25 2020-09-15 Titan Medical Inc. Methods and apparatuses for positioning a camera of a surgical robotic system to capture images inside a body cavity of a patient during a medical procedure
WO2019155383A1 (en) 2018-02-07 2019-08-15 Distalmotion Sa Surgical robot systems comprising robotic telemanipulators and integrated laparoscopy
US10856942B2 (en) * 2018-03-02 2020-12-08 Ethicon Llc System and method for closed-loop surgical tool homing
US10058396B1 (en) 2018-04-24 2018-08-28 Titan Medical Inc. System and apparatus for insertion of an instrument into a body cavity for performing a surgical procedure
WO2019209300A1 (en) 2018-04-26 2019-10-31 Hewlett-Packard Development Company, L.P Adaptive point generation
US11538205B2 (en) 2018-09-19 2022-12-27 Chegg, Inc. Augmented reality mathematics in learning platforms
CN118438439A (zh) 2018-10-22 2024-08-06 直观外科手术操作公司 用于主机/工具配准和控制以进行直观运动的系统和方法
US11617493B2 (en) * 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11903650B2 (en) 2019-09-11 2024-02-20 Ardeshir Rastinehad Method for providing clinical support for surgical guidance during robotic surgery
EP4058980A4 (en) * 2019-11-14 2024-06-26 Asensus Surgical US, Inc. METHOD AND SYSTEM FOR MEASURING A SURGICAL SITE
US20210401527A1 (en) * 2020-06-30 2021-12-30 Auris Health, Inc. Robotic medical systems including user interfaces with graphical representations of user input devices
US20220068506A1 (en) * 2020-08-27 2022-03-03 Asensus Surgical Us, Inc. Tele-collaboration during robotic surgical procedures
WO2022251814A2 (en) 2021-05-24 2022-12-01 Stryker Corporation Systems and methods for generating three-dimensional measurements using endoscopic video data
EP4401666A1 (en) 2021-09-13 2024-07-24 DistalMotion SA Instruments for surgical robotic system and interfaces for the same
US12035880B2 (en) * 2021-11-17 2024-07-16 Cilag Gmbh International Surgical visualization system with field of view windowing
DE102023101578A1 (de) 2023-01-23 2024-07-25 B. Braun New Ventures GmbH Intraoperatives chirurgisches Messsystem und Messverfahren
US11844585B1 (en) 2023-02-10 2023-12-19 Distalmotion Sa Surgical robotics systems and devices having a sterile restart, and methods thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007181670A (ja) * 2005-12-30 2007-07-19 Intuitive Surgical Inc 3次元テレストレーションを提供する医療ロボットシステム
JP2008228967A (ja) * 2007-03-20 2008-10-02 Hitachi Ltd マスタ・スレーブ式マニピュレータシステム
JP2008245838A (ja) * 2007-03-29 2008-10-16 Olympus Medical Systems Corp 内視鏡装置に搭載されるロボティクスアームシステム

Family Cites Families (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4219842A (en) 1978-08-24 1980-08-26 The Magnavox Company Video signal combiner having a common phase response and independent amplitude response
US4603231A (en) 1983-03-31 1986-07-29 Interand Corporation System for sensing spatial coordinates
US4614366A (en) * 1983-11-18 1986-09-30 Exactident, Inc. Nail identification wafer
US5175616A (en) 1989-08-04 1992-12-29 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Of Canada Stereoscopic video-graphic coordinate specification system
US5457754A (en) * 1990-08-02 1995-10-10 University Of Cincinnati Method for automatic contour extraction of a cardiac image
US5217003A (en) 1991-03-18 1993-06-08 Wilk Peter J Automated surgical system and apparatus
US5432528A (en) 1991-04-12 1995-07-11 Abekas Video Systems, Inc. Video combiner
US5417210A (en) * 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5279309A (en) * 1991-06-13 1994-01-18 International Business Machines Corporation Signaling device and method for monitoring positions in a surgical operation
US5404393A (en) 1991-10-03 1995-04-04 Viscorp Method and apparatus for interactive television through use of menu windows
US6731988B1 (en) 1992-01-21 2004-05-04 Sri International System and method for remote endoscopic surgery
ATE238140T1 (de) 1992-01-21 2003-05-15 Stanford Res Inst Int Chirurgisches system
JP3257640B2 (ja) 1992-06-09 2002-02-18 オリンパス光学工業株式会社 立体視内視鏡装置
EP0700269B1 (en) 1993-04-22 2002-12-11 Image Guided Technologies, Inc. System for locating relative positions of objects
US5428192A (en) 1993-05-10 1995-06-27 Ace Cad Enterprise Co., Ltd. Method and apparatus for finding the location of a pointing instrument on a tablet
WO1994030008A1 (en) 1993-06-07 1994-12-22 Scientific-Atlanta, Inc. Display system for a subscriber terminal
JPH06350937A (ja) 1993-06-14 1994-12-22 Pioneer Electron Corp 画像合成再生装置
US5583536A (en) 1994-06-09 1996-12-10 Intel Corporation Method and apparatus for analog video merging and key detection
US5468921A (en) 1994-08-11 1995-11-21 Boeckeler Instruments, Inc. Extended communication cable for a light pen or the like
US5836869A (en) * 1994-12-13 1998-11-17 Olympus Optical Co., Ltd. Image tracking endoscope system
US6122541A (en) 1995-05-04 2000-09-19 Radionics, Inc. Head band for frameless stereotactic registration
US6304372B1 (en) 1995-05-17 2001-10-16 Leica Microsystems Ag Microscope including a fade-in element and related method of using a microscope
US5776050A (en) 1995-07-24 1998-07-07 Medical Media Systems Anatomical visualization system
US6714841B1 (en) 1995-09-15 2004-03-30 Computer Motion, Inc. Head cursor control interface for an automated endoscope system for optimal positioning
US5855583A (en) 1996-02-20 1999-01-05 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
US6139490A (en) 1996-02-22 2000-10-31 Precision Optics Corporation Stereoscopic endoscope with virtual reality viewing
US5797900A (en) * 1996-05-20 1998-08-25 Intuitive Surgical, Inc. Wrist mechanism for surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
US5839441A (en) 1996-06-03 1998-11-24 The Trustees Of The University Of Pennsylvania Marking tumors and solid objects in the body with ultrasound
US6911916B1 (en) 1996-06-24 2005-06-28 The Cleveland Clinic Foundation Method and apparatus for accessing medical data over a network
US5850485A (en) 1996-07-03 1998-12-15 Massachusetts Institute Of Technology Sparse array image correlation
US6097994A (en) 1996-09-30 2000-08-01 Siemens Corporate Research, Inc. Apparatus and method for determining the correct insertion depth for a biopsy needle
US6331181B1 (en) * 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
US6159016A (en) 1996-12-20 2000-12-12 Lubell; Alan Method and system for producing personal golf lesson video
US6057833A (en) 1997-04-07 2000-05-02 Shoreline Studios Method and apparatus for providing real time enhancements and animations over a video image
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6714839B2 (en) * 1998-12-08 2004-03-30 Intuitive Surgical, Inc. Master having redundant degrees of freedom
ES2180110T3 (es) 1997-11-24 2003-02-01 Weiglhofer Gerhard Detector de coherencia.
US7371210B2 (en) 1998-02-24 2008-05-13 Hansen Medical, Inc. Flexible instrument
US20080125794A1 (en) 1998-02-24 2008-05-29 Hansen Medical, Inc. Surgical instrument
JP3330090B2 (ja) * 1998-09-30 2002-09-30 松下電器産業株式会社 臓器境界抽出方法および装置
JP4101951B2 (ja) * 1998-11-10 2008-06-18 オリンパス株式会社 手術用顕微鏡
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6459926B1 (en) * 1998-11-20 2002-10-01 Intuitive Surgical, Inc. Repositioning and reorientation of master/slave relationship in minimally invasive telesurgery
US6468265B1 (en) * 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
US6493608B1 (en) * 1999-04-07 2002-12-10 Intuitive Surgical, Inc. Aspects of a control system of a minimally invasive surgical apparatus
US6799065B1 (en) * 1998-12-08 2004-09-28 Intuitive Surgical, Inc. Image shifting apparatus and method for a telerobotic system
US6522906B1 (en) * 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
US6720988B1 (en) * 1998-12-08 2004-04-13 Intuitive Surgical, Inc. Stereo imaging system and method for use in telerobotic systems
US6424885B1 (en) * 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
US6817972B2 (en) * 1999-10-01 2004-11-16 Computer Motion, Inc. Heart stabilizer
US7075556B1 (en) 1999-10-21 2006-07-11 Sportvision, Inc. Telestrator system
US6791601B1 (en) 1999-11-11 2004-09-14 Stryker Corporation Multi-function image and video capture device for use in an endoscopic camera system
US7689014B2 (en) 2000-01-18 2010-03-30 Z-Kat Inc Apparatus and method for measuring anatomical objects using coordinated fluoroscopy
US6741757B1 (en) 2000-03-07 2004-05-25 Microsoft Corporation Feature correspondence between images using an image pyramid
US6856827B2 (en) 2000-04-28 2005-02-15 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
US6490475B1 (en) 2000-04-28 2002-12-03 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
US6856826B2 (en) 2000-04-28 2005-02-15 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
JP4593730B2 (ja) 2000-06-26 2010-12-08 株式会社トプコン ステレオ画像の測定装置
US6864886B1 (en) 2000-08-10 2005-03-08 Sportvision, Inc. Enhancing video using a virtual surface
US7574024B2 (en) 2000-10-02 2009-08-11 The Research Foundation Of State University Of New York Centerline and tree branch skeleton determination for virtual objects
US7194118B1 (en) * 2000-11-10 2007-03-20 Lucid, Inc. System for optically sectioning and mapping surgically excised tissue
ATE495703T1 (de) * 2000-11-28 2011-02-15 Intuitive Surgical Operations Endoskopischer stabilisator für das schlagende herz und gefässokklusionsverschluss
JP4655175B2 (ja) 2000-12-19 2011-03-23 ソニー株式会社 マニピュレータシステム、マスタマニピュレータ、スレーブマニピュレータ及びそれらの制御方法、並びに記録媒体
US20030135204A1 (en) * 2001-02-15 2003-07-17 Endo Via Medical, Inc. Robotically controlled medical instrument with a flexible section
US6856324B2 (en) 2001-03-27 2005-02-15 Siemens Corporate Research, Inc. Augmented reality guided instrument positioning with guiding graphics
US6587750B2 (en) * 2001-09-25 2003-07-01 Intuitive Surgical, Inc. Removable infinite roll master grip handle and touch sensor for robotic surgery
GB0125774D0 (en) 2001-10-26 2001-12-19 Cableform Ltd Method and apparatus for image matching
EP1455634A2 (en) 2001-11-21 2004-09-15 Viatronix Incorporated Imaging system and method for cardiac analysis
JP3791907B2 (ja) 2002-02-12 2006-06-28 オリンパス株式会社 観察装置
US20030210812A1 (en) * 2002-02-26 2003-11-13 Ali Khamene Apparatus and method for surgical navigation
US8010180B2 (en) 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US20040009459A1 (en) 2002-05-06 2004-01-15 Anderson James H. Simulation system for medical procedures
AU2003238833A1 (en) 2002-05-31 2003-12-19 The Texas A And M University System Deployable telemedicine system
US6978167B2 (en) 2002-07-01 2005-12-20 Claron Technology Inc. Video pose tracking system and method
JP2004061446A (ja) * 2002-07-31 2004-02-26 Fujitsu Ten Ltd パターンマッチング処理方法及び画像処理装置
US6826257B2 (en) 2002-09-13 2004-11-30 Beekley Corporation Device and method for margin marking of radiography specimens
GB0222265D0 (en) 2002-09-25 2002-10-30 Imp College Innovations Ltd Control of robotic manipulation
JP2004309930A (ja) 2003-04-09 2004-11-04 Olympus Corp 立体観察システム
FR2855292B1 (fr) * 2003-05-22 2005-12-09 Inst Nat Rech Inf Automat Dispositif et procede de recalage en temps reel de motifs sur des images, notamment pour le guidage par localisation
US9002518B2 (en) 2003-06-30 2015-04-07 Intuitive Surgical Operations, Inc. Maximum torque driving of robotic surgical tools in robotic surgical systems
AU2004203173A1 (en) 2003-07-14 2005-02-03 Sunnybrook And Women's College And Health Sciences Centre Optical image-based position tracking for magnetic resonance imaging
JP2005118232A (ja) 2003-10-15 2005-05-12 Olympus Corp 手術支援システム
DE10349649B3 (de) 2003-10-17 2005-05-19 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Erzeugen eines mit Bearbeitungsvermerken versehenen Bildes in einem sterilen Arbeitsbereich einer medizinischen Einrichtung
US20050179702A1 (en) 2004-02-13 2005-08-18 Video Delta, Inc. Embedded video processing system
WO2005102202A1 (en) 2004-04-26 2005-11-03 Orthosoft Inc. Method for permanent calibration based on actual measurement
US20060025679A1 (en) 2004-06-04 2006-02-02 Viswanathan Raju R User interface for remote control of medical devices
DE102004042489B4 (de) 2004-08-31 2012-03-29 Siemens Ag Medizinische Untersuchungs- oder Behandlungseinrichtung mit dazugehörigem Verfahren
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US8108072B2 (en) 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US8147503B2 (en) 2007-09-30 2012-04-03 Intuitive Surgical Operations Inc. Methods of locating and tracking robotic instruments in robotic surgical systems
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US8285011B2 (en) * 2005-06-02 2012-10-09 M2S Anatomical visualization and measurement system
ATE540634T1 (de) 2005-06-06 2012-01-15 Intuitive Surgical Operations Laparoskopisches ultraschall-robotersystem für chirurgische zwecke
US8398541B2 (en) 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
JP5741885B2 (ja) 2005-06-09 2015-07-01 ナヴィスイス エージー 物体の空間位置そして/または空間方位の非接触決定及び測定用システムと方法、特に医療器具に関するパターン又は構造体を含む特に医療器具の較正及び試験方法
US7835785B2 (en) 2005-10-04 2010-11-16 Ascension Technology Corporation DC magnetic-based position and orientation monitoring system for tracking medical instruments
JP5322648B2 (ja) 2005-10-20 2013-10-23 インテュイティブ サージカル, インコーポレイテッド 医療用ロボットシステムにおけるコンピュータディスプレイ上の補助画像の表示および操作
US20070161854A1 (en) 2005-10-26 2007-07-12 Moshe Alamaro System and method for endoscopic measurement and mapping of internal organs, tumors and other objects
US7453227B2 (en) 2005-12-20 2008-11-18 Intuitive Surgical, Inc. Medical robotic system with sliding mode control
US7907166B2 (en) 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
EP1815949A1 (en) 2006-02-03 2007-08-08 The European Atomic Energy Community (EURATOM), represented by the European Commission Medical robotic system with manipulator arm of the cylindrical coordinate type
DE112007000340T5 (de) 2006-02-09 2008-12-18 Northern Digital Inc., Waterloo Retroreflektierende Markenverfolgungssysteme
US8526688B2 (en) 2006-03-09 2013-09-03 General Electric Company Methods and systems for registration of surgical navigation data and image data
EP1854425A1 (de) 2006-05-11 2007-11-14 BrainLAB AG Medizintechnische Positionsbestimmung mit redundanten Positionserfassungseinrichtungen und Prioritätsgewichtung für die Positionserfassungseinrichtungen
CN104688349B (zh) * 2006-06-13 2017-05-10 直观外科手术操作公司 微创手术系统
US8968332B2 (en) 2006-06-22 2015-03-03 Board Of Regents Of The University Of Nebraska Magnetically coupleable robotic surgical devices and related methods
US20090192523A1 (en) 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US20080013809A1 (en) 2006-07-14 2008-01-17 Bracco Imaging, Spa Methods and apparatuses for registration in image guided surgery
WO2008076910A1 (en) 2006-12-15 2008-06-26 The Board Of Trustees Of The Leland Stanford Junior University Image mosaicing systems and methods
US20080177203A1 (en) 2006-12-22 2008-07-24 General Electric Company Surgical navigation planning system and method for placement of percutaneous instrumentation and implants
DE102007021185B4 (de) 2007-05-05 2012-09-20 Ziehm Imaging Gmbh Röntgendiagnostikeinrichtung mit einer Vielzahl kodierter Marken und ein Verfahren zur Bestimmung der Lage von Einrichtungsteilen der Röntgendiagnostikeinrichtung
US7694427B2 (en) * 2007-07-12 2010-04-13 Long Fredrick D Pipe fitting wireform for measuring linear distance and method
US20090046146A1 (en) 2007-08-13 2009-02-19 Jonathan Hoyt Surgical communication and control system
CA2882265C (en) 2007-08-17 2017-01-03 Zimmer, Inc. Implant design analysis suite
WO2009045827A2 (en) 2007-09-30 2009-04-09 Intuitive Surgical, Inc. Methods and systems for tool locating and tool tracking robotic instruments in robotic surgical systems
US8473031B2 (en) 2007-12-26 2013-06-25 Intuitive Surgical Operations, Inc. Medical robotic system with functionality to determine and display a distance indicated by movement of a tool robotically manipulated by an operator
US20090171332A1 (en) 2007-12-27 2009-07-02 Intuitive Surgical, Inc. Medical device with orientable tip for robotically directed laser cutting and biomaterial application
US10368838B2 (en) 2008-03-31 2019-08-06 Intuitive Surgical Operations, Inc. Surgical tools for laser marking and laser cutting
US8803955B2 (en) 2008-04-26 2014-08-12 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using a camera unit with a modified prism
US8594841B2 (en) 2008-12-31 2013-11-26 Intuitive Surgical Operations, Inc. Visual force feedback in a minimally invasive surgical procedure
US8830224B2 (en) 2008-12-31 2014-09-09 Intuitive Surgical Operations, Inc. Efficient 3-D telestration for local robotic proctoring
US8184880B2 (en) * 2008-12-31 2012-05-22 Intuitive Surgical Operations, Inc. Robust sparse image matching for robotic surgery
US8418073B2 (en) 2009-03-09 2013-04-09 Intuitive Surgical Operations, Inc. User interfaces for electrosurgical tools in robotic surgical systems
US8423182B2 (en) 2009-03-09 2013-04-16 Intuitive Surgical Operations, Inc. Adaptable integrated energy control system for electrosurgical tools in robotic surgical systems
US9155592B2 (en) 2009-06-16 2015-10-13 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US8218727B2 (en) 2009-09-04 2012-07-10 Siemens Medical Solutions Usa, Inc. System for medical image processing, manipulation and display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007181670A (ja) * 2005-12-30 2007-07-19 Intuitive Surgical Inc 3次元テレストレーションを提供する医療ロボットシステム
JP2008228967A (ja) * 2007-03-20 2008-10-02 Hitachi Ltd マスタ・スレーブ式マニピュレータシステム
JP2008245838A (ja) * 2007-03-29 2008-10-16 Olympus Medical Systems Corp 内視鏡装置に搭載されるロボティクスアームシステム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106535806A (zh) * 2014-03-28 2017-03-22 直观外科手术操作公司 来自多端口视角的手术场景的定量三维成像
JP2017518148A (ja) * 2014-03-28 2017-07-06 インテュイティブ サージカル オペレーションズ, インコーポレイテッド マルチポートの視点からの手術シーンの定量的な3次元イメージング
JP2020054832A (ja) * 2014-03-28 2020-04-09 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 手術シーンの定量的三次元撮像
JP7321916B2 (ja) 2014-03-28 2023-08-07 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 手術シーンの定量的三次元撮像
JP2016154848A (ja) * 2015-02-06 2016-09-01 キオプティック フォトニクス ゲーエムベーハー ウント コー カーゲー 膣内撮像デバイス、システムおよび方法
JP2019162339A (ja) * 2018-03-20 2019-09-26 ソニー株式会社 手術支援システムおよび表示方法
JP2022512274A (ja) * 2018-10-03 2022-02-03 シーエムアール・サージカル・リミテッド ナビゲーション支援
JP7492506B2 (ja) 2018-10-03 2024-05-29 シーエムアール・サージカル・リミテッド ナビゲーション支援

Also Published As

Publication number Publication date
CN102458294A (zh) 2012-05-16
EP2442743A1 (en) 2012-04-25
EP2442743B1 (en) 2018-10-03
WO2010147729A1 (en) 2010-12-23
US9492240B2 (en) 2016-11-15
KR20120040687A (ko) 2012-04-27
US20100317965A1 (en) 2010-12-16
KR101720047B1 (ko) 2017-03-27

Similar Documents

Publication Publication Date Title
US9492240B2 (en) Virtual measurement tool for minimally invasive surgery
EP2442744B1 (en) Virtual measurement tool for minimally invasive surgery
US9801690B2 (en) Synthetic representation of a surgical instrument
US8594841B2 (en) Visual force feedback in a minimally invasive surgical procedure
EP3651677B1 (en) Systems and methods for switching control between multiple instrument arms
US8374723B2 (en) Obtaining force information in a minimally invasive surgical procedure
JP2023101524A (ja) 遠隔操作医療システムにおけるオンスクリーンメニューのためのシステム及び方法
EP3842190A1 (en) Synthetic representation of a surgical robot
CN107753109B (zh) 同心管机器人装置及其控制方法
US20220280238A1 (en) Robot-assisted setup for a surgical robotic system
CN115334993A (zh) 用于医疗器械的约束运动控制的系统和方法
KR20100124638A (ko) 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법
US20220323157A1 (en) System and method related to registration for a medical procedure
US20240180624A1 (en) Method and system for estimating positional data in images
WO2023150449A1 (en) Systems and methods for remote mentoring in a robot assisted medical system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130319

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131212

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140311

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140318

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140411

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140418

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140509

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140610

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141222