JP2012506260A - 環境特性推定および画像表示 - Google Patents

環境特性推定および画像表示 Download PDF

Info

Publication number
JP2012506260A
JP2012506260A JP2011532328A JP2011532328A JP2012506260A JP 2012506260 A JP2012506260 A JP 2012506260A JP 2011532328 A JP2011532328 A JP 2011532328A JP 2011532328 A JP2011532328 A JP 2011532328A JP 2012506260 A JP2012506260 A JP 2012506260A
Authority
JP
Japan
Prior art keywords
environment
instrument
mechanical property
surgical robot
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011532328A
Other languages
English (en)
Other versions
JP5762962B2 (ja
Inventor
アリソン マリコ オカムラ
智徳 山本
バラジュ ペーテル ヴァグヴォルジ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Johns Hopkins University
Original Assignee
Johns Hopkins University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Johns Hopkins University filed Critical Johns Hopkins University
Publication of JP2012506260A publication Critical patent/JP2012506260A/ja
Application granted granted Critical
Publication of JP5762962B2 publication Critical patent/JP5762962B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/4202—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model
    • G05B19/4207—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model in which a model is traced or scanned and corresponding data recorded
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35506—Camera images overlayed with graphics, model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37065—Map of stiffness, compliance of object
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37357—Force, pressure, weight or deflection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45117—Medical, radio surgery manipulator

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Gynecology & Obstetrics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Instructional Devices (AREA)
  • Manipulator (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】環境特性推定のための改良された手術ロボット、要素、および方法を提供する。
【解決手段】
少なくとも１つのカメラと、画像装置と交信するプロセッサと、プロセッサと交信する操作装置と、プロセッサと交信する視覚表示装置とを具備する画像装置を含む手術ロボットであって、プロセッサは用具−環境干渉データの環境モデルに基づいて環境の1領域の硬さ推定値を算出するように動作し、少なくとも１つのカメラからの環境画像上に硬さ推定値の硬さマップから成る合成画像を生成し、この合成画像を表示装置に出力する。
【選択図】図１

Description

関連発明の相互参照
本出願は2008年10月20日に出願された米国仮出願６１／１０６，６８３に基づく優先権を主張し、その全内容は参照により本願に組み込まれる。
米国政府は、本発明に関し支払い済みのライセンスと、国際科学基金によって授与された許可番号ＩＩＳ−０３４７４６４，ＥＥＣ−９７３１７４８およびＣＮＳ−０７２２９４３ならびに米国健康学会によって授与された許可番号Ｒ０１-ＥＢ００２００４の期間によって定まる妥当な期間第三者にライセンスを与えることを特許権者に要求する権利とを有する。
本発明は環境特性推定および画像表示に係り、特に、環境特性推定値を画像表示するように動作する手術ロボットに関する。
本明細書中で参照される論文、公開された特許出願および特許公報を含むすべての参照文献は、本出願に組み込まれる。
ダ・ビンチ（米国、カリフォルニア、サニーベールのインテュイティブサージカル社）のような遠隔操作されるロボット支援手術装置は従来の低侵襲的手術（Minimally Invasive Surgery: ＭＩＳ）に対し多くの利点を提供する。この装置は器用さを強調しており、より精密な動作が可能であり、３次元（３Ｄ）表示を備えている。しかしながら、触覚フィードバックの欠如は、このような遠隔操作されるロボット支援型低侵襲的手術（ＲＭＩＳ）装置の欠点の１つと認識されている（F. W. Mohr、 V. FaIk、 A. Diegeler、 T. Walther、 J. F. Gummert、 J. Bucerius, S. Jacobs, および R. Autschbach著 "Computer-enhanced 'robotic'- cardiac surgery: experience in 148 patients," The Journal of Thoracic and Cardiovascular Surgery, vol. 121, no. 5, pp. 842-853, 2001）。
多くの研究グループ、すなわち、16th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 465-471, 2008の中の"Force-feedback surgical teleoperator: Controller design and palpation experiments,"の著者であるM. Mahvash, J. Gwilliam、 R. Agarwal、 B. Vagvolgyi, L.-M. Su、 D. D. Yuhおよび A. M. Okamura、"Haptic feedback in a telepresence system for endoscopic heart surgery,"の著者であるH. Mayer、 I. Nagy、 A. Knoll、 E. U. Braun、 R. Bauernschmitt および R. Lange、 "Teleoperators and Virtual Environments" vol. 16, no. 5, pp. 459-470の著者であるPresence、ならびに、Hapticsfor Teleoperated Surgical Robotic Systems (New Frontiers in Robotics series), World Scientific Publishing Company, 2008の著者であるM. Tavakoli, R. Patel, M. Moallemおよび A. Aziminejadが手術に応用するための触覚フィードバックを有する遠隔操作を研究しているが、安定性と透明性の間の兼ね合い、価格に起因する力センサ、生体適合性および時間的痛み軽減性が、（現在の商業的な手術ロボットに基づいて）実現可能な触覚フィードバックを有する実際的な装置の開発を困難にしている（非特許文献１および非特許文献２参照）。
したがって、外科医が使用する現在のＲＭＩSは、原理的に遠隔器具がどの程度の大きさの力を組織に加えているかを推定するために組織の変形のような視覚的な手懸りに依存している。
外科医は、手術中に解剖学的な構造を調査するために、生物学的な組織をたびたび触診する。触診は、力変位および分散された触覚情報の双方を提供する。組織の異常は、硬さのような機械的な特性によって正常な組織から区別され得る（非特許文献３参照）。
冠状動脈バイパス手術（ＣＡＢＧ）において、触診は移植場所がどこであるかの検知において、特に利点がある。石灰化した動脈から視覚的に区別することが困難である柔らかい健康な動脈を移植することがより良策である。移植は石灰化した動脈部分あるいは近傍に行われるべきではない。心臓組織の中での石灰化した動脈の発見は、フィードバックが無いときは、まったく挑戦的なことであり、外科医は接合に最適な場所を決定することは不可能であろう（非特許文献４参照）。
A. M. Okamura, L. N. Verner, C. E. ReileyおよびM.Mahvash著 "Haptics for robot-assisted minimally invasive surgery," in Proceedings of the International Symposium Robotics Research, Hiroshima, Japan, Nov. 26-29, 2007 A. M. Okamura著"Haptic feedback in robot-assisted minimally invasive surgery," Current Opinion in Urology, vol. 19, no. 1, pp. 102-107, 2009 （K. Hoyt, B.Castaneda, M. Zhang, P. Nigwekar, P. A. di Sant'agnese, J. V. Joseph, J. Strang, D. J. Rubensおよび K. J. Parker著 Tissue elasticity properties as biomarkers for prostate cancer. Cancer Biomark, 4(4-5):213-225, 2008. Neurophys, 73:88, 1995 F. W. Mohr, V. FaIk, A. Diegeler, T. Walther, J. F. Gummert, J. Bucerius, S. Jacobsおよび R. Autschbach著 "Computer-enhanced 'robotic' cardiac surgery: experience in 148 patients," The Journal of Thoracic and Cardiovascular Surgery, vol. 121, no. 5, pp. 842-853, 2001
したがって、環境特性推定のための改良された手術ロボット、要素、および方法に対する必要性が存在する。
本発明の一実施例に係る手術ロボットは、少なくとも一台のカメラと、画像装置と交信するプロセッサと、プロセッサと交信する遠隔操作装置と、プロセッサと交信する表示装置を備える画像装置を有している。プロセッサは機械的特性を算出し、器具−環境干渉データの環境モデルに基づいて環境の一つの範囲を推定し、少なくとも一台のカメラからの環境画像に重畳される機械的特性推定値の機械的特性マップから成る合成画像を生成し、表示装置に合成画像を出力するように動作する。
本発明の一実施例に係る手術ロボットに使用するデータ処理ユニットは、手術ロボットから環境画像を受信するため、および手術ロボットから器具−環境干渉データを受信するために適用される少なくとも一つの入力ポートと、少なくとも一つの入力ポートと交信するオーバーレイ要素と、オーバーレイ要素と交信する出力ポートを有する。オーバーレイ要素は、器具−環境干渉データに基づいて環境の一領域の機械的特性推定値を算出し、環境画像上に重畳される機械的特性のマップから成る合成画像を生成し、合成画像を出力ポートに出力するために適用される。
計算プラットフォームによって実行されたときに、本発明の一実施例によれば、計算プラットフォームに、環境の一領域の触診から得られる器具−環境干渉データの決定、器具−環境干渉データに基づく環境の一領域の機械的特性推定値の算出、環境画像の受信、環境画像に重畳される機械的特性推定値の機械的特性マップを含む合成画像の生成、および剛債画像の表示装置への出力を含む方法を含む動作を実行させる実体的な機械読み取り可能な記憶媒体が提供される。
本発明は添付した図面を参照することにより、一層理解されるであろう。
本発明の一実施例に係る組織特性推定値および画像表示のための手術ロボットの概略図である。 本発明の一実施例に係る触診器具アッタチメントの概略図である。 本発明の一実施例に係る環境画像に重畳される機械的特性マップを示す合成画像図である。 人工の柔らかい組織（４Ａ）と人工の石灰化された動脈（４Ｂ）のグラフであって、本発明の一実施例に係る推定時間を算出するために質量・ダンパ・バネモデルを使用した場合の力と経過時間（上段）および力と変位（下段）を示す。 本発明の一実施例に係る人工の石灰化された動脈の一つの力と経過時間（５Ａ）および力と変位（５Ｂ）を示す。 ダ・ビンチ手術装置の特注品の概略図であって、右側は主操作装置と３Ｄ表示装置であり、左側は本発明の一実施例に係る患者側操作装置と立体カメラである。 重なり合う確立密度関数を加算した場合の信頼度レベル（７Ａ）と、信頼度レベルを示す硬さの変化と彩度を示す色合い（７Ｂ）のグラフである。 本発明の一実施例に係る、画像中に示される下層の環境の硬さマップが展開されたときの本発明の一実施例に係る合成画像の図である。
図面に描かれた本発明の実施例の説明において、明確さのために特定の術語が使用される。しかしながら、本発明はそのように選択された特定の術語に限定されることを意図してない。特定の要素は、同様の目的を達成するために同様に動作するすべての技術的等価物を含むことは理解されるべきである。
図１は、本発明の一実施例に係る環境特性推定および画像表示のための手術ロボット１００の概略図である。手術ロボット１００は、主操作盤１０２と患者側操作装置１０４を含む。主操作盤１０２は、表示装置１０６と操作装置１０８を含む。患者側操作装置１０４は操作システム１１０を含む。一実施例において、操作システム１１０は、操作器具１１２と画像システム１１４とを含む。一実施例において、手術ロボット１００は、少なくとも一つのカメラ、画像システム１１４と交信するプロセッサ１１６、プロセッサ１１６と交信する操作システム１１０およびプロセッサ１１６と交信する表示装置１０６を含む画像システム１１４を含んでいる。
プロセッサ１１６は、器具−環境干渉データの環境モデルに基づく環境の一領域の機械的特性推定値を算出し、少なくとも一台のカメラからの環境画像上に重畳される機械的特性推定値の機械的特性マップから成る剛債画像を生成し、合成画像を表示装置１０６に出力する。
一実施例において、機械的特性は硬さである。硬さは線形あるいは非線形であり得る。他の実施例においては、機械的特性は線形あるいは非線形の制動力である。他の実施例においては、機械的特性はシステムによって検知され得るすべての機械的特性、たとえば、これらに限定されるものではないが、硬さ、制動力、質量等である。
一実施例において、使用者は合成画像を提供する手術ロボット１００を使用することが可能であり、したがって、使用者は組織の硬さの推定値に基づいて組織の異常範囲を識別可能である。推定された硬さは、器具−環境干渉データを使用して組織の触診から算出される。使用者は、組織領域を触診するために手動で手術ロボット１００を制御する目的で主操作盤１０２の操作装置を操作する。代案として、使用者は触診する組織の範囲を選択し、手術ロボット１００は組織範囲の触診を制御する。他の実施例において、手術ロボット１００は組織異常範囲を含む組織を自動的に触診する。
組織範囲の触診を実行するために、手術ロボット１００のプロセッサ１１６は操作装置１１０に対して操作器具１１２で組織の一範囲を触診することを命令する。プロセッサ１１６は、触診中の操作器具１１２と組織の間の干渉のための器具−環境干渉データを受信する。
器具−環境干渉データは、組織範囲を触診したときの操作器具１１２の位置データを含んでいる。器具−環境干渉データは、たとえば操作装置１１２の速度および加速度、操作装置１１２によって組織上に加えられる力、あるいは、操作器具１１２が組織に引き起こす変位量である他のデータも含み得る。操作器具１１２が組織に接触している間、操作器具１１２の種々の特性が組織の特性に対応する。たとえば、操作器具１１２が組織に接触している間、操作器具１１２の位置の変化は組織の位置の変化に対応する。
プロセッサ１１６は、種々の情報源から器具−環境干渉データを受信することが可能である。一つの実施例においては、操作器具１１２の位置は、操作システム１１０の位置センサを介して、あるいは、画像システム１１４からのデータの解析によりプロセッサ１１６により知られ得る。プロセッサ１１６は、操作器具１１２の位置を監視し、操作器具１１２の位置の変化に基づいて操作器具１１２の速度および加速度を算出する。代案として、操作器具１１２はプロセッサ１１６と交信する速度および加速度センサを含む。器具-環境干渉データの決定は、図２Ａ、２Ｂおよび２Ｃを参照して以下でさらに説明される。
一回の触診の間に、プロセッサ１１６は多数組の器具-環境干渉データを受信する。器具-環境干渉データに基づいて、プロセッサ１１６は触診された組織の範囲に対して、推定硬さである硬さ推定値を算出する。
組織の範囲に対する硬さ推定値を算出するために、プロセッサ１１６は組織モデルを使用し、組織モデルの未知のパラメータを推定するために組織モデルに対して器具-環境干渉データを適用する。種々の組織モデル、たとえば、これに限られることはないが、Kelvin-Voigtモデル、質量-ダンパ-ばねモデル、Hunt-Crossleyモデル、２次多項式モデル、３次多項式モデル、４次多項式モデル、または２次多項式速度依存モデルが使用され得る。組織モデルの未知のパラメータを推定するための種々の形式の推定技法、たとえば、これに限られることはないが、帰納的最小二乗法、適応同定法、カルマンフィルタ、および信号処理法が使用され得る。プロセッサ１１６は、組織モデルの推定された未知のパラメータから硬さの推定値を取得する。
推定された硬さと撮像装置１１４からの環境画像を使用して、プロセッサ１１６は合成画像を生成する。合成画像は、少なくとも一台のカメラからの環境画像上に重畳される硬さ推定値のマップを含む。硬さマップは、組織の１以上の領域の算出された硬さ推定値のグラフ表示であり、以下で図３を参照しつつさらに説明される。
プロセッサ１１６は、環境の範囲に対応する硬さマップの範囲が環境画像に重畳するように合成画像を生成する。合成画像の生成は、環境画像への硬さ推定値の移動に基づく硬さマップの生成を含む。プロセッサ１１６は、環境の範囲を示す環境画像の範囲に環境範囲を移動するために環境画像を解析する。移動に基づき、プロセッサ１１６は硬さマップを生成し、環境画像上に硬さマップを重畳する。プロセッサ１１６は、硬さマップを半透明の状態で重畳するので、下層の環境画像は合成画像においても見ることができる。そして、合成画像は表示装置１０６に出力される。一実施例によれば、プロセッサ１１６は合成画像を実時間で生成する。
表示装置１０６は、使用者に合成画像を表示する。表示装置１０６は、立体表示装置である。表示装置１０６は、一つの表示装置が片眼に対応する二つの立体表示装置を介して使用者に３次元立体画像を表示する。各表示装置は、その眼に対する環境の視点に対応した異なる合成画像を表示する。他の実施形態では、表示装置１０６は非立体表示装置である。
図２Ａ、２Ｂおよび２Ｃは、本発明の一実施例に係る触診器具アタッチメントの概略図である。図２Ａは、操作器具１１２に対するアタッチメントの実施形態を示す。アタッチメントは、器具延長要素と透明なプラスチック円板を含む。図２Ｂに示すように、器具延長要素は操作器具１１２に取り付けられる。
この実施例において、プラスチック円板は組織触診のための接触点であるが、円板は他の適当な素材から作られて作られてもよく、他の適当な形状に作られてもよい。さらに、分離型のアッタチメントの代わりに、アッタチメントは操作器具１１２に組み込まれていてもよい。
図２Ｃに示すように、一実施例においては、操作器具１１２は器具-環境干渉センサを含んでいる。器具-環境干渉センサは力センサである。操作器具１１２は、力センサは操作器具１１２によって環境に加えられる力を計測するように配置されている。力センサによって計測される力の変化に基づいて、プロセッサ１１６は操作器具１１２と環境との間の接触および非接触時間を決定する。
器具-環境干渉データは、力センサによって計測された力を含み、プロセッサ１１６は計測された力およびロボットの位置に基づいて硬さ推定値を算出する。
他の実施例においては、器具-環境干渉力は力センサによって計測されないが、M. Mahvash, J Gwilliam, R. Agarwal, B. Vagvolgyi, L. Su, D. D. Yuh, および A. M. Okamura著"Force-Feedback Surgical Teleoperator: Controller Design and Palpation Experiments", 16th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 465-471, Reno, NV, March 2008に従った方法によってロボット制御装置から推定される。この方法において、指令されたロボットの動作と実際の動作の間の誤差はロボット端のエフェクタに加えられる力を推定するために使用される。ロボットの動的モデルは、環境（すなわち、組織）からの力とロボットの内部機構からの力（すなわち、慣性および摩擦）との差に対して使用される。
他の実施例においては、器具-環境干渉データは、画像システム１１４から視覚的に獲得される。プロセッサ１１６は、環境に既知の力を印加するために操作器具１１２に命令する。画像システム１１４からの画像に基づいて、プロセッサ１１６は操作器具１１２と環境の間の接触を識別する。プロセッサ１１６は、環境画像の視覚的解析または操作器具１１２の位置データの変化に基づいて、操作器具１１２によって惹起された環境の変位量を決定できる。器具-環境干渉データは変位量を含み、プロセッサ１１６は変位量に基づいて硬さ推定値を算出する。他の実施例によれば、器具-環境干渉センサおよび視覚的に決定された器具-環境干渉データは、ともに手術ロボット１００によって使用される。
図３は、本発明の一実施例に係る環境画像上に重畳された硬さマップを示す合成画像の図である。プロッセサ１１６は、硬さ推定値から組織の硬さマップを生成する。硬さマップは、組織の硬さ推定値のグラフ表示である。一実施において、硬さマップは、色相-彩度-輝度（ＨＬＳ）空間表現である。色相は硬さ値に対応し、彩度は荷重ガウス関数によって算出される。触診位置からの距離に基づいて、プロセッサ１１６は周辺領域に対する信頼度レベルを定義し、これが彩度レベルに変換される。一実施例において、同位置に複数の信頼度レベルが重畳されたときには、色相が混合された連続的なマップを生成するために色相が混合される。プロセッサ１１６は、触診位置の信憑性を増すために信頼度レベルを加算する。一実施例において、プロセッサ１１６は、新たなデータが収集されたときには硬さマップを更新する。
一実施例において、硬さマップは３次元マップ（３次元に折り曲げられた平面マップ）であり、プロセッサ１１６は環境画像上に３次元硬さマップを重畳する。プロセッサ１１６は環境の立体画像を受信する。立体画像は、画像システム１１４からの二つの環境の画像を含む。立体画像を使用して、プロセッサ１１６は立体画像中に示されるように環境の凹凸を決定する。そして、プロセッサ１１６は、３次元硬さマップが環境の凹凸に対応するように合成画像を生成する。
本発明の他の実施例は、手術ロボットと共に使用するためのデータ処理装置に関連する。たとえば、データ処理装置は、図１の手術ロボットを参照して説明されたプロセッサ１１６と同様のものであってもよい。データ処理装置は、手術ロボットから環境画像を受信するためおよび手術ロボットから器具-環境干渉データを受信するための少なくとも１つの入力ポートと、少なくとも１つの入力ポートと交信するオーバレイコンポーネントと、オーバレイコンポーネントと交信する出力ポートを有する。オーバレイコンポーネントは、器具-環境干渉データの環境モデルに基づいて環境の一範囲に対して機械的特性推定値を算出し、環境画像に重畳された機械的特性推定値の機械的特性マップから成る合成画像を生成し、出力ポートに合成画像を出力するために適用される。
本発明の他の実施例は、計算プラットフォームで実行されたときに、計算プラットフォームに、環境の領域の触診から得られる器具-環境干渉データを決定すること、器具-環境干渉データに基づいて環境の領域の機械的特性推定値を算出すること、環境画像を受信すること、環境画像に重畳された機械的特性推定値の機械的特性マップから成る合成画像を生成すること、および合成画像を表示装置に出力することを含む本発明の実施例に係る方法を含む命令を実行させる命令を提供する具体的な機械読み取り可能な記憶媒体に向けられている。
手術中の組織および内臓の手による触診は、臨床医に、診断および手術の計画に有用な情報を提供する。今日のロボット支援型低侵襲手術システムにおいては、認知可能な触覚フィードバックの欠如が臓器内の腫瘍あるいは心臓組織の石灰化した動脈の検出を挑戦的なものにしている。この例は、自動化された組織特性の推定方法および手術医が硬い組織と柔らかい組織を区別することを許容する実時間のグラフ的重畳を提供する。我々は、最初に、経験的に人工的な組織の特性を評価し、７つの可能な数学的組織モデルと比較する。自己検証および相互検証は、Hunt-Crossleyモデルが、経験的に観察された人工組織の特性を最も良く表し、我々の目的に適していることを確かなものとしている。次に、我々は、人工組織が遠隔操作される手術ロボットを使用して触診され、Hunt-Crossleyモデルの硬さが回帰的最小自乗法によって実時間で推定されるシステムの開発を行う。実時間で重畳表示する組織の硬さは、色相−彩度−輝度表示を使用して、組織表面の半透明の円板上に生成される。色相は触診された位置の硬さを表示し、彩度はその点からの距離に基づいて算出される。単純な内挿法が、連続的な硬さのカラーマップを生成する。実験においては、グラフ的な重畳は、人工組織に隠蔽された人工的な石灰化した動脈の位置を成功裡に表示する。
本作業において、我々は柔らかい材料中に隠蔽された硬い対象物、すなわち、心臓組織中の石灰化した動脈の位置を表示するために、実時間グラフ重畳技術を提案している。我々のアプローチは、回帰的最小自乗法（ＲＳＬ）を使用して組織の機械的特性を推定し、同時に手術医の表示装置上にカラーの硬さマップを重畳することである。グラフ的な重畳は、図３に示すように、人工の石灰化した動脈の位置を明確に表示する。他の応用例は、腫瘍の実時間検出である。
触診のために特に設計された単純な力検出器は力検出用の複雑な操作器とりも開発が容易であるので、我々の提案した技術は、従来の力フィードバックに対する代案と同じく実際的であろう。
組織モデル
人間の生物学的組織は、非線形な特性を示し、不均一な構造を含むことが知られている。しかしながら、計算効率のために、多くの研究者は単純な線形組織モデルを仮定している。ばねモデルまたはKelvin-Voigtモデルのような古典的な線形組織モデルは一般的に使用されている（R. Corteso, J. Parkおよび O. Khatib著"Real-time adaptive control for haptic telemanipulation with kalman active observers," IEEE Transactions on Robotics, vol. 22, no. 5, pp. 987-999, 2006、R. Corteso, W. Zarrad, P. Poignet, O. CompanyおよびE.Dombre著"Haptic control design for robotic-assisted minimally invasive surgery," in IEEE International Conference on Intelligent Robots and Systems, pp. 454-459, 2006、G. De Gersem, H. V. BrusselおよびJ. V. Sloten著"Enhanced haptic sensitivity for soft tissues using teleoperation with shaped impedance reflection," in World Haptics Conference (WHC) CD-ROM Proceedings, 2005、S. MisraおよびA. M. Okamura著"Environment parameter estimation during bilateral telemanipulation," in 14th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 301-307, 2006、ならびにX. Wang, P. X. Liu, D. Wang, B. ChebbiおよびM. Meng著"Design of bilateral teleoperators for soft environments with adaptive environmental impedance estimation," in IEEE International Conference on Robotics and Automation, pp. 1127-1132, 2005）。Diolaiti等 （N. Diolaiti, C. MelchiorriおよびS. Stramigioli著 "Contact impedance estimation for robotic systems," IEEE Transactions on Robotics, vol. 21, no. 5, pp. 925-935, 2005） は、Hunt-Crossleyモデル (K. Hunt and F. Crossley, "Coefficient of restitution interpreted as damping in vibroimpact," ASME Journal of Applied Mechanics, vol. 42, no. 2, pp. 440-445, 1975)を使用していた。非線形Hunt-Crossleyモデルは、Kelvin-Voigtモデルにおいて観察される衝突の間のエネルギ損失を考慮している。有限要素モデルは優れた組織モデルを提供することができるけれども、計算的な複雑さは実時間応用を制限してきた。Misra等（S. Misra, K. T. RameshおよびA. M. Okamura著 "Modeling of tool-tissue interactions for computer-based surgical simulation: A literature review,"Presence: Teleoperators and Virtual Environments, vol. 17, no. 5, pp. 463-491, 2008）は、器具-環境干渉方法に関する文献を参照していた。
推定法
オンライン環境パラメータ推定方法には、ＲＬＳ（X. Wang, P. X. Liu, D. Wang, B. ChebbiおよびM. Meng著"Design of bilateral teleoperators for soft environments with adaptive environmental impedance estimation," in IEEE International Conference on Robotics and Automation, pp. 1127-1132, 2005、N. Diolaiti, C. MelchiorriおよびS. Stramigioli著"Contact impedance estimation for robotic systems," IEEE Transactions on Robotics, vol. 21, no. 5, pp.925-935, 2005、M. B. ColtonおよびJ. M. Hollerbach著"Identification of nonlinear passive devices for haptic simulations," in WHC '05: Proceedings of the First Joint Eurohaptics Conference and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, (Washington, DC, USA), pp. 363-368, IEEE Computer Society, 2005、 J. LoveおよびW. J. Book著"Environment estimation for enhanced impedance control," in IEEE International Conference on Robotics and Automation, pp. 1854-1858, 1995）、適応同定法（S. MisraおよびA. M. Okamura著"Environment parameter estimation during bilateral telemanipulation," in 14th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 301-307, 2006、K. Hashtrudi-ZaadおよびS. E. Salcudean著"Adaptive transparent impedance reflecting teleoperation," in IEEE International Conferenceon Robotics and Automation, pp. 1369-1374, 1996、H. SerajiおよびR. Colbaugh著"Force tracking in impedance control," IEEE Transactions on Robotics, vol. 16, no. 1, pp. 97-117, 1997、ならびにS. K. SinghおよびD. O. Popa著"An analysis of some fundamental problems in adaptive control of force and impedance behavior: Theory and experiments," IEEE Transactions on Robotics and Automation, vol. 11, no. 6, pp.912-921, 1995）、カルマンフィルタ法（R. Corteso, J. ParkおよびO. Khatib著 "Realtime adaptive control for haptic telemanipulation with kalman active observers," IEEE Transactions on Robotics, vol. 22, no. 5, pp. 987-999, 2006、R. Corteso, W. Zarrad, P. Poignet, O. CompanyおよびE. Dombre著"Haptic control design for robotic-assisted minimally invasive surgery," in IEEE International Conference on Intelligent Robots and Systems, pp. 454-459, 2006、ならびにG. De Gersem, H. V. BrusselおよびJ. V. Sloten著"Enhanced haptic sensitivity for soft tissues using teleoperation with shaped impedance reflection," in World Haptics Conference (WHC) CD-ROM Proceedings, 2005）、
および多重推定法（T. Yamamoto, M. Bernhardt, A. Peer, M. BussおよびA. M. Okamura著 "Multi-estimator technique for environment parameter estimation during telemanipulation," in IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 217-223, 2008）を含むいくつかの方法が存在する。Erickson等(D. Erickson, M. WeberおよびI. Sharf著"Contact stiffness and damping estimation for robotic systems," The InternationalJournal of Robotics Research, vol. 22, no. 1, pp. 41-57, 2003)は、４つの方法、ＲＬＳ、間接法型適応制御、モデル規範適応制御および信号処理法をレビューし、比較している。彼らは、ロボットのような組立体操作に応用するために力追従性およびインピーダンス制御の安定性を改善するために剛性およびダンピングを推定した。彼らは、永続的励起を有する間接法型適応制御が４つの方法の中で最も良い性能であることを示した。Yamamoto等(T. Yamamoto, M. Bernhardt, A. Peer, M. BussおよびA. M. Okamura著"Multi-estimator technique for environment parameter estimation during telemanipulation," in IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 217-223, 2008)は、手術への応用のためにKelvin- Voigtモデルの未知のパラメータを推定する目的で、ＲＬＳ、適応同定法および多重推定法を比較した。彼らは、オンラインでの組織パラメータ推定のために、ＲＬＳまたは多重推定法を推奨した。
組織特性推定
ある硬い異物は超音波を使用して見出され得るし、従来の業績はダ・ヴィンチ手術システムを使用した腹腔鏡超音波データの直感的視覚化を試験してきた（Leven, D. Burschka, R. Kumar, G. Zhang, S. Blumenkranz, X. Dai, M. Awad, G. D. Hager, M. Marohn, M. Choti, C. HasserおよびR. H. Taylor著 "Davinci canvas: A telerobotic surgical system with integrated, robot-assisted, laparoscopic ultrasound capability," in Medical Image Computing and Computer- Assisted Intervention (MICCAI), pp. 811-818, 2005）。典型的には超音波を使用し、柔らかい組織中の張力分布を表示する弾性率計測法（Elastography）は、腫瘍を検出するための効果的な方法である。弾性率計測法の主たる欠点は、計算機的に高価であることである（J. Ophir, S. Alam, B. Garra, F. Kallel, E. Konofagou, T. Krouskop, C. Merritt, R. Righetti, R. Souchon, S. SrinivasanおよびT. Varghese著 "Elastography: Imaging the elastic properties of soft tissues with ultrasound," in Journal of Medical Ultrasonics, vol. 29, pp. 155-171, 2002）。腫瘍の位置決めのために特化された、いくつかの新規な装置、すなわち、触覚画像（Tactile Imaging）（P. S. Wellman, E. P. Dalton, D. Krag, K. A. KernおよびR. D. Howe著"Tactile imaging of breast masses first clinical report," Archives of Surgery, vol. 136, pp. 204-208, 2001）、触覚画像装置(A. P. Miller, W. J. Peine, J. S. SonおよびZ. T. Hammoud著"Tactile imaging system for localizing lung nodules during video assisted thoracoscopic surgery," in IEEE International Conference on Robotics and Automation, pp. 2996-3001, 2007)、PVDF-sensing grippers (J. Dargahi, S. NajarianおよびR. Ramezanifard著"Graphical display of tactile sensing data with application in minimally invasive surgery,"Canadian Journal of Electrical and Computer Engineering, vol. 32, no. 3, pp. 151 - 155, 2007)、触覚検出計測(A. L. Trejos, J. Jayender, M. T. Perri, M. D. Naish, R. V. PatelおよびR. A. Malthaner著"Experimental evaluation of robot- assisted tactile sensing for minimally invasive surgery," in IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 971-976, 2008)、およびエアクッション力検出プローブ(K. Althoefer, D. Zbyszewski, H. Liu, P. Puangmali, L. Seneviratne, B. Challacombe, P. DasguptaおよびD. Murphy著"Air-cushion force sensitive probe for soft tissue investigation during minimally invasive surgery," in IEEE Conference on Sensors, pp. 827-830, 2008)が開発されてきたが、いずれも未だＲＭＩＳシステムで試験されていない。
本例は、（１）数学的人工組織モデルの妥当性、および（２）組織の硬さを表すために実時間グラフ重畳を生成し、使用者が柔らかい物質の中の眼に見えない硬い異物を識別することを可能とするモデルおよび遠隔操作ロボットについて説明する。
人工組織の正確な数学的モデルを選択するために、我々は実験的な器具-環境干渉データを解析し、７つの候補モデルを比較した。最小自乗法を使用する後処理によって、我々は、自己評価および相互評価における力推定誤差に基づいてモデルの正確さを評価した。正確さおよび柔らかい物質から硬い対象物を識別する硬さ項のために、Hunt-Crossleyモデルが選択された。長い間我々は不均一で複雑な実際の組織をモデル化することを目指していたので、両方の評価は数学的に近似した組織の動的挙動に対して有用である。
我々は、また、推定された組織の特性に基づく硬さ分布を表示するオンライングラフ重畳技術を開発してきた。色相−彩度−輝度（ＨＳＬ）表現は、環境画像上に半透明のカラー硬さマップを重畳するために使用される。色相は硬さ値に対応し、彩度は荷重ガウス関数によって算出される。触診された点からの距離に基づいて、我々は、周辺領域の信頼度レベルを定義し、それが彩度値に変換される。複数の信頼度レベルが同一点に重畳されたときは、連続的なカラーマップを生成するために色相が混合される。また、信頼度レベルは触診された点における確実性を増すために加算される。この手法は、新たなデータが追加されるたびに、実時間で繰り返される。結果的に、我々は、組織に対する手術医の視界を妨げること、あるいは手術的な計器を使用することなく、硬い異物の位置を表示する半透明カラー硬さマップを達成した。
組織モデルの選択
実際の、または、人工の組織の完全な数学モデルを見出すことはほとんど不可能であるが、組織の動的挙動を近似可能なものは存在するであろう。７つの可能なモデルが考慮されるが、他のモデルも使用可能である。器具-環境干渉データに基づいて、我々はすべてのモデルを比較し、力推定誤差に基づいて精度を評価する。
Ａ．人工組織
人工組織心臓モデルはEcoflex 0030（ＡおよびＢ部）、シリコンシィナ、およびシリコン顔料（Smooth-on Inc., Easton, PA, USA）を２４：２４：１２：１の割合で混合して製作される。石灰化した動脈を模擬するために、コーヒー攪拌ストロ（coffee stir straw）が人工組織中に埋め込まれる。我々の手術協力者が人工組織サンプルの現実的な選択をするために可能性のあるモデルを試験した。人工組織心臓モデルの直径および厚さはそれぞれ約６０ミリメートルおよび１８．５ミリメートルである。４ミリメートル径のコーヒー攪拌ストロが表面から５ミリメートルの深さに埋め込まれた。
Ｂ．モデル候補
我々は表１の７つのモデルを比較した。
Ｃ．器具-環境干渉データ
我々は、まず、器具-環境干渉データを取得するために予備的な触診実験をおこなった。図２のプラスチック円板を有する測定延長具が測定器の先端に取り付けられる。人工の石灰化した動脈の直径は４ミリメートルであり、円板は直径１０ミリメートルである。大きさと円板の平面度のために、力が加えられたときは、器具は動脈を滑り過ぎることはない。この器具は、後述するように、我々のダ・ヴィンチ手術システムの患者側操作器に取り付けられている。図２Ｂに示すように、人工心臓組織はNano１７トランスジューサ（ATI Industrial Automation, Apex, NC, USA）上に設置されたプラスチックの基板上に置かれた。
柔らかい組織および石灰化した動脈のそれぞれに５回の試行が行われた。試行の間、器具は上下動だけに制限され、システムはこの準備的な実験では１自由度を有していた。検証された位置は、広範囲のデータを獲得するために、試行ごとに相違していた。患者側操作器は主操作器により遠隔操作され、使用者は位置−位置制御装置（position-position controller）(M. Mahvash および A. M. Okamura著 "Enhancing transparency of a position-exchange teleoperator," in Second Joint Eurohaptics Conference and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems (World Haptics) , pp. 47CM75, 2007)に基づいて触覚フィードバックを受信した。器具の位置、速度および加速度ならびに人工組織に印加された力は記録された。
Ｄ．モデルの検証
我々は各試行のデータを後処理して、未知のパラメータおよび干渉力を各モデルに対して推定した。モデルの精度を検証するために、バッチ後処理が採用された。モデル１、２および４〜７は未知のパラメータについて線形であり、線形最小自乗法が使用された。
（１）式においてρは既知パラメータを含む回帰ベクトル、θは未知パラメータベクトルであり、（２）式において添え字ｋ（１≦ｋ≦ｎ）はサンプリング時間Ｔであるときのｔ＝ｋＴを表わす。
我々は、ガウス−ニュートン法による非線形最小自乗法を使用した。
ここで、以下の式を定義する。
ｋ番目の繰り返しにおいて、推定されたパラメータは次式で表わされる。
非線形最小自乗法は閉形式解を持たず、未知のパラメータに対する初期値が必要である。我々は、θ０が零ベクトルである場合にしばしば見られる極小値を回避するために、試行錯誤の結果θ０を次の値とした。
力および位置の単位は、本明細書においては、それぞれ、ニュートン、センチメートルである。繰り返し回数ｋは零から始まり、増分パラメータベクトルのノルムΔθが０，００１未満となるまで増加する。
１）自己評価：力推定値誤差は次式で定義される。
各モデルの力推定値誤差の平均および標準偏差は表１に取り纏められている。柔らかい組織および石灰化した動脈に対して５組の触診データが存在するので、平均および標準偏差は平均化された。モデルの力推定値誤差の平均および標準偏差が小さくなるほど、モデルは正確となる。したがって、モデル３、５、６および７は柔らかい組織および石灰化した動脈の双方の動特性を良く特性化するように思えるが、モデル１、２および４はそうではない。図４は器具と環境との干渉データの例示である。
図４Ａおよび４Ｂは、力推定値を算出するときに質量−ダンパ−ばねモデルを使用した場合の、柔らかい組織（Ａ）および石灰化した動脈（Ｂ）の力と時間の関係（上段）および力と変位の関係（下段）である。
２）相互評価：自己評価の結果、我々は、各モデルに対して、１回の試行から１組の推定パラメータを獲得した。相互評価においては、これらのパラメータは、他の試行における力推定値の算出に使用された。たとえば、試行１の推定パラメータベクトルは、試行１〜５における力の算出に使用された。これは、各試行に対して実行された。したがって、各モデルに対して５２＝２５の力推定値誤差が算出された。表１において、各モデルに対する力推定値誤差の平均および標準偏差は加算された。図５は、モデル１および３に対する石灰化された動脈の試行データの１つの基づく、力の測定値と推定値の比較を示す。
図５Ａおよび５Ｂは、石灰化された動脈の１つの力と時間の関係（５Ａ）および力と変位の関係（５Ｂ）である。
３）両評価の解析：自己評価においては、多項式関数モデルの次数が高くなるほど、モデルの誤差は小さくなる。モデル１、２および６は他よりも劣っている。モデル６は、自己評価は良好であるが、相互評価は良好ではない。両方の評価試験の結果、モデル３および７の双方が石灰化された動脈を有する人工組織心臓モデルに対して適切である。しかしながら、我々の目的に対しては、モデル３がより良い選択である。柔らかい周囲の材料から硬い異物を区別するために、我々は物理的に有意な相違を識別したいと考えている。表２は、モデル３および７の推定されたパラメータの要約である。
そこで、我々は、モデル３、すなわち、Hunt-Crossleyモデルを選択する。
システム設計
Ａ．遠隔操作システム
図６は、右側に主操作器および３次元表示装置が、左側に患者側操作器およびステレオカメラが示された特注のダ・ヴィンチ手術システムの概略図である。
図６に示す我々の特注のダ・ヴィンチ手術システムは、３要素主操作器、３次元表示装置および患者側操作器を含んでいる。ハードウエアはIntuitive Surgical, Inc.（会社名）によって提供され、双方向遠隔操作を達成するための特注の制御システムがJohns Hopkins大学（大学名）によって開発された。遠隔操作システムおよび制御構造の詳細は、M. Mahvash,、J. Gwilliam、 R. Agarwal、 B. Vagvolgyi、 L.-M. Su、 D. D. Yuhおよび A. M. Okamura著
"Force-feedback surgical teleoperator: Controller design and palpation experiments," in 16th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 465-471, 2008に記載されている。実験中使用者は位置−位置制御器に基づいて力フィードバックを受信するが、推定のために我々が必要なすべては器具−環境干渉データである。
Ｂ．推定技術および初期段階
我々は、実時間での未知のパラメータの推定に対してＲＬＳを適用した。ＲＬＳの高速パラメータ収束性および正確さに起因して、未知のパラメータの収束のためには１回だけの触診で十分である（T. Yamamoto、 M. Bernhardt、 A. Peer、 M. Bussおよび A. M. Okamura著 "Multi-estimator technique for environment parameter estimation during telemanipulation," in IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 217-223, 2008）。Hunt- Crossleyは非線形であるので、２つの線形推定器が使用可能となるように、未知のパラメータは分離される（N. Diolaiti、 C. Melchiorriおよび S. Stramigioli著 "Contact impedance estimation for robotic systems," IEEE Transactions on Robotics, vol. 21, no. 5, pp. 925-935, 2005）。
両方の推定器はフィードバックを介して結合される。
各時間ステップにおいて、パラメータは次式により更新される。
我々の初期推定値はモデル評価の場合と同じく、次式で与えられる。
初期収束マトリックスＰ０は、１００が乗算された恒等マトリックスである。
我々はモデルが正確であることを確認したので、忘却因子は必要ではない。したがって、β＝１とした。各位置における触診のための推定の開始および終了のために、我々は触診器具と人工組織の間の接触を検知するために力閾値を設定した。力センサからのノイズレベルを考慮して、垂直軸に沿った前回および今回の力の積が０．００２Ｎ２より大きければ、器具は環境と接触しているものと考えられる。接触が検出されたとき、推定が自動的に開始され、硬さが次節に説明するようにモニタに重畳される。視覚的重畳上での器具の振動効果を除去するために、触診点の位置は接初期状態に固定される。器具が組織から離れたときに、これは開放される。ＲＬＳのパラメータは、開放のたびにすべて初期化される。
Ｃ：ステレオカメラシステム
ステレオカメラと患者側操作器の間の座標軸は、特注の較正装置を使用してＡＸ＝ＸＢ較正法によって較正される。この較正結果はデカルト操作器器具チップ座標軸とデカルトカメラフレーム（カメラフレームは、２つのカメラの中間に中心を有する）の間の変換フレームである。他の較正段階において、我々は、プラットフォームによって定義される剛体とステレオビデオに基づいて再構成される３次元曇り点の間の位置合わせ機構を利用して、カメラフレームと重畳（環境）プラットフォームフレームとの間の変換を較正した。
実験中、重畳画像を正確に配置するために、我々は最初に器具チップ位置をロボット座標軸からカメラ座標軸に変換し、次にカメラ座標軸からプラットフォーム座標軸に変換した。プラットフォーム構成はＸ−Ｚ平面に平行であるので、我々は、変換された器具チップ位置を組織表面上に容易に投影し得た。
Ｄ：視覚的重畳法
ＨＳＬ表示を使用したカラーマップは、触診点の硬さを表示するために、ステレオカメラ画像上に重畳される。データは実時間で解析されるので、人工組織が触診されている間は、推定された硬さおよび触診位置のデータは、同時に表示コンピュータに転送され、３０ヘルツの率で半透明カラー画像重畳によって表示される。５０％の透明率で、カメラ画像は重畳画像の背後に鮮明に見ることができた。したがって、カラー硬さマップは器具の使用者の視界または人工組織の表面の特徴を覆い隠すことはない。
色相は硬さに対応し、色の範囲は緑色から黄色を通過して赤色までである。
彩度はガウス関数に基づいて算出される。ガウス分布の荷重確率分布関数を使用することにより、我々は次式により信頼度レベルを定義した。
図７Ａおよび７Ｂは、重畳する確率密度関数を加算したときの信頼度レベルのグラフ（７Ａ）、および、信頼度レベルを表わす硬さおよび彩度の変化を示す色相（７Ｂ）である。図７Ａに示すように２以上の確立密度関数が重畳したときは、単純な荷重内挿法が使用される。
合計が１より大であるならば、それは１とする。色彩の重畳を示すために、すべての画素に対して明度は０．５である。図７Ｂは、我々が我々のシステムで使用したＨＳＬ棒グラフを示している。
試験結果
図８Ａ−８Ｄは、画像中に示された下にある環境の硬さマップが展開されたときの、合成画像の図である。図８は、試行中に撮影された４枚の図を示す。
器具と人工組織の間の接触が検出されるとすぐに、半透明のカラー円板が手術医の操作卓のステレオモニタ上に表示される。１つの位置の触診は約０．５秒で十分である。図８Ａは、最初の触診の結果を示す。図８Ｂにおいて、ランダムな触診に起因していくつかの円板が存在する。現在の触診領域が、以前に触診された他の領域に近いときは、内挿法が色彩を混合し、信頼度レベルを加算するために使用される。中間結果の１つを図８Ｃに示す。この点において、垂直に中心に向かう赤色領域を見ることができる。人工組織の全表面が触診されたときに、赤色領域は、図８Ｄに示すように、非常に明確になる。人工的に石灰化された動脈の直径の２倍以上である上を覆う円の大きさに起因して、人工的の石灰化された動脈の実際の幅は４ミリメートルであるが、赤色領域の幅は約８ミリメートルである。しかし、たとえば、いったん概略の位置が識別されれば、上を覆う円の大きさあるいはガウスの標準偏差は人工的に石灰化された動脈の大きさおよび位置をより正確に検出するために小さくし得る。
この例は、組織の特性のオンライン推定のための遠隔操作される手術ロボットの使用、および手術医の表示装置上に重畳されるカラー硬さマップを使用した柔らかい材料の中に隠されている硬い異物の識別を示している。人工組織に対する７つの可能性のある数学モデルのなかで、自己評価および相互評価の双方で最も少ない力推定誤差を有し、人工組織と人工的な石灰化動脈との間で顕著な相違を示すHunt- Crossleyモデルを選択した。回帰的最小自乗法がHunt- Crossleyモデルの未知パラメータを推定するために使用された。推定された硬さは、表示コンピュータに伝送され、色相−彩度−明度マップを使用したグラフ的な覆いを生成するために、表示コンピュータに伝送される。色相のグラフ的な覆いは、硬さによって決定される。彩度に対しては、触診点からの距離に基づく荷重ガウス関数によって信頼度レベルが定義される。連続的なカラーマップを生成するために、単純な内挿法が使用される。人工組織の表面の探索により、我々は人工的石灰化動脈の位置を示すカラーマップを収集することに成功した。
我々は、力センサを既存の力推定法（P. Hacksel およびS. Salcudean著 "Estimation of environment forces and rigid-body velocities using observers," in IEEE International Conference on Robotics and Automation, pp. 931-936, 1994）に置き換えることが可能であり、我々の方法は、市販のロボットにいかなる機器をも追加することなく適用され得る。また、特殊な力検出触診器具も使用され得る。様々な手術的な計測は、画像中の計測のセグメント化および組織特性値の半透明表示上への配置によって改良され得るものである。診療応用への道筋としては、硬さマップは、コンピュータ表示または事前画像、ないしはその双方を使用して、いかなる組織表面の等高線から求めることもできる。このようなシステムは生物学的な組織で試験されるべきである。
最後に、収集された組織の特性は、自動化された診断および手術計画に使用され得るものであり、現実的な患者−特定手術シミュレータの製造のために抽出され得るものであり、さらに、双方向遠隔操作の透明性を改善するために使用され得る。
本発明は、例示のために図示された本発明の実施例によって制限されるものではなく、請求項によって定義される。当業者は、ここで議論された例に対する様々な変更および代案が本発明の一般的概念を逸脱することなく可能であることを認識するであろう。
１００...手術ロボット
１０２...主操作盤
１０４...患者側操作装置
１０６...表示装置
１０８...操作装置
１１０...操作システム
１１２...操作器具
１１４...画像システム
１１６...プロセッサ

Claims (28)

  1. 手術ロボットであって、
    少なくとも１台のカメラと、前記画像システムと交信するプロセッサと、前記プロセッサと交信する操作システムと、前記プロセッサと交信する表示装置を含む画像装置を含み、
    前記プロセッサは、器具−環境干渉データの環境モデルに基づいて環境の一領域に対して推定された機械的な特性を算出し、前記少なくとも１台のカメラからの環境画像上に重畳される機械的特性推定値の機械的特性マップを含む合成画像を生成し、前記表示装置に合成画像を出力するように動作する手術ロボット。
  2. 請求項１に記載の手術ロボットであって、前記プロセッサは、械的特性推定値の環境画像への移動に基づいて機械的特性マップを生成する手術ロボット。
  3. 請求項１に記載の手術ロボットであって、環境画像上に重畳される前記機械的特性マップの範囲は、環境画像中の前記機械的特性マップの範囲によって重畳的に表示される環境の範囲に対応する手術ロボット。
  4. 請求項３に記載の手術ロボットであって、前記機械的特性マップが色相−彩度−明度表示のカラー械的特性マップから成り、色相が前記機械的特性マップの領域に対する機械的特性値に対応し、彩度が前記機械的特性マップの領域に対する信頼度レベルに対応する手術ロボット。
  5. 請求項１に記載の手術ロボットであって、前記機械的特性マップが混合された機械的特性マップから成る手術ロボット。
  6. 請求項１に記載の手術ロボットであって、前記操作システムが、さらに、器具−環境干渉センサをさらに含む手術ロボット。
  7. 請求項６に記載の手術ロボットであって、前記器具−環境干渉センサが力センサから成り、前記器具−環境干渉データが前記操作器具によって環境に印加される力の大きさから成る手術ロボット。
  8. 請求項１に記載の手術ロボットであって、前記器具−環境干渉データが、前記操作器具によって引き起こされる環境の変位量から成る手術ロボット。
  9. 請求項１に記載の手術ロボットであって、前記プロセッサが実時間で合成画像を生成するように動作する手術ロボット。
  10. 請求項１に記載の手術ロボットであって、前記環境モデルが、力および変位変数に関連する環境の機械的特性値を使用する線形または非線形の等式から成る手術ロボット。
  11. 請求項１に記載の手術ロボットであって、前記プロセッサがさらに環境モデルおよび前記器具−環境干渉データに基づいて機械的特性を推定するために、アルゴリズムを適用するように動作する手術ロボット。
  12. 請求項１に記載の手術ロボットであって、前記機械的特性マップが３次元空間に埋め込まれた表面機械的特性マップから成る手術ロボット。
  13. 請求項１に記載の手術ロボットであって、前記環境が組織または臓器の少なくとも一方から成る手術ロボット。
  14. 請求項１に記載の手術ロボットであって、前記機械的特性が硬さである手術ロボット。
  15. 手術ロボットに使用されるデータ処理装置であって、手術ロボットから環境画像を受信し、手術ロボットから器具−環境干渉データを受信するために適用される少なくとも１つの入力ポートと、前記少なくとも１つの入力ポートと交信するオーバーレイ要素と、前記オーバーレイ要素と交信する出力ポートとを含み、
    前記オーバーレイ要素は、環境干渉データの環境モデルに基づいて環境の一領域の機械的特性推定値を演算し、眼鏡画像に重畳される機械的特性推定値の機械的特性マップを含む合成画像を生成し、合成画像を前記出力ポートに出力するために適用されるデータ処理装置。
  16. 請求項１５に記載のデータ処理装置であって、前記オーバーレイ要素が、機械的特性推定値の環境画像への移動に基づいて機械的特性マップを生成するように動作するデータ処理装置。
  17. 請求項１５に記載のデータ処理装置であって、環境画像に重畳される機械的特性マップの領域が、環境画像中の機械的特性マップの前記領域によって重畳的に表示される環境の領域に対応するデータ処理装置。
  18. 請求項１７に記載のデータ処理装置であって、前記機械的特性マップが、色相−彩度−明度表示のカラー機械的特性マップであり、彩度が前記機械的特性マップの一領域に対する機械的特性値に対応し、彩度が前記機械的特性マップの一領域に対する信頼度レベルに対応するデータ処理装置。
  19. 請求項１５に記載のデータ処理装置であって、前記機械的特性マップが混合された機械的特性マップを含むデータ処理装置。
  20. 請求項１５に記載のデータ処理装置であって、前記環境−器具干渉データが、操作システムによって環境に印加される力の大きさを含むデータ処理装置。
  21. 請求項１５に記載のデータ処理装置であって、前記環境−器具干渉データが、操作システムによって引き起こされる環境の変位量を含むデータ処理装置。
  22. 請求項１５に記載のデータ処理装置であって、前記オーバーレイ要素が、さらに合成画像を生成するために適用されるデータ処理装置。
  23. 請求項１５に記載のデータ処理装置であって、前記環境モデルが、力および変位変数に関する環境の機械的特性を使用する線形あるいは非線形の式を含むデータ処理装置。
  24. 請求項１５に記載のデータ処理装置であって、前記オーバーレイ要素が、さらに環境モデルおよび前記器具−環境干渉データを使用する機械的特性を推定するためのアルゴリズムを適用するために使用されるデータ処理装置。
  25. 請求項１５に記載のデータ処理装置であって、前記機械的特性マップが、３次元の機械的特性マップを含むデータ処理装置。
  26. 請求項１５に記載のデータ処理装置であって、前記環境が組織または臓器の少なくとも一方を含むデータ処理装置。
  27. 請求項１５に記載のデータ処理装置であって、前記機械的特性が硬さであるデータ処理装置。
  28. 計算プラットフォームで実行されたときに、環境の一領域の触診から器具−環境干渉データを決定する段階と、前記器具−環境干渉データに基づいて環境の一領域の機械的特性推定値を算出する段階と、環境画像を受信する段階と、環境上に重畳される機械的特性推定値の機械的特性マップを含む合成画像を生成する段階と、表示装置に前記合成画像を出力する段階とを含む動作を前記計算プラットフォームに実行させる命令を提供する機械読み取り可能な実体的な記憶媒体。
JP2011532328A 2008-10-20 2009-10-20 環境特性推定および画像表示 Active JP5762962B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10668308P 2008-10-20 2008-10-20
US61/106,683 2008-10-20
PCT/US2009/061297 WO2010048160A2 (en) 2008-10-20 2009-10-20 Environment property estimation and graphical display

Publications (2)

Publication Number Publication Date
JP2012506260A true JP2012506260A (ja) 2012-03-15
JP5762962B2 JP5762962B2 (ja) 2015-08-12

Family

ID=42119935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011532328A Active JP5762962B2 (ja) 2008-10-20 2009-10-20 環境特性推定および画像表示

Country Status (6)

Country Link
US (2) US8700123B2 (ja)
EP (1) EP2355711B1 (ja)
JP (1) JP5762962B2 (ja)
KR (1) KR101713676B1 (ja)
CN (1) CN102238916B (ja)
WO (1) WO2010048160A2 (ja)

Families Citing this family (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11259870B2 (en) 2005-06-06 2022-03-01 Intuitive Surgical Operations, Inc. Interactive user interfaces for minimally invasive telesurgical systems
EP2289453B1 (en) 2005-06-06 2015-08-05 Intuitive Surgical Operations, Inc. Laparoscopic ultrasound robotic surgical system
US8219178B2 (en) 2007-02-16 2012-07-10 Catholic Healthcare West Method and system for performing invasive medical procedures using a surgical robot
US10653497B2 (en) 2006-02-16 2020-05-19 Globus Medical, Inc. Surgical tool systems and methods
US10357184B2 (en) 2012-06-21 2019-07-23 Globus Medical, Inc. Surgical tool systems and method
US9782229B2 (en) 2007-02-16 2017-10-10 Globus Medical, Inc. Surgical robot platform
US10893912B2 (en) 2006-02-16 2021-01-19 Globus Medical Inc. Surgical tool systems and methods
US10532466B2 (en) * 2008-08-22 2020-01-14 Titan Medical Inc. Robotic hand controller
US8332072B1 (en) 2008-08-22 2012-12-11 Titan Medical Inc. Robotic hand controller
KR101662323B1 (ko) * 2010-05-28 2016-10-04 가천의과학대학교 산학협력단 의료 영상 장치용 3축 움직임 추적 장치 및 이를 이용한 의료 영상 보정 방법
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US9308050B2 (en) 2011-04-01 2016-04-12 Ecole Polytechnique Federale De Lausanne (Epfl) Robotic system and method for spinal and other surgeries
US9259289B2 (en) 2011-05-13 2016-02-16 Intuitive Surgical Operations, Inc. Estimation of a position and orientation of a frame used in controlling movement of a tool
KR101800189B1 (ko) 2012-04-30 2017-11-23 삼성전자주식회사 수술 로봇의 힘 제어 장치 및 방법
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US10350013B2 (en) 2012-06-21 2019-07-16 Globus Medical, Inc. Surgical tool systems and methods
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US11116576B2 (en) 2012-06-21 2021-09-14 Globus Medical Inc. Dynamic reference arrays and methods of use
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US10231791B2 (en) 2012-06-21 2019-03-19 Globus Medical, Inc. Infrared signal based position recognition system for use with a robot-assisted surgery
US11395706B2 (en) 2012-06-21 2022-07-26 Globus Medical Inc. Surgical robot platform
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US11607149B2 (en) 2012-06-21 2023-03-21 Globus Medical Inc. Surgical tool systems and method
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US11974822B2 (en) 2012-06-21 2024-05-07 Globus Medical Inc. Method for a surveillance marker in robotic-assisted surgery
US10136954B2 (en) 2012-06-21 2018-11-27 Globus Medical, Inc. Surgical tool systems and method
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US20140323904A1 (en) * 2013-04-30 2014-10-30 Elwha Llc Stabilized device for remote palpation of tissue
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
KR101483428B1 (ko) * 2013-09-30 2015-01-19 건국대학교 산학협력단 레이저 빔을 이용하여 촉감을 제공할 수 있는 수술용 로봇 장치
US9283048B2 (en) 2013-10-04 2016-03-15 KB Medical SA Apparatus and systems for precise guidance of surgical tools
US9241771B2 (en) 2014-01-15 2016-01-26 KB Medical SA Notched apparatus for guidance of an insertable instrument along an axis during spinal surgery
US10039605B2 (en) 2014-02-11 2018-08-07 Globus Medical, Inc. Sterile handle for controlling a robotic surgical system from a sterile field
US10004562B2 (en) 2014-04-24 2018-06-26 Globus Medical, Inc. Surgical instrument holder for use with a robotic surgical system
EP3169252A1 (en) 2014-07-14 2017-05-24 KB Medical SA Anti-skid surgical instrument for use in preparing holes in bone tissue
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
WO2016131903A1 (en) 2015-02-18 2016-08-25 KB Medical SA Systems and methods for performing minimally invasive spinal surgery with a robotic surgical system using a percutaneous technique
US10376335B2 (en) * 2015-05-20 2019-08-13 Siemens Healthcare Gmbh Method and apparatus to provide updated patient images during robotic surgery
US9622831B2 (en) * 2015-05-20 2017-04-18 Siemens Healthcare Gmbh Method and apparatus to provide updated patient images during robotic surgery
US10058394B2 (en) 2015-07-31 2018-08-28 Globus Medical, Inc. Robot arm and methods of use
US10646298B2 (en) 2015-07-31 2020-05-12 Globus Medical, Inc. Robot arm and methods of use
US10080615B2 (en) 2015-08-12 2018-09-25 Globus Medical, Inc. Devices and methods for temporary mounting of parts to bone
EP3344179B1 (en) 2015-08-31 2021-06-30 KB Medical SA Robotic surgical systems
US10034716B2 (en) 2015-09-14 2018-07-31 Globus Medical, Inc. Surgical robotic systems and methods thereof
US9771092B2 (en) 2015-10-13 2017-09-26 Globus Medical, Inc. Stabilizer wheel assembly and methods of use
CN105662478B (zh) * 2015-12-23 2019-01-25 电子科技大学 一种用于机器人辅助微创手术的触诊器械及使用方法
US10117632B2 (en) 2016-02-03 2018-11-06 Globus Medical, Inc. Portable medical imaging system with beam scanning collimator
US10842453B2 (en) 2016-02-03 2020-11-24 Globus Medical, Inc. Portable medical imaging system
US10448910B2 (en) 2016-02-03 2019-10-22 Globus Medical, Inc. Portable medical imaging system
US11058378B2 (en) 2016-02-03 2021-07-13 Globus Medical, Inc. Portable medical imaging system
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
US10866119B2 (en) 2016-03-14 2020-12-15 Globus Medical, Inc. Metal detector for detecting insertion of a surgical device into a hollow tube
EP3241518A3 (en) 2016-04-11 2018-01-24 Globus Medical, Inc Surgical tool systems and methods
US10531929B2 (en) * 2016-08-16 2020-01-14 Ethicon Llc Control of robotic arm motion based on sensed load on cutting tool
US10390895B2 (en) 2016-08-16 2019-08-27 Ethicon Llc Control of advancement rate and application force based on measured forces
US10918445B2 (en) 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
JP7233841B2 (ja) 2017-01-18 2023-03-07 ケービー メディカル エスアー ロボット外科手術システムのロボットナビゲーション
US11071594B2 (en) 2017-03-16 2021-07-27 KB Medical SA Robotic navigation of robotic surgical systems
DE102017005581B4 (de) 2017-06-13 2019-02-21 Kuka Deutschland Gmbh Steuern eines Roboters
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
US11135015B2 (en) 2017-07-21 2021-10-05 Globus Medical, Inc. Robot surgical platform
EP3492032B1 (en) 2017-11-09 2023-01-04 Globus Medical, Inc. Surgical robotic systems for bending surgical rods
US11357548B2 (en) 2017-11-09 2022-06-14 Globus Medical, Inc. Robotic rod benders and related mechanical and motor housings
US11794338B2 (en) 2017-11-09 2023-10-24 Globus Medical Inc. Robotic rod benders and related mechanical and motor housings
US11134862B2 (en) 2017-11-10 2021-10-05 Globus Medical, Inc. Methods of selecting surgical implants and related devices
WO2019120481A1 (en) * 2017-12-19 2019-06-27 Abb Schweiz Ag System and method for determining a transformation representation
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
KR102500422B1 (ko) 2018-03-28 2023-02-20 아우리스 헬스, 인코포레이티드 기구의 추정된 위치를 디스플레이하기 위한 시스템 및 방법
US10573023B2 (en) 2018-04-09 2020-02-25 Globus Medical, Inc. Predictive visualization of medical imaging scanner component movement
JP7146949B2 (ja) 2018-05-31 2022-10-04 オーリス ヘルス インコーポレイテッド 画像ベースの気道分析及びマッピング
US11337742B2 (en) 2018-11-05 2022-05-24 Globus Medical Inc Compliant orthopedic driver
US11278360B2 (en) 2018-11-16 2022-03-22 Globus Medical, Inc. End-effectors for surgical robotic systems having sealed optical components
US11744655B2 (en) 2018-12-04 2023-09-05 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11602402B2 (en) 2018-12-04 2023-03-14 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11918313B2 (en) 2019-03-15 2024-03-05 Globus Medical Inc. Active end effectors for surgical robots
US11419616B2 (en) 2019-03-22 2022-08-23 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11382549B2 (en) 2019-03-22 2022-07-12 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11571265B2 (en) 2019-03-22 2023-02-07 Globus Medical Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US20200297357A1 (en) 2019-03-22 2020-09-24 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11317978B2 (en) 2019-03-22 2022-05-03 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11806084B2 (en) 2019-03-22 2023-11-07 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
CN110007601B (zh) * 2019-05-06 2022-03-25 广东工业大学 一种双边遥操作系统的控制装置和设备
US11045179B2 (en) 2019-05-20 2021-06-29 Global Medical Inc Robot-mounted retractor system
US11628023B2 (en) 2019-07-10 2023-04-18 Globus Medical, Inc. Robotic navigational system for interbody implants
JP7451686B2 (ja) 2019-08-30 2024-03-18 オーリス ヘルス インコーポレイテッド 器具画像信頼性システム及び方法
EP4021331A4 (en) 2019-08-30 2023-08-30 Auris Health, Inc. SYSTEMS AND METHODS FOR WEIGHT-BASED REGISTRATION OF POSITION SENSORS
US11571171B2 (en) 2019-09-24 2023-02-07 Globus Medical, Inc. Compound curve cable chain
US11864857B2 (en) 2019-09-27 2024-01-09 Globus Medical, Inc. Surgical robot with passive end effector
US11890066B2 (en) 2019-09-30 2024-02-06 Globus Medical, Inc Surgical robot with passive end effector
US11426178B2 (en) 2019-09-27 2022-08-30 Globus Medical Inc. Systems and methods for navigating a pin guide driver
US11510684B2 (en) 2019-10-14 2022-11-29 Globus Medical, Inc. Rotary motion passive end effector for surgical robots in orthopedic surgeries
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
RU2720830C1 (ru) * 2020-03-19 2020-05-13 Ассистирующие Хирургические Технологии (Аст), Лтд Ассистирующий хирургический комплекс
US11253216B2 (en) 2020-04-28 2022-02-22 Globus Medical Inc. Fixtures for fluoroscopic imaging systems and related navigation systems and methods
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
CN111745643A (zh) * 2020-05-28 2020-10-09 西华大学 主机器人和从机器人遥操作系统位置控制方法
US11317973B2 (en) 2020-06-09 2022-05-03 Globus Medical, Inc. Camera tracking bar for computer assisted navigation during surgery
US11382713B2 (en) 2020-06-16 2022-07-12 Globus Medical, Inc. Navigated surgical system with eye to XR headset display calibration
US11877807B2 (en) 2020-07-10 2024-01-23 Globus Medical, Inc Instruments for navigated orthopedic surgeries
US11793588B2 (en) 2020-07-23 2023-10-24 Globus Medical, Inc. Sterile draping of robotic arms
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11523785B2 (en) 2020-09-24 2022-12-13 Globus Medical, Inc. Increased cone beam computed tomography volume length without requiring stitching or longitudinal C-arm movement
US11911112B2 (en) 2020-10-27 2024-02-27 Globus Medical, Inc. Robotic navigational system
US11941814B2 (en) 2020-11-04 2024-03-26 Globus Medical Inc. Auto segmentation using 2-D images taken during 3-D imaging spin
US11717350B2 (en) 2020-11-24 2023-08-08 Globus Medical Inc. Methods for robotic assistance and navigation in spinal surgery and related systems
DE202021102512U1 (de) 2021-05-07 2022-05-10 Deutsches Zentrum für Luft- und Raumfahrt e.V. Robotisches Telemanipulationssystem mit adaptierbarem Autonomiegrad, Verwendung eines robotischen Telemanipulationssystems, autonomes medizinisches Robotersystem
US11857273B2 (en) 2021-07-06 2024-01-02 Globus Medical, Inc. Ultrasonic robotic surgical navigation
US11439444B1 (en) 2021-07-22 2022-09-13 Globus Medical, Inc. Screw tower and rod reduction tool
US11918304B2 (en) 2021-12-20 2024-03-05 Globus Medical, Inc Flat panel registration fixture and method of using same
CN115005998B (zh) * 2022-08-08 2022-10-04 科弛医疗科技(北京)有限公司 一种手术机器人系统及其机械臂防干涉调整方法
CN116572249B (zh) * 2023-06-07 2024-01-02 哈尔滨理工大学 一种基于三模态切换机制的柔性机械臂遥操作控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08215211A (ja) * 1995-02-16 1996-08-27 Hitachi Ltd 遠隔手術支援装置とその方法
JP2008134373A (ja) * 2006-11-28 2008-06-12 Mitsubishi Precision Co Ltd 手術シミュレータ用生体データ作成方法及びシステム、並びに手術シミュレーション方法及び手術シミュレータ

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4144877A (en) 1976-08-12 1979-03-20 Yeda Research And Development Co. Ltd. Instrument for viscoelastic measurement
US4250894A (en) 1978-11-14 1981-02-17 Yeda Research & Development Co., Ltd. Instrument for viscoelastic measurement
IL69471A (en) 1983-08-12 1987-07-31 Benjamin Gavish Method and device for non-invasively monitoring the instantaneous fluctuations in the viscoelastic properties of a soft tissue
US4802487A (en) 1987-03-26 1989-02-07 Washington Research Foundation Endoscopically deliverable ultrasound imaging system
YU47190B (sh) 1988-02-19 1995-01-31 Institut Za Opštu I Fizičku Hemiju Uredjaj za neinvazivno akustičko ispitivanje elastičnosti mekih bioloških materijala
US5293870A (en) 1989-11-17 1994-03-15 Board Of Regents The University Of Texas System Method and apparatus for elastographic measurement and imaging
US5107837A (en) 1989-11-17 1992-04-28 Board Of Regents, University Of Texas Method and apparatus for measurement and imaging of tissue compressibility or compliance
US5099848A (en) 1990-11-02 1992-03-31 University Of Rochester Method and apparatus for breast imaging and tumor detection using modal vibration analysis
DE69216292T2 (de) 1991-05-21 1997-06-05 Jack Fisher System und Verfahren zur Messung von mechanischen Eigenschaften von elastischen Materialien
US5678565A (en) 1992-12-21 1997-10-21 Artann Corporation Ultrasonic elasticity imaging method and device
US5860934A (en) 1992-12-21 1999-01-19 Artann Corporation Method and device for mechanical imaging of breast
US5524636A (en) 1992-12-21 1996-06-11 Artann Corporation Dba Artann Laboratories Method and apparatus for elasticity imaging
US5814038A (en) 1995-06-07 1998-09-29 Sri International Surgical manipulator for a telerobotic system
US5833634A (en) 1995-11-09 1998-11-10 Uromed Corporation Tissue examination
US5916160A (en) 1996-04-09 1999-06-29 Arcan; Mircea Real-time imaging contact gauge and visual feedback interactive apparatus including same
US5839441A (en) 1996-06-03 1998-11-24 The Trustees Of The University Of Pennsylvania Marking tumors and solid objects in the body with ultrasound
US5851180A (en) 1996-07-12 1998-12-22 United States Surgical Corporation Traction-inducing compression assembly for enhanced tissue imaging
US5989199A (en) 1996-11-27 1999-11-23 Assurance Medical, Inc. Tissue examination
EP0908137A1 (en) * 1997-10-06 1999-04-14 Technologiestichting STW A method and apparatus for making an image of a lumen or other body cavity and its surrounding tissue
US6063031A (en) 1997-10-14 2000-05-16 Assurance Medical, Inc. Diagnosis and treatment of tissue with instruments
US6192143B1 (en) 1997-10-24 2001-02-20 Ultratouch Corporation Apparatus for detecting very small breast anomalies
US6351549B1 (en) 1997-10-24 2002-02-26 Ultratouch Corporation Detection head for an apparatus for detecting very small breast anomalies
US6270459B1 (en) 1998-05-26 2001-08-07 The Board Of Regents Of The University Of Texas System Method for estimating and imaging of transverse displacements, transverse strains and strain ratios
AU5117699A (en) * 1998-07-21 2000-02-14 Acoustic Sciences Associates Synthetic structural imaging and volume estimation of biological tissue organs
US8229549B2 (en) * 2004-07-09 2012-07-24 Tyco Healthcare Group Lp Surgical imaging device
US6352507B1 (en) 1999-08-23 2002-03-05 G.E. Vingmed Ultrasound As Method and apparatus for providing real-time calculation and display of tissue deformation in ultrasound imaging
AU2626401A (en) 2000-01-03 2001-07-16 Johns Hopkins University, The Surgical devices and methods of use thereof for enhanced tactile perception
US6511427B1 (en) 2000-03-10 2003-01-28 Acuson Corporation System and method for assessing body-tissue properties using a medical ultrasound transducer probe with a body-tissue parameter measurement mechanism
US6468231B2 (en) 2000-03-31 2002-10-22 Artann Laboratories Self-palpation device for examination of breast
US6371912B1 (en) 2000-04-05 2002-04-16 Duke University Method and apparatus for the identification and characterization of regions of altered stiffness
US6514204B2 (en) 2000-07-20 2003-02-04 Riverside Research Institute Methods for estimating tissue strain
US6508768B1 (en) 2000-11-22 2003-01-21 University Of Kansas Medical Center Ultrasonic elasticity imaging
US6569108B2 (en) 2001-03-28 2003-05-27 Profile, Llc Real time mechanical imaging of the prostate
US6758815B2 (en) * 2001-10-17 2004-07-06 Richard Bruce Bernardi Apparatus and method for indicating mechanical stiffness properties of body tissue
JP2003252242A (ja) * 2002-02-26 2003-09-10 Denso Corp 車両のフロントエンド構造
US7166075B2 (en) 2002-03-08 2007-01-23 Wisconsin Alumni Research Foundation Elastographic imaging of in vivo soft tissue
JP3932482B2 (ja) * 2002-10-18 2007-06-20 株式会社日立メディコ 超音波診断装置
US8079950B2 (en) * 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
US8213041B2 (en) * 2006-09-25 2012-07-03 Kyocera Mita Corporation Image forming apparatus provided with an image filing function for saving files in an organized manner

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08215211A (ja) * 1995-02-16 1996-08-27 Hitachi Ltd 遠隔手術支援装置とその方法
JP2008134373A (ja) * 2006-11-28 2008-06-12 Mitsubishi Precision Co Ltd 手術シミュレータ用生体データ作成方法及びシステム、並びに手術シミュレーション方法及び手術シミュレータ

Also Published As

Publication number Publication date
KR20110075025A (ko) 2011-07-05
EP2355711A2 (en) 2011-08-17
US8700123B2 (en) 2014-04-15
EP2355711A4 (en) 2012-04-25
CN102238916B (zh) 2013-12-04
US20110201885A1 (en) 2011-08-18
WO2010048160A3 (en) 2010-08-05
JP5762962B2 (ja) 2015-08-12
EP2355711B1 (en) 2019-09-11
CN102238916A (zh) 2011-11-09
US9867668B2 (en) 2018-01-16
KR101713676B1 (ko) 2017-03-08
US20140222025A1 (en) 2014-08-07
WO2010048160A2 (en) 2010-04-29

Similar Documents

Publication Publication Date Title
JP5762962B2 (ja) 環境特性推定および画像表示
Yamamoto et al. Tissue property estimation and graphical display for teleoperated robot-assisted surgery
Talasaz et al. Integration of force reflection with tactile sensing for minimally invasive robotics-assisted tumor localization
Schostek et al. Review on aspects of artificial tactile feedback in laparoscopic surgery
Mahvash et al. Force-feedback surgical teleoperator: Controller design and palpation experiments
Chua et al. Toward force estimation in robot-assisted surgery using deep learning with vision and robot state
Gwilliam et al. Effects of haptic and graphical force feedback on teleoperated palpation
Okamura et al. Force feedback and sensory substitution for robot-assisted surgery
Talasaz et al. Haptics-enabled teleoperation for robot-assisted tumor localization
EP4149725A2 (en) Method and system for autonomous object interaction
Huang et al. Tactile perception technologies and their applications in minimally invasive surgery: a review
Jackson et al. Needle-tissue interaction force state estimation for robotic surgical suturing
Talasaz et al. Remote palpation to localize tumors in robot-assisted minimally invasive approach
Yamamoto Applying tissue models in teleoperated robot-assisted surgery
Takács et al. The other end of human–robot interaction: Models for safe and efficient tool–tissue interactions
Trejos et al. Design of a sensorized instrument for skills assessment and training in minimally invasive surgery
Si et al. Design and Quantitative Assessment of Teleoperation-Based Human–Robot Collaboration Method for Robot-Assisted Sonography
Yasin et al. Evaluation of hybrid control and palpation assistance for situational awareness in telemanipulated task execution
Trejos et al. Force/position-based modular system for minimally invasive surgery
Guo et al. Deformation of the catheter and 3D blood vessel model for a VR-based catheter system
Li et al. Haptic feedback modalities for minimally invasive surgery
US11998289B2 (en) Method and system for autonomous therapy
Cheng Control of Teleoperation Systems for Beating-Heart Surgery
Ayob Development of hybrid force-position controller for ultrasound-guided breast biopsy robotic system
OGAWA Safety Surgery and Quantitative Pathological Evaluation Based on Haptic Technology

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131112

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140207

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140217

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140310

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140411

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150213

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150610

R150 Certificate of patent or registration of utility model

Ref document number: 5762962

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250