CN102238916B - 环境特性估计和图形显示 - Google Patents

环境特性估计和图形显示 Download PDF

Info

Publication number
CN102238916B
CN102238916B CN2009801465037A CN200980146503A CN102238916B CN 102238916 B CN102238916 B CN 102238916B CN 2009801465037 A CN2009801465037 A CN 2009801465037A CN 200980146503 A CN200980146503 A CN 200980146503A CN 102238916 B CN102238916 B CN 102238916B
Authority
CN
China
Prior art keywords
mechanical property
environment
surgical operation
instrument
operation robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009801465037A
Other languages
English (en)
Other versions
CN102238916A (zh
Inventor
阿莉森·马里科·奥卡穆拉
山本智德
巴拉日·彼得·瓦格沃尔吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Johns Hopkins University
Original Assignee
Johns Hopkins University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Johns Hopkins University filed Critical Johns Hopkins University
Publication of CN102238916A publication Critical patent/CN102238916A/zh
Application granted granted Critical
Publication of CN102238916B publication Critical patent/CN102238916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/4202—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model
    • G05B19/4207—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model in which a model is traced or scanned and corresponding data recorded
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35506—Camera images overlayed with graphics, model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37065—Map of stiffness, compliance of object
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37357—Force, pressure, weight or deflection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45117—Medical, radio surgery manipulator

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Instructional Devices (AREA)
  • Manipulator (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

一种外科手术机器人，包括：成像系统，其包括至少一个摄像机；处理器，其与成像系统通信；操纵系统，其与处理器通信；以及视觉显示器，其与处理器通信。一种处理器，其能够进行操作以基于工具-环境相互作用数据的环境模型，针对环境的区域计算硬度估计，创建包括叠加在来自至少一个摄像机的环境图像上的硬度估计的硬度图的合成图像，并且在视觉显示器上输出该合成图像。

Description

环境特性估计和图形显示
相关申请的交叉引用
本申请要求2008年10月20日提交的美国临时申请第61/106,683号的优先权，其全部内容通过引用合并于此。
按照国家科学基金颁发的批准号IIS-0347464、EEC-9731748和CNS-0722943以及国家卫生研究所颁发的批准号R01-EB002004的条款的规定，美国政府具有本发明的已支付许可，并且在有限的情形下具有要求专利所有者在合理的方面给予他人许可的权利。
技术领域
本发明涉及环境特性估计和图形显示，尤其涉及一种可进行操作以图形地显示环境特性估计的外科手术机器人。
背景技术
将本说明书中的任何位置引用的所有文献，包括文章、出版的专利申请和专利的内容，通过引用合并于此。
诸如达芬奇(直觉外科手术公司(Intuitive Surgical Inc.)，美国加利福尼亚州桑尼维尔市)的遥控机器人辅助外科手术系统相对于传统的微创手术(MIS)具有大量优点。其增强了灵敏性，使得能够进行更精密的运动，并且提供三维(3D)可视化。然而，缺乏触觉反馈被视为这种遥控机器人辅助微创手术(RMIS)系统的缺点之一(F.W.Mohr，V.FaIk，A.Diegeler，T.Walther，J.F.Gummert，J.Bucerius，S.Jacobs，和R.Autschbach，″Computer-enhanced′robotic′-cardiac surgery：experiencein 148 patients，″The Journal of Thoracic and Cardiovascular Surgery，vol.121，no.5，pp.842-853，2001)。虽然许多研究小组，例如M.Mahvash，J.Gwilliam，R.Agarwal，B.Vagvolgyi，L.-M.Su，D.D.Yuh和A.M.Okamura，″Force-feedback surgical teleoperator：Controller design andpalpation experiments，″16th Symposium on Haptic Interfaces for VirtualEnvironments and Teleoperator Systems，pp.465-471，2008；H.Mayer，I.Nagy，A.Knoll，E.U.Braun，R.Bauernschmitt和R.Lange，″Hapticfeedback in a telepresence system for endoscopic heart surgery，″Presence：Teleoperators and Virtual Environments，vol.16，no.5，pp.459-470，2007；以及M.Tavakoli，R.Patel，M.Moallem和A.Aziminejad，Haptics forTeleoperated Surgical Robotic Systems(New Frontiers in Robotics series)，World Scientific Publishing Company，2008，研究了具有用于外科手术应用的触觉反馈的遥控操作，但是稳定性和透明度之间的折中以及诸如成本、生物适应性和可消毒性的力传感器问题，使得难以开发具有逼真的触觉反馈的实用系统(基于当前在市场上可获得的外科手术机器人)(A.M.Okamura，L.N.Verner，C.E.Reiley，和M.Mahvash，″Haptics forrobot-assisted minimally invasive surgery，″Proceedings of theInternational Symposium Robotics Research，Hiroshima，Japan，Nov.26-29，2007)和(A.M.Okamura，″Haptic feedback in robot-assisted minimallyinvasive surgery，″Current Opinion in Urology，vol.19，no.1，pp.102-107，2009)。因此，使用现有的RMIS系统的外科医生原则上依赖于诸如组织变形的视觉线索来估计远程工具对组织施加多大的力。
在手术过程中，外科医生经常手动地对生物组织进行触诊以检查解剖学结构。触诊提供力位移和分布式触觉信息两者。可以通过异常组织和正常组织的诸如硬度的机械特性来区分组织异常和正常组织(例如K.Hoyt，B.Castaneda，M.Zhang，P.Nigwekar，P.A.di Sant′agnese，J.V.Joseph，J.Strang，D.J.Rubens，和K.J.Parker.Tissue elasticity properties asbiomarkers for prostate cancer.Cancer Biomark，4(4-5)：213-225，2008.Neurophys，73：88，1995)。在冠状动脉旁路移植外科手术(CABG)中，触诊对于检测在哪放置移物尤其有利。最好移植柔软的没有得病的动脉，难以在视觉上区分没有得病的动脉和钙化的动脉。不应当将移植物与钙化的动脉部分相邻地放置或者直接放置到钙化的动脉部分上。在没有力反馈的情况下，在心脏组织中找到钙化的动脉的位置是非常有挑战性的，外科医生可能不能确定最佳的吻合位置(F.W.Mohr，V.FaIk，A.Diegeler，T.Walther，J.F.Gummert，J.Bucerius，S.Jacobs，和R.Autschbach，″Computer-enhanced′robotic′cardiac surgery：experience in 148patients，″The Journal of Thoracic and Cardiovascular Surgery，vol.121，no.5，pp.842-853，2001)。
因此，存在对用于进行环境特性估计的改进的外科手术机器人、部件和方法的需要。
发明内容
根据本发明的实施例的外科手术机器人具有：成像系统，包括至少一个摄像机；处理器，其与成像系统通信；操纵系统，其与处理器通信；以及视觉显示器，其与处理器通信。处理器能够进行操作以基于工具-环境相互作用数据的环境模型，针对环境的区域计算机械特性估计，创建包括叠加在来自至少一个摄像机的环境图像上的机械特性估计的机械特性图的合成图像，并且在视觉显示器上输出合成图像。
根据本发明的实施例的与外科手术机器人一起使用的数据处理单元具有：至少一个输入端口，适合于从外科手术机器人接收环境图像，并且从外科手术机器人接收工具-环境相互作用数据；叠加部件，其与至少一个输入端口通信；以及输出端口，其与叠加部件通信。叠加部件适合于基于工具-环境相互作用数据的环境模型，针对环境的区域计算机械特性估计，创建包括叠加在环境图像上的机械特性图的合成图像，并且将合成图像输出到输出端口。
根据本发明的实施例的提供指令的有形机器可读存储介质，当由计算平台执行该指令时，该指令使计算平台执行包括如下方法的操作，该方法包括：根据对环境的区域的触诊，确定工具-环境相互作用数据；基于工具-环境相互作用数据计算环境的区域的机械特性估计；接收环境图像；生成包括叠加在环境图像上的机械特性估计的机械特性图的合成图像；以及在视觉显示器上输出合成图像。
附图说明
通过参考附图阅读下面的详细说明，可以更好地理解本发明，在附图中：
图1是根据本发明的实施例的用于组织特性估计和图形显示的外科手术机器人的示意图；
图2A、2B和2C是根据本发明的实施例的触诊工具附件的示意图；
图3是示出根据本发明的实施例的叠加在环境图像上的机械特性图的合成图像的图；
图4A和4B示出根据本发明的实施例的使用质量阻尼弹簧(mass-damper-spring)模型计算估计的力时的示出(顶部)力对经过的时间和(底部)力对位移的(4A)人造软组织和(4B)人造钙化动脉的样本图表；
图5A和5B示出根据本发明的实施例的来自一个人造钙化动脉的(5A)力对经过的时间和(5B)力对位移的力图表；
图6示出根据本发明的实施例的的达芬奇外科手术系统的定制版本的示意图，其中主操纵器和3D视觉显示系统位于右侧，而患者侧操纵器和立体摄像机在左侧；
图7A和7B示出根据本发明的实施例的(7A)对重叠概率密度函数求和时的置信水平以及(7B)指示硬度的改变的色调和指示置信水平的饱和度的图表；以及
图8A至8D是在根据本发明的实施例产生在图像中示出的下层环境的硬度图的情况下的合成图像的图。
具体实施方式
在描述在附图中示出的本发明的实施例时，为了清楚，使用特定术语。然而，本发明不旨在被限制到如此选择的特定术语。应当理解，每个具体元素包括以类似的方式工作以实现类似的目的的所有技术等同物。
图1是根据本发明的实施例的用于环境特性估计和图形显示的外科手术机器人100的示意图。外科手术机器人100包括主控制台102和患者侧操纵器104。主控制台102包括视觉显示器106和操纵器108。患者侧操纵器104包括操纵系统110。在一个实施例中，操纵系统110包括操纵工具112和成像系统114。在该实施例中，外科手术机器人100包括包含至少一个摄像机的成像系统114、与成像系统114通信的处理器116、与处理器116通信的操纵系统110和与处理器116通信的视觉显示器106。
处理器116基于工具-环境相互作用数据的环境模型针对环境的区域计算机械特性估计，创建包括叠加在来自至少一个摄像机的环境图像上的机械特性估计的机械特性图的合成图像，并且在视觉显示器106上输出合成图像。
在一个实施例中，机械特性是硬度。硬度可以是线性或非线性的。在另一实施例中，机械特性是线性或非线性阻尼。在另一实施例中，机械特性是阻尼。在另一实施例中，机械特性是可以由系统检测的，诸如但不限于硬度、阻尼或者质量等的任意机械特性。
在一个实施例中，用户可以使用外科手术机器人100提供合成图像，因此用户可以基于估计的组织硬度来识别组织异常的区域。使用来自对组织的触诊的工具-环境相互作用数据计算估计的硬度。用户操纵主控制台102的操纵器108，以手动地控制外科手术机器人100来对组织区域进行触诊。可选地，用户选择进行触诊的组织的区域，但是外科手术机器人100控制对组织区域的触诊。在另一实施例中，外科手术机器人100自动对包括组织异常区域的组织进行触诊。
为了对组织区域进行触诊，外科手术机器人100的处理器116指示操纵系统110使用操纵工具112对组织的区域进行触诊。处理器116接收触诊过程中在操纵工具112和组织之间相互作用的工具-环境相互作用数据。
工具-环境相互作用数据包括对组织区域进行触诊时的操纵工具112的位置的数据。工具-环境相互作用数据还可以包括其它数据，例如操纵工具112的速度和加速度、操纵工具112对组织施加的力、或者操纵工具112对组织引起的位移量。在操纵工具112与组织接触时，操纵工具112的许多特征也与组织的特征相对应。例如，在操纵工具112与组织接触时，操纵工具112的位置改变对应于组织的位置改变。
处理器116可以从多种源接收工具-环境相互作用数据。在一个实施例中，处理器116可以通过操纵系统110中的位置传感器，或者通过对来自成像系统114的数据的分析，知道操纵工具112的位置。处理器116监视操纵工具112的位置，并且基于操纵工具112的位置的改变计算操纵工具的速度和加速度。可选地，操纵工具112包括与处理器116通信的速度和加速度传感器。下面，关于图2A、2B和2C进一步描述其它工具-环境相互作用数据的确定。
在一次触诊过程中，处理器116接收多组工具-环境相互作用数据。然后，基于工具-环境相互作用数据，处理器116针对进行触诊的组织的区域计算表示估计的硬度的硬度估计。
为了针对组织的区域计算硬度估计，处理器116使用组织模型，并对组织模型应用工具-环境相互作用数据，以估计组织模型的未知参数。可以使用各种组织模型，例如但不限于Kelvin-Voigt模型、质量阻尼弹簧模型、Hunt-Crossley模型、二阶多项式模型、三阶多项式模型、四阶多项式模型或者二阶多项式和依赖于速度的模型。也可以使用用于估计组织模型的未知参数的各种估计技术，例如但不限于递归最小二乘、自适应识别、卡尔曼滤波器和信号处理。处理器116从估计的组织模型的未知参数获得硬度估计。
使用硬度估计和来自成像系统114的环境图像，处理器116创建合成图像。合成图像包括叠加在来自至少一个摄像机的环境图像上的硬度估计的硬度图。硬度图是组织的一个或更多个区域的计算硬度估计的图形表示，下面关于图3进一步描述硬度图。
处理器116创建合成图像，使得硬度图的各区域对应于硬度图叠加在环境图像中的环境的各区域。创建合成图像包括基于硬度估计到环境图像的转化来创建硬度图。处理器116分析环境图像，以将环境的区域转化为示出环境的区域的环境图像的区域。然后，基于该转化，处理器116创建硬度图，并且将硬度图叠加在环境图像上。处理器116以半透明的方式叠加硬度图，因此在合成图像中下层环境图像仍然是可视的。然后，在视觉显示器106上输出合成图像。根据一个实施例，处理器116实时地创建合成图像。
视觉显示器106向用户示出合成图像。视觉显示器106是立体显示器。视觉显示器106通过一个显示器针对一只眼睛的两个单独的显示器向用户示出三维立体视图。显示器中的每一个示出与针对该眼睛的环境的视点相对应的不同的合成图像。在另一实施例中，代替地，视觉显示器106是非立体显示器118。
图2A、2B和2C是根据本发明的实施例的触诊工具附件的示意图。图2A描绘了操纵工具112的附件的实施例。附件包括仪器延伸部件和透明塑料盘。如图2B所示，仪器延伸部件附连到操纵工具112。虽然在该实施例中，透明塑料盘是用于对组织进行触诊的接触点，但是盘可以由任何其它合适的材料制成，并且可以具有任何其它合适的形状。另外，代替分离的附件，可以代替地将附件包含到操纵工具112中。
如图2C所示，在一个实施例中，操纵工具112包括工具-环境相互作用传感器。工具-环境相互作用传感器是力传感器。操纵工具112被布置为由力传感器测量操纵工具112对环境施加的力。基于力传感器测量的力的改变，处理器116还可以确定操纵工具112和环境之间接触和不接触的时刻。工具-环境相互作用数据包括力传感器测量的力，处理器116基于测量的力和机器人位置计算硬度估计。
在另一实施例中，遵循M.Mahvash，J Gwilliam，R.Agarwal，B.Vagvolgyi，L.Su，D.D.Yuh，和A.M.Okamura，″Force-FeedbackSurgical Teleoperator：Controller Design and Palpation Experiments″，16th Symposium on Haptic Interfaces for Virtual Environments andTeleoperator Systems，pp.465-471，Reno，NV，March 2008的方法，不由力传感器测量，而从机器人控制器估计工具-环境相互作用力。在这种方法中，使用命令的机器人运动和实际机器人运动之间的误差来估计对机器人末端执行器施加的力。使用机器人的动态模型，在来自环境(例如组织)的力和来自机器人的内部机械部件的力(例如惯性和摩擦)之间进行区分。
在另一实施例中，从成像系统114视觉地获得工具-环境相互作用数据。处理器116指示操纵工具112对环境施加已知量的力。基于来自图像系统114的图像，处理器116识别操纵工具112和环境之间的接触。然后，处理器116可以基于对环境图像的视觉分析或者基于操纵工具112的位置数据的改变，确定由操纵工具112引起的环境中的位移量。工具-环境相互作用数据包括位移量，并且处理器116基于位移量计算硬度估计。根据另一实施例，外科手术机器人100使用工具-环境相互作用传感器和视觉地确定的工具-环境相互作用数据两者。
图3是示出根据本发明的实施例的叠加在环境图像上的硬度图的合成图像的图。处理器116根据硬度估计创建组织的硬度图。硬度图是估计的组织硬度的图形表示。在一个实施例中，硬度图是色调-饱和度-亮度(HSL)表示。色调对应于硬度值，并且使用加权高斯函数计算饱和度。基于与触诊点的距离，处理器116定义周围区域的置信水平，其被解释为饱和度值。在一个实施例中，当多个置信水平叠加在同一点时，混合色调以形成混合连续着色图。处理器116对置信水平求和，以提高触诊点处的可靠性。在一个实施例中，随着新数据的收集，处理器116实时地更新硬度图。
在一个实施例中，硬度图是三维地图(三维嵌入的表面地图)，处理器116将三维硬度图叠加在环境图像上。处理器116接收环境的立体视图。立体视图包括来自成像系统114的两个环境图像。使用立体视图，处理器116如立体视图所示地确定环境的轮廓。然后，处理器116创建合成图像，使得三维硬度图对应于环境的轮廓。
本发明的另一实施例针对一种与外科手术机器人一起使用的数据处理单元。例如，数据处理单元可以与参考图1中的外科手术机器人描述的处理器116类似。数据处理单元具有：至少一个输入端口，适合于从外科手术机器人接收环境图像，并且从外科手术机器人接收工具-环境相互作用数据；叠加部件，其与至少一个输入端口通信；以及输出端口，其与叠加部件通信。叠加部件适合于基于工具-环境相互作用数据的环境模型，针对环境的区域计算机械特性估计，创建包括叠加在环境图像上的机械特性估计的机械特性图的合成图像，并且将合成图像输出到输出端口。
本发明的另一实施例针对一种提供指令的有形机器可读存储介质，当由计算平台执行该指令时，该指令使计算平台执行包括如下方法的操作，根据本发明的一个实施例，该方法包括：根据对环境的区域的触诊，确定工具-环境相互作用数据；基于工具-环境相互作用数据计算环境的区域的机械特性估计；接收环境图像；生成包括叠加在环境图像上的机械特性估计的机械特性图的合成图像；以及在视觉显示器上输出合成图像。
示例
在外科手术过程中对组织和器官的手动触诊为临床医生提供对于诊断和外科手术计划的有价值的信息。在当今的机器人辅助微创手术系统中，缺乏可感知的触觉反馈使得检测器官中的肿瘤和心脏组织中的钙化动脉具有挑战性。该示例呈现允许操作者区分硬组织和软组织的自动化的组织特性估计方法和实时图形叠加。首先，我们用实验地评价人造组织的特性，并且比较7个可能的数学组织模型。自验证以及交叉验证确认Hunt-Crossley模型最好地描述用实验地观察到的人造组织特性，并且适合于我们的目的。其次，我们呈现使用遥控外科手术机器人对人造组织进行触诊，并且通过递归最小二乘实时地估计Hunt-Crossley模型的硬度的系统的发展。使用组织表面处的半透明盘上的色调-饱和度-亮度表示，创建表示组织硬度的实时视觉叠加。色调描绘触诊点处的硬度，并且基于与该点的距离计算饱和度。由简单的插值技术创建连续硬度彩色图。在实验中，图形叠加成功地示出了隐藏在人造组织中的人造钙化动脉的位置。
在该工作中，我们提出用于显示隐藏在软物质中的硬物体，例如心脏组织内的钙化动脉的位置的实时图形叠加技术。我们的方法使用递归最小二乘(RLS)估计组织的机械特性，同时将着色的硬度图叠加在外科医生的视觉显示器上。如图3所示，图形叠加清楚地显示人造钙化动脉的位置。另一应用是对肿瘤的在线检测。由于开发专门为进行触诊而设计的简单的力感测仪器比力感测灵敏操纵仪器更容易，因此我们提出的技术也可以作为对传统力反馈的替代来实现。
组织模型
已知人体生物组织呈现非线性特性，并且包括非均匀结构。然而，为了计算效率，许多研究者采用简单的线性组织模型。特别地，通常使用诸如弹簧模型或者Kelvin-Voigt模型的经典线性组织模型(R.Corteso，J.Park，和O.Khatib，″Real-time adaptive control for haptictelemanipulation with kalman active observers，″IEEE Transactions onRobotics，vol.22，no.5，pp.987-999，2006)(R.Corteso，W.Zarrad，P.Poignet，O.Company，和E.Dombre，″Haptic control design forrobotic-assisted minimally invasive surgery，″IEEE InternationalConference on Intelligent Robots and Systems，pp.454-459，2006)(G.DeGersem，H.V.Brussel，和J.V.Sloten，″Enhanced haptic sensitivity forsoft tissues using teleoperation with shaped impedance reflection，″WorldHaptics Conference(WHC)CD-ROM Proceedings，2005)(S.Misra和A.M.Okamura，″Environment parameter estimation during bilateraltelemanipulation，″14th Symposium on Haptic Interfaces for VirtualEnvironments and Teleoperator Systems，pp.301-307，2006)(X.Wang，P.X.Liu，D.Wang，B.Chebbi，和M.Meng，″Design of bilateral teleoperatorsfor soft environments with adaptive environmental impedanceestimation，″IEEE International Conference on Robotics and Automation，pp.1127-1132，2005)。Diolaiti等人(N.Diolaiti，C.Melchiorrl，和S.Stramigioli，″Contact impedance estimation for robotic systems，″IEEETransactions on Robotics，vol.21，no.5，pp.925-935，2005)使用Hunt-Crossley模型(K.Hunt和F.Crossley，″Coefficient of restitutioninterpreted as damping in vibroimpact，″ASME Journal of AppliedMechanics，vol.42，no.2，pp.440-445，1975)。非线性Hunt-Crossley模型考虑在Kelvin-Voigt模型中观察到的碰撞过程中的能量损失。虽然有限元建模可以提供更好的组织建模，但是其计算复杂度限制了其在实时应用的实用性。Misra等人(S.Misra，K.T.Ramesh，和A.M.Okamura，″Modeling of tool-tissue interactions for computer-based surgicalsimulation：A literature review，″Presence：Teleoperators and VirtualEnvironments，vol.17，no.5，pp.463-491，2008)回顾了关于工具-组织相互作用方法的文献。
估计技术
对于在线环境参数估计，存在几种方法，包括RLS(X.Wang，P.X.Liu，D.Wang，B.Chebbi，和M.Meng，″Design of bilateral teleoperators forsoft environments with adaptive environmental impedance estimation，″IEEE International Conference on Robotics and Automation，pp.1127-1132，2005)(N.Diolaiti，C.Melchiorri，和S.Stramigioli，″Contact impedanceestimation for robotic systems，″IEEE Transactions on Robotics，vol.21，no.5，pp.925-935，2005)(M.B.Colton和J.M.Hollerbach，″Identification of nonlinear passive devices for haptic simulations，″WHC′05：Proceedings of the First Joint Eurohaptics Conference and Symposiumon Haptic Interfaces for Virtual Environment and Teleoperator Systems，(Washington，DC，USA)，pp.363-368，IEEE Computer Society，2005)(L.J.Love和W.J.Book，″Environment estimation for enhanced impedancecontrol，″IEEE International Conference on Robotics and Automation，pp.1854-1858，1995)，自适应识别(S.Misra和A.M.Okamura，″Environment parameter estimation during bilateral telemanipulation，″14th Symposium on Haptic Interfaces for Virtual Environments andTeleoperator Systems，pp.301-307，2006)(K.Hashtrudi-Zaad和S.E.Salcudean，″Adaptive transparent impedance reflecting teleoperation，″IEEE International Conferenceon Robotics and Automation，pp.1369-1374，1996)(H.Seraji和R.Colbaugh，″Force tracking in impedance control，″IEEE Transactions on Robotics，vol.16，no.1，pp.97-117，1997)(S.K.Singh和D.O.Popa，″An analysis of some fundamental problems inadaptive control of force and impedance behavior：Theory andexperiments，″IEEE Transactions on Robotics and Automation，vol.11，no.6，pp.912-921，1995)，卡尔曼滤波器方法(R.Corteso，J.Park，和O.Khatib，″Realtime adaptive control for haptic telemanipulation withkalman active observers，″IEEE Transactions on Robotics，vol.22，no.5，pp.987-999，2006)(R.Corteso，W.Zarrad，P.Poignet，O.Company，和E.Dombre，″Haptic control design for robotic-assisted minimally invasivesurgery，″IEEE International Conference on Intelligent Robots and Systems，pp.454-459，2006)(G.De Gersem，H.V.Brussel，和J.V.Sloten，″Enhanced haptic sensitivity for soft tissues using teleoperation withshaped impedance reflection，″World Haptics Conference(WHC)CD-ROMProceedings，2005)，以及多估计器技术(T.Yamamoto，M.Bernhardt，A.Peer，M.Buss，和A.M.Okamura，″Multi-estimator technique forenvironment parameter estimation during telemanipulation，″IEEEInternational Conference on Biomedical Robotics and Biomechatronics，pp.217-223，2008)。Erickson等人(D.Erickson，M.Weber，和I.Sharf，″Contact stiffness and damping estimation for robotic systems，″TheInternational Journal of Robotics Research，vol.22，no.1，pp.41-57，2003)回顾并比较了四种方法：RLS、间接自适应控制、模型基准自适应控制和信号处理技术。他们估计环境硬度和阻尼，以改进机器人组件操作的应用的力跟踪和阻抗控制的稳定性。他们得出结论，在四种方案中，具有持久激励的间接自适应控制示出最佳性能。Yamamoto等人(T.Yamamoto，M.Bernhardt，A.Peer，M.Buss，和A.M.Okamura，″Multi-estimatortechnique for environment parameter estimation duringtelemanipulation，″IEEE International Conference on Biomedical Roboticsand Biomechatronics，pp.217-223，2008)比较了RLS、自适应识别和针对外科手术应用估计Kelvin-Voigt模型的未知参数的多估计器技术。他们推荐RLS或多估计器用于在线组织参数估计。
组织特性估计
使用超声波可以找到一些硬夹杂(hard inclusion)，先前的工作研究了使用达芬奇外科手术系统的腹腔镜检查超声波数据的直观可视化(J.Leven，D.Burschka，R.Kumar，G.Zhang，S.Blumenkranz，X.Dai，M.Awad，G.D.Hager，M.Marohn，M.Choti，C.Hasser，和R.H.Taylor，″Davinci canvas：A telerobotic surgical system with integrated，robot-assisted，laparoscopic ultrasound capability，″Medical ImageComputing and Computer-Assisted Intervention(MICCAI)，pp.811-818，2005)。一般使用超声波并且显示软组织中的应变分布的弹性图像是检测肿瘤的有效方法。弹性图像的主要缺点是计算上昂贵(J.Ophir，S.Alam，B.Garra，F.Kallel，E.Konofagou，T.Krouskop，C.Merritt，R.Righetti，R.Souchon，S.Srinivasan，和T.Varghese，″Elastography：Imaging theelastic properties of soft tissues with ultrasound，″Journal of MedicalUltrasonics，vol.29，pp.155-171，2002)。已经开发了专门对肿瘤进行定位的一些新型的设备，例如触觉成像(P.S.Wellman，E.P.Dalton，D.Krag，K.A.Kern，和R.D.Howe，″Tactile imaging of breast masses first clinicalreport，″Archives of Surgery，vol.136，pp.204-208，2001)，触觉成像系统(A.P.Miller，W.J.Peine，J.S.Son，和Z.T.Hammoud，″Tactile imagingsystem for localizing lung nodules during video assisted thoracoscopicsurgery，″IEEE International Conference on Robotics and Automation，pp.2996-3001，2007)，活动频闪成像器(M.Kaneko，C.Toya，和M.Okajima，″Active strobe imager for visualizing dynamic behavior of tumors，″IEEEInternational Conference on Robotics and Automation，pp.3009-3014，2007)，PVDF感测钳(J.Dargahi，S.Najarian，和R.Ramezanifard，″Graphical display of tactile sensing data with application in minimallyinvasive surgery，″Canadian Journal of Electrical and ComputerEngineering，vol.32，no.3，pp.151-155，2007)，触觉感测仪器(A.L.Trejos，J.Jayender，M.T.Perri，M.D.Naish，R.V.Patel，和R.A.Malthaner，″Experimental evaluation of robot-assisted tactile sensing forminimally invasive surgery，″IEEE International Conference onBiomedical Robotics and Biomechatronics，pp.971-976，2008)，以及气垫力敏感探针(K.Althoefer，D.Zbyszewski，H.Liu，P.Puangmali，L.Seneviratne，B.Challacombe，P.Dasgupta，和D.Murphy，″Air-cushionforce sensitive probe for soft tissue investigation during minimallyinvasive surgery，″in IEEE Conference on Sensors，pp.827-830，2008)，但是还未在RMIS系统中测试任何一个。
该示例描述了(1)数学人造人造组织模型的有效性，以及(2)使用该模型和遥控机器人来创建实时图形叠加以表示组织硬度，由此使得操作者能够识别软物质内的可视硬夹杂。
为了选择准确的人造组织的数学模型，我们分析了实验工具-环境相互作用数据并且比较了7个候选模型。通过使用最小二乘法进行后处理，我们基于自验证和交叉验证两者中的力估计误差评价了模型准确度。由于Hunt-Crossley模型的准确度和从软物质区分硬物体的硬度项，选择了Hunt-Crossley模型。由于我们的长期目的是对非齐次并且复杂的真实的组织进行建模，这两种验证对于对组织动态行为进行数学近似是有用的。
我们还开发出了基于估计的组织特性来显示硬度分布的在线图形叠加技术。使用色调-饱和度-亮度(HSL)表示，将半透明着色硬度图叠加在环境图像上。色调对应于硬度值，通过加权高斯函数计算饱和度。基于距触诊点的距离，我们定义周围区域的置信水平，其被解释为饱和度值。当将多个置信水平叠加在同一点时，对色调进行混合以形成连续着色图。此外，对置信水平求和，以提高触诊点处的可靠性。随着新数据的添加，实时地重复该过程。其结果是，我们实现了显示硬夹杂的位置而不遮挡外科医生对组织或外科手术仪器的观察的半透明的着色的硬度图。
组织模型选择
虽然几乎不可能找到真实组织或人造组织的完美数学模型，但是存在可以近似组织动态行为的数学模型。考虑7个可能的模型，然而可以使用其它模型。根据工具-环境相互作用数据，我们比较了所有模型，并且基于力估计误差评价了准确度。
A.人造组织
人造组织心脏模型由以24∶24∶12∶1的比率混合的Ecoflex 0030(A和B部分)、硅稀释剂和silc颜料(Smooth-on公司，美国宾夕法尼亚州伊斯顿市)制成。为了模拟钙化的动脉，在人造组织中嵌入咖啡搅拌棒。我们的外科医生合作者测试可能的模型以对人造组织样本进行实际的选择。人造组织心脏模型的直径和厚度大约分别为60mm和18.5mm。将直径为4mm的咖啡搅拌棒嵌入距表面5mm的深度。
B.模型候选对象
我们比较表I中列出的7个模型。
Figure BPA00001373394400131
是估计的工具和环境之间的相互作用力，x、
Figure BPA00001373394400132
和
Figure BPA00001373394400133
分别是工具的位置、速度和加速度。其余项，
Figure BPA00001373394400135
和β是要估计的未知参数。
表I
7个环境模型和力估计误差的平均偏差和标准偏差的比较
Figure BPA00001373394400141
C.工具-环境相互作用数据
首先，我们进行预触诊实验以获得工具-环境相互作用数据。图2A的具有塑料盘的仪器延伸附连在仪器的尖端。人造钙化动脉的直径是4mm，盘的直径是10mm。由于盘的尺寸和平坦，当施加力时工具不从动脉滑动脱离。如后面说明的，将仪器安装在我们的达芬奇外科手术系统的患者侧操纵器上。如图2B所示，将人造心脏组织放置在安装在Nano l7变换器(ATI工业自动化，美国北卡罗来纳州埃佩克斯市)上的塑料基体上。
针对软组织和钙化的动脉各进行了五个试验。在试验过程中，将仪器限制为上下运动，因此在该预实验中系统具有一个自由度。探测的位置按照试验而不同，以获得宽范围的数据。由主操纵器遥控患者侧操纵器，并且用户基于位置-位置控制器接收触觉反馈(M.Mahvash和A.M.Okamura，″Enhancing transparency of a position-exchange teleoperator，″in Second Joint Eurohaptics Conference and Symposium on HapticInterfaces for Virtual Environment and Teleoperator Systems(WorldHaptics)，pp.47CM75，2007)。记录工具的位置、速度和加速度以及对人造组织施加的力。
D.模型验证
我们对每个试验的数据进行了后处理，并且针对每个模型估计了未知参数和相互作用力。为了验证模型准确度，使用批量后处理。模型1、2和4-7的未知参数是线性的，并且使用线性最小二乘法。
θ＝(XTX)-1XTY    (2)
其中，
Figure BPA00001373394400151
在(1)中，
Figure BPA00001373394400152
是包括未知参数的回归向量，θ是未知参数向量，在(2)中，下标k(1≤k≤n)与采样时间T表示t＝kT。
因为指数，模型3的未知参数是非线性的。我们使用利用高斯-牛顿法的非线性最小二乘。定义
Figure BPA00001373394400154
其中，
Figure BPA00001373394400156
在第k次迭代时，估计的参数是
θk+1＝θk+Δθ，                 (4)
Δθ＝(JTJ)-1JTΔY，              (5)
其中，
Figure BPA00001373394400157
非线性最小二乘没有闭合形式的解，并且对于未知参数其需要初始值。我们通过试错法来设置θ0＝[0，5，0.3，1.5]T，以避免当θ0为零向量时有时观察到局部极小值。注意，在本文件中，力和位置的单位分别是牛顿和厘米。迭代次数k从0开始，并且增大，直到增量参数向量Δθ的范数小于0.001为止。
1)自验证：将力估计误差定义为
Δ y i = | f i - f ^ i | . - - - ( 6 )
在表I中总结了每个模型的力估计误差的平均偏差和标准偏差。由于针对软组织和钙化动脉有五组触诊数据，因此对平均偏差和标准偏差求平均。模型产生的力估计误差的平均偏差和标准偏差越小，其越准确。因此，模型3、5、6和7看起来较好地表征软组织和钙化动脉的动力性，而模型1、2和4则未较好地表征软组织和钙化动脉的动力性。图4示出工具和环境的相互作用数据的样本图表。
图4A和4B示出使用质量阻尼弹簧模型来计算估计的力时的示出(顶部)力对经过的时间和(底部)力对位移的(4A)软组织和(4B)钙化动脉的样本图表。
2)交叉验证：根据自验证，我们从每个模型的单个试验获得了一组估计参数。在交叉验证中，使用这些参数计算其它试验的估计的力。例如，使用来自试验1的估计的参数向量来计算试验1-5的力。针对每个试验进行该过程。因此，针对每个模型计算52＝25个力估计误差。在表I中，总结了每个模型的力估计误差的平均偏差和标准偏差。图5示出针对模型1和3基于钙化动脉的试验数据之一的测量的力和重建的力的比较。
图5A和5B示出来自钙化动脉之一的(5A)力对经过的时间和(5B)力对位移的力图表。
3)对两个验证的分析：在自验证中，多项式函数模型的阶越高，模型产生的误差越小。模型1、2和6劣于其它模型。模型6在自验证中较好，但是在交叉验证中不好。根据两个验证测试，模型3或者7适合于我们的具有钙化动脉的人造组织心脏模型。然而，对于我们的目的，模型3是更好的选择。为了从软的周围物质区分出硬夹杂，我们想要识别物理意义上的差别。表II总结了模型3和7的估计的参数。模型3的
Figure BPA00001373394400161
示出人造组织和人造钙化动脉之间的一致的差，而模型7的任何参数没有示出一致的差。因此，我们选择模型3，Hunt-Crossley模型。
表II
模型3和7的估计的参数的比较
Figure BPA00001373394400162
系统设计
A.遥控系统
图6示出达芬奇外科手术系统的定制版本的示意图，其中主操纵器和3D视觉显示系统位于右侧，而患者侧操纵器和立体摄像机在左侧。
图6所示的我们的定制版本的达芬奇外科手术系统包括三个部件：主操纵器、3D视觉系统和患者侧操纵器。硬件由直觉外科手术公司提供，定制控制系统在约翰霍普金斯大学开发以实现双向遥控。在(M.Mahvash，J.Gwilliam，R.Agarwal，B.Vagvolgyi，L.-M.Su，D.D.Yuh，和A.M.Okamura，″Force-feedback surgical teleoperator：Controller design andpalpation experiments，″16th Symposium on Haptic Interfaces for VirtualEnvironments and Teleoperator Systems，pp.465-471，2008)中总结了关于遥控系统和控制架构的更多细节。虽然用户在实验过程中基于位置-位置控制器接收力反馈，但是我们进行估计所需要的全部是工具-环境相互作用数据。
B.估计技术和初始设置
我们使用RLS实时地估计模型的未知参数。由于RLS的快速参数收敛和准确度，即使一个触诊对于未知参数的收敛就足够了(T.Yamamoto，M.Bernhardt，A.Peer，M.Buss，和A.M.Okamura，″Multi-estimatortechnique for environment parameter estimation duringtelemanipulation，″IEEE International Conference on Biomedical Roboticsand Biomechatronics，pp.217-223，2008)。由于Hunt-Crossley模型是非线性的，因此将未知参数去耦合，从而可以使用两个线性RLS估计器(N.Diolaiti，C.Melchiorri，和S.Stramigioli，″Contact impedance estimationfor robotic systems，″IEEE Transactions on Robotics，vol.21，no.5，pp.925-935，2005)：Γ1估计
Figure BPA00001373394400171
和
Figure BPA00001373394400172
而Γ2估计指数两个估计器经由反馈互连。注意，我们将位置偏移
Figure BPA00001373394400174
添加到在N.Diolaiti，C.Melchiorri，和S.Stramigioli，″Contact impedance estimation for robotic systems，″IEEETransactions on Robotics，vol.21，no.5，pp.925-935，2005中呈现的原始方法。在每一次的步骤中，如下地更新参数向量：
Figure BPA00001373394400175
其中，
Figure BPA00001373394400181
其中，β(0＜β≤1)是遗忘因子。具体地，
Figure BPA00001373394400182
Figure BPA00001373394400183
我们的初始猜值与模型验证的初始猜值相同，即θ0＝[0，5，0.3，1.5]。初始协方差矩阵P0是与100相乘的单位矩阵。由于我们验证了模型是准确的，因此不需要遗忘因子。因此，我们选择β＝1。为了开始和结束对每个位置处的触诊的估计，我们设置力阈值来检测触诊工具和人造组织之间的接触。通过考虑来自力传感器的噪声水平，如果沿着纵轴的先前的力和当前的力的积大于0.002N2，则认为工具与环境进行接触。如在下面的部分中描述的，当检测到接触时，估计自动开始，并且在监视器中叠加硬度。为了避免工具在视觉叠加上的震颤效应，在接触时固定触诊点的位置。当工具从组织离开时，将其释放。在每次释放时RLS的参数全部初始化。
C.立体摄像机系统
使用定制的校准设备，通过AX＝XB校准对立体摄像机和患者侧操纵器之间的坐标进行校准。该校准的结果是笛卡尔操纵器工具尖端坐标和笛卡尔摄像机坐标系(摄像机坐标系的中心在两个摄像机之间的中间)之间的变换坐标系。在另一校准步骤中，我们使用由平台定义的刚性体和由立体视频重构3D点云之间的刚性配准来校准摄像机坐标系和叠加(环境)平台坐标系之间的变换。
在实验过程中，为了精确地放置叠加图像，首先，我们将工具尖端位置从机器人坐标变换为摄像机坐标，然后从摄像机坐标变换为平台坐标。由于平台纹理平行于x-z平面，因此我们能够容易地将变换后的工具尖端位置投影到纹理表面上。
D.视觉叠加方法
将使用HSL表示的彩色图叠加在立体摄像机图像上，以显示触诊点的硬度。由于实时地对数据进行分析，因此在对人造组织进行触诊时，将估计的硬度和触诊位置数据同时传送到视觉计算机，并且通过以30Hz的速率进行半透明彩色图形叠加来进行显示。使用50％的透明度，摄像机图像在叠加图像后面清楚地可见。因此，着色的硬度图不遮挡用户对工具或者人造组织的表面特征的观察。
色调对应于硬度，颜色范围从绿色，通过黄色到红色。基于预触诊任务，我们将硬度
Figure BPA00001373394400191
的范围定义为从6到10。基于高斯函数计算饱和度值。使用高斯分布的加权概率分布函数，我们将置信水平定义为h(x)＝exp((x-μ)2/σ)，范围从0到1。x和μ是向量的元素，从而项(x-μ)2是触诊点的中心和周围区域之间的距离的平方。选择标准偏差σ，使得叠加圆的大小对应于触诊盘的大小。
图7A和7B示出(7A)对重叠概率密度函数求和时的置信水平以及(7B)指示硬度的改变的色调和指示置信水平的饱和度的图表。
当两个或更多个概率密度函数叠加时，如图7A所示，使用简单相加插值技术。如果和大于1，则将其截取到1。对于所有像素亮度是0.5，以彩色示出叠加。图7B示出在我们的系统中我们使用的HSL条。
实验结果
图8A至图8D是在产生图像中示出的下层环境的硬度图时各合成图像的图。图8示出在试验过程中取得的四个图片。只要一检测到工具和人造组织之间的接触，就在外科医生的控制台的立体监视器上显示半透明的着色的圆。单个位置处的每个触诊大约持续半秒。图8A示出第一次触诊的结果。在图8B中，由于随机的触诊而显示了几个圆。在当前的触诊区域靠近先前的其它触诊区域时，使用插值技术来混合颜色并对置信水平求和。在图8C中示出中间结果之一。在该点，可以看到竖直通过中心的红色区域。当对人造组织的整个表面进行了触诊时，红色区域非常明显，如图8D所示。由于直径大于人造钙化动脉的直径两倍的叠加圆的大小，因此红色区域的宽度大约是8mm，而人造钙化动脉的实际宽度是4mm。然而，例如，一旦识别出近似位置，则可以减小叠加圆的大小或高斯标准偏差，以检测人造钙化动脉的更精确的大小的位置。
该示例呈现了用于组织特性在线估计的遥控外科手术机器人的使用，以及使用叠加在外科医生的监视器上的着色的硬度图对隐藏在软物质中的硬物体的识别。在人造组织的7个可能的数学模型中，我们选择Hunt-Crossley模型，其在自验证和交叉验证中均提供最小的力估计误差，并且示出人造组织和人造钙化动脉之间的一致的差。使用递归最小二乘来估计Hunt-Crossley模型的未知参数。将估计的硬度发送到视觉计算机，以使用色调-饱和度-亮度图创建图形叠加。由硬度确定图形叠加的色调。对于饱和度，基于距触诊点的距离，由加权高斯函数定义置信水平。为了创建连续混合的着色的图，使用简单插值技术。通过在人造心脏组织的表面进行探测，我们成功获取了示出人造钙化动脉的位置的彩色图。
我们可以利用已有的力估计技术，例如(P.Hacksel和S.Salcudean，″Estimation of environment forces and rigid-body velocities usingobservers，″IEEE International Conference on Robotics and Automation，pp.931-936，1994)，来代替力传感器，使得可以在不向商用机器人添加任何设备的情况下实现我们的方法。可选地，可以使用专用的力感测触诊工具。通过在图像中分割仪器，并且将其放置在组织特性的半透明显示上，可以改进外科手术仪器的可视化。作为到临床应用的路径，使用计算机视觉、预操作图像或者两者的组合，硬度图可以遵循任何组织表面的轮廓。应当在生物组织上测试该系统。最后，可以在自动化诊断和外科手术计划中使用所获取的组织特性，针对逼真特定患者外科手术模拟器的创建提取获取的组织特性，并且用来对双向遥控器的透明度进行改进。
本发明不限于这里通过示例说明的本发明的具体实施例，而由权利要求定义。本领域普通技术人员将认识到，可以对这里讨论的示例进行各种变型和替换，而不脱离本发明的范围和一般概念。

Claims (28)

1.一种外科手术机器人，包括：
成像系统，包括至少一个立体摄像机；
处理器，其与所述成像系统通信；
操纵系统，其与所述处理器通信；以及
视觉显示器，其与所述处理器通信，
其中，所述处理器能够进行操作以：
基于工具-环境相互作用数据的环境模型，针对环境的区域计算机械特性估计；
基于来自所述至少一个立体摄像机的环境图像，确定所述环境的轮廓；
创建合成图像，其包括叠加在所述环境图像上的所述机械特性估计的机械特性图，使得所述机械特性图对应于所述环境的所述轮廓；以及
在所述视觉显示器上输出所述合成图像。
2.根据权利要求1所述的外科手术机器人，其中，所述处理器能够进行操作以基于所述机械特性估计到所述环境图像的转化来创建所述机械特性图。
3.根据权利要求1所述的外科手术机器人，其中，叠加在所述环境图像上的所述机械特性图的区域对应于所述环境图像中显示为被所述机械特性图的所述区域叠加的环境的区域。
4.根据权利要求3所述的外科手术机器人，其中，所述机械特性图包括色调-饱和度-亮度着色的机械特性图，其中，所述色调对应于所述机械特性图的区域的机械特性值，而所述饱和度对应于所述机械特性图的所述区域的置信水平。
5.根据权利要求1所述的外科手术机器人，其中，所述机械特性图包括混合机械特性图。
6.根据权利要求1所述的外科手术机器人，其中，所述操纵系统还包括工具-环境相互作用传感器。
7.根据权利要求6所述的外科手术机器人，其中，所述工具-环境相互作用传感器包括力传感器，其中，所述工具-环境相互作用数据包括所述操纵系统对所述环境施加的力的量。
8.根据权利要求1所述的外科手术机器人，其中，所述工具-环境相互作用数据包括所述操纵系统引起的所述环境中的位移量。
9.根据权利要求1所述的外科手术机器人，其中，所述处理器还能够进行操作以实时地创建所述合成图像。
10.根据权利要求1所述的外科手术机器人，其中，所述环境模型包括使用所述环境的所述机械特性将力变量和运动变量相关的线性方程或非线性方程。
11.根据权利要求1所述的外科手术机器人，其中，所述处理器还能够进行操作以应用算法，以基于所述环境模型和所述工具-环境相互作用数据来估计所述机械特性。
12.根据权利要求1所述的外科手术机器人，其中，所述机械特性图包括嵌入在三维空间中的表面机械特性图。
13.根据权利要求1所述的外科手术机器人，其中，所述环境包括组织或者器官的至少之一。
14.根据权利要求1所述的外科手术机器人，其中，所述机械特性包括硬度。
15.一种与外科手术机器人一起使用的数据处理单元，包括：
至少一个输入端口，其适合于从所述外科手术机器人接收环境的立体图像，以及从所述外科手术机器人接收工具-环境相互作用数据；
叠加部件，其与所述至少一个输入端口通信；以及
输出端口，其与所述叠加部件通信，
其中，所述叠加部件适合于基于工具-环境相互作用数据的环境模型，针对环境的区域计算机械特性估计，基于所述环境的所述立体图像确定所述环境的轮廓，创建包括叠加在所述环境图像上的所述机械特性估计的机械特性图的合成图像以使得所述机械特性图对应于所述环境的所述轮廓，并且将所述合成图像输出到所述输出端口。
16.根据权利要求15所述的数据处理单元，其中，所述叠加部件能够进行操作以基于所述机械特性估计到所述环境图像的转化来创建所述机械特性图。
17.根据权利要求15所述的数据处理单元，其中，叠加在所述环境图像上的所述机械特性图的区域对应于所述环境图像中显示为被所述机械特性图的所述区域的叠加的环境的区域。
18.根据权利要求17所述的数据处理单元，其中，所述机械特性图包括色调-饱和度-亮度着色的机械特性图，其中，所述色调对应于所述机械特性图的区域的机械特性值，而所述饱和度对应于所述机械特性图的所述区域的置信水平。
19.根据权利要求15所述的数据处理单元，其中，所述机械特性图包括混合机械特性图。
20.根据权利要求15所述的数据处理单元，其中，所述工具-环境相互作用数据包括操纵系统对所述环境施加的力的量。
21.根据权利要求15所述的数据处理单元，其中，所述工具-环境相互作用数据包括操纵系统引起的所述环境中的位移量。
22.根据权利要求15所述的数据处理单元，其中，所述叠加部件还适合于实时地创建所述合成图像。
23.根据权利要求15所述的数据处理单元，其中，所述环境模型包括使用所述环境的所述机械特性将力变量和运动变量相关的线性方程或非线性方程。
24.根据权利要求15所述的数据处理单元，其中，所述叠加部件还适合于应用算法，以使用所述环境模型和所述工具-环境相互作用数据来估计所述机械特性。
25.根据权利要求15所述的数据处理单元，其中，所述机械特性图包括3-D机械特性图。
26.根据权利要求15所述的数据处理单元，其中，所述环境包括组织或者器官的至少之一。
27.根据权利要求15所述的数据处理单元，其中，所述机械特性包括硬度。
28.一种数据处理方法，所述方法包括：
根据对环境的区域的触诊，确定工具-环境相互作用数据；
基于所述工具-环境相互作用数据计算所述环境的区域的机械特性估计；
接收环境的立体图像；
基于所述环境的所述立体图像确定所述环境的轮廓；
生成合成图像，其包括叠加在所述环境上的所述机械特性估计的机械特性图，使得所述机械特性图对应于所述环境的所述轮廓；以及
在视觉显示器上输出所述合成图像。
CN2009801465037A 2008-10-20 2009-10-20 环境特性估计和图形显示 Active CN102238916B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10668308P 2008-10-20 2008-10-20
US61/106,683 2008-10-20
PCT/US2009/061297 WO2010048160A2 (en) 2008-10-20 2009-10-20 Environment property estimation and graphical display

Publications (2)

Publication Number Publication Date
CN102238916A CN102238916A (zh) 2011-11-09
CN102238916B true CN102238916B (zh) 2013-12-04

Family

ID=42119935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801465037A Active CN102238916B (zh) 2008-10-20 2009-10-20 环境特性估计和图形显示

Country Status (6)

Country Link
US (2) US8700123B2 (zh)
EP (1) EP2355711B1 (zh)
JP (1) JP5762962B2 (zh)
KR (1) KR101713676B1 (zh)
CN (1) CN102238916B (zh)
WO (1) WO2010048160A2 (zh)

Families Citing this family (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2289454B1 (en) 2005-06-06 2020-03-25 Intuitive Surgical Operations, Inc. Laparoscopic ultrasound robotic surgical system
US11259870B2 (en) 2005-06-06 2022-03-01 Intuitive Surgical Operations, Inc. Interactive user interfaces for minimally invasive telesurgical systems
US8219178B2 (en) 2007-02-16 2012-07-10 Catholic Healthcare West Method and system for performing invasive medical procedures using a surgical robot
US10893912B2 (en) 2006-02-16 2021-01-19 Globus Medical Inc. Surgical tool systems and methods
US10653497B2 (en) 2006-02-16 2020-05-19 Globus Medical, Inc. Surgical tool systems and methods
US10357184B2 (en) 2012-06-21 2019-07-23 Globus Medical, Inc. Surgical tool systems and method
US8332072B1 (en) 2008-08-22 2012-12-11 Titan Medical Inc. Robotic hand controller
US10532466B2 (en) * 2008-08-22 2020-01-14 Titan Medical Inc. Robotic hand controller
KR101662323B1 (ko) * 2010-05-28 2016-10-04 가천의과학대학교 산학협력단 의료 영상 장치용 3축 움직임 추적 장치 및 이를 이용한 의료 영상 보정 방법
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US9308050B2 (en) 2011-04-01 2016-04-12 Ecole Polytechnique Federale De Lausanne (Epfl) Robotic system and method for spinal and other surgeries
US9259289B2 (en) 2011-05-13 2016-02-16 Intuitive Surgical Operations, Inc. Estimation of a position and orientation of a frame used in controlling movement of a tool
KR101800189B1 (ko) 2012-04-30 2017-11-23 삼성전자주식회사 수술 로봇의 힘 제어 장치 및 방법
JP2015528713A (ja) 2012-06-21 2015-10-01 グローバス メディカル インコーポレイティッド 手術ロボットプラットフォーム
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US10350013B2 (en) 2012-06-21 2019-07-16 Globus Medical, Inc. Surgical tool systems and methods
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US11607149B2 (en) 2012-06-21 2023-03-21 Globus Medical Inc. Surgical tool systems and method
US11395706B2 (en) 2012-06-21 2022-07-26 Globus Medical Inc. Surgical robot platform
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11116576B2 (en) 2012-06-21 2021-09-14 Globus Medical Inc. Dynamic reference arrays and methods of use
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US10136954B2 (en) 2012-06-21 2018-11-27 Globus Medical, Inc. Surgical tool systems and method
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US10231791B2 (en) 2012-06-21 2019-03-19 Globus Medical, Inc. Infrared signal based position recognition system for use with a robot-assisted surgery
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US11974822B2 (en) 2012-06-21 2024-05-07 Globus Medical Inc. Method for a surveillance marker in robotic-assisted surgery
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US20140323904A1 (en) * 2013-04-30 2014-10-30 Elwha Llc Stabilized device for remote palpation of tissue
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
KR101483428B1 (ko) * 2013-09-30 2015-01-19 건국대학교 산학협력단 레이저 빔을 이용하여 촉감을 제공할 수 있는 수술용 로봇 장치
US9283048B2 (en) 2013-10-04 2016-03-15 KB Medical SA Apparatus and systems for precise guidance of surgical tools
WO2015107099A1 (en) 2014-01-15 2015-07-23 KB Medical SA Notched apparatus for guidance of an insertable instrument along an axis during spinal surgery
WO2015121311A1 (en) 2014-02-11 2015-08-20 KB Medical SA Sterile handle for controlling a robotic surgical system from a sterile field
US10004562B2 (en) 2014-04-24 2018-06-26 Globus Medical, Inc. Surgical instrument holder for use with a robotic surgical system
WO2016008880A1 (en) 2014-07-14 2016-01-21 KB Medical SA Anti-skid surgical instrument for use in preparing holes in bone tissue
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
EP3258872B1 (en) 2015-02-18 2023-04-26 KB Medical SA Systems for performing minimally invasive spinal surgery with a robotic surgical system using a percutaneous technique
US9622831B2 (en) * 2015-05-20 2017-04-18 Siemens Healthcare Gmbh Method and apparatus to provide updated patient images during robotic surgery
US10376335B2 (en) * 2015-05-20 2019-08-13 Siemens Healthcare Gmbh Method and apparatus to provide updated patient images during robotic surgery
US10646298B2 (en) 2015-07-31 2020-05-12 Globus Medical, Inc. Robot arm and methods of use
US10058394B2 (en) 2015-07-31 2018-08-28 Globus Medical, Inc. Robot arm and methods of use
US10080615B2 (en) 2015-08-12 2018-09-25 Globus Medical, Inc. Devices and methods for temporary mounting of parts to bone
US10687905B2 (en) 2015-08-31 2020-06-23 KB Medical SA Robotic surgical systems and methods
US10034716B2 (en) 2015-09-14 2018-07-31 Globus Medical, Inc. Surgical robotic systems and methods thereof
US9771092B2 (en) 2015-10-13 2017-09-26 Globus Medical, Inc. Stabilizer wheel assembly and methods of use
CN105662478B (zh) * 2015-12-23 2019-01-25 电子科技大学 一种用于机器人辅助微创手术的触诊器械及使用方法
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
US11058378B2 (en) 2016-02-03 2021-07-13 Globus Medical, Inc. Portable medical imaging system
US10448910B2 (en) 2016-02-03 2019-10-22 Globus Medical, Inc. Portable medical imaging system
US10117632B2 (en) 2016-02-03 2018-11-06 Globus Medical, Inc. Portable medical imaging system with beam scanning collimator
US10842453B2 (en) 2016-02-03 2020-11-24 Globus Medical, Inc. Portable medical imaging system
US10866119B2 (en) 2016-03-14 2020-12-15 Globus Medical, Inc. Metal detector for detecting insertion of a surgical device into a hollow tube
EP3241518A3 (en) 2016-04-11 2018-01-24 Globus Medical, Inc Surgical tool systems and methods
US10531929B2 (en) * 2016-08-16 2020-01-14 Ethicon Llc Control of robotic arm motion based on sensed load on cutting tool
US10390895B2 (en) 2016-08-16 2019-08-27 Ethicon Llc Control of advancement rate and application force based on measured forces
US10918445B2 (en) 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
EP3360502A3 (en) 2017-01-18 2018-10-31 KB Medical SA Robotic navigation of robotic surgical systems
US11071594B2 (en) 2017-03-16 2021-07-27 KB Medical SA Robotic navigation of robotic surgical systems
DE102017005581B4 (de) 2017-06-13 2019-02-21 Kuka Deutschland Gmbh Steuern eines Roboters
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
US11135015B2 (en) 2017-07-21 2021-10-05 Globus Medical, Inc. Robot surgical platform
US11794338B2 (en) 2017-11-09 2023-10-24 Globus Medical Inc. Robotic rod benders and related mechanical and motor housings
US11382666B2 (en) 2017-11-09 2022-07-12 Globus Medical Inc. Methods providing bend plans for surgical rods and related controllers and computer program products
US10898252B2 (en) 2017-11-09 2021-01-26 Globus Medical, Inc. Surgical robotic systems for bending surgical rods, and related methods and devices
US11134862B2 (en) 2017-11-10 2021-10-05 Globus Medical, Inc. Methods of selecting surgical implants and related devices
WO2019120481A1 (en) * 2017-12-19 2019-06-27 Abb Schweiz Ag System and method for determining a transformation representation
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
WO2019191143A1 (en) 2018-03-28 2019-10-03 Auris Health, Inc. Systems and methods for displaying estimated location of instrument
US10573023B2 (en) 2018-04-09 2020-02-25 Globus Medical, Inc. Predictive visualization of medical imaging scanner component movement
EP3801348B1 (en) 2018-05-31 2024-05-01 Auris Health, Inc. Image-based airway analysis and mapping
US11337742B2 (en) 2018-11-05 2022-05-24 Globus Medical Inc Compliant orthopedic driver
US11278360B2 (en) 2018-11-16 2022-03-22 Globus Medical, Inc. End-effectors for surgical robotic systems having sealed optical components
US11602402B2 (en) 2018-12-04 2023-03-14 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11744655B2 (en) 2018-12-04 2023-09-05 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11918313B2 (en) 2019-03-15 2024-03-05 Globus Medical Inc. Active end effectors for surgical robots
US11382549B2 (en) 2019-03-22 2022-07-12 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11419616B2 (en) 2019-03-22 2022-08-23 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US20200297357A1 (en) 2019-03-22 2020-09-24 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11317978B2 (en) 2019-03-22 2022-05-03 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11806084B2 (en) 2019-03-22 2023-11-07 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11571265B2 (en) 2019-03-22 2023-02-07 Globus Medical Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
CN110007601B (zh) * 2019-05-06 2022-03-25 广东工业大学 一种双边遥操作系统的控制装置和设备
US11045179B2 (en) 2019-05-20 2021-06-29 Global Medical Inc Robot-mounted retractor system
US11628023B2 (en) 2019-07-10 2023-04-18 Globus Medical, Inc. Robotic navigational system for interbody implants
WO2021038495A1 (en) * 2019-08-30 2021-03-04 Auris Health, Inc. Instrument image reliability systems and methods
KR20220058569A (ko) 2019-08-30 2022-05-09 아우리스 헬스, 인코포레이티드 위치 센서의 가중치-기반 정합을 위한 시스템 및 방법
US11571171B2 (en) 2019-09-24 2023-02-07 Globus Medical, Inc. Compound curve cable chain
US11864857B2 (en) 2019-09-27 2024-01-09 Globus Medical, Inc. Surgical robot with passive end effector
US11890066B2 (en) 2019-09-30 2024-02-06 Globus Medical, Inc Surgical robot with passive end effector
US11426178B2 (en) 2019-09-27 2022-08-30 Globus Medical Inc. Systems and methods for navigating a pin guide driver
US11510684B2 (en) 2019-10-14 2022-11-29 Globus Medical, Inc. Rotary motion passive end effector for surgical robots in orthopedic surgeries
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
RU2720830C1 (ru) * 2020-03-19 2020-05-13 Ассистирующие Хирургические Технологии (Аст), Лтд Ассистирующий хирургический комплекс
US11253216B2 (en) 2020-04-28 2022-02-22 Globus Medical Inc. Fixtures for fluoroscopic imaging systems and related navigation systems and methods
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
CN111745643A (zh) * 2020-05-28 2020-10-09 西华大学 主机器人和从机器人遥操作系统位置控制方法
US11317973B2 (en) 2020-06-09 2022-05-03 Globus Medical, Inc. Camera tracking bar for computer assisted navigation during surgery
US11382713B2 (en) 2020-06-16 2022-07-12 Globus Medical, Inc. Navigated surgical system with eye to XR headset display calibration
US11877807B2 (en) 2020-07-10 2024-01-23 Globus Medical, Inc Instruments for navigated orthopedic surgeries
US11793588B2 (en) 2020-07-23 2023-10-24 Globus Medical, Inc. Sterile draping of robotic arms
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11523785B2 (en) 2020-09-24 2022-12-13 Globus Medical, Inc. Increased cone beam computed tomography volume length without requiring stitching or longitudinal C-arm movement
US11911112B2 (en) 2020-10-27 2024-02-27 Globus Medical, Inc. Robotic navigational system
US11941814B2 (en) 2020-11-04 2024-03-26 Globus Medical Inc. Auto segmentation using 2-D images taken during 3-D imaging spin
US11717350B2 (en) 2020-11-24 2023-08-08 Globus Medical Inc. Methods for robotic assistance and navigation in spinal surgery and related systems
DE202021102512U1 (de) 2021-05-07 2022-05-10 Deutsches Zentrum für Luft- und Raumfahrt e.V. Robotisches Telemanipulationssystem mit adaptierbarem Autonomiegrad, Verwendung eines robotischen Telemanipulationssystems, autonomes medizinisches Robotersystem
US11857273B2 (en) 2021-07-06 2024-01-02 Globus Medical, Inc. Ultrasonic robotic surgical navigation
US11439444B1 (en) 2021-07-22 2022-09-13 Globus Medical, Inc. Screw tower and rod reduction tool
US11918304B2 (en) 2021-12-20 2024-03-05 Globus Medical, Inc Flat panel registration fixture and method of using same
CN115005998B (zh) * 2022-08-08 2022-10-04 科弛医疗科技(北京)有限公司 一种手术机器人系统及其机械臂防干涉调整方法
CN116572249B (zh) * 2023-06-07 2024-01-02 哈尔滨理工大学 一种基于三模态切换机制的柔性机械臂遥操作控制方法

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4144877A (en) 1976-08-12 1979-03-20 Yeda Research And Development Co. Ltd. Instrument for viscoelastic measurement
US4250894A (en) 1978-11-14 1981-02-17 Yeda Research & Development Co., Ltd. Instrument for viscoelastic measurement
IL69471A (en) 1983-08-12 1987-07-31 Benjamin Gavish Method and device for non-invasively monitoring the instantaneous fluctuations in the viscoelastic properties of a soft tissue
US4802487A (en) 1987-03-26 1989-02-07 Washington Research Foundation Endoscopically deliverable ultrasound imaging system
YU47190B (sh) 1988-02-19 1995-01-31 Institut Za Opštu I Fizičku Hemiju Uredjaj za neinvazivno akustičko ispitivanje elastičnosti mekih bioloških materijala
US5293870A (en) 1989-11-17 1994-03-15 Board Of Regents The University Of Texas System Method and apparatus for elastographic measurement and imaging
US5107837A (en) 1989-11-17 1992-04-28 Board Of Regents, University Of Texas Method and apparatus for measurement and imaging of tissue compressibility or compliance
US5099848A (en) 1990-11-02 1992-03-31 University Of Rochester Method and apparatus for breast imaging and tumor detection using modal vibration analysis
EP0515091B1 (en) 1991-05-21 1997-01-02 Jack Fisher System and method for the measurement of mechanical properties of elastic materials
US5524636A (en) 1992-12-21 1996-06-11 Artann Corporation Dba Artann Laboratories Method and apparatus for elasticity imaging
US5860934A (en) 1992-12-21 1999-01-19 Artann Corporation Method and device for mechanical imaging of breast
US5678565A (en) 1992-12-21 1997-10-21 Artann Corporation Ultrasonic elasticity imaging method and device
JP3539645B2 (ja) 1995-02-16 2004-07-07 株式会社日立製作所 遠隔手術支援装置
US5814038A (en) 1995-06-07 1998-09-29 Sri International Surgical manipulator for a telerobotic system
US5833634A (en) 1995-11-09 1998-11-10 Uromed Corporation Tissue examination
US5916160A (en) 1996-04-09 1999-06-29 Arcan; Mircea Real-time imaging contact gauge and visual feedback interactive apparatus including same
US5839441A (en) 1996-06-03 1998-11-24 The Trustees Of The University Of Pennsylvania Marking tumors and solid objects in the body with ultrasound
US5851180A (en) 1996-07-12 1998-12-22 United States Surgical Corporation Traction-inducing compression assembly for enhanced tissue imaging
US5989199A (en) 1996-11-27 1999-11-23 Assurance Medical, Inc. Tissue examination
EP0908137A1 (en) 1997-10-06 1999-04-14 Technologiestichting STW A method and apparatus for making an image of a lumen or other body cavity and its surrounding tissue
US6063031A (en) 1997-10-14 2000-05-16 Assurance Medical, Inc. Diagnosis and treatment of tissue with instruments
US6351549B1 (en) 1997-10-24 2002-02-26 Ultratouch Corporation Detection head for an apparatus for detecting very small breast anomalies
US6192143B1 (en) 1997-10-24 2001-02-20 Ultratouch Corporation Apparatus for detecting very small breast anomalies
US6270459B1 (en) 1998-05-26 2001-08-07 The Board Of Regents Of The University Of Texas System Method for estimating and imaging of transverse displacements, transverse strains and strain ratios
US6585647B1 (en) * 1998-07-21 2003-07-01 Alan A. Winder Method and means for synthetic structural imaging and volume estimation of biological tissue organs
US8229549B2 (en) 2004-07-09 2012-07-24 Tyco Healthcare Group Lp Surgical imaging device
US6352507B1 (en) 1999-08-23 2002-03-05 G.E. Vingmed Ultrasound As Method and apparatus for providing real-time calculation and display of tissue deformation in ultrasound imaging
AU2624701A (en) 2000-01-03 2001-07-16 Johns Hopkins University, The Intraoperative microsurgical ultrasonic device and methods
US6511427B1 (en) 2000-03-10 2003-01-28 Acuson Corporation System and method for assessing body-tissue properties using a medical ultrasound transducer probe with a body-tissue parameter measurement mechanism
US6468231B2 (en) 2000-03-31 2002-10-22 Artann Laboratories Self-palpation device for examination of breast
US6371912B1 (en) 2000-04-05 2002-04-16 Duke University Method and apparatus for the identification and characterization of regions of altered stiffness
US6514204B2 (en) 2000-07-20 2003-02-04 Riverside Research Institute Methods for estimating tissue strain
US6508768B1 (en) 2000-11-22 2003-01-21 University Of Kansas Medical Center Ultrasonic elasticity imaging
US6569108B2 (en) 2001-03-28 2003-05-27 Profile, Llc Real time mechanical imaging of the prostate
US6758815B2 (en) 2001-10-17 2004-07-06 Richard Bruce Bernardi Apparatus and method for indicating mechanical stiffness properties of body tissue
JP2003252242A (ja) * 2002-02-26 2003-09-10 Denso Corp 車両のフロントエンド構造
US7166075B2 (en) 2002-03-08 2007-01-23 Wisconsin Alumni Research Foundation Elastographic imaging of in vivo soft tissue
JP3932482B2 (ja) * 2002-10-18 2007-06-20 株式会社日立メディコ 超音波診断装置
US8079950B2 (en) 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
US8213041B2 (en) * 2006-09-25 2012-07-03 Kyocera Mita Corporation Image forming apparatus provided with an image filing function for saving files in an organized manner
JP2008134373A (ja) * 2006-11-28 2008-06-12 Mitsubishi Precision Co Ltd 手術シミュレータ用生体データ作成方法及びシステム、並びに手術シミュレーション方法及び手術シミュレータ

Also Published As

Publication number Publication date
US20110201885A1 (en) 2011-08-18
KR101713676B1 (ko) 2017-03-08
US8700123B2 (en) 2014-04-15
WO2010048160A2 (en) 2010-04-29
WO2010048160A3 (en) 2010-08-05
KR20110075025A (ko) 2011-07-05
JP5762962B2 (ja) 2015-08-12
US20140222025A1 (en) 2014-08-07
US9867668B2 (en) 2018-01-16
EP2355711B1 (en) 2019-09-11
EP2355711A4 (en) 2012-04-25
CN102238916A (zh) 2011-11-09
JP2012506260A (ja) 2012-03-15
EP2355711A2 (en) 2011-08-17

Similar Documents

Publication Publication Date Title
CN102238916B (zh) 环境特性估计和图形显示
Yamamoto et al. Tissue property estimation and graphical display for teleoperated robot-assisted surgery
EP1033564B1 (en) Method and system for wear testing a seat by simulating human seating activity and robotic human body simulator for use therein
EP2942029A1 (en) Surgical robots and control methods thereof
AU2013265396B2 (en) System and method for estimating the spatial position of a tool within an object
Mahvash et al. Force-feedback surgical teleoperator: Controller design and palpation experiments
US20100168918A1 (en) Obtaining force information in a minimally invasive surgical procedure
Chua et al. Toward force estimation in robot-assisted surgery using deep learning with vision and robot state
Talasaz et al. Haptics-enabled teleoperation for robot-assisted tumor localization
US20220387118A1 (en) Method and system for autonomous therapy
Chalasani et al. Concurrent nonparametric estimation of organ geometry and tissue stiffness using continuous adaptive palpation
Kennedy et al. A novel approach to robotic cardiac surgery using haptics and vision
Li et al. A novel tumor localization method using haptic palpation based on soft tissue probing data
Talasaz et al. Remote palpation to localize tumors in robot-assisted minimally invasive approach
Jackson et al. Needle-tissue interaction force state estimation for robotic surgical suturing
Trejos et al. Design of a sensorized instrument for skills assessment and training in minimally invasive surgery
Takács et al. The other end of human–robot interaction: Models for safe and efficient tool–tissue interactions
Sornkarn et al. The efficacy of interaction behavior and internal stiffness control for embodied information gain in haptic perception
Cacciotti et al. Enhancing force feedback in teleoperated needle insertion through on-line identification of the needle-tissue interaction parameters
Pérez et al. Force feedback algorithms for master slave surgical systems
Hu et al. Coordinate Calibration of a Dual-Arm Robot System by Visual Tool Tracking
US20240013901A1 (en) Systems and methods for planning a medical environment
Taner Development and experimental verification of the stiffness matrix of the HIPHAD haptic device
Hu et al. Occlusion-Robust Autonomous Robotic Manipulation of Human Soft Tissues With 3D Surface Feedback
Amirkhani et al. Soft tissue modeling using ANFIS for training diagnosis of breast cancer in haptic simulator

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant