CN103251455B - 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵 - Google Patents

医用机器人系统中的计算机显示屏上的辅助图像显示和操纵 Download PDF

Info

Publication number
CN103251455B
CN103251455B CN201310052673.7A CN201310052673A CN103251455B CN 103251455 B CN103251455 B CN 103251455B CN 201310052673 A CN201310052673 A CN 201310052673A CN 103251455 B CN103251455 B CN 103251455B
Authority
CN
China
Prior art keywords
display
assistant images
anatomical structure
image
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310052673.7A
Other languages
English (en)
Other versions
CN103251455A (zh
Inventor
B·霍夫曼
R·库马
D·拉金
G·普林斯科
N·斯瓦厄普
G·张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN103251455A publication Critical patent/CN103251455A/zh
Application granted granted Critical
Publication of CN103251455B publication Critical patent/CN103251455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/71—Manipulators operated by drive cable mechanisms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B18/1482—Probes or electrodes therefor having a long rigid shaft for accessing the inner body transcutaneously in minimal invasive surgery, e.g. laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00571—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
    • A61B2018/00577—Ablation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00571—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
    • A61B2018/00595—Cauterization
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00982—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body combined with or comprising means for visual or photographic inspections inside the body, e.g. endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00994—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body combining two or more different kinds of non-mechanical energy or combining one or more non-mechanical energies with ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B2090/101—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis for stereotaxic radiosurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N7/00—Ultrasound therapy
    • A61N7/02—Localised ultrasound hyperthermia
    • A61N7/022—Localised ultrasound hyperthermia intracavitary
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Plasma & Fusion (AREA)
  • Otolaryngology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Manipulator (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgical Instruments (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

为了帮助外科医生进行医疗程序，一般表示正被治疗的解剖结构的内部细节的辅助图像被显示在计算机显示屏上，并由外科医生操纵来补充一般只是解剖结构的外视图的主图像。在第一模式控制机器人手臂的主输入设备可以由外科医生转换至第二模式，以便替换用作类似鼠标的定位设备，用以帮助该外科医生进行这种辅助信息的显示和操纵。

Description

医用机器人系统中的计算机显示屏上的辅助图像显示和操纵
本申请是申请日为2006年10月19的名称为：“医用机器人系统中的计算机显示屏上的辅助图像显示和操纵”的中国专利申请200680038944.1的分案申请。
相关申请的横向参考
本申请要求2005年10月20日提交的美国临时申请S.N.60/728,450的优先权，该申请通过参考并入本文。
技术领域
本发明一般涉及医用机器人系统，更具体地涉及辅助图像在医用机器人系统中计算机显示屏上的显示和操纵。
背景技术
诸如那些用于执行微创外科手术过程的医用机器人系统对传统开放式外科技术提供了许多的好处，包括较少的疼痛、更短的住院时间、更快地恢复到正常活动，最小的伤疤、减少的恢复时间以及对组织具有较少的损伤。因此，对利用医用机器人系统进行微创外科手术的需求是很强烈且不断增大的。
医用机器人系统的一个示例是美国加利福尼亚州Sunnyvale的直观外科手术公司(IntuitiveSurgical，Inc.)的外科手术系统，这个系统包括外科医生控制台、病人手推车、高性能3D显示系统，以及直观外科手术公司专有的EndoWristTM关节连接器械，这些器械按照人类腕关节模制，所以当被添加到固定所述外科手术器械的机器人手臂装置的动作时，它们允许至少完整6个自由度的动作，而这和开放式外科手术的正常动作相当。
外科医生控制台具有一个高分辨率立体视频显示屏，其具有两个步进扫描阴极射线管(CRT)。该系统提供了比偏光(polarization)、快门眼镜(shuttereyeglass)或其它技术更高的保真度。通过物镜和一系列反射镜，每个眼睛观察呈现左眼或右眼观察范围的独立的CRT。在整个手术中，外科医生舒适地坐着观察这一显示器，这样就使得这里成为外科医生显示和操纵三维手术中图像的理想位置。
除了显示在显示屏上的主图像，同样经常需要能够同时观察辅助信息来获得更好的理解或者帮助正在处理的医疗程序。辅助信息可以各种模式提供，例如文本信息，条形图，二维画中画图像，以及相对于它们的主图像副本对准且完全重叠的二维或三维图像。
对于辅助图像，这些图像可以通过利用例如超声波扫描术、磁共振成像、计算机化轴向X线断层摄影术以及荧光透视法等技术在手术前或手术中获得，以便提供正接受治疗的解剖结构的内部细节。该信息然后被用于补充该解剖结构的外部视图，如由局部放置的照相机获得的视图。
虽然存在过多的辅助信息源以及显示这种信息的方式，对辅助图像的显示和操纵的改进对于更好地帮助外科医生利用医用机器人系统执行医疗程序仍然是有用的。
发明内容
因此，本发明的各个方面的一个目的是一种方法，该方法用于将包括治疗过程的效果的辅助信息显示为此时由治疗程序所治疗的解剖结构的图像的覆盖图或者与此时由所述程序所治疗的解剖结构的图像另外相关联的覆盖图。
本发明的各个方面的另一个目的是一种方法，该方法用于以用户指定的放大因数将解剖结构的辅助图像的体绘制的用户选定部分显示为计算机显示屏上的与解剖结构的主图像对准的覆盖图。
本发明的各个方面的另一个目的是一种医用机器人系统，其具有主输入设备，该主输入设备可以用于手动地在计算机显示器的三维空间内对准图像。
本发明的各个方面的另一个目的是一种医用机器人系统，其具有主输入设备，该主输入设备可以用于限定在计算机显示器的三维空间内解剖结构的体绘制的剖面。
本发明的各个方面的另一个目的是一种医用机器人系统，其具有主输入设备，该主输入设备可以用于选择性地修改计算机显示器的三维空间内的解剖结构的体绘制的各部分或细节。
本发明的各个方面的另一个目的是一种医用机器人系统，其具有主输入设备，该主输入设备可以用于改变在计算机显示屏上显示的解剖结构的体绘制的参数。
本发明的各个方面的又一个目的是一种医用机器人系统，其具有主输入设备，该主输入设备可以在图像获取模式以及图像操纵模式之间切换，在所述图像获取模式中所述主输入设备控制图像获取设备的移动，在所述图像操纵模式中，所述主输入设备控制由所述图像获取设备获取的图像在计算机显示屏上的显示和操纵。
这些以及其他目的通过本发明的各个方面来实现，其中简单地说，一个方面是在计算机显示屏上显示通过治疗仪器施加到解剖结构上的治疗程序的效果的方法，该方法包括：生成辅助图像，该辅助图像指示通过治疗仪器施加到解剖结构上的治疗程序的效果；并且在所述治疗程序期间，在计算机显示屏上显示被所述辅助图像覆盖的解剖结构的主图像。
另一个方面是一种用于在计算机显示屏上将解剖结构的辅助图像的选定部分显示为解剖结构的主图像的覆盖图的方法，所述方法包括：将可移动窗与定位设备相关联，以便所述可移动窗可以利用所述定位设备在所述计算机显示屏上定位；将解剖结构的辅助图像与所述解剖结构的主图像相对准，以便在共同的坐标系内处于相同的位置和方位；以及在所述计算机显示屏上显示所述主图像，并且将所述对准的辅助图像的一部分显示为所述可移动窗中的主图像的覆盖图，其中所述辅助图像的一部分对应于所述可移动窗的相同坐标。
又一方面是一种医用机器人系统，该系统包括：用于获取图像的图像获取设备；固定所述图像获取设备的机器人手臂；计算机显示屏；适合于由用户以多个自由度运动来操纵的主输入设备；以及一个处理器，该处理器被配置成当所述主输入设备处于图像获取模式时根据主输入设备的用户操纵来控制所述图像获取设备的移动，以及当所述主输入设备处于图像操纵模式时根据主输入设备的用户操纵来控制从获取的图像中得到的图像在计算机显示屏上的显示。
本发明的各个方面的其他目的、特征以及优势从下面本发明的优选实施例的描述与附图的结合中将会变得很明显。
附图说明
图1图解说明采用了利用本发明的各个方面的医用机器人系统的手术室的俯视图。
图2图解说明了利用本发明的各个方面的医用机器人系统的结构图。
图3图解说明了可用于利用本发明的各个方面的医用机器人系统的腹腔镜超声波探测器。
图4图解说明了利用本发明的各个方面，在计算机显示屏上显示由治疗仪器施加至解剖结构上的治疗程序的效果的方法的流程图。
图5图解说明了解剖结构的外部视图，其中治疗仪器插入所述解剖结构用于执行治疗程序。
图6图解说明了解剖结构的内部视图，其中可辨别的治疗效果显示为由治疗传感设备所获取。
图7图解说明了一种计算机显示屏，该显示屏显示由一种利用本发明的各个方面的方法生成的、由所述治疗程序所医治的解剖结构的治疗程序的效果。
图8图解说明了一种方法的流程图，所述方法利用本发明的各个方面，在计算机显示屏上、在用户可移动的放大镜内显示解剖结构的辅助图像的选定部分。
图9图解说明了一种方法的流程图，所述方法利用本发明的各个方面，以一个指定的放大因数显示解剖结构的内部视图的可操纵窗。
图10图解说明了解剖结构的辅助图像和呈现不同的放大因数的辅助图像的同心区域，用于通过利用本发明的各个方面的方法在计算机显示屏上、在一个放大镜内的显示。
图11图解说明了一种计算机显示屏，在该显示屏上，在放大透镜内观察解剖结构的主图像和所述解剖结构的辅助图像的覆盖部分，如由利用本发明的各个方面的方法显示的。
图12图解说明了一种方法的流程图，该方法由医用机器人系统内的处理器执行，用于利用本发明的各个方面操纵显示在计算机显示屏上的物体。
具体实施方式
图1作为示例图解说明了采用医用机器人系统的手术室的俯视图。在此情形中所述医用机器人系统是微创机器人外科手术(MIRS)系统100，其包括由外科医生(S)使用的控制台(C)，同时在一个或多个助手(A)的帮助下，对一个躺在手术台(O)上的病人(P)执行微创诊断或外科手术程序。
控制台包括主显示器104(在本文中也被称作“显示屏”或“计算机显示屏”)，用于给外科医生显示病人体内手术部位的一个或多个图像，以及可能的其他信息。同样包括的是主输入设备107，108(在本文中也被称作“主操纵器”)，一个或多个脚踏板105，106，用于接收来自外科医生的声音命令的麦克风103，以及处理器102。主输入设备107，108可以包括许多种输入设备中的任意一个或多个，所述多种输入设备例如操纵杆、手套、扳机枪、手持控制器、夹具(gripper)等等。处理器102优选是可以集成在控制台内或者以常规方式另外连接到控制台的个人电脑。
外科医生通过操纵主输入设备107，108来利用MIRS系统100执行医疗程序，从而处理器102促使这些主输入设备各自关联的从动臂121，122相应地操纵它们各自可拆装地连接和固定的外科手术仪器138，139(在本文中也被称作“工具”)，同时外科医生可以在主显示器104上观察手术部位的三维(3D)图像。
工具138，139优选是直观外科手术公司专有的EndoWristTM关节仪器，其模仿人类腕关节，所以在附加到固定所述工具的机器人手臂的动作之后，它们可以允许至少完整六个自由度的动作，这可以与开放式外科手术的正常动作相匹敌。这种工具的其他细节可以在共同拥有的名为“具有更强灵巧性和灵敏度的用于执行微创外科手术的手术仪器的腕关节机构(WristMechanismforSurgicalInstrumentforPerformingMinimallyInvasiveSurgerywithEnhancedDexterityandSensitivity)”的第5,797,900号美国专利中找到，这篇专利通过参考并入本文。在每一个工具138，139的操作末端是一个可操纵的末端执行器，例如夹子，抓紧器、剪刀，订书机，刀片，针，针托，或者供电探测器(energizableprobe)等。
主显示器104具有高分辨率立体视频显示器，具有两个步进扫描阴极射线管(CRT)。该系统提供了比偏光、快门眼镜或其它技术更高的保真度。通过物镜和一系列反射镜，每个眼睛观察一个呈现左边或右边眼睛观察范围的独立的CRT。在整个手术过程中，外科医生可以舒服地坐着观察显示器，这样就使得这里成为外科医生显示和操纵三维手术中图像的理想位置。
立体内窥镜140为处理器102提供右照相机视图和左照相机视图，以便该处理器可以根据程序化的指令来处理信息，并使其显示在主显示器104上。腹腔镜超声(LUS)探测器150为处理器102提供解剖结构的二维(2D)超声波图像切片，以便处理器102可以生成三维超声波计算机模型或解剖结构的体积绘制。
每一个工具138，139以及内窥镜140和LUS探测器150，优选通过套管或套管针(未示出)或者其他工具引导件被插入病人体内，以便通过相应的微创切口(例如切口161)延伸至手术部位。每一个从动臂121-124包括从动操纵器和调整臂。从动操纵臂可以利用电机控制接头(也被称作“活动接头”)自动地移动，以便操纵和/或移动他们各自固定的工具。调整臂可以通过正常释放制动的接头(也被称作“调整接头”)被手动操纵，从而水平和垂直地定位从动臂121-124，以便他们各自的工具可以被插入套管内。
同时使用的外科手术工具的数量并且因此用于系统100中的从动臂的数量除其它因素外通常取决于将要执行的医疗程序以及手术室内的空间限制。如果需要改变一个或多个在程序中使用的工具，助手可以从从动臂上移除不再使用的工具，并用另外的工具来替代，例如在手术室内的盘子(T)中的工具131。
优选地，主显示器104位于外科医生手附近的位置，以便其可以显示定向的投影图像，从而使得外科医生感受到他或她实际上是径直向下观察手术部位。最后，工具138，139的图像优选看起来像是基本上处于外科医生手所在的位置，即使观察点(即内窥镜140和LUS探测器150的观察点)并不是来自图像的观察点。
另外，实时图像优选投影到透视图中，以便外科医生能够通过关联的主输入设备107或108，来操作工具如138或139的末端执行器，好像观察基本真实呈现的工作场所。真实的呈现的意思是图像的呈现是模拟实际操纵工具的操作者的视点的真实透视图。因此，处理器102将工具的坐标转换成感知位置，以便该透视图是在一个开腔外科手术过程中一个人以外科医生眼睛的水平在内窥镜140直接观察工具的时候所可以看到图像。
处理器102在系统100内执行各种功能。其执行的一个重要的功能是通过总线110上的控制信号，转换主输入设备107和108的机械运动并将其传递到它们关联的从动臂121和122上，以便外科医生有效地操纵它们各自的工具138和139。另一个重要的功能是实现本文参考图4-12所描述的各种方法。
虽然描述为处理器，应该理解的是处理器102在实际中可以通过硬件、软件和固件的任意组合来实现。同样，本文所描述的它的功能可以通过一个单元来实现，或者分成不同的部分，每一个部分也可以由硬件、软件和固件的任意组合来实现。当分成不同的部分的时候，各个部分可以集中在一个位置或者为了分布式处理的目的而分布在整个系统100上。
在执行医疗程序之前，LUS探测器150获取的超声波图像，立体内窥镜140获取的右2D照相机图像和左2D照相机图像，以及使用从动臂121-124的运动学和其感测的接头位置确定的末端执行器的位置和方位，被校准并相互对准。
从动臂123和124可以用与从动臂121和122操纵工具138和139相同的方式来操纵内窥镜140和LUS探测器150。但是，当系统中仅存在两个主输入设备的时候，例如系统100中的主输入设备107，108，为了让外科医生可以手动控制内窥镜140或LUS探测器150的运动，需要临时将主输入设备107和108中的一个主输入设备和外科医生需要手动控制的内窥镜140或LUS探测器150相关联，同时其之前关联的工具和从动操纵器被锁定在适当位置。
虽然没有在这个示例中示出，但解剖结构的主图像和辅助图像的其他来源可以包括在系统100中，例如那些通常用于获取超声波，磁共振，计算机化轴向X线断层摄影术，以及荧光透视成像。这些成像来源中的每一个都可以在手术前使用，以及在适当和实用的时候可以在手术中使用。
图2作为示例图解说明了系统100的模块图。在这个系统中，存在两个主输入设备107和108。主输入设备107根据其控制转换机构211所处的模式来控制工具138或立体内窥镜140的运动，主输入设备108根据其控制转换机构231所处的模式来控制工具139或LUS探测器150的运动。
控制转换机构211和231可以由外科医生通过采用以下方式被设置在第一或第二模式：声音命令、实际设置在主输入设备107和108上或其附近的开关、控制台上的脚踏板105和106、或者外科医生对适当图标的选择或者显示在主显示器104或辅助显示器(未示出)上的其他图形化用户接口选择装置。
当控制转换机构211被设置在第一模式下时，其引起主控制器202与从控制器203通信，以便外科医生对主输入107的操纵可以导致通过从动臂121的工具138的相应运动，同时内窥镜140被锁定在合适位置。另一方面，当控制转换机构211设置在第二模式时，其引起主控制器202和从控制器233通信，以便外科医生对主输入107的操纵可以导致由从动臂123的内窥镜140的相应运动，同时工具138被锁定在适当位置。
同样地，当控制转换机构231设置在第一模式时，其引起主输入控制器108和从控制器223通信，以便外科医生对主输入108的操纵可以导致从动臂122的工具139的相应运动。但是，在这种情况下，LUS探测器150没必要锁定在适当位置。其运动可以由辅助控制器242根据存储在存储器240中的指令来引导。辅助控制器242同样通过主输入108提供触觉反馈给外科医生，这种触觉反馈反映了LUS探测器压力传感器247的读数。另一方面，当控制转换机构231设置在第二模式时，其引起主控制器108和从控制器243通信，以便外科医生对主输入108的操纵可以导致从动臂124的LUS探测器150的相应运动，同时工具139被锁定在适当位置。
在控制转换机构实现转换回其第一或正常模式时，其关联的主输入设备优选重新设置在其转换之前的位置。替代性的，主输入设备可以保持在其当前位置以及主输入设备及其重新调整的关联工具从动臂的运动学关系，从而一旦控制转换机构转换回其第一或正常模式时，不会出现工具的异常运动。控制转换的其他细节参见例如共同拥有的名为“合作微创远程外科手术系统(CooperativeMinimallyInvasiveTelesurgicalSystem)”的美国专利第6,659,939号，该专利通过参考并入本文。
第三控制转换机构241被提供以允许其用户在图像获取模式和图像操纵模式之间转换，同时控制转换机构231处于其第二模式(即将主输入设备108和LUS探测器150关联)。在其第一或正常模式(即图像获取模式)，LUS探测器150通常由主输入设备108如上所述控制。在其第二模式(即图像操纵模式)，LUS探测器150不受主输入设备108控制，使得主输入设备108可以自由地执行其他任务，例如在显示屏104上显示和操纵辅助图像，特别是执行某些如本文所描述的用户特定功能。但是应注意，虽然LUS探测器150在控制转换机构241的第二模式下可以不被主输入设备108所控制，其仍然可能根据存储在存储器240内的指令自动摇动或在辅助控制器242的控制下运动，所以最近的解剖结构的三维体积绘制可以从LUS探测器150获取的一系列二维超声波图像切片中生成。LUS探测器150的这种运动以及其他编程的运动的其他细节，可以参见共同拥有的于2006年6月6日提交的名为“腹腔镜超声波机器人外科手术系统(LaparoscopicUltrasoundRoboticSurgicalSystem)”的第11/447,668号美国专利申请，该申请通过参考并入本文。
辅助控制器242也执行与LUS探测器150和内窥镜140相关的其他功能。其接收来自LUS探测器压力传感器247的输出，该压力传感器感测施加到LUS探测器150上的压力，并通过主控制器222将压力信息反馈给主输入设备108，以便外科医生可以感受这些压力，即使他或她那时没有直接控制LUS探测器150的运动。因此，对病人的潜在的伤害被最小化，因为外科医生有能力立即停止LUS探测器150的任何运动，以及有能力对这种运动采取手动控制。
辅助控制器242的另一个关键功能是根据用户选择的显示选项，促使来自内窥镜140和LUS探测器150的所处理的信息显示在主显示器104上。这种处理的示例包括从通过超声波处理器246接收的来自LUS探测器150的二维超声波图像切片中生成三维超声图像，促使对应于选择的位置和方位的三维或二维超声波图像显示在主显示器104的画中画窗内，促使解剖结构的三维或二维超声波图像覆盖显示在主显示器104上的解剖结构的照相机获取的图像，并执行下文中参考图4-12所描述的方法。
虽然显示为独立的实体，主输入控制器202和222，从控制器203，233，223和243，以及辅助控制器242优选实现为由处理器102执行的软件模块，以及控制转换机构211，231，241的某些模式转换方面。另一方面，超声波处理器246和视频处理器236，可以是软件模块或插入与处理器102耦连或与处理器102集成的适当插槽的独立电路板或卡，以将从这些图像获取设备中接收的信号转换成适合显示在主显示器104上的信号，和/或用于在显示在主显示器104之前由辅助控制器242进行的其他处理。
虽然本示例假设了每个主输入设备仅由一个预先指定的工具从动机器人手臂或一个预先指定的图像获取设备机器人手臂共享，替代性的布置在本发明的整个范围内也是可行的，并且可以设想的。例如，一种不同的布置，其中每个主输入设备可以是可选择地与任意一个工具所关联，并且图像获取设备机器人手臂也是可能的，甚至优选适合用于最大灵活性。同样，虽然内窥镜机器人手臂在这个示例中示出由单个主输入设备控制，但它也可以通过使用两个主输入设备来控制，以给出能够“抓取图像”的感觉，并将其移动至不同位置或视角。更进一步地，虽然只在这个示例中示出内窥镜和LUS探测器，但其他图像获取设备，例如那些用于获取照相机、超声波、磁共振、计算机化轴向X线断层摄影术以及荧光透视成像的图像获取设备也完全可以预期用于系统100中，虽然不是这些图像获取设备中的每一个都有必要由主输入设备中的一个来操纵。
图3图解说明了LUS探测器150的一个实施例的侧视图。LUS探测器150是一种灵巧工具，其优选具有两个远端自由度。驱动杆或电缆(未示出)的相反端物理连接于LUS传感器301的近端，并且延伸穿过伸长轴312的内部通道，利用传统的推拉类型动作来机械地控制LUS传感器301的倾斜和偏转运动。
LUS传感器301获取最接近的解剖结构的二维超声波切片，并通过LUS电缆304将该信息传送回处理器102。虽然图示为LUS电缆304延伸在伸长轴312的外面，但它也可以在伸长轴312内延伸，蛤壳式护套321包围伸长轴312和LUS电缆304，以提供穿过套管331(或套管针)时的优异的密封。基准标记302和322被设置在LUS传感器301和护套321上用于视频跟踪目的。
图4作为示例图解说明了在显示屏104上显示治疗程序或治疗的效果的方法的流程图。在401，解剖结构的主图像通过图像获取设备获取。作为示例，图5图示说明了通过内窥镜140获取的主图像，其包括解剖结构501和部分插入解剖结构501中的用来在解剖结构501内的治疗部位处执行治疗程序的治疗仪器511。在另一应用中，治疗仪器511仅仅需要接触或接近解剖结构501，以便执行治疗程序。
主图像可以在治疗程序之前或者治疗程序期间获取。在程序之前获取的主图像被称作“手术前”图像，而在程序期间获取的主图像称作“手术中”图像。当主图像是手术前图像时，该图像在程序期间通常不会更新，以便该方法通常仅使用一幅主图像。另一方面，当主图像是手术中图像，该图像优选在程序期间周期性地更新，以便该方法在这种情况中可以使用多幅主图像。
手术前图像一般利用例如超声波成像、磁共振成像(MRI)、或计算机化轴向X线断层摄影术(CAT)等技术来获取。手术中图像可以通过例如立体内窥镜140或LUS探测器150等图像获取设备在手术或治疗部位获取，或者它们可以通过例如那些用来获取手术前图像的技术从外部获取。
在图4的402中，治疗仪器被打开，或者被激活或通电，以便能够在病人体内的解剖结构施加治疗。这个仪器通常具有用于施加治疗能量至异常组织(例如有病或损坏的组织)的末端。作为这种治疗程序的一个示例，射频切除(RFA)可以通过利用RFA探测器施加热量至有病组织部位，用于破坏有病的组织，例如解剖结构(例如肝脏)内的肿瘤。其他程序的示例，包括高强度聚焦超声波(HIFU)以及烧灼等。这种治疗仪器可以是连接至从动臂121和122的工具138和139中的一个，以便其可以被外科医生通过主/从控制系统移动至治疗部位并在治疗部位处操纵。
在403，生成辅助图像，其中该辅助图像指示对解剖结构的治疗程序的效果。该辅助图像可以是解剖结构的真实图像，其可以通过由感测设备获取的信息提供，或者由感测设备获取的信息所生成，其中所述感测设备能够感测治疗程序的效果。替代地，辅助图像可以是指示治疗效果的计算机模型，其可以利用这种效果的经验导出或常规确定规则来生成。在后一种情况下，计算机模型通常是通过以下因素来确定的体积形态(volumetricshape)：诸如治疗仪器的末端的几何形状、由治疗仪器的末端施加至解剖结构的热量或能量级别，以及解剖结构内承受治疗程序的治疗部位周围组织的特征。
作为由感测设备获取的信息提供或者从中导出的辅助图像的示例，图6图解说明了解剖结构601的三维超声波图像，其已经按照惯例从由LUS探测器150获取的二维超声波切片中导出。在这个示例中，所示出的切除体621表示治疗程序的效果，其中RFA探测器612的末端613被施加至解剖结构601的肿瘤部位。在这种情况下，因为由于肿瘤部位处的周围组织的发热和坏死引起的组织性质的变化，切除体的生长是看得见的。
在404中，主图像和辅助图像被对准，以便具有相同比例，并且在共同的参考坐标系内参考相同的位置和方位。这种类型的对准是公知的。作为示例，可以参考共同拥有的题为“用于显示和调整远程外科手术系统的图像显示器上的辅助信息以帮助执行外科手术程序的手术人员的设备和方法(DevicesandMethodsforPresentingandRegulatingAuxiliaryInformationonanImageDisplayofaTelesurgicalSystemtoAssistanOperatorinPerformingaSurgicalProcedure)”的第6,522,906号美国专利，该专利通过参考并入本文。
在405中，在治疗程序进行期间，主图像显示在显示屏104上，并且所对准的辅助图像优选覆盖在主图像上，以便在每一个图像中的相应的结构或物体显示为相同尺寸，并在显示屏104上处于相同的位置和方位。以这种方式，治疗程序的效果被显示为正承受治疗程序的解剖结构上的覆盖图。
作为示例，图7示出了示例性显示屏104，其中为演示目的被区别标示为虚线的辅助图像覆盖在图5的主图像上。当辅助图像通过感测设备获取的信息提供或者源自于感测设备获取的信息时，治疗效果521，治疗仪器512，以及仪器末端513通过获取的信息提供或者从所获取的信息中得到。另一方面，当治疗效果521通过利用经验值确定的规则被生成为体形态的计算机模型时，治疗仪器512和仪器末端513可以至少部分地基于其操纵从动臂的关节位置通过利用传统工具跟踪计算来确定。
在图4的406中，该方法然后检查治疗仪器是否已经关闭。如果已经关闭，则意味着治疗程序已经结束，则该方法结束。另一方面，如果治疗仪器仍然开启，则该方法认为治疗程序仍然在进行，并进入到407来确定是否已获取新的主图像。如果没有获取新的主图像，例如，因为主图像是手术前图像，则该方法跳回403以更新辅助图像，并继续循环通过403-407，直到通过检测到治疗仪器已经关闭来判断治疗程序已完成为止。另一方面，如果新的主图像已经获取，例如，因为主图像是手术中图像，则该方法在跳回步骤403之前，在步骤408更新主图像，以更新辅助图像，并继续循环通过403-408，直到通过检测到治疗仪器已经关闭来判断治疗程序已经完成为止。
图8作为示例图解说明了一种方法的流程图，该方法用于在限定为放大镜的镜头区域的窗内，以用户指定的放大倍率将解剖结构的辅助图像显示为解剖结构的主图像的对准覆盖图，显示在显示屏104上的辅助图像的位置和方位可以由用户利用关联的定位设备操纵。
在801，该方法通过关联放大镜和定位设备而开始，以使定位设备移动，显示在显示屏104上的放大镜(特别地，其镜头可以被视为窗)以相应的方式移动。在这种情况下可以通过使用定位设备或者通过使放大镜有效地放大定位设备的光标，以传统方式“抓取”放大镜来完成关联。由于显示屏104优选为三维显示器，因此定位设备相应地优选为具有方位指示能力的三维定位设备。
在802中，当前主图像和辅助图像可用于处理。在这个示例中主图像由内窥镜140获取，而辅助图像通过LUS探测器150获取。但是，主图像和辅助图像的其他源也可以在实践本发明的时候使用和考虑，包括从相同源获取的主图像和辅助图像。作为最后一种情况的示例，一种高分辨率照相机可以获取分辨率高于用来在显示屏上显示图像的分辨率的图像。在这种情况下，由照相机获取的高分辨率图像可以作为辅助图像处理，而显示在显示屏上的缩小的图像可以作为主图像处理。
在803中，用户可选择的放大因数被读取。放大因数是用户可通过，例如定位设备上的标度盘或轮式类型的控制来选择的。替代地，用户可通过显示在显示屏104上的菜单中的用户选项来选择、或者通过任何其他传统的用户可选择参数值配置或机构来选择。如果用户没有做出选择，则可以使用默认值，例如放大因数为1.0。
在804中，主图像和辅助图像被对准，以便具有相同尺寸，并在同一个参考坐标系中参考相同位置和方位，从而使这两个图像中相应的结构和物体具有相同的坐标。
在805，主图像被显示在显示屏104上，例如解剖结构的三维视图，在这种情况下，解剖结构的辅助图像的二维切片的一部分可以显示为放大镜的镜头中的覆盖图。在这种情况下的二维切片的这一部分由具有中心点——该中心点具有和放大镜镜头的中心点相同的位置和方位——的窗区域以及由放大因数确定的区域来限定，所以二维切片的这一部分可以被放大或缩小，以便适合放大镜的镜头。因为放大镜的位置和方位可由定位设备来操纵至显示屏104的三维空间内的任意位置，包括那些在解剖结构体内的位置，所以二维切片可以对应于任何用户选择的在解剖结构内的深度。和物理放大镜不同，其视图不被限制于仅仅检查解剖结构的外表。对于805的其他细节，请参见下文中参考图9的描述。
在806中，该方法然后确定放大镜命令是否已经通过以下方式被关闭：例如用户释放放大镜的“抓取”图像、或者通过某些类型的传统开关装置的使用来断开放大镜和定位设备之间的关联。如果关联已经关闭，则该方法结束。另一方面，如果没有关闭，则该方法跳回802，并继续循环通过802-806，直到放大镜命令被检测出已经关闭。应该注意，每一次该方法从802-806循环一遍，主图像和辅助图像的更新的版本(如果有的话)，利用用户可选择放大因数(如果有的话)的更新值处理。因此，如果该方法以足够快的方式通过该循环，则如果用户在旋转标度盘或手柄来调节放大因数，同时在放大镜的选定位置和方位观察解剖结构的时候，用户将不会发现任何明显的延迟。
图9作为示例图解说明了一种方法的流程图，该方法用于在用户可移动放大镜的镜头内，以指定的放大因数，将解剖结构的辅助图像视图显示为解剖结构的主图像视图的覆盖图。如前面所解释的，这种方法可以用来执行图8的805。
在901中，放大镜镜头的中心点的当前位置和方位在显示屏104的三维空间内确定。在902中，辅助图像的对准的体模型的二维切片从那个位置和方位的透视图中获取，并且该二维切片的一部分按照优选具有相同位置和方位的中心点的辅助视图窗的限定来获得。根据放大镜的当前放大因数，在这种情况下的辅助视图窗的区域与镜头的区域成反比。在903中，由辅助视图窗限定的二维切片的部分被放大因数放大，以便其适合放大镜的镜头区域，并且在904中，解剖结构的主图像被显示在显示屏104上，其中辅助图像的二维切片的放大部分覆盖在显示于显示屏104上的放大镜的镜头区域上。
作为901-904的一个形象化示例，在图10-11中示出解剖结构的辅助图像的二维切片1001，并且二维切片的两个圆形窗1021和1022如图10所示。在这种情况下，每一个窗1021，1022在形状上对应于放大镜1120的镜头1121的形状并具有和它相同的中心点，该放大镜1120的镜头1121和解剖结构的外部视图1101的主图像一起被显示在显示屏104上，如图11所示。在这个示例中，窗1021的区域等于镜头1121的区域，所以如果放大因数为1.0，那么窗1021可以被选择用于902。另一方面，窗1022的区域小于镜头1121的区域，所以如果放大因数大于1.0，那么窗1022可以被选择用于902。应该注意虽然放大镜1120的镜头1121被描述为圆形的，但它还可以具有其他适合用作放大镜的普通形状，例如矩形。
图12作为示例图解说明了一种方法的流程图，该方法当主输入设备处于图像操纵模式下的时候，响应于关联主输入设备的相应操纵，由医用机器人系统的处理器执行，用于操纵显示在医用机器人系统的计算机显示屏上的图像目标。
作为这种方法的开始，医用机器人系统包括图像获取设备用来获取图像(例如内窥镜140或LUS探测器150)；固定图像获取设备的机器人手臂(例如分别固定内窥镜140和LUS探测器150的从动臂123或从动臂124)；计算机显示屏(例如显示屏104)；适合于由用户以多个自由度的运动操纵的主输入设备(例如主输入设备107或主输入设备108)；以及处理器(例如辅助控制器242)，其被配置成当主输入设备处于图像获取模式时根据主输入设备的用户操纵来控制图像获取设备的运动，并且当主输入设备处于图像操纵模式时根据主输入设备的用户操纵来控制从所获取的图像中得到的图像在计算机显示屏上的显示。
在1201中，处理器检测到用户已经将主输入设备设置成图像操纵模式。实现这一目的的一种方式是利用提供在医用机器人系统中的主离合机构，该主离合机构支持将主输入设备从其关联的机器人手臂脱离，从而主输入设备可以被替换。当这个模式通过某些机构被激活的时候，例如用户按压主输入设备上的按钮，按下踏板，或者利用声音激活，所关联的机器人手臂被锁定在适当位置，并且光标(象征性地为手的图标化表示，例如)在计算机显示屏上呈现给用户。当用户离开这种模式的时候，光标被隐藏，并且如果需要的话，机器人手臂的控制可以在重新调整其位置之后恢复。
在1202中，处理器确定控制输入(例如通过按压常规鼠标的按钮而产生的)是否已经被用户激活。在这种情况下控制输入可以通过按压主输入设备上提供的按钮来激活，或者它可以通过其他方式来激活，例如挤压主输入设备上提供的夹具(gripper)或钳子(pincher)结构。关于离合的其他细节，主输入设备上的夹具或钳子结构，参见例如共同拥有的题为“合作微创远程外科手术系统(CooperativeMinimallyInvasiveTelesurgicalSystem)”的第6,659,939号美国专利，该专利通过参考并入本文。如果在1202控制输入没有被确定为“打开(on)”(即激活或)，则处理器等待，直到其接收到“打开”指示或者退出图像操纵模式。
在1203，在接收控制输入处于“on”的指示之后，处理器进行检查以观察光标是否处于显示在计算机显示屏上的物体上(或者在预定距离内)。如果没有处于“on”，则在1204，处理器引起用户可选择的项目或活动的菜单显示在计算机显示屏上，并且在1205，处理器接收用户所做出的菜单选择并对该选择进行反应。
用户可选择菜单项目的示例包括：放大镜，剖面，擦除器，以及图像对准。如果用户选择了放大镜项目，则放大镜的图像被显示在计算机显示屏上，并且参考图8所描述的方法由处理器来执行。当用户完成放大镜功能时，则用户可以任何常规方式来指示退出该功能，并且该处理器返回1202。
如果用户选择了剖面选项，则在计算机显示屏上显示一个平面(或者显示固定尺寸的或用户可调节尺寸的矩形窗)。主输入设备然后可以和这个平面关联，以便用户可以以定位设备的方式通过操纵主输入设备，将该平面定位和定向在计算机显示屏的三维空间内。如果该平面被操纵和移动以便和解剖结构的体绘制相交，则其用作限定在交叉处的体绘制的二维切片的剖面。替代地，主输入设备可以和解剖结构的体绘制相关联，然后可以被操纵和移动，进而和所显示的平面相交来限定剖面。平面或体绘制与定位设备的关联可以参考图8的801的放大镜所描述的基本相同的方式执行。
二维切片然后也可以在自己的平面内被观察到，或者在计算机显示屏上的一个独立窗(例如画中画)中被观察。用户可以进一步选择剖面项目的额外时间来限定体绘制的附加的二维切片，用于同时在计算机显示屏上的各个平面或画中画窗内观察。为了不会使得计算机显示屏和不需要的剖面切片之间产生混乱，提供了常规的删除功能，以便用户可以可选择性地删除任何剖面或它们的相应切片。当完成剖面功能时，用户可以然后以任意常规方式指示退出该功能，并且处理器返同1202。
如果用户选择擦除器项目，则在计算机显示屏上显示擦除器。主输入设备则和该擦除器相关联，以便用户可以通过以定位设备的方式操纵主输入设备，以在计算机显示屏的三维空间内定位和定向该擦除器。在这种情况下定位设备和擦除器的关联可以利用和上文参考图8的801的放大镜所描述的基本相同的方式来进行。如果擦除器被操纵和移动以至于和解剖结构的体绘制相交，则当擦除器经过体绘制时，其用来完全或者部份地擦除这种绘制。如果用户选择部分擦除(或者预先编程在处理器中)，则每当该擦除器穿过体绘制，则解剖结构的更少的细节被显示。在这种情况下更少的细节指得是绘制的粗糙度/精细度，或者可以指三维体绘制中的各层次的剥离。擦除的所有这些特性或选项均可以利用常规方式选择。如果用户不注意地擦除了体绘制的一部分，常规的撤消特征被提供以允许用户撤消该擦除。当用户完成擦除功能之后，则用户可以以任意常规方式指示退出该功能，并且处理器返回1202。
除了上面描述的擦除功能，其他空间局部修改功能也可以考虑并被视为落入本发明的完整范围，包括选择性地锐化，增亮，或者将显示的图像的一部分加彩色以增强或加亮其在选定区域的可视性。每一个这种空间局部修改功能可以利用上文中参考擦除器功能所描述的基本相同的方法来执行。
如果用户选择图像对准项目，则处理器在再次跳回程序1202之前如下文中参考1212所描述的那样记录这种选择用于未来的活动/动作。在这种情况下，图像对准一般包括手动对准物体(例如解剖结构)的辅助图像和该物体的相应的主图像。
上面描述的菜单方法的一种替代是，当进入图像操纵模式时分别指示如上所描述的每一个可选择项目的图标被显示在计算机显示屏上，并通过用户点击它们而被选择，在这之后，处理器继续按照参考它们相应的菜单项目的选择所描述的那样执行。
现在继续参考图12所描述的方法，当在1201中接收到控制输入处于on的指示之后，并且在1202中判定光标被定位在显示于计算机显示屏上的物体上或其周围(不是图标)之后，处理器优选将光标从手的图标化表示转换成，例如，正在抓握的手来指示物体已经被“抓取”，并且已经准备通过主输入设备的用户操纵来移动或“拖曳”至在计算机显示屏的三维空间的另一个位置和/或方位。
在1206，处理器判定用户是否已经指示选定物体的显示参数将要被调整，如果用户已经指示，则在1207，处理器执行显示器调整。作为示例，主输入设备上的标度盘可以被用户转动来指示对显示参数的显示调整，该显示参数关联于根据选定物体上的标度盘的旋转量将要被调整的标度盘。替代性地，如果主输入设备装备有夹具，则该夹具可以被旋转，以便用作标度盘。可以这种方式调整的显示参数的示例包括：显示在计算机显示屏上的选定物体的亮度、对比度、色彩和细节级别(例如网格粗糙度/精细度，或者体元或三维象素的大小和/或不透明度)。
然后处理器继续进行至1208，以在1203得到肯定的判定之后判定该光标是否已在“抓取”所述选定物体之后移动。如果还没有移动，则处理器跳回1202，因为用户此时可能仅希望调整选定物体的显示参数。另一方面，如果光标在“抓取”该选定物体之后已经移动，则在1209，处理器移动选定物体至新的光标位置。因为光标操作在计算机显示屏的三维空间，当它“进入”显示屏时，它可以通过例如逐渐减小尺寸来指示这种移动。当计算机显示屏的三维性质通过使用该物体的右二维视图和左二维视图而实现的时候，这两个视图之间的交叉点的差异就表示深度值，在右视图和左视图中光标图像的深度值的降低可以指示该光标“进入”显示屏。
可选择地，在1210，触觉反馈可以被提供返回主输入设备，以便在1209中用户在“被抓取”的物体移动时可以感测到反馈力。作为示例，通过将物体的虚拟质量和惯性与物体关联起来，用户和物体的相互作用可以触觉地反馈至用户，以便用户感受当和物体接触或者当物体被加速或减速时平移和旋转物体的反馈力。在1210中执行的这种触觉反馈仅仅对于某些类型的物体可以实现，对于其他的物体不能实现，或者它仅仅在某些环境下有用。这种触觉反馈的使用还可以被施加到放大镜和/或如上所述用于限定剖面的平面的移动。但是，在这种情况下，触觉反馈可以被限制为仅在放大镜或平面进入感兴趣的解剖结构内之后出现。
在1211，处理器判定控制输入是否仍处于“on”状态。如果控制仍然处于“on”，则处理器跳回1208，以跟踪和响应光标运动。另一方面，如果控制已经关闭，例如通过用户释放最初被按压以指示控制“打开”的按钮，则在1212中处理器执行选定的菜单活动。
例如，如果响应于处理器在1204显示菜单(或者替代性地，用户点击指示该项的图标)，图像对准项目已经被用户选定，则已经移动的物体和现在排成一列的并且此时正显示在计算机显示屏上的该物体的另一图像相对准，以便它们在共同坐标系(例如计算机显示屏的坐标系)内，具有相同的坐标和方位值。这一特征有助于，例如，解剖结构的辅助图像(例如利用LUS探测器150获得的)与解剖结构的主图像(例如利用内窥镜140获得的)的手动对准。在初始对准之后，主图像中的对应物体的位置和/方位的变化可以被镜像，以便引起辅助图像内的选定物体的相应变化，从而保持它相对于主图像的相对位置/方位。当用户完成图像对准功能时，处理器返回1202。
虽然本发明的各个方面已经参考优选实施例进行描述，但应该理解的是本发明有权利在所附权利要求的完整范围内进行完整保护。

Claims (12)

1.一种用于在显示器上将解剖结构的辅助图像的用户选定部分显示为所述解剖结构的主图像的覆盖图的方法，其中所述主图像提供已经由第一图像获取设备获取的解剖结构的外部的视图，并且其中所述辅助图像提供通过使用由第二图像获取设备获取的信息已生成的解剖结构的内部的视图，所述方法包括：
使用处理器将所述显示器上的可移动窗与定位设备相关联，以便使得所述可移动窗可以根据所述定位设备的移动在所述显示器上移动；
使用所述处理器将所述辅助图像与所述主图像对准，以便具有相同尺寸，并且在共同坐标系中参考相同的位置和方位；以及
使用所述处理器在所述显示器上显示所述主图像，并且
使用所述处理器将对准的辅助图像的一部分在所述显示器上的所述可移动窗中显示为所述主图像的覆盖图。
2.根据权利要求1所述的方法，其中所述可移动窗在所述显示器上显示为放大镜的镜头区域。
3.根据权利要求1所述的方法，其中所述第一图像获取设备是立体内窥镜，所述第二图像获取设备是超声探测器，并且所述显示器是立体视频显示器。
4.根据权利要求1所述的方法，其中使用所述处理器将所述辅助图像的一部分在所述可移动窗中显示为所述主图像的覆盖图包括使用所述处理器将所述解剖结构的二维切片的图像在所述可移动窗中显示为所述主图像的覆盖图，其中所述解剖结构的所述二维切片对应于用户选择的在解剖结构内的深度。
5.根据权利要求1所述的方法，其中使用所述处理器将所述辅助图像的一部分在所述可移动窗中显示为所述主图像的覆盖图包括使用所述处理器确定在所述显示器上的所述可移动窗的中心点的当前位置和方位，使用所述处理器确定与所述显示器上的所述可移动窗的中心点的位置和方位对应的对准的辅助图像的一部分，其中对准的辅助图像的部分的区域根据放大因数与所述可移动窗的区域成反比。
6.根据权利要求5所述的方法，进一步包括：
在所述处理器处接收所述放大因数；以及
使用所述处理器将所述放大因数施加到所述对准的辅助图像的部分，以使所述对准的辅助图像的部分适合所述可移动窗并在所述可移动窗中被显示为所述主图像的覆盖图。
7.一种医疗系统，其包括：
第一图像获取设备，其相对于解剖结构设置以便获取所述解剖结构的外部的主图像；
第二图像获取设备，其相对于所述解剖结构设置，以便获取用于生成所述解剖结构的内部的辅助图像的信息；
定位设备；
显示器；和
处理器，其被配置成：将所述显示器上的可移动窗与所述定位设备相关联，以便使得所述可移动窗根据所述定位设备的移动在所述显示器上移动；将所述辅助图像与所述主图像对准，以便具有相同尺寸，并且在共同坐标系中参考相同的位置和方位；使所述主图像显示在所述显示器上；并且将对准的辅助图像的一部分在所述显示器上的所述可移动窗中显示为所述主图像的覆盖图。
8.根据权利要求7所述的医疗系统，其中所述处理器被配置成在所述显示器上将所述可移动窗口显示为放大镜的镜头区域。
9.根据权利要求7所述的医疗系统，其中所述第一图像获取设备是立体内窥镜，所述第二图像获取设备是超声探测器，所述显示器是立体视频显示器。
10.根据权利要求7所述的医疗系统，其中所述处理器被配置成通过将所述解剖结构的二维切片的图像在所述可移动窗中显示为所述主图像的覆盖图，在所述可移动窗中将所述辅助图像的一部分显示为所述主图像的覆盖图，其中所述解剖结构的所述二维切片对应于用户选择的在解剖结构内的深度。
11.根据权利要求7所述的医疗系统，其中所述处理器被配置成通过确定在所述显示器上的所述可移动窗的中心点的当前位置和方位，以及通过确定与所述显示器上的所述可移动窗的中心点的位置和方位对应的对准的辅助图像的部分，将所述辅助图像的部分在所述可移动窗中显示为所述主图像的覆盖图，其中对准的辅助图像的部分的区域根据放大因数与所述可移动窗的区域成反比。
12.根据权利要求11所述的医疗系统，其中所述处理器被配置成：在所述处理器处接收所述放大因数；以及将所述放大因数施加到所述对准的辅助图像的部分，以使所述对准的辅助图像的部分适合所述可移动窗并在所述可移动窗中被显示为所述主图像的覆盖图。
CN201310052673.7A 2005-10-20 2006-10-19 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵 Active CN103251455B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US72845005P 2005-10-20 2005-10-20
US60/728,450 2005-10-20
CN2006800389441A CN101291635B (zh) 2005-10-20 2006-10-19 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2006800389441A Division CN101291635B (zh) 2005-10-20 2006-10-19 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵

Publications (2)

Publication Number Publication Date
CN103251455A CN103251455A (zh) 2013-08-21
CN103251455B true CN103251455B (zh) 2016-04-27

Family

ID=37744551

Family Applications (3)

Application Number Title Priority Date Filing Date
CN2006800389441A Active CN101291635B (zh) 2005-10-20 2006-10-19 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵
CN201310052693.4A Active CN103142309B (zh) 2005-10-20 2006-10-19 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵
CN201310052673.7A Active CN103251455B (zh) 2005-10-20 2006-10-19 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN2006800389441A Active CN101291635B (zh) 2005-10-20 2006-10-19 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵
CN201310052693.4A Active CN103142309B (zh) 2005-10-20 2006-10-19 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵

Country Status (6)

Country Link
US (4) US20080033240A1 (zh)
EP (4) EP1937176B1 (zh)
JP (4) JP5322648B2 (zh)
KR (1) KR101320379B1 (zh)
CN (3) CN101291635B (zh)
WO (1) WO2007047782A2 (zh)

Families Citing this family (200)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8944070B2 (en) 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US9517106B2 (en) 1999-09-17 2016-12-13 Intuitive Surgical Operations, Inc. Systems and methods for commanded reconfiguration of a surgical manipulator using the null-space
US9155544B2 (en) * 2002-03-20 2015-10-13 P Tech, Llc Robotic systems and methods
US9789608B2 (en) * 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US9492240B2 (en) 2009-06-16 2016-11-15 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US8971597B2 (en) * 2005-05-16 2015-03-03 Intuitive Surgical Operations, Inc. Efficient vision and kinematic data fusion for robotic surgical instruments and other applications
EP1937176B1 (en) 2005-10-20 2019-04-17 Intuitive Surgical Operations, Inc. Auxiliary image display and manipulation on a computer display in a medical robotic system
US7907166B2 (en) * 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
US8062211B2 (en) 2006-06-13 2011-11-22 Intuitive Surgical Operations, Inc. Retrograde instrument
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US20090192523A1 (en) 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
US10258425B2 (en) 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US20100149183A1 (en) * 2006-12-15 2010-06-17 Loewke Kevin E Image mosaicing systems and methods
US9980691B2 (en) * 2006-12-28 2018-05-29 David Byron Douglas Method and apparatus for three dimensional viewing of images
US11228753B1 (en) 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
US11275242B1 (en) 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
US11315307B1 (en) 2006-12-28 2022-04-26 Tipping Point Medical Images, Llc Method and apparatus for performing rotating viewpoints using a head display unit
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
JP4916011B2 (ja) * 2007-03-20 2012-04-11 株式会社日立製作所 マスタ・スレーブ式マニピュレータシステム
EP2148629B1 (en) * 2007-04-16 2012-06-06 NeuroArm Surgical, Ltd. Frame mapping and force feedback methods, devices and systems
US8620473B2 (en) 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US8903546B2 (en) 2009-08-15 2014-12-02 Intuitive Surgical Operations, Inc. Smooth control of an articulated instrument across areas with different work space conditions
US9084623B2 (en) * 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US9469034B2 (en) 2007-06-13 2016-10-18 Intuitive Surgical Operations, Inc. Method and system for switching modes of a robotic system
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US20090069804A1 (en) * 2007-09-12 2009-03-12 Jensen Jeffrey L Apparatus for efficient power delivery
US8224484B2 (en) 2007-09-30 2012-07-17 Intuitive Surgical Operations, Inc. Methods of user interface with alternate tool mode for robotic surgical tools
US8042435B2 (en) * 2007-11-26 2011-10-25 Thompson Ray P Special articulating tool holder
US9123159B2 (en) * 2007-11-30 2015-09-01 Microsoft Technology Licensing, Llc Interactive geo-positioning of imagery
US8808164B2 (en) * 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US8155479B2 (en) 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US8864652B2 (en) 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
DE102008041867B4 (de) 2008-09-08 2015-09-10 Deutsches Zentrum für Luft- und Raumfahrt e.V. Medizinischer Arbeitsplatz und Bedienvorrichtung zum manuellen Bewegen eines Roboterarms
US8315720B2 (en) * 2008-09-26 2012-11-20 Intuitive Surgical Operations, Inc. Method for graphically providing continuous change of state directions to a user of a medical robotic system
EP2374280A1 (en) * 2008-11-24 2011-10-12 Koninklijke Philips Electronics N.V. Combining 3d video and auxiliary data
US8184880B2 (en) 2008-12-31 2012-05-22 Intuitive Surgical Operations, Inc. Robust sparse image matching for robotic surgery
US8830224B2 (en) 2008-12-31 2014-09-09 Intuitive Surgical Operations, Inc. Efficient 3-D telestration for local robotic proctoring
KR20110136847A (ko) * 2009-03-12 2011-12-21 헬스 리서치 인코포레이티드 최소 침습 수술 트레이닝 방법 및 시스템
US9155592B2 (en) * 2009-06-16 2015-10-13 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US8918211B2 (en) 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
KR101039108B1 (ko) * 2009-09-01 2011-06-07 한양대학교 산학협력단 의료용 로봇 시스템 및 그 제어 방법
KR101598774B1 (ko) * 2009-10-01 2016-03-02 (주)미래컴퍼니 수술용 영상 처리 장치 및 그 방법
KR101683057B1 (ko) * 2009-10-30 2016-12-07 (주)미래컴퍼니 수술 로봇 시스템 및 그 동작 제한 방법
WO2011040769A2 (ko) * 2009-10-01 2011-04-07 주식회사 이턴 수술용 영상 처리 장치, 영상 처리 방법, 복강경 조작 방법, 수술 로봇 시스템 및 그 동작 제한 방법
US8706184B2 (en) * 2009-10-07 2014-04-22 Intuitive Surgical Operations, Inc. Methods and apparatus for displaying enhanced imaging data on a clinical image
CN102781336B (zh) 2009-10-30 2016-01-20 约翰霍普金斯大学 用于外科手术干预的临床上重要的解剖标志的视觉跟踪和注释
DE102010009295B4 (de) * 2010-02-25 2019-02-21 Siemens Healthcare Gmbh Verfahren zur Darstellung eines zu untersuchenden und/oder behandelnden Bereichs
US9298260B2 (en) * 2010-03-12 2016-03-29 Broadcom Corporation Tactile communication system with communications based on capabilities of a remote system
US8675939B2 (en) 2010-07-13 2014-03-18 Stryker Leibinger Gmbh & Co. Kg Registration of anatomical data sets
KR101975808B1 (ko) * 2010-11-04 2019-08-28 더 존스 홉킨스 유니버시티 최소 침습 수술 기량의 평가 또는 개선을 위한 시스템 및 방법
US9486189B2 (en) 2010-12-02 2016-11-08 Hitachi Aloka Medical, Ltd. Assembly for use with surgery system
JP5717543B2 (ja) 2011-05-30 2015-05-13 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置及びその制御プログラム
CN103607971B (zh) 2011-07-07 2016-08-31 奥林巴斯株式会社 医疗主从操作器
JP5892361B2 (ja) * 2011-08-02 2016-03-23 ソニー株式会社 制御装置、制御方法、プログラム、及びロボット制御システム
JP6005950B2 (ja) 2011-08-04 2016-10-12 オリンパス株式会社 手術支援装置及びその制御方法
JP5953058B2 (ja) 2011-08-04 2016-07-13 オリンパス株式会社 手術支援装置およびその着脱方法
JP5841451B2 (ja) 2011-08-04 2016-01-13 オリンパス株式会社 手術器具およびその制御方法
JP5936914B2 (ja) 2011-08-04 2016-06-22 オリンパス株式会社 操作入力装置およびこれを備えるマニピュレータシステム
JP6081061B2 (ja) 2011-08-04 2017-02-15 オリンパス株式会社 手術支援装置
WO2013018861A1 (ja) 2011-08-04 2013-02-07 オリンパス株式会社 医療用マニピュレータおよびその制御方法
JP5931497B2 (ja) 2011-08-04 2016-06-08 オリンパス株式会社 手術支援装置およびその組立方法
US9161772B2 (en) 2011-08-04 2015-10-20 Olympus Corporation Surgical instrument and medical manipulator
JP6021353B2 (ja) 2011-08-04 2016-11-09 オリンパス株式会社 手術支援装置
WO2013018908A1 (ja) 2011-08-04 2013-02-07 オリンパス株式会社 医療用マニピュレータおよび手術支援装置
JP6009840B2 (ja) 2011-08-04 2016-10-19 オリンパス株式会社 医療機器
JP6000641B2 (ja) 2011-08-04 2016-10-05 オリンパス株式会社 マニピュレータシステム
JP6021484B2 (ja) 2011-08-04 2016-11-09 オリンパス株式会社 医療用マニピュレータ
KR101828453B1 (ko) 2011-12-09 2018-02-13 삼성전자주식회사 의료용 로봇 시스템 및 그 제어 방법
US9956042B2 (en) 2012-01-13 2018-05-01 Vanderbilt University Systems and methods for robot-assisted transurethral exploration and intervention
EP2814642B1 (en) 2012-02-15 2018-11-14 Intuitive Surgical Operations, Inc. User selection of robotic system operating modes using mode distinguishing operator actions
EP2650691A1 (en) 2012-04-12 2013-10-16 Koninklijke Philips N.V. Coordinate transformation of graphical objects registered to a magnetic resonance image
WO2013158974A1 (en) 2012-04-20 2013-10-24 Vanderbilt University Dexterous wrists for surgical intervention
US9539726B2 (en) * 2012-04-20 2017-01-10 Vanderbilt University Systems and methods for safe compliant insertion and hybrid force/motion telemanipulation of continuum robots
WO2013158983A1 (en) 2012-04-20 2013-10-24 Vanderbilt University Robotic device for establishing access channel
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US20130314418A1 (en) * 2012-05-24 2013-11-28 Siemens Medical Solutions Usa, Inc. System for Erasing Medical Image Features
KR102167359B1 (ko) 2012-06-01 2020-10-19 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영공간을 이용한 수술 머니퓰레이터의 명령된 재구성을 위한 시스템 및 방법
US9216068B2 (en) 2012-06-27 2015-12-22 Camplex, Inc. Optics for video cameras on a surgical visualization system
US9642606B2 (en) 2012-06-27 2017-05-09 Camplex, Inc. Surgical visualization system
JP6553511B2 (ja) * 2012-06-28 2019-07-31 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 内視鏡手術における最適な画像取得のためのｃアームの軌道計画
WO2014001980A1 (en) * 2012-06-28 2014-01-03 Koninklijke Philips N.V. Enhanced visualization of blood vessels using a robotically steered endoscope
US9076227B2 (en) * 2012-10-01 2015-07-07 Mitsubishi Electric Research Laboratories, Inc. 3D object tracking in multiple 2D sequences
CN103054612B (zh) * 2012-12-10 2015-06-10 苏州佳世达电通有限公司 超声波探头鼠标及超声波仪
US9386908B2 (en) * 2013-01-29 2016-07-12 Gyrus Acmi, Inc. (D.B.A. Olympus Surgical Technologies America) Navigation using a pre-acquired image
US10507066B2 (en) 2013-02-15 2019-12-17 Intuitive Surgical Operations, Inc. Providing information of tools by filtering image areas adjacent to or on displayed images of the tools
EP3692906B1 (en) * 2013-03-15 2024-01-10 Medtronic Holding Company Sàrl A system for treating tissue
EP2967521B1 (en) 2013-03-15 2019-12-25 SRI International Electromechanical surgical system
KR101563498B1 (ko) 2013-05-02 2015-10-27 삼성메디슨 주식회사 대상체의 변화 정보를 제공하는 초음파 시스템 및 방법
WO2014189969A1 (en) 2013-05-21 2014-11-27 Camplex, Inc. Surgical visualization systems
US10881286B2 (en) 2013-09-20 2021-01-05 Camplex, Inc. Medical apparatus for use with a surgical tubular retractor
JP5781135B2 (ja) * 2013-09-27 2015-09-16 エフ・エーシステムエンジニアリング株式会社 ３ｄナビゲーション映像生成装置
EP3050492A4 (en) * 2013-10-30 2017-09-20 Olympus Corporation Light source unit and endoscope device
JP6358463B2 (ja) 2013-11-13 2018-07-18 パナソニックＩｐマネジメント株式会社 マスタースレーブ装置用マスター装置及びその制御方法、及び、マスタースレーブ装置
US10057590B2 (en) * 2014-01-13 2018-08-21 Mediatek Inc. Method and apparatus using software engine and hardware engine collaborated with each other to achieve hybrid video encoding
CN105979879B (zh) * 2014-01-24 2023-01-17 皇家飞利浦有限公司 具有光学形状感测设备视角的虚拟图像
US10083278B2 (en) * 2014-02-12 2018-09-25 Edda Technology, Inc. Method and system for displaying a timing signal for surgical instrument insertion in surgical procedures
US10130436B2 (en) 2014-03-17 2018-11-20 Intuitive Surgical Operations, Inc. Automated structure with pre-established arm positions in a teleoperated medical system
WO2015142956A1 (en) 2014-03-17 2015-09-24 Intuitive Surgical Operations, Inc. Systems and methods for offscreen indication of instruments in a teleoperational medical system
JP6725424B2 (ja) 2014-03-17 2020-07-15 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 遠隔操作医療システムのための誘導セットアップ
CN111184577A (zh) 2014-03-28 2020-05-22 直观外科手术操作公司 器械在视野中的定量三维可视化
KR102373714B1 (ko) 2014-03-28 2022-03-15 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 멀티포트 투시에 의한 수술 장면의 정량적 3차원 영상화
EP3125806B1 (en) 2014-03-28 2023-06-14 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging of surgical scenes
EP3125809B1 (en) 2014-03-28 2020-09-09 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
EP3122281B1 (en) 2014-03-28 2022-07-20 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging and 3d modeling of surgical implants
JP2015192697A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 制御装置および制御方法、並びに撮影制御システム
JP6305810B2 (ja) * 2014-03-31 2018-04-04 キヤノンメディカルシステムズ株式会社 医用画像診断装置
WO2015168066A1 (en) * 2014-05-01 2015-11-05 Endochoice, Inc. System and method of scanning a body cavity using a multiple viewing elements endoscope
CN105321202A (zh) * 2014-07-16 2016-02-10 南京普爱射线影像设备有限公司 医学二维图像和3d图像显示软件系统
JP6246093B2 (ja) 2014-07-25 2017-12-13 オリンパス株式会社 処置具及び処置具システム
US9815206B2 (en) 2014-09-25 2017-11-14 The Johns Hopkins University Surgical system user interface using cooperatively-controlled robot
CN118370610A (zh) * 2014-11-13 2024-07-23 直观外科手术操作公司 用户界面与主控制器之间的交互作用
US10123846B2 (en) 2014-11-13 2018-11-13 Intuitive Surgical Operations, Inc. User-interface control using master controller
US10702353B2 (en) 2014-12-05 2020-07-07 Camplex, Inc. Surgical visualizations systems and displays
WO2016154589A1 (en) 2015-03-25 2016-09-29 Camplex, Inc. Surgical visualization systems and displays
CN104887175A (zh) * 2015-06-03 2015-09-09 皖南医学院 一种虚拟胃镜检查与诊断系统
EP3321044A4 (en) * 2015-08-25 2019-05-29 Kawasaki Jukogyo Kabushiki Kaisha REMOTELY CONTROLLED MANIPULATOR SYSTEM AND METHOD FOR OPERATION THEREOF
WO2017055381A1 (en) * 2015-09-29 2017-04-06 Koninklijke Philips N.V. Instrument controller for robotically assisted minimally invasive surgery
JP6838554B2 (ja) * 2015-10-02 2021-03-03 ソニー株式会社 医療用制御装置、制御方法、プログラム、および医療用制御システム
WO2017091704A1 (en) * 2015-11-25 2017-06-01 Camplex, Inc. Surgical visualization systems and displays
CN105376503B (zh) * 2015-12-14 2018-07-20 北京医千创科技有限公司 一种手术图像处理装置及方法
JP7118890B2 (ja) * 2016-02-12 2022-08-16 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導手術において位置合わせされた蛍光透視画像を使用するためのシステム及び方法
KR102414405B1 (ko) * 2016-06-09 2022-06-30 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 컴퓨터 보조 원격 조작 수술 시스템 및 방법
WO2018005861A1 (en) 2016-06-30 2018-01-04 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information during an image-guided procedure
WO2018005842A1 (en) 2016-06-30 2018-01-04 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure
CN113893032B (zh) * 2016-07-14 2024-10-15 直观外科手术操作公司 用于远程操作医疗系统中的屏幕菜单的系统和方法
US10827998B2 (en) * 2016-08-18 2020-11-10 Stryker European Holdings I, Llc Method for visualizing a bone
KR101715026B1 (ko) * 2016-08-26 2017-03-13 (주)미래컴퍼니 수술 로봇 시스템 및 그 동작 제한 방법
CN109567902B (zh) * 2016-11-01 2022-04-08 香港生物医学工程有限公司 用于执行微创和经自然腔道内镜外科动作的外科机器人装置和系统
US11793394B2 (en) 2016-12-02 2023-10-24 Vanderbilt University Steerable endoscope with continuum manipulator
WO2018152183A1 (en) * 2017-02-14 2018-08-23 Intuitive Surgical Operations, Inc. Multi-dimensional visualization in computer-assisted tele-operated surgery
US10839956B2 (en) * 2017-03-03 2020-11-17 University of Maryland Medical Center Universal device and method to integrate diagnostic testing into treatment in real-time
JP2020518326A (ja) * 2017-04-18 2020-06-25 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導処置を監視するためのグラフィカル・ユーザインターフェイス
WO2018208691A1 (en) 2017-05-08 2018-11-15 Camplex, Inc. Variable light source
WO2019008942A1 (ja) * 2017-07-03 2019-01-10 富士フイルム株式会社 医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置
CN111565657B (zh) * 2017-08-21 2023-11-07 锐凌公司 关节镜装置和方法
KR102562537B1 (ko) * 2017-08-22 2023-08-03 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 사용자 설치가능 부품 설치 탐지 기술
CN111263619A (zh) * 2017-09-06 2020-06-09 柯惠Lp公司 用于在机器人手术过程中提供立体视觉感知通知和/或建议的系统、方法和计算机可读介质
WO2019055701A1 (en) 2017-09-13 2019-03-21 Vanderbilt University MULTI-SCALE CONTINUUM MOVEMENT ROBOTS BY BALANCING MODULATION
WO2019079126A1 (en) * 2017-10-17 2019-04-25 Verily Life Sciences Llc DISPLAYING PREOPERATIVE AND INTRA-OPERATIVE IMAGES
CN111356407A (zh) * 2017-10-20 2020-06-30 昆山华大智造云影医疗科技有限公司 超声检测装置、超声控制装置、超声系统及超声成像方法
US10959744B2 (en) 2017-10-30 2021-03-30 Ethicon Llc Surgical dissectors and manufacturing techniques
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US12062442B2 (en) 2017-12-28 2024-08-13 Cilag Gmbh International Method for operating surgical instrument systems
US11998193B2 (en) 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US20190206569A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of cloud based data analytics for use with the hub
US11612408B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Determining tissue composition via an ultrasonic system
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US20190201139A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Communication arrangements for robot-assisted surgical platforms
US11844579B2 (en) 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11896443B2 (en) * 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US12096916B2 (en) 2017-12-28 2024-09-24 Cilag Gmbh International Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub
US11399858B2 (en) 2018-03-08 2022-08-02 Cilag Gmbh International Application of smart blade technology
US11337746B2 (en) 2018-03-08 2022-05-24 Cilag Gmbh International Smart blade and power pulsing
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
CN108836392B (zh) * 2018-03-30 2021-06-22 中国科学院深圳先进技术研究院 基于超声rf信号的超声成像方法、装置、设备及存储介质
EP3793465A4 (en) 2018-05-18 2022-03-02 Auris Health, Inc. CONTROL DEVICES FOR ROBOTIC ACTIVATION REMOTE CONTROL SYSTEMS
CN210185692U (zh) * 2018-07-31 2020-03-27 深圳市精锋医疗科技有限公司 可调节从操作设备组件及手术机器人
US20200073526A1 (en) * 2018-08-28 2020-03-05 Johnson Controls Technology Company Energy management system with draggable and non-draggable building component user interface elements
CN112654280A (zh) * 2018-09-11 2021-04-13 索尼公司 医学观察系统、医学观察装置和医学观察方法
US11197728B2 (en) 2018-09-17 2021-12-14 Auris Health, Inc. Systems and methods for concomitant medical procedures
EP3860426A4 (en) 2018-10-02 2022-12-07 Convergascent LLC ENDOSCOPE WITH INERTIAL MEASUREMENTS AND/OR HAPTIC INPUT CONTROLS
CN109498162B (zh) * 2018-12-20 2023-11-03 深圳市精锋医疗科技股份有限公司 提升沉浸感的主操作台及手术机器人
CN113366414A (zh) * 2019-02-12 2021-09-07 直观外科手术操作公司 用于在计算机辅助操作系统的操作会话期间促进成像装置视点的优化的系统和方法
US11298129B2 (en) 2019-02-19 2022-04-12 Cilag Gmbh International Method for providing an authentication lockout in a surgical stapler with a replaceable cartridge
WO2020243425A1 (en) * 2019-05-31 2020-12-03 Intuitive Surgical Operations, Inc. Composite medical imaging systems and methods
KR102247545B1 (ko) * 2019-07-24 2021-05-03 경북대학교 산학협력단 수술위치 정보제공방법 및 수술위치 정보제공장치
US11903650B2 (en) 2019-09-11 2024-02-20 Ardeshir Rastinehad Method for providing clinical support for surgical guidance during robotic surgery
US11918307B1 (en) * 2019-11-15 2024-03-05 Verily Life Sciences Llc Integrating applications in a surgeon console user interface of a robotic surgical system
US11931119B1 (en) 2019-11-15 2024-03-19 Verily Life Sciences Llc Integrating applications in a surgeon console user interface of a robotic surgical system
JP2021091060A (ja) * 2019-12-12 2021-06-17 セイコーエプソン株式会社 制御方法およびロボットシステム
US12029522B2 (en) * 2020-09-23 2024-07-09 Verb Surgical Inc. Deep disengagement detection during telesurgery
USD981425S1 (en) * 2020-09-30 2023-03-21 Karl Storz Se & Co. Kg Display screen with graphical user interface
CN114601564B (zh) * 2020-10-08 2023-08-22 深圳市精锋医疗科技股份有限公司 手术机器人及其图形化控制装置、图形化显示方法
USD1022197S1 (en) 2020-11-19 2024-04-09 Auris Health, Inc. Endoscope
CN112957107B (zh) * 2021-02-19 2021-11-30 南昌华安众辉健康科技有限公司 一种具有腹腔硬镜的胸腹腔手术器械
US11819302B2 (en) 2021-03-31 2023-11-21 Moon Surgical Sas Co-manipulation surgical system having user guided stage control
US11844583B2 (en) 2021-03-31 2023-12-19 Moon Surgical Sas Co-manipulation surgical system having an instrument centering mode for automatic scope movements
US11832909B2 (en) 2021-03-31 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having actuatable setup joints
US11812938B2 (en) 2021-03-31 2023-11-14 Moon Surgical Sas Co-manipulation surgical system having a coupling mechanism removeably attachable to surgical instruments
AU2022247392A1 (en) 2021-03-31 2023-09-28 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery
US12042241B2 (en) 2021-03-31 2024-07-23 Moon Surgical Sas Co-manipulation surgical system having automated preset robot arm configurations
CN113925615A (zh) * 2021-10-26 2022-01-14 北京歌锐科技有限公司 一种微创手术设备及其控制方法
US11717149B1 (en) 2022-04-27 2023-08-08 Maciej J. Kieturakis Methods and systems for robotic single-port laparoscopic access
CN115363751B (zh) * 2022-08-12 2023-05-16 华平祥晟(上海)医疗科技有限公司 术中解剖结构指示方法
CN118078434A (zh) * 2022-11-25 2024-05-28 深圳市精锋医疗科技股份有限公司 一种手术控制台、导航控制台、操作系统及存储介质
US11839442B1 (en) 2023-01-09 2023-12-12 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery while estimating hold force
US11986165B1 (en) 2023-01-09 2024-05-21 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery while estimating hold force

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6241725B1 (en) * 1993-12-15 2001-06-05 Sherwood Services Ag High frequency thermal ablation of cancerous tumors and functional targets with image data assistance
CN101291635A (zh) * 2005-10-20 2008-10-22 直观外科手术公司 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5493595A (en) * 1982-02-24 1996-02-20 Schoolman Scientific Corp. Stereoscopically displayed three dimensional medical imaging
US5181514A (en) 1991-05-21 1993-01-26 Hewlett-Packard Company Transducer positioning system
US5279309A (en) * 1991-06-13 1994-01-18 International Business Machines Corporation Signaling device and method for monitoring positions in a surgical operation
US5417210A (en) * 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5182728A (en) * 1991-06-28 1993-01-26 Acoustic Imaging Technologies Corporation Ultrasound imaging system and method
US6963792B1 (en) * 1992-01-21 2005-11-08 Sri International Surgical method
US5361768A (en) * 1992-06-30 1994-11-08 Cardiovascular Imaging Systems, Inc. Automated longitudinal position translator for ultrasonic imaging probes, and methods of using same
US5397323A (en) * 1992-10-30 1995-03-14 International Business Machines Corporation Remote center-of-motion robot for surgery
US5788688A (en) * 1992-11-05 1998-08-04 Bauer Laboratories, Inc. Surgeon's command and control
EP0646263B1 (en) * 1993-04-20 2000-05-31 General Electric Company Computer graphic and live video system for enhancing visualisation of body structures during surgery
US5842473A (en) * 1993-11-29 1998-12-01 Life Imaging Systems Three-dimensional imaging system
US5765561A (en) * 1994-10-07 1998-06-16 Medical Media Systems Video-based surgical targeting system
JPH08111816A (ja) * 1994-10-11 1996-04-30 Toshiba Corp 医用画像表示装置
US5836880A (en) * 1995-02-27 1998-11-17 Micro Chemical, Inc. Automated system for measuring internal tissue characteristics in feed animals
US5817022A (en) * 1995-03-28 1998-10-06 Sonometrics Corporation System for displaying a 2-D ultrasound image within a 3-D viewing environment
US5797849A (en) * 1995-03-28 1998-08-25 Sonometrics Corporation Method for carrying out a medical procedure using a three-dimensional tracking and imaging system
JPH08275958A (ja) * 1995-04-07 1996-10-22 Olympus Optical Co Ltd 手術用マニピュレータ装置
US5887121A (en) * 1995-04-21 1999-03-23 International Business Machines Corporation Method of constrained Cartesian control of robotic mechanisms with active and passive joints
US5551432A (en) * 1995-06-19 1996-09-03 New York Eye & Ear Infirmary Scanning control system for ultrasound biomicroscopy
US6256529B1 (en) * 1995-07-26 2001-07-03 Burdette Medical Systems, Inc. Virtual reality 3D visualization for surgical procedures
JPH09173352A (ja) * 1995-12-25 1997-07-08 Toshiba Medical Eng Co Ltd 医用ナビゲーションシステム
US5797900A (en) 1996-05-20 1998-08-25 Intuitive Surgical, Inc. Wrist mechanism for surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
US6642836B1 (en) * 1996-08-06 2003-11-04 Computer Motion, Inc. General purpose distributed operating room control system
US5810008A (en) * 1996-12-03 1998-09-22 Isg Technologies Inc. Apparatus and method for visualizing ultrasonic images
US5853367A (en) * 1997-03-17 1998-12-29 General Electric Company Task-interface and communications system and method for ultrasound imager control
JPH10322629A (ja) * 1997-05-16 1998-12-04 Canon Inc 撮像装置、撮像システム、及び記憶媒体
US6129670A (en) * 1997-11-24 2000-10-10 Burdette Medical Systems Real time brachytherapy spatial registration and visualization system
US5842993A (en) * 1997-12-10 1998-12-01 The Whitaker Corporation Navigable ultrasonic imaging probe assembly
JP3582348B2 (ja) * 1998-03-19 2004-10-27 株式会社日立製作所 手術装置
US6950689B1 (en) * 1998-08-03 2005-09-27 Boston Scientific Scimed, Inc. Dynamically alterable three-dimensional graphical model of a body region
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6468265B1 (en) * 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
US6951535B2 (en) * 2002-01-16 2005-10-04 Intuitive Surgical, Inc. Tele-medicine system that transmits an entire state of a subsystem
US6522906B1 (en) * 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
US6799065B1 (en) * 1998-12-08 2004-09-28 Intuitive Surgical, Inc. Image shifting apparatus and method for a telerobotic system
US6602185B1 (en) * 1999-02-18 2003-08-05 Olympus Optical Co., Ltd. Remote surgery support system
JP2000300579A (ja) * 1999-04-26 2000-10-31 Olympus Optical Co Ltd 多機能マニピュレータ
US6312391B1 (en) * 2000-02-16 2001-11-06 Urologix, Inc. Thermodynamic modeling of tissue treatment procedure
US6599247B1 (en) * 2000-07-07 2003-07-29 University Of Pittsburgh System and method for location-merging of real-time tomographic slice images with human vision
US6862561B2 (en) * 2001-05-29 2005-03-01 Entelos, Inc. Method and apparatus for computer modeling a joint
US6887245B2 (en) * 2001-06-11 2005-05-03 Ge Medical Systems Global Technology Company, Llc Surgical drill for use with a computer assisted surgery system
US7831292B2 (en) * 2002-03-06 2010-11-09 Mako Surgical Corp. Guidance system and method for surgical procedures with improved feedback
EP1531749A2 (en) * 2002-08-13 2005-05-25 Microbotics Corporation Microsurgical robot system
US20060161218A1 (en) * 2003-11-26 2006-07-20 Wicab, Inc. Systems and methods for treating traumatic brain injury
JP4377827B2 (ja) * 2004-03-30 2009-12-02 株式会社東芝 マニピュレータ装置
US20080020362A1 (en) * 2004-08-10 2008-01-24 Cotin Stephane M Methods and Apparatus for Simulaton of Endovascular and Endoluminal Procedures
JP2006055273A (ja) * 2004-08-18 2006-03-02 Olympus Corp 手術支援システム
US7396129B2 (en) * 2004-11-22 2008-07-08 Carestream Health, Inc. Diagnostic system having gaze tracking
JP2006320427A (ja) * 2005-05-17 2006-11-30 Hitachi Medical Corp 内視鏡手術支援システム
JP2006321027A (ja) * 2005-05-20 2006-11-30 Hitachi Ltd マスタ・スレーブ式マニピュレータシステム及びその操作入力装置
JP4398405B2 (ja) * 2005-05-30 2010-01-13 アロカ株式会社 医療システム
EP1887961B1 (en) * 2005-06-06 2012-01-11 Intuitive Surgical Operations, Inc. Laparoscopic ultrasound robotic surgical system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6241725B1 (en) * 1993-12-15 2001-06-05 Sherwood Services Ag High frequency thermal ablation of cancerous tumors and functional targets with image data assistance
CN101291635A (zh) * 2005-10-20 2008-10-22 直观外科手术公司 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵

Also Published As

Publication number Publication date
KR20080068640A (ko) 2008-07-23
CN103142309A (zh) 2013-06-12
KR101320379B1 (ko) 2013-10-22
EP3155998B1 (en) 2021-03-31
US20160235496A1 (en) 2016-08-18
JP5467615B2 (ja) 2014-04-09
JP2013150873A (ja) 2013-08-08
EP3162318A2 (en) 2017-05-03
EP3162318A3 (en) 2017-08-09
JP2012055752A (ja) 2012-03-22
CN101291635B (zh) 2013-03-27
JP5322648B2 (ja) 2013-10-23
US20220071721A1 (en) 2022-03-10
EP3524202A1 (en) 2019-08-14
JP5276706B2 (ja) 2013-08-28
EP3155998A1 (en) 2017-04-19
US20190388169A1 (en) 2019-12-26
WO2007047782A2 (en) 2007-04-26
EP3162318B1 (en) 2019-10-16
JP2009512514A (ja) 2009-03-26
US20080033240A1 (en) 2008-02-07
CN103251455A (zh) 2013-08-21
EP1937176A2 (en) 2008-07-02
CN101291635A (zh) 2008-10-22
JP2012061336A (ja) 2012-03-29
CN103142309B (zh) 2015-06-17
US11197731B2 (en) 2021-12-14
EP1937176B1 (en) 2019-04-17
WO2007047782A3 (en) 2007-09-13
JP5639223B2 (ja) 2014-12-10

Similar Documents

Publication Publication Date Title
CN103251455B (zh) 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵
JP6138227B2 (ja) 腹腔鏡超音波ロボット外科手術システム
JP2009512514A5 (zh)
US20200268440A1 (en) Automated ablation control systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant