CN115052549A - 三维医学成像和交互 - Google Patents

三维医学成像和交互 Download PDF

Info

Publication number
CN115052549A
CN115052549A CN202180011844.4A CN202180011844A CN115052549A CN 115052549 A CN115052549 A CN 115052549A CN 202180011844 A CN202180011844 A CN 202180011844A CN 115052549 A CN115052549 A CN 115052549A
Authority
CN
China
Prior art keywords
uid
display
patient
dimensional
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180011844.4A
Other languages
English (en)
Inventor
B·福尔斯特
A·巴特尔
E·M·约翰逊
R·科杰夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Verb Surgical Inc
Original Assignee
Verb Surgical Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Verb Surgical Inc filed Critical Verb Surgical Inc
Publication of CN115052549A publication Critical patent/CN115052549A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A61B2017/00123—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation and automatic shutdown
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/0042—Surgical instruments, devices or methods, e.g. tourniquets with special provisions for gripping
    • A61B2017/00446—Surgical instruments, devices or methods, e.g. tourniquets with special provisions for gripping for use only by lefthanded or only by righthanded persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973—Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/60—Supports for surgeons, e.g. chairs or hand supports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/008—Aspects relating to glasses for viewing stereoscopic images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Gynecology & Obstetrics (AREA)
  • General Physics & Mathematics (AREA)
  • Urology & Nephrology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

医学图像查看器可将患者解剖结构的三维视图、该患者解剖结构的多平面重建(MPR)视图和术中视图渲染到显示器。这些视图中的一些视图可被同步以示出该解剖结构的共同焦点。本发明描述并要求保护其他实施方案。

Description

三维医学成像和交互
交叉引用
本专利申请要求于2020年1月30日提交的名称为“THREE DIMENSIONAL MEDICALIMAGING AND INTERACTIONS”的美国临时申请第62/967,810号的较早申请日的权益。
技术领域
本公开整体涉及外科机器人领域，并且更具体地涉及利用外科机器人系统显示患者的三维图像并与该三维图像交互。
背景技术
微创外科手术(MIS)诸如腹腔镜手术涉及旨在在外科规程期间减少组织损伤的技术。例如，腹腔镜规程通常涉及在患者体内(例如，在腹部)形成多个小切口，以及通过切口将一个或多个工具和至少一个内窥镜相机引入患者体内。然后通过使用引入的工具执行外科规程，其中可视化辅助由相机提供。
一般来讲，MIS提供多重有益效果，诸如减少患者疤痕、减轻患者疼痛、缩短患者恢复期以及降低与患者恢复相关联的医疗费用。在一些实施方案中，可利用外科机器人系统执行MIS，该外科机器人系统包括用于基于来自操作者的命令操纵外科器械的一个或多个机器人臂。例如，操作员可提供用于操纵外科器械的命令，同时查看由相机提供并在显示器上向用户显示的图像。然而，常规显示系统无法实现有效控制显示系统或外科机器人系统。此外，常规显示系统通常向用户提供二维外科图像数据，并且当前的三维显示器通常需要用户佩戴眼镜或另外类似的可穿戴部件(例如，其具有偏振滤光器或动态快门)，以对三维图像进行可视化。然而，此类眼镜和另外的可穿戴部件在外科或无菌环境中使用和操纵可能会造成一定问题。在利用外科机器人系统进行的外科规程期间，外科医生可能希望查看患者的图像数据，该图像数据可帮助该外科医生导航患者的解剖结构。因此，需要使得用户能够在利用外科机器人系统执行的外科规程期间更好地可视化外科手术部位的改进的三维显示系统。
发明内容
一般来讲，具有交互式三维显示器的外科机器人系统可包括左手持式用户界面装置(UID)和右手持式UID，以及自动立体三维显示器。外科机器人系统的一个或多个计算机处理器可被配置为接收患者的多个术前图像并且对该术前图像执行重建以生成该患者的三维图像。处理器可立体地渲染患者的三维图像，从而产生具有表示左眼位置的第一组数据和表示右眼位置的第二组数据的立体数据流。可利用立体数据流驱动自动立体三维显示器，以在该自动立体三维显示器上产生患者的三维图像的一个或多个视图。处理器可响应于来自左UID和/或右UID的输入而调整自动立体三维显示器上的患者的三维图像的视图。相同的UID可用于控制外科机器人臂(和/或附接的工具)来执行外科规程，从而允许用户在查看患者的三维图像与对患者执行外科手术之间无缝切换。
在一些实施方案中，患者的内窥镜视图和外科手术部位与患者的三维图像同时在三维显示器上示出。用户可更好地理解患者解剖结构，从而可导航外科工具来影响外科规程。
附图说明
图1是根据一些实施方案的手术场所中的示例性外科机器人系统的绘画视图。
图2示出了根据一些实施方案的具有三维视图的外科机器人系统的系统图。
图3示出了根据一些实施方案的用于通过外科机器人系统提供三维视图的过程。
图4示出了根据一些实施方案的具有三维视图特征的外科机器人系统的用户控制台。
图5示出了根据一些实施方案的示例性显示器或监测器的分解侧视图。
图6和图7示出了根据一些实施方案的用于与外科机器人系统一起使用的示例性显示系统。
图8和图9示出了根据一些实施方案的使用外科机器人系统与患者的三维图像交互的示例。
图10示出了根据一些实施方案的医学图像查看器。
图11示出了根据一些实施方案的用于与外科机器人系统一起使用的显示系统。
具体实施方式
本发明的各个方面和变型的非限制性示例在本文中描述并在附图中示出。
参见图1，这是手术场所中的示例性外科机器人系统1的绘画视图。机器人系统1包括用户控制台2、控制塔3以及外科机器人平台5(例如台、床等)处的一个或多个外科机器人臂4。系统1可结合用于对患者6执行外科手术的任何数量的装置、工具或附件。例如，系统1可包括用于执行外科手术的一个或多个外科工具7。外科工具7可以是附接到外科臂4的远侧端部的端部执行器，用于执行外科规程。在一个方面，臂4可安装到如图1的示例中所示的患者所处的手术台或床，或者这些臂可安装到与手术台或床分离的推车。
每个外科工具7可在外科手术期间手动操纵、通过机器人操纵或两者。例如，外科工具7可以是用于进入、查看或操纵患者6的内部解剖结构的工具。在一个实施方案中，外科工具7为可抓紧患者的组织的抓持器。外科工具7可由床边操作者8手动控制；或者其可经由其所附接的外科机器人臂4的致动移动而由机器人控制。机器人臂4被示出为台上安装系统，但在其他配置中，臂4可安装在手推车、天花板或侧壁上，或者安装在另一个合适的结构支撑件中。
一般来讲，远程操作者9(诸如外科医生或其他操作者)可使用用户控制台2来远程操纵臂4或所附接的外科工具7，例如远程操作。用户控制台2可位于与系统1的其余部分相同的手术室中，如图1所示。然而，在其他环境中，用户控制台2可位于相邻或附近的房间中，或者其可位于远程位置，例如，在不同的建筑物、城市或国家中。用户控制台2可包括座椅10、脚动控件13、一个或多个手持式用户输入装置(UID)14以及至少一个用户显示器15，该用户显示器被配置为显示例如患者6体内的外科手术部位的视图。在示例性用户控制台2中，远程操作者9坐在座椅10中并查看用户显示器15，同时操纵脚动控件13和手持式UID14，以便远程控制臂4和外科工具7(其安装在臂4的远侧端部上)。
在一些变型中，床边操作者8还可以“床上”模式操作系统1，其中床边操作者8(用户)现在位于患者6的一侧并且同时操纵机器人驱动的工具(附接到臂4的端部执行器)，例如，用一只手握持手持式UID 14和手动腹腔镜工具。例如，床边操作者的左手可操纵手持式UID以控制机器人部件，而床边操作者的右手可操纵手动腹腔镜工具。因此，在这些变型中，床边操作者8可对患者6执行机器人辅助微创外科手术和手动腹腔镜外科手术两者。
在示例性规程(外科手术)期间，为患者6做手术准备并以无菌方式为该患者覆盖消毒盖布以实现麻醉。在机器人系统1的臂处于收起配置或撤回配置时，可手动地执行对外科手术部位的初始触及(以便于触及外科手术部位)。一旦完成触及，就可执行机器人系统1包括其臂4的初始定位或准备。接着，外科手术继续，其中用户控制台2处的远程操作者9利用脚动控制件13和UID 14来操纵各种端部执行器以及可能的成像系统，以执行外科手术。也可由身着消毒手术衣的床边人员(例如，床边操作者8)在手术床或手术台处提供人工辅助，该床边人员可对机器人臂4中的一个或多个臂执行任务，诸如回缩组织、执行手动重新定位以及工具更换。也可存在非消毒人员以在用户控制台2处辅助远程操作者9。当规程或外科手术完成时，系统1和用户控制台2可被配置或设定成一定状态以便于完成术后规程，诸如清洁或消毒以及经由用户控制台2输入或打印保健记录。
在一个实施方案中，远程操作者9保持并且移动UID 14以提供输入命令，从而移动机器人系统1中的机器人臂致动器17。UID 14可例如经由控制台计算机系统16通信地耦接到机器人系统1的其余部分。UID 14可生成对应于UID 14的移动的空间状态信号，例如UID的手持式外壳的位置和取向，并且空间状态信号可以是控制机器人臂致动器17的运动的输入信号。机器人系统1可使用源自空间状态信号的控制信号来控制致动器17的成比例运动。在一个实施方案中，控制台计算机系统16的控制台处理器接收空间状态信号并生成对应的控制信号。基于控制致动器17如何通电以移动臂4的区段或连接件的这些控制信号，附接到臂的对应外科工具的移动可模拟UID 14的移动。类似地，远程操作者9与UID 14之间的交互可生成例如夹持控制信号，该夹持控制信号使外科工具7的抓持器的钳口闭合并夹持患者6的组织。
外科机器人系统1可包括若干UID 14，其中为控制相应臂4的致动器和外科工具(端部执行器)的每个UID生成相应的控制信号。例如，远程操作者9可移动第一UID 14以控制位于左机器人臂中的致动器17的运动，其中致动器通过移动臂4中的连杆、齿轮等来响应。类似地，远程操作者9对第二UID 14的移动控制另一个致动器17的运动，这继而移动机器人系统1的其他连杆、齿轮等。机器人系统1可包括固定到患者的右侧的床或台的右臂4，以及位于患者的左侧的左臂4。致动器17可包括一个或多个马达，控制该一个或多个马达，使得它们驱动臂4的接合部旋转，以例如相对于患者改变附接到该臂的外科工具7的内窥镜或抓持器的取向。同一臂4中的若干致动器17的运动可由从特定UID 14生成的空间状态信号控制。UID 14还可控制相应外科工具抓持器的运动。例如，每个UID 14可生成相应的夹持信号以控制致动器(例如，线性致动器)的运动，该致动器在外科工具7的远侧端部处打开或闭合抓持器的钳口以夹持患者6体内的组织。
在一些方面，平台5和用户控制台2之间的通信可通过控制塔3，该控制塔可将从用户控制台2(并且更具体地从控制台计算机系统16)接收的用户命令转换成传输到机器人平台5上的臂4的机器人控制命令。控制塔3还可将状态和反馈从平台5传输回用户控制台2。可使用各种数据通信协议中的任何合适的数据通信协议经由有线或无线链路来实现机器人平台5、用户控制台2和控制塔3之间的通信连接。任何有线连接可任选地内置于手术室的地板或墙壁或天花板中。机器人系统1可向一个或多个显示器(包括手术室内的显示器，以可经由互联网或其他网络访问的远程显示器)提供视频输出(例如，机器人系统1可包括向显示器提供视频输出或其他合适的图像数据的一个或多个内窥镜相机)。还可加密视频输出或馈送以确保隐私，并且视频输出的全部或部分可保存到服务器或电子保健记录系统。
参考图2，示出了根据一些实施方案的外科机器人系统1，其具有允许用户(例如，外科医生)在手术期间在三维查看空间中浏览患者的术前图像的特征。这可为外科医生提供关于患者解剖结构的附加信息，该附加信息可帮助该外科医生正确导航并利用外科机器人系统对该患者执行外科手术。用于执行规程的相同UID和显示器可用于呈现三维术前图像，从而允许外科医生在执行外科手术时无缝地查看术前图像。
外科机器人系统1包括多个UID 14，例如左手持式UID和右手持式UID。在一些实施方案中，UID中的每个UID具有灯泡状部分，该灯泡状部分在受到挤压时被激活并在释放时被去激活。除此之外或另选地，UID可具有一个或多个按钮，该一个或多个按钮在按下时被激活，并且在释放时被去激活。一个或多个处理器36被配置为监测每个UID的激活状态(例如，激活或去活)。在一些实施方案中，每个UID可具有多个输入(例如，按钮和/或可挤压灯泡状件的组合)，每个输入具有由处理器监测的激活状态。处理器可跟踪UID的位置和移动，如在其他部分中所讨论的。
系统可使用用于执行外科手术的相同硬件来在外科手术期间无缝地允许获得对术前图像的三维查看。例如，处理器被配置为响应于来自左UID和/或右UID的输入而控制多个外科机器人臂4和/或工具7的移动，以对患者执行外科手术。用户可在场或远程控制外科臂。显示系统140可以是自动立体三维显示器，其用于查看来自外科手术的操作的实时图像(例如，来自内窥镜42的内窥镜图像44)。自动立体三维显示器可同时a)产生患者的三维视图并且b)基于从内窥镜接收到的图像来产生内窥镜视图。三维显示器可与用户控制台集成，使得用于查看患者的三维图像的相同显示器也用于查看患者体内的外科手术部位，以协调外科工具在该外科手术部位中的移动。通过同时观看两个视图，用户可更好地理解患者解剖结构以及如何移动工具来执行外科手术。
术前图像43可以是由加载器和图像查看器应用程序32从图片存档和通信系统(PACS)41接收的。PACS是一种用于存储和访问来自通常存在于医院和其他医学机构中的不同模态(例如，计算机断层扫描(CT)或磁共振成像(MRI))的医学图像的系统。加载器和查看器32是在外科机器人系统上运行的应用程序。在外科规程之前，系统从PACS接收患者的术前图像。那些图像可作为多帧医学数字成像和通信(DICOM)文件存储。DICOM是限定医学图像及其元数据如何存储和交换的标准。
系统(例如，在加载器和查看器应用程序32处)可对多个术前图像43执行重建以生成患者的三维图像。可作为DICOM文件存储的图像可各自表示患者的“切片”。可将这些切片组合以利用可由处理器执行的一种或多种已知技术重建患者的三维模型。可通过将强度分配给每个像素(2D)或体素(3D)来表示术前2D图像和重建的三维图像。系统可执行划分，从而将类别分配给在感兴趣结构或感兴趣区域(ROI)中的那些图像的每个像素或体素，以产生分割。此类分割可通过手动、半自动或自动注释来获得。三维可视化(具体地分割)可用于使结构(诸如当前不感兴趣的那些结构)变透明。在一些实施方案中，UID输入可选择患者的三维图像的分割，并且命令那些分割变成透明的，使得用户可更好地看到感兴趣区域(例如，器官或肿瘤)。
除此之外，医学图像模态(例如，计算机断层扫描(CT)或磁共振成像(MRI))可能需要重建步骤，在该重建步骤之后可在图像空间中查看所采集的数据。在该重建步骤之后将这个数据呈现给用户的一种方式是示出三个切片或平面—矢状、冠状和横向(也被称为轴向)的切片或平面。可对术前图像执行多平面重建(MPR)以生成患者的矢状视图、冠状视图和横向视图。MPR涉及将在通常为轴向(横向)的特定平面中采集到的来自成像模态的数据转换到一个或多个其他平面。可使用来自在轴向平面中的体积CT扫描的薄切片数据来执行MPR，但是可使用其他医学图像模态(诸如MRI)和其他平面。然后可将例如来自轴向平面的医学薄切片图像转换到非轴向平面，诸如冠状、矢状或倾斜的平面。
立体三维渲染器34立体地渲染患者的三维图像，从而产生具有表示左眼位置的第一组数据和表示右眼位置的第二组数据的立体数据流。每组数据(例如，数据流)表示用户的每只眼睛在三维显示器上看到的内容。在一个方面，渲染器生成两个虚拟相机，每个数据流一个。虚拟相机定位在虚拟空间中，使得它们具有水平偏移。在一个实施方案中，使用离轴渲染来立体地渲染三维图像。在这种情况下，每个虚拟相机具有非对称相机截头锥体。视图截头锥体是可能出现在屏幕上的建模3D环境中的空间区域。换句话说，它是虚拟相机的视场。非对称相机截头锥体可避免对用户造成查看压力。两个虚拟相机放置在同一场景中并共享单个OpenGL上下文。每个虚拟相机将相应数据流渲染到单独的视口。相比之下，“前束”技术仅仅是将每个虚拟相机(不具有非对称相机截头锥体)对准相同的焦点，从而引入对用户造成查看压力的竖直视差。
利用立体数据流驱动可以是自动立体三维显示器的显示系统140，以在该显示器上产生患者的三维图像的一个或多个视图。用户可响应于来自左UID和/或右UID 14的输入而调整自动立体三维显示器上的患者的三维图像的视图。应当理解，一个或多个处理器36执行计算机指令(例如，其存储在非易失性存储器中)，以运行应用程序诸如加载和图像查看器应用程序32、立体3D渲染器34和其他应用程序。此外，不同的处理器可专用于不同的任务，例如，一个处理器可专用于加载和查看图像。另一个处理器可专用于立体渲染。另一个处理器可专用于监测UID激活状态。与处理资源的分配相关的架构与本公开无关，并且这种架构可变化但不超出本公开的范围。
参考图3，过程50可在外科规程期间由外科机器人系统执行，以帮助提供关于患者解剖结构的视觉信息。外科机器人系统的一个或多个处理器可被配置为执行该过程。在框51处，该过程包括对患者的多个术前图像执行重建，以生成患者的三维图像。还可执行MPR来生成MPR视图(例如，轴向视图、矢状视图和冠状视图，如图7所示)。
在框52处，该过程包括立体地渲染患者的三维图像，从而产生立体数据流，该立体数据流具有a)第一组数据，该第一组数据表示左眼将在左眼位置处看到的视觉数据；和b)第二组数据，该第二组数据表示右眼将在右眼位置处看到的视觉数据。如所讨论的，虚拟相机可虚拟地位于同一场景中并共享单个OpenGL上下文，以虚拟地捕获三维图像的图像，从而产生对应的数据集。通过“虚拟相机”，这意味着虚拟图像数据是从在计算机模拟空间(虚拟空间)中由计算机模拟的相机的视点生成的。
在框53处，该过程包括利用立体数据流驱动自动立体三维显示器，以在该自动立体三维显示器上产生患者的三维图像的一个或多个视图。向用户三维地示出图像需要三维监测器。如所描述的，用户控制台可包括用于控制外科机器人臂和附接工具的外科监测器。在一些情况下，用户可在查看外科监测器时佩戴3D眼镜，以产生三维效果。在一些情况下，自动立体或“免戴眼镜”显示器可部署在用户控制台中，以便能够使得没有必要佩戴眼镜。该过程可生成可视化管线，该可视化管线组合a)患者的经渲染的三维图像和b)来自内窥镜的图像，以形成具有患者的三维图像以及患者外科手术的不是三维的实时馈送的混合视图。
在框54处，该过程包括响应于来自左手持式用户界面装置(UID)和右手持式UID的输入而调整自动立体三维显示器上的患者的三维图像的视图。三维显示器可与用于控制外科机器人臂的三维显示器相同，从而允许用户在执行外科规程时无缝地参考3D的患者解剖结构。类似地，UID可与用于控制外科机器人臂的那些UID相同。“离合器”(诸如脚踏输入装置)、语音识别的命令或UID输入可用于在使用UID来a)控制外科机器人臂和使用UID来b)调整在三维显示器上的患者解剖结构的视图之间切换控制。
UID提供了一种与图像查看器应用程序交互的无缝且直观的方式。通过跟踪每个UID的位置(位置和取向)，UID可用作光标。在一些实施方案中，UID可具有可挤压部分(例如，灯泡状部分)，挤压该部分会产生激活状态，作用类似于按下计算机鼠标的作用。不同的姿势、移动和激活序列可提供与用户界面(其示出了三维图像和内窥镜视图)的不同交互。
例如，用户可基于UID输入来选择要在UI上显示的图像系列。如果该系列包括2D图像，则可滚动(例如，围绕UID的中心轴线旋转)UID来滚动通过图像集。在该系列表示患者的三维图像数据(例如，患者的一系列术前图像/切片)的情况下，可通过旋转UID来改变MPR平面并因此滚动通过切片。此外，利用UID进行的姿势允许调整患者的重建的三维图像。缩放类似于触摸屏姿势—挤压两个UID，同时使这两个UID更靠近彼此或更远离彼此。可通过挤压两个UID并同时在相同方向上平移这两个UID来改变视图。可通过挤压并同时平移这些UID中的仅一个UID来输入旋转。快速挤压并释放UID会弹出菜单，可在该菜单中选择图像显示选项，比如亮度和对比度。一旦选择了，可通过旋转UID来修改这些参数。这些交互在其他部分中进一步描述。
图4示出了示例性用户控制台2的示意图。如图2所示，可提供用于与用户控制台2和外科机器人系统1一起使用的显示系统140。显示系统140包括自动立体三维显示器(也被称为监测器)142，可利用自动立体数据流驱动该自动立体三维显示器，以向用户显示三维(3D)和/或二维(2D)信息。监测器142可显示与外科规程(例如，患者的三维图像、外科手术部位的内窥镜相机视图、静态图像、GUI等)或外科机器人系统(例如，状态、系统设置)相关联的各种信息，或呈以下形式的其他合适的信息：2D和3D视频、图像数据、文本、图形界面、警告、控件、指示灯等。如本文所描述的监测器142还可使得用户能够使用该用户的眼睛移动或其他合适的姿势来与所显示内容交互，以便控制显示系统和其他器械(诸如外科机器人系统中的那些器械)的操作。
三维显示系统140包括多个传感器组件144和146，该多个传感器组件包括第一跟踪传感器组件144(其可包括头部或眼睛跟踪传感器)和第二跟踪传感器组件146(其可包括注视跟踪传感器)。第一传感器组件144和第二传感器组件146可附接到监测器142或在一些变型中与该监测器一体形成。例如，第一传感器组件144可连接到监测器142的上部部分或顶部部分，并且第二传感器组件146可连接到监测器142的下部部分或底部部分，如图2中大体上所示。然而，在另选方案中，第二传感器组件146可附接到监测器142的顶部部分，并且第一传感器组件144可附接到监测器142的底部部分，或者第一传感器组件144和第二传感器组件146两者都可附接到监测器142的顶部部分或底部部分，或者第一传感器组件144或第二传感器组件146可附接到监测器142的侧面部分。在不脱离本公开的范围的情况下，第一传感器组件144或第二传感器组件146还可联接到控制台2的或靠近该控制台的其他合适的部件或零件，或者与该控制台的或靠近该控制台的其他合适的部件或零件结合。
如图4进一步所示，监测器142可由功率可调整监测器支撑组件150支撑。监测器142可被定位成接近或靠近座椅10，以使得用户能够在用户坐在座椅10中或以其他方式占用该座椅时查看监测器。例如，支撑组件150可具有定位在座椅10的前面或前方的支撑件或柱152，该支撑件或柱152至少部分地支撑监测器142。在一个变型中，监测器142通过可调整安装组件154连接到支撑件152，该可调整安装组件包括具有一个或多个致动器158、162、166的致动器子系统，该一个或多个致动器使得能够(例如，基于从第一传感器组件144或第二传感器组件146接收到的输出数据)自动调整监测器152的位置或取向。监测器142还可包括附接到监测器142的一个或多个传感器(例如，位置传感器、运动传感器、加速度计等)，该一个或多个传感器有利于检测并跟踪监测器的位置或取向。
安装组件154可实现监测器142在多达六个自由度上的平移或旋转移动，这六个自由度包括例如倾斜、偏航、旋转、前后移动、左右移动和上下移动。例如，安装组件154可包括联接到监测器142的可滑动支撑部分或构件156。可滑动支撑部分156还可由一个或多个致动器158(例如，马达、液压致动器、气动致动器等)驱动，以进行监测器142的上下和左右平移。安装组件154还可包括一个或多个伸缩式部分或节段160或其他合适的部分或部件，这些部分或部件由一个或多个致动器162驱动，以实现监测器142的向前和向后移动(即，监测器142朝向和远离座椅10的移动，例如，以改变座椅10与监测器142之间的距离)。伸缩式部分160可将监测器142连接到可滑动支撑部分156。安装组件154还可包括将监测器142连接到伸缩式部分160的可枢转连接件164(例如，旋转固定装置、球形接头、枢转特征部等)。监测器142围绕可枢转连接件164的移动可由致动器166(例如，马达、液压致动器、气动致动器等)驱动，以实现监测器142的倾斜、偏航和旋转。安装组件154还可允许手动调整监测器142的位置或取向。
座椅10可由功率可调整座椅支撑组件165支撑。功率可调整座椅支撑组件165可具有致动器子系统，该致动器子系统包括驱动座椅10的移动的致动器169/171。座椅支撑组件165包括座椅支撑件167，该座椅支撑件具有至少部分地支撑座椅10的单个支柱，但是在其他示例中，座椅支撑件167可包括两个或更多个支柱。座椅支撑件167可相对于监测器142向后成角度，但是在其他变型中，可笔直向上竖直地成角度或向前倾斜。在一些变型中，座椅10可以可移动地或可调整地安装到座椅支撑件167。例如，座椅10可相对于支撑件167旋转、倾斜、后仰等，以使得能够调整座椅10相对于监测器142的位置或取向(例如，使得可相对于监测器142自动调整用户的头部或眼睛的位置，以优化对该监测器上的三维图像进行的可视化或感知)。座椅组件165还可具有一个或多个致动器169(例如，马达、液压致动器、气动致动器等)，以用于(例如，响应于来自第一传感器组件144或第二传感器组件146的输出数据)自动驱动座椅10的旋转、倾斜、后仰等。
在一些变型中，座椅10还可沿着支撑件167移动(例如，以相对于监测器142向上和向下并且向前和向后移动座椅10)。例如，致动器171(例如，马达、液压致动器、气动致动器等)可(例如，响应于来自第一传感器组件144或第二传感器组件146的输出数据)驱动座椅10沿着支撑件167移动。此外或在另选方案中，座椅支撑件167可被配置为改变其角度或取向，或者在向前或向后方向上或在侧向方向上平移。在一些另外的变型中，座椅支撑件167可被配置为纵向地或大体上竖直地伸缩或以其他方式延伸或回缩。座椅支撑组件165还可允许手动调整座椅10的位置或取向。
图5示出了显示器或监测器142的系统的横截面视图。显示器或监测器142可包括平坦的、弯曲的或其他形状的面板显示器170(诸如LCD、LED、等离子体或其他合适的面板显示器)，该面板显示器具有用于显示二维或三维图像的多个像素。显示器142还可包括至少部分地覆盖或以其他方式设置/定位在显示器142上方的一个或多个层172/174。层172/174布置在显示面板的显示表面171上，以有利于对显示器142上的三维图像进行的用户可视化。在一个实施方案中，层172/174可包括微透镜，这些微透镜可至少部分地定位在面板显示器170的该多个像素上方，以有利于或以其他方式允许对面板显示器170上的三维图像进行的用户可视化或感知。在一个实施方案中，面板显示器170的像素可显示连续地和/或动态地交替的左眼图像和右眼图像，并且层172或174可使得用户能够将左眼图像和右眼图像可视化或感知为单个三维图像，而无需让用户使用三维眼镜或其他附加的可穿戴或类似的部件。在另选方案中，一个或多个层172/174可包括偏振滤光器、图案化延迟器或动态快门，并且用户可使用三维眼镜或其他类似的可穿戴部件来查看或可视化显示器上的三维图像。
显示器142还可包括至少部分地覆盖或密封层172/174或面板显示器170的保护层176。保护层176可密封并保护层172/174和面板显示器170，使得监测器142适用于外科环境。例如，保护层176可允许(例如，利用清洁用化学品，诸如含酒精或含氯的清洁剂)对显示器进行灭菌或清洁，而不会对微透镜172/174造成损坏。在一个实施方案中，保护层176可包括外科级玻璃或其他外科级材料(例如，外科级塑料或其他合适的复合材料)。保护层176还可具有在大约1mm至大约3.0mm的范围内(诸如大约2.0mm或在该范围内的其他合适的整数和非整数)的厚度。然而，在不脱离本公开的范围的情况下，可采用小于1.5mm或大于3.0mm的厚度。除此之外或在另选方案中，可在面板显示器170上(例如，在面板显示器170与层170之间)设置至少一个附加保护层177。附加保护层177可具有至多1.0mm(诸如大约0.3mm)的厚度，并且可由塑料、玻璃或其他合适的材料形成。
保护层176可使用粘合剂178(例如，光学透明粘合剂或其他合适的粘合剂或胶)粘结到层172/174或面板显示器170中的一者或两者。一个或多个间隔件179还可设置在保护层176与层172/174或面板显示器170之间。间隔件179可沿着保护层176的边界以等距间隔定位，但是在一些变型中，间隔件179可围绕保护层176间歇性地或零星地设置。间隔件179可防止在形成监测器期间(例如，在施加和粘结保护层176期间)对层174/176造成损坏。
在一些变型中，如图5所示，第一传感器组件144可包括一个或多个传感器200。传感器200可包括立体相机、红外相机或不过滤红外光的其他合适的相机202。在一个实施方案中，相机202可包括如由美国加州圣克拉拉市因特尔公司(Intel Corp.of Santa Clara,CA)提供的一个
Figure BDA0003772023630000131
实感相机。在不脱离本公开的范围的情况下，传感器200除此之外或另选地可包括其他类型的相机，例如彩色相机或其他合适的感测装置。来自第一传感器组件144的信号或输出信息可例如由与第一传感器组件144通信的控制器或处理器接收和处理，以有利于或以其他方式允许检测并跟踪用户的头部位置或眼睛位置。例如，第一传感器组件144可用于检测并跟踪用户的头部、一只眼睛或两只眼睛例如相对于原点或原始位置的xyz位置，使得可相对于监测器142连续地确定用户的头部或眼睛的位置，例如，距离。
此外，在一些变型中，第二传感器组件146包括一个或多个传感器210(诸如一个或多个相机212)和一个或多个闪光件或闪光灯214，该一个或多个闪光件或闪光灯例如闪烁光以有利于通过相机212检测并跟踪用户的注视。用户的注视基于用户眼睛的至少一个虹膜的位置或移动来检测，并且包括用户正看向或基本上聚焦于的区域或点(例如，监测器上的区域或点，或者离开/远离监测器的区域或点)。在一个实施方案中，闪光件214可被配置为每秒提供多次光闪烁，例如处于在大约80Hz至大约100Hz的范围内的频率(诸如大约90Hz或其他合适频率的频率)的光闪烁。相机212包括高速相机，该高速相机被配置为捕获用户的被(例如，被闪光件214)照明和未被照明的虹膜(例如，使得接收和处理来自相机212的输出数据的处理器可检测并跟踪用户的虹膜，以确定用户正看向或基本上聚焦于的点或区域)。来自闪光件214的光闪烁还可有助于例如在低光条件下利用第一传感器组件144感知用户的眼睛位置或头部位置。
应当理解，尽管上文已经讨论了显示系统中的传感器类型、传感器位置和传感器功能的一些具体示例，但是各种其他传感器和传感器类型可除此之外或另选地遍布在显示系统的各个部件中，以便捕获关于用户的信息或以作为交互式用户控件接收用户输入。
图6示出了要在监测器142上显示的图形用户界面(GUI)的示例。例如，GUI可显示显示部分或显示窗口180，该显示部分或显示窗口示出了(例如，来自内窥镜相机或放置在患者体内的其他合适的外科机器人相机的)内窥镜图像或其他合适的外科图像数据。GUI还可包括控制面板或侧面板182，该控制面板或侧面板包括与一个或多个应用程序(例如，定时器应用程序、x射线成像工具等)相关的一个或多个图像或图标184，该一个或多个应用程序与外科机器人系统1相关。控制面板182还可包括其他合适的信息，诸如一个或多个医学图像(例如，患者组织的术前图像)、患者数据(例如，姓名、医疗记录编号、出生日期、各种合适的注释等)、工具信息(例如，左或右工具编号、左或右工具名称、左或右工具功能等)。在不脱离本公开的情况下，可在监测器上呈现其他合适的GUI或其他显示内容。各种用户交互(例如，用户的注视或眼睛或头部移动)以及与如下文进一步所描述的应用程序的交互还可能导致显示内容类型的改变。
显示系统140通常包括处理器或控制器或与该处理器或控制器通信，该处理器或控制器被配置为基于处理第一传感器组件144的输出数据来检测并跟踪用户相对于监测器142的头部位置或眼睛位置。在一些变型中，可基于检测到的用户的眼睛位置或头部位置来调整监测器142与用户之间的空间关系(例如，坐在座椅10中的用户)，例如，以优化对监测器142上来自内窥镜或外科机器人相机的三维图像数据进行的用户可视化或感知。当用户的眼睛基本上相对于监测器142居中并且与该监测器间隔开规定距离(例如，大约70cm至大约90cm，诸如距监测器大约80cm)时，用户对检测器142上的三维图像的感知可能是最佳的。因此，座椅10或监测器142的位置或取向可自动(例如，在不需要有意的用户输入的情况下)调整或改变，以确保用户的头部或眼睛被定位成相对于监测器处于最佳取向或查看距离。
在一个实施方案中，处理器或控制器可与座椅致动器169和171或监测器致动器158、162、166通信，并且可自动向座椅致动器169/171或监测器158、162、166提供信号或信息，以基于处理来自第一传感器组件144或第二传感器组件166的输出信号来调整座椅10或监测器142的位置或取向。例如，处理器或控制器可确定用户的头部(或眼睛)相对于监测器142的位置，并且该处理器可自动生成信号并将该信号发送到座椅致动器169或171或监测器致动器158、162或166，以基于用户的头部(或眼睛)的所确定的位置来调整或改变座椅或监测器的位置或取向(例如，可将座椅后仰、倾斜、旋转、上下移动、左右移动等，或者可将监测器倾斜、偏航、旋转、前后移动、左右移动、上下移动等)，例如，以优化对监测器上来自外科机器人相机的三维图像进行的用户可视化。例如，可调整座椅或监测器的位置或取向，使得用户的头部(或眼睛)基本上相对于监测器居中，并且处于距监测器的规定距离处，以最佳地查看三维图像。
处理器或控制器除此之外或另选地可生成信号并将该信号发送到监测器142，以在该监测器上显示指令，这些指令用于手动调整监测器142或座椅10，以优化对显示器上的三维图像数据进行的用户感知或可视化。
此外，控制器或处理器被配置为基于处理第二传感器组件146的输出数据来检测并跟踪用户的注视，并且在一些变型中，可基于用户的检测到的注视来修改或控制显示系统140或外科机器人系统1的操作(例如，以有利于利用用户的眼睛或眼睛姿势来控制显示系统，或者当用户的检测到的注视从监测器移开时停止或暂停显示系统或外科机器人系统的操作)。
在一些变型中，处理器或控制器可与外科机器人系统1通信，并且该当处理器或控制器确定用户的注视未指向监测器142(例如，在预先确定的时间段内，诸如大约3秒或多达大约5秒或更多)时，该处理器或控制器可操作为自动将信号或其他输出数据发送到外科机器人系统1或显示系统140以激活或禁用其一个或多个操作(例如，以禁用或冻结外科系统的一个或多个子系统，诸如机器人臂4或外科工具7，或者以利用显示系统生成警报)。
在一个实施方案中，当处理器或控制器确定用户的注视例如在规定的时间段内未指向监测器142(诸如当用户分心、睡着了等时)时，该处理器或控制器自动生成一个或多个信号并将该一个或多个信号发送到外科系统1，以冻结或暂停机器人臂4或外科工具7的操作，例如，以防止对正在进行手术的患者造成伤害。此外，当处理器或控制器确定用户的注视已经返回到监测器142时，该处理器或控制器可自动生成一个或多个信号并将该一个或多个信号发送到外科系统以恢复机器人臂4或外科工具7的操作。然而，在发送信号以恢复机器人臂或外科工具7的操作之前，处理器或控制器可能需要特定的用户输入(例如，对图标的选择、姿势等)。
除此之外或在另选方案中，当处理器或控制器确定用户的注视未指向监测器142时，该处理器或控制器可生成信号并将该信号发送到显示系统140以激活一个或多个警报或通知来获得用户或其他合适的实体的注意(例如，显示系统的扬声器可播放一个或多个音频声音，监测器可显示指示用户的注视未指向监测器的一个或多个图像，或者座椅或UID的一个或多个振动或触觉可被激活)。
在一些变型中，用户的检测到且跟踪到的注视还可用于启动或控制控制/侧面板182上的应用程序。例如，用户可看向或聚焦于控制或侧面板182上的一个或多个图像184，以触发应用程序交互。用户可通过聚焦于或看向GUI上的一个或多个区域或点或使用其他合适的眼睛运动来启动或关闭应用程序、在一个或多个新窗口或弹出窗口中打开应用程序、控制应用程序的特征或操作等。在一个示例中，用户可聚焦于或看向与控制/侧面板上所示的定时器应用程序相关联的图像，例如，以启动和停止定时器。在另一个示例中，用户可聚焦于或看向与x射线成像工具相关联的图像，以启动该x射线成像工具(例如，以在显示器上的一个或多个二级或弹出窗口上打开该x射线成像工具)。用户的注视还可用于关闭x射线图像工具(例如，当用户看向别处或聚焦于关闭图标或图像或其他合适的特征时)。
除此之外，外科机器人相机的位置或取向还可基于用户的检测到且跟踪到的注视来更新或调整。在一些变型中，外科机器人相机的位置或取向可连续地或动态地更新(例如，控制器或处理器可自动生成信号并将这些信号发送到外科机器人相机的致动器子系统，以倾斜、旋转或以其他方式平移外科机器人相机的透镜)，使得监测器142上被用户聚焦的区域或点基本上沿着监测器142居中(例如，相对于该监测器的水平轴线和竖直轴线居中)，此时对三维图像数据进行的感知或可视化是最佳的。也就是说，每次用户聚焦于在显示窗口180中显示的三维图像数据的不基本上沿着显示窗口180居中(例如，基于用户的检测到的注视)的区域或点时，外科机器人相机的位置或取向可被更新或改变，使得用户聚焦于的三维图像数据的区域或点被沿着显示窗口180移动或以其他方式调整，以便基本上居中于显示窗口上。
例如，用户可最初聚焦于三维图像数据的基本上居中于显示窗口180内的点或区域，并且当用户改变其焦点或以其他方式将其注视重新定向到显示窗口180中所示的图像数据上的新区域或点(例如，用户看向或聚焦于接近或靠近显示窗口180的边缘或拐角的区域或点，或者用户看向或聚焦于以其他方式与显示窗口的中心中的原始点或区域间隔开的区域或点)时，处理器或控制器可生成一个或多个信号并将该一个或多个信号发送到外科机器人相机(或其控制器)，以自动调整外科机器人相机的位置或取向，使得被用户聚焦的三维图像数据的新区域或点被移动或调整，以便基本上居中于显示窗口180内。以这种方式，外科机器人相机的位置或取向可基于用户的所确定的注视来连续地或动态地调整或以其他方式更新，使得用户的焦点指向显示窗口并保持大体上沿着该显示窗口居中，以有利于对在该显示窗口中显示的三维图像数据进行的最佳三维感知或可视化。
在外科手术期间，用户可导航到示出基于术前图像重建的患者的三维图像的视图，如图7所示。可通过利用来自注视跟踪的输入、UID、其他输入(例如，脚踏控件)或其他已知方式(例如，语音识别命令)选择GUI上的菜单项(例如，图6上的“患者图像”)来完成该导航。
在图7中，图像查看器可在三维显示器上示出与当前外科规程和患者相关联的所有研究及其系列。虽然示出了图像查看器，但是内窥镜视图256在屏幕的一侧上的小窗口中仍然可见。可使用UID选择一系列用于查看。在该系列仅包含2D图像的情况下，这些图像可被显示，占据尽可能多的应用程序可用的屏幕空间。然后用户可使用UID例如通过旋转图像来滚动通过这些图像。
对于包括重建数据比如CT或MRI的系列，示出了MPR视图和3D渲染。MPR视图可包括矢状视图248、冠状视图252和横向(也被称为轴向)视图242。通过与UID的交互，用户可滚动通过切片并将那些切片限定为充当3D视图中的剪切平面。每个平面中的移动可被描述为滚动通过患者的三维模型的切片。在一些实施方案中，来自UID的输入可用于选择相对于三维图像的平面(例如，轴向、矢状或冠状平面)，并且滚动通过患者的三维图像的横截面切片，该横截面切片平行于所选择的平面。
例如，用户可使用UID生成输入以移动平面244，这将影响矢状视图的变化；或移动平面246，这将影响冠状视图的变化；或移动平面254，这将影响轴向视图的变化。
患者250的三维图像也在显示屏上渲染。用户可使用UID来“放大”、“缩小”、旋转和四处移动(移位)重建的三维图像。例如，参考图8，系统可通过响应于用户同时激活左UID和右UID 14并增大左UID与右UID之间的距离而增大自动立体三维显示器上的患者的三维图像的大小来进行“放大”。相反，为了“缩小”，系统可响应于激活左UID和右UID并同时减小左UID与右UID之间的距离而减小自动立体三维显示器上的患者的三维图像的大小。在两个UID被激活时，大小增加或减小的量可与距离增加或减小的量成比例。因此，就挤压致动的灯泡状UID而言，用户可挤压UID并将UID拉开来进行放大，并且挤压UID并将UID集合在一起来进行缩小。
在一些实施方案中，响应于致动并同时在相同方向上移位左UID和右UID两者，可移位(围绕三维空间移动)患者的三维图像。例如，如果用户以远离身体的方式握持两个UID，那么挤压并使这两个UID更靠近用户的身体，则可将患者的三维图像拉向用户。如果用户以靠近用户身体的方式握持两个UID，那么挤压并使这两个UID远离用户的身体，则可将患者的三维图像推离用户。用户与UID的其他协调移动可向上、向下、向左、向右等移动三维图像。在一些实施方案中，如图9所示，系统可响应于激活并同时旋转单个UID 14而旋转自动立体三维显示器上的患者的三维图像。UID可围绕该UID的纵向轴线旋转。
如所提及的，系统可跟踪UID的激活状态。此外，跟踪UID的位置和取向。UID可具有内置到每个UID的跟踪器(内向外跟踪)或位于UID的外部的跟踪器(外向内跟踪)，这些跟踪器跟踪UID的位置(包括位置和取向)和移动。就内向外跟踪而言，每个UID可具有容纳在UID上或内的相机(例如，红外相机)。在一些情况下，尽管没有要求，但是红外标记可放置在固定位置(例如，固定在用户控制台上或周围)并且由相机跟踪。其他视觉测程技术可用于基于从UID的相机捕获的图像来确定UID的位置和移动。
在图7中，可响应于UID输入而在自动立体三维显示器上渲染可选菜单262。例如，左UID或右UID中的一者的短暂激活时段可使菜单弹出，而另一个短暂致动激活可使菜单收起。菜单可具有调整显示偏好的可选项，诸如但不限于对比度、亮度和/或颜色。当选择菜单项中的一者时，可通过旋转UID来调整这些参数。短暂激活时段可例如小于一秒、小于半秒或小于四分之一秒。
在一些现有的医学图像查看解决方案中，外科医生在术中(在外科手术期间)无法用为了术前计划而进行的患者成像。即使在这种成像在术中可用的解决方案中，其他障碍也阻碍了这种信息的有效性，诸如例如，不同的图像模态(例如，CT、MRI、x射线、超声等)、不同的患者解剖结构，以及不同步并且/或者在不同显示器上示出的患者解剖结构的不同视图。一些现有解决方案不允许简单创建可在术中查看的注释和分割。现有解决方案的不足之处还在于，它们不同时示出具有不同模态的不同图像研究。此外，的确同时示出不同图像的一些解决方案不执行(例如，来自不同模态的)不同图像的协同配准。因此，这些图像不同步而无法示出共同焦点，诸如器官、组织、带注释分割或其他焦点。
图10示出了根据一些实施方案的医学图像查看器系统310。这种系统可被结合作为外科机器人系统的用户控制台(例如，如图1所示的用户控制台2)中的显示器。该系统可包括本公开中所描述的特征，诸如相对于图2至图9所描述的那些特征。
在图10中，系统310将患者的术前图像(例如，CT、MRI和其他术前成像)与实时的术中成像模态(内窥镜馈送、x射线、超声)组合，从而允许同时可视化这些图像。在一些实施方案中，该系统包括多模态图像的融合(例如，配准)。医学图像查看器还示出了可在术前做出并在术中示出的注释(例如，表面分割)，从而提供改善的外科手术指导。
系统310提供了同时查看在显示器的不同部分中以及/或者组合在单个视图中的术前成像和术中成像的功能。可协同配准(例如，不同模态的)图像，使得可在患者解剖结构的术中视图与术后视图之间进行直接比较和关联。不同模态的图像可在时间和空间上同步，以示出患者的解剖结构的焦点。
在框300处，捕获患者的术前成像。例如，CT扫描仪可生成示出患者的解剖结构的CT扫描。类似地，MRI可生成患者的MRI图像。
在框301处，可使用所捕获的术前图像来执行分割。通过将强度分配给图像的每个像素(在2D中)或体素(在3D中)来表示医学图像。可通过将类别分配给那些图像的每个像素或体素来划分图像，从而产生图像的分割。此类分割可通过手动注释和/或半自动注释来获得。具体地，对于3D可视化，分割可用于使当前不感兴趣的结构变透明。例如，图像查看器可使存在于分割图像中但不感兴趣的解剖结构变透明，从而改善焦点(例如，感兴趣区域)的可见性。针对每个像素或体素的分类可包括例如器官类型(肝、肠、胃等)、组织、病变、注释、肿瘤等。因此，图像的每个像素或体素可具有分类。
在框303处，系统可从用户接收术前注释。例如，系统可从用户接收输入，并且基于该输入，将标记或注释添加到在框300处拍摄的术前图像中或在从框301得到的分割图像中示出的界标、距离、弯道和/或表面。图像查看器可在术中示出这些注释。在一些实施方案中，系统还可在术中调用保存的视点或视角。因此，可调用可在术前做出的注释、在术前创建的视点和在术前创建的视角来在外科规程期间进行辅助。
在框304处，捕获术中成像。术中图像可包括内窥镜图像、超声或其他图像捕获技术。术中图像是在外科规程期间实时捕获的。内窥镜可手动控制或由外科机器人臂(诸如在其他部分中所描述的那些外科机器人臂)控制。
在框308处，将一个或多个图像配准算法应用于两个或更多个不同的数据集，诸如来自框300的术前图像、来自框301的分割图像、来自框303的带注释图像和/或来自304的术中成像。在一些实施方案中，系统应用一个或多个2D-3D配准算法。2D-3D配准算法采用3D体积、2D投影视图，并且做出关于在何处开始3D体积和2D投影的对准的初始化或初始猜测。一些算法使用经训练的深度学习模型来初始化该优化程序，并且基于不同的成本度量(诸如归一化的交叉相关或二元交叉熵损失)来辅助对准程序。可用于2D-3D配准的一种类型的配准算法的示例是使用基于网格的参数化的基于强度的变形配准，如在以下文献中所描述的：Klein、Stefan等人，“Elastix:a toolbox for intensity-based medical imageregistration”，IEEE医学影像汇刊，第29(1)期(2009年)：第196页-205页。这种算法可将B样条或自由变形(FFD)用于参数化。也可应用其他配准算法。
在框312处，图像查看器渲染在不同视图中和在显示器313的不同部分中患者的解剖结构的图像。在一些实施方案中，医学图像查看器包括体积数据渲染器，该体积数据渲染器从可变角度显示三维图像。在一些实施方案中，医学图像查看器包括显示x射线或其他平面图像的二维渲染器。在一些实施方案中，显示器可以是如在其他部分中所描述的立体显示器。除此之外或另选地，显示器可与平板计算机成一体。在一些实施方案中，用户可利用手持式UID(诸如用于控制外科机器人系统的那些UID)来生成输入，以控制显示器、选择焦点、选择术前注释、做出术中注释并且/或者平移通过MPR视图的“切片”。除此之外或另选地，用户可经由触摸屏用户界面生成输入。在一些实施方案中，焦点可保存到计算机可读存储器并且在稍后调用。
在一些实施方案中，图像查看器将包括患者的解剖结构的术前三维图像渲染到显示器的第一部分。同时，将解剖结构的MPR视图渲染到显示器的第二部分，并且将该解剖结构的术中图像渲染到显示器的第三部分。基于术前三维图像和MPR视图中示出的术前图像的协同配准，系统可使三维图像和术前图像同步以示出解剖结构的共同焦点。
例如，返回参考图7，显示器的第一部分281可示出患者解剖结构260的三维表示。MPR视图(242、248和252)可形成显示器的第二部分。内窥镜视图256形成显示器的第三部分。患者解剖结构的焦点可被选择为是例如器官(肝、胃、肠等)、肿瘤或组织。焦点还可以是在框303处注释的解剖结构的任何结构或其部分。图像和注释的配准提供了针对不同图像模态和/或注释的映射，使得当查看共同焦点时，图像和注释可以是同步的。
例如，如图11所示，如果焦点346是腹部中的肿瘤、器官、带注释的结构等，则可增加三维图像中示出的其他解剖结构(例如，组织、骨、肌肉、器官)的透明度以突出显示焦点。除此之外或另外地，可通过以将焦点与其他解剖结构形成对比的方式调整该焦点的颜色和/或亮度来突出显示该焦点。除此之外或另外地，三维图像可被布置成(例如，以焦点为中心或旋转图像来)强调焦点。同时，可在MPR视图中的每个MPR视图中(诸如利用轮廓、颜色、亮度或其他视觉指示符)突出显示相同的焦点。除此之外或另选地，每个MPR视图(如图7所示的244、246、254)的平面可被布置成穿过每个MPR视图中的焦点。以这种方式，如图所示的解剖结构可在手术期间被布置在显示器的不同部分中并被突出显示。可选择或调用不同的焦点来从不同视图可视化解剖结构的不同部分。这可帮助用户在外科手术的执行期间将外科工具导航通过解剖结构。
MPR视图包括矢状视图、冠状视图或横向视图中的至少两者。在一些实施方案中，MPR视图包括全部三种视图。如所提及的，MPR视图可基于焦点来布置。可通过一个或多个用户界面基于来自用户的输入来选择焦点。例如，用户可使用如在其他部分中所描述的手持式UID来选择焦点。焦点可以是菜单中的项目，或者任何图像的活动可选择部分。在一些实施方案中，如果显示器被示出为在触摸屏上，则用户可通过触摸屏显示器提供输入。
在一些实施方案中，三维视图可叠加在术中视图上并且/或者与术中视图对准。例如，参考图7，患者解剖结构260的三维图像可叠加在内窥镜视图256上方以提供对内窥镜中所示的解剖结构的三维理解，并且提供对一个或多个感兴趣点(例如，被突出显示的焦点)的附加强调。三维图像和/或焦点可与内窥镜馈送协同配准，使得三维图像在空间上与内窥镜馈送中所示的解剖结构同步。
在一些实施方案中，多个术中成像源可在框308处融合，并且由图像查看器以融合方式示出。例如，如图11所示，第一视图340占据显示器的第三部分，该第三部分示出了由第一术中捕获装置(例如，内窥镜)捕获的患者解剖结构的术中图像。捕获装置可在外科手术期间位于患者体内以帮助引导可手动地控制或机器人控制的一个或多个外科工具。第二术中视图342示出了利用第二捕获装置344(例如，超声扫描仪)生成的第二图像馈送。第二图像馈送(超声)可与第一术中图像馈送(内窥镜)协同配准，以在这两者之间创建空间映射。这可包括例如通过位置传感器和/或相机对内窥镜进行的空间跟踪。基于这两个图像馈送的协同配准，系统可将第二术中视图342在空间上映射到第一术中视图340(例如，内窥镜图像)，以将第二视图和第一视图融合在一起。以这种方式，用户可(例如，利用超声)看到一些解剖结构的“内部”，该内部可能利用其他方式(例如，使用单独的内窥镜)不可见。
出于解释的目的，前述描述使用特定命名来提供对本发明的透彻理解。然而，对于本领域的技术人员将显而易见的是，实践本发明不需要具体细节。出于举例说明和描述的目的，已经提供了本发明的特定实施方案的前述说明。它们并非旨在为详尽的或将本发明限制为所公开的具体形式；根据上述教导内容可对本公开进行多种修改和改变。选择和描述实施方案是为了最好地解释本发明的原理及其实际应用，从而使得本领域的其他技术人员能够最好地利用本发明和具有适合于所设想的特定用途的各种修改的各种实施方案。

Claims (24)

1.一种外科机器人系统，包括：
左手持式用户界面装置(UID)和右手持式UID；
自动立体三维显示器；和
处理器，所述处理器被配置为：
接收患者的多个术前图像；
对所述多个术前图像执行重建，以生成所述患者的三维图像；
立体地渲染所述患者的所述三维图像，从而产生立体数据流；
利用所述立体数据流驱动所述自动立体三维显示器，以在所述自动立体三维显示器上产生所述患者的所述三维图像的一个或多个视图；以及
响应于来自所述左手持式UID或所述右手持式UID的输入而调整所述自动立体三维显示器上的所述患者的所述三维图像的视图。
2.根据权利要求1所述的外科机器人系统，其中所述处理器被进一步配置为响应于来自所述左手持式UID或所述右手持式UID的附加输入而控制多个外科机器人臂的移动，以对所述患者执行外科手术。
3.根据权利要求1所述的外科机器人系统，其中UID中的每个UID具有灯泡状件，所述灯泡状件在受到挤压时被激活并在释放时被去激活，并且所述处理器被进一步配置为监测所述灯泡状件是被激活还是被去激活。
4.根据权利要求1所述的外科机器人系统，其中所述自动立体三维显示器基于从内窥镜接收到的图像来同时产生内窥镜视图。
5.根据权利要求1所述的外科机器人系统，其中调整所述患者的所述三维图像的所述视图包括：选择相对于所述三维图像的平面，以及滚动通过所述患者的所述三维图像的横截面切片，所述横截面切片平行于所选择的平面。
6.根据权利要求1所述的外科机器人系统，其中调整所述患者的所述三维图像的所述视图包括：a)响应于激活所述左手持式UID和所述右手持式UID并同时减小所述左手持式UID与所述右手持式UID之间的距离而减小所述自动立体三维显示器上的所述患者的所述三维图像的大小，或者b)响应于激活所述左手持式UID和所述右手持式UID并同时增大所述左手持式UID与所述右手持式UID之间的距离而增大所述自动立体三维显示器上的所述患者的所述三维图像的所述大小。
7.根据权利要求1所述的外科机器人系统，其中调整所述患者的所述三维图像的所述视图包括：响应于激活所述左手持式UID和所述右手持式UID并同时在相同方向上移位所述左手持式UID和所述右手持式UID而移位在所述视图内的所述患者的所述三维图像。
8.根据权利要求1所述的外科机器人系统，其中调整所述患者的所述三维图像的所述视图包括：响应于激活并同时旋转所述左手持式UID或所述右手持式UID中的仅一者而旋转所述自动立体三维显示器上的所述患者的所述三维图像。
9.根据权利要求1所述的外科机器人系统，其中所述处理器进一步被配置为响应于所述左手持式UID或所述右手持式UID中的一者的短暂激活时段而在所述自动立体三维显示器上渲染可选菜单。
10.根据权利要求1所述的外科机器人系统，其中所述自动立体三维显示器包括一个或多个层，所述一个或多个层至少部分地定位在所述自动立体三维显示器的显示表面上方，以有利于对所述显示表面上的所述三维图像进行的用户可视化，所述一个或多个层包括偏振滤光器、图案延迟器或动态快门中的至少一者。
11.根据权利要求10所述的外科机器人系统，其中所述用户将使用眼镜或其他可穿戴部件来查看所述自动立体三维显示器上的所述患者的所述三维图像。
12.根据权利要求1所述的外科机器人系统，其中所述处理器被进一步配置为：
基于从红外相机接收到的数据来检测并跟踪用户相对于所述自动立体三维显示器的显示表面的头部位置；以及
基于所述用户的检测到的注视来修改所述自动立体三维显示器的操作，以及
基于所述用户的所述头部位置来自动调整所述用户与所述显示表面之间的空间关系，以影响对所述自动立体三维显示器上的所述三维图像进行的所述用户可视化。
13.根据权利要求1所述的外科机器人系统，其中：
所述三维图像被渲染到所述自动立体三维显示器的第一部分，所述MPR视图被渲染到所述自动立体三维显示器的第二部分，术中图像被渲染到所述自动立体三维显示器的第三部分，并且所述术前三维图像和所述多平面视图被同步以示出所述患者的解剖结构的共同焦点。
14.一种由外科机器人系统的计算装置执行的方法，包括：
将包括患者的解剖结构的术前三维图像渲染到显示器的第一部分；
将所述解剖结构的多平面重建(MPR)视图渲染到所述显示器的第二部分；
将所述解剖结构的术中图像渲染到所述显示器的第三部分；以及
使所述术前三维图像和所述MPR视图同步以示出所述解剖结构的共同焦点。
15.根据权利要求14所述的方法，其中使所述解剖结构的所述焦点同步包括：基于对所述焦点的选择来布置所述解剖结构或突出显示如所述第一部分和所述第二部分中所示的所述焦点。
16.根据权利要求14所述的方法，其中所述焦点是以下中的至少一者：所述解剖结构的器官、组织、肿瘤或带注释结构。
17.根据权利要求14所述的方法，其中所述焦点通过以下中的至少一者来突出显示：颜色、亮度、轮廓和透明度。
18.根据权利要求14所述的方法，其中通过基于以下中的一者或多者对术前图像的体素进行分类：组织、器官、病变、注释，以及将已分类的体素与所述术前图像融合来生成所述三维图像。
19.根据权利要求14所述的方法，其中所述术中图像由内窥镜或超声生成。
20.根据权利要求14所述的方法，其中所述MPR视图包括使用计算机断层扫描(CT)或磁共振成像(MRI)生成的矢状视图、冠状视图或横向视图中的至少两者。
21.根据权利要求14所述的方法，其中基于对内窥镜的跟踪，将所述三维图像与在所述显示器的所述第三部分中的所述患者的所述解剖结构的术中图像叠加并对准。
22.根据权利要求14所述的方法，其中基于所述三维图像和通过所述MPR视图示出的所述解剖结构的图像的协同配准，使所述术前三维图像和所述MPR视图同步。
23.根据权利要求14所述的方法，其中所述显示器是所述外科机器人系统的用户控制控制台的立体显示器，并且通过用于控制所述外科机器人系统的一个或多个机器人臂的一个或多个手持式用户输入装置接收对所述焦点的选择。
24.根据权利要求14所述的方法，其中所述显示器是平板计算机的触摸屏显示器，并且通过所述触摸屏显示器将对所述焦点的选择接收作为输入。
CN202180011844.4A 2020-01-30 2021-01-29 三维医学成像和交互 Pending CN115052549A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062967810P 2020-01-30 2020-01-30
US62/967810 2020-01-30
PCT/US2021/015905 WO2021155290A1 (en) 2020-01-30 2021-01-29 Three dimensional medical imaging and interactions

Publications (1)

Publication Number Publication Date
CN115052549A true CN115052549A (zh) 2022-09-13

Family

ID=74701584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180011844.4A Pending CN115052549A (zh) 2020-01-30 2021-01-29 三维医学成像和交互

Country Status (5)

Country Link
US (1) US20210236233A1 (zh)
EP (1) EP4096560A1 (zh)
KR (1) KR20220134765A (zh)
CN (1) CN115052549A (zh)
WO (1) WO2021155290A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
US10895757B2 (en) * 2018-07-03 2021-01-19 Verb Surgical Inc. Systems and methods for three-dimensional visualization during robotic surgery
US11744646B2 (en) * 2018-12-12 2023-09-05 Acclarent, Inc. Registration probe for image guided surgery system
US20220110692A1 (en) * 2020-10-12 2022-04-14 Biosense Webster (Israel) Ltd. Procedure visualization and guidance
TW202400093A (zh) * 2022-03-15 2024-01-01 德商阿比奥梅德歐洲有限公司 追蹤系統及使用追蹤系統追蹤可移動感測器在患者身體內的即時位置的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11534246B2 (en) * 2018-06-15 2022-12-27 Verb Surgical Inc. User input device for use in robotic surgery
US10895757B2 (en) * 2018-07-03 2021-01-19 Verb Surgical Inc. Systems and methods for three-dimensional visualization during robotic surgery

Also Published As

Publication number Publication date
US20210236233A1 (en) 2021-08-05
WO2021155290A1 (en) 2021-08-05
EP4096560A1 (en) 2022-12-07
KR20220134765A (ko) 2022-10-05

Similar Documents

Publication Publication Date Title
US11333899B2 (en) Systems and methods for three-dimensional visualization during robotic surgery
US20210236233A1 (en) Three dimensional medical imaging and interactions
US11977678B2 (en) Robotic system providing user selectable actions associated with gaze tracking
US20230218356A1 (en) Systems and methods for projecting an endoscopic image to a three-dimensional volume
US11389255B2 (en) Providing information of tools by filtering image areas adjacent to or on displayed images of the tools
KR102471422B1 (ko) 외과수술 환경에서의 비접촉 제어를 위한 방법 및 시스템
KR102117273B1 (ko) 수술 로봇 시스템 및 그 제어 방법
US11258964B2 (en) Synthesizing spatially-aware transitions between multiple camera viewpoints during minimally invasive surgery
JP5372225B2 (ja) コンピュータディスプレイ画面の境界領域に表示されるツール位置および識別指標
US20240156548A1 (en) Multi-dimensional visualization in computer-assisted tele-operated surgery
JP2022514635A (ja) デュアル画像センサを有する内視鏡
JP5486437B2 (ja) 立体視画像表示方法および装置
US12102391B2 (en) System and method for registration and coordinated manipulation of augmented reality image components
JP5784388B2 (ja) 医療用マニピュレータシステム
WO2012096224A1 (ja) 放射線画像表示装置および方法
WO2018011105A1 (en) Systems and methods for three dimensional touchless manipulation of medical images
Eck et al. Display technologies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination