CN109996511B - 用于引导进程的系统 - Google Patents

用于引导进程的系统 Download PDF

Info

Publication number
CN109996511B
CN109996511B CN201780072267.3A CN201780072267A CN109996511B CN 109996511 B CN109996511 B CN 109996511B CN 201780072267 A CN201780072267 A CN 201780072267A CN 109996511 B CN109996511 B CN 109996511B
Authority
CN
China
Prior art keywords
image
user
tracking
display device
mixed reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780072267.3A
Other languages
English (en)
Other versions
CN109996511A (zh
Inventor
T·J·沙韦
Y·派特尔
N·F·斯特拉卡
B·威尔逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medtronic Navigation Inc
Original Assignee
Medtronic Navigation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Medtronic Navigation Inc filed Critical Medtronic Navigation Inc
Publication of CN109996511A publication Critical patent/CN109996511A/zh
Application granted granted Critical
Publication of CN109996511B publication Critical patent/CN109996511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A61B10/04—Endoscopic instruments
    • A61B2010/045—Needles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00199—Electrical control of surgical instruments with a console, e.g. a control panel with a display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00315—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for treatment of particular body parts
    • A61B2018/00434—Neural system
    • A61B2018/00446—Brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0475—Special features of memory means, e.g. removable memory cards
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/14—Fixators for body parts, e.g. skull clamps; Constructional details of fixators, e.g. pins
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Otolaryngology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Cardiology (AREA)
  • Plasma & Fusion (AREA)
  • Processing Or Creating Images (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

公开了使用对象的图像来辅助对该对象的隐藏部分进行可视化的系统。系统可以利用可穿戴显示器来示出该图像。可以以增强现实或混合现实的方式来显示该图像。

Description

用于引导进程的系统
技术领域
本主题公开涉及图像查看系统，并且具体地涉及用于查看相对于图像所涉及的真实物体而显示的图像或在图像所涉及的真实物体上叠加的图像的系统。
背景技术
这个部分提供了与本公开相关的不一定是现有技术的背景信息。
在进程(procedure)期间，计算机辅助外科手术(CAS)系统可用于辅助用户，诸如，外科医生。该进程可以包括外科手术进程，诸如，肿瘤切除和/或对脑部中的组织的消融。CAS系统还可以被称为外科手术导航系统，并且允许在显示器上显示患者的一部分的图像。例如，外科手术导航系统可以包括由在美国科罗拉多州有营业地的美敦力导航有限公司(Medtronic Navigation，Inc.)销售的
Figure BDA0002068380590000011
外科手术导航系统。外科手术导航系统允许用户使用配准技术(诸如，在患者上和图像中标识基准点)将图像空间配准到真实空间或患者空间。配准可以应用于在被定位成远离患者的屏幕上显示的图像。显示器可以是监测器，诸如，阴极射线管(CRT)监测器和/或平板监测器，包括背光显示器，诸如，由ViewSonic公司销售的视频监测器。显示器被定位成远离患者，使得用户可能难以同时查看显示器上的图像和患者，包括至少在相同的真实空间中。
发明内容
这个部分提供了本公开的大体发明内容，并且不是对其完整范围或其所有特征的详尽公开。
根据各种实施例，外科手术导航系统包括全息或增强现实显示器。增强现实显示器可以包括混合现实显示器或设备，如本文所讨论的。混合现实(MR)设备可以由选定的真实空间中的一个或多个用户安装，诸如，穿戴。MR设备允许用户查看真实空间和物体以及相对于真实空间中的真实物体而显示的或在真实空间中的真实物体上叠加的所生成的图像(例如，图标)。MR设备还可以包括被配置成允许MR设备标识和记住MR设备在真实空间中的物理位置的特征。
MR设备可以包括显示器，该显示器可操作用于被配置成显示叠加在真实空间或对象空间上的图像。该对象空间可以包括有生命或无生命的对象。例如，有生命的对象可以包括人类患者或动物患者，而无生命的对象可以包括机械或电子系统。在各种实施例中，人类对象可能正在经历外科手术进程，并且MR设备可用于示出或显示叠加在患者上的患者的图像。在关于无生命物体的进程中，MR设备可以用于叠加由外层或外壳覆盖的系统的内部组件的图像。
在各种实施例中，MR设备可以是被配置成显示如本文所讨论的图像的设备，可由用户查看与真实世界物体和特征组合的该图像。能够显示图像以供用户观看的示例性设备包括：在美国华盛顿具有营业场所的微软公司的Holo
Figure BDA0002068380590000021
和在美国加利福尼亚州具有营业场所的Meta公司出售的
Figure BDA0002068380590000022
数字显示器以及其他适当的混合现实显示设备。通常，可以包括各种增强现实显示设备的MR设备是头戴式显示设备，该头戴式显示设备可以由用户直接查看并且可用于在真实空间上叠加图像或图标。如本文所讨论的，MR设备可以用于针对选定的进程显示选定的图标和图像。
在各种实施例中，MR设备还可以被称为增强现实系统的元件或包括增强现实系统的元件。在混合现实系统中，查看者可以查看真实世界或真实空间(例如，患者空间)两者并进一步查看叠加在真实世界上的显示。例如，用户可以查看以下两者：(1)通过MR设备中的透明的显示部分来查看真实世界，以及(2)查看在不透明或半透明元件的显示部分(例如，投影或嵌入式液晶显示器)上所显示的(其也可由用户查看)。在各种实施例中，用户可以同时查看真实世界和所显示的元素两者。如本文进一步讨论的，混合现实系统可以允许将预先获取的图像配准到在通过MR设备被查看时的被配准到对象的显示。因此，用户可以同时查看真实空间和图像空间两者，并且使图像空间被配准到真实空间，以用于查看在图像空间中所标识的各种特征和物品，就好像它们存在于真实空间中一样。
此外，增强或混合现实系统允许用户查看叠加在真实空间和/或图像空间上的其他图像或图标。当利用增强现实设备显示图标时，图标可以基于仪器相对于对象的经计划的或经导航的定位。
通过本文中提供的说明书，进一步的可用性领域将变得显而易见。本发明内容中的描述以及特定示例仅旨在说明的目的，并且不旨在限制本公开的范围。
附图说明
本文中所描述的附图仅出于对选定实施例的说明性目的而非针对所有可能的实现方式，并且不旨在限制本公开的范围。
图1是包括MR设备的外科手术导航系统的示意图；
图2是用户利用MR设备查看图像和真实物体的示意图；
图2A是根据各种实施例的使用MR设备查看真实物体和图像的用户角度的视图；
图3是根据各种实施例的使用MR设备查看真实物体和图像的用户角度的视图；
图4是示出用于将图像空间配准到真实空间的方法的流程图；
图5是根据各种实施例的使用MR设备查看真实物体和图像的用户角度的视图；
图6是根据各种实施例的使用MR设备查看真实物体和图像的用户角度的视图；以及
图6A是根据各种实施例的使用MR设备查看真实物体和图像的用户角度的视图。
贯穿附图的若干视图，对应的附图标记指示对应的部分。
具体实施方式
现在将参考附图更全面地描述示例实施例。
根据各种实施例，操作(operating)间或操作室10可以由诸如外科医生之类的用户12使用，以对诸如人类对象14之类的对象执行选定的进程。然而，如上所述，对象14不需要是人类对象，并且该进程不必是外科手术进程。根据各种实施例，对象14可以是无生命的物体，诸如，壳体内的电子或机械系统。包括如本文所讨论的增强或混合现实系统的各种组件可用于查看对象14的外部以及在对象14内部或对象14的壳体内的各种组件，以用于执行进程。
在操作间10中，可以提供各种组件以帮助用户12执行手术进程。根据各种实施例，查看系统可包括混合现实显示设备或系统16。混合现实显示设备16可以是可穿戴混合现实显示设备，诸如，类似于眼镜或护目镜之类的头戴式设备。混合现实设备16还可以是被定位在接近或邻近用户12和/或可与用户12一起移动的设备。用户12可以使用混合现实显示设备16来查看对象14和其他信息，诸如，作为MR图像18a(图2和图2A中所示的)的图像和/或对象14的其他信息和/或与相对于对象14的各个部分相关的图标22。此外，外部或非混合现实显示设备20还可以用于利用显示器20将图像显示为图像18。MR图像18a可以是可利用MR显示器16查看的，以供用户12查看，如本文进一步讨论的。
如本文所讨论的，可查看的图像18、18a可以基于利用成像系统(诸如，成像系统25)获取的图像数据。应当理解，可以还如本文所讨论的将图像18、18a配准到对象，并且图像18、18a可基于来自成像系统25的图像数据。如本文所讨论的，图像18通常可以指代基于图像数据的图像，并且具体地讨论的MR图像18a是利用MR设备16查看的图像。
成像系统25可以包括如本文所讨论的成像系统，其获取图像数据(例如，基于通过对象14的x射线透射)以生成图像18。还应理解，其他图像数据也可用于生成用于通过显示设备20查看的图像18或用于利用MR显示器16查看的MR图像18a。此外，可以在显示设备20和MR显示器16上示出一个或多个图标22。根据各种实施例，图标22可以叠加在显示设备20上的图像18上。此外，可以利用MR设备16显示被叠加在MR图像18a上和/或叠加在对象14上的图标22。如本文所讨论的，可以将图标22作为可由用户12查看的混合现实图像显示在MR设备16上，使得图标22看起来被直接施加在对象14上。
继续参考图1，为了帮助执行该进程，用户12可以使用成像系统25来获取对象14的图像数据，以允许选定的系统生成或创建图像以帮助执行该进程。可以使用图像数据生成模型(诸如，三维(3D)图像)并且在MR显示器16上将该模型显示为MR图像18a和/或在显示设备20上将该模型显示为图像18。显示设备20可以是处理器系统26的一部分和/或连接到处理器系统26，处理器系统26包括输入设备28(诸如，物理或口头输入设备(例如，键盘、触摸屏、语音控制))、通常可以包括非瞬态存储器系统的存储系统30(例如，旋转硬盘、固态存储器设备、随机存取存储器)、以及处理器32。处理器32可以包括与处理系统26合并的一个或多个处理器或微处理器。通信部分(诸如，电线连接或无线传输连接)被理解为被提供在处理器系统26的各种组件之间(例如，处理器32和显示设备20之间，以用于数据通信，以允许驱动显示设备20显示或示出图像18)和/或在如本文所讨论的操作间10内的各种其他组件之间。
成像系统25可包括在美国科罗拉多州路易斯维尔具有营业场所的美敦力导航有限公司销售的
Figure BDA0002068380590000051
成像系统。成像系统25(包括
Figure BDA0002068380590000052
成像系统)或其他适当的成像系统可以在选定的进程中使用，诸如，在美国专利No.9,412,200、No.7,188,998、No.7,108,421、No.7,106,825、No.7,001,045和No.6,940,941以及美国专利申请公开2012/0250822、2012/0099772和2010/0290690中所描述的成像系统，以上专利全部通过引用并入本文。
成像系统25，当例如包括
Figure BDA0002068380590000053
成像系统时，可以包括移动推车40和成像台架50，移动推车40包括控制面板或系统42，在成像台架50中定位源单元52和检测器54。控制系统42可以包括各种组件，诸如，处理器(例如，诸如以上所讨论的那些)、存储器和各种人类输入系统。因此，控制系统42可以被操作用于移动至少台架50、源52和检测器54以获取对象14的图像数据，或者包括用于移动至少台架50、源52和检测器54以获取对象14的图像数据的指令。此外，可以使用和/或操作控制系统42以诸如在医院或其他护理提供设施内将成像系统25从一个位置移动到另一位置。
台架50可以是O形或环形的，其中台架基本上是环形的并且包括形成源单元52和检测器54可以在其中移动的容积的壁。可以将移动推车40从一个操作室移动到另一操作室，并且台架50可以相对于推车40移动，如本文进一步讨论的。这允许成像系统25相对于对象14是移动的和可移动的，从而允许其在多个位置中使用和用于多个进程，而不需要专用于固定的成像系统的资本支出或空间。控制系统42可以包括诸如通用处理器或专用处理器之类的处理器和存储器系统(例如，诸如旋转盘或固态非易失性存储器之类的非瞬态存储器)。例如，存储器系统可以包括由处理器执行的指令以执行功能和确定结果，如本文所讨论的。
源单元52可以是X射线发射器，其可以发射X射线通过患者14以由检测器54检测。台架50可以相对于患者14的纵向轴线14L移动，并且源52和检测器54可以围绕轴线14L旋转。可以精确地控制成像设备25以相对于患者14移动源/检测器52/54，以生成患者14的精确图像数据。成像设备25还可以经由诸如连接70之类的选定连接与处理器系统26连接，连接70可以包括从成像系统25到处理器系统26的有线或无线连接或物理媒体传送。因此，利用成像系统25收集的图像数据可以被传送到处理系统26，以用于导航、显示、重建等，如本文所讨论的。
应当理解，成像系统25可以是任何适当的成像系统，并且不需要是以上所公开的
Figure BDA0002068380590000061
成像系统。其他适当的成像系统可以包括磁共振成像(MRI)、功能MRI、扩散张量成像(DTI)、计算机断层扫描(CT)扫描仪、正电子发射断层扫描(PET)扫描、立体相机等。可以使用任何适当的成像系统来获取对象14的图像数据。此外，成像系统25可以存在于操作间10中，或者可以设置在操作间10的外部，以获取与由用户12正在其中执行进程的区域分开的图像数据。因此，图像数据可以是进程前数据、进程中图像数据(即，在完成进程之前获取的)或进程后图像数据。
在导航进程中，定位器和/或数字化仪(包括光学定位器80和电磁定位器82中的一个或两者)可用于在相对于患者14的导航域内生成场和/或接收和/或发送信号。相对于患者14的导航空间或导航域是被配准到图像18的图像空间的患者空间或真实空间。如本领域所理解的，配准基于相关性，以允许在导航域内定义的导航空间与由图像18定义的图像空间的配准。患者跟踪器或动态参考框架(DRF)90可以被连接至患者14，以允许患者14到图像数据18的动态配准和维持患者14到图像数据18的配准。
随后可以相对于患者14跟踪患者跟踪设备或动态配准设备90和仪器94，以允许导航进程。仪器94可以包括跟踪设备(诸如，光学跟踪设备100和/或电磁跟踪设备102)，以允许利用光学定位器80或电磁定位器82中的任一个或两者来跟踪仪器94。可以在仪器94与处理器系统26之间提供通信系统，该通信系统可以利用导航/探针接口设备110或通过导航/探针接口设备110。同样，一个或多个定位器80、82可以通过导航/探针接口设备110与处理器系统26通信。因此，处理器系统26可以与其他跟踪组件协同操作作为导航系统，以基于各种跟踪设备90、100、102来合并患者14和/或仪器94的跟踪位置。跟踪位置可以被示为图像18和/或患者14上的跟踪位置。应理解，通信可以是有线的、无线的、物理媒体传输或移动、或任何其他适当的通信。无论如何，适当的通信系统可设置有相应的定位器80、82，以允许相对于患者14跟踪仪器94，以允许示出仪器94相对于图像18和/或患者14的跟踪位置，以用于执行进程。
本领域技术人员将理解，仪器94可以是任何合适的仪器、植入物或探针。例如，仪器94可包括心室或血管支架、脊柱植入物、神经支架或刺激器、消融设备等。仪器94可以是介入仪器或可以包括或者是植入式设备。跟踪仪器94允许确定和/或查看仪器94相对于患者14和/或经配准的图像18的位置(包括x、y、z定位和取向)(例如，显示表示仪器的图标)，而无需直接查看患者14体内的仪器94。
此外，可以利用定位器80、82中的一个或多个来跟踪成像系统25。例如，台架50可包括光学跟踪设备120或电磁跟踪设备124，以利用相应的光学定位器80或电磁定位器82而被跟踪。因此，可以相对于患者14跟踪成像设备25，如同仪器94一样，以允许患者14相对于图像18的初始配准、自动配准或继续配准。此外，成像系统25可以在获取图像时“知道”成像部分(诸如，检测器)的位置，以允许当患者14在图像获取之后保持在相同位置中或者被跟踪时将该图像配准到患者14。在配准和跟踪仪器94时，可以相对于图像18和/或患者14显示图标22，包括将图标22叠加在图像18和/或患者14上。
在各种实施例中，如本文所讨论的，配准和导航进程可包括美国专利No.8,238,631中公开的那些，该专利通过引用并入于此。还在美国专利No.8,644,907、美国专利No.8,600,478、美国专利No.8,842,893、美国专利No.8,891,847、美国专利申请公开No.2013/0188848以及美国专利申请公开No.2014/0275989中公开了跟踪系统(包括可跟踪仪器和配准过程)，以上专利全部通过引用并入于此。配准执行真实空间或患者空间中的x、y、z定位的相关性，并将它们与图像空间中的x、y、z定位(即，图像中的像素或体素(voxel)的x、y、z定位)进行关联。仪器94的经跟踪的定位随后可以被示为显示器20上的图标22，诸如，被叠加在图像18上。然而，在各种实施例中，配准还可以允许MR图像18a在利用MR显示器16的混合现实视图中被叠加在患者14上。因此，用户12将看到MR图像18a和患者14两者，如图2和图2A中所示的。此外，可以利用MR显示器16如图2中所示的将图标22与MR图像18a一起显示，或者如图3中所示的在没有MR图像18a的情况下显示图标22(例如，叠加在患者14上)。
在配准之前，或者在配准之后(如果用户12选择了的话)，可以与对象14分开地查看MR图像18a。例如，用户12可以指令系统26显示对象14的图像，以用于计划诸如肿瘤切除之类的进程。当在没有对象14存在的情况下查看图像时，用户12可以标识该图像中的全部肿瘤或部分肿瘤。处理系统26可以分割图像数据以标识肿瘤的边界。用户12和/或其他用户单独或与计划系统组合还可以定义或选择仪器的轨迹、进入位置、图像18和/或如利用MR设备16查看到的对象14的注释(annotation)等。
可以将计划的全部作为外科手术计划存储在存储器30中。在选定的时间处，用户12可以指令处理器系统26调用外科手术计划并利用MR设备16显示外科手术计划中的至少各部分(即，轨迹、肿瘤分割、植入物设计和/或尺寸设计、仪器选择、进程位置等)。可以在有或没有其他图像的情况下将外科手术计划叠加显示在对象14上。另外，如本文所讨论的，各种内部结构可以被示为图标、MR图像18a的各分割部分等。例如，可以利用MR设备16显示表示肿瘤的图标22b(图3)，该肿瘤可在对象14的内部并且不可由用户12直接查看。
首先参考图2和图2A，一旦患者14被定位在操作室10内，用户12就可以将MR图像18a配准到在操作室10中的患者14。然而，当使用MR设备16时，用户12可以在不存在患者14的情况下查看图像。在用户12开始存在患者14的情况下的进程之前，可以执行各种计划和确认进程。预先计划可以被保存在存储器中以用于在稍后时间处调用，该预先计划包括经计划的进入点、经标识的疾病区域(例如，肿瘤)、仪器轨迹等。
在各种实施例中，MR设备16是可穿戴MR设备，并且用户12穿戴MR设备16。作为可穿戴MR设备，MR设备16可包括头戴式安装或穿戴部分150和透明或半透明查看部分或显示器152。查看部分152可以包括透明或半透明部分(例如，镜片或屏幕)，用户12可以通过该透明或半透明部分查看真实空间，包括患者14。查看部分152可以包括透明或半透明查看部分，该透明或半透明查看部分包括可以被制成不透明的液晶部分，以显示MR图像18a和/或其他特征(例如，图标22)。当透明或半透明时，查看部分152允许用户12查看对象14和其他真实世界物体和特征。查看部分152可以由来自处理系统26的信号驱动。
然而，查看部分152还可以包括允许图像被显示在用户12的视野中的各个特征(诸如，单向视图屏幕)。因此，用户12可以基本上同时查看真实患者14和MR图像18a两者。如图2A中所示的，用户12可以查看患者14和MR图像18a。图2可以示出第二用户(例如，操作间中的护士)的表示，该第二用户也穿戴MR设备16并且查看用户12、患者14和MR图像18a。图2A示出了通过MR显示器16查看以查看患者14和MR图像18a的用户12的视野。然而，如图2A中所示的，因为MR图像18a偏移并且没有覆盖在患者14上，所以MR图像18a最初可能未被配准到患者14。然而，在配准过程期间，用户12可能看起来利用用户12的手12a、12b抓住MR图像18a以移动MR图像18a，以帮助执行由图像18定义的图像空间到由患者14定义的患者空间的配准。DRF 90可以被直接附连到患者14(诸如，正被附连到患者14)或者可被附连到夹具160，夹具160将患者的头部14h固定到操作室10中的操作台15。
在配准过程中，向用户12作出视觉或音频提示中的任一个或两者以帮助配准。如以上所讨论的，MR显示器16可以向用户12显示任何适当的信息(诸如，图标或其他标记(例如，数字、单词等))，以传达来自处理器系统26的信息。如以上所讨论的，MR显示器16与处理器系统26通信，以帮助导航和相对于患者14显示所述信息，诸如，MR图像18a。如上所述，可以利用成像设备25获取图像数据并将该图像数据传输到处理系统26和/或存储在存储器30或其他适当的存储器上，并且调用该图像数据以将其显示在MR显示器16上。还可以基于处理器系统26的处理在MR显示器16上显示诸如导航信息之类的进一步的信息。
为了执行将图像空间配准到患者空间以执行或帮助相对于患者14导航进程，可以发起配准过程。继续参考图2A和另外参考图4，示出了配准流程图200。可以在流程图过程200的“开始”框210中开始配准过程。用户12随后在框214中发起配准过程。对配准过程的发起可以包括用户12使用输入28。如上所述，输入28可以包括任何适当的输入，包括口头输入。因此，用户12可以通过提供口头命令(例如，“导航开始配准”)来发起配准。处理器系统26可以接收输入并发起对指令的执行，以将图像18的图像空间配准到患者14的患者空间。
在方法200中，处理器系统26可以在框218中指令用户查看对象。该指令可以被显示在MR显示器16上，或者可以以其他方式被提供给用户12，诸如，利用来自处理器系统26的口头或听觉输出。因此，应当理解，除了显示器20或显示器16之外，处理器系统26还可以包括输出，诸如，扬声器27(参见图1)。
一旦被指令，用户12可以利用被适当地定位以供由用户12使用的MR显示器16查看对象14。在各种实施例中，MR显示器16的适当放置可以是将MR显示器16放置在用户的头部上，类似于眼镜。如图1和图2中所示的，MR显示器16可以由用户12以任何适当的方式穿戴，该任何适当的方式将MR显示器16的显示部分152固定在用户的视野中。处理系统26随后可以在框220中从MR显示器16接收3D表面扫描。
可以利用MR显示器16的扫描或测距(range finding)部分221来实现在框220中接收到的3D表面扫描。各种扫描或测距系统可以包括激光扫描仪(例如，激光雷达)、雷达扫描仪、光学扫描仪、超声、立体相机或被配置成获得对象的表面扫描以定义真实空间中的对象14和其他物体的各部分的一个或多个点(例如x、y和z三维坐标)的其他测距系统。参考图2，测距部分可以在扫描场223中扫描对象。例如，激光器(例如，IR激光器)可以扫描对象14的表面以标识真实空间或对象空间中的点，以用于与图像18中的像素或体素进行关联以用于如本文所讨论的配准。
在穿戴MR显示器16的同时观察患者14的用户12将MR显示器16定位在适当的位置中，使得MR显示器16的3D扫描系统可以正确地扫描患者14。在扫描患者14时，可以创建患者14的点云。例如，如图2和图2A中所示的，可以作出对患者14的面部14f的表面扫描。面部14f可包括对鼻尖14t的扫描、对患者的眼眶(orbit)14o和患者14的其他解剖学特征的扫描。另外，还可以在点云中扫描所标识的解剖学特征之间的点。由MR显示器16接收为3D表面扫描的这些点可以被传送到处理系统26。
在从框220发起3D表面扫描时之后或基本上同时、或在从框220接收3D表面扫描之后，处理系统26在对象14附近在MR设备16上显示图像数据的缩放3D图像。返回参考图2A，当由用户12通过MR设备16查看时，MR图像18a可以被显示在对象14附近或被显示成部分地重叠对象14。如图2A中所示的，MR图像18a可以相对于患者14被缩放。例如，来自框220的表面扫描数据可以标识真实空间中的患者14的尺寸。因此，MR图像18a可以被显示为患者14的1：1比例。换句话说，MR图像18a可以是基于利用成像系统25获取的图像数据的三维渲染，并且可以基于来自框220的接收到的表面扫描数据而被缩放到患者14。因此，可以将MR图像18a与对象14进行表面匹配。无论如何，当由用户12通过MR设备16查看时，MR图像18a可以被显示由在混合现实空间中，如同用户12能够在显然相同的空间中查看患者14和MR图像18a两者。
在相同的空间中查看MR图像18a和患者14两者时，用户12能够继续并理解患者14的定位和MR图像18a的显示的或投射的定位。虽然理解到，MR图像18a可以是仅由用户12通过MR设备16可查看的，但是应当理解，用户12感知到MR图像18a与患者14处于相同的空间中。这允许用户12仅查看对象14并理解和感知如本文所讨论的来自图像数据、计划和/或跟踪仪器的信息。这可以是查看对象14和远离对象14定位的显示器20的替代方案。应进一步理解，诸如外科护士之类的其他用户可具有与MR设备16类似或相同的设备，并且还可感知MR图像18a、患者14和用户12。此外，还应理解，如果选择的话，可以在显示器20上显示图像18。
在将图像18显示为混合现实中的三维渲染(在本文被称为MR图像18a)时，用户12能够相对于患者14查看MR图像18a。此外，用户12能够查看用户12的其他真实世界特征和物体，诸如，手12a、12b。因此，用户12可以看起来抓住MR图像18a。在试图抓住或看起来抓住MR图像18a时，用户12可以移动MR图像18a。MR图像18a可以基于从MR设备16到处理系统26的输入而移动。如以上所讨论的，MR设备16可以包括用于标识和确定相对于MR设备16的真实世界定位的特征。因此，可以在真实世界空间中标识用户12的手12a和12b，并且处理系统26可以将手12a和/或12b的定位理解为向处理器系统26提供输入。然而，应该理解，用户12可以标识或命令系统理解手12a、12b用于作为输入或者向处理系统26提供输入。例如，用户12可以通过用户输入28(例如，口头或物理输入)来提供命令。例如，在操纵MR图像18a时，用户12可以提供诸如“接收手输入”之类的口头命令，使得处理器系统26理解以标识并接收来自手12a、12b的输入。
无论如何，用户12可以基本上直观地在混合现实空间中移动MR图像18a。也就是说，用户12可以看起来抓住并移动MR图像18a，就好像MR图像18a是真实世界特征，诸如，患者14。因此，用户12可以直观地理解MR图像18a在现实世界空间中的移动和定位。MR图像18a可以包括在MR图像18a中投影或包括的各种特征(诸如，手柄、标签等)，该各种特征也可以被触摸以通过手12a、12b相对于MR图像18a的已知位置向处理器系统26具体地标识将发起对MR图像18a的操纵。应当理解，用户的手12a、12b和/或由用户12操纵的物体可以用于向MR设备16和/或处理系统26提供输入。此外，测距系统221可以被配置成相对于对象14跟踪用户12和手12a、12b。
因此，用户12可以出于各种目的移动MR图像18a。例如，用户12可以移动MR图像18a以查看MR图像的不同特征。如上所述，MR图像18a是图像数据的三维渲染，诸如，对象14的图像数据的三维渲染。因此，用户12可以尝试以各种方式和相对于用户的视点的各种取向来查看MR图像18a，以辅助各种进程，诸如，计划进程、确认对进程的计划、或者MR图像18a到患者14的配准。用户12还可以将MR图像18a远离对象14移动以用于计划(例如，在对对象14执行任何侵入性进程之前)。
如上所述，通过由用户12操纵MR图像18a，MR图像18a随后可以被移动到对象14上，以辅助或发起配准。将MR图像18a移动到对象14上可以通过标识用于配准的至少粗略的或开始的点，来帮助将MR图像18a移动到对象14上或发起MR图像18a到对象14上的配准。如本领域技术人员通常理解的，可以通过标识图像空间和对象空间中的一个或多个点，来发起将定义图像空间的图像数据配准到真实空间或对象空间。通过将MR图像18a移动到对象14上或附近，用户12可以帮助标识MR图像18a中的与对象14上的点基本相似的各个点。例如，用户12可以操纵和移动MR图像18a，以将MR图像18a中的鼻子和MR图像18a中的眼眶的点基本上放置在患者14上的鼻尖14t和眼眶14o上。在框230中，用户可以选择移动MR图像18a。可以不需要移动MR图像以用于将MR图像18a配准到由对象14定义的对象空间。此外，应该理解，可以出于配准之外的目的而移动MR图像18a。因此，应理解，在框230中移动MR图像是可选的。
处理器系统26可以在框240中将MR图像18a配准到对象空间。MR图像18a到由对象14定义的对象空间的配准可以基于将图像空间配准到对象空间的各种现有算法和处理。如本领域通常所理解的，例如，用户或处理器系统可标识图像数据中的基准点并诸如利用仪器94在对象14上定义相似或相同的点，仪器94利用包括定位器80、82的跟踪系统而被跟踪。配准过程随后可以基于图像数据中的像素或体素以及在对象14上标识的基准点来创建点云，以在患者14与图像数据之间执行表面匹配并计算或生成包括刚体变换的变换，该变换将MR图像18a中的像素或体素的坐标映射到由患者14定义的并且相对于患者14的真实空间中的三维x、y和z定位。该变换可以包括旋转和平移操作，以将图像数据的点云与真实空间中定义的点云相匹配。
由患者14定义的点云可以基于框220中接收到的3D表面扫描。用于生成MR图像18a的图像数据定义图像空间并基于其中的像素和体素的定位来定义点云。因此，从框220接收到的3D表面扫描和图像数据中的像素和体素的经确定的位置允许MR图像18a到患者14的配准。
简要参考图5，用户12通过MR设备16的感知视图可以允许用户12查看用户的手12a、12b和一个或多个图标22以及MR图像18a和/或基于MR图像18a的可以或可以不被配准到患者14的各部分。如图5中所示的，图像数据到患者14的配准可以允许当通过MR设备16查看时，查看被配准在患者14上并且叠加在患者14上的基本上不透明的MR图像18a'。如图5中具体示出的，不透明的MR图像18a'可以包括对血管或其他选定解剖特征的标识和示出。然而，配准允许在用户12利用MR设备16的视野中将不透明的MR图像18a'或其他适当的MR图像叠加到患者14上。
而且，配准可以包括相对于对象14进行对DRF 90的标识或查看和/或对DRF 90的表面扫描。如以上所讨论的，包括定位器80、82的跟踪系统可用于跟踪仪器，诸如，仪器94。因此，MR图像18a到患者14的配准可以包括对相对于DRF 90的配准的标识或确定。因此，如本文进一步讨论的，可以诸如利用图标22将仪器94相对于患者14的跟踪位置显示在MR图像18a上。
返回参考图4，在框240中的配准之后，可以在框250中可选地发生验证步骤以验证配准。在验证配准精度时，可以使用全息可视化或其他可视化技术。例如，可以利用MR设备16将点云、线框、纹理图或其他图像投射到患者14上。用户12可以查看患者14，以及例如在没有MR图像18a的情况下叠加在患者14上的线框。线框可以包括若干点(诸如，鼻尖14t和眼眶14o处的点)，并且可以具有对点进行互连的线。应当理解，可以提供多个点以模拟叠加在患者14上的包括轮廓的表面。在框250中的验证期间，用户12可以通过MR设备16查看混合现实图像，但是可以不查看患者14上的完整的渲染3D MR图像18a。用户12可以在框250中查看被叠加在患者14上的到MR设备16的验证图像以验证配准。
用户12随后可以在框260中通过各种输入来确认配准。在用户12确认配准时，在框260中，用户12可以将仪器94(或者仪器可以是探针或非侵入性仪器)移动到真实空间中的患者14的各个部分。在将仪器94移动到患者14上方时，处理器系统26可以接收仪器94的跟踪位置信息并创建或生成图标22。可以利用MR设备16将图标22显示在跟踪位置处，并且用户12可以查看患者14和图标22以及仪器94。用户12可以查看或确定图标22与仪器94位于相同的位置处，以接收配准是适当的或正确的视觉确认。例如，用户12可以查看图标22基本上被叠加在仪器94之上并且在用户12相对于患者14正指向仪器94的位置处。如果配准不是适当的或正确的(例如，所查看的仪器94与图标22之间大于约0.5毫米(mm)至约3mm)，则用户12可以指令处理器系统进一步细化配准。
在框250中验证配准以及框260中的用户确认配准之后，如果选择的话，则配准过程可以在框270中结束。如上所述，配准允许以基本精确的方式相对于患者14显示MR图像18a。因此，MR图像18a中所显示的解剖学和生理特征可以由用户12在患者14上的与它们存在于MR图像18a中的相同解剖位置(例如，距实际的真实世界定位在约0.1mm至约2mm内)处查看。
如上所述，MR图像18a可包括各种特征。例如，MR图像18a可以包括被叠加在对象14上的对象14的摄影图像。此外，MR图像18a可以包括生理或解剖学数据，诸如，血管位置、脑沟(sulcus)位置、硬组织或其他软组织位置和定位、或疾病过程。例如，MR图像18a可以包括对要被切除的、被活组织检查等的肿瘤的标识。在各种实施例中，MR图像18a可以包括患者14的脑部中的肿瘤的经标识的位置和到达肿瘤以进行切除的一个或多个轨迹。因此，在将MR图像18a配准到对象14时，可以利用MR设备16为用户12在患者14上标识在MR图像18a中所标识的肿瘤的定位。
如以上所讨论的，图1中的操作间10中所示出的系统可用于执行对对象14的进程。然而，应理解，对对象14执行的进程可以是非外科手术进程或非医疗进程，包括对象14不是人类或其他活体对象。然而，在各种实施例中，正对对象14执行的进程可以是导航进程，包括用于在对象14的脑部中移除脑部肿瘤或执行其他切除或进程的进程。然而，无论具体进程如何，用户12都可以使用MR设备16以混合现实的方式查看对象14。如上所述并且在图2、图2A和图3中示出的，并且在图5和图6中进一步示出的，用户12可以组合对象14查看MR图像18a或者除了对象14之外查看MR图像18a。在各种实施例中，MR设备16或与其基本相同或相似的一个可由不在操作间10中的用户使用，以查看至少MR图像18a。例如，主外科医生可以在远离操作间10的位置处查看用户12正在操作间10中查看的MR图像18a。处理器系统26可以将MR图像18a传输到远程位置以由分开的处理系统和/或相同的处理系统26处理，以显示在远程MR显示器上以供远程用户查看。以这种方式，远程用户可以帮助室内用户12选择进入点、标识肿瘤、复查外科手术路径或轨迹、或者对用户12的其他适当的帮助。
如以上所讨论的，对MR图像18a的相对于对象14的查看可以基于图像到对象14的配准。此外，如本文所讨论的，对各种图标的示出可能是由于利用可包括定位器80、82中的一个或多个的跟踪系统的对仪器进行跟踪引起的。然而，应进一步理解，被并入到MR设备16中的测距或其他定位系统可用于跟踪包括用户的手12a、12b的各种部分以及显示与所跟踪的位置有关的图标或信息。测距系统221可以确定被跟踪的各部分(具有或不具有可由跟踪系统的定位器跟踪的跟踪设备)相对于对象14和/或MR图像18a的定位。此外，MR设备16的测距系统或其他适当的定位确定系统可以是唯一的跟踪系统，并将位置信息传输到处理系统26，以用于利用MR设备16显示在对象14和/或MR图像18a上。
参考图3、图6和图6A，除了被配准到对象14的MR图像18a之外，通过MR设备16查看对象14的用户12还可以查看各种图标和图像。如以上所讨论的，配准过程可用于相对于对象14配准所有图像数据。如上所述，还可以利用DRF 90来跟踪对象14。此外，如以上所讨论的，可以使用与MR设备16相关联的各种区域扫描技术来跟踪或标识对象14并将其相对于MR设备16定位在空间中。
因此，用户12可以通过MR设备16查看对象14以查看图标22。图标22可以被包括为同时显示的或由用户12选择的一个或多个图标。例如，仪器图标22a可以被示出为被叠加在患者14上。如以上所讨论的，可以将仪器图标22a叠加在MR图像18a上或在没有MR图像18a的情况下叠加仪器图标22a并且仪器图标22a基本上直接出现在患者14上。此外，用户12还可以通过MR设备16查看真实世界，包括可在患者14之外查看的仪器94和用户的手12a。应当理解，除了仪器94和用户的手12a之外，用户12还可以查看真实世界的其他部分。
所显示的图标22(诸如，仪器图标22a)可以示出仪器94的当前被跟踪的位置或仪器94的延伸或经投影的路径。例如，如图3中所示的，图标22a可以示出仪器94的在患者14的头骨或脑部内的一部分，或者可以示出仪器94当前瞄准的路径。如本领域技术人员所理解的，仪器94可包括活检针，该活检针可保持在限定针将行进的轨迹的阶段中。因此，仪器图标22a可以示出如果仪器94在沿着仪器94的当前轴线沿着直线移动的情况下将采取的路径。图标22a可以具有示出仪器94的当前或经投影的定位的不同部分(例如，不同颜色的部分)。MR设备16可以示出各种颜色以标识由MR设备所显示的不同特征。
其他图标可包括肿瘤图标22b。肿瘤图标22b可以是可以用于示出患者14的解剖的各部分的任何适当的图标。简要参考图6A，解剖图标还可以包括可以示出血管或脑沟的其他解剖图标22e。因此，应当理解，一旦将图像数据配准到患者14，图像数据的各个部分就可以被分段并利用MR设备16将其显示叠加在患者14上。
返回参考图3并且另外参考图6，MR设备16还可以包括被显示叠加在患者14上的进入点图标22c以及指令或方向图标22d。如以上所讨论的，进入或目标图标22c可以是用于进入患者14的建议的或计划的进入点。如以上所讨论的，选定的进程可以包括对由患者14中的肿瘤图标22b所示的肿瘤的移除或活组织检查。远程用户(诸如，主外科医生)可以帮助移动或验证相对于对象14示出的进入点图标22c。
方向或指令图标22d可以是由处理器系统26自动地和/或通过远程用户呈现的图标，以帮助室内用户12将仪器94定位在选定的或预定的(例如，预先计划的)位置。如以上所讨论的，各种进程可以包括预先计划，该预先计划包括各种预先计划的或预定的特征，诸如，相对于对象14的进入点、仪器相对于对象14的轨迹、以及其他适当的特征。可以将这些特征保存在存储器系统30或可由处理器32访问的任何适当的存储器系统中。因此，可以相对于由进入图标22c所示的进入点来跟踪如以上所讨论的被跟踪的仪器94。处理器系统26通过跟踪仪器94，可以利用MR设备16向用户12提供方向图标22d，以指示移动仪器94以将其放置在预先计划的路径上的方向。应当理解，可以不要求方向图标22d，并且可以简单地提供方向图标22d以指示用于将仪器94放置在相对于患者14的预先计划的轨迹或其他定位处的移动的方向。可以将方向图标叠加在MR图像18a上和/或如图6中所示的在没有MR图像18a的情况下叠加在真实世界上。无论如何，MR设备16允许向用户12显示图标，同时用户12也能够查看对象14。因此，图标可以为用户12提供实时和直观的显示和分析。
除了图标22和诸如MR图像18a之类的其他信息之外，可以在MR显示器16中提供附加的图像数据或其他数据。参考图6A，可以将二维或非三维图像数据显示在用户12的视野中，但是远离对象14。如图6A中所示的，可以显示二维图像18c以供用户12出于各种目的而查看。如上所述，预先计划的进程可以包括轨迹和进入点，并且如图6A中所示的，用户12可以将这些查看为二维图像，同时还通过MR设备16查看患者14。因此，用户12可以在不试图查看与显示器20分开的患者14(如图1中所示的)的情况下，通过MR设备16基本上同时地查看多种类型的数据。
除了执行实际进程之外，如上所述，可以利用处理系统26或其他适当的处理系统处理利用成像系统25获取的图像数据，以用于在没有对象14就位的情况下利用MR显示器16进行查看。例如，如图6A中所示的，可以与患者14分开地查看二维图像数据18c。此外，可以在没有对象14就位的情况下查看MR图像18a。因此，可以获取对象14的图像数据，并且可以在执行任何进程或进入操作间10之前利用MR设备16查看该图像数据，以用于各种计划、确认等阶段。
而且，在针对进程进行计划期间和/或在进程期间，可以显示各种不同类型的图像数据。如上所述，可以仅显示表示肿瘤的图标，然而，可以基于图像数据到对象14的配准，分割图像数据的各种选定部分并利用MR设备16将其显示在相对于对象14的适当位置处。例如，在计划或执行进程时，可以显示血管图像数据或功能图像数据(例如，功能MRI数据和PET数据)，以允许用户在进程(诸如，将仪器插入到对象14中)期间查看仪器94附近或仪器94的轨迹中的血管。
此外，可以在操作进程期间使用包括MR图像18a和各种图标22的图像数据。如图3中所示，仪器图标22a可用于示出对象14内的仪器的定位。仪器图标22a可用于示出仪器94前进到所标识的选定区域或目标，诸如，在肿瘤图标22b内。因此，用户可以查看仪器图标22a和肿瘤图标22b，以确定将仪器94放置在对象14中的肿瘤内。可能发生各种进程，诸如，对肿瘤的切除或消融、对肿瘤的活组织检查等。例如，仪器图标22a可用于示出仪器相对于由肿瘤图标22b所示肿瘤的定位，以用于获得对对象14内的肿瘤的活组织检查。当用户12在查看对象14时，也可以通过MR设备16查看图标。
如上所述，MR设备16可用于各种类型的进程。如上所述，用户12可以在选定的进程期间(包括在操作阶段和各种预先计划或操作中阶段或部分期间)穿戴MR设备16。
在各种实施例中，MR设备16可用于查看仅在特定波长下可见或荧光的、通常人类和/或在正常照射下不可见的各种类型的标记或生物标记。例如，荧光可由于已经聚集在对象14的选定区域(例如，肿瘤)中的ALA-ppIX而成为可见的。即使在开放操作进程期间，各种组织(诸如，肿瘤组织)也可能难以与周围或健康组织区分开。可以在进程期间或进程之前向患者14提供各种发光材料，并且各种发光材料可以聚集在对象14的一部分内，诸如肿瘤。在正常光照条件下，这些标记可能不发光或不可见。因此，可以在操作间中关闭灯以允许查看发光标记。一旦照明恢复正常，标记就可能几乎不可见。
MR设备16可以基于在初始时段所显示的发光标记来显示图像，以允许用户12即使在正常的操作间照明条件下也可查看将组织的图像与发光标记两者相结合的混合现实图像。例如，如图3中所示的，肿瘤图标22b可以是具有在特殊照明条件下由用户12查看到的标记的组织的图示。在正常照明条件下，图标22b可由于MR设备16而被维持在用户12的视野中。因此，即使在正常照明条件下，用户12也可以同时查看图标22b和对象14的组织的混合现实图像。
在各种进程中，可以选择监测神经完整性或者监测神经完整性可能是有帮助的。神经或神经完整性监测
Figure BDA0002068380590000211
监测系统可包括在美国明尼苏达州具有营业场所的美敦力公司销售的美敦力
Figure BDA0002068380590000212
神经监测系统。在各种进程期间，用户12可刺激神经物质(包括脑组织或脊神经)，并查看或以其他方式接收对对象14体内的神经反应的指示。例如，在选定的进程期间，用户12可以正在查看对象14的脑组织。用户12可以刺激脑部中的一部分并确定对象14体内的选定肌肉群(诸如，左腿)被刺激。在查看对象14体内的刺激反应时，用户12可以在MR设备16中在患者14上的该位置处标识脑部的受刺激部分。例如，参考图6，图标22c可以指示在发生选定的反应时被刺激的脑组织的一部分，而不是图标22c标识进入点。图标颜色、形状等可用于将脑部的区域注释为对在脑组织中提供的刺激作出反应的特定肌肉。由于穿戴了MR设备16并且MR设备16已经标识或定位患者体内的组织，因此可以将图标的指示维持在用户12的视野中。因此，MR设备16可用于向用户提供对与被刺激的或由各种神经束或皮质区域控制的解剖的特定组织或区域相关的脑部内的区域的指示。
在各种其他实施例中，包括MR设备16的导航系统可用于辅助基本上紧急事件或紧急的情况。例如，可能需要脑脊髓液(CSF)引流并且可以规定分流器放置。还可以通过查看或标识对象14体内的各种组织来辅助分流器放置以用于执行该进程。
如以上所讨论的，成像系统25可以包括由美敦力公司销售的
Figure BDA0002068380590000213
成像系统。如在美国专利申请美国专利No.9,412,200中所描述的，
Figure BDA0002068380590000214
成像系统可以获取相对于对象14自动配准或定位的图像数据，该专利通过引用并入于此。简而言之，可以操作
Figure BDA0002068380590000215
成像系统以在相对于对象14的基本精确的已知位置处获取图像数据。该图像数据可以用于生成图像(诸如，MR图像18a)，以用于相对于对象14查看。由于自动配准或自动定位的图像数据，因此MR设备16上显示的MR图像18a也可以相对于对象14被自动配准。如以上所讨论的，MR设备16可以包括测距系统(诸如，3D表面扫描或其他测距系统(例如，雷达、激光雷达、超声、激光、立体相机))，以确定其相对于真实空间中的其他特征的定位。当MR设备16由用户14穿戴时，MR设备16可用于确定其相对于成像设备25或选定体积中的其他特征和物体的定位。因此，当利用图像设备25获取的图像数据被自动定位或配准到对象14并且MR设备16知道其相对于对象的定位时，利用MR设备16所显示的以供用户12查看的MR图像18a也被配准到对象14。
包括测距系统的MR设备16还能够利用处理系统确定MR设备16到被放置在选定体积中的选定或特定标记的位置。特定标记可以由测距系统识别并用于标识和调用空间中的物体的位置。例如，可以将特定标记(例如，反射立方体)放置在墙壁、天花板等上，以对MR设备16到其当前所在的体积进行调用和定向，即使被移除了一段时间。
处理系统26还可以包括可以用于自动标识或分割解剖的各个部分的其他指令。例如，对于CSF引流和/或分流器放置，处理器系统26可以基于脑组织中和附近的CSF以及周围脑组织来基本上自动分割和示出心室解剖结构。以这种方式，如以上所讨论的，MR设备16可以以与对象14基本上1：1的比例示出或显示MR图像18a作为三维模型，以示出脑组织物质和经分割的区域两者。用户12随后可以利用MR图像18a计划用于将分流器定位在对象14体内以帮助CSF引流的进程。
例如，用户12可以定位可以利用包括定位器80、82的跟踪系统来跟踪的仪器94。当利用成像系统25自动地配准图像数据时，可以将仪器94的定位显示在利用用户12穿戴的MR设备16显示的MR图像18a上。当仪器图标22a被叠加在图像18a上时，用户12可以将仪器图标22a查看为仪器在对象14内的投影定位。因此，用户12可以快速且有效地理解用于执行对分流器放置的建议定位和/或轨迹的结果。此外，在计划期间，用户12可以移动仪器94以尝试使替代的或不同的定位和/或轨迹可视化，以实现对分流器的放置。
用户12随后可以标识或命令处理系统26保存选定或标识的轨迹并将其显示在MR图像18a上，类似于上面讨论的。例如，一旦被标识，仪器图标22a可以被改变为轨迹图标22t并被显示在MR图像18a上，以用于在放置分流器的进程期间由用户12查看。用户12随后可以使用选定的轨迹图标22t来同样确定钻孔的放置和形成和/或用于将分流器放置在对象14体内的引导件的放置。一旦已形成了钻孔，就可以使用被跟踪的仪器将分流器定位在对象14体内，并且可以在具有或不具有MR图像18a的情况下，利用患者14上的仪器图标22a来标识仪器的被跟踪的位置。一旦分流器到达分流器的选定定位，就可以由于对仪器94的跟踪而自动地标识分流器，并且可以基于跟踪仪器94而向用户12提供消息。用户12可以标识分流器的计划位置，并且处理器系统26可以自动地标识分流器何时到达计划定位。另外或作为对其的替代地，用户12可以通过在具有或不具有MR图像18a的情况下查看对象14上的仪器图标22a来查看被跟踪的位置，并且用户12可以标识分流器何时被正确地定位。
无论如何，利用成像系统25获取的图像数据可以由于成像系统25而基本上被自动地定位，并且能够计划和利用MR设备16查看进程可以允许有效且快速地放置分流器或其他选定的紧急进程。
提供了示例实施例，以使得本公开将是透彻的，并且将保护范围完全传达给本领域技术人员。阐明了许多具体细节，诸如具体部件、设备和方法的示例，以提供对本公开内容的实施例的透彻理解。将对本领域技术人员来说显而易见的是，无需采用具体细节，可以以许多不同的形式体现示例实施例，并且不应该将示例实施例解释为限制本公开的范围。在一些示例实施例中，并未详细描述众所周知的过程、众所周知的设备结构以及众所周知的技术。
此处使用的术语仅为了描述特定示例实施例，而非旨在构成限定。如本文所使用的，单数形式“一个(a/an)”、和“该(the)”也旨在包括复数形式，除非上下文另有明确指示。
出于说明和描述的目的，已经提供了实施例的前述描述。所述描述并不旨在是详尽的或是限制本公开。特定实施例的各个元件或特征通常不限定于此特定实施例，而是在适用的情况下，可互换并可用于选定的实施例中，即使没有被具体示出或描述，情况也是如此。相同部分还可以以多种方式进行变化。这类变化不被认为是脱离了本公开，并且所有这类修改都旨在被包括在本发明的范围内。

Claims (28)

1.一种用于相对于对象查看图像的系统，包括：
显示设备，所述显示设备具有(i)显示部分和(ii)透明部分，其中所述透明部分被配置成使得通过所述显示设备查看所述对象的用户能够查看以下两者：(i)查看所述对象，以及(ii)相对于所述对象查看所述图像；
跟踪系统，所述跟踪系统具有定位器和跟踪设备，其中所述定位器被配置成跟踪在真实的三维空间中的所述跟踪设备；以及
处理系统，所述处理系统被配置成执行指令，以确定所述跟踪设备的跟踪位置，并利用所述显示设备显示图标以表示所述跟踪设备相对于所述对象的所述跟踪位置；
其中所述显示设备被并入到被配置用于由所述用户穿戴的可穿戴设备中；
其中所述可穿戴设备包括测距设备；
其中所述测距设备被配置用于获得所述对象的点云以定义所述对象的三维坐标。
2.如权利要求1所述的系统，其特征在于，所述显示设备的所述显示部分包括可变显示器，所述可变显示器被配置成由所述处理系统驱动。
3.如权利要求2所述的系统，其特征在于，进一步包括：
不可穿戴的显示器；
其中，所述可穿戴设备被头戴式安装在所述用户上，并且所述不可穿戴的显示器与所述用户间隔一定距离。
4.如权利要求3所述的系统，其特征在于，所述可穿戴设备被配置成相对于所述对象将所述图像显示为三维图像。
5.如权利要求4所述的系统，其特征在于，所述三维图像是混合现实图像，所述混合现实图像被配置成被感知为出现在与所述对象相同的空间中。
6.如权利要求1所述的系统，其特征在于，所述图像被配置成至少通过所述处理系统执行指令以执行所述对象空间中的三维坐标与所述图像中的三维坐标之间的刚性变换，来被配准到所述对象；
其中，相对于所述可穿戴设备确定所述对象空间中的所述三维坐标。
7.如权利要求1所述的系统，其特征在于，所述处理系统被配置成由所述处理系统使用来自所述测距设备的所述对象的所述三维坐标来将所述图像配准到所述对象。
8.如权利要求1所述的系统，其特征在于，所述显示设备，基于所述图像到所述对象的配准，能操作用于显示所述图像，使得所述用户的视图是混合现实视图，使得所述图像被配置成被感知为出现在与所述对象相同的空间中。
9.一种用于相对于对象查看图像的系统，包括：
可穿戴混合现实显示设备，所述可穿戴混合现实显示设备具有显示部分和测距部分，其中所述显示部分具有透明部分，所述透明部分被配置成使得穿戴所述可穿戴混合现实显示设备的用户能够查看所述对象以及相对于所述对象查看利用所述显示设备所显示的所述图像两者，其中所述测距部分被配置成确定相对于所述可穿戴混合现实显示设备的多个对象空间三维坐标；
处理系统，所述处理系统被配置成执行指令以基于图像三维坐标和来自所述测距部分的所述多个对象空间三维坐标来选择性地将所述图像配准到所述对象；以及
其中，所述处理系统被进一步配置成执行指令以确定设备可跟踪部分的跟踪位置，并且利用所述可穿戴混合现实显示设备来显示图标以表示所述设备可跟踪部分相对于所述对象的所述跟踪位置。
10.如权利要求9所述的系统，其特征在于，所述可穿戴混合现实显示设备的所述显示部分可操作用于被配置成在所述图像到所述对象的配准之前或之后显示与所述对象分开的所述图像。
11.如权利要求9所述的系统，其特征在于，所述图标可操作用于准备外科手术计划；
其中，存储系统被配置成存储所述外科手术计划，所述外科手术计划包括至少是所述设备可跟踪部分的仪器的轨迹；
其中，所述处理系统被配置成调用所述外科手术计划。
12.如权利要求9所述的系统，其特征在于，所述测距部分被配置成确定所述可跟踪部分相对于所述可穿戴混合现实显示设备的三维坐标，以跟踪所述可跟踪部分，以用于确定所述设备可跟踪部分的所述跟踪位置；
其中所述显示部分被配置成基于跟踪所述可跟踪部分的所述测距部分来相对于所述图像显示仪器图标。
13.如权利要求9所述的系统，其特征在于，进一步包括：
音频输入；
其中，所述处理系统被配置成操作至少所述可穿戴混合现实显示设备的所述显示部分和所述测距部分；
其中，所述音频输入被配置成从所述用户接收口头命令，以指令利用所述显示部分至少显示所述图像以及将所述图像配准到所述对象。
14.如权利要求9所述的系统，其特征在于，进一步包括：
远程可穿戴混合现实显示设备，所述远程可穿戴混合现实显示设备具有显示部分，其中，所述显示部分被配置用于穿戴所述远程可穿戴混合现实显示设备的远程用户查看如由所述用户利用所述可穿戴混合现实显示设备所查看的所述图像。
15.如权利要求9所述的系统，其特征在于，进一步包括：
跟踪系统，所述跟踪系统具有定位器和跟踪设备，其中所述定位器被配置成相对于所述对象跟踪所述跟踪设备；
仪器，所述仪器具有所述跟踪设备；
其中，所述仪器包括以下各项中的至少一项：分流器、活检针、消融导管、切除仪器、刺激探针、导航探针或它们的组合。
16.如权利要求9所述的系统，其特征在于，所述显示部分，基于所述图像到所述对象的配准，能操作用于显示所述图像，使得所述用户查看混合现实，使得所述图像被配置成被感知为出现在与所述对象相同的空间中。
17.一种用于相对于对象查看图像的方法，包括：
穿戴具有显示部分和测距部分的可穿戴混合现实显示设备，其中所述显示部分具有透明部分，所述透明部分被配置成使得穿戴所述可穿戴混合现实显示设备的用户能够查看所述对象以及相对于所述对象查看所述图像；
指令所述测距部分扫描所述对象，以确定相对于所述可穿戴混合现实显示设备的多个对象空间三维坐标；
在扫描所述对象之后，指令处理系统执行指令，以基于所述图像的图像三维坐标和来自所述测距部分的所述多个对象空间三维坐标来选择性地将所述图像配准到所述对象；以及
相对于所述对象查看所述图像。
18.如权利要求17所述的方法，其特征在于，进一步包括：
由所述处理系统指令所述用户在穿戴所述可穿戴混合现实显示设备的同时查看所述对象。
19.如权利要求17所述的方法，其特征在于，进一步包括：
利用跟踪系统来跟踪跟踪设备；
利用所述处理系统执行指令，以确定所述跟踪设备的跟踪位置；以及
利用所述可穿戴混合现实显示设备来显示图标，以表示所述跟踪设备相对于所述对象的所述跟踪位置。
20.如权利要求17所述的方法，其特征在于，进一步包括：
利用跟踪系统来跟踪跟踪设备，其中所述跟踪系统与所述测距部分分开；
利用所述处理系统执行指令，以确定所述跟踪设备的跟踪位置；以及
利用所述可穿戴混合现实显示设备查看图标，所述图标用于表示被叠加在经配准的图像上的所述跟踪设备的所述跟踪位置。
21.如权利要求17所述的方法，其特征在于，进一步包括：
通过利用所述可穿戴混合现实显示设备查看所述图像来计划进程；以及
利用存储器系统保存所述计划。
22.如权利要求21所述的方法，其特征在于，进一步包括：
操作所述处理系统以调用所述计划；以及
利用被穿戴的所述可穿戴混合现实显示设备的所述显示部分来查看图标。
23.如权利要求22所述的方法，其特征在于，进一步包括：
同时查看所述对象和所述图标两者。
24.如权利要求20所述的方法，其特征在于，进一步包括：
跟踪仪器的位置；以及
利用所述可穿戴混合现实显示设备将图标显示成被叠加在所述对象上，以对所述对象的受刺激部分进行注释。
25.如权利要求20所述的方法，其特征在于，进一步包括：
在穿戴所述可穿戴混合现实显示设备时查看所述对象的发荧光部分；
利用所述可穿戴混合现实显示设备将所述对象的所述发荧光部分的表示显示成被叠加在所述对象上。
26.如权利要求17所述的方法，其特征在于，进一步包括：
获得所述对象的自动配准的图像；
利用所述可穿戴混合现实显示设备查看所述对象的所获得的自动配准的图像；
计划支架的位置；
利用所述可穿戴混合现实显示设备来显示图标，以表示被叠加在所述对象的所查看的自动配准的图像上的所述支架的跟踪位置。
27.如权利要求17所述的方法，其特征在于，进一步包括：
指令所述测距部分扫描所述用户的手，以确定所述手相对于利用所述显示设备所显示的所述图像的位置；
其中，指令所述处理系统执行指令以选择性地将所述图像配准到所述对象包括：所述用户通过至少跟踪所述手来将所述图像移动到用于所述配准的选定开始点。
28.如权利要求17所述的方法，其特征在于，进一步包括：
指令所述测距部分相对于所述对象扫描仪器，并指令所述测距部分跟踪所述仪器的位置；以及
基于对所述仪器的扫描，利用所述显示设备相对于所述图像显示表示所述仪器的图标。
CN201780072267.3A 2016-09-22 2017-09-20 用于引导进程的系统 Active CN109996511B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/272,808 US11839433B2 (en) 2016-09-22 2016-09-22 System for guided procedures
US15/272,808 2016-09-22
PCT/US2017/052411 WO2018057564A1 (en) 2016-09-22 2017-09-20 System for guided procedures

Publications (2)

Publication Number Publication Date
CN109996511A CN109996511A (zh) 2019-07-09
CN109996511B true CN109996511B (zh) 2022-06-28

Family

ID=60002054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780072267.3A Active CN109996511B (zh) 2016-09-22 2017-09-20 用于引导进程的系统

Country Status (8)

Country Link
US (1) US11839433B2 (zh)
EP (1) EP3515352A1 (zh)
JP (1) JP2019534734A (zh)
KR (1) KR20190058528A (zh)
CN (1) CN109996511B (zh)
AU (1) AU2017332140A1 (zh)
CA (1) CA3037860A1 (zh)
WO (1) WO2018057564A1 (zh)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
EP3165153A1 (en) * 2015-11-05 2017-05-10 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts System for fluorescence aided surgery
WO2018097831A1 (en) 2016-11-24 2018-05-31 Smith Joshua R Light field capture and rendering for head-mounted displays
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
AU2018230901B2 (en) * 2017-03-10 2020-12-17 Biomet Manufacturing, Llc Augmented reality supported knee surgery
WO2018208616A1 (en) 2017-05-08 2018-11-15 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
EP3470006B1 (en) 2017-10-10 2020-06-10 Holo Surgical Inc. Automated segmentation of three dimensional bony structure images
US10265138B2 (en) * 2017-09-18 2019-04-23 MediVis, Inc. Methods and systems for generating and using 3D images in surgical settings
US20190175059A1 (en) 2017-12-07 2019-06-13 Medtronic Xomed, Inc. System and Method for Assisting Visualization During a Procedure
KR20230152180A (ko) 2017-12-10 2023-11-02 매직 립, 인코포레이티드 광학 도파관들 상의 반사―방지 코팅들
CA3086206A1 (en) 2017-12-20 2019-06-27 Magic Leap, Inc. Insert for augmented reality viewing device
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
EP3766039A4 (en) 2018-03-15 2021-04-07 Magic Leap, Inc. IMAGE CORRECTION BY DEFORMING COMPONENTS OF A VIEWING DEVICE
TWI678181B (zh) * 2018-04-30 2019-12-01 長庚大學 手術導引系統
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
ES2804910R2 (es) * 2018-05-30 2021-09-22 Macho Alvaro Zubizarreta Procedimiento para transferir una planificacion terapeutica a un dispositivo de realidad mixta
WO2019231850A1 (en) 2018-05-31 2019-12-05 Magic Leap, Inc. Radar head pose localization
CN108742898B (zh) * 2018-06-12 2021-06-01 中国人民解放军总医院 基于混合现实的口腔种植导航系统
WO2019238230A1 (en) * 2018-06-14 2019-12-19 Brainlab Ag Registration of an anatomical body part by detecting a finger pose
EP3810009A1 (en) 2018-06-19 2021-04-28 Tornier, Inc. Visualization of intraoperatively modified surgical plans
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
CN112789544B (zh) 2018-08-03 2023-06-30 奇跃公司 图腾在用户交互系统中的融合姿势的基于未融合姿势的漂移校正
EP3608870A1 (en) 2018-08-10 2020-02-12 Holo Surgical Inc. Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure
JP7487176B2 (ja) * 2018-08-22 2024-05-20 マジック リープ， インコーポレイテッド 患者視認システム
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
CN109512514A (zh) * 2018-12-07 2019-03-26 陈玩君 一种混合现实骨科微创手术导航系统及使用方法
CN109464194A (zh) * 2018-12-29 2019-03-15 上海联影医疗科技有限公司 医学图像的显示方法、装置、医学设备及计算机存储介质
CN109717957B (zh) * 2018-12-27 2021-05-11 北京维卓致远医疗科技发展有限责任公司 基于混合现实的控制系统
CN109806002B (zh) * 2019-01-14 2021-02-23 微创（上海）医疗机器人有限公司 一种手术机器人
JP2022523852A (ja) 2019-03-12 2022-04-26 マジック リープ， インコーポレイテッド 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ
CN112168348A (zh) * 2019-07-03 2021-01-05 钜旺生技股份有限公司 用于手术的定位与导航系统及其运作方法
CN110420050B (zh) * 2019-07-18 2021-01-19 沈阳爱健网络科技有限公司 Ct引导下穿刺方法及相关装置
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
CN110464461A (zh) * 2019-08-29 2019-11-19 中国科学技术大学 一种基于mri引导的介入手术导航装置
WO2021097323A1 (en) 2019-11-15 2021-05-20 Magic Leap, Inc. A viewing system for use in a surgical environment
US20210153969A1 (en) * 2019-11-25 2021-05-27 Ethicon, Inc. Method for precision planning, guidance, and placement of probes within a body
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
EP4072458A4 (en) * 2019-12-10 2023-12-13 Mediview XR, Inc. SYSTEM AND METHODS FOR PLANNING AND EXECUTING THREE-DIMENSIONAL HOLOGRAPHIC RESPONSE PROCEDURES
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
KR102285008B1 (ko) * 2020-01-21 2021-08-03 박병준 마커를 이용한 의료 기구 자세 추적 시스템
US11167127B2 (en) 2020-01-24 2021-11-09 Medtronic Xomed, Inc. System and method for therapy
US11666755B2 (en) 2020-01-24 2023-06-06 Medtronic Xomed, Inc. System and method for therapy
US11167140B2 (en) 2020-01-24 2021-11-09 Medtronic Xomed, Inc. System and method for therapy
US11623086B2 (en) 2020-01-24 2023-04-11 Medtronic Xomed, Inc. System and method for therapy
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
KR102301863B1 (ko) * 2020-02-12 2021-09-16 큐렉소 주식회사 수술 대상체의 정합 확인방법, 그 장치 및 이를 포함하는 시스템
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
IT202000013501A1 (it) * 2020-06-08 2021-12-08 Univ Degli Studi Magna Graecia Di Catanzaro Dispositivo chirurgico ultra-mininvasivo
EP3944834A1 (en) * 2020-07-30 2022-02-02 Koninklijke Philips N.V. Navigation operation instructions
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
RU2754288C1 (ru) * 2020-10-06 2021-08-31 Владимир Михайлович Иванов Способ подготовки и выполнения хирургической операции на голове с использованием смешанной реальности
US11295460B1 (en) 2021-01-04 2022-04-05 Proprio, Inc. Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
US20220310258A1 (en) * 2021-03-23 2022-09-29 International Business Machines Corporation Personalized location recommendation for medical procedures
CN113509266A (zh) * 2021-04-01 2021-10-19 上海复拓知达医疗科技有限公司 增强现实信息显示装置、方法、可读存储介质及设备
CN113100967B (zh) * 2021-04-09 2022-09-06 哈尔滨工业大学（深圳） 一种可穿戴的手术工具定位装置及定位方法
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
KR20230123197A (ko) * 2022-02-16 2023-08-23 고려대학교 산학협력단 혼합현실 기반의 초음파 영상 디스플레이 장치, 방법 및 시스템
WO2024049942A1 (en) * 2022-09-02 2024-03-07 Intuitive Surgical Operations, Inc. Techniques for updating a registration transform between an extended-reality system and a computer-assisted device
WO2024089504A1 (en) 2022-10-28 2024-05-02 Medtronic, Inc. System operable to determine a pose of an instrument
WO2024089503A1 (en) 2022-10-28 2024-05-02 Medtronic, Inc. System and method for illustrating a pose of an object
WO2024089502A1 (en) 2022-10-28 2024-05-02 Medtronic, Inc. System and method for illustrating a pose of an object

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104939925A (zh) * 2014-03-31 2015-09-30 西门子公司 基于三角测量的深处和表面可视化

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4395731A (en) * 1981-10-16 1983-07-26 Arnold Schoolman Television microscope surgical method and apparatus therefor
ATE180578T1 (de) 1992-03-13 1999-06-15 Kopin Corp Am kopf getragene anzeigevorrichtung
US7343195B2 (en) 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
US8644907B2 (en) 1999-10-28 2014-02-04 Medtronic Navigaton, Inc. Method and apparatus for surgical navigation
US6891518B2 (en) 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
ATE371414T1 (de) 2001-06-13 2007-09-15 Volume Interactions Pte Ltd Führungssystem
WO2003070101A1 (en) 2002-02-15 2003-08-28 Breakaway Imaging, Llc Gantry ring with detachable segment for multidimensional x-ray- imaging
US6947786B2 (en) 2002-02-28 2005-09-20 Surgical Navigation Technologies, Inc. Method and apparatus for perspective inversion
US8010180B2 (en) 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
JP2005519688A (ja) 2002-03-13 2005-07-07 ブレークアウェイ・イメージング・エルエルシー 擬似同時多平面ｘ線画像化システムおよび方法
CN1643371B (zh) 2002-03-19 2011-07-06 麦德特尼克航空公司 带有跟随数轴x射线源移动的探测器的计算机x光断层摄影装置
WO2003103496A1 (en) 2002-06-11 2003-12-18 Breakaway Imaging, Llc Cantilevered gantry apparatus for x-ray imaging
US6901941B2 (en) 2002-07-10 2005-06-07 Air Products And Chemicals, Inc. Vessel with optimized purge gas flow and method using same
WO2004019279A2 (en) 2002-08-21 2004-03-04 Breakaway Imaging, Llc Apparatus and method for reconstruction of volumetric images in a divergent scanning computed tomography system
US7835778B2 (en) * 2003-10-16 2010-11-16 Medtronic Navigation, Inc. Method and apparatus for surgical navigation of a multiple piece construct for implantation
RU2390852C2 (ru) 2004-03-26 2010-05-27 Атсуши ТАКАХАШИ Трехмерная цифровая увеличивающая объект стеклянная оптическая система, включающая в себя функции трехмерного наглядного обучения
US20050228270A1 (en) 2004-04-02 2005-10-13 Lloyd Charles F Method and system for geometric distortion free tracking of 3-dimensional objects from 2-dimensional measurements
US7376903B2 (en) 2004-06-29 2008-05-20 Ge Medical Systems Information Technologies 3D display system and method
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US8060186B2 (en) * 2007-02-15 2011-11-15 Siemens Aktiengesellschaft System and method for intraoperative guidance of stent placement during endovascular interventions
US8600478B2 (en) 2007-02-19 2013-12-03 Medtronic Navigation, Inc. Automatic identification of instruments used with a surgical navigation system
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US9889299B2 (en) 2008-10-01 2018-02-13 Inspire Medical Systems, Inc. Transvenous method of treating sleep apnea
US9737235B2 (en) * 2009-03-09 2017-08-22 Medtronic Navigation, Inc. System and method for image-guided navigation
WO2010117810A1 (en) 2009-03-31 2010-10-14 Inspire Medical Systems, Inc. Percutaneous access for systems of treating sleep-related disordered breathing
US8238631B2 (en) 2009-05-13 2012-08-07 Medtronic Navigation, Inc. System and method for automatic registration between an image and a subject
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
CA2797302C (en) 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
US8842893B2 (en) 2010-04-30 2014-09-23 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
US20120316486A1 (en) 2010-08-20 2012-12-13 Andrew Cheung Surgical Component Navigation Systems And Methods
US9807860B2 (en) 2010-10-20 2017-10-31 Medtronic Navigation, Inc. Gated image acquisition and patient model construction
US9769912B2 (en) * 2010-10-20 2017-09-19 Medtronic Navigation, Inc. Gated image acquisition and patient model construction
US8768029B2 (en) 2010-10-20 2014-07-01 Medtronic Navigation, Inc. Selected image acquisition technique to optimize patient model construction
US20120099768A1 (en) * 2010-10-20 2012-04-26 Medtronic Navigation, Inc. Method and Apparatus for Reconstructing Image Projections
MX2013006104A (es) * 2010-12-02 2013-09-02 Ultradent Products Inc Sistema y metodo para ver y hacer seguimiento de imagenes estereoscopicas de video.
US8562211B2 (en) * 2011-03-30 2013-10-22 Medtronic Navigation, Inc. System and method for off-center imaging
US9411057B2 (en) 2011-04-01 2016-08-09 Medtronic Navigation, Inc. X-ray imaging system and method
WO2013040498A1 (en) 2011-09-16 2013-03-21 Translucent Medical, Inc. System and method for virtually tracking a surgical tool on a movable display
US8891847B2 (en) 2012-01-23 2014-11-18 Medtronic Navigation, Inc. Automatic implant detection from image artifacts
US8670816B2 (en) * 2012-01-30 2014-03-11 Inneroptic Technology, Inc. Multiple medical device guidance
US9561019B2 (en) * 2012-03-07 2017-02-07 Ziteo, Inc. Methods and systems for tracking and guiding sensors and instruments
US20130267833A1 (en) 2012-04-09 2013-10-10 General Electric Company, A New York Corporation Automatic instrument detection for surgical navigation
JP6017198B2 (ja) 2012-06-28 2016-10-26 オリンパス株式会社 内視鏡装置およびプログラム
US9192445B2 (en) 2012-12-13 2015-11-24 Mako Surgical Corp. Registration and navigation using a three-dimensional tracking sensor
US9710968B2 (en) 2012-12-26 2017-07-18 Help Lightning, Inc. System and method for role-switching in multi-reality environments
US20140221819A1 (en) 2013-02-01 2014-08-07 David SARMENT Apparatus, system and method for surgical navigation
RU2621488C2 (ru) * 2013-02-14 2017-06-06 Сейко Эпсон Корпорейшн Укрепляемый на голове дисплей и способ управления для укрепляемого на голове дисплея
US9717442B2 (en) 2013-03-15 2017-08-01 Medtronic Navigation, Inc. Method and system for navigating an instrument
US10447947B2 (en) 2013-10-25 2019-10-15 The University Of Akron Multipurpose imaging and display system
WO2015126466A1 (en) * 2014-02-21 2015-08-27 The University Of Akron Imaging and display system for guiding medical interventions
US10639104B1 (en) 2014-11-07 2020-05-05 Verily Life Sciences Llc Surgery guidance system
WO2016090336A1 (en) * 2014-12-05 2016-06-09 Camplex, Inc. Surgical visualization systems and displays
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US20160242623A1 (en) * 2015-02-20 2016-08-25 Cefla Societá Cooperativa Apparatus and method for visualizing data and images and for controlling a medical device through a wearable electronic device
JP2016158911A (ja) 2015-03-03 2016-09-05 株式会社クレッセント 画像表示装置を使った外科手術方法及び、その外科手術に用いる装置
US20160324580A1 (en) * 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
WO2016162789A2 (en) * 2015-04-07 2016-10-13 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
CA2976516C (en) * 2015-07-27 2022-11-22 Synaptive Medical (Barbados) Inc. Navigational feedback for intraoperative waypoint
US9675319B1 (en) * 2016-02-17 2017-06-13 Inneroptic Technology, Inc. Loupe display
JP2017164007A (ja) 2016-03-14 2017-09-21 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、プログラム
US20180049622A1 (en) 2016-08-16 2018-02-22 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
US20180092698A1 (en) 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104939925A (zh) * 2014-03-31 2015-09-30 西门子公司 基于三角测量的深处和表面可视化

Also Published As

Publication number Publication date
CA3037860A1 (en) 2018-03-29
WO2018057564A1 (en) 2018-03-29
JP2019534734A (ja) 2019-12-05
US20180078316A1 (en) 2018-03-22
EP3515352A1 (en) 2019-07-31
US11839433B2 (en) 2023-12-12
CN109996511A (zh) 2019-07-09
KR20190058528A (ko) 2019-05-29
AU2017332140A1 (en) 2019-04-18

Similar Documents

Publication Publication Date Title
CN109996511B (zh) 用于引导进程的系统
US11989338B2 (en) Using optical codes with augmented reality displays
US11754971B2 (en) Method and system for displaying holographic images within a real object
US20240205377A1 (en) Augmented reality display for fluorescence guided surgery
US11944272B2 (en) System and method for assisting visualization during a procedure
US20190231436A1 (en) Anatomical model for position planning and tool guidance of a medical tool
CN103619278B (zh) 用于内窥镜手术期间的引导注射的系统
CN109998678A (zh) 在医学规程期间使用增强现实辅助导航
US9918798B2 (en) Accurate three-dimensional instrument positioning
US20120215096A1 (en) Systems & methods for planning and performing percutaneous needle procedures
EP3395282A1 (en) Endoscopic view of invasive procedures in narrow passages
US11672609B2 (en) Methods and systems for providing depth information
US20230120638A1 (en) Augmented reality soft tissue biopsy and surgery system
EP4091567A1 (en) Technique of providing user guidance for obtaining a registration between patient image data and a surgical tracking system
EP3917430B1 (en) Virtual trajectory planning
CN115363751B (zh) 术中解剖结构指示方法
US20240122650A1 (en) Virtual trajectory planning
US11389250B2 (en) Position detection system by fiber Bragg grating based optical sensors in surgical fields
Gerritsen Virtual Reality in medical imaging for image-guided surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant