CN115052544A - 用于部署结构性心脏修复或置换产品的实时融合式全息可视化和引导 - Google Patents

用于部署结构性心脏修复或置换产品的实时融合式全息可视化和引导 Download PDF

Info

Publication number
CN115052544A
CN115052544A CN202180012122.0A CN202180012122A CN115052544A CN 115052544 A CN115052544 A CN 115052544A CN 202180012122 A CN202180012122 A CN 202180012122A CN 115052544 A CN115052544 A CN 115052544A
Authority
CN
China
Prior art keywords
patient
augmented reality
hologram
tracked instrument
holographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180012122.0A
Other languages
English (en)
Inventor
约翰·布莱克
米娜·S·法希姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medical Vision Xr Co ltd
Original Assignee
Medical Vision Xr Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Medical Vision Xr Co ltd filed Critical Medical Vision Xr Co ltd
Publication of CN115052544A publication Critical patent/CN115052544A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/24—Heart valves ; Vascular valves, e.g. venous valves; Heart implants, e.g. passive devices for improving the function of the native valve or the heart muscle; Transmyocardial revascularisation [TMR] devices; Valves implantable in the body
    • A61F2/2412—Heart valves ; Vascular valves, e.g. venous valves; Heart implants, e.g. passive devices for improving the function of the native valve or the heart muscle; Transmyocardial revascularisation [TMR] devices; Valves implantable in the body with soft flexible valve members, e.g. tissue valves shaped like natural valves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/24—Heart valves ; Vascular valves, e.g. venous valves; Heart implants, e.g. passive devices for improving the function of the native valve or the heart muscle; Transmyocardial revascularisation [TMR] devices; Valves implantable in the body
    • A61F2/2427—Devices for manipulating or deploying heart valves during implantation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00238—Type of minimally invasive operation
    • A61B2017/00243—Type of minimally invasive operation cardiac
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Vascular Medicine (AREA)
  • Transplantation (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Pulmonology (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种用于对患者进行结构性心脏修复或置换手术的系统(100)和方法(200)，包括增强现实系统(102)、被跟踪仪器(104)、第一图像获取系统(108)和计算机系统(106)。该方法包括从患者处获取第一全息图像数据集(122)的步骤。在下一步骤中，计算机系统(106)使用多个传感器(115、117、119、121)跟踪被跟踪仪器(104)，以提供被跟踪仪器数据集(132)。该方法(200)还包括登记第一全息图像数据集(122)、被跟踪仪器数据集(132)以及患者的步骤。然后，在下一步骤中，增强现实系统(102)基于来自患者的第一全息图像数据集(122)渲染第一全息图(134)，以供执业者查看。因此，执业者被允许在使用增强现实系统(102)查看患者和第一全息图(134)的同时对患者进行手术。

Description

用于部署结构性心脏修复或置换产品的实时融合式全息可视 化和引导
相关申请的交叉引用
本申请要求于2020年2月1日提交的美国临时申请序列号62/969,035的权益。通过引用将上述申请的全部公开内容纳入本文。
技术领域
本公开涉及全息增强现实(augmented reality，AR)应用，尤其是使用全息增强现实的医疗应用。
背景技术
本节提供了不一定是现有技术的本公开相关的背景信息。
图像引导外科手术已成为例如结构性心脏修复的许多不同手术的标准做法。图像引导手术在视觉上将术中数据与术前数据相关联。图像引导手术的使用已被证明可以提高这些手术的安全性和成功率。然而，在图像引导外科手术中会出现许多已知的困难。
例如，如何向执业者展示术中数据和术前数据可以与执业者的外科手术表现直接相关。通常，该信息显示在位于患者周围的二维(two dimensional，2D)显示器上。不期望的是，这将执业者的注意力从患者处转移到2D显示器。此外，由于执业者在进行手术时必须不断地抬头看2D显示器，这会对执业者的颈部施加额外的压力。
此外，由于术中数据和术前数据的显示方式，确定最佳仪器插入角度会很困难。如前所述，该数据通常以2D显示，这意味着执业者必须在头脑中将仪器的位置和轨迹转换为2D显示器上显示的数据。由于位置和轨迹无法很好地转换为2D，这会不期望地导致混乱和错误。
持续需要一种涉及全息增强现实的用于结构性心脏修复或置换的可视化、引导和导航方法和系统，所述方法和系统使执业者能够在同一视野内查看操作数据和患者。期望的是，该系统和方法使执业者能够在手术期间更容易地确定仪器的位置和轨迹。
发明内容
与本公开一致，令人惊讶地发现了一种涉及全息增强现实的用于结构性心脏修复或置换的可视化、引导和导航系统和方法，所述系统和方法使执业者能够在同一视野内查看操作数据和患者，并使得执业者在手术过程中能够更容易地确定仪器的位置和轨迹。
在一个实施例中，用于对患者进行结构性心脏修复或置换手术的方法包括提供增强现实系统、被跟踪仪器、第一图像获取系统和计算机系统的步骤。计算机系统有处理器和存储器。被跟踪仪器具有多个传感器。第一图像获取系统配置用于从患者处获取第一全息图像数据集。计算机系统与增强现实系统、被跟踪仪器和第一图像获取系统进行通信。该方法可以包括通过第一图像获取系统从患者处获取第一全息图像数据集。该方法还可以包括通过计算机系统使用多个传感器跟踪被跟踪仪器，以提供被跟踪仪器数据集。该方法还可以包括通过计算机系统登记第一全息图像数据集、被跟踪仪器数据集以及患者。该方法还可以包括通过增强现实系统基于来自患者的第一全息图像数据集渲染第一全息图以供执业者查看。该方法还可以包括由执业者在使用增强现实系统查看患者和第一全息图的同时对患者进行结构性心脏修复或置换手术。因此，执业者在结构性心脏修复或置换手术中，使用增强现实系统进行被跟踪仪器的可视化、引导和导航中的至少一个。
在另一个实施例中，用于对患者进行结构性心脏修复或置换手术的系统包括增强现实系统、被跟踪仪器、第一图像获取系统和计算机系统。被跟踪仪器具有多个传感器，用于通过计算机系统检测被跟踪仪器的位置和定向。第一图像获取系统被配置为从患者处获取第一全息图像数据集。该计算机系统具有处理器和存储器，并与增强现实系统、被跟踪仪器和第一图像获取系统进行通信。计算机系统通过机器可读指令配置为：使用多个传感器跟踪被跟踪仪器，以提供被跟踪仪器数据集；以及登记第一全息图像数据集、被跟踪仪器数据集以及患者。增强现实系统配置为基于来自患者的第一全息图像数据集渲染第一全息图以供执业者查看。因此，执业者被允许在使用增强现实系统查看患者和第一全息图的同时对患者进行结构性心脏修复或置换手术。特别是，执业者在结构性心脏修复或置换手术中，使用增强现实系统进行被跟踪仪器的可视化、引导和导航中的至少一个。
在一个示例性实施例中，本公开允许通过使用空间计算、增强现实和人工智能(artificial intelligence，AI)产生全息光线来模拟被跟踪仪器的预期轨迹，从而全息显示被跟踪仪器的预期轨迹。该系统和方法可以与任何增强现实显示器一起使用，并可选地使用电磁或光学跟踪。这使全息光线能够通过设计适应任何仪器，调整到任何所需角度，并调整大小以适应任何所需的针、导管或套管针的大小。
应理解，本公开解决了与结构性心脏修复或置换产品的导航、引导和定位相关的重大问题。通过全息可视化以及经由经心尖或经主动脉入路技术或经股入路进入心脏来允许对治疗和工具进行可视化和定位。本公开通过将经食管超声心动描记、经腹超声心动描记、计算机断层成像(Computed Tomography，CT)或磁共振成像(Magnetic ResonanceImaging，MRI)图像与来自有线和无线电磁或光学跟踪系统的数据合并或融合，来提供一种用于规划、标定和预定向植入物或治疗递送、经皮进入点和实时导航和引导中至少一个的综合工具。
本公开还允许预先规划仪器或植入物植入的最佳角度。已知的护理标准依赖于使用2D图像获取来实现治疗或设备的适当进入、引导和递送。本公开的全息术有利地通过将术前成像与实时超声心动描记融合来提供实时视图，该实时视图使用电磁跟踪或光学跟踪以全息方式显示并准确地登记患者。心脏门控的全息表示也可以使介入执业者对心脏的整个运动范围有更深入的理解。还考虑了CT图像与术中荧光成像的全息融合，以模拟与心动循环相关的心脏运动。
根据本文提供的描述，更多的适用领域将变得显而易见。应理解，描述和具体示例仅用于说明目的，并不旨在限制本公开的范围。
附图说明
本文所述附图仅用于说明目的，并不旨在以任何方式限制本公开的范围。
图1是根据本公开的一个实施例的用于结构性心脏修复或置换的全息增强现实可视化和引导系统的示意图，并进一步示出通过计算机网络彼此通信的增强现实系统、被跟踪仪器、计算机系统、第一图像获取系统、以及第二图像获取系统；
图2是根据本公开的一个实施例的图1所示的被跟踪仪器的示意图；
图3是示出根据本公开的一个实施例的用于进行结构性心脏修复或置换手术的方法的流程图；
图4是示出图3所示的用于进行结构性心脏修复或置换手术的方法的附加步骤的另一流程图；以及
图5是示出图3所示的用于进行结构性心脏修复或置换手术的方法的附加步骤的又一流程图。
具体实施方式
以下对技术的描述在一项或更多项发明的主题性质、制造和使用方面仅是示例性的，并不旨在限制本申请或可能提交的要求本申请优先权的其他申请或由此公布的专利中所要求的任何特定发明的范围、应用或使用。关于所公开的方法，除非另有公开，否则所提出的步骤的顺序本质上是示例性的，因此，在各种实施例中，步骤的顺序可以不同，包括可以同时执行某些步骤的情况。
I.定义
除非另有定义，否则本文中使用的所有技术术语的含义与本公开所属领域的普通技术人员通常理解的含义相同。
如本文所用，术语“一个(a)”和“一个(an)”表示存在“至少一个”项；在可能的情况下，可以存在多个这样的项。除非另有明确说明，否则本说明书中的所有数值量应理解为由“大约”一词修饰，并且在描述技术的最广泛范围时，所有几何和空间描述符应理解为由“基本上”一词修饰。当应用于数值时，“大约”表示计算或测量允许值有一些轻微的不精确性(有一些接近精确值；近似或合理地接近值；近乎)。如果出于某种原因，“大约”和/或“基本上”所提供的不精确性在本领域中没有以这种一般含义来理解，那么本文中使用的“大约”和/或“基本上”至少表示可以由测量或使用这些参数的普通方法引起的变化。
尽管本文使用开放式术语“包括(comprising)”作为诸如包括、包含或具有的非限制性术语的同义词来描述和声明本技术的实施例，但也可以替代地使用更多限制性术语(例如“由...组成”或“基本上由...组成”)来描述实施例。因此，对于记载材料、部件或过程步骤的任何给定实施例，本技术还具体包括由此类材料、部件或过程步骤组成或基本上由其组成的实施例，这些实施例也不包括附加材料、部件或过程(由其组成)并且不包括影响本实施例重要特性的附加材料、部件或过程(基本上由其组成)，即使本申请中未明确记载此类附加材料、部件或过程步骤。例如，对记载元素A、B和C的过程的记载具体设想了由A、B和C组成以及基本上由其组成的实施例，这些实施例不包括本领域中可以记载的元素D，即使元素D在此未被明确描述为不包括。
如本文所述，除非另有规定，否则范围的公开包括端点，并且包括整个范围内的所有不同值和进一步划分的范围。因此，例如，“从A到B”或“从大约A到大约B”的范围包括A和B。特定参数(诸如数量、重量百分比等)的值和值范围的公开不排除本文中有用的其他值和值范围。可以设想，给定参数的两个或更多个特定例示值可以定义针对该参数可以声明的值范围的端点。例如，如果参数X在本文中例示为具有值A并且还例示为具有值Z，则可以设想参数X可以具有从大约A到大约Z的值范围。类似地，可以设想，参数的两个或更多个值范围的公开(无论这些范围是嵌套的、重叠的还是不同的)包括可以使用公开范围的端点声明的值范围的所有可能组合。例如，如果参数X在本文中例示为具有1-10、2-9或3-8范围内的值，则还可以设想参数X可以具有包括1-9、1-8、1-3、1-2、2-10、2-8、2-3、3-10、3-9等的其他值范围。
当一个元件或层被称为“在另一元件或层上”、“接合到”、“连接到”或“耦接到”另一个元件或层时，它可以直接在另一个元件或层上、接合、连接或耦接到另一个元件或层，或者可以存在中间元件或层。相反，当一个元件被称为“直接在另一个元件或层上”、“直接接合到”、“直接连接到”或“直接耦接到”另一个元件或层上时，可以不存在中间元件或层。用于描述元件之间关系的其他词语应以类似的方式进行解释(例如，“在...之间”与“直接在...之间”、“相邻”与“直接相邻”等)。如本文所用，术语“和/或”包括一个或更多个相关列出项的任何和所有组合。
尽管本文中可以使用术语第一、第二、第三等来描述各种元件、部件、区域、层和/或部分，但这些元件、部件、区域、层和/或部分不应受这些术语的限制。这些术语只能用于区分一个元件、部件、区域、层或部分与另一个区域、层或部分。除非上下文明确指出，否则本文中使用的术语，如“第一”、“第二”和其他数值术语，并不意味着序列或顺序。因此，下面讨论的第一元件、部件、区域、层或部分可以被称为第二元件、部件、区域、层或部分，而不偏离示例实施例的教导。
为了便于描述，本文可以使用诸如“内部”、“外部”、“在...下面(beneath)”、“低于(below)”、“下方(lower)”、“高于(above)”、“上方(upper)”等的空间相对术语，以便于描述如图所示的一个元件或特征与另一个元件或特征的关系。除了图中所示的定向外，空间相对术语还旨在包含使用或操作中设备的不同定向。例如，如果图中的设备被翻转，则描述为“低于其他元件或特征”或“在其他元件或特征下面”的元件将被定向为“高于”其他元件或特征。因此，示例术语“低于”可以包含高于和低于的定向。设备可以以其他方式定向(旋转90度或以其他定向)，并且本文中使用的空间相对描述符可以相应地解释。
如本文所用，术语“经皮”是指通过皮肤进行、完成或实现的事物。
如本文所用，术语“经皮医疗手术”是指通过针穿刺皮肤而不是通过使用(通常利用手术刀)暴露内部器官或组织的开放入路进入内部器官或组织。
如本文所用，术语“非血管”在与“经皮医疗手术”一起使用时是指在受试者身体的不同于经皮进入的血管系统的任何部分上进行的医疗手术。经皮医疗手术的示例可以包括活检、组织消融、冷冻治疗手术、近距离放射治疗手术、血管内手术、引流手术、骨科手术、疼痛管理手术、椎体成形手术、椎弓根/螺钉放置手术、导丝放置手术、髂关节固定手术、训练手术。
如本文所用，术语“血管内”在与“经皮医疗手术”一起使用时是指在经皮进入的血管(或淋巴系统)上进行的医疗手术。血管内经皮医疗手术的示例可包括动脉瘤修复、支架移植/放置、血管内假体放置、金属丝放置、导管插入、过滤器放置、血管成形术等。
如本文所用，术语“介入设备”或“被跟踪仪器”是指在非血管经皮医疗手术中使用的医疗仪器。
如本文所用，术语“跟踪系统”是指用于观察正在运动的一个或更多个对象，并在跟踪坐标系中提供及时有序的跟踪数据(例如，位置数据、定向数据等)序列以供进一步处理的事物。例如，跟踪系统可以是电磁跟踪系统，当介入设备在患者体内移动时，电磁跟踪系统可以观察配备传感器线圈的介入设备。
如本文所用，术语“跟踪数据”是指跟踪系统记录的、与对一个或更多个正在运动的对象的观察有关的信息。
如本文所用，术语“跟踪坐标系”是指三维(three-dimension，3D)笛卡尔坐标系，该坐标系使用一个或更多个数字来确定特定跟踪系统特有的点或其他几何元件的位置。例如，跟踪坐标系可以相对于标准3D笛卡尔坐标系旋转、缩放等。
如本文所用，术语“头戴式设备”或“头戴式视图器”或“头盔显示器(HelmetMounted Display，HMD)”是指配置为戴在头上的显示设备，其在一只或更多只眼睛前面具有一个或更多个显示光学元件(包括透镜)。这些术语可以甚至更一般地称为术语“增强现实系统”，尽管应理解术语“增强现实系统”不限于配置为戴在头部的显示设备。在某些情况下，头戴式设备还可以包括非暂态存储器和处理单元。合适的头戴式设备的一个例子是Microsoft
Figure BDA0003775205350000061
如本文所用，术语“成像系统”、“图像获取设备”、“图像获取系统”等是指创建患者身体内部的视觉表示的技术。例如，成像系统可以是计算机断层成像(CT)系统、荧光检查系统、磁共振成像(MRI)系统、超声(ultrasound，US)系统等。
如本文所用，术语“坐标系”或“增强现实系统坐标系”是指使用一个或更多个数字来确定其所属的特定增强现实系统或图像获取系统特有的点或其他几何元件的位置的3D笛卡尔坐标系。例如，头戴式视图器坐标系可以相对于标准3D笛卡尔坐标系旋转、缩放等。
如本文所用，术语“图像数据”或“图像数据集”或“成像数据”是指成像系统以3D形式记录的、与对患者身体内部的观察有关的信息。例如，“图像数据”或“图像数据集”可以包括诸如断层图像的经处理的二维或三维图像或模型，例如，由根据医学数字成像和通信(Digital Imaging and Communications in Medicine，DICOM)标准或其他相关成像标准格式化的数据表示。
如本文所用，术语“成像坐标系”或“图像获取系统坐标系”是指使用一个或更多个数字来确定特定成像系统特有的点或其他几何元件的位置的3D笛卡尔坐标系。例如，成像坐标系可以相对于标准3D笛卡尔坐标系旋转、缩放。
如本文所用，术语“全息图”、“全息”、“全息投影”或“全息表示”是指投影到头戴式视图器的透镜上的计算机生成图像。通常，全息图可以(在增强现实(AR)中)合成生成，并且与物理现实无关。
如本文所用，术语“物理”指的是真实的事物。物理的事物不是全息的(或不是计算机生成的)。
如本文所用，术语“二维”或“2D”是指以两个物理维度表示的事物。
如本文所用，术语“三维”或“3D”是指以三个物理维度表示的事物。“四维(four-dimensional，4D)”(例如，3D加上时间和/或运动维度)的元素将包含在三维或3D的定义中。
如本文所用，术语“集成”可以指被链接或协调的两个事物。例如，线圈传感器可以与介入设备集成。
如本文所用，术语“自由度(degrees-of-freedom，DOF)”或“DOF”是指许多独立可变因素。例如，跟踪系统可以具有六个自由度(或6DOF)、一个3D点和3个旋转维度。
如本文所用，术语“实时”是指过程或事件发生的实际时间。换句话说，实时事件是实时完成的(在毫秒内完成，因此结果可以立即作为反馈)。例如，实时事件可以在事件发生的100毫秒内表示。
如本文所用，术语“受试者”和“患者”可以互换使用，并指代任何脊椎动物生物体。
如本文所用，术语“登记”是指将跟踪数据和身体图像数据转换为公共坐标系并在手术期间创建与患者身体相关的图像和信息的全息显示的步骤，例如，如West等人的美国专利申请公开号2018/0303563、以及Black人的申请人共同所有的美国专利申请序列号17/110,991和Martin III人的美国专利申请序列号17/117,841中进一步所述，上述申请的全部公开内容通过引用并入本文。
II.用于结构性心脏修复或置换的系统
如图1所示，用于对患者进行结构性心脏修复或置换手术(200，如图2所示)的全息增强现实可视化和引导系统100包括增强现实系统102、被跟踪仪器104、计算机系统106和第一图像获取系统108。在某些示例中，全息增强现实可视化和引导系统100还可以包括第二图像获取系统110。增强现实系统102、被跟踪仪器104、第一图像获取系统108和第二图像获取系统110中的每一个都可以选择性地或永久地例如经由计算机网络112与计算机系统106通信。用于与全息增强现实可视化和引导系统100一起使用的其他合适仪器、工具、设备、子系统、以及其他网络装置(包括全息增强现实可视化和引导系统100的部件之间的有线和无线通信装置)也可根据需要被技术人员采用。
参考图2，被跟踪仪器104是一种介入设备，其经过感测，使得被跟踪仪器104的位置和定向可以由计算机系统106确定。具体而言，被跟踪仪器可以具有细长主体(例如长软管)，并且沿着细长主体的长度布置有多个部分114、116、118，120，这多个部分依次具有多个传感器115、117、119、121中的一个。例如，被跟踪仪器104可以具有尖部114、顶部116、中部118，和底部120。尖部传感器115可布置在被跟踪仪器104的尖部114处。顶部传感器117可布置在被跟踪仪器104的顶部116处。中部传感器119可布置在被跟踪仪器104的中部118处。底部传感器121可布置在被跟踪仪器104的底部120处。传感器115、117、119、121中的每一个传感器与计算机系统106通信或者以其他方式可由计算机系统106检测。
应理解，尖部传感器115提供的跟踪尤其有利，因为执业者可以将该尖部传感器115用作被跟踪仪器104的预选参考点。预选参考点配置为轨迹全息图(如图1所示并在本文中描述为“142”)的锚定点，例如可由增强现实系统102生成的全息光线。如本文进一步所述，全息光线可协助执业者沿优选路径或轨迹对准和移动被跟踪仪器104。应理解，本领域技术人员还可以在本公开的范围内选择任意数量的预选参考点。在进一步的实施例中，预选参考点可以由执业者在医疗手术中实时调整，并且可以根据需要替代地基于其他传感器115、117、119、121中的一个或更多个。
在某些示例中，传感器115、117、119、121可以是电磁(electromagnetic，EM)跟踪系统的一部分，所述电磁(EM)跟踪系统可以是计算机系统106的一部分和/或由计算机系统106用于检测物理被跟踪仪器104的位置和定向。例如，传感器115、117、119、121可以包括一个或更多个传感器线圈。计算机系统106可以检测一个或更多个传感器线圈，并响应于检测提供跟踪数据(例如，具有六个自由度)。例如，跟踪数据可以包括实时3D位置数据和实时3D定向数据。计算机系统106的跟踪系统还可以检测不位于物理介入设备上(例如，位于基准标记或其他成像目标上)的线圈传感器。
此外，多个位置传感器115、117、119、121配置为评估被跟踪仪器104的各种附加信息，例如被跟踪仪器104的角速度和加速度。适合确定角速度和加速度的多个位置传感器115、117、119、121的非限制性示例包括加速度计、陀螺仪、电磁传感器和光学跟踪传感器。值得注意的是，电磁传感器能够对小对象进行更精确的实时对象跟踪，而不受视线限制。
具体考虑了其他合适的跟踪系统，例如与增强现实系统102和计算机系统106结合使用的光学跟踪系统。还考虑了被跟踪仪器104可以通过无线传输或通过有线连接与增强现实系统102和计算机系统106进行通信的实施例。还应理解，本领域技术人员可以根据需要使用不同类型的多个位置传感器115、117、119、121。
被跟踪仪器104还可以包含配置为插入患者心脏的植入物或工具。被跟踪仪器104和相关植入物的非限制性示例包括针、导管、支架、机械心脏瓣膜或生物心脏瓣膜。在其他示例中，植入物本身可至少在手术期间暂时被感测到以促进其追踪。
在大多数特定示例中，被跟踪仪器104是配置用于将心脏植入物(例如置换瓣膜)插入患者心脏的导管。在其他示例中，被跟踪仪器104是配置用于心脏消融手术的导管。然而，本领域的普通技术人员可以在本公开的范围内，根据所需手术，针对被跟踪仪器104使用其他合适的介入设备。
再次参考图1，第一图像获取系统108配置为从患者处获取第一全息图像数据集122。具体而言，第一图像获取系统108可以配置为以术前方式从患者处获取第一全息图像数据集122。在某些实施例中，第一图像获取系统108是磁共振成像(MRI)设备和计算机断层成像(CT)设备中的一个。根据需要，还可以使用用于第一图像获取系统108的其他合适类型的仪器。
同样，第二图像获取系统110配置为从患者处获取第二全息图像数据集124。具体而言，第二图像获取系统110可以配置为以术中方式、尤其是在进行手术时实时地从患者处获取第二全息图像数据集124。在某些实施例中，第二图像获取系统110是超声心动图(echocardiogram，ECG)成像设备。最特别的是，第二全息图像数据集124可以通过预定模式来获取，所述预定模式包括经胸超声心动图(transthoracic echocardiogram，TTE)、经食管超声心动图(transesophageal echocardiogram，TEE)和心内超声心动图(intracardiacechocardiogram，ICE)中的一个。还可以根据需要使用用于第二图像获取系统110的其他合适类型的仪器和模式。
尽管本文示出和描述了第一图像获取系统108和第二图像获取系统110这两者的使用，但仅使用第一图像获取系统108和第二图像获取系统110中的一个或另一个的实施例被认为在本公开的范围内。
继续参考图1，本公开的计算机系统106具有至少一个处理器126以及存储有形非暂态机器可读指令130的至少一个存储器128。
一个或更多个处理器126可以执行与全息增强现实可视化和引导系统100的操作相关的功能。一个或更多个处理器126可以是任何类型的通用或专用处理器。在一些情况下，根据其他实施例，可以使用多个处理器126。事实上，作为非限制性示例，一个或更多个处理器126可以包括通用计算机、专用计算机、微处理器、数字信号处理器(digital signalprocessor，DSP)、现场可编程门阵列(field-programmable gate array，FPGA)、专用集成电路(application-specific integrated circuit，ASIC)和基于多核处理器架构的处理器中的一个或更多个。
存储器128可以是一个或更多个存储器，并且是适合本地应用环境的任何类型，并且可以使用诸如基于半导体的存储器设备、磁存储器设备和系统、光存储器设备和系统、固定存储器和可移动存储器的任何合适的易失性或非易失性数据存储技术来实施。例如，存储器128可以由随机存取存储器(random access memory，RAM)、只读存储器(read onlymemory，ROM)、诸如磁盘或光盘的静态存储器、硬盘驱动器(hard disk drive，HDD)或任何其他类型的非暂态机器或计算机可读介质的任意组合组成。存储在存储器128中的指令可以包括程序指令或计算机程序代码，当由一个或更多个处理器126执行时，这些程序指令或计算机程序代码使全息增强现实可视化和引导系统100能够执行本文所述的任务。
机器可读指令130可以包括模块。这些模块可以实施为功能逻辑、硬件逻辑、电子电路、软件模块中的一个或更多个。根据需要，模块可以包括增强现实系统模块、图像获取模块、仪器跟踪模块、图像数据集登记模块、全息图渲染模块、图像登记模块、轨迹全息图渲染模块和/或其他合适模块中的一个或更多个。
计算机系统106例如通过网络112与增强现实系统102、被跟踪仪器104、第一图像获取系统108和第二图像获取系统110通信，并由机器可读指令130配置为根据如本文进一步描述的方法200操作。计算机系统106可以单独提供并与增强现实系统102隔开，或者可以根据需要与增强现实系统102一起提供作为单个整体单元。
应理解，作为非限制性示例，全息增强现实可视化和引导系统100的网络112可以包括诸如长期演进技术(Long Term Evolution，LTE)或第五代移动通信技术(5thGeneration Mobile CommunicationTechnology，5G)的无线接入网络、局域网(localareanetwork，LAN)、诸如互联网的广域网(wide area network，WAN)或无线局域网(wireless local areanetwork，WLAN)。应理解，这并非旨在限制，并且本公开的范围包括全息增强现实可视化和引导系统100的一个或更多个计算平台可通过一些其他通信耦合可操作地链接的实现。一个或更多个计算平台可以配置为通过无线或有线连接与网络环境通信。此外，在一个实施例中，一个或更多个计算平台可以配置为通过无线或有线连接彼此直接通信。一个或更多个计算平台的示例可以包括但不限于智能手机、可穿戴设备、平板电脑、膝上型电脑、台式电脑、物联网(Internet ofThings，IoT)设备或诸如独立服务器、网络服务器或服务器阵列的其他移动或固定设备。
在特定实施例中，计算机系统106可配置为使用多个传感器115、117、119、121跟踪被跟踪仪器104，以提供被跟踪仪器数据集132。被跟踪仪器数据集132可存储在存储器128上。特别是，例如，被跟踪仪器104在物理空间中的位置和定向存储为被跟踪仪器数据集132。
计算机系统106还可以配置为登记来自第一图像获取系统108的第一全息图像数据集122、由计算机系统106获得的被跟踪仪器数据集132以及患者，如本文进一步所述。
继续参考图1，增强现实系统102配置为根据本公开的方法200渲染多个全息图134、136、138、140、142。具体而言，增强现实系统102可以是混合现实(mixedreality，MR)显示器，例如MR智能眼镜或MR头戴式显示器。增强现实系统102的非限制性示例包括MagicLeap
Figure BDA0003775205350000111
或Microsoft
Figure BDA0003775205350000121
应理解，其他类型的MR显示器可以用于增强现实系统102，只要MR显示器能够将计算机生成的图像叠加到现实世界对象上。此外，尽管本文主要将增强现实系统102描述为头戴式显示器，但应理解，也可以根据需要使用并非头戴式、但能够生成全息图134、136、138、140并将其叠加在现实世界视图上的其他类型的显示器。
应理解，在增强现实系统102不包含计算机系统100的情况下，增强现实系统102可以进一步包括附加非暂态存储器以及可以帮助渲染或生成全息图134、136、138、140、142的处理单元(所述处理单元可以包括一个或更多个硬件处理器)。增强现实系统102还可以包括用于记录一个或更多个图像的摄像机、用于生成/显示全息图134、136、138、140、142的可视化的一个或更多个图像生成部件和/或其他可视化和/或记录元件。
在进一步的示例中，应理解，增强现实系统102还可以包括多个位置传感器144。增强现实系统102的多个位置传感器144配置为确定增强现实系统102的各种位置信息，诸如三维(3D)空间中的近似位置、增强现实系统102的定向、角速度和加速度。特别是，应理解，这使全息图像能够在操作中准确地显示在执业者的视野中。
多个位置传感器144的非限制性示例包括加速度计、陀螺仪、电磁传感器和光学跟踪传感器。还应理解，本领域技术人员可以例如根据使用增强现实系统102的过程或情况的需要而使用不同类型和数量的增强现实系统102的多个位置传感器144。
如图1所示，例如，由增强现实系统102生成的全息图134、136、138、140、142可以包括第一全息图134、被跟踪仪器全息图136、第二全息图138、动画全息图140和轨迹全息图142。增强现实系统102生成的第一全息图134可以基于来自患者的第一全息图像数据集122。增强现实系统102生成的被跟踪仪器全息图136可以基于被跟踪仪器数据集132。增强现实系统102生成的第二全息图138可以基于第二全息图像数据集124。如本文进一步所述，动画全息图140可以基于计算机系统106为提供动画全息图数据集148对第二全息图像数据集124的处理。如本文进一步所述，轨迹全息图142可以基于可手动或自动选择并存储在计算机系统106的存储器128上的轨迹数据集146。
增强现实系统102除了渲染或生成各种全息图134、136、138、140、142之外，还可以进一步配置为向执业者显示多个操作信息或细节。例如，增强现实系统102可以将多个操作信息投影到现实世界对象(例如患者)上。例如，操作信息可以包括实时导航指令或所采用轨迹的引导。应理解，增强现实系统102可以根据需要将多个操作信息投影到各种现实世界对象(例如被跟踪仪器104)以及渲染的各种全息图134、136、138、140、142上。
期望的是，这种操作信息或细节的生成使执业者能够在同一视野内同时查看患者和多个操作信息。此外，操作信息或细节以及各种全息图134、136、138、140、142的生成使执业者能够规划、标定或预定向操作中的被跟踪仪器104。
如图1所示，计算机系统106与增强现实系统102和被跟踪仪器104通信。计算机系统106配置为通过执业者或其他医疗专业人员的完全手动干预或自动基于编码到存储器128中的机器可读指令130来存储和生成多个操作信息。例如，在增强现实系统102中，可以根据传感器确定的被跟踪仪器104的位置或定向，诸如通过算法、人工智能(AI)协议或其他执业者输入数据或阈值来生成多个操作信息。
此外，计算机系统106还配置为使执业者能够实时选择性地调整多个操作信息。例如，执业者可以能够调整轨迹全息图142的位置或定向。此外，执业者可以能够决定正在积极地向执业者展示多个操作数据中的哪一个操作数据。应理解，在本公开的范围内，执业者可以实时调整多个操作信息的其他设置和属性。
特别是，应理解，本公开的增强现实系统102有利地使执业者能够在查看患者和第一全息图134以及可选的仪器全息图136的同时，对患者进行结构性心脏修复或置换方法200。同样，有利地，使执业者能够在结构性心脏修复或置换手术中使用增强现实系统102进行被跟踪仪器104的可视化、引导和导航中的至少一个，如本文关于本公开方法200进一步描述的那样。
III.结构性心脏修复或置换方法
图3示出了根据本公开的一个实施例的方法200的示例流程图。方法200可包括第一步骤202，即提供如本文所述的全息增强现实可视化和引导系统100。
在第二步骤204中，方法200可以包括通过第一图像获取系统108从患者处获取第一全息图像数据集122。方法200可以包括第三步骤206，即通过计算机系统106使用多个传感器115、117、119、121跟踪被跟踪仪器104以提供被跟踪仪器数据集132。
然后，方法200可以包括第四步骤208，即通过计算机系统106登记第一全息图像数据集122、被跟踪仪器数据集132以及患者。
在第五步骤210中，方法200可以包括通过增强现实系统102基于来自患者的第一全息图像数据集122渲染第一全息图134以供执业者查看。可选地，也可以在第五步骤210中基于被跟踪仪器数据集132渲染被跟踪仪器全息图136以供执业者查看。在显示了仪器全息图134的情况下，应理解，执业者可以应用所述全息图的可视化来帮助定位现实世界的被跟踪仪器104。
然后，方法200可以包括在第六步骤212，即由执业者在使用增强现实系统102查看患者和第一全息图134以及可选的仪器全息图136的同时对患者进行结构性心脏修复或置换手术。在第六步骤212中，执业者在结构性心脏修复或置换手术中使用增强现实系统102对被跟踪仪器104进行可视化、引导和导航中的至少一个。
应理解，在结构性心脏修复或置换手术中对被跟踪仪器104的可视化、引导和导航中的至少一个还可以有利地涉及解释患者在手术中的术内移动的进一步步骤。
在一个示例中，如图4所示，方法200还可以包括第七步骤214，即通过第二图像获取系统110从患者处获取第二全息图像数据集124。具体而言，第二全息图像数据集124可以是术中的，并可在结构性心脏修复或置换手术中实时获取。在获取第二全息图像数据集124后，该方法还可以包括第八步骤216，即通过计算机系统106登记第二全息图像数据集124以及患者。在登记第二全息图像数据集124之后，该方法可以包括第九步骤218，即通过增强现实系统102基于来自患者的第二全息图像数据集124渲染第二全息图138。
然后，方法200可以进一步包括第十步骤220，即通过计算机系统106例如根据存储在计算机系统106的存储器128中的机器可读指令130自动或手动选择第一全息图134和第二全息图138中的至少一个的预定部分(未示出)以制成动画。作为非限制性示例，计算机系统106还可以自动或手动合并、拼接或以其他方式数字组合第一全息图134和第二全息图138以提供融合或组合全息图，以便执业者可以利用计算机系统106选择组合全息图的预定部分用于制成动画。在某些实施例中，预定部分与患者的心脏和胸部中的一个相关联。在预定部分与患者心脏相关联的情况下，由计算机系统106生成的动画全息图140可以描绘心脏的跳动节奏运动。在预定部分与患者胸部相关联的情况下，由计算机系统106生成的动画全息图140可以描绘胸部的呼吸循环运动。
在特定示例中，动画可以基于经由第二图像获取系统110对心脏的实时成像(例如超声ECG)，以允许动画全息图140与患者的心脏实时有节奏地跳动。在另一个示例中，动画可以基于例如来自测量相对于心动循环开始(心房收缩期)和结束(心房舒张期)的呼吸循环的门控CT扫描的心脏门控全息表示。这可以允许更透彻地了解患者心脏的整个运动范围。
进一步参考图4，方法还可以包括第十一步骤222，即通过计算机系统106基于实时获取的第二全息图像数据集124生成关于第一全息图134和第二全息图138中的至少一个的预定部分的动画全息图数据集148。在生成动画全息图数据集148之后，方法200还可以包括第十二步骤224，即通过增强现实系统102根据动画全息图数据集渲染动画全息图140，以供执业者在结构性心脏修复或置换手术中查看。
有利的是，通过使执业者能够查看附加于或替代第一全息图134和第二全息图138的静止或其他静态形式的动画全息图140，与没有系统100的传统手术相比，执业者可以更有信心将被跟踪仪器104插入患者和/或部署相关植入物。
应理解，在结构性心脏修复或置换手术中进行被跟踪仪器104的可视化、引导、和导航中的至少一个可以有利地涉及进一步的步骤，这些步骤允许在手术之前和/或期间预定或规划和优化被跟踪仪器的经皮进入点和轨迹。
在另一个示例中，如图5所示，方法200还可以包括第十三步骤226，即使用计算机系统106规划被跟踪仪器104插入患者的预定轨迹，以提供预定轨迹数据集146。规划完成后，方法200还可以包括第十四步骤228，即通过增强现实系统102基于预定轨迹数据集146渲染轨迹全息图142。
本公开的轨迹全息图142可以例如包括示出被跟踪仪器104的预定轨迹的全息光线。全息光线可以是线性的或曲线的，或者可以有一个或更多个角度，并且可以描绘被跟踪仪器104的最佳路径。轨迹全息图142还可用于清楚地识别被跟踪仪器104在患者身上的经皮进入点和在患者体内的血管内着陆点，例如用于部署植入物的具有患者心脏结构的首选着陆区。
应理解，由增强现实系统102生成的轨迹全息图142的整体大小、形状和定向可以基于来自计算机系统106的包括术前数据和术中数据的操作信息。还应理解，操作信息可以包括来自操作场所中的其他传感器的附加数据、以及由增强现实系统102生成的其他全息投影134、136、138、140。
术前数据可以包括在医疗手术之前例如使用第一全息图像获取系统108获得的与患者相关的信息。术前数据的非限制性示例包括来自经食管超声心动图、经腹超声心动图、经胸超声心动图、计算机断层成像(CT)扫描、磁共振成像(MRI)或X射线的静态图像或记录。应理解，根据需要，术前数据可包括来自其他诊断医疗手术的信息。
术中数据可以包括在医疗手术中例如使用第二全息图像获取系统110实时获得的与患者相关的信息。例如，上文列出的诊断医疗手术可以与当前医疗手术同时进行。
在进一步的实施例中，多个操作信息包括融合的术前和术中数据。融合的术前和术中数据以这种方式合并了术前和术中数据，以向执业者呈现更简洁和近似的图像和动画。在某些情况下，融合是手动完成的。在其他情况下，融合是通过计算机系统106例如使用机器可读指令130中阐述的多个算法中的至少一个或经由人工智能(AI)完成的。
如上文所述，在某些实施例中，全息光线可以锚定在被跟踪仪器104的预选参考点上。在进一步的示例中，执业者还可以通过计算机系统106实时调整预期轨迹，例如，以解决手术中可能出现的任何不可预见的并发症。
据信，轨迹全息图142以及其他全息投影可将与经心尖入路手术相关的并发症风险降至最低。例如，心脏、动脉或静脉切口的整体大小可以最小化，这是因为执业者能够通过轨迹全息图142(例如全息光线)更精确地掌握被跟踪仪器104的预期轨迹。
此外，据信，轨迹全息图142使执业者能够更容易地找到瓣膜植入或瓣膜旁漏(paravalvular leak，PVL)闭合的最佳入路角度。此外，使执业者更容易找到最佳入路角度有助于执业者避开诸如肺组织、冠状动脉和左前降支的关键结构。
例如，实时术中扫描的全息显示可以与术前扫描的全息显示重叠。此外，融合的术前和术中数据还可以包括CT扫描图像和术中荧光成像的全息融合，从而对与心动循环相关联的心脏运动进行建模。此外，融合的术前和术中数据还可以包括用于向执业者警告患者体内不应接触被跟踪仪器104的敏感区域的覆盖层。应理解，在本公开的范围内，本领域技术人员可以使用融合的术前和术中数据的不同应用。
在另一个实施例中，全息增强现实可视化和引导系统100的计算机系统106可以配置为在被跟踪仪器104部署植入物后预测植入物(例如瓣膜)的形状。例如，植入物的预测形状也可以以增强现实系统102进一步生成的全息图的形式可视化。
在又一个实施例中，全息增强现实可视化和引导系统100的计算机系统106可配置为促进与被跟踪仪器104的同轴部署，即，使瓣膜在血管内结构内居中。增强现实系统102可用于生成“误差条”或着色(例如，“绿色”表示可接受，“红色”表示不可接受)，以指导执业者在手术期间进行同轴部署。
在另外的附加实施例中，全息增强现实可视化和引导系统100的计算机系统106可用于预测预期由植入物的部署位置引起的血管内或心脏结构随时间的重塑。特别是，计算机系统106可以预计或预测心脏将如何随着时间推移以特定放置方式移除，从而允许以使随着时间推移可能发生的重塑最小化的方式规划放置。
在另外的其他实施例中，全息增强现实可视化和引导系统100的计算机系统106可用于帮助在完成手术之前进行假体或植入物的大小选择。使用全息增强现实可视化和引导系统100来选择适当的大小可以使患者假体不匹配(patient-prosthesis mismatch，PPM)的机会降至最低，否则，当植入的假体瓣膜对于患者来说太小或太大时会发生PPM。
有利的是，用于结构性心脏修复或置换的全息增强现实可视化和引导系统100和方法200使执业者能够通过增强现实系统102在同一视野内同时查看操作数据和患者。此外，全息光线使执业者能够容易确定被跟踪仪器104的预期轨迹。
还应理解，方法200可以使执业者能够自定义在增强现实系统102中显示多少关键操作信息。此外，执业者可以例如使用计算机系统106自定义操作信息的设置和属性。方法200进一步使执业者能够以任何期望角度进行仪器插入，而无需额外的一次性物理仪器导件。
应进一步理解，本公开的系统100和方法200特别适合于需要机械主动脉瓣和二尖瓣假体的患者、或再次需要心内膜消融手术的患者。
虽然为了说明本发明的目的已经示出某些代表性的实施例和细节，但对于本领域的技术人员来说显而易见的是，可以在不脱离本公开的范围的情况下进行各种改变，本公开的范围可以在以下所附权利要求中进一步描述。

Claims (20)

1.一种用于对患者进行结构性心脏修复或置换手术的方法，该方法包括以下步骤：
提供增强现实系统、被跟踪仪器、第一图像获取系统以及具有处理器和存储器的计算机系统，所述被跟踪仪器具有多个传感器，所述第一图像获取系统配置为从所述患者处获取第一全息图像数据集，并且所述计算机系统与所述增强现实系统、所述被跟踪仪器和所述第一图像获取系统通信；
通过所述第一图像获取系统从所述患者处获取所述第一全息图像数据集；
通过所述计算机系统使用所述多个传感器跟踪所述被跟踪仪器，以提供被跟踪仪器数据集；
通过所述计算机系统登记所述第一全息图像数据集、所述被跟踪仪器数据集以及患者；
通过所述增强现实系统基于来自所述患者的第一全息图像数据集渲染第一全息图以供执业者查看；以及
由所述执业者在使用所述增强现实系统查看所述患者和所述第一全息图的同时，对所述患者进行结构性心脏修复或置换手术，其中所述执业者在所述结构性心脏修复或置换手术期间使用所述增强现实系统进行所述被跟踪仪器的可视化、引导和导航中的至少一个。
2.根据权利要求1所述的方法，其中，所述第一图像获取系统是磁共振成像MRI设备和计算机断层成像CT设备中的一个。
3.根据权利要求2所述的方法，其中，来自所述患者的第一全息图像数据集是术前的。
4.根据权利要求1所述的方法，还包括提供第二图像获取系统的步骤，所述第二图像获取系统与所述计算机系统通信，并配置用于从所述患者处获取第二全息图像数据集。
5.根据权利要求4所述的方法，还包括以下步骤：
通过所述第二图像获取系统从所述患者处获取所述第二全息图像数据集，所述第二全息图像数据集是术中的并且在结构性心脏修复或置换手术期间实时获取；
通过所述计算机系统登记第二全息图像数据集以及患者；以及
通过增强现实系统，基于来自所述患者的第二全息图像数据集渲染第二全息图。
6.根据权利要求5所述的方法，其中，所述第二图像获取系统是超声心动图ECG成像设备。
7.根据权利要求6所述的方法，其中，所述第二全息图像数据集通过预定模式获取，所述预定模式包括经胸超声心动图TTE、经食管超声心动图TEE和心内超声心动图ICE中的一个。
8.根据权利要求5所述的方法，还包括以下步骤：
通过计算机系统并基于实时获取的第二全息图像数据集，生成关于所述第一全息图和所述第二全息图中的至少一个的预定部分的动画全息图数据集；以及
通过所述增强现实系统根据所述动画全息图数据集渲染动画全息图，以供执业者在结构性心脏修复或置换手术期间查看。
9.根据权利要求8所述的方法，还包括以下步骤：通过计算机系统选择所述第一全息图和所述第二全息图中的至少一个的预定部分以制成动画。
10.根据权利要求9所述的方法，其中，所述预定部分与所述患者的心脏和胸部中的一个相关联。
11.根据权利要求10所述的方法，其中，所述预定部分与患者的心脏相关联，并且动画全息图描绘了心脏的跳动节奏运动。
12.根据权利要求10所述的方法，其中，所述预定部分与患者的胸部相关联，并且所述动画全息图描绘了胸部的呼吸循环运动。
13.根据权利要求1所述的方法，其中，所述被跟踪仪器具有细长主体，所述细长主体具有尖部、顶部、底部和中部。
14.根据权利要求13所述的方法，其中，所述多个传感器包括布置在所述被跟踪仪器的尖部的尖部传感器。
15.根据权利要求14所述的方法，其中，所述多个传感器包括布置在顶部的顶部传感器、布置在底部的底部传感器和布置在中部的中部传感器。
16.根据权利要求14所述的方法，还包括以下步骤：
通过所述计算机系统规划所述被跟踪仪器插入所述患者的预定轨迹，以提供预定轨迹数据集；以及
通过所述增强现实系统基于所述预定轨迹数据集来渲染轨迹全息图。
17.根据权利要求16所述的方法，其中，轨迹全息图是示出所述被跟踪仪器的预定轨迹的全息光线。
18.根据权利要求1所述的方法，其中，所述被跟踪仪器是配置用于插入心脏植入物的导管。
19.根据权利要求18所述的方法，其中，所述心脏植入物是置换瓣膜。
20.一种用于对患者进行结构性心脏修复或置换手术的系统，包括：
增强现实系统；
具有多个传感器的被跟踪仪器；
第一图像获取系统，其配置为从所述患者处获取第一全息图像数据集；以及
具有处理器和存储器的计算机系统，该计算机系统与所述增强现实系统、所述被跟踪仪器和所述第一图像获取系统通信，并通过机器可读指令配置来：
使用所述多个传感器跟踪所述被跟踪仪器，以提供被跟踪仪器数据集；以及
登记第一全息图像数据集以及患者，
其中，所述增强现实系统配置为基于来自所述患者的第一全息图像数据集渲染第一全息图，以供执业者查看，以及
其中，所述执业者被允许在使用所述增强现实系统查看所述患者和所述第一全息图的同时对所述患者进行所述结构性心脏修复或置换手术，并在所述结构性心脏修复或置换手术期间使用所述增强现实系统进行被跟踪仪器的可视化、引导和导航中的至少一个。
CN202180012122.0A 2020-02-01 2021-02-01 用于部署结构性心脏修复或置换产品的实时融合式全息可视化和引导 Pending CN115052544A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062969035P 2020-02-01 2020-02-01
US62/969,035 2020-02-01
PCT/US2021/016032 WO2021155349A1 (en) 2020-02-01 2021-02-01 Real time fused holographic visualization and guidance for deployment of structural heart repair or replacement product

Publications (1)

Publication Number Publication Date
CN115052544A true CN115052544A (zh) 2022-09-13

Family

ID=77061452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180012122.0A Pending CN115052544A (zh) 2020-02-01 2021-02-01 用于部署结构性心脏修复或置换产品的实时融合式全息可视化和引导

Country Status (7)

Country Link
US (1) US20210236209A1 (zh)
EP (1) EP4096549A4 (zh)
JP (1) JP2023512203A (zh)
CN (1) CN115052544A (zh)
BR (1) BR112022014967A2 (zh)
CA (1) CA3165063A1 (zh)
WO (1) WO2021155349A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021195474A1 (en) * 2020-03-26 2021-09-30 Mediview Xr, Inc. Holographic treatment zone modeling and feedback loop for surgical procedures
WO2021231858A1 (en) 2020-05-15 2021-11-18 Mediview Xr, Inc. Dynamic registration of anatomy using augmented reality

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7343195B2 (en) * 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
DE102008015312A1 (de) * 2008-03-20 2009-10-01 Siemens Aktiengesellschaft Displaysystem zur Wiedergabe medizinischer Hologramme
US20140031668A1 (en) * 2010-09-08 2014-01-30 Disruptive Navigational Technologies, Llc Surgical and Medical Instrument Tracking Using a Depth-Sensing Device
US8532352B2 (en) * 2010-10-06 2013-09-10 Siemens Aktiengesellschaft Method and system for intraoperative guidance using physiological image fusion
IN2014CN03103A (zh) * 2011-10-20 2015-07-03 Koninkl Philips Nv
AU2012345588A1 (en) * 2011-12-01 2014-05-22 Neochord, Inc. Surgical navigation for repair of heart valve leaflets
US8834506B2 (en) * 2012-09-24 2014-09-16 Fawaz ALHUMAID Method for puncturing the pericardial membrane by synchronizing needle advancement with cardiac muscle motion
CN110946651A (zh) * 2013-08-13 2020-04-03 波士顿科学国际有限公司 解剖项的计算机可视化
US10098695B2 (en) * 2016-03-10 2018-10-16 Mayo Foundation For Medical Education And Research Pericardial modification devices and methods
CA3016346A1 (en) * 2016-03-21 2017-09-28 Washington University Virtual reality or augmented reality visualization of 3d medical images
EP3412242A1 (de) * 2017-06-09 2018-12-12 Siemens Healthcare GmbH Ausgabe von positionsinformationen eines medizintechnischen instruments
US20190060003A1 (en) * 2017-08-28 2019-02-28 Edwards Lifesciences Corporation Cardiac mapping and navigation for transcatheter procedures
US11801114B2 (en) * 2017-09-11 2023-10-31 Philipp K. Lang Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion
US11179200B2 (en) * 2017-12-15 2021-11-23 Medtronic, Inc. Augmented reality solution to disrupt, transform and enhance cardiovascular surgical and/or procedural mapping navigation and diagnostics
US10413363B2 (en) * 2017-12-15 2019-09-17 Medtronic, Inc. Augmented reality solution to optimize the directional approach and therapy delivery of interventional cardiology tools

Also Published As

Publication number Publication date
EP4096549A1 (en) 2022-12-07
CA3165063A1 (en) 2021-08-05
JP2023512203A (ja) 2023-03-24
EP4096549A4 (en) 2024-01-24
BR112022014967A2 (pt) 2022-09-20
WO2021155349A1 (en) 2021-08-05
US20210236209A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
US11754971B2 (en) Method and system for displaying holographic images within a real object
US10820948B2 (en) System and method for holographic image-guided percutaneous endovascular percutaneous procedures
US11642173B2 (en) Image-based navigation system and method of using same
US11080934B2 (en) Mixed reality system integrated with surgical navigation system
Ha et al. Augmented reality in medicine
JP2021505226A (ja) 処置中の視覚化を支援するためのシステム及び方法
JP2015502807A (ja) 心臓弁尖の修復用の外科用ナビゲーション
US20210298836A1 (en) Holographic treatment zone modeling and feedback loop for surgical procedures
US20210236209A1 (en) Real time fused holographic visualization and guidance for deployment of structural heart repair or replacement product
CN113302660A (zh) 对动态解剖结构进行可视化的方法
Luo et al. Intra-operative 2-D ultrasound and dynamic 3-D aortic model registration for magnetic navigation of transcatheter aortic valve implantation
US20220117674A1 (en) Automatic segmentation and registration system and method
Bruckheimer et al. Advanced imaging techniques to assist transcatheter congenital heart defects therapies
US20240225748A1 (en) Planning and performing three-dimensional holographic interventional procedures with holographic guide
US20230248441A1 (en) Extended-reality visualization of endovascular navigation
Jäckle Guidance of medical instruments based on tracking systems
CN117677358A (zh) 用于手术期间现场x射线荧光透视和c形臂计算机断层扫描成像的立体投影和交叉参考的增强现实系统和方法
Liu et al. Augmented Reality in Image-Guided Robotic Surgery
JP2023526014A (ja) 拡張現実を使用した解剖学的構造の動的位置合わせ
CN116894865A (zh) 结果数据集的提供
Moore et al. Overview of AR-Assisted Navigation: Applications in Anesthesia and Cardiac Therapy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination