CN117677358A - 用于手术期间现场x射线荧光透视和c形臂计算机断层扫描成像的立体投影和交叉参考的增强现实系统和方法 - Google Patents

用于手术期间现场x射线荧光透视和c形臂计算机断层扫描成像的立体投影和交叉参考的增强现实系统和方法 Download PDF

Info

Publication number
CN117677358A
CN117677358A CN202280050349.9A CN202280050349A CN117677358A CN 117677358 A CN117677358 A CN 117677358A CN 202280050349 A CN202280050349 A CN 202280050349A CN 117677358 A CN117677358 A CN 117677358A
Authority
CN
China
Prior art keywords
augmented reality
dimensional image
image
patient
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280050349.9A
Other languages
English (en)
Inventor
杰弗里·H·亚诺夫
彼得·尼古拉斯·布雷多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medical Vision Xr Co ltd
Original Assignee
Medical Vision Xr Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Medical Vision Xr Co ltd filed Critical Medical Vision Xr Co ltd
Publication of CN117677358A publication Critical patent/CN117677358A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种用于对患者进行手术的方法包括：采集患者身上感兴趣位置的三维图像和感兴趣位置的二维图像。计算机系统可以使三维图像与二维图像相关联以形成全息图像数据集。计算机系统可将全息图像数据集与患者配准。增强现实系统可基于来自患者的全息图像数据集渲染全息图。全息图可包括三维图像的投影和二维图像的投影。从业者可以利用增强现实系统观看全息图以及对患者进行手术。

Description

用于手术期间现场X射线荧光透视和C形臂计算机断层扫描成 像的立体投影和交叉参考的增强现实系统和方法
相关申请的交叉引用
本申请要求于2021年8月11日提交的申请号为63/231,866的美国临时申请的权益。以上申请的全部公开内容通过引用结合在本文中。
技术领域
本公开涉及增强现实系统，更具体地涉及外科手术期间使用的增强现实系统。
背景技术
本节中的陈述仅提供与本公开相关的背景信息，不构成现有技术。
一些方法，包括锥形束投影计算机断层扫描成像(cone-beam computedtomography imaging，CBCT)和具有C形臂系统投影的多探测器行计算机断层扫描，用于配准计算机断层扫描(computed tomography，CT)成像，但结果受到二维(two-dimensional，2D)监视器显示的限制。一种常见的配准方法是以两个投影角度(例如，相差90度的)重新投影CBCT数据集，并将得到的图像与荧光透视图像进行比较。然后确定转换以将CBCT数据与两个荧光透视投影对准，用于随后在二维监视器上可视化。
三维(Three-dimensional，3D)断层扫描数据也可以通过现场萤光透视在2D显示器上进行配准和融合。通过跟踪集成系统中的C形臂的运动来更新3D配准。该2D融合的局限性在于3D CT数据可能模糊现场荧光透视图像。为了防止这一点，对于现场萤光透视的3D数据，仅投影描绘目标组织或血管的线。
C形臂成像数据，(包括CBCT多平面重建(multiplanar reformation，MPR)和现场荧光透视，通常在手术期间在患者台旁或在成像系统控制室中的一个或更多个2D显示监视器上可视化。在其他示例中，CBCT图像体积可以在透视投影中被重新投影以形成模拟射线照片，该模拟射线照片然后可以被配准并与现场荧光透视成像融合。进一步的示例将现场荧光透视图像的配准与2D重新投影的图像体积进行比较，以在C形臂坐标中配准所述图像体积。
持续需要一种系统，该系统使用透视投影来增强从成像系统导出的一组虚拟对象，使得虚拟对象与相对于C形臂的几何形状和物理姿态的预期位置一致，从而在手术过程中提供物理C形臂系统与所得的x射线C形臂系统多模态成像结果之间的3D空间关系。
发明内容
与本公开一致，已经出人意料地发现了一种系统，该系统使用透视投影来增强从成像系统导出的一组虚拟对象，使得虚拟对象与相对于C形臂的几何形状和物理姿态的预期位置一致，从而在手术期间提供物理C形臂系统与所得X射线C形臂系统多模态成像结果之间的3D空间关系。
在一个实施例中，一种利用增强现实系统对患者进行手术的方法包括：由第一图像采集系统采集包括多个图像的图像数据集。图像数据集可形成患者身上感兴趣位置的三维图像。可以采集患者身上感兴趣位置的二维图像。计算机系统可将三维图像与二维图像相关联以形成全息图像数据集。计算机系统将全息图像数据集与患者配准。增强现实系统可基于来自患者的全息图像数据集渲染全息图以供从业者观看。全息图可包括三维图像的投影和二维图像的投影。从业者可以用增强现实系统观看全息图以及对患者进行手术。在手术过程中，从业者可以使用增强现实系统来将三维图像的投影上的点和二维图像的投影上的对应点可视化。
在另一实施例中，一种由从业者对患者进行手术的系统包括：增强现实系统，该增强现实系统被配置为渲染全息图。第一图像采集系统可以被配置为从患者采集图像数据集。图像数据集可形成患者身上感兴趣位置的三维图像。计算机系统可以具有处理器和存储器。计算机系统可以与增强现实系统和第一图像采集系统通信，并且计算机系统由机器可读指令配置为：将患者身上感兴趣位置的三维图像与患者身上感兴趣位置的二维图像相关联以形成全息图像数据集；以及将全息图像数据集与患者配准。增强现实系统被配置为：基于来自患者的全息图像数据集渲染全息图以供从业者观看，全息图包括三维图像的投影和二维图像的投影；以及，允许从业者在手术过程中将三维图像的投影上的点和二维图像的投影上的对应点可视化。
本技术在成像期间使用C形臂几何形状和姿态来投影和交叉参考全息(即，虚拟)表示。头戴式立体显示器(head-mounted stereoscopy display，HMD)(该头戴式立体显示器通过跟踪HMD的位置和取向利用头部移动和观看方向来更新和稳定全息投影集(图1B))使用C形臂系统的几何形状来投影和交叉参考全息图集(或子集)(例如，基于现场荧光透视、后处理的CBCT结果、跟踪仪器、和C形臂部件模型(例如，x射线管和探测器以及成像平截头体和等角点)。患者的皮肤上的基准标记也可以用CBCT来成像以校正相对于成像平截头体的总体患者运动。
本公开的系统可以相应地被配置为通过在介入手术过程中配准、(在C形臂系统的投影中)立体投影和交叉参考采集的实时(real-time)(现场(live))荧光透视投影成像和锥形束CT(CBCT)成像结果来改进C形臂(例如，介入放射学或血管造影)系统上的3D引导和导航的有效性、安全性和效率。现场荧光透视成像(该现场荧光透视成像是C形臂系统的几何形状中的2D透视投影)可以用于对动态运动(诸如介入器械、对比增强和呼吸器官运动等)成像。然而，从CBCT分割的结构可以提供介入领域中解剖结构的3D可视化。在C形臂系统的几何形状(例如，透视投影、源到探测器的距离、患者台姿态)中的立体投影和交叉参考CBCT和现场荧光透视可以提供3D成像和现场2D成像的协同优点。
在头戴式显示器(HMD)3D坐标系中全息地投影CBCT结果和现场荧光透视图像，以及提供交叉参考CBCT结果和现场荧光透视图像的方式，从而从系统患者台上的(台架旋转4秒)体积图像数据采集和(每秒多帧的)现场荧光透视的协同益处。增强现实头戴式显示器(HMD)能够实现相对于物理C形臂的3D内容的立体全息投影，这可以增强深度感知和空间理解。
本公开的系统和方法可以在C形臂系统的几何形状中实现使用增强现实(AR)头戴式显示器(HMD)的物理x射线C形臂荧光透视系统上的手术过程中的锥形束CT成像(CBCT)结果、现场荧光透视和虚拟(数字建模)C形臂部件的3D立体投影、配准以及交叉参考。三维CBCT和现场二维荧光透视成像可以根据C形臂投影几何形状(包括C形臂等角点、x射线源到探测器[SID]距离、视场、和跟踪C形臂姿态)在HMD世界坐标中被立体投影为全息图。
AR系统可以在HMD的3D坐标系中跟踪与旋转CBCT和现场荧光透视成像相关联的C形臂的姿态。使用C形臂的投影几何结构，CBCT、现场荧光透视(2D)全息图以及C形臂部件的全息表示可以相对于物理C形臂系统进行立体投影，并且在HMD世界坐标系中相互空间相关。或者，C形臂的初始姿态可位于具有光学图像目标的HMD世界坐标中，并且此后通过与C形臂和患者台运动控制信号(包括从医学数字成像和通信(Digital Imaging andCommunications in Medicine，DICOM)头文件导出的信息)的集成来跟踪。
如果在手术开始时AR系统不知道C形臂荧光透视的投影几何形状，则可以使用x射线可成像组合标记(光学图像目标和x射线基准标记)将CBCT空间配准到立体HMD的世界坐标系中，以相对于位于皮肤表面上的x射线基准标记来定位全息CBCT数据。此外，作为使用C形臂系统的几何形状的替代方案，可以手动定位现场荧光透视图像的全息投影相对于物理平板显示器的姿态。
可以由操作员交互地选择的位于MPR上或CBCT全息图的表面表示上的点，可以在现场荧光透视图像上具有相应(例如，交叉参考的)位置。全息线段可被投影在位于3D CBCT全息图上的所述对应点与位于现场荧光透视全息投影显示器上的点之间。
如果跟踪外科仪器与C形臂系统的集成和校准是使用所述组合标记进行的，则位于物理患者身上的物理点可以使用全息线段在CBCT和荧光透视的全息图上定位并交叉参考相应的点。
基于与荧光透视和CBCT数据相关的C形臂系统的几何结构模型，C形臂投影平截头体还可以被投影为头戴式显示器的世界坐标中的全息线段，用于描绘CBCT和现场荧光透视全息图的空间关系。
C形臂的成像和部件全息表示的姿态最初可以与物理C形臂对准。可替代地，为了增强全息投影集的可视化和手眼协调，操作员可以与全息图交互(例如，使用混合现实工具箱的远交互或近交互)以调整，包括成像平截头体和基于C形臂几何形状的建模(虚拟)组件的C形臂系统的全息表示的姿态，诸如相对于患者解剖结构的CBCT的全息表示并与患者解剖结构的CBCT的全息表示交叉参考，围绕C形臂的系统等角点的旋转，以便规划具有较少电离辐射负荷和皮肤剂量的物理C形臂的更新的姿态。
重构的CBCT数据可以全息投影在在HMD世界坐标中，作为MPR和分割表面的组合。CBCT图像中的结构分割可以在手术中使用数字CT阈值快速执行，以分割骨骼和对比度增强的结构。所得的分割结构可以以对象文件格式传输到HMD。MPR图像可以在与物理解剖平面(轴向、矢状和冠状面)对应的取向上投影。这三个平面是相互垂直的MPR全息图，这些MPR全息图在一点上相交，其中后者可以由操作者交互地调整以更新图像，交点可以被投影并交叉参考现场荧光透视流的全息投影。
在对C形臂系统根据在x射线管旋转过程中采集的一组X射线投影进行重构之后，作为一组图像集采集的计算机断层扫描数据可以在手术中传输至HMD(和/或AR服务器)。现场荧光透视图像流还可以(经由AR服务器)被无线地发送到HMD而没有明显的时间延迟。与CBCT和现场荧光透视图像相关联的C形臂投影模型也可以在CBCT重构之前被传输到AR服务器或从CBCT图像头读取。
一种跟踪介入器械(包括针和成像探针(例如，超声检查[超声]探针))的方法可以用于在HMD世界坐标中配准设备的虚拟表示，与基于C形臂的全息图集共同配准。跟踪方法可基于光学相机或电磁测量。被跟踪设备空间配准可基于定位HMD世界坐标相机和跟踪测量模态中的对应物理点的组合(组合(combo))标记。与C形臂部件一样，被跟踪仪器的全息表示可以与CBCT共同配准并且与现场荧光透视成像交叉参考来投影。跟踪CT和设备全息图的配准使得荧光透视能够间歇使用，促进了x射线辐射剂量负担的管理。
在C形臂系统的几何形状和姿态中，现场荧光透视投影和CBCT全息图的投影和交叉参考可以用于将物理患者通气或呼吸的呼吸阶段与采集CBCT期间发生的阶段匹配。这将增加与基于CBCT的全息图相关联的组织靶向准确度。
根据本文提供的描述，进一步的应用领域将变得显而易见。本概述中的描述和具体示例旨在仅用于说明的目的，并不旨在限制本公开的范围。
附图说明
在本文中描述的附图仅用于所选实施例的说明性目的，并不是所有可能的实现方式，并不旨在限制本公开的范围。
图1是描绘了用于利用增强现实系统对患者进行手术的系统的示意图；
图2是描绘了用于利用增强现实系统对患者进行手术的方法的流程图；
图3是图1的系统的一部分的顶部透视图，进一步描绘了通过增强现实系统观看到的全息图；
图4是如通过图3的增强现实系统观看到的全息图的放大的顶部透视图；
图5是描绘了用于利用增强现实系统对患者进行手术的方法的流程图。
具体实施方式
以下技术的描述在一个或更多个发明的主题、制造和用途的性质上仅是示例性的，并不旨在限制在本申请或在如可以提交要求本申请或从其公布的专利的优先权的此类其他申请中要求保护的任何具体发明的范围、应用、或用途。关于所公开的方法，所呈现的步骤的顺序在本质上是示例性的，因此，除非另外明确地说明，否则步骤的顺序在各个实施例中可以是不同的，包括可以同时执行某些步骤。如在本文中使用的，“一”和“一个”表示存在“至少一个”项；如果可能，可以存在多个这样的项。除非另外明确指出，否则本说明书中的所有数字量应理解为由词语“约”修饰，并且所有几何和空间描述符应理解为由词语“基本上”修饰，以描述技术的最广泛范围。当应用于数值时，“约”表示计算或测量允许值的一些轻微的不精确性(值的一些接近准确；近似地或合理地接近该值；差不多)。如果由于某种原因，“约”和/或“基本上”提供的不精确性在本领域中没有以该普通含义理解，那么如本文使用的“约”和/或“基本上”至少指示可能由测量或使用这种参数的普通方法引起的变化。
除非另外明确指出，否则在本详细描述中引用的所有文档(包括专利、专利申请、以及科学文献)均通过引用结合在本文中。在通过引用结合的文档与本详细描述之间可能存在任何冲突或模糊性的情况下，以本详细描述为准。
尽管作为非限制性术语(诸如包括、包含、或具有等)的同义词，开放式术语“包括(comprising)”在本文用于描述并要求保护本技术的实施例，但实施例可以可替代地使用更多限制性术语(诸如“由……组成”或“基本上由……组成”)来描述。因此，对于列举材料、部件或过程步骤的任何给定的实施例，本技术还具体地包括由这样的材料、部件或过程步骤组成或基本上由这样的材料、部件或过程步骤组成的实施例，这些材料、部件或过程步骤排除了(由……组成的)附加材料、部件或过程以及排除了影响实施例的显著特性的(基本上由……组成的)附加材料、部件或过程，即使在本申请中没有明确列举这样的附加材料、部件或过程。例如，列举元素A、B和C的组合物或过程的叙述具体设想由以下各项组成或基本上由以下各项组成的实施例：A、B和C，排除可以在本领域中列举的元素D，即使没有明确地将元素D描述为在本文中被排除。
如在本文所提及的，除非另外指明，否则公开的范围包括端点并且包括在整个范围内的所有不同的值和进一步划分的范围。因此，例如，“从A至B”或“从约A至约B”的范围包括A和B。具体参数(诸如总量、重量百分比等)的值和值范围的公开不排除本文中有用的其他值和值范围。可以设想，对于给定参数的两个或更多个具体示例值可以限定参数可以要求保护的值范围的端点。例如，如果参数X在本文中例示为具有值A且还例示为具有值Z，那么设想参数X可具有从约A到约Z的值的范围。类似地，设想公开用于参数的值的两个或更多个范围(无论这样的范围是嵌套的、重叠的还是不同的)包含可能使用所公开的范围的端点要求保护的值的范围的所有可能的组合。例如，如果参数X在本文被例示为具有在1-10、或2-9、或3-8范围内的值，还设想参数X可以具有其他值范围，包括1-9、1-8、1-3、1-2、2-10、2-8、2-3、3-10、3-9等。
当提及元件或层在另一元件或层“上”，元件或层“接合到”、“连接到”或“耦接到”另一元件或层时，该元件或层可以直接在另一元件或层上，该元件或层可以直接接合、连接或耦接到另一元件或层，或者可以存在中间元件或层。相反，当提及元件“直接在”另一元件或层“上”，元件“直接接合到”、“直接连接到”或“直接耦接到”另一元件或层时，可能不存在中间元件或层。用于描述元件之间的关系的其他词语(例如，“在…之间”与“直接在…之间”、“相邻”与“直接相邻”等)应当以类似的方式解释。如本文所使用的，术语“和/或”包括一个或更多个关联列出项的任何和所有组合。
尽管术语第一、第二、第三等可以在本文中用于描述各种元件、部件、区域、层和/或部分，但是这些元件、部件、区域、层和/或部分不应受这些术语限制。这些术语可仅用于将一个元件、部件、区域、层或部分与另一个区域、层或部分区分开。除非上下文清楚地指出，否则在本文中使用诸如“第一”、“第二”和其他数字术语等术语时并不暗示次序或顺序。因此，在不背离示例实施例的教导的情况下，下面所讨论的第一元件、第一部件、第一区域、第一层或第一部分可被称为第二元件、第二部件、第二区域、第二层或第二部分。
为了便于描述，在本文中可以使用诸如“内部”、“外部”、“下面”、“下方”、“下部”、“上方”、“上部”等空间相对术语来描述如图中所示的一个元件或特征与其他元件或特征的关系。空间相对术语可以旨在包括除图中所描绘的取向之外的使用或操作中的设备的不同取向。例如，如果图中的设备被翻转，则被描述为在其他元件或特征“下方”或“下面”的元件将被定向为在其他元件或特征“上方”。因此，示例术语“下方”可以包括上方和下方两个取向。该设备可以以其他方式定向(旋转90度或以其他取向定向)，相应地解释本文所使用的空间相对描述符。
如本文所使用的，术语“头戴式设备”或“耳机”或“HMD”是指一种显示设备，该显示设备被配置为被佩戴在头上、在一只或更多只眼睛的前面具有一个或更多个显示光学器件(包括镜片)。这些术语甚至可以更一般地由术语“增强现实系统”指代，尽管应当理解的是，术语“增强现实系统”不限于被配置为佩戴在头上的显示设备。在一些实例中，头戴式设备还可包括非暂时性存储器和处理单元。合适的头戴式设备的示例是微软全息眼镜(Microsoft)。
如本文所使用的，术语“成像系统”、“图像采集装置”、“图像采集系统”等是指创建患者的身体内部的视觉表示的技术。例如，成像系统可以是计算机断层扫描(CT)系统、荧光透视系统、磁共振成像(MRI)系统、超声(US)系统等。
如本文所使用的，术语“坐标系”或“增强现实系统坐标系”是指3D笛卡尔坐标系，该3D笛卡尔坐标系使用一个或更多个数字来确定特定增强现实系统或图像采集系统所特有的点或其他几何元素的位置。例如，耳机坐标系可以从标准3D笛卡尔坐标系旋转、缩放等。
如本文所使用的，术语“图像数据”或“图像数据集”或“成像数据”是指由成像系统以3D形式记录的与患者的身体内部的观察有关的信息。例如，“图像数据”或“图像数据集”可以包括经处理的二维或三维图像或模型(诸如断层扫描图像等)，例如，由根据医学数字成像和通信(Digital Imaging and Communications in Medicine，DICOM)标准或其他相关成像标准格式化的数据表示。
如本文所使用的，术语“成像坐标系”或“图像采集系统坐标系”是指3D笛卡尔坐标系，该3D笛卡尔坐标系使用一个或更多个数字来确定特定成像系统特有的点或其他几何元素的位置。例如，成像坐标系可以从标准3D笛卡尔坐标系旋转、缩放等。
如本文所使用的，术语“全息图”、“全息”、“全息投影”或“全息表示”是指投影到耳机镜头的计算机生成的图像。通常，(在增强现实(augmented reality，AR)中)可以合成生成全息图，并且与物理现实不相关。
如本文所使用的，术语“物理”是指真实的事物。物理事物不是全息的(或者不是计算机生成的)。
如本文所使用的，术语“二维”或“2D”是指以两个物理维度表示的事物。
如本文所使用的，术语“三维”或“3D”是指以三个物理维度表示的事物。“4D”的元素(例如，3D加上时间和/或运动维度)将被三维或3D的定义所涵盖。
如本文所使用的，术语“集成的”可以指链接或协调的两个事物。例如，线圈传感器可与介入设备集成。
如本文所使用的，术语“自由度”或“DOF”是指多个独立可变的因子。例如，跟踪系统可具有六个自由度(或6DOF)、3D点和3个旋转维度。
如本文所使用的，术语“实时”是指过程或事件发生的实际时间。换言之，实时事件是现场完成的(在毫秒内完成，使得结果立即可用作反馈)。例如，实时事件可在事件发生的100毫秒内表示。
如本文所使用的，术语“受试者”和“患者”可以互换地使用并且是指任何脊椎动物生物体。
如本文所使用的，术语“配准”是指将跟踪数据和身体图像数据转换到公共坐标系的步骤以及在手术期间创建相对于物理患者的身体的图像和信息的全息显示的步骤，例如，如在West等人的美国专利No.10,895,906以及申请人共同拥有的Black等人的申请号为17/110,991的美国专利申请和Martin III等人的申请号为17/117,841的美国专利申请中进一步描述的，以上全部公开内容特此通过引用结合在本文中。
如本文所使用的，术语“介入设备”或“被跟踪仪器”是指在医疗手术期间使用的医疗器械。
如本文所使用的，术语“C形臂系统”是指具有C形臂和成像平截头体的C形臂-荧光透视机器。示例C形臂系统可以是从通用电气(波士顿，马萨诸塞州)商购获得OEC EliteCFD。
本技术涉及利用增强现实系统对患者进行手术的方式。图1示出了用于由从业者对患者进行手术的全息增强现实系统100的实施例。系统100可以被配置为使用一个或更多个透视投影来增强从成像系统导出的一组虚拟对象，以允许从业者投影并交叉参考来自多个成像系统的图像。有利地，本公开的系统100可以通过配准、立体投影、和交叉参考在介入手术过程中采集的实时荧光透视投影成像和锥形束计算机断层扫描(CBCT)成像结果，来相应地改进手术过程中的三维引导和导航的有效性、安全性、和效率。
应当理解，本公开的系统100可以用于多种不同手术中。作为非限制性示例，手术可以包括神经学手术、心脏手术、肿瘤学手术、矫形手术、胃肠病学手术、正畸手术以及牙科手术。技术人员可根据需要将本公开的系统100运用到如本文所述的任何可应用的手术中。
继续参考图1，系统100可以包括增强现实系统102、C形臂系统104、计算机系统106以及第一图像采集系统108。在某些示例中，全息增强现实可视化和引导系统100还可包括第二图像采集系统110。应当理解，第一图像采集系统108和第二图像采集系统100可以集成在C形臂系统104内。
增强现实系统102、C形臂系统104、第一图像采集系统108和第二图像采集系统110中的每一个都可以，例如经由计算机网络112，选择性地或永久地与计算机系统106通信。根据需要，技术人员也可以采用其他适合与全息增强现实可视化和引导系统100一起使用的仪器、工具、装备、子系统等，以及包括全息增强现实可视化和引导系统100的部件之间的有线和无线通信装置的其他网络装置。
第一图像采集系统108被配置为从患者采集感兴趣区域的图像数据集。具体地，在某些实施例中，第一图像采集系统108可以被配置为以术前方式从患者采集图像数据集。第一图像采集系统108可以是锥形束计算机断层扫描成像系统(cone-beam computedtomography，CBCT)或多探测器行计算机断层扫描(CT)系统中的一个。第一图像采集系统108还可以包括负重CT系统或牙科CBCT系统。图像数据集可用于形成患者体内感兴趣位置的三维图像114。三维图像可包括锥形束计算机断层扫描的多平面重建。根据需要，还可以采用用于第一图像采集系统108的其他合适类型的仪器。
同样地，第二图像采集系统110可以被配置为从患者身上的感兴趣位置采集二维图像116。具体地，第二图像采集系统110可以被配置为以术中方式，最具体地在进行手术时实时地从患者采集二维图像。第二图像采集系统100可以包括各种荧光透视设备。技术人员可以根据需要选择合适的第二图像采集系统100。
虽然本文示出并描述了第一图像采集系统108和第二图像采集系统110两者的用途，但第一图像采集系统108和第二图像采集系统110中仅一个或另一个被采用的实施例或二维图像是图像数据集114的图像之一的实施例被认为在本公开的范围内。
继续参考图1，本公开的计算机系统106具有至少一个处理器118和至少一个存储器120，存储器120上存储有有形的、非暂时性的、机器可读指令122。
一个或更多个处理器118可执行与全息增强现实可视化和引导系统100的操作关联的功能。一个或更多个处理器118可以是任何类型的通用或专用处理器。在一些情况下，可根据其他实施例利用多个处理器118。事实上，作为非限制性示例，一个或更多个处理器118可以包括通用计算机、专用计算机、微处理器、数字信号处理器(digital signalprocessor，DSP)、现场可编程门阵列(field-programmable gate array，FPGA)、专用集成电路(application-specific integrated circuit，ASIC)和基于多核处理器架构的处理器中的一个或更多个。
存储器120可以是一个或更多个存储器，并且是适合于本地应用环境的任何类型，并且可以使用任何适合的易失性或非易失性数据存储技术(诸如基于半导体的存储设备、磁性存储设备和系统、光学存储设备和系统、固定存储器以及可移动存储器等)来实现。例如，存储器120可包括随机存取存储器(random access memory，RAM)、只读存储器(readonly memory，ROM)、诸如磁盘或光盘等静态存储装置、硬盘驱动器(hard disk drive，HDD)或任何其他类型的非暂时性机器或计算机可读介质的任何组合。存储在存储器120中的指令可包括程序指令或计算机程序代码，当由一个或更多个处理器118执行程序指令或计算机程序代码时，使全息增强现实可视化和引导系统100能够执行如本文所述的任务。
机器可读指令122可以包括模块。模块可以实现为功能逻辑、硬件逻辑、电子电路、软件模块等中的一个或更多个。根据需要，模块可包括增强现实系统模块、图像采集模块、仪器跟踪模块、图像数据集配准模块、全息图渲染模块、图像配准模块、轨迹全息图渲染模块和/或其他合适的模块中的一个或更多个。
计算机系统106例如经由网络112与增强现实系统102、C形臂系统104以及第一图像采集系统108和第二图像采集系统110通信，并且由机器可读指令122配置为根据如本文进一步描述的方法200进行操作。根据需要，计算机系统106可以分开设置并与增强现实系统102间隔开，或者可以与增强现实系统102一起提供为单个一体单元。
应当理解，作为非限制性示例，全息增强现实可视化和引导系统100的网络112可以包括无线接入网络(诸如LTE或5G等)、局域网(local area network，LAN)、广域网(widearea network，WAN)(诸如互联网)或无线LAN(wireless LAN，WLAN)。应当理解，这并非旨在限制，并且本公开的范围包括其中全息增强现实可视化和引导系统100的一个或更多个计算平台可经由一些其他通信耦接来可操作地链接的实现方式。一个或更多个计算平台可以被配置为经由无线或有线连接与网络环境通信。此外，在实施例中，一个或更多个计算平台可被配置为经由无线或有线连接彼此直接通信。一个或更多个计算平台的示例可以包括但不限于：智能电话、可穿戴设备、平板计算机、膝上型计算机、台式计算机、物联网(InternetofThings，IoT)设备或其他移动或固定设备(诸如独立服务器、网络服务器或服务器阵列等)。
计算机系统106可以被配置为将图像数据集的三维图像114与二维图像116相关联，以形成三维全息图像数据集124。如本文更详细地讨论的，计算机系统106可以被进一步配置为将全息图像数据集124与患者配准在C形臂系统的几何形状内。计算机系统106可以根据C形臂的几何形状(例如，透视投影、源到探测器的距离、患者台姿态)将图像数据集的三维图像114与二维图像116相关联。有利地，计算机系统106可以允许CBCT和现场荧光透视在C形臂系统的几何形状(例如，透视投影、源到探测器的距离、患者台姿态)中的立体投影和交叉参考，这可以提供三维和现场二维成像的协同优势。
继续参考图1，增强现实系统102被配置为基于来自患者的全息图像数据集来渲染全息图126以供从业者观看。全息图126可包括三维图像的投影128和二维图像的投影130。应当理解，三维图像的投影128和二维图像的投影130可以共同投影在全息图126中。具体地，增强现实系统102可以是混合现实(mixed reality，MR)显示器，诸如MR智能眼镜或MR头戴式显示器。增强现实系统102的非限制性示例包括Magic Leap或Microsoft应当理解，其他类型的MR显示器可以用于增强现实系统102，只要它们能够将计算机生成的图像叠加在真实世界对象上。此外，尽管增强现实系统102在本文中主要被描述为头戴式显示器，但应当理解，也可根据需要采用不是头戴式的但能够在真实世界视图上生成和叠加全息图的其他类型的显示器。
应当理解，在增强现实系统102不包含计算机系统106的情况下，增强现实系统102可进一步包括附加的非暂时性存储器和可帮助渲染或生成全息图126的处理单元(该处理单元可包括一个或更多个硬件处理器)。增强现实系统102还可包括记录一个或更多个图像的相机、生成/显示全息图的可视化的一个或更多个图像生成部件和/或其他可视化和/或记录元件。
在进一步的示例中，应当理解，增强现实系统102还可以包括多个位置传感器132。增强现实系统102的多个位置传感器132被配置为确定增强现实系统102的各个位置信息，诸如增强现实系统102的三维(3D)空间中的近似位置、取向、角速度和加速度等。特别地，应当理解，这允许在操作中在执业医师从业者的视野上准确地显示全息图像。
多个位置传感器128的非限制性示例可以包括加速度计、陀螺仪、电磁传感器和光学跟踪传感器。还应当理解，技术人员可以，例如根据使用增强现实系统102的手术或情形的需要，采用不同类型和数量的增强现实系统102的多个位置传感器128。
如图3所示，例如，由增强现实系统102生成的全息图126可包括三维图像的投影128和二维图像的投影130。由增强现实系统102生成的三维图像的投影128可基于来自患者的图像数据集。由增强现实系统102生成的二维图像的投影130可基于来自患者的二维图像116。由于投影可以通过计算机系统立体链接，因此，系统100可以允许从业者在手术过程中将三维图像的投影128上的点134和二维图像的投影130上的对应点136可视化。在某些实施例中，增强现实系统102可在三维图像的投影128上的点134和二维图像的投影130上的对应点136之间投影线段138。
线段138可以多种方式示出，诸如在面心、质心、最近点等之间。其他统计方法，如主成分分析(principal component analyses，PCA)，可以补充两个数据集需要对准的六个自由度的指定。还可以采用机器学习来识别和自动化类似解剖标志的对准。此外，来自类似解剖的数据库的统计形状建模可以告知从业者解剖和形态学特征的群体百分位数，以告知轨迹和治疗滴度。自动或手动对准可用分段138的颜色或尺寸梯度来表示。
增强现实系统102可以进一步被配置为除了渲染或生成全息图126之外还向从业者示出多个操作信息或细节。例如，增强现实系统102可将多个操作信息投影在真实世界对象(诸如患者等)上。例如，操作信息可以包括针对待采用的轨迹的实时导航指令或引导。
理想地，操作信息或细节的这种生成允许从业者在同一视野中同时观看患者和多个操作信息。而且，操作信息或细节与全息图126的一起生成允许从业者在操作中对任何跟踪仪器进行规划、确定尺寸或预定向。在某些实施例中，增强现实系统102可跟踪C形臂系统并同样投影C形臂部件的全息表示。
本公开的系统100可以用于集成被跟踪外科仪器。被跟踪仪器可以通过第一图像采集系统108进行集成和校准。如果被跟踪外科仪器与C形臂系统104集成并校准，则被跟踪仪器的移动可以在全息图126中示出。应当理解，在West等人的美国专利No.10,895,906以及Black等人的申请人共同拥有的美国专利申请No.17/163,975中示例性地描述了被跟踪仪器的使用和可操作性，以上全部内容通过引用并入本文。
如图1所示，计算机系统106可以与增强现实系统102和C形臂系统通信。计算机系统106可以被配置为由从业者或其他医疗专业人员完全手动干预存储和生成多个操作信息，或基于编码在到存储器120上的机器可读指令122自动地存储和生成多个操作信息。例如，多个操作信息可以根据跟踪仪器104的传感器确定的位置或取向诸如通过算法、人工智能(artificial intelligence，AI)协议或其他从业者输入的数据或阈值等，在增强现实系统102中生成。
此外，计算机系统106可以进一步被配置为允许从业者实时地选择性地调整该多个操作信息。例如，从业者能够调整轨迹全息图128的位置或取向。此外，从业者能够决定多个操作数据中的哪一个正被主动地向从业者示出。应当理解，在本公开的范围内，多个操作信息的其他设置和属性可由从业者实时调整。
特别地，应当理解，本公开的增强现实系统102有利地允许从业者执行方法200，方法200用于在利用增强现实系统102观看患者和全息图126的同时对患者进行手术。
参考图2，示出了根据本公开的一个实施例的利用增强现实系统102对患者进行手术的方法200。方法200可以包括步骤202：由第一图像采集系统108采集包括多个图像的图像数据集。图像数据集形成患者身上感兴趣位置的三维图像114。具体地，图像数据集可以经由锥形束计算机断层扫描成像来采集。第一图像采集系统108可围绕患者移动以提供三维图像114。
方法200可以包括步骤204：采集患者身上感兴趣位置的二维图像116。二维图像116可以在手术中被采集并且可以是荧光透视图像。可以经由第二图像采集系统110采集二维图像116。应当理解，在整个手术中可以根据需要重复采集二维图像116。有利地，这允许从业者在整个手术过程中始终具有患者的“现场(live)”图像。
方法200可以包括步骤206：由计算机系统106将三维图像114与二维图像116相关联以形成全息图像数据集。计算机系统106可以在患者、三维图像114和二维图像116之间建立输入几何形状。输入几何形状可以是相对于C形臂系统104的几何形状。在其他实施例中，输入几何形状可以是相对于多自由度机械臂。
方法200可以包括步骤208：由增强现实系统102投影患者的全息图像数据集。步骤208可以包括全息图像数据集的配准。全息图像数据集的配准可以由计算机系统根据任何合适的方法(包括非接触方法和非光学方法)执行。作为非限制性示例，用于配准的附加方法可包括经由传感器或具有IR、光学和深度传感器的一个或更多个相机的对象识别、照相游戏测量(photogammetry)和视频游戏测量(videogammetry)。配准还可包括患者相对于C形臂系统104的总体运动的校正。例如，还可以用CBCT对患者的皮肤上的基准标记进行成像以校正患者相对于成像平截头体(frustum)的总体运动。相机还可以利用非接触传感器来调整呼吸、心率、血压和心律。例如，可以通过具有非接触式传感器的人工智能跟踪呼吸。
方法200可以包括步骤210：由增强现实系统102基于来自患者的全息图像数据集渲染全息图126以供从业者观看。方法200可包括步骤212：由增强现实系统102基于C形臂系统104的几何形状在增强现实系统102的坐标内投影全息图126。如图3-图4所示，全息图126可包括三维图像114的投影128和二维图像116的投影130。
方法200可以包括步骤214：由从业者利用增强现实系统102观看全息图126，以及步骤216：由从业者对患者进行手术。在某些实施例中，由从业者利用增强现实系统102观看全息图126和由从业者对患者进行手术可以同时执行。在其他实施例中，这些步骤可以单独地执行。
当从业者使用增强现实系统102时，从业者可以在手术过程中将三维图像114的投影128上的点134和二维图像116的投影130上的对应点136可视化。方法200可包括步骤218：由增强现实系统102渲染并投影三维图像114的投影128上的点134与二维图像116的投影130上的对应点136之间的线段138。
方法200可以包括步骤220：由从业者操纵全息图126的取向，并且线段同样相对于全息图128被重定向。为了增强全息图126的可视化和手眼协调，操作者可以(例如，使用混合现实工具箱的远交互或近交互)与全息图126交互以基于C形臂几何形状调整包括成像平截头体和建模(虚拟)部件的全息图126的姿态，诸如相对于患者解剖结构的CBCT的全息表示并与患者解剖结构的CBCT的全息表示交叉参考地围绕C形臂的系统等角点的旋转，以便规划具有较小电离辐射负荷和皮肤剂量的物理C形臂104的更新的姿态。
参考图5，示出了根据本公开的一个实施例的利用增强现实系统102对患者执行进行手术的方法300。方法300可以包括：步骤302，在静态3D重构图像体积与来自成像器的现场2D透视图像(荧光透视)之间建立输入透视几何形状(成像平截头体)；步骤304，由操作者观看由描绘的平截头体相关的3D图像体积和现场2D现场透视图像(荧光透视)的定位的共投影全息图；步骤306，操作者使用全息交互(手跟踪和语音命令)在3D图像或现场2D(荧光透视)全息图上定位点；步骤308，用户在HMD世界坐标中定位3D点；步骤310，使用现场成像透视几何形状和平截头体定位对应的3D点；步骤312，计算交叉参考3D点在静态3D图像体积上的3D点和3D点在现场2D透视图像(荧光透视)上的线；以及步骤314，操作员定位与静态3D图像体积和现场2D现场透视图像相关的交叉参考线的共投影。应当理解，可以在笛卡尔坐标中提供现场超声图像，这可以允许从业者交叉参考二维现场透视图像。特别地，从业者可以进一步采用增强现实系统102来可视化现场超声，与三维全息图像和/或被跟踪仪器配准(如果三维全息图像和/或被跟踪仪器中的任一者或两者也被使用)，并且将它们中的每一个与实时荧光透视交叉参考。
提供了示例实施例，使得本公开将是全面的并且将范围充分地传达给本领域技术人员。阐述了许多具体细节，诸如具体部件、设备和方法的示例，以提供对本公开的实施例的全面理解。对于本领域技术人员来说显而易见的是，不需要采用特定细节，示例实施例可以以许多不同的形式体现，这不应被解释为限制本公开的范围。在一些示例实施例中，不详细描述众所周知的过程、众所周知的设备结构和众所周知的技术。可以在本技术的范围内进行一些实施方式、材料、组合物和方法的等效改变、修改和变化，具有基本上相似的结果。

Claims (20)

1.一种利用增强现实系统对患者进行手术的方法，所述方法包括：
由第一图像采集系统采集包括多个图像的图像数据集，所述图像数据集形成所述患者身上感兴趣位置的三维图像；
采集所述患者身上感兴趣位置的二维图像；
由计算机系统将所述三维图像与所述二维图像相关联以形成三维全息图像数据集；
由所述增强现实系统将所述全息图像数据集与所述患者投影；
由所述增强现实系统基于来自所述患者的所述全息图像数据集渲染全息图以供从业者进行三维立体观看，所述全息图包括所述三维图像的投影和所述二维图像的投影；
由所述从业者利用所述增强现实系统观看所述全息图；以及
由所述从业者对所述患者进行所述手术；
其中，在所述手术过程中，所述从业者使用所述增强现实系统以可视化和交叉参考所述三维图像的投影上的选定点和所述二维图像的投影上的对应点。
2.根据权利要求1所述的方法，其中，所述第一图像采集系统围绕所述患者移动以采集所述图像数据集。
3.根据权利要求1所述的方法，其中，所述二维图像是在手术中获得的。
4.根据权利要求1所述的方法，其中，所述第一图像采集系统是锥形束计算机断层扫描成像系统和多排探测器计算机断层扫描中的一个。
5.根据权利要求1所述的方法，其中，所述三维图像包括锥形束计算机断层扫描的多平面重建。
6.根据权利要求1所述的方法，其中，经由第二图像采集系统采集所述二维图像。
7.根据权利要求1所述的方法，其中，所述增强现实系统包括所述从业者能够佩戴来观看所述全息图的头戴式显示器。
8.根据权利要求7所述的方法，其中，所述计算机系统被集成到所述从业者能够佩戴的所述头戴式显示器中。
9.根据权利要求1所述的方法，其中，所述增强现实系统包括被跟踪仪器，所述被跟踪仪器具有多个传感器，所述计算机系统与所述增强现实系统和所述被跟踪仪器通信。
10.根据权利要求9所述的方法，还包括由所述计算机系统使用所述多个传感器来跟踪所述被跟踪仪器以提供被跟踪仪器数据集。
11.根据权利要求1所述的方法，其中，所述二维图像是来自C形臂系统的实时荧光透视。
12.根据权利要求11所述的方法，其中，所述从业者进一步使用所述增强现实系统可视化与所述全息图配准的现场超声，并与所述实时荧光透视交叉参考。
13.根据权利要求1所述的方法，其中，由所述从业者利用所述增强现实系统观看所述全息图，以及由所述从业者对所述患者进行所述手术是同时执行的。
14.根据权利要求1所述的方法，其中，所述第一图像采集系统包括C形臂系统。
15.根据权利要求14所述的方法，还包括由所述增强现实系统基于所述C形臂系统的几何形状将所述全息图投影在所述增强现实系统的坐标内。
16.根据权利要求1所述的方法，还包括由所述增强现实系统渲染所述三维图像的投影上的点与所述二维图像的投影上的对应点之间的线段。
17.根据权利要求15所述的方法，还包括由所述从业者操纵所述全息图的取向，其中，所述线段同样被重定向以保持相对于所述全息图的配准。
18.根据权利要求1所述的方法，还包括由所述从业者操纵所述三维图像的投影和所述二维图像的投影的位置、取向或比例，同时保持所述三维图像与所述二维图像的投影之间的透视投影和交叉参考关系。
19.一种由从业者对患者进行手术的系统，包括：
增强现实系统，所述增强现实系统被配置为渲染全息图；
第一图像采集系统，所述第一图像采集系统被配置为从所述患者采集图像数据集，所述图像数据集形成所述患者身上感兴趣位置的三维图像；以及
具有处理器和存储器的计算机系统，所述计算机系统与所述增强现实系统和所述第一图像采集系统通信，并且所述计算机系统由机器可读指令配置为：
将所述患者身上感兴趣位置的三维图像与所述患者身上感兴趣位置的二维图像相关联以形成全息图像数据集；以及
将所述全息图像数据集与所述患者配准，
其中，所述增强现实系统被配置为：
基于来自所述患者的所述全息图像数据集渲染所述全息图以供从业者观看，所述全息图包括所述三维图像的投影和所述二维图像的投影，以及
在所述手术过程中，允许所述从业者将所述三维图像的投影上的点和所述二维图像的投影上的对应点可视化。
20.根据权利要求19所述的系统，其中，所述第一图像采集系统包括C形臂系统。
CN202280050349.9A 2021-08-11 2022-08-11 用于手术期间现场x射线荧光透视和c形臂计算机断层扫描成像的立体投影和交叉参考的增强现实系统和方法 Pending CN117677358A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163231866P 2021-08-11 2021-08-11
US63/231,866 2021-08-11
PCT/US2022/040057 WO2023018871A1 (en) 2021-08-11 2022-08-11 Augmented reality system and methods for stereoscopic projection and cross-referencing of live x-ray fluoroscopic and computed tomographic c-arm imaging during surgery

Publications (1)

Publication Number Publication Date
CN117677358A true CN117677358A (zh) 2024-03-08

Family

ID=85177656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280050349.9A Pending CN117677358A (zh) 2021-08-11 2022-08-11 用于手术期间现场x射线荧光透视和c形臂计算机断层扫描成像的立体投影和交叉参考的增强现实系统和方法

Country Status (5)

Country Link
US (1) US20230050636A1 (zh)
EP (1) EP4384105A1 (zh)
CN (1) CN117677358A (zh)
CA (1) CA3223724A1 (zh)
WO (1) WO2023018871A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9349197B2 (en) * 2011-06-28 2016-05-24 Siemens Aktiengesellschaft Left ventricle epicardium estimation in medical diagnostic imaging
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10052170B2 (en) * 2015-12-18 2018-08-21 MediLux Capitol Holdings, S.A.R.L. Mixed reality imaging system, apparatus and surgical suite
CA3016346A1 (en) * 2016-03-21 2017-09-28 Washington University Virtual reality or augmented reality visualization of 3d medical images

Also Published As

Publication number Publication date
CA3223724A1 (en) 2023-02-16
US20230050636A1 (en) 2023-02-16
EP4384105A1 (en) 2024-06-19
WO2023018871A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
US11989338B2 (en) Using optical codes with augmented reality displays
CN109419524B (zh) 医学成像系统的控制
EP3145420B1 (en) Intra operative tracking method
EP3157435B1 (en) Guiding system for positioning a patient for medical imaging
Ha et al. Augmented reality in medicine
US11443431B2 (en) Augmented reality patient positioning using an atlas
US11961193B2 (en) Method for controlling a display, computer program and mixed reality display device
CN112423692A (zh) 用于执行介入手术的实况3d全息引导和导航
EP2680755B1 (en) Visualization for navigation guidance
Gsaxner et al. Markerless image-to-face registration for untethered augmented reality in head and neck surgery
Mewes et al. Projector‐based augmented reality system for interventional visualization inside mri scanners
US20230285088A1 (en) System and methods for planning and performing three-dimensional holographic interventional procedures with three-dimensional tomographic and live imaging
Zhang et al. 3D augmented reality based orthopaedic interventions
Vogt Real-Time Augmented Reality for Image-Guided Interventions
US20220022964A1 (en) System for displaying an augmented reality and method for generating an augmented reality
US20230050636A1 (en) Augmented reality system and methods for stereoscopic projection and cross-referencing of live x-ray fluoroscopic and computed tomographic c-arm imaging during surgery
CN111028326A (zh) 用于使3d对象的空间表面曲率可视化的方法、系统和介质
Habert et al. [POSTER] Augmenting Mobile C-arm Fluoroscopes via Stereo-RGBD Sensors for Multimodal Visualization
EP3917430B1 (en) Virtual trajectory planning
CN114270408A (zh) 用于控制显示器的方法、计算机程序和混合现实显示设备
CN115176283A (zh) 增强现实定位医学视图

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication