CN108882854A - 3d医学图像的虚拟现实或增强现实可视化 - Google Patents

3d医学图像的虚拟现实或增强现实可视化 Download PDF

Info

Publication number
CN108882854A
CN108882854A CN201780018916.1A CN201780018916A CN108882854A CN 108882854 A CN108882854 A CN 108882854A CN 201780018916 A CN201780018916 A CN 201780018916A CN 108882854 A CN108882854 A CN 108882854A
Authority
CN
China
Prior art keywords
rendering
image
computing device
hologram image
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780018916.1A
Other languages
English (en)
Other versions
CN108882854B (zh
Inventor
J·希尔瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Washington
Original Assignee
University of Washington
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Washington filed Critical University of Washington
Priority to CN202210518876.XA priority Critical patent/CN114903591A/zh
Publication of CN108882854A publication Critical patent/CN108882854A/zh
Application granted granted Critical
Publication of CN108882854B publication Critical patent/CN108882854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/28—Bioelectric electrodes therefor specially adapted for particular uses for electrocardiography [ECG]
    • A61B5/283—Invasive
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/745—Details of notification to user or communication with user or patient ; user input means using visual displays using a holographic display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/02—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by cooling, e.g. cryogenic techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B18/1492—Probes or electrodes therefor having a flexible, catheter-like structure, e.g. for heart ablation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00315—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for treatment of particular body parts
    • A61B2018/00345—Vascular system
    • A61B2018/00351—Heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00571—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
    • A61B2018/00577—Ablation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00642—Sensing and controlling the application of energy with feedback, i.e. closed loop control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00773—Sensed parameters
    • A61B2018/00839—Bioelectrical parameters, e.g. ECG, EEG
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/02—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by cooling, e.g. cryogenic techniques
    • A61B2018/0212—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by cooling, e.g. cryogenic techniques using an instrument inserted into a body lumen, e.g. catheter
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Abstract

公开了使用VR/AR可视化系统的3D医学图像的虚拟现实或增强现实(VR/AR)可视化的系统和方法。VR/AR可视化系统包括可操作地耦接到VR/AR装置的计算装置，并且VR/AR装置包括全息显示器和至少一个传感器。全息显示器被配置为向操作者显示全息图像。计算装置被配置为接收对象的解剖结构的至少一个存储的3D图像和至少一个外科器械的至少一个实时3D位置。计算装置进一步被配置为将至少一个外科器械的至少一个实时3D位置配准为对应于对象的解剖结构的至少一个3D图像，并且生成全息图像，全息图像包括在对象的解剖结构的至少一个3D图像上覆盖的至少一个外科器械的至少一个实时位置。

Description

3D医学图像的虚拟现实或增强现实可视化
相关申请的交叉引用
本申请要求于2016年3月21日提交的美国临时申请No.62/310,969的权益，其全部内容并入本文。
背景技术
介入外科手术的中心问题仍然是器官和血管内未暴露的解剖结构的可视化和医疗装置(诸如导管、支架、探针等)的定位。随着手术从最大暴露转向微创，对增强可视化的要求更加深远。例如用于心律失常的微创经导管消融。
在健康的心脏中，有组织的电激发导致心脏收缩。当该电活动变得不规律时，心脏不再有效泵送，并且患者会出现头晕、昏厥和/或猝死。据美国疾病控制和预防中心的统计数据估计，在美国每年有超过60万受害者因心脏病猝死。不稳定的不规率的电心脏活动被称为心律失常，并且通常由心脏中的异常电连接引起。心律失常影响所有年龄段的人。
通过放置在心脏中的导管将一个或多个能量脉冲施加到心脏的所选区域可以有效地去除这些短路，称为经导管消融。可以使用经导管消融施加的能量脉冲的类型的非限制性示例包括射频能量脉冲、低能量脉冲和高频超声脉冲。作为现代心律失常疗法的主要支柱，消融手术需要将多个导管插入心脏，以记录电活动，识别心律失常原因的关键位置，并使用射频能量或冷冻疗法消融组织。目前，胸壁掩蔽心脏和电生理学实验室中的数据分离(即电信号、解剖位置等)使消融手术变得复杂，需要医生在心理上重建心脏模型。
通过开发电解剖标测系统显著地增强了这些手术，该电解剖标测系统构建了包含解剖位置和局部电信号二者的心脏内膜表面(心内膜)的逐点图。然而，这些系统受到多个二维屏幕上的关键测量的显示限制。在心理上将电记录与整体多维心脏解剖结构相关的技能仍然是心脏电生理学家和手术内协作训练中的关键挑战。因此，培训新医生非常困难，并且结果中显著的技能依赖变化是常见的。
发明内容
在一个方面，提供了一种VR/AR可视化系统。VR/AR可视化系统包括：VR/AR装置，其包括被配置为向操作者显示全息图像的全息显示器；以及计算装置，其可操作地耦接到VR/AR装置。计算装置包括非易失性存储器和处理器。计算装置被配置为接收对象的解剖结构的至少一个存储的3D图像，接收至少一个外科器械的至少一个实时3D位置，将至少一个外科器械的至少一个实时3D位置配准为对应于对象的解剖结构的至少一个存储的3D图像，并生成全息图像。全息图像包括在对象的解剖结构的至少一个3D图像上覆盖的至少一个外科器械的至少一个实时3D位置。
在另一方面，提供了一种3D医学图像的VR/AR可视化方法。方法包括使用计算装置接收对象的解剖结构的至少一个存储的3D图像。计算装置可操作地耦接到VR/AR装置，并且VR/AR装置包括全息显示器和至少一个传感器。方法进一步包括使用计算装置接收至少一个外科器械的至少一个实时3D位置，将至少一个外科器械的至少一个实时3D位置配准为对应于对象的解剖结构的至少一个存储的3D图像，以及使用全息显示器，向操作者显示全息图像，全息图像包括在对象的解剖结构的至少一个3D图像上覆盖的至少一个外科器械的至少一个实时3D位置。
在另一方面，提供了用于向操作者提供三维医学图像的VR/AR可视化的至少一种非暂态计算机可读存储介质。计算机可读存储介质具有体现在其上的计算机可执行指令，其中，计算机可执行指令在由至少一个处理器执行时使处理器接收对象的解剖结构的至少一个存储的3D图像，接收至少一个外科器械的至少一个实时3D位置，将至少一个外科器械的至少一个实时3D位置配准为对应于对象的解剖结构的至少一个存储的3D图像，并显示全息图像。全息图像包括针对操作者在对象的解剖结构的至少一个3D图像上覆盖的至少一个外科器械的至少一个实时3D位置。
在一个方面，本公开是用于在患者身体的部分内发生的手术的虚拟现实/增强现实(VR/AR)系统。在一个方面，本公开是用于发生在难以观察以及接近的人体解剖结构的部分内的医疗手术的VR/AR系统。在一个方面，VR/AR系统在手术期间为用户(例如，操作者)提供多维体验，除了其它手术相关数据之外还具有患者的内部人体器官/系统的针对患者的3D表示。在一个方面，可以在增强现实环境中呈现3D表示和附加信息。在其它方面，可以在VR/AR环境中提供此类信息。另外，系统能够映射和表示在手术期间使用的器械(例如导管)的实时定位。3D表示和相关数据被配置为呈现并允许与用户交互，使得用户不需要与任何其他人通信也不需要破坏无菌性。例如，用户可以向系统提供命令，而无需将输入装置与用户身体的任何部分(诸如用户的手)进行物理接触。
在示例性方面，VR/AR系统用于心脏介入手术。系统在手术发生时实时提供患者心脏的针对患者的3D模型，包括跟踪患者心脏内使用的导管定位的能力。可以以如下所述的方式通过其它感觉(例如，听觉信号)向用户提供附加信息。
在一个方面，VR/AR系统使用计算装置接收对象的解剖结构(例如，患者的解剖结构)的至少一个存储的3D图像。计算装置耦接到VR/AR装置，VR/AR装置包括全息显示器和至少一个传感器。计算装置接收至少一个外科器械的至少一个实时3D位置。将至少一个外科器械的至少一个实时3D位置配准为对应于对象的解剖结构的至少一个存储的3D图像。全息显示器向操作者显示全息图像，全息图像包括在对象的解剖结构的至少一个3D图像上覆盖的至少一个外科器械的至少一个实时3D位置。
在另一方面，VR/AR系统通过处理由插入心血管器官内的导管生成的第一组传感器数据，以3D生成表示对象的心血管器官的电解剖可视化的第一3D图像。第一3D图像被提供给全息显示器，包括但不限于操作者佩戴的头戴式显示器(HMD)，以在操作者的视场中显示电解剖可视化。从输入装置接收第二组传感器数据，其中第二组传感器数据指示操作者的身体部分与电解剖可视化交互的运动。通过处理第二组传感器数据来确定身体部分的运动路径。基于运动路径确定电解剖可视化的旋转角度。向HMD提供第二3D图像，以通过在操作者的视场中旋转心血管器官一定旋转角度来更新电解剖可视化的显示。
从以下对本发明优选实施例的详细描述中，本发明的这些和其它目的和优点将变得显而易见。前面的一般描述和以下的详细描述二者都仅是示例性和说明性的，并且旨在提供对要求保护的本发明的进一步说明。
包括附图以提供对本公开的进一步理解，并且附图被并入并构成本说明书的一部分，示出了本公开的若干实施例，并且与说明书一起用于解释本公开的原理。
附图说明
图1是根据现有方法用于定位心脏内的导管的荧光透视图像。
图2是根据本公开的一个方面的用于内部医疗手术的VR/AR系统的示意性表示。
图3是根据本公开的一个方面的电解剖图的图像。
图4示出根据本公开的一个方面的患者心脏的3D模型。
图5A是根据一个方面的提供给VR/AR系统的操作者的包括下拉菜单的图的图像。
图5B是根据一个方面的提供给VR/AR系统的操作者的包括插入图像下拉菜单的图的图像。
图5C是根据一个方面的提供给VR/AR系统的操作者的包括3D心脏模型的横截面图的图的图像。
图6是示出图2的VR/AR系统的组件的示意性表示的框图。
具体实施方式
在以下优选实施例的详细描述中，参考了附图，该附图形成其一部分，并且在附图中通过图示的方式示出了可以实现本公开的具体实施例。应当理解，在不脱离本公开的范围的情况下，可以利用其它实施例并且可以进行结构改变。
如说明书和所附权利要求中所使用的，单数形式“一”、“一个”和“该”包括复数指示物，除非上下文另有明确说明。本文中范围可以表述为从“约”一个特定值，和/或到“约”另一个特定值。当表述这种范围时，另一个实施例包括从一个特定值和/或到另一个特定值。类似地，当通过使用先行词“约”将值表述为近似值时，将理解该特定值形成另一个实施例。将进一步理解，范围中每个范围的端点相对于另一个端点都是显著的，并且独立于另一个端点。
“可选的”或“可选地”是指随后描述的事件或情况可能发生或可能不发生，并且描述包括该事件或情况发生的实例和不发生的实例。
在本说明书的整个描述和权利要求中，词语“包括”和词语的变体，诸如“包括”和“包含”，是指“包括但不限于”，并且不旨在排除例如其它添加物、组件、整数或步骤。“示例性”是指“……的示例”，并且不旨在表达优选或理想实施例的指示。“诸如”不用于限制性意义，而是用于解释目的。
公开了可用于执行所公开的方法和系统的组件。在此公开了这些和其它组件，并且可以理解，当公开这些组件的组合、子集、交互、集合等时，对于所有方法和系统，本文中对每个都特别考虑和描述，然而可能未明确公开每种不同的个体和集体组合的特定参考以及这些组合的排列。这适用于本申请的所有方面，包括但不限于所公开方法中的步骤。因此，如果存在可以执行的各种附加步骤，则应理解，这些附加步骤中的每一个可以采用所公开方法的任何特定实施例或实施例的组合来执行。
如所属领域的技术人员将了解的，本公开的方面可采用完全硬件实施例、完全软件实施例或组合软件和硬件方面的实施例的形式。在一个方面，本公开可以包括被配置为执行由硬件和软件组件的组合控制的某些步骤和功能(例如，获得电解剖测量等)的物理组件的组合。此外，方法和系统的组件可以采用计算机可读非暂态存储介质上的计算机程序产品的形式，该计算机可读非暂态存储介质具有体现在存储介质中的计算机可读程序指令(例如，计算机软件)。可以利用任何合适的计算机可读存储介质，包括硬盘、CD-ROM、光存储装置、闪存装置、固态存储装置和磁存储装置。
此外，如下所述的本公开所使用的组件和方法可以在程序环境中执行，该程序环境可以包括通用计算机或专用装置，诸如硬件装置、控制器或手持计算机。另外，可以使用本领域中已知的各种技术来实现在此描述的组件的技术。例如，该方法可以在计算机系统上执行的软件中实施，或者利用微处理器的组合或其它专门设计的专用集成电路、可编程逻辑装置或其各种组合在硬件中实施。
下面参考方法、系统、设备和计算机程序产品的框图和流程图图示来描述方法和系统的一些方面。应当理解，框图和流程图图示的每个框以及框图和流程图图示中的框的组合可以分别由计算机程序指令实施。这些计算机程序指令可以加载到通用计算机、专用计算机或其它可编程数据处理设备上以产生机器，使得在计算机或其它可编程数据处理设备上执行的指令创建用于实施在流程图的框或多个框中指定的功能的部件。
这些计算机程序指令还可以存储在非暂态计算机可读存储器中，该计算机可读存储器可以指示计算机或其它可编程数据处理设备以特定方式工作，使得存储在计算机可读存储器中的指令产生包括用于实施流程图的框或多个框中指定的功能的计算机可读指令的制品。计算机程序指令也可以加载到计算机或其它可编程数据处理设备上，以使在计算机或其它可编程设备上执行一系列操作步骤，以产生计算机实施的过程，使得在计算机或其它可编程设备上执行的指令提供用于实施流程图的框或多个框中指定的功能的步骤。
因此，框图和流程图图示的框支持用于执行指定功能的部件的组合，用于执行指定功能的步骤的组合，以及用于执行指定功能的程序指令部件。还将理解，框图和流程图图示的每个框以及框图和流程图图示中的框的组合可以由执行特定功能或步骤的专用基于硬件的计算机系统或专用硬件和计算机指令的组合来实施。
在各个方面，本公开涉及虚拟现实和/或增强现实(VR/AR)系统，下面将详细讨论。尽管在全文中使用术语虚拟现实来描述系统，但是本领域技术人员将理解，在术语的一般使用中，虚拟现实可以包括虚拟现实(VR)和增强现实(AR)。在一些情况下，术语“VR/AR”将用于识别系统。因此，当在此使用术语“虚拟现实”或“VR/AR”时，应该理解为包括所有类型的修改现实，除非特别区分。
如在此所使用的“虚拟现实”是指显示表示计算机生成的数据的一个或多个元素和/或与表示计算机生成的数据的一个或多个元素交互的方法。通常，在虚拟现实显示器的视场内可见的所有元素都是计算机生成的元素。
如在此所使用的，“增强现实”是指显示表示计算机生成的数据的一个或多个元素和/或与该一个或多个元素交互的方法。增强现实是虚拟现实和现实生活的混合，其中典型的增强现实显示包括在操作者可见的现实物体上覆盖的一个或多个计算机生成的元素。如在此所使用的术语“增强现实”可以进一步包括“混合现实”，术语“混合现实”是指特别包括用户或操作者与计算机生成的元素交互的能力的增强现实显示方法。
如在此所使用的“全息显示”是指显示虚拟3D物体和/或与虚拟3D物体交互的方法，其中虚拟3D物体被动态更新以响应于操作者的运动，或操作者请求的虚拟3D物体的视图的修改(诸如放大/缩小、平移/旋转的虚拟3D物体的横截面视图等)，来修改虚拟3D物体的操作者的视图。
本公开涉及VR/AR可视化系统10(在此也称为VR/AR系统10或系统10)，用于3D成像数据以及附加信息的可视化和操纵，附加信息包括但不限于2D成像数据、生命体征数据和对象人口统计数据，其与在难以观察/接近对象的解剖结构的部分内发生的医学诊断和治疗过程相关联。通过非限制性示例，VR/AR可视化系统10可用于心脏、胃肠系统、耳道和其它类型的解剖结构或生物系统内的手术。虽然下面描述的实施例涉及与心脏介入手术相关联的VR/AR可视化系统10，但是本领域技术人员可认识到使用其它3D定位或姿势估计模态，包括但不限于结合在此描述的VR/AR可视化系统10的基于阻抗的定位、磁定位、基于标记的定位、或3D超声，可以容易地扩展到其它器官系统和/或其它解剖区域中的诊断或介入手术。
在一个方面，本公开涉及用于与心脏诊断手术和/或心脏介入手术相关联的VR/AR可视化系统10。VR/AR系统10经由3D医学成像装置40能够采集患者20(例如，对象)的心脏15的解剖特征。另外，可以使用一个或多个电解剖标测装置50来获得心脏15的电数据，该电解剖标测装置50被配置为收集电数据以及相关器械的定位和电数据测量的位置。与一个或多个电解剖标测装置50相关联的器械的非限制性示例包括诊断导管、参考导管、消融导管、监测导管、非接触标测导管、多电极阵列导管、多极导管、多极圆形标测导管和磁传感器导管。在一个方面，可以通过相关联的电解剖标测系统分析由一个或多个电解剖标测装置50获得的数据，以确定描述心脏15的心房和心室的内表面的空间布置以及相对靠近心脏15的静脉和动脉(包括但不限于腔静脉、主动脉、肺动脉等)的空间布置的心内膜图。
在一个方面，一个或多个电解剖标测装置50可以提供将使用3D医学成像装置40获得的患者20的心脏15的解剖特征的至少一个3D图和使用一个或多个电解剖标测装置50获得的至少一个3D心内膜表面图进行组合。在一个方面，其内定义3D心内膜表面图的3D坐标系可以配准到其内定义心脏的解剖特征的3D图的坐标系，使得在同一3D坐标系内定义解剖特征的3D图和3D心内膜表面图。
在一个方面，由一个或多个电解剖标测装置50产生的定义共同配准的解剖特征的3D图和3D心内膜表面图的数据可以由VR/AR可视化系统10的计算装置30接收。使用定义共同配准的3D图的数据，计算装置30生成心脏15的3D模型65，该3D模型65被配置为显示在由VR/AR装置60的全息显示器产生的全息图像内。
在一个方面，全息图像可以仅由心脏15的3D模型65的至少一部分组成。在各种其它方面，VR/AR可视化系统10的计算装置30可以接收附加数据，该附加数据可以结合到全息图像中，以便在VR/AR装置60的全息显示器上显示给操作者。
在各个方面，VR/AR系统10可以包括多个VR/AR装置60。作为非限制性示例，第一操作者可以佩戴第一VR/AR装置60，包括但不限于，第一头戴式显示器，并且第二操作者可佩戴第二VR/AR装置60，包括但不限于第二头戴式显示器。在该非限制性示例中，第一操作者和第二操作者可以一起对患者执行外科手术。第一VR/AR装置60和第二VR/AR装置60可以显示患者20的解剖结构的同一器官或部分的不同视图。例如，患者心脏15的显示视图可以基于对应的VR/AR装置60相对于患者20的位置以不同角度定位。
在各种其它方面，附加数据可以由VR/AR可视化系统10的计算装置30接收并且结合到全息图像中。适合于结合到全息图像中的附加数据的非限制性示例包括：在定义3D模型65的坐标系内定义位置和/或测量值的实时3D数据；由诸如荧光镜成像装置的2D成像装置产生的实时2D数据；诸如一个或多个生命体征的实时数字测量、诸如患者人口统计数据的预定数据及其任何组合。在这些各种其它方面中，附加数据可以结合和/或覆盖在心脏15的3D模型65上，或者附加数据可以被显示为全息图像内的单独元素，如下面另外详细描述的。
在一个方面，由电解剖标测装置50获得的附加数据可以由计算装置30接收并且结合到全息图像中。在一个方面，电解剖标测装置可以进一步包括被配置为获得至少一个外科器械的至少一个实时3D位置的器械位置传感器，包括但不限于电生理学(EP)导管。在该方面，计算装置30可以接收至少一个外科器械的至少一个实时3D位置，并且生成包括在对象的解剖结构的至少一个3D图像(包括但不限于心脏15的3D模型65)上覆盖的至少一个外科器械的至少一个实时位置的全息图像。在另一方面，可以使用单独的装置(包括但不限于外科器械系统的单独的器械位置传感器)获得至少一个外科器械的至少一个实时3D位置。合适的器械位置传感器的非限制性示例包括一个或多个电解剖标测装置，除了用于获得3D心内膜表面标测数据的电解剖标测装置50之外，还包括利用超声、磁场、电场和/或任何其它现有合适的位置感测方法的位置感测装置的其它实时位置标测系统。
在另一方面，由电解剖标测装置50获得的附加数据可包括由一个或多个电生理学(EP)导管获得的附加电生理学测量。在一个方面，数据可以包括定义映射到心脏15的3D模型65的坐标系的实时电生理学测量的一个或多个数据集的附加3D实时数据。实时电生理学测量的非限制性示例包括电压图、激活时序图和传播图。在该一个方面，由计算装置30接收的附加电生理学测量的图可以覆盖在全息图像内的心脏15的3D模型65上。在一个方面，附加电生理学测量的图可以被选择以进行显示，使其变得透明，或者从由操作者产生的一个或多个提示所定义的全息图像中去除。在另一方面，由电解剖标测装置50获得的附加数据可包括与消融导管的消融相关联的附加电生理学测量，包括但不限于在心脏15的3D模型65内的特定位置处施加的射频(RF)或低温能量的量。在该另一方面，附加电生理学测量可以以3D视觉元素的形式结合到全息图像中，诸如位于3D模型65内的消融能量的应用点处的圆圈或其它符号，和/或颜色、尺寸、数值或其它视觉元素，以指示在由消融导管实现的消融事件期间测量的消融能量或消融力的量和/或方向。
在另外的方面，计算装置30可以接收定义从至少一个附加医学成像装置获得的至少一个附加2D图像的一个或多个附加数据集。在一个方面，至少一个附加2D图像可以包括3D实时图像(包括但不限于实时荧光镜图像)的2D表示。在该一个方面，至少一个附加2D图像可以以与3D模型65分开显示的2D视觉元素的形式结合到全息图像中。结合到全息图像中的非限制性的合适的2D视觉元素包括虚拟2D监测、插入图像以及3D全息图像中的2D视觉元素的任何其它已知表示。通过非限制性示例，定义实时荧光透视图像的附加数据集可以以插入图像的形式结合到全息图像中，如图5B中所示。
在一个方面，全息图像可以在VR/AR装置60的全息显示器上显示给操作者。响应于来自操作者的一个或多个提示，计算装置30可以根据操作者的偏好修改全息显示器上显示的全息图像。通过非限制性示例，操作者可以放大、缩小、旋转或移动如在全息显示器上显示的全息图像，以便于完成诊断和/或外科手术。在各个方面，如果VR/AR系统10包括多个VR/AR装置60，则由第一操作者佩戴的第一VR/AR装置60可以可操作地耦接到计算装置30，使得仅第一操作者可以修改如在VR/AR系统10的所有VR/AR装置60的所有全息显示器上显示的全息图像。在这些各种其它方面，计算装置30可以接收多个VR/AR装置60中的每一个装置的相对位置和取向，并生成针对每个VR/AR装置60的全息图像，该全息图像对应于每个VR/AR装置60相对于第一操作者佩戴的第一VR/AR装置60的每个位置和每个取向，该第一操作者还控制全息图像的修改。
在一个非限制性示例中，计算装置30可以生成患者心脏的心电图，以显示在全息图像的插入图像中。计算装置30可以从VR/AR装置60或单独的输入装置(例如，相机或运动传感器)接收用户输入的指示(即提示)，以将虚拟标记定位在心电图上而不破坏无菌性。基于用户输入，计算装置30可以确定用于在插入图像以及心电图上显示的度量。例如，虚拟标记可以是虚拟卡尺，其被配置为测量患者心跳的周期或幅度(例如，度量)。
在另一个附加方面，计算装置30可以接收一个或多个附加字母数字数据集，包括但不限于患者人口统计数据集和/或从现有生命体征测量装置获得的对象的生命体征的实时测量。在该另一方面，一个或多个附加字母数字数据集可以以覆盖在全息图像内的透明字母数字元素的形式结合到全息图像中。
在另外的方面，计算装置30可以生成菜单或其它图像元素，该图像元素包括以非透明或透明的行或列的字母数字串、符号和/或图标的形式显示的用户可选元素。在这些附加方面，用户可选元素提供选择由计算装置30的一个或多个处理器执行以实现VR/AR系统10的操作的一个或多个指令的方式。通过非限制性示例，计算装置30可以在如图5A中所示的全息图像内生成透明菜单。
通过选择全息图像内的一个或多个交互式菜单元素，VR/AR装置60的操作者还可以观察3D模型65和附加信息并与之交互而不必破坏无菌性，或与在诊断或外科手术期间在场的任何人通信。如在此所公开的，VR/AR装置60可以取决于系统10的操作者的需要在真实虚拟现实环境或增强现实环境中根据需要呈现和去除信息。在一个方面，全息图像内的元素的布置可以由计算装置30保存并由VR/AR系统10检索，以供随后由同一操作者使用作为优选的元素布置。
在各个方面，计算装置30可以随时间推移更新全息图像以考虑由于一个或多个时变因素引起的变化，包括但不限于：由操作者对用户可选择的菜单元素的选择或取消选择，接收更新的实时数据(诸如更新的生命体征数据)、附加消融事件、其它数据集(诸如与荧光镜成像相关联的实时数据集)的变化。计算装置30可以更新全息图像以包括相对于患者器官定位的器械的一部分的表示，例如，导管尖端相对于患者心脏的位置。计算装置30可以基于来自指示检测到的器械的运动的器械的传感器数据来更新全息图像。
在一个方面，VR/AR系统10的计算装置30被配置为接收患者的心脏解剖结构的重建的3D模型65。在此，3D医学成像装置40被配置为获取与患者心脏15相关的特定物理信息。该信息将编码心脏15的尺寸及其组成/腔和预定义的解剖学界标。这些解剖学上不同的界标用于将3D模型65配准到由电解剖标测装置50获得的心内膜表面的电解剖图。通过将电解剖图配准到其内3D解剖模型的坐标系，由电解剖标测装置50获得的映射到心内膜表面的电解剖图的其它测量也被配准到定义心脏15的3D模型65的坐标系，使得这些映射的电生理学测量能够相对于显示给操作者的全息图像内的3D模型65而被可视化。在一些方面，3D模型65和电解剖图以不同的物理单位生成。因此，为了归一化到同一坐标系，计算装置30例如基于解剖学界标将3D模型65的第一组点配准(例如，映射)到电解剖图的第二组点。
在各个方面，心内膜表面的电解剖图与使用至少一个3D医学成像装置获得的3D解剖模型的配准由计算装置30和/或电解剖标测装置50执行。可以使用任何合适的现有方法来执行两个图的配准，而不进行限制。在一个方面，至少多个预定界标在3D解剖模型和3D心内膜表面图中被识别，以提供两个图的限定交叉点。合适的心脏界标的非限制性示例包括上腔静脉/右心房交界处、下腔静脉/右心房交界处、冠状窦、右心室尖部和右心室流出道。在与心脏的其它已知部分相关联的界标可以用于本公开的其它方面中的界标的同时，这些界标经由MRI和荧光透视过程易于接近和识别，并且采用网格配准，如下面更详细讨论的。在其它方面，可以使用统计或基于特征的推断来确定点的位置和数量。
在一个方面，3D医学成像装置40可以包括能够采集与心脏的解剖结构相关的3D数据的任何装置。例如，3D医学成像装置可以包括但不限于荧光透视装置、超声心动图装置(例如，经胸廓、经食道、心内)、X射线装置、探索性内窥镜系统、MRI和CT扫描器等。3D医学成像装置40可以取决于要与VR/AR可视化系统10组合执行的诊断和/或外科手术的类型来选择。例如，超声心动图装置40提供心脏解剖结构的快速获取，因为是无创的，可以快速完成，不会使患者暴露于辐射，并且无麻醉。此外，对对象的不动性没有长期要求。在一个方面，定义重建的3D解剖模型的数据可以在结合使用VR/AR可视化系统10执行的诊断或外科手术之前由3D医学成像装置40获得和分析。
3D医学成像装置40采集用于重建对象的心脏15的3D模型65的空间信息。在一个方面，3D医学成像装置40重建空间数据并创建对象的心脏解剖结构的3D解剖模型。可以使用本领域已知的各种技术来创建3D解剖模型。通过非限制性示例，可以收集患者心脏的多个2D视图，并且然后将其重新组合成患者解剖结构的粗略3D图像。一旦生成患者解剖结构的3D图像，电解剖标测装置50向计算装置30提供要修改和/或变换的通用高分辨率心脏网格，以匹配解剖学心脏模型和电解剖心内膜表面模型中识别的相应界标的重叠。计算装置30使用从所创建的患者心脏解剖结构的3D图像采集的数据来变换心脏网格，包括所采集的界标的空间维度(如上所述)。一旦变换，由计算装置30或电解剖标测装置50生成患者的心脏结构的全3D模型65。通过一个非限制性示例，3D医学成像装置40可以通过生成表示对应的解剖结构的3D几何形状的一系列连接的2D多边形(例如，网格)来创建3D解剖模型。通过另一个非限制性示例，装置40可以使用射线投射和/或跟踪来创建3D解剖模型。
在患者心脏结构的变换的全3D模型65已经被电解剖标测装置50创建之后，从对象处收集包括特定于消融需求的电生理学数据的电解剖数据并将其映射到变换的全3D模型65。在一个方面，电解剖数据从一个或多个电解剖标测装置50收集。在一个方面，电解剖标测装置50包括放置在患者心脏15内的电生理学(EP)导管。测量的电解剖数据可包括在患者心脏15的给定位置处发生的电活动(例如，电压数据、激活定时和传播图)，该电活动可用于使用现有诊断方法确定消融需要发生的地方。
为了执行EP研究，VR/AR系统100可以使用一个或多个电解剖标测装置50。在一个方面，可以最初使用诊断导管50，并且如果基于诊断电生理学测量而指示消融则可以使用附加消融导管50。另外，由消融导管50施加的任何能量可以由一个或多个电解剖标测装置50测量和记录。通过非限制性示例，消融导管可以被配置为在导管尖端处施加射频或低能量。在另一方面，消融导管可以被配置为感测在导管50的尖端处由导管施加的力的级别(包括方向性，即轴向或横向)。此类信息可用于模拟3D模型65的虚拟心脏中的实际病变创建，如通过使用测量的力和阻抗实时制作病变。在一个方面，从消融导管测量的力数据然后可以用于采用VR/AR装置60对操作者的听觉反馈。通过非限制性示例，VR/AR装置60可以提供包括改变音调的音高和频率的听觉反馈，其指示消融导管50推动心脏组织的力级别。
EP导管50可以由操作者在整个患者心脏15中移动并收集诊断信息。诊断和消融导管50二者被配置为在其整个使用中(包括在消融期间)获得电解剖数据。除了收集电解剖数据之外，VR/AR系统100还可以采集空间相关信息，即，在患者心脏内发生电解剖数据的位置，以使得电解剖数据可以被映射到变换后的全3D模型。在一个方面，电解剖标测装置50也采集患者体内器械的定位。例如，当利用EP导管50时，采集电极和导管50的轴的远端部分的定位。在一个方面，电解剖标测装置50利用电解剖标测系统来找到电解剖数据的坐标。标测系统能够识别心脏15内的EP导管50的X、Y和Z坐标，并且然后可以将电解剖数据放置到坐标。例如，可以使用诸如ENSITETMNAVXTM导航和可视化以及CARTOTM(韦伯斯特生物传感系统)的电解剖标测系统来收集这些数据。然而，也可以使用能够提供此类信息的其它系统。
图3示出用于心脏模型的当前电解剖图的示例。该心脏模型仅限于右心房(RA)和左心房(LA)的几何形状。左侧的图像以正交视图呈现，其中右前斜位(RAO)视图在左侧，并且长轴向斜位(LAO)视图在右侧。电生理学导管的远端在该几何形状内可视化。具有四个电极的第一(第1)导管定位在正常传导部位处，位于His位置处。具有10个电极的第二导管位于冠状窦中。由于具有4个电极的第3导管前进通过三尖瓣并进入右心室，因此该第3导管仅在LAO投影中可视化。最后，具有4个电极的射频(RF)消融导管位于异常电组织的部位处。球体(以红色显示)标记RF病变所处的部位。图3的中央底部的靶心投影指示由消融导管施加到心脏组织的总力(TF)。
虽然以上描述了与心脏手术相关联的电解剖标测装置50和电解剖数据，但可理解的是装置和数据可与人体内发现的其它系统和器官相关联。
当电解剖数据如上描述而被收集和映射时，VR/AR装置60由计算装置30提供患者心脏15的3D模型65(参见图4)，包括EP导管50的放置(参见图5B)。在一个方面，VR/AR装置60可以包括真实的虚拟现实(VR)装置(即，将操作者完全沉浸在创建环境中的装置)或增强现实(AR)装置(即，操作者可以具有在虚拟空间中虚拟显示的图像或模型，但仍然能够看到真实环境并与真实环境交互)。按照这些方式，VR/AR装置60可以是可穿戴装置，包括但不限于Microsoft HOLOLENSTM(即AR装置)和OCULUS RIFTTM(即VR装置)。VR/AR装置60可以包括传感器(诸如运动传感器(例如，加速度计、陀螺仪或惯性测量单元)、音频传感器、眼睛和视线跟踪传感器)，和/或电子显示器等，以及其它部件。在另一方面，VR/AR装置60可以提供包括3D模型65的投影全息显示器。VR/AR装置60可以经由无线交换协议或经由有线连接通信地耦接到HMD。在至少一些方面，AR装置的使用可能是有利的，因为其允许操作者实时看到患者并与患者交互，同时观看3D模型65并与3D模型65交互并获得其益处，有助于更安全的患者体验。
在这些方面中，全息图像内的3D模型65可以取决于EP导管的位置呈现为钝的或半透明，或者完全透明以使得能够无阻碍地观察EP导管位置。在透明视图中，操作者可以使用由VR/AR装置的至少一个传感器接收的操作者启用的提示来改变心脏壁的透明度，从而允许在诊断和/或外科手术期间使心脏中的导管容易明显的可视化。导管的各部分也可以在任何视图中表示。另外，VR/AR装置60还可以允许操作者操纵心脏的位置、取向和尺寸，以及创建要观察的切片。此外，操作者可以在不使用手的情况下在视图之间切换以及数据显示，因此操作者可以在整个过程中保持无菌性。
通过非限制性示例，VR/AR系统100可以使用头部和/或眼睛跟踪技术来从操作者接收输入命令(例如，用户输入)，而无需操作者使用操作者的手物理地触摸输入装置(例如，VR/AR装置60)。在一些实施例中，输入装置物理地连接到VR/AR装置60。在其它实施例中，输入装置与VR/AR装置60分离并且通信地耦接到计算装置30。例如，输入装置是Microsoft KINECTTM。输入装置可以包括成像传感器(例如，相机)、用于成像传感器的照明源、运动传感器、深度传感器以及其它组件。基于传感器数据，输入装置可以采集手势并执行操作者的姿势检测。在一个方面，操作者启用的输入可以从修改VR/AR装置60提供的现有操作者启用的输入来导出。
另外，也可以结合VR/AR装置60使用电解剖标测装置50来产生从收集的电解剖数据采集的为消融手术准备的计划映射。在另一方面，VR/AR装置60可以显示虚拟卡尺(例如，标尺)，以允许操作者在虚拟环境中进行实时准确的测量。该特征允许操作者在各个位置处进行测量，例如，在测量电描记图时，使用毫秒，以及在心脏几何结构中，以毫米为单位进行测量。
可以向操作者显示或传达其它电解剖信息。例如，电解剖信息可以在心脏的3D模型65上数字地表示(例如，心脏上的颜色编码区域，以指示电活动和EP导管在施加时的力数据)，可视地显示给操作者(例如，示出相关力数据和电活动的表格)，或以听觉方式。在一个方面，听觉方式可用于通知操作者在消融手术期间激活EP导管时施加的力。在这种情况下，听觉响应可以与施加时的力成比例。听觉信号涉及由消融导管施加的力。施加的力越强，对于操作者音调就越频繁和高音。该听觉特征仅存在于力传感导管中。力传感导管的示例是TACTICATHTM(St Jude Medical)，其向操作者提供反馈，以指示导管尖端施加到组织多少的力(例如以克为单位测量)。
图5A、图5B和图5C示出根据本公开的一个方面的由VR/AR装置60显示的全息图像的示例性图。图5A示出3D模型65(虚拟心脏模型)的打开的主菜单。该视图中3D心脏模型65的透明度被增加，以允许操作者在一个或多个平面中快速地可视化精确的导管位置，而无需改变模型的取向。在各个方面，VR/AR系统的计算装置30可以将3D模型分割成子单元，以通过渲染3D模型65的一部分成透明和/或不可见来修改全息显示，从而便于选择3D模型65的部分。可以由计算装置30分割的3D模型65的子单元的非限制性示例包括左心房和右心房、左心室和右心室、一个或多个瓣膜，与心脏相关联的一个或多个动脉和静脉，以及任何其它相关的心脏结构。
图5B示出在导管位置打开的情况下在后部投影中显示的3D模型65，其中使用切割平面特征切除了心脏的一部分，使得可以可视化心内导管位置。在该视图中，可以看到四个导管(被圈出)位于冠状窦中(在左心房与左心室分开的房室沟中；朝向屏幕的左侧)，高右心房(在右上腔室，右心房/上腔静脉交界处附近)中，右心室尖部(在右下腔室，指向心脏的顶点)和正常的His传导系统(朝向心脏的中心或关键处)中。在一些方面，计算装置30基于全息显示器的操作者控制的缩放级别(例如，放大/缩小)在显示的3D模型65中包括附加组件。例如，在更大的缩放级别(即，放大的图像)下，计算装置30包括图5B中所示的四个导管中的一个或多个导管。另一方面，在更低的缩放级别(即，缩小的图像)下，例如由于所显示的3D模型65的所得的有限分辨率水平，计算装置30不包括四个导管。在图5B中的右侧，荧光透视屏幕已在虚拟环境中打开。
图5C示出显示为在心室的筒下视图(down-the-barrel view)(即，外科医生的视图)中取向的3D模型65，其中心房和大动脉被虚拟地去除，例如横截面视图。这些图像提供了操作者可以使用VR/AR系统10看到的潜在视图的非限制性示例，并且不应该被解释为由本公开的系统10提供的唯一视图。
在各个方面，计算装置30可以包括但不限于笔记本计算机、台式计算机、平板计算机、具有连接的显示器的服务器等。根据一个方面，如图6中所示，计算装置30可以通过各种已知方式(包括本领域已知的有线和无线连接)与3D医学成像装置40、电解剖标测装置50以及VR/AR装置60通信。在一个方面，计算装置30可以包括无线接口控制器(“W.I.”)100，该无线接口控制器100被配置为控制无线收发机102的操作，以及从其它装置接收和发送信息。无线收发机102可以在宽范围的公共频率上通信，包括但不限于频带2.40Hz和/或5GHz-5.8GHz。此外，无线收发机102采用无线接口控制器100还可以利用各种公共协议。例如，在本公开的一些实施例中，组合的无线接口控制器100和无线收发机102可以在各种现有和提出的IEEE无线协议上操作，包括但不限于IEEE 802.11b/g/n/a/ac，最大理论数据传输速率/吞吐量分别为11Mbps/54Mbps/600Mbps/54Mbps/1Gbps。在一个方面，计算装置30可包括网络适配器126，网络适配器126被配置为通过各种网络和连接与其它装置通信。
计算装置30可以具有一个或多个软件应用104以执行上面讨论的方法。计算装置30包括系统存储器108以及操作系统110，系统存储器108可以存储各种应用104，包括执行上述功能的应用。系统存储器108还可以包括可由各种软件应用104访问的数据112。系统存储器108可以包括随机存取存储器(RAM)或只读存储器(ROM)。存储在计算装置30上的数据112可以是任何类型的可检索数据。数据可以存储在各种各样的数据库中，包括关系数据库，包括但不限于Microsoft Access和SQL Server、MySQL、INGRES、DB2、INFORMIX、Oracle、PostgreSQL、Sybase 11、Linux数据存储部件等。
计算装置30可以包括各种其它计算机可读介质，包括存储装置114。存储装置114可以用于存储计算机代码、计算机可读指令、程序模块和用于计算装置30的其它数据112，并且存储装置114可以用于备份或可替代地运行操作系统110和/或其它应用104。存储装置114可以包括硬盘、各种磁存储装置(诸如磁带盒或磁盘)、固态闪存驱动器，或其它光学存储器、随机存取存储器等。
计算装置30可以包括系统总线118，系统总线118将计算装置30的各种组件连接到系统存储器108和存储装置114，以及彼此连接。计算装置30的其它组件可以包括一个或多个处理器或处理单元120、用户界面(UI)122，以及一个或多个输入/输出接口124。此外，计算装置30包括网络适配器126。此外，计算装置30可以包括电源128，包括但不限于电池或外部电源。此外，计算装置30可以包括显示适配器226和显示器228(例如，监视器或屏幕)。另外，输入装置(例如，键盘、鼠标、操纵杆等)可以经由输入输出接口124使用。此外，其它3D医学成像装置40、电解剖标测装置50和VR/AR装置60也可以经由输入/输出接口124与计算装置30通信。
VR/AR系统10被配置为在诊断和/或外科手术期间在介入医生(例如，操作者)前面显示虚拟的针对患者的3D模型65。通过使用揭示实时电生理学的3D模型65，将发生医生培训、患者结果和临床医生协作的改进，以及降低患者和医生二者的辐射暴露率。此外，系统10还将减少患者的医疗和经济负担，否则患者将经受由其解剖结构的不良可视化而影响的多个过程。
虽然本公开的前述书面描述使普通技术人员能够制造和使用目前被认为是其最优模式的事物，但是普通技术人员将了解并理解在此的特定实施例、方法和示例的变型、组合和等同物的存在。因此，本公开不应限制为上述实施例、方法和示例，而是本公开的范围和精神内的所有实施例和方法。在理解或完成本公开所必需的程度上，在此提及的所有出版物、专利和专利申请通过引用明确地并入本文，其程度如同每个单独地并入。
已经如此描述了本公开的示例性实施例，本领域技术人员将理解，所公开的内容仅是示例性的，并且可以在本公开的范围内进行各种其它替换、更改和修改。因此，本公开不限于如在此所示的特定实施例。

Claims (26)

1.一种VR/AR可视化系统，包括：
VR/AR装置，其包括被配置为向操作者显示全息图像的全息显示器；以及
计算装置，其可操作地耦接到所述VR/AR装置，所述计算装置包括非易失性存储器和处理器，其中，所述计算装置被配置为：
接收对象的解剖结构的至少一个存储的3D图像；
接收至少一个外科器械的至少一个实时3D位置；
将所述至少一个外科器械的所述至少一个实时3D位置配准为对应于所述对象的解剖结构的所述至少一个存储的3D图像；以及
生成所述全息图像，所述全息图像包括在所述对象的解剖结构的所述至少一个3D图像上覆盖的所述至少一个外科器械的所述至少一个实时3D位置。
2.根据权利要求1所述的系统，其中，所述至少一个外科器械的所述至少一个3D位置从可操作地耦接到所述计算装置的外科器械系统的至少一个器械位置传感器中接收。
3.根据前述权利要求中任一项所述的系统，其中，所述对象的解剖结构的所述至少一个存储的3D图像使用从以下选择的医学成像装置获得：CT扫描器、MRI扫描器、PET扫描器、超声成像系统以及电解剖标测系统。
4.根据前述权利要求中任一项所述的系统，其中，所述VR/AR装置进一步包括至少一个传感器，所述传感器被配置为检测由所述操作者产生的提示。
5.根据前述权利要求中任一项所述的系统，其中，所述提示从手势、眼睛运动、语音评论、面部表情和头部运动中的一个或多个中选择。
6.根据前述权利要求中任一项所述的系统，其中，所述对象的解剖结构的所述至少一个存储的3D图像包括表示所述对象的包括内部组织或内部器官的至少一部分的3D图像。
7.根据前述权利要求中任一项所述的系统，其中，所述计算装置进一步被配置为响应于由所述操作者产生的提示来修改所述全息图像，所述修改包括以下中的至少一个：截面的缩放、旋转、平移、生成，所述至少一个存储的3D图像的一部分的添加、所述至少一个存储的3D图像的至少一部分的减去，以及所述至少一个存储的3D图像的渲染的变化。
8.根据前述权利要求中任一项所述的系统，其中，所述计算装置进一步被配置为更新所述全息图像以结合所接收的所述至少一个外科器械的至少一个实时3D位置的变化。
9.根据前述权利要求中任一项所述的系统，其中，所述计算装置进一步被配置为接收至少一个附加数据集以及生成所述全息图像以进一步包括所述至少一个附加数据集，
其中，所述至少一个附加数据集从以下的至少一个中选择：所述对象的解剖结构的荧光透视图像、患者生命体征数据集和患者人口统计数据集。
10.根据权利要求9所述的系统，
其中，所述全息图像进一步包括从2D荧光透视图像和数据表中选择的一个或多个附加显示元素，以及
其中，所述一个或多个附加显示元素定位在由所述操作者指定的所述全息显示器的视场内的任何地方。
11.一种3D医学图像的VR/AR可视化方法，所述方法包括：
使用计算装置接收对象的解剖结构的至少一个存储的3D图像，所述计算装置可操作地耦接到VR/AR装置，所述VR/AR装置包括全息显示器和至少一个传感器；
使用所述计算装置接收至少一个外科器械的至少一个实时3D位置；
将所述至少一个外科器械的所述至少一个实时3D位置配准为对应于所述对象的解剖结构的所述至少一个存储的3D图像；以及
使用所述全息显示器向操作者显示全息图像，所述全息图像包括在所述对象的解剖结构的所述至少一个3D图像上覆盖的所述至少一个外科器械的所述至少一个实时3D位置。
12.根据权利要求11所述的方法，其中，所述至少一个外科器械的所述至少一个3D位置从可操作地耦接到所述计算装置的外科器械系统的至少一个器械位置传感器接收。
13.根据权利要求11和12中任一项所述的方法，进一步包括：
经由所述VR/AR装置的所述至少一个传感器检测由所述操作者产生的至少一个提示；以及
使用所述计算装置，响应于所述至少一个提示修改所述全息图像。
14.根据权利要求11-13中任一项所述的方法，其中，由所述计算装置接收的所述对象的解剖结构的所述至少一个存储的3D图像使用从以下选择的医学成像装置获得：CT扫描器、MRI扫描器和PET扫描器、超声成像系统以及电解剖标测系统。
15.根据权利要求11-14中任一项所述的方法，进一步包括：
响应于检测由所述操作者执行的提示来操纵所述全息图像，
其中，操纵所述全息图像包括以下中的至少一个：缩放、旋转、平移、生成截面，添加所述至少一个存储的3D图像的一部分，减去所述至少一个存储的3D图像的至少一部分，以及改变所述至少一个存储的3D图像的渲染。
16.根据权利要求11-15中任一项所述的方法，进一步包括：
使用所述计算装置更新所述全息图像以结合所接收的所述至少一个外科器械的至少一个实时3D位置的变化。
17.根据权利要求11-16中任一项所述的方法，进一步包括：
使用所述计算装置接收至少一个附加数据集，以及
使用所述计算装置生成所述全息图像以进一步包括所述至少一个附加数据集，
其中，所述至少一个附加数据集从以下的至少一个中选择：所述对象的解剖结构的荧光透视图像、患者生命体征数据集和患者人口统计数据集。
18.根据权利要求17所述的方法，
其中，所述全息图像进一步包括从2D荧光透视图像和数据表中选择的一个或多个附加显示元素，以及
其中，所述一个或多个附加显示元素定位在由所述操作者指定的所述全息显示器的视场内的任何地方。
19.至少一种非暂态计算机可读存储介质，用于向操作者提供三维医学图像的VR/AR可视化，所述计算机可读存储介质具有体现在其上的计算机可执行指令，其中，所述计算机可执行指令在由至少一个处理器执行时使所述处理器：
接收对象的解剖结构的至少一个存储的3D图像；
接收至少一个外科器械的至少一个实时3D位置；
将所述至少一个外科器械的所述至少一个实时3D位置配准为对应于所述对象的解剖结构的所述至少一个存储的3D图像；以及
向操作者显示全息图像，所述全息图像包括在所述对象的解剖结构的所述至少一个3D图像上覆盖的所述至少一个外科器械的所述至少一个实时3D位置。
20.根据权利要求19所述的至少一种非暂态计算机可读存储介质，其中，所述计算机可执行指令进一步使所述处理器：
经由所述VR/AR装置的所述至少一个传感器检测由所述操作者产生的至少一个提示；以及
响应于所述至少一个提示来修改所述全息图像。
21.根据权利要求20所述的至少一种非暂态计算机可读存储介质，其中，所述计算机可执行指令进一步使所述处理器：
通过执行至少一个修改来响应于所述至少一个提示来修改所述全息图像，所述至少一个修改从以下选择：缩放、旋转、平移、生成横截面，添加所述至少一个存储的3D图像的一部分，减去所述至少一个存储的3D图像的至少一部分，以及改变所述至少一个存储的3D图像的渲染。
22.根据权利要求19-21中任一项所述的至少一种非暂态计算机可读存储介质，其中，所述计算机可执行指令进一步使所述处理器：
取得使用从以下选择的医学成像装置获得的存储的医学图像数据：CT扫描器、MRI扫描器和PET扫描器；以及
使用所存储的医学图像数据产生所述至少一个三维图像。
23.根据权利要求19-22中任一项所述的至少一种非暂态计算机可读存储介质，其中，所述计算机可执行指令进一步使所述处理器：
取得使用从以下选择的医学成像装置获得的存储的医学图像数据：CT扫描器、MRI扫描器和PET扫描器、超声成像系统以及电解剖标测系统。
24.根据权利要求19-23中任一项所述的至少一种非暂态计算机可读存储介质，其中，所述计算机可执行指令进一步使所述处理器：
更新所述全息图像以结合所接收的所述至少一个外科器械的至少一个实时3D位置的变化。
25.根据权利要求19-24中任一项所述的至少一种非暂态计算机可读存储介质，其中，所述计算机可执行指令进一步使所述处理器：
接收至少一个附加数据集；以及
生成所述全息图像以进一步包括所述至少一个附加数据集，
其中，所述至少一个附加数据集从以下的至少一个中选择：所述对象的解剖结构的荧光透视图像、患者生命体征数据集和患者人口统计数据集。
26.根据权利要求25所述的至少一种非暂态计算机可读存储介质，
其中，所述全息图像进一步包括从2D荧光透视图像和数据表中选择的一个或多个附加显示元素，以及
其中，所述一个或多个附加显示元素定位在如由所述操作者指定的所述全息显示器的视场内的任何地方。
CN201780018916.1A 2016-03-21 2017-03-20 3d医学图像的虚拟现实或增强现实可视化 Active CN108882854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210518876.XA CN114903591A (zh) 2016-03-21 2017-03-20 3d医学图像的虚拟现实或增强现实可视化

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662310969P 2016-03-21 2016-03-21
US62/310,969 2016-03-21
PCT/US2017/023221 WO2017165301A1 (en) 2016-03-21 2017-03-20 Virtual reality or augmented reality visualization of 3d medical images

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210518876.XA Division CN114903591A (zh) 2016-03-21 2017-03-20 3d医学图像的虚拟现实或增强现实可视化

Publications (2)

Publication Number Publication Date
CN108882854A true CN108882854A (zh) 2018-11-23
CN108882854B CN108882854B (zh) 2022-05-24

Family

ID=59900807

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780018916.1A Active CN108882854B (zh) 2016-03-21 2017-03-20 3d医学图像的虚拟现实或增强现实可视化
CN202210518876.XA Pending CN114903591A (zh) 2016-03-21 2017-03-20 3d医学图像的虚拟现实或增强现实可视化

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210518876.XA Pending CN114903591A (zh) 2016-03-21 2017-03-20 3d医学图像的虚拟现实或增强现实可视化

Country Status (6)

Country Link
US (2) US10258426B2 (zh)
EP (1) EP3432780A4 (zh)
CN (2) CN108882854B (zh)
AU (1) AU2017236893A1 (zh)
CA (1) CA3016346A1 (zh)
WO (1) WO2017165301A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109512511A (zh) * 2019-01-14 2019-03-26 常州锦瑟医疗信息科技有限公司 基于定位导板的手术增强现实定位的方法和装置
CN110292439A (zh) * 2019-07-31 2019-10-01 东北大学 基于增强现实的心脏支架手术辅助诊疗系统及使用方法
CN111150490A (zh) * 2020-01-15 2020-05-15 陈挺 基于ar和ai技术的心脏射频消融手术智能助手系统
CN111317562A (zh) * 2018-12-13 2020-06-23 韦伯斯特生物官能(以色列)有限公司 身体部位的合成可视化
CN111882941A (zh) * 2020-08-11 2020-11-03 中南大学湘雅二医院 一种基于虚拟现实的心脏大血管解剖教学系统及方法
CN113164180A (zh) * 2018-12-13 2021-07-23 德普伊新特斯产品公司 安装有显示器系统的外科器械
CN113303806A (zh) * 2021-04-24 2021-08-27 华中科技大学同济医学院附属协和医院 一种无线全息显示心电监护系统及监护方法
CN113648073A (zh) * 2020-05-12 2021-11-16 西门子医疗有限公司 对增强现实和/或虚拟现实的调整
CN114126527A (zh) * 2019-05-31 2022-03-01 直观外科手术操作公司 复合医学成像系统和方法
CN115547129A (zh) * 2022-10-19 2022-12-30 肇庆医学高等专科学校 一种心脏三维可视化的ar实现系统与方法

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
EP3568837A1 (en) 2017-01-12 2019-11-20 Navix International Limited Flattened view for intra-lumenal navigation
US11282191B2 (en) * 2017-01-12 2022-03-22 Navix International Limited Flattened view for intra-lumenal navigation
WO2018156809A1 (en) 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
US11417426B2 (en) 2017-02-24 2022-08-16 Masimo Corporation System for displaying medical monitoring data
EP3612127A1 (en) 2017-04-20 2020-02-26 The Cleveland Clinic Foundation System and method for holographic image-guided percutaneous endovascular percutaneous procedures
JP6951114B2 (ja) * 2017-04-27 2021-10-20 キヤノンメディカルシステムズ株式会社 医用画像診断装置及び磁気共鳴イメージング装置
CN110809804B (zh) 2017-05-08 2023-10-27 梅西莫股份有限公司 使用适配器将医疗系统与网络控制器配对的系统
US10470645B2 (en) 2017-05-22 2019-11-12 Gustav Lo Imaging system and method
CN109674533B (zh) * 2017-10-18 2022-07-05 刘洋 基于便携式彩超设备的手术导航系统及方法
WO2019091875A1 (en) * 2017-11-07 2019-05-16 Koninklijke Philips N.V. Augmented reality triggering of devices
US11179200B2 (en) * 2017-12-15 2021-11-23 Medtronic, Inc. Augmented reality solution to disrupt, transform and enhance cardiovascular surgical and/or procedural mapping navigation and diagnostics
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
AU2019262082A1 (en) * 2018-04-30 2020-06-04 Singular Health Pte Ltd Medical virtual reality and mixed reality collaboration platform
US10869727B2 (en) * 2018-05-07 2020-12-22 The Cleveland Clinic Foundation Live 3D holographic guidance and navigation for performing interventional procedures
TWI741196B (zh) * 2018-06-26 2021-10-01 華宇藥品股份有限公司 整合擴增實境之手術導航方法及系統
US10777012B2 (en) * 2018-09-27 2020-09-15 Universal City Studios Llc Display systems in an entertainment environment
US11555874B2 (en) * 2018-11-12 2023-01-17 Case Western Reserve University System and method for real-time magnetic resonance imaging data visualization in three or four dimensions
KR102270170B1 (ko) * 2018-11-14 2021-06-25 임승준 증강 현실을 이용한 수술 보조 장치
CN109364387B (zh) * 2018-12-05 2020-07-03 上海市肺科医院 一种放射治疗ar定位摆位系统
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11532132B2 (en) * 2019-03-08 2022-12-20 Mubayiwa Cornelious MUSARA Adaptive interactive medical training program with virtual patients
CN111862333A (zh) * 2019-04-28 2020-10-30 广东虚拟现实科技有限公司 基于增强现实的内容处理方法、装置、终端设备及存储介质
DE102019116269A1 (de) * 2019-06-14 2020-12-17 apoQlar GmbH Videobild-Übertragungseinrichtung, Verfahren zur Live-Übertragung und Computerprogramm
US10832486B1 (en) 2019-07-17 2020-11-10 Gustav Lo Systems and methods for displaying augmented anatomical features
CN110522514A (zh) * 2019-08-21 2019-12-03 昆明医科大学第二附属医院 一种肝胆外科手术定位追踪系统
WO2021081352A1 (en) * 2019-10-25 2021-04-29 SentiAR, Inc. Electrogram annotation system
US11871904B2 (en) * 2019-11-08 2024-01-16 Covidien Ag Steerable endoscope system with augmented view
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US20210236209A1 (en) * 2020-02-01 2021-08-05 Mediview Xr, Inc. Real time fused holographic visualization and guidance for deployment of structural heart repair or replacement product
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11295468B2 (en) * 2020-03-23 2022-04-05 Biosense Webster (Israel) Ltd. Determining an enclosing wall surface of a cavity of an organ
IT202000007252A1 (it) * 2020-04-06 2021-10-06 Artiness S R L Metodo di tracciamento di un dispositivo medico in tempo reale a partire da immagini ecocardiografiche per la supervisione olografica remota
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US20220087643A1 (en) 2020-09-23 2022-03-24 3Dintegrated Aps Patient bearing system, a robotic system
US20220122239A1 (en) 2020-10-21 2022-04-21 Johnson & Johnson Surgical Vision, Inc. Visualizing an organ using multiple imaging modalities combined and displayed in virtual reality
US20220370145A1 (en) * 2021-05-24 2022-11-24 Biosense Webster (Israel) Ltd. Gesture based selection of portion of catheter
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
CA3223724A1 (en) * 2021-08-11 2023-02-16 Jeffrey H. Yanof Augmented reality system and methods for stereoscopic projection and cross-referencing of live x-ray fluoroscopic and computed tomographic c-arm imaging during surgery
WO2023126753A1 (en) * 2021-12-31 2023-07-06 Auris Health, Inc. Two-dimensional image registration
WO2023205782A1 (en) * 2022-04-22 2023-10-26 SentiAR, Inc. Two-way communication between head-mounted display and electroanatomic system
CN116392158B (zh) * 2023-06-09 2023-08-22 北京唯迈医疗设备有限公司 一种实物体模式dsa控制与反馈装置

Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08313828A (ja) * 1995-05-16 1996-11-29 Olympus Optical Co Ltd 立体視内視鏡システム
US6556695B1 (en) * 1999-02-05 2003-04-29 Mayo Foundation For Medical Education And Research Method for producing high resolution real-time images, of structure and function during medical procedures
US20040106916A1 (en) * 2002-03-06 2004-06-03 Z-Kat, Inc. Guidance system and method for surgical procedures with improved feedback
US20050080336A1 (en) * 2002-07-22 2005-04-14 Ep Medsystems, Inc. Method and apparatus for time gating of medical images
US20050228281A1 (en) * 2004-03-31 2005-10-13 Nefos Thomas P Handheld diagnostic ultrasound system with head mounted display
CN1689518A (zh) * 2004-04-21 2005-11-02 西门子共同研究公司 使用基于图像的导航系统的增强现实仪器放置的方法
CN101422352A (zh) * 2008-12-10 2009-05-06 华北电力大学（保定） 一种交互式冠状动脉虚拟血管镜的实现方法
US20110082351A1 (en) * 2009-10-07 2011-04-07 Inneroptic Technology, Inc. Representing measurement information during a medical procedure
US20110245670A1 (en) * 2010-03-30 2011-10-06 Fujifilm Corporation Ultrasonic diagnostic apparatus
JP2011200533A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 超音波診断装置
JP2012066002A (ja) * 2010-09-27 2012-04-05 Hoya Corp 眼鏡の視野画像表示装置
US20120327186A1 (en) * 2010-03-17 2012-12-27 Fujifilm Corporation Endoscopic observation supporting system, method, device and program
US20130293690A1 (en) * 2012-05-07 2013-11-07 Eric S. Olson Medical device navigation system stereoscopic display
CN103479431A (zh) * 2013-09-26 2014-01-01 中国科学院深圳先进技术研究院 非介入式微创手术导航系统
CN103519895A (zh) * 2013-10-18 2014-01-22 江苏艾迪尔医疗科技股份有限公司 一种骨科手术辅助导引方法
US20140151853A1 (en) * 2008-12-16 2014-06-05 National University Corporation Tohoku University Ion Implantation Apparatus, Ion Implantation Method, and Semiconductor Device
CN103948432A (zh) * 2014-04-30 2014-07-30 深圳先进技术研究院 术中立体内窥视频与超声图像增强现实算法
CN104204902A (zh) * 2012-03-22 2014-12-10 索尼公司 医疗用的具有倾斜传感器的头戴式显示器
CN104470458A (zh) * 2012-07-17 2015-03-25 皇家飞利浦有限公司 用于手术仪器引导的增强现实成像系统
CN104586505A (zh) * 2014-09-19 2015-05-06 张巍 一种骨科手术导航系统及导航方法
WO2015125447A1 (en) * 2014-02-21 2015-08-27 Sony Corporation Display control device, display device and surgical endoscopic system
WO2015126466A1 (en) * 2014-02-21 2015-08-27 The University Of Akron Imaging and display system for guiding medical interventions
CN104887314A (zh) * 2015-04-21 2015-09-09 长春理工大学 用于立体内窥镜手术导航的虚拟立体内窥镜显示方法及设备
CN105342705A (zh) * 2009-03-24 2016-02-24 伊顿株式会社 利用增强现实技术的手术机器人系统及其控制方法
CN105395252A (zh) * 2015-12-10 2016-03-16 哈尔滨工业大学 具有人机交互的可穿戴式血管介入手术三维立体图像导航装置

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5662108A (en) 1992-09-23 1997-09-02 Endocardial Solutions, Inc. Electrophysiology mapping system
US7189208B1 (en) 1992-09-23 2007-03-13 Endocardial Solutions, Inc. Method for measuring heart electrophysiology
US6323971B1 (en) 2000-10-23 2001-11-27 Zebra Imaging, Inc. Hologram incorporating a plane with a projected image
US6631016B1 (en) 2001-07-18 2003-10-07 Zebra Imaging, Inc. Full-parallax holographic stereograms on curved substrates
US7206627B2 (en) * 2002-03-06 2007-04-17 Z-Kat, Inc. System and method for intra-operative haptic planning of a medical procedure
US7966058B2 (en) 2003-12-31 2011-06-21 General Electric Company System and method for registering an image with a representation of a probe
US7774044B2 (en) 2004-02-17 2010-08-10 Siemens Medical Solutions Usa, Inc. System and method for augmented reality navigation in a medical intervention procedure
WO2005112563A2 (en) 2004-04-13 2005-12-01 The University Of Georgia Research Foundation, Inc. Virtual surgical system and methods
US7604595B2 (en) * 2004-06-22 2009-10-20 General Electric Company Method and system for performing real time navigation of ultrasound volumetric data
US7376903B2 (en) 2004-06-29 2008-05-20 Ge Medical Systems Information Technologies 3D display system and method
US7983733B2 (en) 2004-10-26 2011-07-19 Stereotaxis, Inc. Surgical navigation using a three-dimensional user interface
DE102005032755B4 (de) 2005-07-13 2014-09-04 Siemens Aktiengesellschaft System zur Durchführung und Überwachung minimal-invasiver Eingriffe
US8038625B2 (en) 2005-09-15 2011-10-18 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for three-dimensional mapping of electrophysiology information
CN101325912B (zh) 2005-12-15 2011-01-12 皇家飞利浦电子股份有限公司 用于在电生理标测和治疗期间显现心脏形态的系统和方法
US8731367B2 (en) * 2006-03-01 2014-05-20 Kabushiki Kaisha Toshiba Image processing apparatus
US8165659B2 (en) * 2006-03-22 2012-04-24 Garrett Sheffer Modeling method and apparatus for use in surgical navigation
US7725157B2 (en) 2006-05-16 2010-05-25 General Electric Company System and method for interventional procedures using MRI
US7729752B2 (en) 2006-06-13 2010-06-01 Rhythmia Medical, Inc. Non-contact cardiac mapping, including resolution map
US7515954B2 (en) 2006-06-13 2009-04-07 Rhythmia Medical, Inc. Non-contact cardiac mapping, including moving catheter and multi-beat integration
JP2010502313A (ja) 2006-09-01 2010-01-28 ボエッジ メディカル， インコーポレイテッド 心房細動の治療のための方法および装置
US20080190438A1 (en) 2007-02-08 2008-08-14 Doron Harlev Impedance registration and catheter tracking
US8224432B2 (en) 2007-05-08 2012-07-17 C.R.Bard, Inc. Rapid 3D mapping using multielectrode position data
US8989842B2 (en) 2007-05-16 2015-03-24 General Electric Company System and method to register a tracking system with intracardiac echocardiography (ICE) imaging system
US8494608B2 (en) 2008-04-18 2013-07-23 Medtronic, Inc. Method and apparatus for mapping a structure
US8500284B2 (en) 2008-07-10 2013-08-06 Real View Imaging Ltd. Broad viewing angle displays and user interfaces
US8478393B2 (en) 2008-11-10 2013-07-02 Cardioinsight Technologies, Inc. Visualization of electrophysiology data
US9271664B2 (en) 2009-03-04 2016-03-01 Imricor Medical Systems, Inc. Combined field location and MRI tracking
US9398862B2 (en) 2009-04-23 2016-07-26 Rhythmia Medical, Inc. Multi-electrode mapping system
US8103338B2 (en) 2009-05-08 2012-01-24 Rhythmia Medical, Inc. Impedance based anatomy generation
US8571647B2 (en) 2009-05-08 2013-10-29 Rhythmia Medical, Inc. Impedance based anatomy generation
DE102009025077A1 (de) * 2009-06-10 2010-12-16 Karl Storz Gmbh & Co. Kg System zur Orientierungsunterstützung und Darstellung eines Instruments im Inneren eines Untersuchungsobjektes insbesondere im menschlichen Körper
US9439736B2 (en) 2009-07-22 2016-09-13 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for controlling a remote medical device guidance system in three-dimensions using gestures
US9445742B2 (en) 2009-09-01 2016-09-20 Roman A. Slizynski Electrical impedance techniques in tissue-mass detection and characterization
US8504136B1 (en) 2009-10-06 2013-08-06 University Of South Florida See-through abdomen display for minimally invasive surgery
US8819591B2 (en) * 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
US8996173B2 (en) 2010-09-21 2015-03-31 Intuitive Surgical Operations, Inc. Method and apparatus for hand gesture control in a minimally invasive surgical system
US9888973B2 (en) 2010-03-31 2018-02-13 St. Jude Medical, Atrial Fibrillation Division, Inc. Intuitive user interface control for remote catheter navigation and 3D mapping and visualization systems
IT1401669B1 (it) 2010-04-07 2013-08-02 Sofar Spa Sistema di chirurgia robotizzata con controllo perfezionato.
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US20130154913A1 (en) 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US8428700B2 (en) 2011-01-13 2013-04-23 Rhythmia Medical, Inc. Electroanatomical mapping
US9123155B2 (en) 2011-08-09 2015-09-01 Covidien Lp Apparatus and method for using augmented reality vision system in surgical procedures
US8644917B2 (en) 2011-09-20 2014-02-04 Albert Einstein Healthcare Network Cardio mapping system and method for cardio mapping
IN2014CN03103A (zh) * 2011-10-20 2015-07-03 Koninkl Philips Nv
US20130267838A1 (en) 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
IL221863A (en) 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
US20140176661A1 (en) 2012-12-21 2014-06-26 G. Anthony Reina System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom)
US20140222526A1 (en) 2013-02-07 2014-08-07 Augmedix, Inc. System and method for augmenting healthcare-provider performance
KR20140112207A (ko) 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
KR102271198B1 (ko) 2013-03-15 2021-06-29 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
EP3019913A4 (en) 2013-07-10 2017-03-08 Real View Imaging Ltd. Three dimensional user interface
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
WO2015149042A1 (en) 2014-03-28 2015-10-01 Dorin Panescu Alignment of q3d models with 3d images
WO2015168781A1 (en) 2014-05-06 2015-11-12 Conceptualiz Inc. System and method for interactive 3d surgical planning and modelling of surgical implants
US20150366628A1 (en) 2014-06-18 2015-12-24 Covidien Lp Augmented surgical reality environment system
EP3179948B1 (en) 2014-07-25 2022-04-27 Covidien LP Augmented surgical reality environment
US9412205B2 (en) 2014-08-25 2016-08-09 Daqri, Llc Extracting sensor data for augmented reality content
US9406171B2 (en) 2014-08-25 2016-08-02 Daqri, Llc Distributed aperture visual inertia navigation
US9662033B2 (en) 2014-12-31 2017-05-30 Biosense Webster (Israel) Ltd. System and method for visualizing electrophysiology data
US9538962B1 (en) 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment
US10121063B2 (en) 2015-01-12 2018-11-06 BMT Business Meets Technology Holding AG Wink gesture based control system
US10908681B2 (en) 2015-02-20 2021-02-02 Covidien Lp Operating room and surgical site awareness
EP3265011A1 (en) 2015-03-01 2018-01-10 Aris MD, Inc. Reality-augmented morphological procedure
US20160324580A1 (en) 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
EP3274912B1 (en) * 2015-03-26 2022-05-11 Biomet Manufacturing, LLC System for planning and performing arthroplasty procedures using motion-capture data
GB201510959D0 (en) 2015-06-22 2015-08-05 Ec Medica Ltd Augmented reality imaging System, Apparatus and Method
US10052170B2 (en) 2015-12-18 2018-08-21 MediLux Capitol Holdings, S.A.R.L. Mixed reality imaging system, apparatus and surgical suite
US10788791B2 (en) 2016-02-22 2020-09-29 Real View Imaging Ltd. Method and system for displaying holographic images within a real object
WO2017145158A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. Zero order blocking and diverging for holographic imaging
EP3420414A2 (en) 2016-02-22 2019-01-02 Real View Imaging Ltd. Holographic display
CA3016604A1 (en) * 2016-03-12 2017-09-21 Philipp K. Lang Devices and methods for surgery
US20220008141A1 (en) * 2016-10-04 2022-01-13 Petal Surgical, Inc. Enhanced reality medical guidance systems and methods of use
US20180092698A1 (en) * 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use

Patent Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08313828A (ja) * 1995-05-16 1996-11-29 Olympus Optical Co Ltd 立体視内視鏡システム
US6556695B1 (en) * 1999-02-05 2003-04-29 Mayo Foundation For Medical Education And Research Method for producing high resolution real-time images, of structure and function during medical procedures
US20040106916A1 (en) * 2002-03-06 2004-06-03 Z-Kat, Inc. Guidance system and method for surgical procedures with improved feedback
US20050080336A1 (en) * 2002-07-22 2005-04-14 Ep Medsystems, Inc. Method and apparatus for time gating of medical images
US20050228281A1 (en) * 2004-03-31 2005-10-13 Nefos Thomas P Handheld diagnostic ultrasound system with head mounted display
CN1689518A (zh) * 2004-04-21 2005-11-02 西门子共同研究公司 使用基于图像的导航系统的增强现实仪器放置的方法
CN101422352A (zh) * 2008-12-10 2009-05-06 华北电力大学（保定） 一种交互式冠状动脉虚拟血管镜的实现方法
US20140151853A1 (en) * 2008-12-16 2014-06-05 National University Corporation Tohoku University Ion Implantation Apparatus, Ion Implantation Method, and Semiconductor Device
CN105342705A (zh) * 2009-03-24 2016-02-24 伊顿株式会社 利用增强现实技术的手术机器人系统及其控制方法
US20110082351A1 (en) * 2009-10-07 2011-04-07 Inneroptic Technology, Inc. Representing measurement information during a medical procedure
US20120327186A1 (en) * 2010-03-17 2012-12-27 Fujifilm Corporation Endoscopic observation supporting system, method, device and program
JP2011200533A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 超音波診断装置
US20110245670A1 (en) * 2010-03-30 2011-10-06 Fujifilm Corporation Ultrasonic diagnostic apparatus
JP2012066002A (ja) * 2010-09-27 2012-04-05 Hoya Corp 眼鏡の視野画像表示装置
CN104204902A (zh) * 2012-03-22 2014-12-10 索尼公司 医疗用的具有倾斜传感器的头戴式显示器
US20130293690A1 (en) * 2012-05-07 2013-11-07 Eric S. Olson Medical device navigation system stereoscopic display
CN104470458A (zh) * 2012-07-17 2015-03-25 皇家飞利浦有限公司 用于手术仪器引导的增强现实成像系统
CN103479431A (zh) * 2013-09-26 2014-01-01 中国科学院深圳先进技术研究院 非介入式微创手术导航系统
CN103519895A (zh) * 2013-10-18 2014-01-22 江苏艾迪尔医疗科技股份有限公司 一种骨科手术辅助导引方法
WO2015125447A1 (en) * 2014-02-21 2015-08-27 Sony Corporation Display control device, display device and surgical endoscopic system
WO2015126466A1 (en) * 2014-02-21 2015-08-27 The University Of Akron Imaging and display system for guiding medical interventions
CN103948432A (zh) * 2014-04-30 2014-07-30 深圳先进技术研究院 术中立体内窥视频与超声图像增强现实算法
CN104586505A (zh) * 2014-09-19 2015-05-06 张巍 一种骨科手术导航系统及导航方法
CN104887314A (zh) * 2015-04-21 2015-09-09 长春理工大学 用于立体内窥镜手术导航的虚拟立体内窥镜显示方法及设备
CN105395252A (zh) * 2015-12-10 2016-03-16 哈尔滨工业大学 具有人机交互的可穿戴式血管介入手术三维立体图像导航装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111317562A (zh) * 2018-12-13 2020-06-23 韦伯斯特生物官能(以色列)有限公司 身体部位的合成可视化
CN113164180A (zh) * 2018-12-13 2021-07-23 德普伊新特斯产品公司 安装有显示器系统的外科器械
CN109512511A (zh) * 2019-01-14 2019-03-26 常州锦瑟医疗信息科技有限公司 基于定位导板的手术增强现实定位的方法和装置
CN114126527A (zh) * 2019-05-31 2022-03-01 直观外科手术操作公司 复合医学成像系统和方法
CN110292439A (zh) * 2019-07-31 2019-10-01 东北大学 基于增强现实的心脏支架手术辅助诊疗系统及使用方法
CN111150490A (zh) * 2020-01-15 2020-05-15 陈挺 基于ar和ai技术的心脏射频消融手术智能助手系统
CN111150490B (zh) * 2020-01-15 2021-01-29 陈挺 基于ar和ai技术的心脏射频消融手术智能助手系统
CN113648073A (zh) * 2020-05-12 2021-11-16 西门子医疗有限公司 对增强现实和/或虚拟现实的调整
CN111882941A (zh) * 2020-08-11 2020-11-03 中南大学湘雅二医院 一种基于虚拟现实的心脏大血管解剖教学系统及方法
CN113303806A (zh) * 2021-04-24 2021-08-27 华中科技大学同济医学院附属协和医院 一种无线全息显示心电监护系统及监护方法
CN115547129A (zh) * 2022-10-19 2022-12-30 肇庆医学高等专科学校 一种心脏三维可视化的ar实现系统与方法
CN115547129B (zh) * 2022-10-19 2023-10-03 肇庆医学高等专科学校 一种心脏三维可视化的ar实现系统与方法

Also Published As

Publication number Publication date
US20180200018A1 (en) 2018-07-19
WO2017165301A1 (en) 2017-09-28
EP3432780A4 (en) 2019-10-23
EP3432780A1 (en) 2019-01-30
CA3016346A1 (en) 2017-09-28
US20200107904A1 (en) 2020-04-09
US10258426B2 (en) 2019-04-16
CN108882854B (zh) 2022-05-24
CN114903591A (zh) 2022-08-16
US11771520B2 (en) 2023-10-03
AU2017236893A1 (en) 2018-09-06
US20210113293A9 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
US11771520B2 (en) System and method for virtual reality data integration and visualization for 3D imaging and instrument position data
JP6864298B2 (ja) リスクのある心臓組織の可視化のための方法およびシステム
JP6719885B2 (ja) 心内信号を利用した位置合わせマップ
Sielhorst et al. Advanced medical displays: A literature review of augmented reality
AU2004273587B2 (en) Method and device for visually supporting an electrophysiology catheter application in the heart
EP3422297B1 (en) System and method for glass state view in real-time three-dimensional (3d) cardiac imaging
JP6531170B2 (ja) 心不整脈に対する統合された基質マップを生成する方法及びシステム
JP2018171445A (ja) 二次元画像／写真を心臓の心外膜図のような３ｄ再構成上に投影する方法
US20150228254A1 (en) Systems and Methods for Generating, Storing, and Displaying Anatomical Maps
JP2014509895A (ja) 血管インターベンションプロシージャにおいてインターベンション装置の正確な誘導を支援する画像表示を提供する画像診断システム及び方法
CN113100935A (zh) 一种肺部穿刺手术术前穿刺路径规划方法及训练系统
JP2018514279A (ja) リアルタイム電気生理学的マッピングのためのシステムおよび方法
US20050228251A1 (en) System and method for displaying a three-dimensional image of an organ or structure inside the body
JP2014503272A (ja) ３ｄ又は４ｄデータセットからの投影を生成及び表示するシステム並びに方法
JP2019508127A (ja) 医療画像を使用した電気生理マッピングのための方法及びシステム
EP3666217B1 (en) Composite visualization of body part
Cameron et al. Virtual-reality-assisted interventional procedures.
JP2022529116A (ja) 心臓マッピングのためのシステム及び方法
EP4233762A2 (en) Method and system for tracking and visualizing medival devices
Ford et al. Heartpad: real-time visual guidance for cardiac ultrasound
Holmes III et al. Virtual cardioscopy: Interactive endocardial visualization to guide RF cardiac ablation
JP2023526014A (ja) 拡張現実を使用した解剖学的構造の動的位置合わせ
CN117677358A (zh) 用于手术期间现场x射线荧光透视和c形臂计算机断层扫描成像的立体投影和交叉参考的增强现实系统和方法
WO2020106664A1 (en) System and method for volumetric display of anatomy with periodic motion
Handels Medical image processing: New perspectives in computer supported diagnostics, computer aided surgery and medical education and training

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1263061

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant