CN108694743B - 将二维图像/照片投影到3d重建诸如心脏的心外膜视图上的方法 - Google Patents

将二维图像/照片投影到3d重建诸如心脏的心外膜视图上的方法 Download PDF

Info

Publication number
CN108694743B
CN108694743B CN201810269815.8A CN201810269815A CN108694743B CN 108694743 B CN108694743 B CN 108694743B CN 201810269815 A CN201810269815 A CN 201810269815A CN 108694743 B CN108694743 B CN 108694743B
Authority
CN
China
Prior art keywords
images
heart
epicardial surface
cardiac
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810269815.8A
Other languages
English (en)
Other versions
CN108694743A (zh
Inventor
木村雄弘
G.哈亚姆
N.S.卡茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mu Cunxionghong
Biosense Webster Israel Ltd
Original Assignee
Mu Cunxionghong
Biosense Webster Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mu Cunxionghong, Biosense Webster Israel Ltd filed Critical Mu Cunxionghong
Publication of CN108694743A publication Critical patent/CN108694743A/zh
Application granted granted Critical
Publication of CN108694743B publication Critical patent/CN108694743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A61B5/6852—Catheters
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B18/1482—Probes or electrodes therefor having a long rigid shaft for accessing the inner body transcutaneously in minimal invasive surgery, e.g. laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/363—Detecting tachycardia or bradycardia
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00315—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for treatment of particular body parts
    • A61B2018/00345—Vascular system
    • A61B2018/00351—Heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00571—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
    • A61B2018/00577—Ablation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00642—Sensing and controlling the application of energy with feedback, i.e. closed loop control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/023—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the heart

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Cardiology (AREA)
  • Human Computer Interaction (AREA)
  • Otolaryngology (AREA)
  • Plasma & Fusion (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Surgical Instruments (AREA)
  • Image Generation (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Endoscopes (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明题为“将二维图像/照片投影到3D重建诸如心脏的心外膜视图上的方法”。三维(3D)电标测系统和方法可用来通过将一个或多个心外膜图像与心脏结构的3D图像集成来生成心脏的心外膜表面的3D图像，该心脏结构的3D图像可由用于心脏标测和消融的实时3D定位和标测系统生成。可使用例如图像传感器或基于相机的导管以收集心外膜表面的图像来重建心脏的心外膜表面的视觉纹理表示。对于捕获的每个图像，系统和方法可存储图像数据连同相对于心脏结构的对应导管位置、取向和/或距离信息。位置、取向和/或距离信息可用来重建心脏结构的心外膜表面的3D纹理模型。

Description

将二维图像/照片投影到3D重建诸如心脏的心外膜视图上的 方法
发明内容
三维(3D)电标测系统和方法可用来通过将一个或多个心外膜图像与心脏的3D图像集成来生成心脏的心外膜表面的3D图像，该心脏的3D图像可由用于心脏标测和消融的实时3D定位和标测系统生成。可使用例如图像传感器或基于相机的导管以收集包含纹理细节的心外膜表面的图像来重建心脏的心外膜表面的视觉表示。对于捕获的每个图像，系统和方法可存储图像数据连同相对于心脏的对应导管位置、取向和/或距离信息。位置、取向和/或距离信息可用来重建心脏的心外膜表面的3D纹理模型。
附图说明
图1示出根据本文公开的由3系统生成的患者心脏的示例三维(3D)心脏图的绘制图示；
图2A为根据本文公开的示例心脏标测和消融系统的示意图；
图2B为根据本文公开的可包括在图2A的示例心脏标测和消融系统中的示例导管的示意图；
图3A、图3B和图3C示出根据本文公开的心脏结构的心包空间的示例2D图像的绘制图示；
图4为根据本文公开的用于生成心脏的心外膜表面的3D纹理重建图像的示例规程的流程图；以及
图5示出根据本文公开的用于生成心脏结构的非接触3D标测的3D几何重建图像的示例高级规程。
具体实施方式
心脏消融是由电生理学家执行的医疗规程，其通过产生病灶以破坏导致节律缺陷的心脏中的组织而可用来校正称为心律失常的心脏节律缺陷。可以使用心脏消融治疗的示例心律失常是心房纤颤(AF)，其是源自心脏的心房的异常心脏节律。
心脏消融可采用长而柔韧的导管，该导管可通过腹股沟中的小切口并且通过血管插入到心脏，并且可用来施加能量(例如射频(RF)能量或极冷)以在组织上产生小的疤痕或病灶以阻断可导致心脏节律紊乱的错误电脉冲。实时三维(3D)定位和标测技术可用于可视化心脏内导管的确切位置和取向，并且充当先进的导航系统，以使电生理学家能够可视化并且小心地引导导管以在适当的位置管理RF能量。心脏消融的目标是去除心律失常，以使患者的心脏恢复到正常的心脏节律或降低心律失常的频率和患者症状的严重程度。
用于心脏消融的实时3D定位和标测系统的示例是由强生公司(Johnson&Johnson)的子公司Biosense有限公司(Biosense/>Inc.)生产的/>3系统。/>3系统使用电磁技术来创建患者心脏结构的3D图，并且显示心脏中导管(或其它对象)的确切位置和取向。/>3系统补偿患者和心脏运动，以确保心脏结构的精确、实时可视化。
图1示出由3系统生成的患者的心脏100的示例3D心脏图。导管102的位置和取向在患者的心脏100的3D可视化内示出。导管102可为治疗和/或诊断导管。其它对象和图像虽然未示出，但可包括在图1所示的3D可视化中，诸如但不限于以下：附加导管和装置的位置和取向；用于在标测心脏100内取向的3D合成心脏模型；有助于方向性(例如，上、下、后、前)取向的二维(2D)图像；以及荧光镜透视检查图像或其它背景图像。
图2A为根据本文公开的具有集成实时3D定位和标测技术(例如，3系统或其它3D定位和标测技术)的示例心脏标测和消融系统200的示意图。心脏标测和消融系统200可包括但不限于包括以下部件中的任一者：控制台系统201；心外传感器214；参考装置群集215；能量源219；和/或(一个或多个)导管220。控制台系统201可包括但不限于包括以下部件中的任一者：(一个或多个)处理装置202；本地存储装置208；视觉显示装置216；和/或(一个或多个)操作员界面218；心脏标测和消融系统200的某些元件可直接使用在患者205上、患者205体内和/或患者205附近，以便采集用于可视化、诊断以及执行消融治疗的信息。可将该信息提供到控制台系统201以用于处理、可视化以及操作员控制和指导，其中一些在下面描述。
参考装置群集215(例如，可被称为定位垫)可包括定位在患者205下方的计算机控制的(例如，由(一个或多个)处理装置202控制的)磁体的环。磁体可具有可用作周围空间中的磁场的原点参考的已知和固定的强度和位置值，并且可将参考信息提供到(一个或多个)处理装置202以用于产生心脏的精确3D图像。
例如，(一个或多个)心外传感器214可为患者205的皮肤上的电极。(一个或多个)心外传感器214可经由检测由于心脏的电生理模式而引起的皮肤上的电变化来检测心脏的电活动，并且将关于电活动的信息提供到(一个或多个)处理装置202以用于诊断心律失常并且确定治疗过程。由(一个或多个)心外传感器214所检测的心外信号的处理版本可显示在视觉显示装置216上。
出于治疗和诊断目的，可在患者205上使用一个或多个装置。在示例心脏标测和消融系统200中，出于这些目的示出并且描述(一个或多个)导管220；然而，其它装置可用于诊断和/或治疗处理。
一个或多个导管220可由医师通过患者205的血管系统经由皮肤插入到患者205的心脏中。出于采集用于诊断标测和/或递送治疗处理(例如，执行消融)的信息的目的，(一个或多个)导管220可配备有位置和/或电传感器。不同类型的(一个或多个)导管220可用于包括但不限于以下示例类型：固定导管；可偏转导管；双向导管；单向导管；三尖瓣标测导管；晕状末端导管；篮状导管和/或套索状导管。当(一个或多个)导管220用于例如通过施加RF能量在目标位置(例如，沿路径的一个或多个位置)上执行消融时，(一个或多个)导管220可从能量源219接收RF能量，如可由(一个或多个)处理装置202所指示的。在示例中，(一个或多个)导管220可直接从能量源219请求RF能量。
在图2B中更详细地示出示例导管220，该图2B示出可包括在导管220中的元件中的一些而非全部。导管220可包括但不限于包括以下部件中的任一者或多者：(一个或多个)电极222；非接触电极224；(一个或多个)图像传感器225；(一个或多个)定位传感器226；远侧末端228；远侧端部230；柄部232；和/或电缆240。
导管220的远侧端部230可包括远侧末端228处的(一个或多个)电极222，该(一个或多个)电极222可用来测量心脏组织的电特性。出于诊断目的，(一个或多个)电极222还可用来将电信号发送到心脏。(一个或多个)电极222还可通过将能量(例如，RF能量)直接施加到期望的消融位置处的心脏组织来对有缺陷的心脏组织执行消融。
远侧端部230可包括布置成阵列的非接触电极224，该非接触电极224可用来同时接收并且测量来自患者205的心室壁的远场电信号。(一个或多个)电极222和非接触电极224将关于心脏的电特性的信息提供到(一个或多个)处理装置202以用于进行处理。
(一个或多个)导管220可配备有一个或多个图像传感器225，诸如电荷耦合装置(CCD)图像传感器和/或用于在插入到体腔中时捕获内窥镜图像的相机。(一个或多个)图像传感器225可位于远侧端部230处。
远侧端部230可包括导管220的远侧末端228中的(一个或多个)定位传感器226(也称为位置传感器)，该(一个或多个)定位传感器226可生成用来确定导管220在体内的位置和取向(和/或距离)的信号。在示例中，(一个或多个)定位传感器226、(一个或多个)电极222和远侧末端的相对定位和取向是固定的并且是已知的，以便于远侧末端的精确定位信息。例如，(一个或多个)定位传感器226的位置可部分地基于心脏外已知位置的相对位置(例如，基于心外传感器214)来确定。(一个或多个)定位传感器226的使用可在周围空间中的磁场内提供改进的位置精确度并且提供适合于患者移动的位置信息，因为导管220的位置信息是相对于患者205的解剖结构的。
导管220的柄部232可由医师操作并且可包括控制器234以使医师能够使远侧末端228在期望的方向上有效地转向。
电极222、电极224和传感器226可经由可穿过柄部232和电缆240的导线连接到(一个或多个)处理装置202，以便将电和位置信息提供到控制台系统201，该控制台系统201可用来在心脏内实时操作并且显示导管220的功能。
参考图2A，在控制台系统201内，(一个或多个)处理装置202可包括例如可包含在计算机内部的一个或多个信号处理电路。(一个或多个)处理装置202可以以硬件实现和/或以软件编程以执行心脏标测和消融系统200的功能。该软件可例如通过网络以电子形式下载到(一个或多个)处理装置202，和/或其可被设置在有形介质，诸如磁性或光学介质或其它非易失性存储器上。例如，可通过将软件模块下载并且安装到(一个或多个)处理装置202来增强心脏标测和消融系统200的心脏可视化和诊断能力。在示例中，(一个或多个)处理装置202可包括通用计算机。
(一个或多个)处理装置202可接收、放大、过滤和/或数字化来自导管220的信号(携带信息或数据)，该信号包括由(一个或多个)定位传感器226、(一个或多个)末端电极222和/或非接触电极224生成的信号。信号被(一个或多个)处理装置202接收并使用以计算导管220的位置和取向以及心室的电特性。在示例中，适当的电路可与导管220自身相关联，使得(一个或多个)处理装置202接收已放大、过滤和/或数字化的信号。
(一个或多个)处理装置202还可用来生成并且发送包含信息或指令的信号到心脏标测和消融系统200中的其它元件。例如，(一个或多个)处理装置202可生成并且发送实时3D心脏图信息以用于在视觉显示装置216上显示。在另一个示例中，(一个或多个)处理装置202可向本地存储装置208发送信息/从本地存储装置208接收信息。在另一个示例中，(一个或多个)处理装置202可将信号发送到(一个或多个)导管220以将由能量源219提供的RF能量施加到消融目标。
如上所述，(一个或多个)处理装置202可实现特定功能，其可在(一个或多个)处理装置202内被表示(例如，例示性地或物理地)为独立单元。例如，(一个或多个)处理装置202可包括解码器单元204(例如，以硬件实现为处理电路和/或以软件实现为软件模块)，该解码器单元204可被配置成从导管220中的(一个或多个)定位传感器226接收位置信号，并且可使用位置信号以计算用于导管远侧末端228的位置、取向、距离、温度和/或心电图(ECG)值。
在另一个示例中，(一个或多个)处理装置202可包括用于向系统200中的其它装置发送指令的控制器单元207。例如，控制器单元207可将指令发送到能量源219以将RF能量提供到(一个或多个)导管220以用于消融，并且可将指令发送到(一个或多个)导管220以将RF能量施加到消融目标(例如沿路径的一个或多个位置)。
在另一个示例中，(一个或多个)处理装置202可包括3D图像重建单元206(例如，以硬件实现为处理电路和/或以软件实现为软件模块)，该3D图像重建单元206可被配置成从医学成像系统(未示出)，诸如磁共振成像(MRI)系统和/或计算机断层摄影(CT)系统收集图像数据，以及从(一个或多个)导管220(例如，从图2B中的(一个或多个)图像传感器225)收集图像数据。3D图像重建单元206可使用图像数据构建患者205的心室的模拟表面，并且将其提供到视觉显示装置216以用于显示，如下面另外描述的。
处理单元204、处理单元206和处理单元207是示例，并且不包括可在(一个或多个)处理装置202中实现的所有可能的功能。其它功能和/或处理单元可被包括在(一个或多个)处理装置202中但未被示出。
视觉显示装置216可用来基于在(一个或多个)处理装置202中完成的信息处理来示出心脏的2D和/或3D视觉表示和/或图并且示出导管220在心脏内的确切位置和取向。例如，图可被显示为解剖图、心脏电激活图、心脏电传播图、心脏电势图、阻抗图、心室几何形状和ECG片段图。
除了心脏表示/图和(一个或多个)导管之外，还可在视觉显示装置216上显示与标测、诊断和治疗规程相关的其它观察对象和/或信息(例如，标签、诊断等)。心脏标测的3D视觉表示是关键工具，该关键工具由医师用来提供精确和实时的视觉引导以用于执行诊断和治疗性心脏手术，诸如心脏消融。
(一个或多个)操作员界面218可由一个或多个操作员用来与心脏标测和消融系统200交互并且控制心脏标测和消融系统200。(一个或多个)操作员界面218可包括但不限于包括以下装置：键盘；和/或鼠标。(一个或多个)操作员界面218可允许操作员访问并且操纵视觉信息，并且可向他们提供标记或标注病灶以保持跟踪用于个体患者的治疗策略的能力。
心脏标测和消融系统200的操作员可包括但不限于包括以下：医师(例如电生理学家)，其可例如控制导管、采集和解释诊断并且执行消融规程；以及临床应用专家(CAS)，其在规程期间作为医师的助手起作用。
室性心动过速(VT或V-心动过速)是由心室中不适当的电活动引起的心律失常的类型，该心室为心脏的下泵室。例如，正常心脏每分钟可跳动60次至100次(bpm)，其中心脏的心房首先收缩，随后心室以同步方式收缩。在VT中，心室以快的速度跳动，例如120bpm至300bpm，并且不再与心房协调。VT存在不同程度的严重程度，其中更严重的情况可能导致心室纤颤或心脏骤停。
可使用消融治疗，例如使用本文所述的工具和规程来治疗VT。在一些情况下，医师可确定VT源自心脏的外表面上或心外膜(即，直接围绕心肌的结缔组织和脂肪层)上的电路。对于可发生在心外膜上的VT，可将心脏消融施加到心外膜以治疗VT。例如，可在胸骨正下方进行到心脏周围的囊(心外膜)中的穿刺以插入导管(例如，图2A中的导管220)。可在心外膜内操纵导管以确定VT是否起源于那里。如果VT位于心外膜上，则消融治疗可作为TV治疗的一部分施加到心外膜。
现有的心脏标测和消融系统缺乏用于诊断和治疗心外膜上的心脏状况，诸如VT的心外膜表面的细节和纹理的可视化。例如，可需要了解心外膜表面上的冠状动脉、小血管、脂肪组织和/或疤痕区域以执行安全和有效的消融治疗。可需要大量的照片以有效地显示并且视觉上重建3D对象，诸如包含心外膜的表面和纹理的细节的心脏的外视图。
根据实施方案，视频辅助3D电标测系统可用来通过将一个或多个2D心外膜图像与心脏结构的3D图集成来生成心脏的心外膜表面的总3D图像，该心脏结构的3D图可由用于心脏消融的实时3D定位和标测系统(例如3系统)生成。可使用例如图像传感器或基于相机的导管以收集心外膜表面的图像流来重建心脏的心外膜表面的3D视觉表示。图像传感器的示例可为电荷耦合装置(CCD)图像传感器，该电荷耦合装置(CCD)图像传感器收集作为电荷存储在光传感器阵列中的像素以提供高质量和高分辨率图像。
对于捕获的每个2D心外膜图像，系统可存储图像数据连同对应导管位置、取向和/或距离。在示例中，导管位置、取向和/或距离可相对于外部传感器(例如，图2A中的定位垫和/或参考装置群集215)来定义，该外部传感器还用于所有图像以确保一致的相对位置、取向和/或距离信息，并且能够将心脏结构的方面的多个图像精确地拼接在一起或组合。因此，导管图像传感器(或相机)的位置、取向和/或距离可用来通过将已知位置/取向/距离处的照片添加到心脏的3D图而使用2D照片(图像)来配准并且重建3D对象。
图3A、图3B和图3C示出根据本文公开的心脏结构的心包空间(包括心外膜)的示例2D图像300A、示例2D图像300B和示例2D图像300C的绘制图示。例如，示例2D图像300A、示例2D图像300B和/或示例2D图像300C可由安装图像传感器的导管302(例如，图2A和图2B中的导管220)捕获，该导管302通过穿刺部位插入到心包空间中。示例图像300A、示例图像300B和示例图像300C捕获心外膜表面的纹理细节，包括但不限于以下：冠状动脉304；小血管306；脂肪组织308；和/或疤痕病灶(未示出)(并非标记或示出心外膜表面的所有部件)。
根据本文所述的实施方案，图4中的示例规程400可用来将心包表面的多个2D图像(例如，图3A至图3C中的图像300A至图像300C)与心脏的3D几何图像或图(例如，图1)集成以生成包含纹理细节的心脏的心外膜表面的3D重建图像。
图4为根据本文公开的用于生成心脏的心外膜表面的3D纹理重建图像的示例规程400的流程图。在402处，心脏结构的解剖数据可被获取并且用来生成心脏结构的3D模型(或图或图像)。例如，心脏结构的3D模型可使用实时3D心脏定位和标测系统诸如3系统来生成。心脏结构的3D模型缺乏心外膜的表面的纹理细节。
为了补救缺乏心外膜的细节，在404处，可将基于图像传感器(或相机)的导管插入到心外膜中以收集示出心外膜的纹理细节的心外膜表面的2D图像。图像可例如使用CCD图像传感器(例如，安装在导管或内窥镜上的)来生成，并且可示出心外膜的表面的全部细节，包括但不限于：小血管；冠状动脉；脂肪组织；和/或疤痕区域。在406处，针对每个心外膜图像，可存储以下数据：图像数据；相关联的位置数据；相关联的取向数据；和/或相关联的距离数据。例如，在步骤404中收集的图像信息可以以表格存储在存储装置中，该表格包括与每个图像相关联的位置/取向/距离信息。例如，针对2D心外膜图像的位置/取向/距离信息可基于安装图像传感器的导管相对于外部参考(例如，外部传感器或外部定位垫)的相对位置。
在408处，与每个2D心外膜图像相关联的位置/取向/距离信息可用来在适当位置中将2D图像与心脏结构的3D模型组合以生成心外膜表面的3D纹理图。例如，可使用用于从2D图像进行多视点3D重建的任何算法，其可包括使用位置/取向/距离信息将2D图像拼接到3D模型的适当位置处。在实施方案中，(在步骤404期间)可捕获2D图像和/或在步骤408期间选择2D图像，以最小化重叠和冗余图像信息的量，并且因此减少心外膜的3D图像重建所需的照片的数量。在410处，心脏结构的心外膜表面的3D纹理图可显示在视觉显示装置(例如，图2A中的视觉显示装置216)上，以由医师或操作员在心脏状况的诊断和/或治疗(例如，VT的消融治疗)期间使用。
因此，根据示例规程400，来自导管的位置、取向和/或距离信息的使用可用来标测到心外膜空间图像以配准并且构建心脏的精确3D模型，以不仅可视化心室上的表面，而且还可视化心室(心外膜)的表面的纹理。来自导管图像传感器(相机)的位置、取向和/或距离信息的使用还可通过最小化所使用的照片中的重叠信息的量并且使能够丢弃冗余照片来使能够使用较少的心外膜表面的2D照片。
根据示例实施方案，用于生成心脏结构的3D重建图像的方法可使用非接触几何构造(例如，使用非接触传感器)，并且因此可通过提供心脏结构的可视化来提供更有效和更安全的消融。图5示出根据本文公开的用于生成心脏结构(无纹理)的非接触3D标测的3D几何重建图像510的示例高级规程500。在图5的示例中，心脏结构的2D图像502和2D图像504(可能连同未示出的其它2D图像)可以不同角度拍摄，并且被提供给算法506以创建3D几何心脏图像510。心脏图像502和心脏图像504可为例如通过将内窥镜/导管插入到心脏结构中和/或通过成像系统(MRI、CT)获得的图像，并且算法506可为任何多视点3D重建算法。在示例中，规程500可用来在图4所示的规程400的步骤402中获得心脏结构的3D模型。
本文所述的实施方案和规程可以硬件和/或软件来实现。用于执行消融的计算机系统可能够运行引入包括本文所述的规程的附加特征的软件模块。本文所述的规程可使能够实现先进的心脏可视化和诊断能力以增强临床医生诊断和治疗心脏节律紊乱的能力。虽然本文所公开的规程是相对于心脏内的消融规程而描述的，但该规程可类似地用于身体其它部分中的消融。
应当理解，基于本文的公开内容，许多变型都是可能的。虽然在上面以特定组合描述了特征和元件，但是每个特征或元件可以单独使用而无需其它特征和元件，或在具有或不具有其它特征和元件的情况下以各种组合使用。
所提供的方法包括在通用计算机、处理器或处理器核中的实现。合适的处理器包括例如：通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其它类型的集成电路(IC)和/或状态机。可通过使用经处理的硬件描述语言(HDL)指令和包括网络表的其它中间数据的结果(此类指令能够被存储在计算机可读介质上)来配置制造过程，制造此类处理器。此类处理的结果可以是掩码作品(maskwork)，其随后在半导体制造过程中用于制造实现本文所述的方法的处理器。
本文提供的方法或流程图可在并入非暂态计算机可读存储介质中的计算机程序、软件或固件中实现，以供通用计算机或处理器执行。非暂态计算机可读存储介质的示例包括ROM、随机存取存储器(RAM)、寄存器、高速缓冲存储器、半导体存储器装置、磁介质诸如内部硬盘和可移动盘、磁光介质和光学介质，诸如CD-ROM盘，以及数字通用盘(DVD)。

Claims (15)

1.一种被配置成生成心脏结构的心外膜表面的三维3D重建图像的系统，所述系统包括：
处理装置，所述处理装置被配置成获取所述心脏结构的解剖数据并且生成所述心脏结构的3D模型；
导管，所述导管被插入到所述心脏结构的心外膜中，所述导管包括：
图像传感器，所述图像传感器位于所述导管的远侧端部处并且被配置成捕获所述心脏结构的所述心外膜表面的多个图像，并且将所述多个图像提供到所述处理装置，其中所述多个图像包含所述心外膜表面的纹理；
至少一个位置传感器，所述至少一个位置传感器位于所述导管的远侧端部处并且被配置成针对所述多个图像中的每个图像生成对应位置、取向和距离信息，并且将所述对应位置、取向和距离信息提供到所述处理装置；
所述处理装置还被配置成通过使用所述对应位置、取向和距离信息将所述多个图像拼接到所述心脏结构的所述3D模型来生成所述心脏结构的所述心外膜表面的3D纹理图；
所述处理装置被配置成将所述心脏结构的所述心外膜表面的所述3D纹理图提供到视觉显示装置；以及
所述视觉显示装置，所述视觉显示装置被配置成视觉上显示所述心脏结构的所述心外膜表面的所述3D纹理图，
其中所述处理装置被配置成通过基于所述对应位置、取向和距离信息从所述心脏结构的所述心外膜表面的所述多个图像中选择图像子集以最小化所述图像子集中的冗余信息来生成所述心脏结构的所述心外膜表面的所述3D纹理图。
2.根据权利要求1所述的系统，其中所述处理装置还被配置成将所述多个图像以及所述对应位置、取向和距离信息存储在本地存储装置中。
3.根据权利要求1所述的系统，其中所述心脏结构的所述心外膜表面的所述3D纹理图示出冠状动脉、小血管、脂肪组织或疤痕病灶中的至少一者。
4.根据权利要求1所述的系统，其中所述对应位置、取向和距离信息相对于外部参考。
5.根据权利要求1所述的系统，其中：
所述处理装置被配置成使用多视点3D重建算法生成所述心脏结构的所述3D模型。
6.根据权利要求1所述的系统，其中所述图像传感器是电荷耦合装置(CCD)图像传感器。
7.根据权利要求1所述的系统，其中所述心脏结构的所述心外膜表面的所述3D纹理图由医师用来对所述心脏结构的所述心外膜执行消融治疗。
8.根据权利要求7所述的系统，其中所述消融治疗用来治疗室性心动过速(VT)。
9.根据权利要求1所述的系统，被配置成使用非接触传感器。
10.一种用于生成心脏结构的心外膜表面的三维3D重建图像的方法，所述方法包括：
获取所述心脏结构的解剖数据并且生成所述心脏结构的3D模型；
选择所述心脏结构的所述心外膜表面的多个图像，其中所述多个图像包含所述心外膜表面的纹理，并且通过使用针对所述多个图像中的每个图像的对应位置、取向和距离信息将所述多个图像拼接到所述心脏结构的所述3D模型来生成所述心脏结构的3D纹理图；以及
视觉上显示所述心脏结构的所述心外膜表面的所述3D纹理图，其中生成所述心脏结构的所述心外膜表面的所述3D纹理图包含基于所述对应位置、取向和距离信息从所述心脏结构的所述心外膜表面的所述多个图像中选择图像子集以最小化所述图像子集中的冗余信息。
11.根据权利要求10所述的方法，还包括：
存储所述多个图像以及所述对应位置、取向和距离信息。
12.根据权利要求10所述的方法，其中所述心脏结构的所述心外膜表面的所述3D纹理图示出冠状动脉、小血管、脂肪组织或疤痕病灶中的至少一者。
13.根据权利要求10所述的方法，其中所述对应位置、取向和距离信息相对于外部参考。
14.根据权利要求10所述的方法，其中：
生成所述心脏结构的所述3D模型使用多视点3D重建算法。
15.根据权利要求10所述的方法，其中所述生成所述心脏结构的所述心外膜表面的所述3D纹理图使用非接触传感器。
CN201810269815.8A 2017-03-31 2018-03-29 将二维图像/照片投影到3d重建诸如心脏的心外膜视图上的方法 Active CN108694743B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/476097 2017-03-31
US15/476,097 US10765371B2 (en) 2017-03-31 2017-03-31 Method to project a two dimensional image/photo onto a 3D reconstruction, such as an epicardial view of heart

Publications (2)

Publication Number Publication Date
CN108694743A CN108694743A (zh) 2018-10-23
CN108694743B true CN108694743B (zh) 2023-10-03

Family

ID=62001944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810269815.8A Active CN108694743B (zh) 2017-03-31 2018-03-29 将二维图像/照片投影到3d重建诸如心脏的心外膜视图上的方法

Country Status (6)

Country Link
US (1) US10765371B2 (zh)
EP (1) EP3382714B1 (zh)
JP (1) JP7123602B2 (zh)
CN (1) CN108694743B (zh)
CA (1) CA2999633A1 (zh)
IL (1) IL258199B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111936045B (zh) * 2018-02-07 2023-07-18 波士顿科学医学有限公司 标测和表征冠状血管以进行心外膜消融的系统和方法
US20190314083A1 (en) 2018-04-11 2019-10-17 Biosense Webster (Israel) Ltd. Flexible Multi-Arm Catheter with Diametrically Opposed Sensing Electrodes
US11045628B2 (en) 2018-12-11 2021-06-29 Biosense Webster (Israel) Ltd. Balloon catheter with high articulation
CN109745037B (zh) * 2019-02-14 2022-06-24 广州视源电子科技股份有限公司 一种图像处理方法、装置、设备和存储介质
US11850051B2 (en) 2019-04-30 2023-12-26 Biosense Webster (Israel) Ltd. Mapping grid with high density electrode array
CN110782994A (zh) * 2019-10-29 2020-02-11 上海交通大学医学院附属新华医院 一种新型采用mimics软件测量心外膜脂肪的方法
US11950930B2 (en) 2019-12-12 2024-04-09 Biosense Webster (Israel) Ltd. Multi-dimensional acquisition of bipolar signals from a catheter
US11517218B2 (en) 2019-12-20 2022-12-06 Biosense Webster (Israel) Ltd. Selective graphical presentation of electrophysiological parameters
US11987017B2 (en) 2020-06-08 2024-05-21 Biosense Webster (Israel) Ltd. Features to assist in assembly and testing of devices
US20220079462A1 (en) * 2020-09-16 2022-03-17 Biosense Webster (Israel) Ltd. Systems and methods for cardiac chamber visualization
US11950840B2 (en) 2020-09-22 2024-04-09 Biosense Webster (Israel) Ltd. Basket catheter having insulated ablation electrodes
US11950841B2 (en) 2020-09-22 2024-04-09 Biosense Webster (Israel) Ltd. Basket catheter having insulated ablation electrodes and diagnostic electrodes
US11974803B2 (en) 2020-10-12 2024-05-07 Biosense Webster (Israel) Ltd. Basket catheter with balloon
CN112767530B (zh) * 2020-12-17 2022-09-09 中南民族大学 心脏图像三维重建方法、装置、设备及存储介质
US11918383B2 (en) 2020-12-21 2024-03-05 Biosense Webster (Israel) Ltd. Visualizing performance of catheter electrodes
WO2022147253A1 (en) * 2021-01-04 2022-07-07 The Trustees Of The University Of Pennsylvania Device for cardiac imaging and epicardial ablation and methods of use thereof
WO2023147544A2 (en) * 2022-01-28 2023-08-03 Shifamed Holdings, Llc Systems and methods for imaging and anatomical modeling

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411795A (zh) * 2011-08-16 2012-04-11 中国人民解放军第三军医大学第一附属医院 一种关于冠状动脉的多模图像的联合显示方法
WO2013044182A1 (en) * 2011-09-22 2013-03-28 The George Washington University Systems and methods for visualizing ablated tissue
CN103202727A (zh) * 2012-01-12 2013-07-17 通用电气公司 非侵入式心律失常治疗系统
WO2014046214A1 (ja) * 2012-09-20 2014-03-27 株式会社東芝 画像処理システム、ｘ線診断装置及び画像処理方法
WO2015168066A1 (en) * 2014-05-01 2015-11-05 Endochoice, Inc. System and method of scanning a body cavity using a multiple viewing elements endoscope
CN105125279A (zh) * 2014-06-02 2015-12-09 韦伯斯特生物官能(以色列)有限公司 心脏消融位点之间的间隙的识别和可视化
CN106535741A (zh) * 2014-04-02 2017-03-22 西门子保健有限责任公司 用于根据医学图像和体表电位来表征心脏的电性质的系统和方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5435310A (en) 1993-06-23 1995-07-25 University Of Washington Determining cardiac wall thickness and motion by imaging and three-dimensional modeling
US6650927B1 (en) 2000-08-18 2003-11-18 Biosense, Inc. Rendering of diagnostic imaging data on a three-dimensional map
WO2003096890A2 (en) 2002-05-22 2003-11-27 Koninklijke Philips Electronics N.V. Medical viewing system and image processing for integrated visualisation of medical data
US7599730B2 (en) * 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
IL170404A (en) * 2004-08-26 2012-03-29 C2Cure Inc Wireless determination of endoscope orientation
WO2007025081A2 (en) * 2005-08-24 2007-03-01 Traxtal Inc. System, method and devices for navigated flexible endoscopy
US7515954B2 (en) 2006-06-13 2009-04-07 Rhythmia Medical, Inc. Non-contact cardiac mapping, including moving catheter and multi-beat integration
JP5599709B2 (ja) 2007-09-03 2014-10-01 コーニンクレッカ フィリップス エヌ ヴェ ボクセルデータの可視化
US8177835B2 (en) * 2009-08-21 2012-05-15 Siemens Aktiengesellschaft Method of imaging for heart valve implant procedure
US8634896B2 (en) 2010-09-20 2014-01-21 Apn Health, Llc 3D model creation of anatomic structures using single-plane fluoroscopy
US20140088457A1 (en) 2012-09-26 2014-03-27 Covidien Lp Bleeding containment device
US9775578B2 (en) * 2013-08-12 2017-10-03 Biosense Webster (Israel) Ltd. Unmapped region visualization
JP6737705B2 (ja) * 2013-11-14 2020-08-12 ザ・ジョージ・ワシントン・ユニバーシティＴｈｅ Ｇｅｏｒｇｅ Ｗａｓｈｉｎｇｔｏｎｕｎｉｖｅｒｓｉｔｙ 損傷部位の深さを決定するシステムの動作方法及び心臓組織の画像を生成するシステム
US20160128553A1 (en) * 2014-11-07 2016-05-12 Zheng Jason Geng Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same
US10105117B2 (en) 2015-02-13 2018-10-23 Biosense Webster (Israel) Ltd. Compensation for heart movement using coronary sinus catheter images
KR20180005684A (ko) * 2015-05-07 2018-01-16 지멘스 악티엔게젤샤프트 해부학적 모델 증강을 통한 복강경 수술 절차들의 안내를 위한 시스템 및 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411795A (zh) * 2011-08-16 2012-04-11 中国人民解放军第三军医大学第一附属医院 一种关于冠状动脉的多模图像的联合显示方法
WO2013044182A1 (en) * 2011-09-22 2013-03-28 The George Washington University Systems and methods for visualizing ablated tissue
CN104066368A (zh) * 2011-09-22 2014-09-24 乔治华盛顿大学 用于使经消融组织可视化的系统和方法
CN103202727A (zh) * 2012-01-12 2013-07-17 通用电气公司 非侵入式心律失常治疗系统
WO2014046214A1 (ja) * 2012-09-20 2014-03-27 株式会社東芝 画像処理システム、ｘ線診断装置及び画像処理方法
CN106535741A (zh) * 2014-04-02 2017-03-22 西门子保健有限责任公司 用于根据医学图像和体表电位来表征心脏的电性质的系统和方法
WO2015168066A1 (en) * 2014-05-01 2015-11-05 Endochoice, Inc. System and method of scanning a body cavity using a multiple viewing elements endoscope
CN105125279A (zh) * 2014-06-02 2015-12-09 韦伯斯特生物官能(以色列)有限公司 心脏消融位点之间的间隙的识别和可视化

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Gudrun M. Feuchtner等.Fusion of multislice computed tomography and electroanatomical mapping data for 3D navigation of left and right atrial catheter ablation.SCIENCEDIRECT.2008,全文. *
牟文英 ; 马长生 ; 蒋晨曦 ; 李松南 ; 桑才华 ; 汤日波 ; 董建增 ; .用于复杂心律失常的新型三维标测系统研究.中国医疗设备.2017,(02),全文. *

Also Published As

Publication number Publication date
EP3382714A1 (en) 2018-10-03
CN108694743A (zh) 2018-10-23
US20180279954A1 (en) 2018-10-04
IL258199B (en) 2021-04-29
EP3382714B1 (en) 2023-02-15
JP2018171445A (ja) 2018-11-08
US10765371B2 (en) 2020-09-08
IL258199A (en) 2018-05-31
CA2999633A1 (en) 2018-09-30
JP7123602B2 (ja) 2022-08-23

Similar Documents

Publication Publication Date Title
CN108694743B (zh) 将二维图像/照片投影到3d重建诸如心脏的心外膜视图上的方法
JP7047016B2 (ja) 心内信号を利用した位置合わせマップ
US8515527B2 (en) Method and apparatus for registering 3D models of anatomical regions of a heart and a tracking system with projection images of an interventional fluoroscopic system
EP1962689B1 (en) System for visualizing heart morphology during electrophysiology mapping and treatment
US8195271B2 (en) Method and system for performing ablation to treat ventricular tachycardia
KR100700904B1 (ko) 심실의 상태를 심장 내에서 측정하는 방법 및 장치
US7327872B2 (en) Method and system for registering 3D models of anatomical regions with projection images of the same
EP1760661B1 (en) Segmentation and registration of multimodal images using physiological data
EP3092944A1 (en) Combined electrophysiological mapping and cardiac ablation methods, systems, components and devices
WO2017165301A1 (en) Virtual reality or augmented reality visualization of 3d medical images
US20090105579A1 (en) Method and apparatus for remotely controlled navigation using diagnostically enhanced intra-operative three-dimensional image data
US20060116575A1 (en) Method and system for registering an image with a navigation reference catheter
US20090163800A1 (en) Tools and methods for visualization and motion compensation during electrophysiology procedures
JP2008523921A (ja) ４ｄイメージングを用いて心臓不整脈を処置する方法及びシステム
US20090076373A1 (en) Medical imaging facility, in particular for producing image recordings in the context of a treatment of cardiac arrhythmias, and associated method
JP2017217474A (ja) 医用画像診断装置及び医用画像処理装置
US20110019892A1 (en) Method and apparatus for visually supporting an electrophysiological catheter application
JP6727936B2 (ja) 冠状静脈洞のカテーテル画像の位置合わせ
EP3669758A1 (en) Electrocardiographic imaging system
Fallavollita Monoplane 3D reconstruction of mapping ablation catheters: a feasibility study

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant