CN112819789A - 用于心脏评估的设备和方法 - Google Patents

Abstract

本文描述了与心脏评估相关联的基于神经网络的系统、方法和装置。本文所述的设备可以获得与人类心脏相关联的心电图成像(ECGI)信息和与人类心脏相关联的磁共振成像(MRI)信息，并且使用机器学习模型来集成ECGI和MRI信息。使用集成的ECGI和MRI信息，设备可以预测目标消融部位，估计电生理(EP)测量结果和/或模拟人类心脏的电系统。

Description

用于心脏评估的设备和方法

相关申请的交叉引用

本申请要求2020年2月28日提交的临时美国专利申请号62/983,017的权益，此处以引证的方式将该申请的公开内容全文并入。

技术领域

本申请涉及医疗领域，尤其是心脏相关领域。

背景技术

电生理(EP)检查可以用于评估人类心脏的电活动，从中可以检测和治疗诸如不规则心跳的异常状况(例如，使用诸如导管消融术的技术)。EP检查的一般过程可以涉及将导管插入人体以直接从心脏表面测量电信号。这些过程是耗时的、侵入性的，并且易于引起医学并发症。近年来，心电图成像(ECGI)已经作为一种用于测量心电活动的新技术出现。在ECGI期间，电极被放置在患者身体的不同点(例如，胸部、手臂等)以测量体表的电位。基于所测量的体表电位和可以从计算机断层成像(CT)图像导出的心脏-躯干模型，例如通过求解心电图的逆问题，在心脏-躯干模型上重建患者心脏的电特性，包括心外膜电位、电描记图和/或等时线。

虽然ECGI已经作为用于对心脏电生理学进行成像的非侵入性手段显示出了巨大的希望，但是它仅提供关于患者心脏的心外膜电信息，无法揭示心脏的心内膜电活动。而且，心脏的电系统是高度复杂的。尽管在使用ECGI技术理解和映射心脏的电系统方面已经取得了巨大的进步，但是这些技术所依赖的物理模型的准确度仍然不足，并且计算负担通常较高，以至于阻碍了技术在许多临床应用领域中的部署。

因此，可能非常期望开发用于评估人类心脏的电活动的快速且非侵入性的系统和方法。还可能期望用经由其它心脏成像模式收集的信息来补充通过ECGI获得的信息，以获得人类心脏的整体视图并提高心脏手术的有效性和准确度。

发明内容

本文描述了与心脏评估相关联的基于神经网络的系统、方法和装置。本文所述的设备可以包括一个或多个处理器，其被配置为获得并集成与人类心脏相关联的心电图成像(ECGI)信息和与人类心脏相关联的磁共振成像(MRI)信息。ECGI信息可以指示人类心脏的电活动，而MRI信息可以指示人类心脏的生物力学特性。一个或多个处理器可以被配置为基于第一机器学习(ML)模型来确定ECGI信息与MRI信息之间的相关性。基于所确定的相关性，一个或多个处理器还可以被配置为生成人类心脏的电活动和生物力学特性的集成表示，其中，电活动和生物力学特性可以在集成表示中几何对齐。

本文所述的ECGI信息可以包括人类心脏的电图，并且本文所述的MRI信息可以包括指示人类心脏的应变力或组织特性的MRI图。设备的一个或多个处理器可以被配置为例如基于由人工神经网络检测到的ECGI图和MRI图的相应几何结构来将电图与MRI图进行配准(co-register)。ECGI信息和MRI信息的集成表示可以包括三维(3D)心脏模型，在该心脏模型的表面上可以几何对齐电图和MRI图。集成表示还可以包括一个或多个二维(2D)或三维(3D)MRI切片图像，并且电图和MRI图可以在各个2D或3D MRI切片图像中几何对齐。

本文所述的第一ML模型可以经由一个或多个人工神经网络来实施，并且可以通过将ECGI训练图像的相应几何特性与MRI训练图像进行匹配的训练过程来学习。ECGI和MRI训练图像可以包括真实医学图像和计算机模拟图像的混合。

本文所述的设备还可以被配置为基于第二ML模型来预测人类心脏的目标消融位置，第二ML模型被训练为将目标消融位置与由ECGI信息指示的人类心脏的电活动的全部或子集以及由MRI信息指示的人类心脏的生物力学特性的全部或子集相关联。响应于确定目标消融位置，设备可以被配置为指示所确定的消融位置连同配准的ECGI信息和MRI信息。

附图说明

从以下结合附图通过示例的方式给出的描述中，可以获得本文所公开示例的更详细理解。

图1A和图1B是例示了利用人工智能(AI)技术来集成心电图成像(ECGI)信息和磁共振成像(MRI)信息的示例的框图。

图2是例示了利用AI技术基于配准的ECGI信息和MRI信息来预测人类心脏中的射频(RF)消融目标的示例的框图。

图3是例示了利用AI技术来预测心脏的EP测量和/或模拟虚拟心脏的示例的框图。

图4是例示了用于训练神经网络的示例过程的流程图，该神经网络可以被配置为执行本文所述的功能。

图5是例示了可以被配置为执行本文所述的功能的系统/设备的示例部件的框图。

具体实施方式

在附图的各图中，通过示例而非限制性的方式例示了本公开。本文可以使用诸如人类心脏的一个或多个特定的人类解剖结构作为示例来描述实施例，但是应当注意，本文所公开的技术不限于示例解剖结构，并且也可以应用于其他解剖结构。

图1A和图1B例示了使用人工智能(AI)技术来将从体表电位重建的心电图成像(ECGI)信息102与经由心脏MR(cMR)扫描收集的磁共振成像(MRI)信息104/106集成的示例。ECGI信息102可以描绘人类心脏的电活动，这些电活动可以用于确定心脏的激活和复极化参数、异常信号和/或电描记图形态。MRI信息104/106可以指示心脏的生物力学特性。例如，MRI信息104可以指示心脏的力学特性(例如，应变力、应变率等)，并且MRI信息106可以指示心脏的组织特性(例如，T1、T2、T2*、延迟钆增强(LGE)等)。ECGI信息102和MRI信息104/106可以使用各种测量、扫描、映射和/或重建技术来获得。比如，ECGI信息102可以通过以下方式来获得：将电极放置在患者身体的不同区域(例如，胸部、手臂、腿等)以测量体表的电位，并且求解逆心电图问题以在患者心脏表面的三维(3D)模型上重建患者心脏的心外膜电活动。3D心脏模型可以基于患者的心脏-躯干几何结构(例如，可从计算机断层成像(CT)图像确定)来导出，并且由此获得的ECGI信息可以包括各种电图，诸如心外膜电位图、激活图、复极化图等，其可以指示心外膜电位、心脏的电描记图和/或心脏的等时线。MRI信息104/106可以通过以下方式来获得：在多个位置(例如，沿着心脏的短轴和/或长轴)扫描(例如，经由磁共振扫描仪)患者心脏，并且基于由扫描产生的二维(2D)或三维(3D)心脏磁共振(cMR)切片图像的序列(例如，电影)确定心脏的解剖结构和/或组织特性。由此可见，MRI信息可以包括各种MR图，诸如应变力图、T1图和/或T2图，其可以提供解剖结构以及关于心脏的功能信息(例如，异常应变力、T1和/或T2值可以指示疤痕组织的存在)。当在本文中引用时，应变力图可以指示心脏的一个或多个力学特性，T1图可以指示心脏的纵向组织弛豫或磁自旋-晶格弛豫特性，并且T2图可以指示心脏的横向组织弛豫或自旋-自旋弛豫特性。

ECGI信息102和MRI信息104/106可以作为输入提供给一个或多个人工神经网络108，该人工神经网络108可以被配置为实施机器学习(ML)模型，以便确定由ECGI信息指示的人类心脏的电活动与由MRI信息指示的人类心脏的生物力学特性(例如，应变力、T1、和/或T2值)之间的相关性。在示例中，ML模型(例如，一个或多个人工神经网络108)可以被配置为将成对的ECGI解剖图像或图(例如，经由CT扫描获得)和MRI图像(例如，可以经由MRI扫描获得的常规MRI图像和/或MRI图)作为输入，并且生成可以用于将ECGI图像与MRI图像(例如，在解剖结构域中)对齐的变换参数(transformation metrics)(例如，空间变换参数)。在示例中，ML模型(例如，一个或多个人工神经网络108)可以被配置为将成对的ECGI解剖图像和MRI图像作为输入，并且从ECGI图像和MRI图像提取相应的界标(例如，解剖界标)。然后，可以通过将从ECGI图像提取的界标与从MRI图像提取的界标对齐来确定用于对齐ECGI图像和MRI图像的变换参数(例如，空间变换参数)。在示例中，ML模型(例如，一个或多个人工神经网络108)可以被配置为将ECGI解剖图像和MRI图像作为输入，并且通过将心脏模型(例如，3D心脏模型)拟合到ECGI图像和MRI图像来使ECGI图像和MRI图像(例如，相对于图像中描绘的解剖结构)相关。这种心脏模型可以是从2D和/或3D心脏图像(例如，使用网格技术或预先训练的人工神经网络)构建的3D可形变心脏模型。心脏模型可以是参数化的或非参数化的，并且可以表示平均群体的心脏结构(例如，作为多个患者的平均)。比如，当将心脏模型拟合到ECGI解剖图像和MRI图像这两者时，一个或多个人工神经网络108a可以通过以下方式来将ECGI图像上的点与MRI图像上的点相关：将ECGI图像上的点和MRI图像上的点映射到3D心脏模型上的相应参考点，并且基于3D心脏模型上的对应参考点的相关性来确定ECGI点与MRI点之间的相关性(例如，空间相关性)。

人工神经网络108可以包括一个或多个卷积神经网络(CNN)，并且各个CNN可以包括多个层。多个层可以包括一个或多个卷积层、一个或多个池化层和/或一个或多个全连接层，其被配置为从ECGI信息(例如，一个或多个ECGI图像或图)和MRI信息(例如，诸如应变力、T1和/或T2图的一个或多个MRI图像或图)提取相应特征，并且确定用于将ECGI特征与MRI特征配准(例如，以将ECGI图像/图与MRI图像/图几何对齐)的空间变换。例如，人工神经网络108的各个卷积层可以包括具有相应权重的多个卷积核或过滤器(例如，具有3×3或5×5的核尺寸)。各个核或过滤器可以被配置为从ECGI图像/图和/或MRI图像/图中提取特定特征，并且多个这种核和过滤器可以共同捕捉ECGI图像/图和/或MRI图像/图的日益复杂的特征。卷积操作之后可以是批归一化和/或激活(例如，使用修正线性单元(ReLU)函数)，并且卷积层所提取的特征(例如，以一个或多个特征图或特征向量的形式)可以用于确定ECGI图像/图与MRI图像/图之间的空间关系(例如，空间变换参数)，以便将ECGI图像/图的像素/体素的全部或子集关联(例如，配准)到MRI图像/图的像素/体素。

包括分配给人工神经网络108层的各个核或过滤器的权重的ML模型可以从训练数据集学习(例如，离线地)，该训练数据集包括从真实的医案收集的和/或经由计算机模拟生成的ECGI数据(例如，ECGI图像和/或电图)和/或MRI数据(例如，MRI图像和/或MRI图，诸如应变力、T1和/或T2图)。例如，旨在扩充训练数据集的计算机模拟可以从生成指示心脏解剖结构和组织特性的MRI数据开始，随后根据经典物理模型生成反映心脏电活动的ECGI数据。可以采用各种数据模拟技术来完成数据扩充任务。这些技术可以包括例如为变换(例如，平移、旋转、密集场扭曲等)设置值并且将变换应用于现有图像以生成模拟图像。

ML模型(例如，人工神经网络108)的训练可以包括：向人工神经网络108提供成对的ECGI和MRI数据集(例如，ECGI和MRI图像/图)；使得神经网络预测初步结果(例如，ECGI与MRI图像/图之间的空间关系或空间变换参数)；以及迭代地调节(例如，经由反向传播)神经网络的参数(例如，分配给神经网络的各层的权重)，以使初步结果与预期结果之间的预定损失函数最小化。在示例中，人工神经网络108可以以无监督的方式来训练。比如，人工神经网络108可以接收ECGI解剖训练图像和MRI训练图像(例如，常规MRI图像或MRI图)，并且估计初始参数，初始参数用于变换ECGI解剖图像以与MRI图像对齐(或反之亦然)，例如，在解剖结构域中。然后，人工神经网络108可以例如基于变换的ECGI解剖图像与输入MRI图像之间(或变换的MRI图像与输入ECGI图像之间)的均方误差、基于与两个图像相关联的指示图像内容的差异的互信息(例如，即使图像具有不同的对比度)和/或基于可以被预先学习以测量跨模式图像(例如，诸如变换的ECGI解剖图像和输入MRI图像)之间的差异的另一参数，来确定两个图像之间的差异(例如，关于解剖结构)。然后，所确定的差异可以用于例如通过最小化差异来优化(例如，经由反向传播)神经网络参数(例如，权重)。

人工神经网络108被配置为确定变换的ECGI图像与输入MRI图像之间(或者变换的MRI图像与输入ECGI图像之间)关于在两个图像中描绘的解剖结构的差异，即使两个图像具有不同的对比度。在示例中，人工神经网络108可以对图像执行域转移(例如，使得变换的ECGI图像将具有输入MRI图像的对比度，或者变换的MRI图像将具有输入ECGI图像的对比度)，并且确定在域转移的ECGI图像和MRI图像(或者域转移的MRI图像和ECGI图像)中描绘的解剖结构之间的均方误差。在示例中，人工神经网络108可以分解变换的ECGI图像和输入MRI图像(或者变换的MRI图像和输入ECGI图像)，以获得图像的相应对比度信息和结构信息。人工神经网络108然后可以基于两个图像各自的结构信息来确定这两个图像之间的差异(例如，因为两个图像的不同对比度外观可以包含在对比度信息中，这导致结构信息仅指示两个图像之间的解剖结构差异)。

在示例中，ML模型(例如，人工神经网络108)的训练可以包括：使得神经网络从输入ECGI图像和输入MRI图像提取相应的界标(例如，解剖界标)；将所提取的界标与金标准(例如，手动标记的ECGI界标和MRI界标)进行比较；以及调节(例如，经由反向传播)人工神经网络的参数(例如，权重)，以使由神经网络提取的界标与金标准之间的差异最小化。训练也可以以端到端和/或无监督的方式进行，在该方式中，界标提取和界标对齐可以被组合。例如，神经网络可以从输入ECGI图像和输入MRI图像提取相应的界标，预测用于对齐从ECGI图像和MRI图像提取的界标的变换参数，并且调节(例如，经由反向传播)人工神经网络的参数(例如，权重)，以使预测的对齐与期望的对齐之间的差异最小化(例如，使用输入图像中的一个作为目标/期望的图像，如本文所述)。

在示例中，ML模型(例如，人工神经网络108)的训练可以利用诸如3D心脏模型的心脏模型来进行。心脏模型可以是从2D/3D心脏图像构建的可形变心脏模型，并且可以是参数化的或非参数化的。在训练期间，神经网络可以将心脏模型拟合到输入ECGI图像，以确定ECGI图像上的点与3D心脏模型上的点之间的相关性。神经网络还可以将心脏模型拟合到输入MRI图像，以确定MRI图像上的点与3D心脏模型上的点之间的相关性。使用3D心脏模型上与ECGI点和MRI点对应的相应点，神经网络可以确定ECGI点与MRI点之间的相关性(例如，空间相关性)，因此确定ECGI图像与MRI图像之间的相关性。类似于本文所述的其他示例，训练/学习可以通过以监督或无监督的方式使预测的相关性与期望相关性之间的差异最小化来驱动。下面将更详细地描述人工神经网络108和/或ML模型的训练过程的各个方面。

回到图1A和图1B，由人工神经网络108预测的、ECGI图102与MRI图104/106之间的相关性(例如，空间变换)可以用于对齐(例如，几何地)ECGI图和MRI图的相应坐标系和/或空间分辨率，使得可以集成两组数据，以提供心脏的电和生物力学状况的整体视图。即使不同的MR序列可以提供不同的平面内和贯穿平面分辨率，并且MRI图可以具有比ECGI图低的分辨率，这也是可能的。集成数据可以以不同格式呈现和/或提供给不同的接收装置。图1A示出了一个示例，在该示例中，一个或多个MRI图(例如，一个或多个应变力图、T1图或T2图)被投影到从ECGI几何数据重建的心脏模型(例如，3D心脏模型)上，以生成集成表示110，在该集成表示110中，由ECGI数据指示的电活动和由MRI数据指示的生物力学特性可以几何对齐(例如，各种空间分辨率和/或ECGI和MRI数据的几何结构可以被插值和统一)。例如，投影操作可以基于由人工神经网络108确定的、ECGI图与MRI图之间的空间关系(例如，经由本文所述的解剖配准过程)来执行。比如，3D心脏模型可以表示系统和/或空间，并且ECGI和/或MRI数据到由3D心脏模型表示的空间中的投影可以包括将ECGI和/或MRI数据分解为空间的一个或多个特征向量(例如，空间的特征值可以表示ECGI/MRI数据)。

图1B示出了一个示例，在该示例中，在一个或多个2D/3D MR切片图像112(例如，短轴和/或长轴切片图像)中呈现对齐的ECGI和MRI数据，在切片图像中，心外膜、心内膜和透壁信息的全部或子集可以是可见的。在图1A和图1B所示的任一示例中，可以以一致的方式呈现对齐的信息。比如，各个图可以被呈现为3D心脏模型或2D/3D MR切片图像上的颜色编码表面，MRI数据或参数上可用的透壁信息可以被投影(例如，最大投影)到心外膜上并且呈现在心脏模型上，并且心外膜电值可以被呈现为心外膜的增厚的颜色编码轮廓。在示例中(例如，当ECGI图被定义在心外膜上并且MRI图被定义在心外膜、心内膜和/或透壁上时)，MRI图像/图可以被投影为使得MRI图的透壁信息可以以与ECGI图类似的方式可视化。投影例如可以通过确定沿着心脏径向的最大值并使用该最大值来表示径向线和心外膜的交点处的像素来执行。

集成的(例如，配准的)ECGI和MRI信息可以用于促进各种临床应用，包括例如非侵入性EP和干预计划(例如，消融计划)。并且由于可以基于不需要图像对比度的ECGI和本地MRI扫描(例如，电影、T1、T2等)来计划干预过程，因此具有特殊身体状况(例如，受损的肾功能)的患者可以不再需要在干预操作期间采用基于钆(Gd)的图像对比剂(例如，延迟钆增强(LGE)CMR扫描所需的)。

图2示出了利用AI技术来基于关于心脏的配准的ECGI信息102和MRI信息(例如，力学特性104和/或组织特性106)预测心脏中的射频(RF)消融目标的示例。ECGI信息102和MRI信息104/106可以使用本文所述的技术来获得和/或配准，并且提供(例如，作为输入)给一个或多个人工神经网络208。人工神经网络208可以被配置为实施ML模型，该模型用于确定某些电活动(例如，由ECGI指示)和生物力学特性(例如，由MRI指示)与候选消融位置之间的相关性，并且提供候选消融位置的指示210。指示210可以用配准的ECGI和MRI信息覆盖(例如，叠加在其上)(例如，在图1A中的集成表示110上和/或在图1B中的集成表示112上)，以提供消融操作的参考和指导。

人工神经网络208可以包括一个或多个卷积神经网络(CNN)，各个CNN包括多个层。该多个层可以包括一个或多个卷积层、一个或多个池化层、一个或多个全连接层和/或一个或多个回归层，其被配置为基于在配准的ECGI和MRI信息中检测到的模式来预测候选消融位置。例如，人工神经网络208的各个卷积层可以包括具有相应分配权重的多个卷积核或过滤器(例如，具有3×3或5×5的核尺寸)。各个核或过滤器可以被配置为从ECGI图和/或MRI图中提取特定特征，并且多个这种核和过滤器可以共同捕捉ECGI图和/或MRI图的日益复杂的特征。卷积操作之后可以是批归一化和/或激活(例如，使用修正线性单元(ReLU)函数)，并且卷积层所提取的特征(例如，以一个或多个特征图或特征向量的形式)可以被提供给回归层以估计与检测到的电和/或力学特征和/或模式相对应的消融位置。在示例中，回归层可以与非线性激活函数相关联，该非线性激活函数诸如为S形函数，用于将由人工神经网络208(例如，由人工神经网络的其他层)确定的标量值转换成指示位置是消融目标的可能性的概率(例如，具有在0至1之间的值)。由此可见，人工神经网络208的输出可以是概率图，图的一个或多个像素(例如，各个像素)表示心脏的对应位置是消融部位的可能性。

包括分配给人工神经网络208的各个核或过滤器的权重的本文所述的消融预测模型可以从训练数据集学习(例如，离线地)，该训练数据集包括配准的ECGI数据(例如，ECGI电图)和MRI数据(例如，应变力、T1和/或T2图)以及可以用作用于训练的金标准的实际消融部位212。训练数据可以从真实的医案/操作中收集，和/或经由计算机模拟生成。例如，可以获得在EP操作期间记录的消融部位图(例如，在3D EP解剖图像上)。在用于训练人工神经网络208之前，消融部位图(例如，EP解剖图像)可以使用本文所述的技术与ECGI图和/或MRI图进行配准(例如，如果EP图像尚未与ECGI图像对齐)。

预测模型和/或神经网络208的训练可以包括：向人工神经网络208提供配准的ECGI和MRI数据集(例如，ECGI和MRI图)(例如，输入图可以在被提供给神经网络之前沿着信道方向串接)；基于输入数据和初始网络参数(例如，分配给神经网络的各个层的权重)预测初步消融位置；以及迭代地调节(例如，经由反向传播)神经网络的参数，以使预测的消融位置与和预测相关联的金标准212(例如，实际消融部位)之间的预定损失函数最小化。损失函数可以基于例如均方误差(MSE)、交叉熵、均方根误差、L1/L2范数等，并且网络参数的优化可以根据损失函数的梯度下降(例如，随机梯度下降)通过反向传播过程来执行。下面将更详细地描述人工神经网络208和/或ML模型的训练过程的各个方面。

基于AI的技术也可以应用于模拟心脏的电系统(例如，预测或估计EP测量)和/或基于本文所述的ECGI和/或MRI信息创建虚拟心脏。这种AI预测的电系统可以消除对为了进行心脏评估而进行复杂物理模型和/或多尺度(例如，细胞、结构、器官等)有限元分析的需要。并且由于EP测量可以基于非侵入性收集的ECGI和MRI信息来估计，因此可以减少或完全避免侵入性过程的数量，诸如基于导管的数据收集和/或映射过程。另外，使用AI技术构建的虚拟心脏可以用于模拟可能由干预过程引起的变化或结果(例如，诸如引起的室性心动过速(VT)和/或消融过程)，由此降低医学并发症或发病的风险。

图3示出了利用AI技术基于非侵入性收集的MRI信息(例如，2D MR切片图像302和304)和ECGI信息306来预测心脏和/或虚拟心脏的EP测量(例如，心内膜电活动)的示例。在示例中，MR切片图像302可以提供3D心脏解剖信息308，MR切片图像304可以提供关于心脏的3D组织特性信息310(例如，T1和T2值)，并且ECGI信息306可以描绘心脏的电活动(例如，心外膜电活动)。可以应用各种插值技术来基于MR切片图像302获得3D心脏解剖信息308。插值可以允许基于相邻切片图像/像素确定MR切片图像未捕捉到的像素/体素值。插值技术可以包括线性/三次插值技术和/或基于超分辨率的技术。MR解剖信息308、MR组织特性信息310和ECGI信息306可以作为输入被提供给一个或多个神经网络312，该神经网络312被预先训练为扮演经典物理模型的角色并且输出(例如，直接地)预测的EP测量314，这些EP测量314将在传统的基于计算机模拟的方法下被侵入性地收集。另外或替代地，人工神经网络312可以被训练为充当患者特定的虚拟心脏，该虚拟心脏可以将计划的消融位置作为输入(例如，作为输入信息的一部分)并且输出可以由消融操作引起的预测的电活动(例如，以电图的形式)。

由于心脏电系统的复杂性，大量的MRI数据、ECGI数据和/或侵入性测量的电数据可以用于训练人工神经网络312。计算机模拟可以用于扩充从真实的医案/患者收集的训练数据。这种模拟可以从生成心脏解剖和组织特性信息开始，随后基于经典物理模型模拟心脏的电活动。例如，心脏的电活动可以使用诸如有限元分析的技术在多个尺度(例如，在细胞、结构和/或器官水平)上模拟。

本文所述的人工神经网络(例如，图1A和图1B的神经网络108、图2的神经网络208、和/或图3的神经网络312)可以被训练为优化它们的参数(例如，与神经网络的过滤器/层相关联的权重)，以便执行本文所述的各种识别、预测、或估计任务。图4例示了用于训练所述神经网络的示例过程400。过程400可以在402处开始，并且在404处，神经网络可以初始化其操作参数，诸如与神经网络的一个或多个过滤器或核相关联的权重。参数例如可以基于来自具有类似架构的另一神经网络的一个或多个概率分布或参数值的样本来初始化。在406处，神经网络可以在输入处接收一组训练数据(例如，ECGI和MRI图)，通过神经网络的各个层处理输入的训练数据，并且使用当前分配的参数对目标结果(例如，空间变换、消融位置等)进行预测。在408处，神经网络可以基于损失函数和与损失函数相关联的梯度下降(例如，随机梯度下降)来确定要对当前分配的参数进行的调节。例如，损失函数可以基于预测与和预测相关联的金标准之间的均方误差(MSE)、Dice比、交叉熵等来实施。在410处，神经网络可以例如经由反向传播过程来对当前分配的参数进行调节。在412处，神经网络可以确定是否满足一个或多个训练终止准则。例如，如果神经网络已经完成预定次数的训练迭代，如果预测值与金标准值之间的差低于预定阈值，或者如果损失函数的值在两次训练迭代之间的变化低于预定阈值，则神经网络可以确定训练终止准则被满足。如果在412处确定不满足训练终止准则，则神经网络可以返回到406。如果在412处确定满足训练终止准则，则神经网络可以在414处结束训练过程400。

被配置为执行本文所述的功能的系统或设备可以使用一个或多个处理器、一个或多个储存装置和/或其他合适的辅助装置(诸如显示装置、通信装置、输入/输出装置等)来实施。图5是例示了这种系统或设备500的框图。如图所示，系统/设备500可以包括处理器(例如，一个或多个处理器)502，该处理器可以是中央处理单元(CPU)、图形处理单元(GPU)、微控制器、精简指令集计算机(RISC)处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、物理处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或能够执行本文所述的功能的任何其它电路或处理器。系统/设备500还可以包括通信电路504、存储器506、大容量储存装置508、输入装置510和/或通信链路512(例如，通信总线)，图5所示的一个或多个部件可以通过该通信链路交换信息。通信电路504可以被配置为利用一个或多个通信协议(例如，TCP/IP)和一个或多个通信网络来发送和接收信息，这些通信网络包括局域网(LAN)、广域网(WAN)、因特网、无线数据网络(例如，Wi-Fi、3G、4G/LTE或5G网络)。存储器506可以包括被配置为存储机器可读指令的存储介质，当机器可读指令被实行时，使得处理器502执行本文所述的一个或多个功能。机器可读介质的示例可以包括易失性或非易失性存储器，包括但不限于半导体存储器(例如，电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM))、闪存等)。大容量储存装置508可以包括一个或多个磁盘，诸如一个或多个内置硬盘、一个或多个可移动盘、一个或多个磁光盘、一个或多个CD-ROM或DVD-ROM盘等，在磁盘上可以存储指令和/或数据，以便于处理器502的操作。输入装置510可以包括键盘、鼠标、语音控制输入装置、触敏输入装置(例如，触摸屏)等，用于接收系统/设备500的用户输入。

应当注意，系统/设备500可以作为独立装置操作或者可以与其他计算装置连接(例如，联网或成群)，以执行本文所述的功能。并且即使在图5中仅示出了各个部件的一个实例，本领域技术人员也将理解，系统/设备500可以包括图中示出的一个或多个部件的多个实例。此外，尽管本文参考各种类型的神经网络、各种类型的层、和/或由某些类型的神经网络或层执行的各种任务来描述示例，但是这些参考仅出于例示性目的而作出，并且不旨在限制本公开的范围。另外，本文以特定顺序描绘和描述了示例系统/设备500的操作。然而，应当理解，这些操作可以以各种顺序、同时和/或与本文未呈现或描述的其它操作一起发生。并且不是系统/设备500能够执行的所有操作都在本文中描绘和描述，并且不是所有例示的操作都需要由系统执行。

为了说明的简单起见，示例系统的操作在本文中以特定顺序描绘和描述。然而，应当理解，这些操作可以以各种顺序、同时和/或与本文未呈现或描述的其它操作一起发生。此外，应当注意，不是系统能够执行的所有操作都在本文中描绘和描述，并且不是所有例示的操作都需要由系统执行。

尽管已经根据某些实施例和一般关联的方法描述了本公开，但是实施例和方法的变更和变换将对本领域技术人员显而易见。因此，示例性实施例的以上描述不限制本公开。在不脱离本公开的精神和范围的情况下，其它改变、替换和变更也是可能的。另外，除非另外具体陈述，否则利用诸如“分析”、“确定”、“启用”、“识别”、“修改”等术语的讨论是指计算机系统或类似电子计算装置的动作和过程，这些动作和过程将表示为计算机系统的寄存器和存储器内的物理(例如，电子)量的数据操纵和变换成表示为计算机系统存储器或其它这种信息存储、传输或显示装置内的物理量的其它数据。

应当理解，上述描述旨在为说明性的，而不是限制性的。在阅读和理解以上描述之后，许多其它实施方式对于本领域技术人员将显而易见。因此，本公开的范围应当参考所附权利要求以及这种权利要求被赋予的等同物的全部范围来确定。

Claims (10)

1.一种被配置为心脏评估的设备，包括一个或多个处理器，其中，所述一个或多个处理器被配置为：

获得与人类心脏相关联的心电图成像(ECGI)信息，其中，所述ECGI信息指示所述人类心脏的电活动；

获得与所述人类心脏相关联的磁共振成像(MRI)信息，其中，所述MRI信息指示所述人类心脏的生物力学特性；

基于第一机器学习(ML)模型来确定所述ECGI信息与所述MRI信息之间的相关性；并且

根据所述所确定的所述ECGI信息与所述MRI信息之间的相关性，来生成所述人类心脏的所述电活动和所述生物力学特性的集成表示，其中，所述电活动和所述生物力学特性在所述集成表示中几何对齐。

2.根据权利要求1所述的设备，其中，所述ECGI信息包括所述人类心脏的电图，并且所述MRI信息包括指示所述人类心脏的一个或多个组织特性的MRI图。

3.根据权利要求2所述的设备，其中，所述一个或多个处理器被配置为确定所述ECGI信息与所述MRI信息之间的相关性包括：所述一个或多个处理器被配置为将所述电图与所述MRI图进行配准。

4.根据权利要求3所述的设备，其中，所述集成表示包括三维(3D)心脏模型，并且其中，所述电图和所述MRI图在所述3D心脏模型上几何对齐，或

所述集成表示包括多个二维(2D)MRI切片图像，并且其中，所述电图和所述MRI图在各个所述2D MRI切片图像中几何对齐。

5.根据权利要求1所述的设备，其中，所述一个或多个处理器被配置为：经由一个或多个人工神经网络来实施所述第一ML模型，该一个或多个人工神经网络被训练为对所述ECGI信息和所述MRI信息进行空间变换，以便将由所述ECGI信息指示的所述电活动与由所述MRI信息指示的所述生物力学特性对齐。

6.根据权利要求5所述的设备，其中，所述第一ML模型使用多个成对的ECGI训练图像和MRI训练图像来学习，并且其中，学习所述第一ML模型包括：确定用于将各个所述ECGI训练图像与所述MRI训练图像中对应的一个MRI训练图像对齐的变换参数。

7.根据权利要求6所述的设备，其中，所述成对的ECGI图像和MRI图像的至少一个子集是经由计算机模拟生成的。

8.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为：基于第二ML模型来预测所述人类心脏的目标消融位置，所述第二ML模型被训练为将所述目标消融位置与由所述ECGI信息指示的所述人类心脏的所述电活动的全部或子集以及由所述MRI信息指示的所述人类心脏的所述生物力学特性的全部或子集相关联。

9.根据权利要求8所述的设备，其中，所述一个或多个处理器还被配置为在所述集成表示中指示所述目标消融位置。

10.一种用于心脏评估的方法，包括：

获得与人类心脏相关联的心电图成像(ECGI)信息，其中，所述ECGI信息指示所述人类心脏的电活动；

获得与所述人类心脏相关联的磁共振成像(MRI)信息，其中，所述MRI信息指示所述人类心脏的生物力学特性；

基于第一机器学习(ML)模型来确定所述ECGI信息与所述MRI信息之间的相关性；以及

根据所述所确定的所述ECGI信息与所述MRI信息之间的相关性，来生成所述人类心脏的所述电活动和所述生物力学特性的集成表示，其中，所述电活动和所述生物力学特性在所述集成表示中几何对齐。

Images