CN112446499A - 改进用于自动量化冠状动脉疾病的机器学习模型的性能 - Google Patents

Abstract

提供了用于对经训练的机器学习模型进行再训练的系统和方法。接收一个或多个输入医学图像。使用经训练的机器学习模型，根据所述一个或多个输入医学图像预测针对主要任务和次要任务的感兴趣度量。输出针对主要任务和次要任务的预测的感兴趣度量。接收关于针对次要任务的预测的感兴趣度量的用户反馈。基于关于针对次要任务的输出的用户反馈，对经训练的机器学习模型进行再训练，以用于预测针对主要任务和次要任务的感兴趣度量。

Description

改进用于自动量化冠状动脉疾病的机器学习模型的性能

技术领域

本发明一般地涉及改进机器学习模型的性能，并且更具体地涉及基于用户反馈改进用于自动量化冠状动脉疾病的机器学习模型的性能。

背景技术

机器学习模型已经被应用于执行针对越来越多的应用的各种任务。在一个示例中，机器学习模型已经被应用于通过预测冠状动脉病变的功能严重性来表征冠状动脉疾病。可以使用经标记的训练图像将一组输入特征映射到预测的输出值来训练这样的机器学习模型以执行任务。在监督学习中，在训练阶段期间，通过相对于训练图像的标记对从训练图像预测的输出进行评估，来对机器学习模型进行优化以最大化预测准确性。机器学习模型通常针对特定任务进行训练。

与这样的机器学习模型相关联的挑战很多。挑战之一是泛化——经训练的机器学习模型可能无法针对未见过的数据进行正确泛化。在如下情况下也是这样：经训练的机器学习模型对于训练图像或对于其被训练用于的任务来说过于特定。另一挑战是控制——用户可能没有直接的方式来验证经训练的机器学习模型的正确行为，诸如在经训练的机器学习模型预测分数血流储备（FFR）值的情况下。另一个挑战是反馈——用户可能无法容易地提供反馈来改进经训练的机器学习模型的性能，因为用户可能无法容易地识别或容易地评估输入特征。

发明内容

根据一个或多个实施例，提供了用于对经训练的机器学习模型进行在线再训练的系统和方法。接收一个或多个输入医学图像。使用经训练的机器学习模型，根据所述一个或多个输入医学图像预测针对主要任务和次要任务的感兴趣度量。输出针对主要任务和次要任务的预测的感兴趣度量。接收关于针对次要任务的预测的感兴趣度量的用户反馈。基于关于针对次要任务的输出的用户反馈，对经训练的机器学习模型进行再训练，以用于预测针对主要任务和次要任务的感兴趣度量。

在一个实施例中，用户不能根据所述一个或多个输入医学图像直接验证针对主要任务的感兴趣度量，并且用户可以根据所述一个或多个输入医学图像直接验证针对次要任务的感兴趣度量。针对主要任务的感兴趣度量可以包括血液动力学指标，诸如例如虚拟分数血流储备。针对次要任务的感兴趣度量可以包括以下各项中的至少一项：测量点的位置、公共图像点的位置、狭窄的位置和血管的分割。

在一个实施例中，用户反馈可以包括对针对次要任务的预测的感兴趣度量的接受或拒绝、或对针对次要任务的预测的感兴趣度量的修改。

在一个实施例中，也可以确定置信度的度量。可以通过如下方式来确定置信度的度量：使用经再训练的机器学习模型根据所述一个或多个输入医学图像来预测针对主要任务和次要任务的附加感兴趣度量，以及基于使用经训练的机器学习模型预测的感兴趣度量与使用经再训练的机器学习模型预测的附加感兴趣度量之间的差异来确定针对主要任务和次要任务的预测的附加感兴趣度量中的置信度的度量。还可以通过如下方式来确定置信度的度量：使用经训练的机器学习模型，根据来自第一图像序列的单个输入医学图像和来自第二图像序列的单个输入医学图像，预测针对主要任务和次要任务的感兴趣度量；使用经训练的机器学习模型，根据来自第一图像序列的两个输入医学图像和来自第二图像序列的两个输入医学图像，预测针对主要任务和次要任务的附加感兴趣度量；以及基于以下两项之间的差异来确定针对主要任务和次要任务的预测的感兴趣度量和/或预测的附加感兴趣度量中置信度的度量：1）使用经训练的机器学习模型根据来自第一图像序列的单个输入医学图像和来自第二图像序列的单个输入医学图像预测的所述感兴趣度量，和2）使用经训练的机器学习模型根据来自第一图像序列的两个输入医学图像和来自第二图像序列的两个输入医学图像预测的附加感兴趣度量。

在一个实施例中，通过以下方式来选择所述一个或多个输入医学图像：接收在获取第一图像序列和第二图像序列期间获取的相应心电图信号；基于第一图像序列和第二图像序列的相应的心电图信号将指标与第一图像序列和第二图像序列中的每个图像相关联；基于第一图像序列和第二图像序列的相关联的指标将第一图像序列的图像与第二图像序列的图像相匹配；以及选择匹配的第一序列的图像和第二序列的图像作为所述一个或多个输入医学图像。

通过参考以下详细描述和附图，本发明的这些和其他优点对于本领域普通技术人员将是显而易见的。

附图说明

图1示出了一种基于用户反馈对经训练的机器学习模型进行在线再训练的方法；

图2示出了一种用于训练机器学习模型的方法，该机器学习模型用于预测针对主要任务和一个或多个次要任务的感兴趣度量；

图3示出了示例性训练数据；

图4示出了用于同步第一训练图像时间序列和第二训练图像时间序列的工作流程；

图5示出了机器学习模型的网络架构；和

图6示出了计算机的高级框图。

具体实施方式

本发明一般地涉及用于基于用户反馈来改进机器学习模型的性能的方法和系统。本文描述了本发明的实施例，以给出对基于用户反馈来改进机器学习模型的性能的方法的直观理解。数字图像通常由一个或多个对象（或形状）的数字表示组成。在本文中通常在识别和操纵对象方面来描述对象的数字表示。这样的操纵是在计算机系统的存储器或其他电路/硬件中完成的虚拟操纵。因此，应理解，可以使用存储在计算机系统内的数据在计算机系统内执行本发明的实施例。

此外，应当理解，尽管可以针对改进被训练用于根据一个或多个输入医学图像来预测感兴趣度量的机器学习模型的性能来讨论本文所讨论的实施例，但是本发明不限于此。本发明的实施例可被应用于改进被训练用于使用任何类型的输入来预测用于执行任何类型的任务的任何感兴趣度量的机器学习模型的性能。

根据一个或多个实施例，提供了用于基于用户反馈来改进经训练的机器学习模型的性能的系统和方法。经训练的机器学习模型被训练用于预测针对多个任务（主要任务和一个或多个次要任务）的感兴趣度量。用户不能直接检验针对主要任务的感兴趣度量，但用户可以直接检验针对一个或多个次要任务的感兴趣度量。通过训练经训练的机器学习模型以预测针对主要任务以及一个或多个次要任务的感兴趣度量，用户可以评估所述一个或多个次要任务，并提供这种评估作为用户反馈以用于对经训练的机器学习模型进行在线再训练。有利的是，利用关于一个或多个次要任务的感兴趣度量的用户反馈来对机器学习模型进行再训练改进了用于预测针对所有任务（即主要任务和一个或多个次要任务）的感兴趣度量的经训练的机器学习模型的性能（例如准确性）。

图1示出了根据一个或多个实施例的用于基于用户反馈对经训练的机器学习模型进行在线再训练的方法100。在在线或测试阶段期间使用经训练的机器学习模型来执行方法100。所述经训练的机器学习模型在先前的离线或训练阶段期间例如根据图2的方法200被训练用于执行多个任务：主要任务和一个或多个次要任务。方法100的步骤可以由任何合适的计算设备（诸如图6的计算机602）执行。

在步骤102，接收一个或多个输入医学图像。所述一个或多个输入医学图像可以是适合于执行主要任务和一个或多个次要任务的任何图像。所述一个或多个输入医学图像可以具有任何合适的模态或模态的组合，诸如例如，计算机断层摄影（CT）、dynaCT、x射线、磁共振成像（MRI）、超声（US）等。通过从计算机系统的存储装置或存储器加载先前获取的医学图像，或通过接收已从远程计算机系统传输的医学图像，可以直接从用于获取输入医学图像的图像获取设备（例如，图6的图像获取设备614）接收所述一个或多个输入医学图像。

在一个实施例中，所述一个或多个输入医学图像包括一对（或更多）输入医学图像，每个输入医学图像来自相应的图像序列。图像序列是指在一时间段内获取的感兴趣对象的多个图像。例如，图像序列可以是冠状动脉的血管造影序列。在一个实施例中，通过如下方式从它们相应的图像序列选择所述一对输入医学图像：同步每个相应序列中的图像并从每个序列中选择同步或匹配的图像作为所述一对输入医学图像，例如如下关于图4所述的。

在一个实施例中，还可以与所述一个或多个输入医学图像一起接收附加数据。所述附加数据可以包括用于执行主要任务和一个或多个次要任务的任何合适的数据。例如，附加数据可以包括患者数据，诸如例如先验获取的医学（成像或非成像）数据、过去的医学检查等。在另一个示例中，附加数据可以包括在所述一个或多个输入医学图像的获取期间与图像获取设备相关联的角度信息（例如，用于获取每个时间序列的图像获取设备的C臂的角度）。

在步骤104，使用经训练的机器学习模型根据所述一个或多个输入医学图像（以及可选地根据患者数据（如果有的话））预测针对主要任务和一个或多个次要任务的感兴趣度量。经训练的机器学习模型可以例如根据图2的方法200在先前训练阶段期间被训练。经训练的机器学习模型可以基于任何合适的机器学习模型，诸如例如神经网络。在一个实施例中，经训练的机器学习模型是深度神经网络。例如，经训练的机器学习模型可以基于修改的3D递归重建神经网络（3D-R2N2）。在一个实施例中，使用多任务学习来训练经训练的机器学习模型以预测针对主要任务和一个或多个次要任务的感兴趣度量，并接收关于所述一个或多个次要任务的用户反馈以用于使用交互式机器学习进行在线再训练。根据一个实施例，下面参照图5更详细地讨论经训练的机器学习模型的网络结构。

主要任务和一个或多个次要任务可以是有关或相关的任何合适的任务。在一个实施例中，主要任务和一个或多个次要任务是相关的，因为它们可以基于所述一个或多个输入医学图像来执行。尽管本文描述的实施例可以涉及主要任务和一个或多个次要任务，但是应当理解，可以利用任何数量的主要任务和次要任务。

人类用户不能根据所述一个或多个输入医学图像直接检验针对主要任务的感兴趣度量。在一个实施例中，主要任务包括预测在测量位置处（例如，在每个狭窄段之后）的冠状动脉疾病的功能度量或量化。例如，感兴趣度量可以是虚拟分数血流储备（FFR）的值，其是用于量化动脉中狭窄的血液动力学显著性的功能度量。通常在充血时使用基于侵入性压强线的测量结果基于冠状动脉狭窄的压降来确定FFR。虚拟FFR试图经由侵入性较小的手段复现FFR值。应当理解，感兴趣度量可以是任何其他血液动力学指标，诸如例如冠状动脉血流储备（CFR）、瞬时无波比率（iFR）、基础狭窄抵抗性（BSR）、高氧狭窄抵抗性（HSR）、微循环抵抗性指标（IMR）或冠状动脉疾病的任何其他度量或量化。在另一个实施例中，主要任务是临床决策（例如，在介入期间或之后做出），诸如例如，是否执行经皮冠状动脉介入（PCI）或冠状动脉旁路移植（CABG）、最佳医学治疗、下次检查的日期等。

人类用户可以根据所述一个或多个输入医学图像直接检验针对所述一个或多个次要任务的感兴趣度量。所述一个或多个次要任务的示例包括：预测输入医学图像中的标准测量位置；预测输入医学图像中一个或多个公共图像点（例如，公共解剖界标）的位置；预测输入医学图像中狭窄标记的位置；预测输入医学图像中一个或多个狭窄的位置和解剖学显著性；预测输入医学图像中可见的一个、几个或所有血管的分割；预测输入医学图像中心肌梗塞中血栓溶解（TIMI）帧计数作为造影剂速度的替代；预测输入医学图像中所有位置处的健康半径（例如，弥漫性疾病和分叉狭窄的情况下）；预测输入医学图像中血管的中心线或树状结构；预测输入医学图像中血管的深度信息（作为检测血管重叠的替代）；预测输入医学图像等中与每个主分支或侧分支相关联的心肌区域等。在训练阶段期间确定所述一个或多个次要任务，以使主要任务的性能最大化，如下面关于图2的方法200进一步描述的。

在步骤106，输出针对所述主要任务和所述一个或多个次要任务的预测的感兴趣度量。在一个实施例中，输出针对所述主要任务和所述一个或多个次要任务的预测的感兴趣度量包括：例如在计算机系统的显示设备上视觉显示预测的感兴趣度量。例如，可以将针对所述主要任务和所述一个或多个次要任务的预测的感兴趣度量与所述一个或多个医学图像一起显示，以促进用户对所述预测的感兴趣度量（例如，针对所述一个或多个次要任务）的评估。输出针对所述主要任务和所述一个或多个次要任务的预测的感兴趣度量还可以包括：将针对所述主要任务和所述一个或多个次要任务的预测的感兴趣度量存储在计算机系统的存储器或存储装置上或把针对所述主要任务和所述一个或多个次要任务的预测的感兴趣度量传输到远程计算机系统。

在步骤108处，接收关于针对所述一个或多个次要任务的预测的感兴趣度量的用户反馈。用户能够直接检验所述一个或多个次要任务使用户能够提供这种用户反馈。用户反馈可以采用任何合适的形式。在一个实施例中，用户反馈是用户对针对所述一个或多个次要任务的预测的感兴趣度量的接受或拒绝。在另一实施例中，用户反馈是校正或修改针对所述一个或多个次要任务的预测的感兴趣度量的用户输入。例如，用户可以与用户界面交互以选择被错误地预测的公共图像点，并且将该公共图像点移动到正确或期望位置（例如，在2D或3D空间中）。

在步骤110，基于接收的关于针对所述一个或多个次要任务的预测的感兴趣度量的用户反馈，对经训练的机器学习模型进行再训练以预测针对所述主要任务和所述一个或多个次要任务的感兴趣度量。在一个实施例中，形成包括所述一个或多个输入医学图像和用户反馈（作为基础事实值）的附加训练数据，并且这种附加训练数据用于例如根据图2的方法200对经训练的机器学习模型进行再训练。例如，如果用户校正了输入医学图像之一中的公共图像点的位置，则使用具有经校正的公共图像点的位置的所述一个或多个输入医学图像作为基础事实值来对经训练的机器学习模型进行再训练。在另一示例中，如果用户拒绝所述一个或多个次要任务的预测的感兴趣度量，则被拒绝的预测的感兴趣度量可以用作否定示例用于对经训练的机器学习模型进行再训练。由于机器学习模型具有共享层，因此基于关于针对所述一个或多个次要任务的预测的感兴趣度量的用户反馈的这种再训练会隐式地导致更新用于预测针对所有任务（即，主要任务和一个或多个次要任务）的感兴趣度量的机器学习模型。可以针对新接收的一个或多个输入医学图像执行任意多次方法100的步骤。

在一个实施例中，经训练的机器学习模型可以基于再训练之后预测的感兴趣度量变化了多少来确定预测的感兴趣度量的置信度的度量。特别地，在使用经训练的机器学习模型预测针对主要任务和一个或多个次要任务的感兴趣度量之后，可以使用经再训练的机器学习模型来预测针对主要任务和一个或多个次要任务的附加感兴趣度量。可以基于感兴趣度量与所述附加感兴趣度量之间的变化或差异来确定感兴趣度量（使用经训练的机器学习模型预测的）和/或附加感兴趣度量（使用经再训练的机器学习模型预测的）的置信度的度量。在一个示例中，在针对预测公共图像点的位置的次要任务对机器学习模型进行再训练之后，预测FFR值的主要任务可以变化。取决于FFR值之间的变化或差异，可以确定结果的置信度水平。在一个实施例中，置信度水平基于阈值，使得如果在再训练之后FFR值的变化大于阈值量（例如0.1），则结果的置信度低。

在另一实施例中，经训练的机器学习模型可通过针对所述一个或多个输入医学图像多次应用经训练的机器学习模型来提供预测的感兴趣度量的置信度的度量。在一个示例中，经训练的机器学习模型可以被应用多次，每次考虑来自每个时间序列的不同数量的图像。例如，可以通过仅将来自每个时间序列的单个2D图像视为所述一个或多个输入医学图像，来获得预测的第一感兴趣度量，可以通过仅将来自每个时间序列的两个2D图像视为所述一个或多个输入医学图像，来获得预测的第二感兴趣度量，等。在另一个示例中，如果所述一个或多个输入医学图像包括多个心跳期间的图像序列，并且假定在每个心跳处行为相同，则经训练的机器学习模型可以被应用多次，每次对不同的心跳。取决于每次应用经训练的机器学习模型时预测的感兴趣度量之间的变化或差异，可以确定（例如，基于阈值）针对预测的第一和/或第二感兴趣度量的置信度度量。

在另一个实施例中，置信度的度量可以基于患者特性（例如，年龄或其他人口统计数据、患者历史）以及图像特性（例如，血管造影图像中从血管到非血管的过渡有多清晰）。因此，可以识别不同类别的患者和/或图像特性，可以针对这些不同类别定义不同的置信度水平。

在一个实施例中，如果主要任务是预测虚拟CFR，则所述一个或多个输入医学图像（在步骤102处接收）可以包括在放松时和在充血时获取的血管造影图像。在该实施例中的所述一个或多个次要任务可以包括分别针对放松和充血确定的TIMI帧计数。

图2示出了根据一个或多个实施例的用于训练机器学习模型的方法200，该机器学习模型用于预测针对主要任务和一个或多个次要任务的感兴趣度量。在离线或训练阶段期间执行方法200以训练机器学习模型。在一个实施例中，根据方法200训练的机器学习模型可以在在线或测试阶段期间被应用以执行图1的方法100。方法200的步骤可以由任何合适的计算设备（诸如图6的计算机602）来执行。

在步骤202，接收训练数据。训练数据包括标记（或注释）有基础事实值的训练图像。训练图像可以具有任何合适的模态或模态的组合，诸如例如CT、dynaCT、x射线、MRI、US等。训练图像可以是通过如下方式直接从图像获取设备（例如，图6的图像获取设备614）接收的真实图像：从计算机系统的存储装置或存储器加载先前获取的医学图像，或者接收已经从远程计算机系统传输的医学图像。训练图像也可以是合成生成的训练图像。在一个实施例中，训练数据还包括患者数据。

在一个实施例中，训练图像包括几对（或更多）训练图像以及它们的相互角度信息（例如，用于获取每个时间序列的图像获取设备的C臂的角度），每对训练图像选自相应的图像序列（例如，血管造影照片）。在一个实施例中，通过如下方式来从它们相应的训练图像序列中选择各对训练图像：同步每个相应序列中的训练图像并从每个序列中选择同步或匹配的训练图像作为所述一对训练图像，例如，如下面关于图4所描述的。

对于每对训练图像，提供注释（即，基础事实值）以识别训练图像中的感兴趣度量。感兴趣度量基于机器学习模型将被训练用于执行的任务。例如，感兴趣度量可以包括训练图像中的公共图像点的位置、狭窄标记、测量位置等、以及与训练图像中的这些位置相关联的FFR值或其他血液动力学度量值（例如，CFR、iFR、BSR、HSR、IMR等）。在一个实施例中，注释被定义为位置（例如，界标）和每个位置的对应FFR值（或其他血液动力学度量值）的列表。注释列表的示例如下：

界标0： 所述一对训练图像中每个图像的公共图像点的位置；

界标1到N： 所述一对训练图像中每个图像的狭窄标记的位置；

界标N+1至2N+1：所述一对训练图像中每个图像的FFR测量位置，与狭窄标记的位置一致地排序，以便FFR测量位置可以与对应的狭窄相关联；和

FFR值1到N：0到1之间的FFR值，与狭窄标记的位置一致地排序，以便FFR值可以与对应的狭窄相关联。

经注释的基础事实FFR值可以由虚拟FFR预测器侵入性地测量或生成（例如，基于计算建模或基于回归/机器学习）。在一些实施例中，可以例如根据已知方法从合成生成的3D冠状动脉模型合成生成所述训练图像。

图3示出了根据一个实施例的示例性训练数据300。训练数据300包括一对训练图像302和304。训练图像302可以各自来自相应的图像序列。出于说明性目的，训练图像302和304示出了如下注释：公共图像点306、狭窄标记312和测量位置308以及对应的侵入性测量的FFR值310。

在图2的步骤204处，从训练数据中提取感兴趣特征。通常，在用于训练机器学习模型的方法200期间，机器学习模型隐式定义感兴趣特征。例如，图像数据（例如，图像强度、像素值）可以被直接提供作为一些专用网络层（例如，卷积神经网络中的卷积滤波器）的输入，并且作为训练过程的一部分，卷积滤波器的参数将被优化，以使得得到的特征（即滤波器的输出）将成为基础事实标记的最佳预测器。附加或替代地，可以使用“手工”特征。在一个示例中，可以通过将图像分割成小块并且（可选地）将滤波器应用于这种小块例如用于增强边缘来确定这样的手工特征。在另一个示例中，可以通过如下方式来确定这样的手工特征：从患者数据或医学历史中提取相关信息；例如定义分类变量（例如，每种既存或相关状况（诸如高血压、血胆固醇浓度等）一个变量）的向量，并根据特定患者的病史或状态为所有变量分配值。所述网络可以将其用作附加“特征向量”。

在步骤206，从训练数据中提取感兴趣度量。如上所述，感兴趣度量可以包括例如公共图像点的位置、狭窄标记、测量位置、FFR值或其他血液动力学度量值（例如，CFR、iFR、BSR、HSR、IMR等）。例如，可以通过解析注释列表来提取感兴趣度量。应该理解的是，步骤206可以在步骤208之前的任何时间被执行（例如，在步骤204之前，在步骤204之后，或者与步骤204同时（例如，与之并行））。

在步骤208处，使用从训练数据中提取的感兴趣特征来训练机器学习模型用于预测针对主要任务和一个或多个次要任务的感兴趣度量。可以使用任何合适的方法来训练机器学习模型，诸如例如回归、基于实例的方法、正则化方法、决策树学习、贝叶斯、核方法、聚类方法、关联规则学习、人工神经网络、降维、集成方法等。在一个示例中，基于图3的训练数据300，可以训练机器学习模型以用于预测虚拟FFR值的主要任务以及用于预测公共图像点的位置、狭窄标记和测量位置的多个次要任务。

机器学习模型可以基于任何合适的机器学习模型，诸如例如神经网络。在一个实施例中，机器学习模型是深度神经网络。例如，深度神经网络可以基于经修改的3D-R2N2网络。根据一个实施例，下面参照图5更详细地讨论经训练的机器学习模型的网络结构。

在一个实施例中，使用多任务学习来训练机器学习模型以预测针对主要任务和一个或多个次要任务的感兴趣度量。多任务学习基于这样的思想：专注于单个任务可能会阻止机器学习模型包括可能来自学习相关任务的有用信息。多任务学习是通过在机器学习模型的隐藏层中进行参数共享来实现的。参数共享可以是例如：硬共享，其中所有任务之间共享隐藏层，而多个输出层是任务特定的；或软共享，其中每个任务具有带有其自己参数的独特模型，但是添加约束以使各任务之间参数的相似性最大化。

在多任务学习中，重要的是识别所述一个或多个次要任务以使主要任务的性能最大化。在一个实施例中，可以通过例如如下方式来识别所述一个或多个次要任务：向机器学习模型提出相关任务（例如，针对预测虚拟FFR的主要任务提出预测解剖学狭窄严重性的次要任务），识别所述一个或多个次要任务作为预测从主要任务中不容易学习到的特征的任务（例如，针对预测虚拟FFR的主要任务，识别预测狭窄是否显著的次要任务），或者识别用于将注意力集中在输入医学图像的特定部分的所述一个或多个次要任务（例如，针对预测虚拟FFR的主要任务，识别导管尖端检测的次要任务，或识别迫使机器学习模型学习表示距冠状动脉口的距离的次要任务）。

在预测虚拟FFR（或其他血液动力学指标）作为主要任务的情境中，多任务学习实现了训练统一的机器学习模型，该统一的机器学习模型将两个或更多个输入医学图像的图像特征映射到针对检测到的狭窄的虚拟FFR。所述一个或多个次要任务可以包括例如预测狭窄的位置和预测在输入医学图像中可见的解剖界标的位置。所述一个或多个次要任务的性能可以由用户评估（例如，在视觉上），从而评估机器学习模型的性能。

可以接收关于所述一个或多个次要任务的性能的用户反馈，以用于使用交互式机器学习来对机器学习模型进行在线再训练。交互式机器学习使用户能够向机器学习模型提供反馈，从而实现在线再训练。利用多任务学习方法，交互式机器学习可被应用于所述一个或多个次要任务（对于这些任务，用户反馈更容易提供，并且针对用户间变化性可能更鲁棒），以便联合提供关于所述主要任务和所述一个或多个次要任务的性能的反馈。

图4示出了根据一个或多个实施例的用于同步第一图像序列406和第二图像序列408的工作流程400。在一个实施例中，根据一个实施例，可以执行工作流程400以使来自图像序列的图像同步，从而确定在图1的步骤102处接收的一个或多个输入医学图像或在图2的步骤202处接收的训练数据。在另一实施例中，同步是所述一个或多个次要任务中的一个，并且工作流程400仅被执行用于为图2的步骤202处的训练阶段准备训练数据。尽管工作流程400被描述为同步一对图像序列，但应当理解，可以将工作流程400应用于同步任何数量的图像序列。

在工作流程400中，分别在获取第一图像时间系列（或序列）406和第二图像时间系列408期间测量或接收患者的心电图（ECG）信号402和404。指标t与第一时间系列406和第二时间系列408中的每个图像相关联，表示相对于心搏周期或心动周期的时间。在一个实施例中，该指标是介于0和1之间的值，其中0表示心脏收缩的开始并且1表示心脏舒张的结束，以有效地将时间系列406和408的图像细分为多个子序列，每个子序列对应于一个心动周期。

第一时间系列406和第二时间系列408中的所选心动周期412的子序列内的图像基于它们的指标被同步或匹配，以提供同步图像410。在一个实施例中，匹配第一时间系列406和第二时间系列408中的所选心动周期412的子序列内的图像，其中与图像相关联的指标t之间的差异被最小化。图像被同步，使得第一时间系列406中的每个图像在第二时间系列408中有且仅有一个对应的图像。未匹配的图像可以可选地被丢弃。

在一个实施例中，在ECG信号不可用的情况下，例如，根据已知方法，基于图像中所描绘的血管运动来确定心动周期中的相对时间（例如，心脏收缩和心脏舒张时间）。

图5示出了根据一个或多个实施例的机器学习模型的网络架构500。根据一个实施例，网络架构500可以是针对在图1的方法100中应用并且在图2的方法200中训练的经训练的机器学习模型的网络架构。

网络架构500示出了机器学习模型502-A、502-B和502-C（统称为机器学习模型502）。虽然机器学习模型502-A、502-B和502-C为了易于理解而在功能上被示为网络架构500中的分离实例以示出输入医学图像514-A、514-B和514-C（统称为输入医学图像514）的时间分析，但应理解的是，相同的机器学习模型502被应用于每个输入医学图像514（即，具有相同学习权重的相同机器学习模型502用于机器学习模型502-A、502-B和502-C的每个实例，以分析每个相应的输入医学图像514）。

机器学习模型502接收描绘血管的输入医学图像514，并预测血管的相应分割作为输出516-A、516-B和516-C（统称为输出516）。尽管网络架构500将机器学习模型502示为执行预测输入医学图像514中血管的分割的任务，但应理解，机器学习模型502可以额外地或替代地被训练为执行一个或多个其他任务（例如，主要任务和一个或多个次要任务）。在一个实施例中，机器学习模型502是深度神经网络。例如，机器学习模型502可以基于修改的3D-R2N2网络。

机器学习模型502由以下各项组成：2D卷积神经网络（CNN）504-A、504-B和504-C（统称为2D CNN504）、长短期记忆（LSTM）递归神经网络（RNN）506-A、506-B和506-C（统称为LSTM RNN506）、3D LSTM网络510-A、510-B和510-C（统称为3D LSTM网络510）以及解码器3D解卷积神经网络512-A、512-B和512-C（统称为解码器512）。

每个输入医学图像514-A、514-B和514-C包括图像序列。例如，相应的输入医学图像514可以包括多个冠状血管造影或冠状血管造影的全部帧。输入医学图像514被馈送到机器学习模型502中，在机器学习模型502中它们由2D CNN504编码。来自相同序列514的多个图像的编码特征（来自2D CNN504）由LSTM RNN506聚合。来自LSTM RNN506的聚合的编码特征和2D视图参数518-A、518-B和518-C（统称为2D视图参数518）被组合为编码特征508-A、508-B和508-C（统称为编码特征508），该编码特征被输入到3D LSTM网络510中。2D视图参数518是描述输入医学图像514的特征，诸如例如C臂角度，源到检测器距离、图像分辨率等。

3D LSTM网络510聚合来自不同序列（例如，序列514-A、514-B、514-C）（如果有的话）的编码特征508。例如，如网络架构500中所示，3D LSTM网络510-B聚合编码特征508-B与来自对输入医学图像514-A的分析的编码特征508-A。在另一个示例中，3D LSTM网络510-C聚合编码特征508-C与来自对输入医学图像514-A和514-B的分析的编码特征508-A和508-B。来自3D LSTM网络510的聚合的编码特征由解码器512解码以生成输出516。

有利地，通过将图像序列而不是单个图像作为输入医学图像514输入到机器学习模型502中，机器学习模型502能够利用来自图像序列的时间信息。例如，由于心脏收缩，冠状血管在心动周期期间改变外观。输入医学图像514的图像序列使机器学习模型502能够学习在输入医学图像514上看到的心脏收缩的效果（及其在受试者之间的变化）如何与冠状动脉的3D几何形状相关。在另一个示例中，在心动周期期间的管腔尺寸变化也可以提供动脉壁的健康程度的指示。在严重动脉粥样硬化的情况下，几乎失去了动脉顺应性。机器学习模型502可以从该信息中学习进一步区分患有弥漫性或局灶性疾病的病例。

此外，通过用2D视图参数518增强来自LSTM RNN506的编码特征，机器学习模型502学习如何更好地区分3D空间中重建的血管的位置。

在多任务学习框架中，假定通过例如硬共享神经网络的层来学习不同的任务，而附加的输出层是任务特定的。如网络架构500中所示，机器学习模型502包括：2D CNN504和LSTM RNN506，形成具有共享层的机器学习模型502的编码部分；以及3D LSTM网络510和解码器512，形成具有任务特定层的解码部分。因此，附加或替代地，可以通过如下方式来训练机器学习模型502以执行其他任务：单独地训练任务特定解码部分（即3D LSTM网络510和解码器512）用于例如预测虚拟FFR，预测公共图像点的位置，预测测量位置，预测狭窄的位置等。

可以通过将预测的3D位置投影到2D图像平面来确定在对应的2D输入医学图像514中的预测的位置。为了预测虚拟FFR，可以训练附加层以将3D概率图的特征映射到整个体积（volume）中的FFR值。在一个实施例中，可以基于2016年5月24日发布的美国专利号9,349,178中描述的方法来训练所述附加层，该专利的公开内容通过引用整体合并于此。

本文描述的系统、装置和方法可以使用数字电路或使用一个或多个计算机来实现，该计算机使用公知的计算机处理器、存储器单元、存储设备、计算机软件和其他组件。通常，计算机包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器。计算机还可以包括或耦合到一个或多个大容量存储设备，诸如一个或多个磁盘、内部硬盘和可移动盘、磁光盘、光盘等。

可以使用以客户端-服务器关系操作的计算机来实现本文描述的系统、装置和方法。通常，在这种系统中，客户端计算机位于远离服务器计算机的位置，并经由网络进行交互。客户端-服务器关系可以由在相应的客户端和服务器计算机上运行的计算机程序定义和控制。

本文所述的系统、装置和方法可以在基于网络的云计算系统内实现。在这样的基于网络的云计算系统中，服务器或连接到网络的另一处理器经由网络与一个或多个客户端计算机通信。例如，客户端计算机可以经由驻留在客户端计算机上并在其上操作的网络浏览器应用来与服务器进行通信。客户端计算机可以将数据存储在服务器上，并经由网络访问该数据。客户端计算机可以经由网络将对数据的请求或对在线服务的请求传输到服务器。服务器可以执行所请求的服务，并将数据提供给（一个或多个）客户端计算机。服务器还可以传输适于使客户端计算机执行指定功能（例如，执行计算、在屏幕上显示指定数据等）的数据。例如，服务器可以传输适于使客户端计算机执行本文描述的方法和工作流程的一个或多个步骤或功能（包括图1-2的一个或多个步骤或功能）的请求。本文描述的方法和工作流程的某些步骤或功能（包括图1-2的一个或多个步骤或功能）可以由服务器或基于网络的云计算系统中的另一处理器执行。本文所述的方法和工作流程的某些步骤或功能（包括图1-2的一个或多个步骤）可以由基于网络的云计算系统中的客户端计算机执行。本文所述的方法和工作流程的步骤或功能（包括图1-2的一个或多个步骤）可以由基于网络的云计算系统中的服务器和/或客户端计算机以任何组合来执行。

本文所述的系统、装置和方法可以使用有形地体现在信息载体中（例如在非暂时性机器可读存储设备中）以供可编程处理器执行的计算机程序产品来实现；并且可以使用可由这样的处理器执行的一个或多个计算机程序来实现包括图1-2的一个或多个步骤或功能在内的本文所描述的方法和工作流程步骤。计算机程序是一组计算机程序指令，其可以在计算机中直接或间接使用以执行特定活动或带来特定结果。可以以任何形式的编程语言（包括经编译或解释的语言）来编写计算机程序，并且可以以任何形式（包括作为独立程序或作为模块、组件、子例程或其他适合在计算环境中使用的单元）部署该计算机程序。

图6中描绘了可用于实现本文所述的系统、装置和方法的示例计算机602的高级框图。计算机602包括处理器604，处理器604可操作地耦合至数据存储设备612和存储器610。处理器604通过执行计算机程序指令来控制计算机602的整体操作，该计算机程序指令定义这样的操作。可以将计算机程序指令存储在数据存储设备612或其他计算机可读介质中，并在期望执行计算机程序指令时将其加载到存储器610中。因此，图1-2的方法和工作流程步骤或功能可以由存储在存储器610和/或数据存储设备612中的计算机程序指令定义，并由执行该计算机程序指令的处理器604控制。例如，计算机程序指令可以被实现为由本领域技术人员编程为执行图1-2的方法和工作流程步骤或功能的计算机可执行代码。因此，通过执行计算机程序指令，处理器604执行图1-2的方法和工作流程步骤或功能。计算机602还可以包括一个或多个网络接口606，用于经由网络与其他设备进行通信。计算机602还可以包括一个或多个输入/输出设备608（例如，显示器、键盘、鼠标、扬声器、按钮等），输入/输出设备608使用户能够与计算机602进行交互。

处理器604可以包括通用微处理器和专用微处理器，并且可以是计算机602的唯一处理器或多个处理器之一。处理器604例如可以包括一个或多个中央处理单元（CPU）。处理器604、数据存储设备612和/或存储器610可以包括以下各项，由以下各项补充或被合并在以下各项中：一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA）。

数据存储设备612和存储器610均包括有形的非暂时性计算机可读存储介质。数据存储设备612和存储器610均可包括高速随机存取存储器，诸如动态随机存取存储器（DRAM）、静态随机存取存储器（SRAM）、双倍数据速率同步动态随机存取存储器（DDR RAM）或其他随机存取固态存储器设备，并且可以包括非易失性存储器，诸如一个或多个磁盘存储设备（诸如内部硬盘和可移动磁盘）、磁光盘存储设备、光盘存储设备、闪存设备、半导体存储器设备（诸如可擦除可编程只读存储器（EPROM）、电可擦可编程只读存储器（EEPROM））、紧凑盘只读存储器（CD-ROM）、数字多功能盘只读存储器（DVD-ROM）盘或其他非易失性固态存储设备。

输入/输出设备608可以包括外围设备，诸如打印机、扫描仪、显示屏等。例如，输入/输出设备608可以包括用于向用户显示信息的显示设备（诸如阴极射线管（CRT）或液晶显示（LCD）监视器）、键盘以及指示设备（诸如鼠标或轨迹球），用户可通过该指示设备向计算机602提供输入。

图像获取设备614可以连接到计算机602，以将图像数据（例如，医学图像）输入到计算机602。可以将图像获取设备614和计算机602实现为一个设备。图像获取设备614和计算机602也可以是通过网络进行通信（例如，无线地）的分开的设备。在可能的实施例中，计算机602可以相对于图像获取设备614位于远程位置。

本文讨论的任何或所有系统和装置（包括图1的工作站102的元件）都可以使用一个或多个计算机（诸如计算机602）来实现。

本领域技术人员将认识到，实际计算机或计算机系统的实现可以具有其他结构，并且还可以包含其他组件，并且出于说明目的，图6是这种计算机的一些组件的高级表示。

前面的详细描述在每个方面都应理解为是说明性和示例性的，而不是限制性的，并且本文公开的本发明的范围不是由详细描述确定的，而是由根据专利法所允许的最大范围理解的权利要求确定的。应当理解，本文示出和描述的实施例仅说明本发明的原理，并且本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种修改。本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种其他特征组合。

Claims (20)

1.一种用于对经训练的机器学习模型进行再训练的方法，包括：

接收一个或多个输入医学图像；

使用经训练的机器学习模型，根据所述一个或多个输入医学图像来预测针对主要任务和次要任务的感兴趣度量；

输出针对主要任务和次要任务的预测的感兴趣度量；

接收关于针对次要任务的预测的感兴趣度量的用户反馈；和

基于关于针对次要任务的输出的用户反馈，对经训练的机器学习模型进行再训练，以用于预测针对主要任务和次要任务的感兴趣度量。

2.根据权利要求1所述的方法，其中，用户不能根据所述一个或多个输入医学图像直接验证针对主要任务的感兴趣度量，并且用户可以根据所述一个或多个输入医学图像直接验证针对次要任务的感兴趣度量。

3.根据权利要求1所述的方法，其中，所述用户反馈包括对针对所述次要任务的所述预测的感兴趣度量的接受或拒绝。

4.根据权利要求1所述的方法，其中，所述用户反馈包括对针对所述次要任务的所述预测的感兴趣度量的修改。

5.根据权利要求1所述的方法，还包括：

使用经再训练的机器学习模型根据所述一个或多个输入医学图像来预测针对主要任务和次要任务的附加感兴趣度量；以及

基于使用经训练的机器学习模型预测的感兴趣度量与使用经再训练的机器学习模型预测的附加感兴趣度量之间的差异来确定针对主要任务和次要任务的预测的附加感兴趣度量中的置信度的度量。

6.根据权利要求1所述的方法，其中，使用经训练的机器学习模型根据所述一个或多个输入医学图像来预测针对主要任务和次要任务的感兴趣度量包括：使用经训练的机器学习模型，根据来自第一图像序列的单个输入医学图像和来自第二图像序列的单个输入医学图像，预测针对主要任务和次要任务的感兴趣度量，并且所述方法还包括：

使用经训练的机器学习模型，根据来自第一图像序列的两个输入医学图像和来自第二图像序列的两个输入医学图像，预测针对主要任务和次要任务的附加感兴趣度量；以及

基于以下两项之间的差异来确定针对主要任务和次要任务的预测的感兴趣度量和/或预测的附加感兴趣度量中置信度的度量：1）使用经训练的机器学习模型根据来自第一图像序列的单个输入医学图像和来自第二图像序列的单个输入医学图像预测的所述感兴趣度量，和2）使用经训练的机器学习模型根据来自第一图像序列的所述两个输入医学图像和来自第二图像序列的所述两个输入医学图像预测的所述附加感兴趣度量。

7.根据权利要求1所述的方法，其中，针对所述主要任务的感兴趣度量包括血液动力学指标。

8.根据权利要求7所述的方法，其中，所述血液动力学指标是虚拟分数血流储备。

9.根据权利要求1所述的方法，其中，针对次要任务的感兴趣度量包括以下各项中的至少一项：测量点的位置、公共图像点的位置、狭窄的位置和血管的分割。

10.根据权利要求1所述的方法，还包括通过以下步骤选择所述一个或多个输入医学图像：

接收在获取第一图像序列和第二图像序列期间获取的相应心电图信号；

基于第一图像序列和第二图像序列的相应的心电图信号将指标与第一图像序列和第二图像序列中的每个图像相关联；

基于第一图像序列和第二图像序列相关联的指标将第一图像序列的图像与第二图像序列的图像相匹配；以及

选择匹配的第一序列的图像和第二序列的图像作为所述一个或多个输入医学图像。

11.一种用于对经训练的机器学习模型进行再训练的装置，包括：

用于接收一个或多个输入医学图像的构件；

用于使用经训练的机器学习模型根据所述一个或多个输入医学图像来预测针对主要任务和次要任务的感兴趣度量的构件；

用于输出针对主要任务和次要任务的预测的感兴趣度量的构件；

用于接收关于针对次要任务的预测的感兴趣度量的用户反馈的构件；和

用于基于关于针对次要任务的输出的用户反馈，对经训练的机器学习模型进行再训练，以用于预测针对主要任务和次要任务的感兴趣度量的构件。

12.根据权利要求11所述的装置，其中，用户不能根据所述一个或多个输入医学图像直接验证针对主要任务的感兴趣度量，并且用户可以根据所述一个或多个输入医学图像直接验证针对次要任务的感兴趣度量。

13.根据权利要求11所述的装置，其中所述用户反馈包括对针对所述次要任务的所述预测的感兴趣度量的接受或拒绝。

14.根据权利要求11所述的装置，其中，所述用户反馈包括对针对所述次要任务的所述预测的感兴趣度量的修改。

15.一种非暂时性计算机可读介质，存储用于对经训练的机器学习模型进行再训练的计算机程序指令，所述计算机程序指令在由处理器执行时使所述处理器执行包括以下各项的操作：

接收一个或多个输入医学图像；

使用经训练的机器学习模型，根据所述一个或多个输入医学图像来预测针对主要任务和次要任务的感兴趣度量；

输出针对主要任务和次要任务的预测的感兴趣度量；

接收关于针对次要任务的预测的感兴趣度量的用户反馈；和

基于关于针对次要任务的输出的用户反馈，对经训练的机器学习模型进行再训练，以用于预测针对主要任务和次要任务的感兴趣度量。

16.根据权利要求15所述的非暂时性计算机可读介质，所述操作还包括：

使用经再训练的机器学习模型根据所述一个或多个输入医学图像来预测针对主要任务和次要任务的附加感兴趣度量；以及

基于使用经训练的机器学习模型预测的感兴趣度量与使用经再训练的机器学习模型预测的附加感兴趣度量之间的差异来确定针对主要任务和次要任务的预测的附加感兴趣度量中的置信度的度量。

17.根据权利要求15所述的非暂时性计算机可读介质，其中，使用经训练的机器学习模型根据所述一个或多个输入医学图像来预测针对主要任务和次要任务的感兴趣度量包括：使用经训练的机器学习模型，根据来自第一图像序列的单个输入医学图像和来自第二图像序列的单个输入医学图像，预测针对主要任务和次要任务的感兴趣度量，并且所述操作还包括：

使用经训练的机器学习模型，根据来自第一图像序列的两个输入医学图像和来自第二图像序列的两个输入医学图像，预测针对主要任务和次要任务的附加感兴趣度量；以及

基于以下两项之间的差异来确定针对主要任务和次要任务的预测的感兴趣度量和/或预测的附加感兴趣度量中置信度的度量：1）使用经训练的机器学习模型根据来自第一图像序列的单个输入医学图像和来自第二图像序列的单个输入医学图像预测的所述感兴趣度量，和2）使用经训练的机器学习模型根据来自第一图像序列的所述两个输入医学图像和来自第二图像序列的所述两个输入医学图像预测的附加感兴趣度量。

18.根据权利要求15所述的非暂时性计算机可读介质，其中，针对所述主要任务的感兴趣度量包括血液动力学指标。

19.根据权利要求15所述的非暂时性计算机可读介质，其中，针对次要任务的感兴趣度量包括以下各项中的至少一项：测量点的位置、公共图像点的位置、狭窄的位置和血管的分割。

20.根据权利要求15所述的非暂时性计算机可读介质，所述操作还包括通过以下步骤选择所述一个或多个输入医学图像：

接收在获取第一图像序列和第二图像序列期间获取的相应心电图信号；

基于第一图像序列和第二图像序列的相应的心电图信号将指标与第一图像序列和第二图像序列中的每个图像相关联；

基于第一图像序列和第二图像序列相关联的指标将第一图像序列的图像与第二图像序列的图像相匹配；以及

选择匹配的第一序列的图像和第二序列的图像作为所述一个或多个输入医学图像。

Images