CN114072838A - 根据2d医学图像进行3d血管中心线重建 - Google Patents

Abstract

提供了用于确定血管的3D中心线的系统和方法。基于一个或多个图像视图集来确定人工代理的当前状态观察，每个图像视图集包括血管的2D医学图像、在2D医学图像中人工代理的当前位置以及2D医学图像中的开始位置和目标位置。使用经训练的机器学习模型、基于当前状态观察来计算用于在3D中移动人工代理的多个动作的策略值。人工代理基于策略值、根据特定动作移动。确定、计算和移动的步骤被重复达多次迭代，以沿着开始位置和目标位置之间的3D路径移动人工代理。血管的3D中心线被确定为3D路径。

Description

根据2D医学图像进行3D血管中心线重建

技术领域

本发明总体上涉及3D血管中心线重建，并且更特别地，涉及根据2D血管造影医学图像进行3D血管中心线重建的深度强化学习。

背景技术

医学图像中血管的检测促进许多血管疾病的诊断、治疗和监测。血管检测中的一个重要步骤是中心线追踪，以提取血管的中心线表示，从而使得能够对血管进行特定的可视化或定量评估。用于中心线追踪的常规方法并不良好地适用于二维医学图像，诸如例如x射线血管造影医学图像。一种用于中心线追踪的常规方法通过最小化诸如中间性或脉管性之类的成本来计算中心线路径。另一种用于中心线追踪的常规方法使用基于估计取向张量的基于流动的追踪。然而，这样的用于中心线追踪的常规方法不能够在二维医学图像中的分叉血管和重叠血管之间进行区分。此外，特别是当二维医学图像的数量有限时，根据二维医学图像进行三维中心线重建是一个重大挑战。

发明内容

根据一个或多个实施例，提供了用于在一个或多个二维（2D）医学图像中确定血管的3D中心线的系统和方法。基于一个或多个图像视图集来确定人工代理的当前状态观察。所述一个或多个图像视图集中的每一个包括血管的一个或多个2D医学图像、所述一个或多个2D医学图像中人工代理的当前位置以及所述一个或多个2D医学图像中的开始位置和目标位置。使用经训练的机器学习模型、基于当前状态观察来计算用于在三维（3D）中移动人工代理的多个动作的策略值。人工代理基于策略值、根据特定动作移动。确定、计算和移动的步骤被重复达多次迭代，以沿着开始位置和目标位置之间的3D路径移动人工代理。血管的3D中心线被确定为3D路径。可以基于血管的3D中心线来确定血管的2D中心线。

在一个实施例中，重复确定、计算和移动的步骤，直到人工代理的当前位置是目标位置或者已经执行了最大次数的迭代。

在一个实施例中，所述多个动作包括在向前方向、向后方向、向左方向、向右方向、向上方向和向下方向上的离散移动。在一个实施例中，所述多个动作包括在任何方向上的连续移动。在一个实施例中，基于当前状态观察，使用利用深度强化学习训练的经训练深度神经网络（DNN）来计算所述多个动作的策略值。

在一个实施例中，血管的所述一个或多个2D医学图像是血管造影x射线图像的通道。所述一个或多个图像视图集中的至少一个可以包括脉管性图像、强度图像、一个或多个取向图像、分支重叠分数和/或关键点检测。在一个实施例中，所述一个或多个图像视图集是单个图像视图集，其进一步包括造影剂的到达时间和血流速度或造影剂传播速度。

在一个实施例中，检测血管树中的近端点和多个相应的远端点，并且针对每个近端点-远端点对使用近端点作为开始位置并使用相应的远端点作为目标位置，来重复确定当前状态观察、计算、移动、重复和确定血管的3D中心线的步骤，以确定血管树的3D中心线。

通过参考以下详细描述和附图，本发明的这些和其他优点对于本领域普通技术人员来说将是清楚的。

附图说明

图1示出了描绘血管分支的患者的示例性2D x射线医学图像；

图2示出了用于使用人工代理确定血管的3D中心线的方法；

图3示出了用于使用人工代理确定血管的3D中心线的高级框架；

图4示出了用于检测血管树远端点的高级框架；

图5示出了用于训练人工代理以便确定血管的3D中心线的方法；以及

图6示出了计算机的高级框图。

具体实施方式

呈现的发明总体上涉及用于根据二维（2D）医学图像进行三维（3D）血管中心线重建的方法和系统。本文描述了本发明的实施例，以给出用于根据2D医学图像进行3D血管中心线重建的方法的视觉理解。数字图像通常由一个或多个对象（或形状）的数字表示组成。对象的数字表示在本文中通常在标识和操控对象方面进行描述。这样的操控是在计算机系统的存储器或其他电路/硬件中完成的虚拟操控。因此，将理解，本发明的实施例可以使用存储在计算机系统内的数据在计算机系统内执行。

此外，应当理解，虽然本文讨论的实施例可以关于根据医学图像进行血管中心线重建进行讨论，但是本发明不限于此。本发明可以应用于在任何类型的图像中重建任何感兴趣的管状对象。

图1示出了描绘血管分支的患者（或任何其他受试者）的2D x射线医学图像100，其包括重叠血管的区域102。可以获取医学图像100，以促进患者的临床检查，诸如例如血管造影片。为了促进用于这样的临床检查的血管检测和其他成像分析任务，可以将中心线追踪技术应用于医学图像100，以提取血管分支的中心线表示。

常规中心线追踪技术不能够在区域102处分支的分叉与分支的重叠之间进行区分。因此，这样的常规中心线追踪技术可能错误地将区域102解释为血管分支的分叉，从而将分支的错误捷径路径追踪到重叠分支上。此外，特别是当2D医学图像的数量有限时，根据2D医学图像进行3D中心线重建是一个重大挑战。

本发明的实施例应用深度强化学习来训练智能人工代理，以用于根据2D医学图像确定血管的3D中心线和/或2D中心线。通过执行加载到存储器中的计算机程序指令（代码），使用一个或多个计算机（例如，图6的计算机602）来实现人工代理。人工代理观察其环境（例如，包括一个或多个2D医学图像、人工代理的当前位置以及开始和目标位置的一个或多个图像视图集），并在该环境内自主移动，以基于使用机器学习而学习的策略来确定血管的3D中心线。人工代理的移动是相对于参考方向在3D空间内的虚拟移动。人工代理可以按需触发，或者持久并始终在后台运行。用于人工代理的输入（例如，一个或多个图像视图集）用于确定其状态。人工代理的输出是移动人工代理以形成表示血管3D中心线的3D路径的“动作”。血管的3D中心线特别是在重叠分支的区域（诸如，例如区域102）处提供了对2D医学图像中血管结构的更好理解。血管的3D中心线可以用于成像分析任务，其具有改进的结果。

图2示出了根据一个或多个实施例的用于使用人工代理来确定血管的3D中心线的方法200。方法200可以由任何合适的计算设备（诸如，例如图6的计算机602）来执行。将参考图3同时描述图2的方法200，图3示出了根据一个或多个实施例的用于使用人工代理确定血管的3D中心线的高级框架300。人工代理可以在先前的训练或离线阶段期间被训练，这在下面关于图5进一步详细描述。

在步骤202处，基于一个或多个图像视图集来确定人工代理的当前状态观察。一个或多个图像视图集中的每一个包括血管的一个或多个2D医学图像、一个或多个2D医学图像中人工代理的当前位置以及一个或多个2D医学图像中的开始位置和目标位置。图3的框架300示出了与血管的不同视图相关的第一图像视图集302和第二图像视图集304。第一图像视图集302和第二图像视图集304分别包括一个或多个医学图像302-C和304-C、指示一个或多个医学图像302-C和304-C中的开始位置和目标位置的热图302-B和304-B、以及指示一个或多个医学图像302-C和304-C中的人工代理的当前位置的热图302-A和304-A。尽管框架300被示出为具有第一图像视图集302和第二图像视图集304，但是应当理解，框架300可以采用任何数目的图像视图集。

在一个实施例中，一个或多个2D医学图像是x射线血管造影图像的通道。然而，应当理解，一个或多个2D医学图像可以具有任何合适的模态，诸如例如磁共振成像（MRI）、计算机断层摄影（CT）、动态CT、超声（US）或任何其他合适的域或域的组合。每个图像视图集的一个或多个2D医学图像可以具有相同或不同的模态，并且可以是从同一患者在不同时间临时获取而获取的，或者是从不同患者获取的。一个或多个2D医学图像可以直接从诸如CT扫描仪、MRI扫描仪、超声设备、C形臂图像采集设备等图像采集设备接收，或者可以通过从计算机系统的存储器或存储装置加载先前存储的医学图像或者从另一计算机系统接收电子传输中的医学图像来接收。

开始位置和目标位置是在血管上的位置，在所述位置之间要追踪血管的中心线。开始位置和目标位置可以由用户手动定义或者例如使用深度学习方法自动检测。例如，可以通过自动检测导管尖端或口的位置来检测开始位置，并且可以通过自动检测血管远端点来自动检测目标位置。人工代理306的当前位置也可以由用户手动定义或自动检测，例如，基于人工代理在3D中的位置到2D图像上的正向投影（使用从图像采集中可获得的投影矩阵）来自动检测。虽然框架300中的开始和目标位置被示为2D热图302-B和304-B，并且人工代理的当前位置被示为2D热图302-A和304-A，但是应当理解，开始和目标位置以及当前位置可以使用任何合适的形式来表示。

在可能的实施例中，一个或多个图像视图集（例如，图像视图集302和/或304）可以替代地或附加地包括一个或多个2D医学图像的其他特征。例如，一个或多个图像视图集可以包括表示像素表示血管的像素级概率的脉管性图像、表示像素级强度值的强度图像、表示像素中的血管在相应取向（例如，垂直、水平、在左下角和右上角之间形成的对角线、 或者在左上角到右下角之间形成的对角线）上取向的像素级概率的一个或多个取向图像、表示像素是重叠分支的像素级分数的分支重叠分数、关键点检测（例如，分叉）等。

在步骤204处，使用经训练的机器学习模型、基于当前状态观察来计算用于在3D中移动人工代理的多个动作的策略值。当前状态观察被输入到经训练的机器学习模型中，并且使用经训练的机器学习模型、基于当前观察状态来计算多个动作的策略值。策略值可以是动作值（其中使用Q学习利用深度强化学习训练人工代理）、概率（其中使用策略梯度方法利用深度强化学习训练人工代理）或任何其他合适的策略值。框架300示出了人工代理306接收图像视图集302和304，以用于计算或预测多个动作的策略值。

通过执行加载到存储器中的计算机程序指令（代码），使用一个或多个计算机（例如，图6的计算机602）来实现人工代理306。人工代理306被训练为基于使用机器学习（诸如，例如深度神经网络（DNN））学习的策略和回报机制来执行多个动作之一。在一个实施例中，人工代理306在先前的训练或离线阶段期间利用深度强化学习来训练，以学习将状态映射到动作以最大化回报的策略。在一个实施例中，人工代理306如下面关于图5所描述的在训练阶段期间被训练。

通过根据策略针对每个图像视图集累积一个或多个2D医学图像的回报来计算多个动作的策略值。基于人工代理306的投影位置（如将根据相应的动作移动）、一个或多个2D医学图像的2D基础真值中心线以及开始和目标位置，针对每个相应的动作计算策略值。在一个实施例中，如果3D基础真值中心线是可用的（例如，从CTA），则回报也可以以3D或作为2D和3D回报两者的组合来计算。

多个动作用于在3D空间内相对于参考方向虚拟地移动人工代理306。3D空间具有对应于一个或多个2D医学图像的2D坐标系的3D坐标系。在一个实施例中，多个动作是离散移动（即，在特定方向上的预定移动或有限移动集合）。例如，多个动作可以包括相对于参考方向在向前方向、向后方向、向左方向、向右方向、向上方向和向下方向上的离散移动。还设想到其他方向上的移动（例如，对角线）。在另一个实施例中，例如，取决于正在实现的强化学习的方法，多个动作是连续移动（即，在一定范围（例如，360度范围）内相对于参考方向在任何方向上的移动）。在训练阶段期间定义多个动作。

在步骤206处，基于多个动作的策略值、根据多个动作中的特定动作移动人工代理。例如，可以针对具有最高策略值（例如，最高动作值）的特定动作移动人工代理。人工代理的移动是在计算机系统的存储器或其他电路/硬件中完成的3D空间中的虚拟移动。

在步骤208处，确定是否满足停止条件。例如，停止条件可以是人工代理306的当前位置是目标位置或者已经执行了最大次数的迭代。也可以采用任何其他合适的停止条件。如果停止条件不满足，方法200返回到步骤202，并且重复确定（步骤202）、计算（步骤204）和移动（步骤206）步骤，以递增地移动人工代理，从而在开始位置和目标位置之间的3D空间内形成3D路径。因此，迭代地重复步骤202、204和206，直到满足停止条件。在每次迭代期间，仅在每个图像视图集中更新人工代理的当前位置以确定当前状态观察（如框架300中所示），并且每个图像视图集中的一个或多个2D医学图像、开始位置和目标位置（以及任何其他输入）保持不变。当满足停止条件时，方法200前进到步骤210。

在步骤210处，血管的3D中心线被确定为人工代理的3D路径。在一个实施例中，血管的3D中心线（以及人工代理的3D路径）由3D坐标集合表示，每个3D坐标表示人工代理在3D空间中在开始位置和目标位置之间的增量移动。

在步骤212处，基于血管的3D中心线确定血管的2D中心线。在一个实施例中，通过将血管的3D中心线投影到2D空间或视图中来确定血管的2D中心线。血管的2D中心线由2D坐标集合表示，每个2D坐标表示人工代理在2D空间中在开始位置和目标位置之间的增量移动。

在步骤214处，输出血管的3D中心线和/或2D中心线。例如，可以通过在计算机系统（例如，图6的计算机602）的显示设备上显示血管的3D中心线和/或2D中心线，在计算机系统（例如，图6的计算机602）的存储器或存储装置上存储血管的3D中心线和/或2D中心线，或者通过将血管的3D中心线和/或2D中心线传输到远程计算机系统，来输出血管的3D中心线和/或2D中心线。在一个实施例中，2D中心线显示在覆盖在一个或多个2D医学图像上的显示设备上。尽管在方法200中输出血管的最终3D中心线和/或2D中心线，但是也可能的是在步骤202-212的每次迭代时可以输出（例如，在计算机系统的显示器上显示）血管的增量3D中心线和/或2D中心线（来自人工代理的增量3D路径）。这样的增量结果将允许例如用户在人工代理移动时实时查看人工代理的3D和/或2D路径。

在一个实施例中，方法200可以应用于提取完整血管树的中心线。针对血管树确定一个近端点和多个远端点。在一个实施例中，近端点和多个远端点由用户手动标识。在另一个实施例中，诸如例如多目标深度卷积神经网络之类的深度学习网络可以用于自动检测血管树的近端点和多个远端点。例如，图4示出了根据一个或多个实施例的用于使用深度学习模型来检测树血管的远端点的高级框架400。描绘血管树的医学图像402被输入到经训练的深度学习模型404（例如，使用已知方法训练的多对象深度卷积神经网络），其生成指示血管树的近端点和远端点的位置的多个热图406。可以针对每个近端点-远端点对（即，近端点和多个远端点中的每一个之间的对）使用近端点作为开始位置并使用相应的远端点作为目标位置来执行方法200，以确定完整血管树的3D中心线。在一些实施例中，在血管树具有一个或多个分支（例如，分叉或三分叉）的情况下，人工代理可以沿着分支之一继续，并且可以创建一个或多个附加的人工代理作为沿着其他分支移动的动作。

在一个实施例中，可以修改框架300以根据单个图像视图集（例如，图像视图集302或304）确定血管的3D中心线。特别地，可以修改框架300，使得单个图像视图集包括造影剂在沿着血管的特定点处（在开始位置和目标位置之间）的到达时间以及沿着血管的特定点处的血流速度或造影剂传播速度。因此，人工代理学习在3D空间中移动，使得其行进距离与每个特定点的估计3D位置（例如，基于特定点处的造影剂的到达时间或血流速度或造影剂传播速度来确定）一致，同时确保在2D中投影的人工代理的3D路径与单个图像视图集的图像特征相匹配。

在一个实施例中，造影剂的到达时间可以被确定为其中造影剂到达沿着血管的特定点的帧的采集时间减去其中造影剂到达开始位置的帧的采集时间。也可以采用用于确定造影剂到达时间的任何其他合适的方法。

在一个实施例中，可以根据一个或多个2D医学图像确定血流速度和造影剂传播速度。例如，给定血管上的开始位置和目标位置，可以基于帧计数来估计将造影剂（例如，造影剂的前部）从开始位置传播到目标位置所需的时间。因此，给定开始位置和目标位置之间的距离（例如，基于血管的3D重建确定），造影剂传播速度可以近似为距离和血流传播所需的时间之间的比率。替代地，给定血流速度或造影剂传播速度的估计，可以使用血流传播时间来估计两点（例如，开始位置和目标位置）之间的距离。在其他实施例中，血流速度和造影剂传播速度可以基于例如群体平均值（例如，取决于冠状动脉树上的位置和受试者特性）、侵入性（例如，血管内多普勒）或非侵入性（例如，多普勒或相位对比MRI）的直接测量进行确定，或者使用如2015年10月7日提交的题为“Synthetic Data-Driven HemodynamicDetermination in Medical Imaging”的美国专利号9,918,690中所述生理建模进行估计，该美国专利的公开内容通过引用以其整体并入本文。也可以采用用于确定血流速度或造影剂传播速度的任何其他合适的方法。

图5示出了根据一个或多个实施例的用于训练人工代理以便确定血管的3D中心线的方法500。方法500可以由任何合适的计算设备（诸如，例如图6的计算机602）来执行。方法500在离线或训练阶段期间执行，以训练人工代理。例如，在图2的方法200中，可以在在线或测试阶段期间应用经训练的人工代理。

在步骤502处，接收训练图像。在一个实施例中，训练图像可以包括具有血管的基础真值中心线的血管的训练医学图像。训练医学图像可以具有任何合适的模态，可以具有相同的模态或不同的模态，并且可以在不同时间从同一患者或从不同患者获取。训练医学图像可以包括从医学图像采集设备获取的患者的实际医学图像。这些训练医学图像可以通过从用于获取图像的图像采集设备接收图像或者通过从计算机系统的存储装置或存储器加载先前获取的图像来获得。这些训练医学图像的基础真值中心线可以通过手动专家注释或通过应用现有的图像中心线追踪方法来获取。训练医学图像也可以包括合成图像。合成图像可以使用任何合适的方法生成。

在一个实施例中，通过合成地生成动脉树的解剖模型来生成合成图像，以提供基础真值中心线。动脉树的解剖模型可以根据2015年10月7日提交的美国专利号9,918,690中描述的方法生成，该美国专利的公开内容通过引用以其整体并入本文。然后使用具有不同设置（例如，心率值、造影剂注射速率等）的生理模型来仿真血流和造影剂传播。通过将仿真的时间分辨结果投影到表示成像扫描仪的传感器位置的一个或多个平面上，生成合成冠状动脉血管造影片。

在另一个实施例中，通过将冠状动脉分割从单阶段或多阶段CTA体积前向投影到多个2D视图上来生成合成图像。为了模拟心脏的运动，可以将先前的运动模型应用于在CTA图像中分割的心脏结构（例如，四个腔室），以使冠状动脉分割变形。

在步骤504处，到机器学习模型的状态输入被定义用于机器学习模型正针对其被训练的确定血管3D中心线的任务。被输入到机器学习模型的状态是血管的一个或多个2D医学图像、一个或多个2D医学图像中人工代理的当前位置以及一个或多个2D医学图像中的开始位置和目标位置。该状态还可以包括其他输入，诸如例如造影剂的到达时间、血流速度、造影剂传播速度等。

在步骤506处，定义多个动作。多个动作表示用于移动人工代理的可能动作集合。例如，多个动作可以包括向前、向后、向左、向右、向上和向下方向上的离散移动。还设想到其他动作（例如，对角线）。在一些实施例中，多个动作可以是任何方向上的连续移动。

在步骤508处，定义回报机制。回报机制针对多个动作中的每一个取决于该动作对人工代理路径轨迹的影响来分配回报。针对导致更准确的血管中心线的动作分配更高的回报。

在步骤510处，使用训练图像、基于状态输入训练机器学习模型来针对多个动作中的每一个预测策略值。动作的策略值表示如果执行该动作预期的总体回报。策略值可以是定义动作空间的任何合适的值，例如，取决于用于训练机器学习模型的方法。例如，在使用Q学习的深度强化学习中，策略值是动作值。在使用策略梯度方法的深度强化学习中，策略值是给定输入状态的动作状态之上的概率。机器学习模型可以是任何合适的基于机器学习的模型，诸如例如深度神经网络。人工代理由机器学习模型实现，该机器学习模型将状态取作输入，并针对多个动作中的每一个输出策略值。

在一个实施例中，可以利用深度强化学习来训练深度神经网络。强化学习是一类机器学习，其中基于软件的人工代理使用回报反馈来自动学习特定上下文中并且针对特定任务的理想行为。在将深度神经网络与强化学习相组合的深度强化学习中，策略学习过程被公式化为强化学习问题，并且作为迭代更新，遵循贝尔曼方程估计动作值函数。在深度强化学习（和强化学习）中，人工代理的训练典型地是无指导的，并且人工代理自由地根据其当前策略估计在其环境中进化。

在一个实施例中，可以使用Q学习利用深度强化学习来训练深度神经网络。在Q学习中，深度神经网络被训练为针对多个动作中每一个预测动作值。在另一个实施例中，可以使用策略梯度方法利用深度强化学习来训练深度神经网络。利用策略梯度方法，训练深度神经网络来预测采取多个动作中的每一个的概率。深度强化学习可以利用任何其他合适的方法来实现。

经训练的机器学习模型存储在例如计算机系统的存储器或存储装置中，或者在远程基于云的计算机系统上。然后，经训练的机器学习模型可以被加载，并用于通过基于当前状态针对多个动作中的每一个迭代地预测策略值并执行具有最佳策略值（例如，最高预测动作值）的所选动作，来确定血管的3D中心线。

本文描述的系统、装置和方法可以使用数字电路或者使用一个或多个使用公知的计算机处理器、存储器单元、存储设备、计算机软件和其他组件的计算机来实现。典型地，计算机包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器。计算机还可以包括或耦合到一个或多个大容量存储设备，诸如一个或多个磁盘、内部硬盘和可移动盘、磁光盘、光盘等。

本文描述的系统、装置和方法可以使用在客户端-服务器关系中操作的计算机来实现。典型地，在这样的系统中，客户端计算机远离服务器计算机定位并经由网络进行交互。客户端-服务器关系可以由在相应的客户端和服务器计算机上运行的计算机程序来定义和控制。

本文描述的系统、装置和方法可以在基于网络的云计算系统内实现。在这样的基于网络的云计算系统中，连接到网络的服务器或另一个处理器经由网络与一个或多个客户端计算机通信。例如，客户端计算机可以经由在客户端计算机上驻留并操作的网络浏览器应用与服务器通信。客户端计算机可以将数据存储在服务器上并经由网络访问数据。客户端计算机可以经由网络向服务器传输针对数据的请求或针对在线服务的请求。服务器可以执行所请求的服务并向（一个或多个）客户端计算机提供数据。服务器还可以传输适于引起客户端计算机执行例如执行计算、在屏幕上显示指定数据等特定功能的数据。例如，服务器可以传输适于引起客户端计算机执行本文描述的方法和工作流的一个或多个步骤或功能的请求，包括图2和5的一个或多个步骤或功能。本文描述的方法和工作流的某些步骤或功能——包括图2和5的一个或多个步骤或功能——可以由基于网络的云计算系统中的服务器或另一个处理器来执行。本文描述的方法和工作流的某些步骤或功能——包括图2和5的一个或多个步骤——可以由基于网络的云计算系统中的客户端计算机来执行。本文描述的方法和工作流的步骤或功能——包括图2和5的一个或多个步骤——可以由基于网络的云计算系统中的服务器和/或客户端计算机以任何组合来执行。

本文描述的系统、装置和方法可以使用计算机程序产品来实现，该计算机程序产品有形地体现在信息载体中、例如在非暂时性机器可读存储设备中，以供由可编程处理器执行；并且本文描述的方法和工作流步骤——包括图2和5的一个或多个步骤或功能——可以使用可由这样的处理器执行的一个或多个计算机程序来实现。计算机程序是计算机程序指令集合，其可以直接或间接在计算机中用于执行某个活动或带来某个结果。计算机程序可以用任何形式的编程语言编写——包括编译或解释语言，并且它可以以任何形式部署——包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其他单元。

图6中描绘了可以用于实现本文描述的系统、装置和方法的示例计算机602的高级框图。计算机602包括操作性地耦合到数据存储设备612和存储器610的处理器604。处理器604通过执行定义这样的操作的计算机程序指令来控制计算机602的总体操作。计算机程序指令可以存储在数据存储设备612或其他计算机可读介质中，并且当期望执行计算机程序指令时加载到存储器610中。因此，图2和5的方法和工作流步骤或功能可以由存储在存储器610和/或数据存储设备612中的计算机程序指令来定义，并且由执行计算机程序指令的处理器604来控制。例如，计算机程序指令可以被实现为由本领域技术人员编程的计算机可执行代码，以执行图2和5的方法和工作流步骤或功能。因此，通过执行计算机程序指令，处理器604执行图2和5的方法和工作流步骤或功能。计算机602还可以包括一个或多个网络接口606，用于经由网络与其他设备通信。计算机602还可以包括使得用户能够与计算机602交互的一个或多个输入/输出设备608（例如，显示器、键盘、鼠标、扬声器、按钮等）。

处理器604可以包括通用和专用微处理器两者，并且可以是计算机602的唯一处理器或多个处理器之一。例如，处理器604可以包括一个或多个中央处理单元（CPU）。处理器604、数据存储设备612和/或存储器610可以包括一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA）、由一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA）补充，或并入一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA）中。

数据存储设备612和存储器610各自包括有形的非暂时性计算机可读存储介质。数据存储设备612和存储器610可以各自包括高速随机存取存储器，诸如动态随机存取存储器（DRAM）、静态随机存取存储器（SRAM）、双数据速率同步动态随机存取存储器（DDR RAM）或其他随机存取固态存储器设备，并且可以包括非易失性存储器，诸如一个或多个磁盘存储设备（诸如内部硬盘和可移动盘）、磁光盘存储设备、光盘存储设备、闪速存储器设备、半导体存储器设备（诸如可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM）、致密盘只读存储器（CD-ROM）、数字多功能盘只读存储器（DVD-ROM）盘）或其他非易失性固态存储设备。

输入/输出设备608可以包括外围设备，诸如打印机、扫描仪、显示屏等。例如，输入/输出设备608可以包括：用于向用户显示信息的显示设备，诸如阴极射线管（CRT）或液晶显示器（LCD）监视器；键盘；以及诸如鼠标或轨迹球之类的定点设备，用户可以通过该定点设备向计算机602提供输入。

图像采集设备614可以连接到计算机602，以将图像数据（例如，医学图像）输入到计算机602。可能的是将图像采集设备614和计算机602实现为一个设备。还可能的是图像采集设备614和计算机602通过网络无线通信。在可能的实施例中，计算机602可以相对于图像采集设备614远程定位。

本文讨论的任何或所有系统和装置可以使用一个或多个计算机（诸如计算机602）来实现。

本领域技术人员将认识到，实际计算机或计算机系统的实现可以具有其他结构，并且也可以包含其他组件，并且图6是这样的计算机的一些组件的高级表示以用于说明性目的。

前述具体实施方式将被理解为在每一方面都是说明性和示例性的，而不是限制性的，并且本文公开的本发明的范围将不是由具体实施方式确定的，而是由权利要求根据专利法准许的全部范围所解释的确定的。将理解，本文所示和所述的实施例仅仅是本发明原理的说明，并且在不脱离本发明的范围和精神的情况下，本领域技术人员可以实现各种修改。本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种其他特征组合。

Claims (20)

1.一种用于在一个或多个二维（2D）医学图像中确定血管的3D中心线的方法，包括：

基于一个或多个图像视图集确定（202）人工代理的当前状态观察，每个图像视图集包括血管的一个或多个2D医学图像、所述一个或多个2D医学图像中所述人工代理的当前位置、以及所述一个或多个2D医学图像中的开始位置和目标位置；

使用经训练的机器学习模型、基于所述当前状态观察来计算（204）用于在三维（3D）中移动所述人工代理的多个动作的策略值；

基于所述策略值、根据所述多个动作中的特定动作移动（206）所述人工代理；

重复（208）所述确定、所述计算和所述移动步骤达多次迭代以沿着所述开始位置和所述目标位置之间的3D路径移动所述人工代理；以及

确定（210）所述血管的3D中心线为所述3D路径。

2.根据权利要求1所述的方法，进一步包括：

基于所述血管的3D中心线确定（212）所述血管的2D中心线。

3.根据权利要求1所述的方法，其中重复所述确定、所述计算和所述移动步骤达多次迭代以沿着所述开始位置和所述目标位置之间的3D路径移动所述人工代理包括：

重复（208）所述确定、所述计算和所述移动步骤，直到所述人工代理的当前位置是所述目标位置或者已经执行了最大次数的迭代。

4.根据权利要求1所述的方法，其中所述多个动作包括在向前方向、向后方向、向左方向、向右方向、向上方向和向下方向上的离散移动。

5.根据权利要求1所述的方法，其中所述多个动作包括在任何方向上的连续移动。

6.根据权利要求1所述的方法，其中所述一个或多个图像视图集中的至少一个进一步包括脉管性图像、强度图像、一个或多个取向图像、分支重叠分数和关键点检测中的至少一个。

7.根据权利要求1所述的方法，其中所述一个或多个图像视图集是单个图像视图集，其包括造影剂的到达时间和血流速度或造影剂传播速度。

8.根据权利要求1所述的方法，其中使用经训练的机器学习模型、基于所述当前状态观察来计算用于在三维（3D）中移动所述人工代理的多个动作的策略值包括：

使用利用深度强化学习训练的经训练深度神经网络（DNN）、基于所述当前状态观察来计算所述多个动作的策略值。

9.根据权利要求1所述的方法，进一步包括：

检测血管树中的近端点和多个相应的远端点；以及

针对每个近端点-远端点对使用近端点作为所述开始位置并使用相应的远端点作为所述目标位置来执行确定当前状态观察、所述计算、所述移动、所述重复以及确定所述血管的3D中心线，以确定所述血管树的3D中心线。

10.根据权利要求1所述的方法，其中所述血管的所述一个或多个2D医学图像是血管造影x射线图像的通道。

11.一种用于在一个或多个二维（2D）医学图像中确定血管的3D中心线的装置，包括：

用于基于一个或多个图像视图集确定（202）人工代理的当前状态观察的构件，每个图像视图集包括血管的一个或多个2D医学图像、所述一个或多个2D医学图像中所述人工代理的当前位置、以及所述一个或多个2D医学图像中的开始位置和目标位置；

用于使用经训练的机器学习模型、基于所述当前状态观察来计算（204）用于在三维（3D）中移动所述人工代理的多个动作的策略值的构件；

用于基于所述策略值、根据所述多个动作中的特定动作移动（206）所述人工代理的构件；

用于重复（208）所述确定、所述计算和所述移动步骤达多次迭代以沿着所述开始位置和所述目标位置之间的3D路径移动所述人工代理的构件；以及

用于确定（210）所述血管的3D中心线为所述3D路径的构件。

12.根据权利要求11所述的装置，进一步包括：

用于基于所述血管的3D中心线确定（212）所述血管的2D中心线的构件。

13.根据权利要求11所述的装置，其中，用于重复所述确定、所述计算和所述移动步骤达多次迭代以沿着所述开始位置和所述目标位置之间的3D路径移动所述人工代理的构件包括：

用于重复（208）所述确定、所述计算和所述移动步骤直到所述人工代理的当前位置是所述目标位置或者已经执行了最大次数的迭代的构件。

14.根据权利要求11所述的装置，其中所述一个或多个图像视图集中的至少一个进一步包括脉管性图像、强度图像、一个或多个取向图像、分支重叠分数和关键点检测中的至少一个。

15.一种存储计算机程序指令的非暂时性计算机可读介质，当由处理器执行时，所述计算机程序指令引起所述处理器执行包括以下各项的操作：

基于一个或多个图像视图集确定（202）人工代理的当前状态观察，每个图像视图集包括血管的一个或多个二维（2D）医学图像、所述一个或多个2D医学图像中所述人工代理的当前位置、以及所述一个或多个2D医学图像中的开始位置和目标位置；

使用经训练的机器学习模型、基于所述当前状态观察来计算（204）用于在三维（3D）中移动所述人工代理的多个动作的策略值；

基于所述策略值、根据所述多个动作中的特定动作移动（206）所述人工代理；

重复（208）所述确定、所述计算和所述移动步骤达多次迭代以沿着所述开始位置和所述目标位置之间的3D路径移动所述人工代理；以及

确定（210）所述血管的3D中心线为所述3D路径。

16.根据权利要求15所述的非暂时性计算机可读介质，其中所述多个动作包括在向前方向、向后方向、向左方向、向右方向、向上方向和向下方向上的离散移动。

17.根据权利要求15所述的非暂时性计算机可读介质，其中所述多个动作包括在任何方向上的连续移动。

18.根据权利要求15所述的非暂时性计算机可读介质，其中所述一个或多个图像视图集是单个图像视图集，其包括造影剂的到达时间和血流速度或造影剂传播速度。

19.根据权利要求15所述的非暂时性计算机可读介质，所述操作进一步包括：

检测血管树中的近端点和多个相应的远端点；以及

针对每个近端点-远端点对使用近端点作为所述开始位置并使用相应的远端点作为所述目标位置来执行确定当前状态观察、所述计算、所述移动、所述重复以及确定所述血管的3D中心线，以确定所述血管树的3D中心线。

20.根据权利要求15所述的非暂时性计算机可读介质，其中所述血管的所述一个或多个2D医学图像是血管造影x射线图像的通道。

Images