CN117581262A - 预测栓塞流程状态 - Google Patents

Abstract

一种预测动脉瘤上的栓塞流程的状态的计算机实施的方法包括：接收(S110)投影图像数据(110)，所述投影图像数据表示在所述栓塞流程期间的解剖结构的包括所述动脉瘤的区域中的时间血流；将接收到的投影图像数据(110)输入(S120)到被训练为预测时间血流(130)的神经网络(120)中，其中，使用训练数据(140)将所述神经网络(120)训练为预测时间血流(130)，所述训练数据表示所述解剖结构的不包括动脉瘤的区域中的时间血流；并且响应于所述输入(S120)而：基于预测时间血流来生成(S130)指示所述栓塞流程的所述状态的输出(160)。

Description

预测栓塞流程状态

技术领域

本公开涉及预测动脉瘤上的栓塞流程的状态。

背景技术

动脉瘤是血管的异常扩大区域。动脉瘤是由于血管壁的弱点造成的。动脉瘤可以在体内的任何血管中形成，并且最频繁发生在脑和腹主动脉中。动脉瘤需要处置以避免破裂和随之发生的内出血和/或出血性中风的风险。

血管内线圈栓塞术由于其微创性质和其低失败率而成为用于处置脑动脉瘤的常用流程。线圈栓塞术开始于框架线圈的插入。这些旨在填充动脉瘤囊的周边，从而稳定用于随后插入填充线圈的结构。在框架线圈之后插入填充线圈。填充线圈比框架线圈更短且更小，并且被封装在框架线圈内部。最后，插入最终线圈。

在处置期间，动脉瘤填充有正确的线圈量是重要的。如果动脉瘤被线圈填充不足，则存在动脉瘤再通的风险，并且因此可能需要进一步处置。如果动脉瘤被线圈过度填充，则存在动脉瘤破裂的风险。用线圈过度填充动脉瘤还会导致线圈迁移出动脉瘤并进入载瘤血管从而阻塞载瘤血管中的血流的风险。

医师可以考虑各种因素，以便利用正确的线圈量来填充动脉瘤。这些包括线圈封装密度和绝对残余体积。线圈封装密度影响动脉瘤内血液动力学流动。使用高线圈封装密度降低了动脉瘤再通的风险。绝对残余体积是动脉瘤中未填充空间的量度，并且包括线圈的环之间的空间。该因素与封装密度密切相关。如果封装密度低，则将存在能够促进动脉瘤的再通的一些残余体积。

线圈栓塞流程通常在使用造影剂的X射线成像下执行。通过将造影剂注射到血管上游的位置中并且从多个角度对动脉瘤内部的造影剂进行成像来评估流程的进展。在这样做时，医师可以估计为了完成线圈栓塞流程而需要插入的额外的线圈的量。

然而，当线圈插入到动脉瘤中时，新插入的线圈遮挡了先前放置的线圈以及动脉瘤本身的可见性。插入的线圈可以例如填充动脉瘤的周边部分，并且在中间留下在X射线成像下可能无法识别的空腔。这能够导致栓塞流程后的线圈压缩和动脉瘤的再通。

因此，随着处置进行，在X射线图像上观察插入的线圈的行为和分布变得越来越困难。这使得难以估计动脉瘤内的封装密度和残余体积。因此，医师可以尝试通过从多个角度对动脉瘤内部的造影剂进行成像来获得为了完成线圈栓塞流程而需要插入的额外的线圈的量的改进的估计。然而，这在存在这样的空腔的情况下提供有限的额外的信息，并且还增加了对患者的辐射剂量。

因此，需要在确定栓塞流程的进展或换句话说状态时的改进。

发明内容

根据本公开的一个方面，提供了一种预测动脉瘤上的栓塞流程的状态的计算机实施的方法。所述方法包括：

接收投影图像数据，所述投影图像数据表示在所述栓塞流程期间的解剖结构的包括所述动脉瘤的区域中的时间血流；

将接收到的投影图像数据输入到被训练为预测时间血流的神经网络中，其中，所述神经网络使用训练数据被训练为预测时间血流，所述训练数据表示所述解剖结构的不包括动脉瘤的区域中的时间血流；并且响应于所述输入而执行以下操作：

基于预测时间血流来生成指示所述栓塞流程的所述状态的输出。

本公开的另外的方面、特征和优点将根据参考附图做出的示例的以下描述变得显而易见。

附图说明

图1图示了表示线圈栓塞流程之前(A)和之后(B)的脑脉管系统的数字减影血管造影图像。

图2是图示根据本公开的一些方面的预测动脉瘤上的栓塞流程的状态的方法的流程图。

图3是图示根据本公开的一些方面(A)训练神经网络120以预测时间血流130以及(B)利用被训练为预测时间血流130的神经网络120执行推断的示意图。

图4是图示根据本公开的一些方面的训练神经网络以学习表示血流的分布的潜在变量的一个或多个向量的方法的流程图。

具体实施方式

参考以下描述和附图来提供本公开的示例。在本说明书中，出于解释的目的，阐述了某些示例的许多具体细节。说明书中对“示例”、“实施方式”或类似语言的提及意味着结合该示例描述的特征、结构或特性被包括在至少该一个示例中。还应意识到，关于一个示例描述的特征也可以用于另一示例，并且出于简洁的缘故，在每个示例中不必重复所有特征。例如，关于计算机实施的方法所描述的特征可以以对应的方式在计算机程序产品和系统中实施。

在以下描述中，提及了涉及预测动脉瘤上的栓塞流程的状态的计算机实施的方法。提及了其中动脉瘤在脑中的示例。然而，应意识到，计算机实施的方法可以用于预测除脑之外的其他身体区域中(包括心脏中，并且例如腹主动脉中)的动脉瘤上的栓塞流程的状态。

本文中提及了涉及预测线圈栓塞流程的状态的计算机实施的方法。然而，应意识到，方法也可以用于预测采用其他策略来处置动脉瘤(包括利用诸如凝胶或胶粘物的材料填充动脉瘤)的栓塞流程的状态。

本文中提及了涉及使用投影图像数据预测动脉瘤上的栓塞流程的状态的计算机实施的方法。投影图像数据通常可以由X射线成像系统生成。在一些示例中，投影图像数据由数字减影血管造影X射线图像提供。然而，应意识到，投影图像数据通常可以由各种类型的X射线图像(包括荧光透视图像和对比度增强的X射线图像)提供。

注意，本文所公开的计算机实施的方法可以作为非瞬态计算机可读存储介质来提供，该存储介质包括存储在其上的计算机可读指令，该计算机可读指令当由至少一个处理器运行时使该至少一个处理器执行该方法。换句话说，计算机实施的方法可以在计算机程序产品中实施。计算机程序产品可以由专用硬件或能够运行与适当的软件相关联的软件的硬件来提供。当由处理器提供时，方法特征的功能可以由单个专用处理器、或由单个共享处理器或由多个个体处理器(其中一些可以共享)提供。一个或多个方法特征的功能可以例如由在联网处理架构(诸如客户端/服务器架构、因特网或云)内共享的处理器提供。

术语“处理器”或“控制器”的明确使用不应被解释为专门是指能够运行软件的硬件，并且可以隐含地包括但不限于数字信号处理器“DSP”硬件、用于存储软件的只读存储器“ROM”、随机存取存储器“RAM”、非易失性存储设备等。此外，本公开的示例可以采取可从计算机可用存储介质或计算机可读存储介质访问的计算机程序产品的形式，计算机程序产品提供用于通过计算机或任何指令运行系统使用或与计算机或任何指令运行系统结合使用的程序代码。出于该描述的目的，计算机可用存储介质或计算机可读存储介质可以是能够包括、存储、通信、传播或传输程序以供指令运行系统、装置或设备使用或与其结合使用的任何装置。介质可以是电子、磁性、光学、电磁、红外或者半导体系统或者设备或者传播介质。计算机可读介质的示例包括半导体或者固态存储器、磁带、可移除计算机磁盘、随机存取存储器“RAM”、只读存储器“ROM”、刚性磁盘和光盘。光盘的当前示例包括光盘只读存储器“CD-ROM”、光盘-读/写“CD-R/W”、蓝光TM和DVD。

如上所述，线圈栓塞流程通常在使用造影剂的X射线成像下执行。通过将造影剂注射到血管上游的位置中并且从多个角度对动脉瘤内部的造影剂进行成像来评估流程的进展。在这样做时，医师可以估计为了完成线圈栓塞流程而需要插入的额外的线圈的量。然而，当线圈插入到动脉瘤中时，新插入的线圈遮挡了先前放置的线圈以及动脉瘤本身的可见性。因此，随着处置进行，在X射线图像上观察插入的线圈的行为和分布变得越来越困难。

通过示例的方式，图1图示了表示线圈栓塞流程之前(A)和之后(B)的脑脉管系统的数字减影血管造影图像。在图1(A)中，动脉瘤被视为以暗对比度从血管向外突起的大囊。医师可以在线圈栓塞流程期间从多个角度生成诸如图1A的图像，以便可视化随时间的血液填充和从动脉瘤的排空。然而，如上所述，当线圈中的每个插入到动脉瘤中时，线圈块遮挡了先前放置的线圈以及动脉瘤本身的可见性。因此，随着处置进行，在X射线图像上观察插入的线圈的行为和分布变得越来越困难。最终，当动脉瘤已经被填充有线圈时，流入囊中的血液可忽略不计，如图1(B)中所见到的，并且医师可以认为线圈栓塞流程完成。与图1(A)相比，图1(B)中所图示的DSA图像是使用包括插入的线圈的经更新的背景图像生成的，并且因此在图1(B)中以轻对比度看到动脉瘤的原始位置，从而指示进入囊的血流可忽略不计。

图2是图示根据本公开的一些方面的预测动脉瘤上的栓塞流程的状态的方法的流程图。参考图2，该方法包括：

接收S110投影图像数据110，该投影图像数据表示在栓塞流程期间的解剖结构的包括动脉瘤的区域中的时间血流；

将接收到的投影图像数据110输入S120到被训练为预测时间血流130的神经网络120中，其中，使用表示解剖结构的不包括动脉瘤的区域中的时间血流的训练数据140将神经网络120训练为预测时间血流130；并且响应于输入S120而执行以下操作：

生成S130指示栓塞流程的状态的输出160。

以上方法源于观察通过动脉瘤的时间血流与动脉瘤被线圈填充的程度之间的相关性。在此背景下，“时间血流”是指在特定时间段内通过脉管系统的血流，因为其可以例如经由观察投影图像(诸如DSA图像)的序列中的造影剂来确定。特别地，通过动脉瘤的时间血流是感兴趣的。

在未填充状态下，已经观察到血液进入动脉瘤，并且然后在几个心动周期的延迟后到达动脉瘤远侧的脉管系统。随着更多的线圈插入到动脉瘤中，已经观察到血液在短得多的延迟之后到达动脉瘤远侧的脉管系统。因此，通过动脉瘤的时间血流可以用于确定动脉瘤被线圈填充的程度，或换句话说，栓塞流程的状态。

在以上方法中，神经网络根据输入的投影数据来预测时间血流。由于使用表示解剖结构的不包括动脉瘤的区域(其被假设为存在“正常的”未受干扰的血流的区域)中的时间血流的训练数据将神经网络训练为预测时间血流，因此通过神经网络预测的时间血流是其基于输入的投影数据与这种“正常”血流的最接近的近似。

在栓塞流程的开始处，动脉瘤未被填充有线圈，并且预期输入的投影数据中的血流是异常的。在输入的投影数据中的血流与训练数据中的“正常”血流不同的意义上，其预期是异常的。换句话说，在栓塞流程的开始处，输入的投影数据描绘了相对于如由训练数据表示的正常血流在“分布外”的血流。随着栓塞流程进行并且动脉瘤被填充有线圈，预期输入的投影数据中的血流变得更接近正常血流，并且因此变为训练数据的“分布中”。

基于这些观察的各种度量可以根据神经网络的输出来计算，并且独立地或组合地使用，以生成指示操作S130中的栓塞流程的状态的输出160。这些度量被称为“分布外”度量，并且可以被认为表示相对于正常血流的预测血流，特别是输入的投影数据相对于训练数据有多接近“分布中”。因此，生成指示栓塞流程的状态的输出160的操作可以基于分布外度量150的计算值。

在第一示例中，可以通过输入的投影图像数据中的血流的“正常性”来提供分布外度量，或换句话说，通过输入的投影图像数据110中表示的血流与来自训练数据140的解剖结构的不包括动脉瘤170的区域中的时间血流之间的差异的量度来提供分布外度量。如上所述，随着栓塞流程进行并且动脉瘤被填充有线圈，预期输入的投影数据中的血流变得更接近正常血流。

在第二示例中，可以通过重建误差值来提供分布外度量。重建误差值表示预测时间血流130与在输入的投影图像数据110中表示的血流之间的差异。在栓塞流程的开始处，即当动脉瘤未被填充有线圈时，预期输入的投影数据中的异常血流导致神经网络对血流做出不准确的预测。在预测血流将不会很好地对应于输入的投影数据中的血流的意义上，其是不准确的。这是因为使用表示解剖结构的不包括动脉瘤的区域中的时间血流的训练数据将神经网络训练为预测时间血流。随着栓塞流程进行并且动脉瘤被填充有线圈，预期输入的投影数据中的血流变得更接近正常血流。因此，随着栓塞流程进行，预期重建误差值减小。

在第三示例中，可以通过置信度估计来提供分布外度量。生成置信度估计的一种方式是评价输入的投影图像数据的潜在表示170在何处位于所学习的潜在表示上的分布内。在栓塞流程的开始处，预期输入的投影数据中的异常血流产生远离分布170的均值的潜在表示(即，异常值)。随着栓塞流程进行，预期输入的投影数据中的血流变得更接近正常血流，并且因此产生更接近分布的均值的潜在表示。距分布的均值的该距离可以用作经训练的网络的输出的置信度的量度。因此，在流程的开始处，置信度低，并且随着程序进行，预期置信度增加。

在第四示例中，可以通过使用神经网络以生成注意力图来提供分布外度量。注意力图指示输入的投影图像数据110中对预测时间血流130有主导贡献的特征的位置。从网络的编码器侧导出的注意力图可以指示与未填充的动脉瘤在空间上交叠的特征，因为未填充的动脉瘤是投影图像中的主导特征。然而，由于预期在具有“正常”血流的投影图像上训练的解码器不能根据与动脉瘤相关联的特征的潜在表示很好地重建，因此预期预测时间血流的准确性是低的。当神经网络被输入有包括异常血流的投影图像时，这种情况可能发生在栓塞流程的开始处。相比之下，如果注意力图指示在空间上远离动脉瘤的特征，则预期预测时间血流的准确性是高的。当神经网络被输入有包括更多正常血流的投影图像并且动脉瘤是图像中不太主导或非主导特征时，这种情况可能朝向栓塞流程的结束而发生。因此，注意力图中指示的特征的位置与输入的投影图像数据110中的动脉瘤的位置之间的差异的量度也可以提供栓塞流程的状态的指示符。

分布外度量的这四个示例(即输入的投影图像数据110中表示的血流与来自训练数据140的解剖结构的不包括动脉瘤170的区域中的时间血流之间的差异；重建误差值；输入投影图像数据的潜在表示距所学习的潜在表示的分布的平均值的距离；以及注意力图中指示的特征的位置与输入的投影图像数据110中的动脉瘤的位置之间的差异)因此可以独立地或组合地(例如作为加权和)使用，以计算关于输入的投影数据110有多接近“分布中”的值。然后可以基于关于输入的投影数据有多接近“分布中”的计算值来生成指示栓塞流程的状态的输出160。

使用经训练的神经网络120或换句话说在推断时间处执行上面参考图2描述的方法。还参考图3描述图2的方法，图3是图示根据本公开的一些方面(A)训练神经网络120以预测时间血流130以及(B)利用被训练为预测时间血流130的神经网络120执行推断的示意图。

参考图2和图3(B)，在操作S110中，接收投影图像数据110。可以从各种源(包括数据库、成像系统、计算机可读存储介质、因特网、云等)接收投影图像数据110。可以经由任何形式的数据通信(包括有线和无线通信)来接收投影图像数据110。通过一些示例的方式，当使用有线通信时，通信可以经由电缆或光缆进行，并且当使用无线通信时，通信可以例如经由RF或红外信号。

如上所述，投影图像数据110可以由X射线成像系统提供。投影图像数据110可以包括X射线图像的序列。因此，在图3(B)中，X射线图像序列的形式的示例投影图像数据110在操作S110中被接收，并在操作S120中被输入到经训练的神经网络120中。在图3(B)中，序列中的X射线图像表示在栓塞流程期间脑中的时间血流。更具体地，序列中的X射线图像包括虚线轮廓内的示例动脉瘤，并且表示在栓塞流程期间动脉瘤中的血流。动脉瘤在虚线轮廓内以暗对比度可见为大囊。在一些示例中，投影图像数据110包括在动脉瘤上游的一个或多个管腔中和在动脉瘤下游的一个或多个管腔中的时间血流的表示。

通常，投影图像数据110可以包括在被接收之前即时生成的X射线图像的序列，即X射线图像的实况序列，或X射线图像的序列能够已经预先几秒、几分钟、几小时或甚至几天或更长的时段被生成。可以在时间步t_1..m处生成X射线图像的序列，如图3(B)所图示的。X射线图像可以在注射造影剂之后被生成，并且因此可以被称为对比度增强的X射线图像。造影剂突出显示图像的序列中的血流。对比度增强的X射线图像可以例如包括对比度增强的X射线荧光透视图像或数字减影血管造影“DSA”图像。DSA图像是通过从在已经注射造影剂之后生成的X射线图像中的对应的位置减去在将造影剂注射到脉管系统中之前已经生成的X射线图像的图像强度值来生成的。在这样做时，DSA图像提供了脉管系统中的血流的可视化，而没有由诸如骨骼的致密材料产生的背景图像特征。

在操作S120中，将接收到的投影图像数据110输入到经训练的神经网络120中。通过示例的方式，图3(B)图示了包括变分自动编码器“VAE”架构并且适用于此目的的经训练的神经网络120的示例。下面提供关于该示例神经网络架构的进一步细节。可以备选地使用具有图3(B)中图示的示例VAE的备选架构的神经网络，包括递归神经网络“RNN”、长短期记忆“LSTM”架构和变换器。

使用表示解剖结构的不包括动脉瘤的区域中的时间血流的训练数据140将神经网络120训练为预测时间血流130。在图3(B)中图示了预测时间血流130的示例，并且其中，预测时间血流包括表示随时间的预测血流的图像的序列。在一些示例中，可以仅使用表示解剖结构的不包括动脉瘤的区域中的时间血流的训练数据140来训练神经网络。

训练数据140可以表示沿着脉管系统的任何区域中的时间血流。通过使用不包括动脉瘤的训练数据来训练神经网络，神经网络学习与正常血流相关联的特征。在推断处，当经训练的神经网络被输入有包括动脉瘤的数据时，神经网络120确定输入的数据对于所学习的分布有多少异常值，并且因此确定正常血流已经恢复的程度。下面参考图3(A)更详细地描述了神经网络120的训练。

参考图3(B)，响应于在操作S120中将接收到的投影图像数据110输入到神经网络120中，然后在操作S130中生成指示栓塞流程的状态的输出160。如上所述，指示栓塞流程的状态的输出160可以通过神经网络基于预测血流并且在某些示例中基于指示相对于正常血流的预测血流的各种分布外度量来生成。在某些示例中，计算预测时间血流的分布外度量150的值，并且基于分布外度量估计150的计算值来生成指示栓塞流程的状态的输出160，该值指示相对于正常血流的预测时间血流。

在一个示例中，栓塞流程的状态表示栓塞流程的已经完成的比例。这在图3(B)中通过说明文字“％完成”来图示。栓塞流程的已经完成的比例可以例如被输出为数值，或备选地被输出为诸如饼图形式的图标。在另一示例中，栓塞流程的状态表示完成栓塞流程的预期时间。完成栓塞流程的预期时间可以例如以数值的形式被输出，或被输出为指示相对于完成栓塞流程的预期时间的流程的经过的持续时间的进度条。输出160还可以包括这些指示和其他指示的组合。在这样做时，输出160提供栓塞的进展的指示，而不需要为了从多个角度获得动脉瘤的图像而重复地调节成像系统的位置。因此，可以减少对患者的X射线辐射剂量。

现在参考图3(A)描述训练神经网络120以预测时间血流的示例。在该示例中，提及了包括VAE架构的神经网络。在图3(A)所图示的示例中，VAE的编码器和解码器部分可以由具有三维输入(即，在时间维度上堆叠的二维投影图像)的卷积神经网络“CNN”或备选地由具有单向或双向长短期记忆“LSTM”架构的递归神经网络“RNN”来提供。然而，应意识到，具有不同架构的神经网络可以备选地被训练为预测时间血流。在训练期间，图3(A)所图示的神经网络120学习表示通过正常灌注的脉管系统的血流的在潜在空间z上的分布μ，σ。也可以以类似的方式训练图3所图示的示例VAE的备选神经网络，其也能够学习输入的训练数据140的潜在表示上的近似分布。

在训练期间，图3A所图示的VAE神经网络120被输入有训练数据140，训练数据140包括表示解剖结构的不包括动脉瘤的区域中的时间血流的图像的多个时间序列。通常，训练数据140可以包括X射线图像的时间序列。更具体地，X射线图像的时间序列可以包括对比度增强的X射线图像(诸如对比度增强的X射线荧光透视图像)或数字减影血管造影“DSA”图像。在图3(A)所图示的示例中，图示了DSA图像的单个时间序列，并且输入的训练数据对应于在时间步t_1..n中的每个处的训练数据140中的虚线轮廓内的DSA图像的部分。备选地，输入的训练数据可以包括完整的X射线图像。在训练期间，输入的训练数据140可以例如包括一百个或更多个这样的时间序列。通常，时间序列可以从不具有任何动脉瘤的对象和/或已经经历成功的动脉瘤处置流程(诸如线圈栓塞、夹持、帽放置等)并且其中动脉瘤可以被认为不再存在的患者获得。时间序列可以被认为表示解剖结构的正常灌注的区域。时间序列可以表示序列中的X射线图像中的随机选择的血管中的血流。

在训练期间，图3(A)所图示的VAE神经网络120学习表示血流的分布的潜在变量180的一个或多个向量。图3(A)所图示的潜在变量180的向量包括均值向量m和/或方差向量s。由于输入的训练数据140表示正常灌注的血流，因此均值和方差向量表示输入的训练数据140中的图像中的正常灌注的血流的分布。神经网络120被训练为基于潜在变量180的所学习的一个或多个向量来预测时间血流。换句话说，在训练期间，VAE神经网络120学习输入序列的所学习的表示上的分布。因此，神经网络120能够根据潜在变量180的(一个或多个)向量生成预测时间血流130。

通常，训练神经网络涉及将大的训练数据集输入到神经网络中，并且迭代地调节神经网络的参数，直到经训练的神经网络提供准确的输出。训练常常使用图形处理单元“GPU”或专用神经处理器(诸如神经处理单元“NPU”或张量处理单元“TPU”)执行。训练常常采用集中式方法，其中，使用基于云或基于主机的神经处理器来训练神经网络。在其用训练数据集进行训练之后，经训练的神经网络可以被部署到用于在推理期间分析新的输入数据的设备。推理期间的处理要求显著低于训练期间需要的那些要求，从而允许神经网络部署到各种系统中，诸如膝上型计算机、平板电脑、移动电话等等。例如，推理可以由中央处理单元“CPU”、GPU、NPU、TPU、在服务器上或云中执行。

因此，训练神经网络120的过程包括调节其参数。参数或更具体地权重和偏置控制神经网络中的激活函数的操作。在监督式学习中，训练过程自动调节权重和偏置，使得当被呈现有输入数据时，神经网络准确地提供对应的预期输出数据。为了这样做，基于预测输出数据与预期输出数据之间的差异来计算损失函数或误差的值。可以使用诸如负对数似然损失、均方误差或Huber损失或交叉熵的函数来计算损失函数的值。在训练期间，通常使损失函数的值最小化，并且当损失函数的值满足停止准则时训练终止。有时，当损失函数的值满足多个准则中的一个或多个时训练终止。

已知用于解决该损失问题的各种方法，诸如梯度下降、拟牛顿方法等。已经开发了各种算法来实施这些方法及其变型，包括但不限于随机梯度下降“SGD”、批量梯度下降、小批量梯度下降、高斯-牛顿、Levenberg-Marquardt、Momentum、Adam、Nadam、Adagrad、Adadelta、RMSProp和Adamax“优化器”。这些算法使用链式规则来计算损失函数相对于模型参数的导数。该过程被称为反向传播，因为导数是从最后一层或输出层开始、朝向第一层或输入层移动来计算的。这些导数通知算法必须如何调节模型参数，以便使误差函数最小化。即，从输出层开始做出对模型参数的调节，并且在网络中向后工作，直到到达输入层。在第一次训练迭代中，初始权重和偏置常常是随机的。然后，神经网络预测输出数据，这同样是随机的。然后使用反向传播来调节权重和偏置。通过对每次迭代中的权重和偏置进行调节来迭代执行训练过程。当预测输出数据与预期输出数据之间的误差或差异在针对训练数据或针对一些验证数据的可接受范围内时训练终止。随后，可以部署神经网络，并且经训练的神经网络使用其参数的经训练的值对新的输入数据进行预测。如果训练过程成功，则经训练的神经网络根据新的输入数据准确地预测预期输出数据。

图4是图示根据本公开的一些方面的训练神经网络以学习表示血流的分布的潜在变量的一个或多个向量的方法的流程图。训练方法可以用于训练图3(A)中所图示的神经网络。参考图4和图3(A)，神经网络120通过以下操作被训练为学习表示血流的分布的潜在变量180的一个或多个向量：

接收S210包括图像的多个时间序列的训练数据140，每个时间序列包括表示解剖结构的不包括动脉瘤的区域中的多个时间步t_1..n处的血流的图像；并且

针对时间序列中的多个时间步t_1..n中的每个：

将与时间步t_1..n相对应的图像输入S220到神经网络120中；

训练S230神经网络120以学习表示在时间步t_1..n处的图像中的血流的分布的潜在变量180的一个或多个向量；

从由潜在变量180的一个或多个向量表示的图像中的血流的分布内进行采样S240，以提供后续时间步t_1..n处的预期血流；

基于以下各项来调节S250神经网络120的参数：

i)表示潜在变量180的一个或多个向量的概率分布与参考概率分布之间的差异的第一损失函数的值；以及

ii)表示在后续时间步t_1..n处的图像中的预测血流130与来自表示在后续时间步t_1..n处的血流的训练数据140的输入图像中的血流之间的差异的第二损失函数的值，直到满足停止准则；并且

针对图像的每个时间序列重复输入S220、训练S230、采样S240和调节S250。

通过示例的方式，第一损失函数的值可以例如使用Kullback-Leibler“KL”散度来计算，Kullback-Leibler“KL”散度对潜在变量180的一个或多个向量的概率分布与标准分布之间的差异进行量度。在该示例中，参考概率分布因此是标准分布。用于计算第一损失函数的值的标准分布可以例如是均值等于零且方差等于1的高斯分布或正态分布。作为标准分布的备选方案，可以备选地使用Dirichlet分布。KL散度的备选方案包括Jensen-Shannon散度、最大均值差异等。可以使用诸如L1损失、或均方误差、或Huber损失、或结构相似性指数损失、或交叉熵的函数来计算第二损失函数的值。

在这样做时，使用来自解剖结构的不包括动脉瘤的区域的训练数据将神经网络120训练为预测时间血流。换句话说，它使用来自脉管系统的正常灌注的区域的血流进行训练。

然后可以使用图3(A)中所图示的经训练的神经网络来执行推断。参考图3(B)，在推断期间，表示栓塞流程期间的时间血流的投影数据110被输入到经训练的神经网络120中。然后，经训练的神经网络120重建其与脉管系统的正常灌注的区域中的血流的最接近的近似。不表示训练数据的任何输入的投影图像数据110(即，不对应于正常灌注的区域或换句话说已完成的栓塞流程的输入的投影图像数据)是所学习的分布的异常值。输入数据对于学习的分布有多少异常值的量度然后使用前述分布外度量中的一个来计算，并且用于指示栓塞流程的状态。

参考图3(B)中的VAE架构，由于自动编码器网络重建其输入的图像，因此可以为输入图像的表示Z分配质量值。输入的图像与输出的图像之间的重建误差的值是该质量的量度。重建误差的值可以使用上述第二损失函数的值来计算，并且用作输入的图像对于正常血流有多少异常值的指示符，或换句话说，用作分布外度量。重建误差的值可以备选地用作预测时间血流130的置信度估计的值，并且从而用作另一分布外度量。

类似地，上述第一损失函数的值(即散度值，诸如Kullback-Leibler“KL”散度值)可以被计算，并且用作另一分布外度量，在这种情况下，提供输入的图像数据相对于训练数据有多接近“分布中”的量度。更具体地，如果输入序列的表示是学习的分布的异常值，则表示可以是具有与学习的分布不同的均值和标准偏差的不同分布中的内点。由于KL散度是两个分布之间的差异的量度，因此在这种情况下，KL散度将更大。如果输入序列的表示是学习分布中的内点，则KL散度较小。备选地，输入序列的表示与从经训练的分布抽取的样本之间的平均差异可以用于指示输入序列是否由学习的编码很好地表示，在这种情况下，差异很小，或如果它是异常值，则在这种情况下，差异较大。备选地，输入序列的潜在表示在标准偏差方面远离学习的表示的均值的距离也可以用于指示输入序列是否由学习的编码很好地表示，在这种情况下，该距离很小(例如，在一个标准偏差内)，或它是否是异常值，在这种情况下，该距离较大(例如，大于2个标准偏差)。

重建误差值、KL散度值和表示在学习的分布中的位置可以独立地或组合地使用，以提供分布外度量150，例如通过将其值组合为加权和，因为它们各自提供每个输入的时间序列有多接近“分布中”的估计。

在栓塞流程的开始处，预期重建误差值、KL散度值和距输入序列的潜在表示的均值的距离是大的，因为输入的投影图像数据110中的血流将不紧密地表示正常灌注的区域中的血流。然而，随着栓塞流程进行，重建误差值、KL散度值和距离值随着血流变得更接近正常血流而减小。因此，重建误差值、KL散度值和距离值可以用作栓塞流程的状态的指示符。

总之，在该示例中，神经网络120生成重建误差值和/或散度值和/或距离值，该重建误差值表示预测时间血流130与在输入的投影图像数据110中表示的血流之间的差异，该散度值表示输入的投影图像数据110的潜在表示180的概率分布与参考概率分布之间的差异，该距离值表示输入的投影图像数据110的潜在表示相对于所学习的潜在表示的均值的位置；并且基于重建误差值和/或散度值和/或距离值来计算分布外度量150的值。

重建误差和/或KL散度和/或距离的(一个或多个)值可以用于计算分布外度量150的值，并且由此通过将其值与重建误差值和/或KL散度值和/或距离值与栓塞流程的状态之间的先前确定的关系进行比较来指示栓塞流程的状态。例如，可以使用线性或多项式回归启发式地确定先前确定的关系。备选地，重建误差和/或KL散度的(一个或多个)值可以被输入到被训练为建立这些值与栓塞流程的状态之间的关系的另外的神经网络中。在该后一示例中，栓塞流程的状态可以由该另外的神经网络提供。可以备选地使用其他机器学习技术来建立这些值与栓塞流程的状态之间的关系。备选地，预测时间血流130和输入的投影图像数据110中表示的血流还可以被直接输入到神经网络中，以对输入的图像数据与预测图像数据之间的相似性与栓塞流程的状态之间的关系进行回归。

在另一示例中，作为使用重建误差值和/或KL散度值和/或距离值来计算分布外度量150的值的备选方案或补充，神经网络120可以生成注意力图，并且使用注意力图来确定分布外度量150的值。注意力图指示输入的投影图像数据110中对预测血流有主导贡献的特征的位置。如果注意力图中的特征的位置与例如动脉瘤远侧的脉管系统一致，则分布外度量150的值高。相比之下，如果注意力图中的特征的位置与动脉瘤的位置一致，则分布外度量150的值低，因为这指示网络的注意力在单个位置周围，并且因此，该图像的表示没有编码周围脉管系统的足够的信息来准确地重建周围脉管系统。在该示例中，神经网络120生成注意力图，注意力图指示输入的投影图像数据110中对预测时间血流130有主导贡献的一个或多个特征的位置。此外，基于注意力图中指示的一个或多个特征的位置与输入的投影图像数据110中的动脉瘤的位置之间的差异来计算分布外度量150的值。

在一个示例中，在推断时间处，该方法还可以包括生成指示栓塞流程在未来时间点处的预期临床结果的输出。可以基于在整个栓塞流程中从神经网络获得的重建误差值和/或(KL)散度值来生成该输出。例如，输出可以例如表示在六个月或十八个月的随访间隔处的预期临床结果。通过示例的方式，如果在栓塞流程期间没有足够的线圈插入到动脉瘤中，则在六个月或十八个月随访时间处的预期临床结果是线圈压缩或动脉瘤的再通。该临床结果本身在整个栓塞流程中显现在重建误差值和/或神经网络的(KL)散度值中，因为通过动脉瘤的血流将比正常情况更慢，并且在动脉瘤中仍然存在残余体积。类似地，如果在栓塞流程期间插入了太多的线圈，则在六个月或十八个月随访时间处的预期临床结果是线圈迁移到载瘤血管中或动脉瘤破裂。该行为本身也可以显现在重建误差值和/或(KL)散度值中。在这种情况下，重建误差值和/或(KL)散度值可以达到“100％完成”阈值，并且在栓塞流程继续时针对多个DSA序列采集保持在该水平处。因此，通过将在整个栓塞流程中通过神经网络生成的重建误差值和/或KL散度值与从不同临床流程获得的值及其相应结果进行比较，这些值可以用于预测栓塞流程在未来时间点处的临床结果。可以使用线性或多项式回归、神经网络或另一种机器学习技术来启发式地提供该关联。

在一个示例中，在推断时间处，在不存在动脉瘤的情况下的解剖结构的区域中的血流的模拟也用于生成指示操作S130中的栓塞流程的状态的输出160。在该示例中，采集包括动脉瘤的体积图像数据。例如，体积图像数据可以是CT数据或MRI数据。体积图像数据是在栓塞流程之前采集的。体积图像数据被分割以便提供解剖结构的区域的模型。然后调整模型以便提供在不存在动脉瘤的情况下的解剖结构的区域的模型，然后使用经调整的模型生成在不存在动脉瘤的情况下的解剖结构的区域中的血流的模拟。然后将通过神经网络120预测的预测时间血流与在不存在动脉瘤的情况下的模拟血流进行比较，以便确定栓塞流程的状态，例如百分比完成。在该示例中，在推断时间处，该方法包括：

接收与接收到的投影图像数据110中的解剖结构的区域相对应的体积图像数据，体积图像数据是在栓塞流程的开始之前生成的；

基于对体积图像数据的分割来模拟在不存在动脉瘤的情况下的解剖结构的区域中的血流；并且

其中，生成S130指示栓塞流程的状态的输出160是还基于在不存在动脉瘤的情况下的解剖结构的区域中的模拟血流与通过神经网络120预测的预测时间血流之间的比较来确定的。

在该示例中，当模拟血流与输入的投影图像数据110中的对应的血流之间的差异低于预定阈值以及重建误差和/或(KL)散度的值满足一个或多个准则时，可以指示栓塞流程的完成。备选地，当模拟血流与通过神经网络120预测的对应的预测时间血流130之间的差异低于预定阈值以及重建误差和/或KL散度的值满足一个或多个准则时，可以指示栓塞流程的完成。

在一个示例中，患者数据也可以在推断时间处被输入到神经网络120中并且用于预测栓塞流程的状态。在该示例中，神经网络120被训练为还基于患者数据来预测栓塞流程的状态，并且该推断时间方法还包括：

接收与动脉瘤有关的患者数据；

将接收到的患者数据输入到神经网络120中；并且

还基于患者数据来预测栓塞流程的状态。

患者数据可以例如包括以下各项中的一项或多项：计算的动脉瘤体积、患者年龄、吸烟史、基因组数据等。在这样做时，可以提供状态的更准确的预测。

在一个示例中，该推断时间方法可以包括在将接收到的投影图像数据110输入S120到神经网络120中之前识别接收到的投影图像数据110中的动脉瘤。可以手动或自动识别动脉瘤。因此，识别动脉瘤的操作可以包括：i)接收指示接收到的投影图像数据110中包括动脉瘤的感兴趣区域的用户输入；或ii)自动识别接收到的投影图像数据110中的动脉瘤。

当手动执行识别时，可以提供用户接口以允许用户使用鼠标、操纵杆、触摸屏或另一用户输入设备来定义投影图像数据中的感兴趣区域。用户接口可以例如通过改变边界框的形状来定义感兴趣区域。

当自动执行识别时，动脉瘤可以使用已知技术来识别，诸如阈值化、区域生长、模板匹配、水平集、主动轮廓建模、神经网络(例如，U-Net)等。

还可以基于图像中造影剂进入或离开动脉瘤的时间在投影图像数据中自动识别动脉瘤近侧和远侧的血管。

在一个示例中，用户接口准许用户在将投影图像数据输入到神经网络120中之前识别投影图像数据110中要被遮挡或归零的区。用户接口可以例如包括鼠标、操纵杆、触摸屏或允许用户在投影图像数据中定义这样的区的另一用户输入设备。这允许用户从投影图像数据中移除潜在的混淆区域。混淆区域可以例如包括可以以其他方式影响通过被输入到神经网络中的投影图像数据110的血流的特征，诸如额外的动脉瘤、斑块、植入设备等。用户接口同样可以允许用户在使用训练数据来训练神经网络之前识别训练数据140中的此类区域。输入的训练数据140还可以被增强以包括归零区域，其被随机选择，或被选择为使得被遮挡的区域例如基于专家注释模仿可能需要被遮挡的实际区。

在一个示例中，在投影图像数据110中和/或在训练数据140中自动检测混淆区域的位置。在该示例中，如果血流在栓塞流程期间显示没有变化或变化不足，则可以提供警告以通知用户。这可以向用户警报存在针对缓慢血流的另一原因的事实，诸如另外的动脉瘤、斑块等。这允许用户限制他们对神经网络的依赖，并且考虑使用备选解决方案来指示栓塞流程的进展。识别投影图像数据中的动脉瘤的位置的神经网络可以用于此目的。

电子健康记录“EHR”数据也可以用于识别可能增加混淆区域的存在的机会的因素。诸如血压、身体质量指数“BMI”、心脏健康、吸烟史、家族健康史、处置史等的因素可以在推断期间被收集，并且用于学习(一个或多个)因素和栓塞流程期间的重建误差和/或散度值和一个或多个混淆区域的存在之间的关联。例如，高BMI值可以指示斑块的存在的更高可能性，而吸烟史可以指示由于弱化的血管壁的其他动脉瘤的存在的更高可能性，这两者都可以减慢全局脉管系统图像中的造影剂流动。可以经由线性/多项式回归、神经网络或其他机器学习技术来学习该关联。

在一个示例中，在推断时间处，该方法还可以包括输出上述注意力图。输出注意力图可以向用户提供对神经网络120的预测的置信度。例如，如果注意力图中的特征与目标动脉瘤不一致，则用户对系统的置信度可能低，从而允许用户限制其对系统的依赖。如果在输入的投影图像数据内的其他区域中存在额外的动脉瘤或斑块，则神经网络的注意力可以合理地聚焦远离目标动脉瘤，并且在这种情况下，注意力图可以聚焦在这些其他区域上。在这种情况下，用户可以在将投影图像数据输入到神经网络120中之前经由前述用户接口遮挡或归零投影图像数据中的其他区域。因此，神经网络可以聚焦于目标动脉瘤并输出栓塞流程的准确状态。然而，如果这些其他区域包括靠近目标动脉瘤的血管并且这种阻塞是不可能的，则可以输出指示目标动脉瘤的位置与网络的注意力之间的这种不匹配的警告。如果用户观察到紧接在目标动脉瘤近端的再通正在如预期的那样发生，并且由于另一动脉瘤或斑块等而还沿着脉管系统发生血流减慢，则用户可以超驰警告。该方法还可以包括如果特定视图包含不能被遮挡的太多混淆因素，则向用户输出改变成像系统的取向的建议。

在另一示例中，提供了一种用于预测动脉瘤上的栓塞流程的状态的系统。该系统包括一个或多个处理器，该一个或多个处理器被配置为：

接收S110表示在栓塞流程期间的解剖结构的包括动脉瘤的区域中的时间血流的投影图像数据110；

将接收到的投影图像数据110输入S120到被训练为预测时间血流130的神经网络120中，其中，使用表示解剖结构的不包括动脉瘤的区域中的时间血流的训练数据140将神经网络120训练为预测时间血流130；并且响应于输入S120而：

生成S130指示栓塞流程的状态的输出160。

该系统还可以实施关于上述方法描述的操作中的一个或多个。该系统还可以包括用于提供投影图像数据110的成像系统。

以上示例要被理解为对于本公开是说明性而非限制性的。还设想了其他示例。例如，关于计算机实施的方法描述的示例也可以由计算机程序产品、或者由计算机可读存储介质、或者由系统以对应的方式来提供。应理解，关于任何一个示例描述的特征可以单独使用，或者与其他描述的特征组合使用，并且可以与示例中的另一个的一个或多个特征组合使用或者与其他示例的组合组合使用。此外，在不脱离在权利要求书中定义的本发明的范围的情况下，也可以采用上文未描述的等效方案和修改。在权利要求中，词语“包括”不排除其他元件或者操作，并且词语“一”或“一个”不排除多个。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应当解释为对其范围的限制。

Claims (15)

1.一种预测动脉瘤上的栓塞流程的状态的计算机实施的方法，所述方法包括：

接收(S110)投影图像数据(110)，所述投影图像数据表示在所述栓塞流程期间的解剖结构的包括所述动脉瘤的区域中的时间血流；

将接收到的投影图像数据(110)输入(S120)到被训练为预测时间血流(130)的神经网络(120)中，其中，所述神经网络(120)是使用训练数据(140)来训练的，以预测时间血流(130)，所述训练数据表示所述解剖结构的不包括动脉瘤的区域中的时间血流；并且响应于所述输入(S120)而执行以下操作：

基于预测血流来生成(S130)指示所述栓塞流程的所述状态的输出(160)。

2.根据权利要求1所述的计算机实施的方法，其中，所述方法还包括计算指示相对于正常血流的所述预测时间血流(130)的分布外度量(150)的值；并且

其中，生成(S130)指示所述栓塞流程的所述状态的输出(160)基于所述分布外度量(150)的计算值。

3.根据权利要求2所述的计算机实施的方法，其中：

i)所述神经网络(120)被配置为生成重建误差值和/或散度值，所述重建误差值表示所述预测时间血流(130)与在所输入的投影图像数据(110)中表示的血流之间的差异，所述散度值表示所输入的投影图像数据(110)的潜在表示(180)的概率分布与参考概率分布之间的差异；并且

其中，所述分布外度量(150)的所述值是基于所述重建误差值和/或所述散度值来计算的；或者

ii)所述神经网络(120)被配置为生成注意力图，所述注意力图指示所输入的投影图像数据(110)中对所述预测时间血流(130)有主导贡献的一个或多个特征的位置；并且

其中，所述分布外度量(150)的所述值是基于在所述注意力图中指示的所述一个或多个特征的所述位置与所输入的投影图像数据(110)中的所述动脉瘤的位置之间的差异来计算的。

4.根据权利要求1-3中的任一项所述的计算机实施的方法，其中，所述投影图像数据(110)和所述训练数据(140)各自包括X射线图像的序列。

5.根据权利要求1-3中的任一项所述的计算机实施的方法，其中，所述投影图像数据(110)包括所述动脉瘤上游的一个或多个管腔中和所述动脉瘤下游的一个或多个管腔中的所述时间血流的表示。

6.根据权利要求1-3中的任一项所述的计算机实施的方法，其中，所述栓塞流程的所述状态表示以下各项中的一项或多项：

i)所述栓塞流程的已经完成的比例；以及

ii)完成所述栓塞流程的预期时间。

7.根据权利要求1-3中的任一项所述的计算机实施的方法，其中，所述方法还包括生成指示所述栓塞流程在未来时间点处的预期临床结果的输出。

8.根据任一前述权利要求所述的计算机实施的方法，其中，所述方法还包括在将所述接收到的投影图像数据(110)输入(S120)到所述神经网络(120)中之前识别所述接收到的投影图像数据(110)中的所述动脉瘤。

9.根据权利要求8所述的计算机实施的方法，其中，识别所述动脉瘤包括：

i)接收指示所述接收到的投影图像数据(110)中包括所述动脉瘤的感兴趣区域的用户输入；或者

ii)自动识别所述接收到的投影图像数据(110)中的所述动脉瘤。

10.根据任一前述权利要求所述的计算机实施的方法，其中，所述神经网络(120)被训练为还基于患者数据来预测所述栓塞流程的所述状态，并且其中，所述方法还包括：

接收与所述动脉瘤有关的患者数据；

将接收到的患者数据输入到所述神经网络(120)中；并且

还基于所述患者数据来预测所述栓塞流程的所述状态。

11.根据任一前述权利要求所述的计算机实施的方法，其中，所述神经网络(120)包括以下架构中的一项或多项：变分自动编码器、递归神经网络、长短期记忆。

12.根据权利要求11所述的计算机实施的方法，其中，所述神经网络(120)包括变分自动编码器架构，并且其中，所述神经网络(120)被训练为学习表示血流的分布的潜在变量(180)的一个或多个向量，并且其中，所述神经网络(120)被训练为基于所学习的潜在变量(180)的一个或多个向量来预测所述时间血流。

13.根据权利要求11或权利要求12所述的计算机实施的方法，其中，所述神经网络(120)通过以下操作被训练为学习表示血流的分布的潜在变量(180)的一个或多个向量：

接收(S210)包括图像的多个时间序列的训练数据(140)，每个时间序列包括表示在所述解剖结构的不包括动脉瘤的区域中在多个时间步(t_1..n)处的血流的图像；并且

针对时间序列中的多个时间步(t_1..n)中的每个：

将与所述时间步(t_1..n)相对应的所述图像输入(S220)到所述神经网络(120)中；

训练(S230)所述神经网络(120)以学习表示所述时间步(t_1..n)处的所述图像中的所述血流的分布的潜在变量(180)的所述一个或多个向量；

从由潜在变量(180)的所述一个或多个向量表示的所述图像中的所述血流的分布内进行采样(S240)，以提供后续时间步(t_1..n)处的预期血流；

基于以下各项来调节(S250)所述神经网络(120)的参数：

i)表示潜在变量(180)的所述一个或多个向量的概率分布与参考概率分布之间的差异的第一损失函数的值；以及

ii)第二损失函数的值，所述值表示所述后续时间步(t_1..n)处的所述图像中的所述预测血流(130)与来自表示所述后续时间步(t_1..n)处的所述血流的所述训练数据(140)的所述输入图像中的所述血流之间的差异，直到满足停止准则；并且

针对图像的每个时间序列重复所述输入(S220)、所述训练(S230)、所述采样(S240)和所述调节(S250)。

14.根据权利要求1所述的计算机实施的方法，其中，所述方法还包括：

接收与所述接收到的投影图像数据(110)中的所述解剖结构的所述区域相对应的体积图像数据，所述体积图像数据是在所述栓塞流程的开始之前生成的；

基于对所述体积图像数据的分割来模拟在不存在所述动脉瘤的情况下的所述解剖结构的所述区域中的血流；并且

其中，生成(S130)指示所述栓塞流程的所述状态的输出(160)是还基于在不存在所述动脉瘤的情况下的所述解剖结构的所述区域中的模拟血流与通过所述神经网络(120)预测的所述预测时间血流之间的比较来确定的。

15.一种包括指令的计算机程序产品，所述指令在由一个或多个处理器运行时使所述一个或多个处理器执行根据权利要求1-14中的任一项所述的方法。