CN117859155A - 用于医学成像的显著性图 - Google Patents

Abstract

本文公开了一种医学系统(100)，包括存储机器可执行指令(120)的存储器(110)。所述存储器(110)还存储经训练的第一机器学习模块(122)，所述经训练的第一机器学习模块被训练为响应于接收到医学图像(124)作为输入而输出显著性图(126)作为输出。所述显著性图(126)预测用户注意力在所述医学图像(124)上的分布。所述医学系统(100)还包括计算系统(104)。所述机器可执行指令(120)的运行使所述计算系统(104)接收医学图像(124)。将所述医学图像(124)作为输入提供给所述经训练的第一机器学习模块(122)。响应于对所述医学图像(124)的提供，从所述经训练的第一机器学习模块(122)接收所述医学图像(124)的显著性图(126)作为输出。所述显著性图(126)预测用户注意力在所述医学图像(124)上的分布。提供所述医学图像(124)的所述显著性图(126)。

Description

用于医学成像的显著性图

技术领域

本发明涉及医学成像，具体地涉及用于医学成像的显著性图。

背景技术

图像重建是医学成像的基本组成部分之一。其主要目的是为临床使用提供高质量的医学图像。历史上，该目标是利用不同种类的重建算法来实现的。这样的算法(例如，磁共振成像(MRI)中的SENSE和压缩SENSE)主要基于关于被重建的图像的性质的专家知识或假设。最近，已经添加了基于机器学习的数据驱动方法以增强重建的质量。这样的基于机器学习的数据驱动方法越来越减少图像重建对专家知识或关于图像的性质的假设的依赖性。数据驱动方法甚至可以将图像重建推向极端，其中，被用于图像重建的模型在最小地依赖于由专家设置的参数的情况下主要基于机器学习。

发明内容

本发明在独立权利要求中提供了一种医学系统、一种计算机程序以及一种方法。在从属权利要求中给出了实施例。

建议提供一种被训练为提供预测用户注意力在医学图像上的分布的显著性图的机器学习模块。显著性图可以识别医学图像内的高感兴趣区域，即，预测高用户注意力的区域。用户注意力的这种分布可以用于对医学图像内的不同区域的相关性进行不同地加权。因此，可以识别和/或选择具有比其他区域更高的相关性的感兴趣区域。针对特定区域预测的用户注意力的水平越高，该区域的相关性可能越高。取决于预测的相关性，可以不同地考虑不同的区域，例如用于图像重建和/或图像分析。例如，可以基于预测的用户注意力来选择图像重建方法。所选择的方法可以例如是最适合于为由具有高预测用户注意力的区域包括的解剖结构提供高图像重建质量的方法。

例如，可以使用用户注意力的分布对评估重建医学图像的图像质量(即，图像重建的质量)的质量评估进行加权。因此，可以基于重建误差的相关性来识别和/或评估重建误差。具有更高相关性的区域中的重建误差可以被认为比具有更低相关性的区域中的类似重建误差更相关。例如，显著性图可以用于对定义医学图像的不确定性的分布外(OOD)图和/或所得到的分布外(OOD)评分进行加权。

例如，预测用户注意力的显著性图可以用于在用于重建医学图像的模块的训练期间对机器学习模块的输出进行加权。因此，可以根据预测的用户注意力在具有更高相关性的重建图像的区域上增加机器学习模块的训练的焦点。

可以使用阅读训练医学图像的用户的眼睛跟踪来生成用于将机器学习模块训练为预测给定医学图像的显著性图的训练显著性图。机器学习模块可以例如被训练用于预测具有个体用户的用户注意力的个性化分布的个性化显著性图。因此，可以实施使用预测用户注意力的个性化分布的个性化显著性图的个性化加权。

在一个方面，本发明提供了一种医学系统。所述医学系统包括存储机器可执行指令的存储器。所述存储器还存储经训练的第一机器学习模块，所述经训练的第一机器学习模块被训练为响应于接收到医学图像作为输入而输出显著性图作为输出。所述显著性图预测用户注意力在所述医学图像上的分布。所述医学系统还包括计算系统。所述机器可执行指令的运行使所述计算系统接收医学图像。所述机器可执行指令的运行还使所述计算系统将所述医学图像作为输入提供给所述经训练的第一机器学习模块。响应于所述医学图像的所述提供，所述机器可执行指令的运行还使所述计算系统从所述经训练的第一机器学习模块接收所述医学图像的显著性图作为输出。所述显著性图预测用户注意力在所述医学图像上的分布。所述机器可执行指令的运行还使所述计算系统提供所述医学图像的所述显著性图。

预测用户注意力的分布的显著性图可以由经训练的机器学习模块(例如，使用深度学习方法训练的机器学习模块)生成。机器学习模块可以例如包括神经网络。神经网络可以例如是U-Net神经网络。

使用经训练的第一机器学习模块来响应于接收到医学图像作为输入而输出显著性图作为输出可以是测试阶段的部分，以便对经训练的第一机器学习模块进行测试。使用经训练的第一机器学习模块来响应于接收到医学图像作为输入而输出显著性图作为输出可以是预测阶段的部分，以便使用经训练的第一机器学习模块预测所接收的医学图像的显著性图。

基于机器学习的重建方法在医学成像中变得越来越重要。已知的图像重建方法通常具有对待待重建的图像的不同区域同样重要的趋势。当一般考虑图像时，这样的假设可能是完全有意义的。图像的每个区域可以或多或少相等地有助于图像的整体感知。然而，在医学图像的情况下，专家倾向于比其他区域更专注地检查示出特定感兴趣解剖结构的特定区域。专家可以仔细选择重要区域，即高感兴趣区域，寻找其中示出的特定细节。这样的细节可能是必需的，甚至对于做出正确的诊断和/或操作决定是必要的。

使用预测用户注意力分布的显著性图可以具有集成这样的重要信息的优点。用户注意力的所预测的分布可以用于确定医学图像的不同区域的相关性，从而桥接朝向考虑医学图像的不同区域的不同相关性水平的可靠智能系统的巨大差距。即使在数据驱动的重建方法的情况下，使用这样的显著性图也可以允许考虑重建医学图像的接收器及其需要。

提出了提供被配置为识别2D和/或3D医学图像(即，2D和/或3D静止医学图像)中的显著区域并且提供预测用户注意力在2D和/或3D医学图像上的分布的显著性图的机器学习模块，即，基于机器学习(ML)(例如，深度学习(DL))的算法。作为用于机器学习模块的输入，可以提供2D或3D医学图像。例如，可以提供针对输入医学图像的额外的背景。这样的背景可以例如识别使用相应的图像的任务，如特定器官的测量、肿瘤或病变的检测，和/或背景可以例如识别用于采集成像数据的成像方法，如磁共振成像(MRI)、计算机断层摄影(CT)成像或高级分子成像(AMI)，例如正电子发射断层摄影(PET)或单光子发射计算机断层摄影(SPECT)。这样的经训练的机器学习模块(即，经训练的显著性图估计模块)可以以不同的方式应用。

可以提供可训练机器学习模块，其包含关于对检查的2D和/或3D医学图像的不同区域的专家注意力的信息。利用手边的该模块，可以提供预测用户注意力在医学图像上的分布的显著性图，这可以帮助提供改进的医学图像。可以例如通过选择更好地满足专家需要的更合适的重建方法来提供改进的医学图像。因此，可以提供用于重建方法的个性化选择或用于图像重建的机器学习模块的个性化的方法。

在本文中，显著性图被认为是描述用户注意力在医学图像上的分布的图。用户注意力的水平可以提供用于对医学图像的不同区域进行不同加权的加权因子，使得加权可以捕获医学图像的不同区域的临床相关形如何。可以在图像重建和/或图像分析中不同地处置不同加权的图像区域。

可以通过在研究医学图像时捕获用户(例如，放射科医师或扫描器技术人员)的行为来获得用于将机器学习模块训练为预测给定医学图像的显著性图的训练显著性图。例如，使用眼睛跟踪技术，可以获得注视方向和固定模式的模型，从而识别用户正在观看被显示的医学图像中何处。备选地和/或另外地，可以考虑与被显示的医学图像的其他用户交互，以确定用户注意力的水平在医学图像上的分布。例如，可以考虑医学图像的特定区域的选择、放大到医学图像的特定区域、医学图像的特定区域的处理和/或由用户控制的光标在医学图像内的位置和移动。机器训练模块可以被训练为预测显著性图作为针对作为输入接收的医学图像的输出。

已知的图像重建模型可以相同地处置要重建的图像(特别是医学图像)的所有区。可以在训练期间集成预测用户注意力的分布的显著性图，使得根据相应的区域对人类观察者的重要性对由机器学习模块重建的医学图像内的特定区域的得到的损失函数进行加权。这样，可以通过显著性图来预测相应的区域对人类观察者的重要性。该方法可以使得能够开发对非相关区域中、背景中以及由要重建的医学图像包括的对于当前临床任务不太重要的解剖特征的图像质量向下加权的重建模块。作为交换，可以增加更相关的区域和另一方面由要重建的医学图像包括的解剖特征的图像质量。因此，可以完成基于由显著性图提供的信息的特定区域的图像质量的提高，以与一些其他不太重要的区域中的向下加权图像质量交换。由于采集相当少量的信息(即成像数据)，因此这种质量交换在加速的MRI方面可能是特别有价值的。

因此，由显著性图预测的用户注意力的分布可以表示兴趣水平的分布。针对医学图像的特定区域的预测的用户注意力越高，相应的图像区域的感兴趣水平越高。高用户注意力的区域可以被认为是高感兴趣并且因此高相关性的区域。

医学图像可以是断层摄影图像，例如磁共振(MR)图像或计算机断层摄影(CT)图像。可以使用高级分子成像(AMI)方法(例如正电子发射断层摄影(PET)或单光子发射计算机断层摄影(SPECT))来生成医学图像。

经训练的第一机器学习模块可以由相同医学系统使用经训练的第一机器学习模块输出显著性图来进行训练。另外地或备选地，经训练的第一机器学习模块可以由与该医学系统不同的另一医学系统使用经训练的第一机器学习模块显著性图来进行训练以输出显著性图。

例如，所述机器可执行指令的运行还使所述计算系统提供所述经训练的第一机器学习模块。所述经训练的第一机器学习模块的所述提供包括提供所述第一机器学习模块。提供包括训练医学图像和训练显著性图的第一对的第一训练数据。所述训练显著性图描述用户注意力在所述训练医学图像上的分布。使用所述第一训练数据训练所述第一机器学习模块。所得到的经训练的第一机器学习模块被训练为响应于接收到所述第一对中的所述训练医学图像而输出所述第一对中的所述训练显著性图。

为了训练用于预测显著性图的机器学习模块，可以收集提供训练数据的数据集。训练数据可以包括训练医学图像和描述相应的训练医学图像的用户注意力的分布的训练显著性图的对。为了收集这样的训练显著性图，可以提供一组训练医学图像。训练医学图像可以被显示在显示设备上。眼睛跟踪设备(如相机)可以被放置在用户(例如，利用被显示在显示设备(例如，计算机屏幕)上的训练医学图像进行工作的放射科医师)前面。眼睛跟踪设备可以例如布置在显示设备上、下方或附近。训练医学图像可以例如是来自特定感兴趣域(例如MRI或CT)的医学图像。训练医学图像可以例如是用户(例如放射科医师)正在利用其进行工作的临床图像。来自眼睛跟踪设备(如相机)的眼睛位置和/或移动的记录可以用于跟踪眼睛移动并将它们与在记录期间检查的所显示的医学图像内的位置匹配。眼睛位置和移动的跟踪和匹配可以例如使用注意力确定模块来执行。注意力确定模块可以被配置用于使用眼睛跟踪设备来确定用户注意力在所显示的训练医学图像上的分布，以针对观看所显示的训练医学图像的医学系统的用户确定在所显示的训练医学图像内的注意力点。用户观看所显示的训练医学图像的特定点越长和/或越频繁，被分配给该点的用户注意力的水平可以越高。

例如，所述医学系统还包括显示设备。所述第一训练数据的所述提供包括针对所述第一训练数据的所述训练医学图像中的每幅：

使用所述显示设备来显示相应的训练医学图像；

测量用户注意力在所显示的训练医学图像上的分布；

使用用户注意力在所述训练医学图像上的所测量的分布来生成包括所显示的训练医学图像的训练数据的所述第一对中的所述训练显著性图。

例如，所述医学系统还包括眼睛跟踪设备，所述眼睛跟踪设备被配置用于测量所述医学系统的用户的眼睛的位置和移动。所述存储器还存储注意力确定模块，所述注意力确定模块被配置用于使用所述眼睛跟踪设备来确定用户注意力在所显示的训练医学图像上的分布，以针对观看所显示的训练医学图像的所述医学系统的所述用户确定在所显示的训练医学图像内的注意力点。

例如，根据用户的眼睛(例如放射科医师的眼睛)的相机跟踪，可以为被用作训练医学图像的不同类型的医学图像提供由训练显著性图提供的用户注意力的训练分布。

例如，经训练的第一机器学习模块被训练为响应于接收到医学图像作为输入而输出预测用户注意力在所述输入医学图像上的用户个体分布的用户个体显著性图。示例可以允许提供用户个体显著性图。可以针对特定用户例如使用通过仅确定该特定用户的用户注意力的水平而生成的训练显著性图来训练经训练的机器学习模块。例如，可以提供多个机器学习模块，每个机器学习模块被训练用于并分配给多个用户中的另一用户。取决于哪个用户正在使用医学系统，例如哪个用户被锁定，可以选择多个机器学习模块中的机器学习模块来预测显著性图。例如，可以选择被分配给使用医学系统的用户的机器学习模块。

显著性图可以被提供用于在医学成像重建链内的使用，即，用于图像重建方法的选择、用于改进图像重建方法和/或用于评估图像重建方法，特别是使用机器学习模块执行的用于图像重建的图像重建方法。

例如，所述医学系统还被配置为使用所述显著性图从多个预定义重建方法选择用于重建医学图像的重建方法。所述医学图像是要重建医学图像的预定义类型的解剖结构的测试医学图像。提供多个测试图。所述测试图中的每个测试图被分配给所述重建方法中的不同重建方法。当使用所分配的重建方法时，所述测试图中的每个测试图识别所述测试图像的部分，所述部分包括所述预定义类型的解剖结构的解剖子结构，针对所述解剖子结构的图像重建质量与所述预定义类型的解剖结构的其他解剖子结构相比是最高的。所述机器可执行指令的运行还使所述计算系统：

提供所述测试图；

将所述测试图与所述显著性图进行比较；

确定所述测试图中与所述显著性图具有最高水平的结构相似性的一个测试图；

选择被分配给所确定的测试图的重建方法；

使用所选择的重建方法来重建要重建的医学图像。

例如，经训练的机器学习模块(即，显著性图估计模块)可以用作用于选择重建方法的工具。例如，可以选择对于特定目的和/或对于利用医学图像进行工作的特定用户最佳地工作的重建方法。不同的重建方法可以例如是指用于根据给定一组所采集的医学成像数据来重建医学图像的不同方法。不同的重建方法可以例如另外是指用于采集用于重建医学图像的医学成像数据的不同方法，例如使用不同的采样模式。用于采集医学成像数据的不同方法可以例如甚至是指使用用于数据采集的不同医学成像系统，如MRI系统、CT成像系统、PET成像系统或SPECT成像系统。

经训练的机器学习模块可以用于选择最佳地服务于用户的兴趣的重建方法。通过提供预测用户注意力的分布的显著性图，经训练的机器学习提供了考虑用户相关的相关性量度的方法。在该设置中，可以部署具有可比较特性的多种重建方法。例如，应当描绘特定的解剖结构。可比较特性可以是指所有重建方法能够提供描绘相应的解剖结构的重建医学图像的事实。可以基于由显著性图提供的用户注意力的预测来选择最适合于用户的重建方法。显著性图可以例如预测个体用户的用户注意力的分布。因此，对于不同的用户，取决于用户的经验、参考和/或工作方式，可以预测不同的显著性图。不同的放射科医师可以以不同的方式检查图像。因此，他们中的每个可以受益于最佳地满足其个体需要的重建。

重建方法中的每一种可以被设计为处理输入数据(即，用于重建医学图像的所采集的医学数据)的特定特性。例如，在MRI中，一些重建方法可以产生在脑部中的白质和灰质之间具有高对比度的医学图像，而其他重建方法可以在颅骨附近的区域中提供更好的信噪比。对于每种重建方法，可以提供识别相应的重建方法的图像重建质量最高的测试图像的部分的测试图。例如，在为脑部中的白质提供高图像质量的重建方法的情况下，可以提供突出显示由测试图像包括的白质的测试图。例如，在为脑部中的灰质提供高图像质量的重建方法的情况下，可以提供突出显示由测试图像包括的灰质的测试图。例如，在为脑部中的脑脊液提供高图像质量的重建方法的情况下，可以提供突出显示由测试图像包括的脑脊液的测试图。测试图可以具有类似显著性图的外观。测试图可以与由例如被配置为预测特定放射科医师的注意力在测试图像上的分布的机器学习提供的显著性图进行比较。选择最合适的重建方法，即，测试图显示与显著性图的最高相似性水平的重建方法。可以通过估计针对放射科医师获得的显著性图与针对不同重建方法提供的测试图中的每个测试图之间的距离来确定相似性水平。

可以提供预测例如特定用户的用户注意力在测试图像上的分布的显著性图。测试图像可以表示要重建的特定类型的图像。由显著性图提供的关于用户注意力的可能分布的信息可以用于选择可用的重建模型中的最适当的重建模型。各种重建模型可以在要重建的医学图像的不同区域上不同地工作。预测用户注意力的显著性图可以帮助选择更好地重建往往处于用户注意力的焦点中的区域的模型，即，与要重建的医学图像的其他区域相比在给定的背景下对于特定专家更有价值的模型。

为了训练机器学习模型以预测用户注意力，相机可以例如被放置在专家的前面以跟踪眼睛移动和/或位置，以便识别模板医学图像的处于相应的专家的注意力焦点中的区域。

例如，所述存储器还存储分布外估计模块，所述分布外估计模块被配置用于响应于接收到医学图像作为输入而输出分布外图。所述分布外图表示所述输入医学图像与由一组参考医学图像定义的参考分布的符合性水平。所述机器可执行指令的运行还使所述计算系统将所述医学图像作为输入提供给所述分布外估计模块。响应于所述医学图像的所述提供，所述机器可执行指令的运行还使所述计算系统从所述分布外估计模块接收所述医学图像的分布外图作为输出。所述分布外图表示所述医学图像与预定义分布的符合性水平。所述机器可执行指令的运行还使所述计算系统提供加权分布外图。所述加权分布外图的所述提供包括使用由所述显著性图预测的用户注意力在所述医学图像上的所述分布对由所述分布外图表示的符合性水平进行加权。

预测用户注意力在医学图像上的分布的显著性图可以例如与不确定性估计图(如分布外(OOD)图)组合，以用于对医学图像的最可能包括重建伪影的区域的更可靠检测。显著性图可以允许对OOD图的区域进行加权。加权OOD图可能不太精确，因为它们对可能出现假的或擦除的解剖结构的区域向下加权或甚至归零。然而，该信息对于终端用户可能变得更有价值，因为加权OOD图允许仅聚焦于对用户重要的区域。根据示例，所述一组参考医学图像也可以被提供给分布外估计模块以用于计算OOD图。在经训练的分布外估计模块的情况下，训练医学图像和所分配的训练OOD图可以用于训练分布外估计模块以提供OOD图。

例如，在机器学习模块用于根据医学成像数据重建医学图像的情况下，对于与用于训练相应的机器学习模块的训练医学成像数据太不相似的医学成像数据，可能无法保证提供准确的结果，即准确重建的医学图像。因此，如果被输入到经训练的机器学习模块中的数据在训练数据分布之外，则使用经训练的机器学习模块产生的重建医学图像可能是不正确的。所得到的重建医学图像甚至可能看起来像正确的医学图像，但是它是不正确的。鉴于由一组参考医学图像定义的参考分布，与一组参考医学图像太不相似的重建医学图像(例如，用于训练提供重建医学图像的机器学习模块的训练医学图像)可以被认为是“分布外的”。相似性程度(即，符合性水平)可以例如逐个像素或体素来确定。

分布外估计模块可以被配置或训练用于输出分布外图。如本文中使用的分布外估计模块包含可以例如用于检测重建医学图像是否在训练医学图像的分布内的软件模块。符合性水平可以描述重建医学图像或重建医学图像的区域在训练医学图像的分布内的概率。

以经训练的机器学习模块的形式提供的分布外估计模块可以例如包括分布外估计神经网络或一组神经网络。分布外估计神经网络是被配置用于接收医学图像并以分布外图的形式提供该医学图像的分类图作为输出的神经网络，例如，分类器网络。分布外图表示输入医学图像与由一组参考医学图像定义的参考分布的符合性水平。所述一组参考医学图像可以例如是用于将另外的机器学习模块训练为重建医学图像的一组训练医学图像。可以通过所述另外的机器学习模块来重建生成分布外图的医学图像。分布外图可以指示医学图像的部分在由一组参考医学图像(例如，一组训练医学图像)针对那些部分定义的参考分布内的相应的医学图像上的概率分布。

分布外(OOD)估计方法可以用于估计图像重建结果(即，重建图像)的不确定性并且因此可靠性。OOD估计方法可以有益于识别重建图像的最可能包括重建伪影的区域。这样的方法通常假设重建图像的所有区是同等相关的。然而，在实践中并且尤其是在临床实践中，通常不是这样的情况。由医学图像图示的解剖结构可以包括对于诊断至关重要的解剖子结构和/或特征。但是同时，这样的解剖结构可以包括对于诊断不太重要或甚至可忽略的解剖子结构和/或特征。

由医学图像包括的或多或少相关的区域的这种混合可能导致错误预测。例如，如果与其他不太相关的区域相比更相关(即，对于专家更重要)的区域的OOD评分低，但是由相应的OOD评分指示的不确定性仍然高到足以产生错误，则可能出现假阴性预测。如果指示高不确定性的高OOD评分可能发信号指示在然而对于执行检查的专家来说完全不相关的某个区域中可能存在问题，则可能出现假阳性预测。通过构建用于对OOD结果进行加权的有意义且可靠的显著性图，可以避免这两种情况。加权不确定性图可以被呈现给用户，例如以用于警告。

例如，预测用户注意力在医学图像上的分布的显著性图可以与提供针对重建医学图像的重建不确定性的量度的不确定性图(例如，OOD图)组合。例如，使用重建神经网络重建的图像的不确定性对于检查的图像的不同区域可能不是同样重要的。例如，在相关区域中具有低不确定性并且在更少或甚至不相关区域中具有高不确定性水平的医学图像对于用户来说可能比在相关区域中具有中等不确定性水平并且在更少或甚至不相关区域中具有低不确定性水平的医学图像更可靠。

使用用于对不同区域的不确定性水平进行加权的显著性图可以使得能够提供更可靠的不确定性水平的估计。这样的估计可以基于由显著性图提供的用户注意力的预测来考虑医学图像的不同区域的不同相关性水平。如果预测用户更多地关注特定区域，则该区域的不确定性水平可以被加权得高于更不显著区域的对应水平。在一个示例中，可以在医学系统的显示设备上为用户显示加权不确定性图，例如OOD图。这样的加权不确定性图可以说明不确定性水平在重建医学图像上的分布，其中，不确定性水平基于反应水平被分配给的区域的相关性进行加权。在另外的示例中，加权不确定性图可以(例如通过求平均)而减小到标量值。该标量值可以用于评估重建图像的总体可靠性。基于该评估，可以做出决定，例如以重新采集用于重建医学图像的成像数据，或例如以直接警告用户所提供的图像中的潜在问题。例如，在标量值超过预定义阈值的情况下，可以发出推荐成像数据的重新采集的信号和/或可以发起成像数据的重新采集。例如，在标量值超过预定义阈值的情况下，可以发出向用户警告重建图像的潜在不足可靠性的信号。

例如，对加权分布外图的提供还包括使用由所述加权分布外图提供的所述加权符合性水平来计算分布外评分。所述分布外评分描述所述医学图像整体上在所述参考分布内的概率。

加权OOD图的合计OOD评分可以被呈现给用户，例如以用于警告。另外地或备选地，合计OOD评分可以被呈现给用户或由另一自动化系统使用，例如，以做出丢弃/重新扫描目标对象的决定。合计OOD评分可以例如通过对由加权OOD图包括的符合性水平(即，本地OOD评分)进行平均来计算。

例如，所述存储器还存储图像质量评估模块，所述图像质量评估模块被配置用于响应于接收到医学图像和显著性图作为输入而输出图像质量图。所述图像质量图表示图像质量水平在所述输入医学图像上的分布，所述分布是使用由所述输入显著性图预测的用户注意力在所述输入医学图像上的分布加权的。所述机器可执行指令的运行还使所述计算系统将所述医学图像和所述显著性图作为输入提供给所述图像质量评估模块。响应于所述医学图像和所述显著性图的所述提供，所述机器可执行指令的运行还使所述计算系统从所述图像质量评估模块接收图像质量图作为输出。所述图像质量图表示图像质量水平在所述医学图像上的分布，所述分布是使用由所述显著性图预测的用户注意力在所述医学图像上的所述分布加权的。所述机器可执行指令的运行还使所述计算系统提供接收到的图像质量图。

预测用户注意力在医学图像上的分布的显著性图可以用于增强图像质量评估度量，其例如可以在医学图像重建模块(如基于深度学习的重建模块)的训练和/或评价期间应用。显著性图可以显著增强当前使用的图像质量评估度量的信息值，例如均方误差(MSE)、峰值信噪比(PSNR)或结构相似性指标量度(SSIM)。利用这样的改进，更好质量的重建模块可以被训练和部署以用于重建医学图像。

使用个性化用户个体显著性图，个性化重建模块被可以训练和部署以用于重建针对个体用户优化的医学图像。

除了医学图像和显著性图之外，还可以向图像质量评估模块提供预期的医学图像。图像质量水平可以提供医学图像与预期医学图像的匹配程度的量度。图像质量水平可以量化所评估的医学图像与预期医学图像之间的相似性程度。相似性程度越高，图像质量可能越大。当图像质量评估模块用于训练医学图像重建模块时，参考医学图像可以例如是医学重建模块应当被训练为进行预测的训练医学图像。

研究人员花费大量时间和资源来构建用于医学图像重建的新的现有技术算法。在设计此类算法的过程期间，需要多次评价相应的算法。例如，在将机器学习模块训练为重建医学图像的情况下，可能必须评价由正被训练的机器学习模块重建的医学图像的质量。为了评价机器学习模块的预测，使用损失函数。这样的损失函数是机器学习模块能够多准确地预测预期结果(即，真实情况)的量度。在图像重建的情况下，可以例如以要重建的训练图像的形式提供真实情况。损失函数将机器学习模块的实际输出(例如，重建医学图像)与预期或目标输出(例如，要重建的目标医学图像)进行比较。损失函数的结果被称为损失，其是机器学习模块的实际输出与预期输出的匹配程度的量度。损失的高值指示机器学习模块的低性能，而低值指示高性能。

用于评估图像质量的损失函数可以使用图像质量(IQ)评估度量，例如均方误差(MSE)、峰值信噪比(PSNR)、结构相似性指标量度(SSIM)、盲/无参考图像空间质量评价器(BRISQUE)、梯度幅度相似性偏差(GMSD)或特征相似性指标量度(FSIM)。然而，这些度量中没有一个与可能是任务特异性的、模态特异性的和/或人特异性的质量概念相关。因此，为了更可靠地评估图像质量，需要涉及应用专家。使用有助于根据一些学习过的专家的感知重要性来对IQ度量进行加权的显著性图可以具有能够显著增加IQ度量的质量并简化实验过程的优点。例如，不再需要专家来评估图像质量。因此，可以避免人机协同以及得到的实验过程的复杂性。

例如，预测用户注意力的显著性图可以用于改进IQ评估度量，其用于对用于图像重建的机器学习模块进行训练和验证。重建医学图像的不同区域对于用户可以起到显著不同的作用，并且因此对于用户来说可以具有显著不同的相关性。使用显著性图可以使得能够通过非均匀地而是取决于重建图像的其中发生相应误差的区域的相关性对重建误差进行加权来增加IQ度量的性能。因此，正被训练的网络对于在正被重建的图像的更重要的区域中发生的错误可以被更多地惩罚，并且对于在正被重建的图像的不太重要的区域中发生的错误可以被更少地惩罚。

例如，所述图像质量评估模块用于将第二机器学习模块训练为响应于接收到医学成像数据作为输入而输出医学图像作为输出。由所述图像质量评估模块估计的所述图像质量描述所述第二机器学习模块的所述输出医学图像相对于一幅或多幅参考医学图像的损失。所述机器可执行指令的运行还使所述计算系统提供所述第二机器学习模块。所述机器可执行指令的运行还使所述计算系统提供用于训练所述第二机器学习模块的第二训练数据。所述第二训练数据包括训练医学成像数据和使用所述训练医学成像数据重建的训练医学图像的第二对。

所述机器可执行指令的运行还使所述计算系统训练所述第二机器学习模块。所述第二机器学习模块被训练为响应于接收到所述第二对中的所述训练医学成像数据而输出所述第二对中的所述训练医学图像。所述训练包括针对所述第二对中的每个对，将相应的训练医学成像数据作为输入提供给所述第二机器学习模块并且接收初步医学图像作为输出。接收到的初步医学图像是所述医学图像。

由从所述图像质量评估模块针对所述医学图像接收的所述图像质量图表示的图像质量的所述分布被用作相对于相应的第二对中的所述训练医学图像的所述医学图像上的损失的分布，所述训练医学图像作为参考医学图像被提供给所述图像质量评估模块以用于确定接收到的图像质量图。所述第二机器学习模块的参数在所述训练期间被调节，直到在所述医学图像上的所述损失满足预定义准则。

可以提供一种通过并入预测用户注意力的分布的显著性图来修改图像质量评估度量的方式，以提高作为用于训练机器学习模块以用于医学图像重建的评价方法的度量的性能。所述准则可以例如要求损失小于预定义阈值。

医学系统可以被配置用于图像重建。为此目的，医学系统可以提供第二机器学习模块。第二机器学习模块可以被训练用于重建医学图像，即，作为图像重建模块。医学图像可以是断层摄影图像，例如磁共振图像或计算机断层摄影图像。可以使用高级分子成像方法(例如，正电子发射断层摄影或单光子发射计算机断层摄影)来生成医学图像。

基于显著性图，可以适配图像重建。例如，当采用用于重建医学图像的机器学习模块时，权重可以由显著性图驱动适配。用于重建医学图像的机器学习模块可以包括神经网络，其中，在训练期间，神经网络中的权重可以由显著性图驱动适配。例如，具有用户注意力的所预测的分布的显著性图可以用于适配图像重建，例如，当采用深度学习重建方法时。

显著性图预测用户注意力在医学图像上的分布。用户注意力的分布可以表示感兴趣水平在医学图像上的分布。基于显著性图，可以适配图像重建模块的参数。因此，显著性图可以用于操纵图像重建模块。例如，图像重建模块可以包括神经网络，所述神经网络采用深度学习重建方法进行训练，以适配由显著性图驱动的神经网络中的权重。显著性本身也可以使用深度学习来生成，例如，使用眼睛跟踪以确定针对不同类型的解剖结构的医学图像的用户注意力。通过使用如由显著性图预测的用户注意力的分布对图像重建进行加权可以具有将准确的重建努力更多地引导到要重建的医学图像的临床上感兴趣的部分或方面的有益效果。临床兴趣可以通过医学系统的用户的用户注意力来确定。

例如，接收到的图像质量图的所述提供包括使用所述接收到的图像质量图来计算图像质量评分。所述图像质量评分描述所述医学图像的平均图像质量。

例如，所述医学系统被配置为采集用于重建所述医学图像的医学成像数据。所述医学成像数据使用以下数据采集方法中的任一种来采集：磁共振成像、计算机断层摄影成像、正电子发射断层摄影成像、单光子发射计算机断层摄影成像。

在另一方面中，本发明提供了一种医学系统，包括存储机器可执行指令的存储器和计算系统。所述机器可执行指令的运行使所述计算系统提供经训练的机器学习模块，所述经训练的机器学习模块被训练为响应于接收到医学图像作为输入而输出显著性图作为输出。所述显著性图预测用户注意力在所述医学图像上的分布。所述经训练的机器学习模块的所述提供包括提供所述机器学习模块。此外，提供包括训练医学图像和训练显著性图的训练数据的对。所述训练显著性图描述用户注意力在所述训练医学图像上的分布。使用所述训练数据来训练所述机器学习模块。所得到的经训练的机器学习模块被训练为响应于接收到所述对中的所述训练医学图像而输出所述对中的所述训练显著性图。

医学系统可以提供用于响应于接收到医学图像作为输入而输出显著性图作为输出的经训练的机器学习模块，所述显著性图预测用户注意力在医学图像上的分布。医学系统可以它自己使用经训练的机器学习模块。另外地或备选地，医学系统可以提供经训练的机器学习模块以供另一医学系统使用。例如，医学系统可以将经训练的机器学习模块发送到另一医学系统。

使用经训练的机器学习模块可以包括将医学图像作为输入提供给经训练的机器学习模块。响应于医学图像的提供，从经训练的机器学习模块接收医学图像的显著性图作为输出。显著性图预测用户注意力在医学图像上的分布。接收到的医学图像的显著性图可以被提供以用于进一步使用。

在另一方面中，本发明提供了一种计算机程序，包括用于由控制医学系统的计算系统运行的机器可执行指令。所述计算机程序还包括经训练的机器学习模块，所述经训练的机器学习模块被训练为响应于接收到医学图像作为输入而输出显著性图作为输出。所述显著性图预测用户注意力在所述医学图像上的分布。所述机器可执行指令的运行使所述计算系统接收医学图像。将所述医学图像作为输入提供给所述经训练的机器学习模块。响应于所述医学图像的所述提供，从所述经训练的机器学习模块接收所述医学图像的显著性图作为输出。所述显著性图预测用户注意力在所述医学图像上的分布。提供所述医学图像的所述显著性图。

在另一方面中，本发明提供了一种计算机程序，包括用于由控制医学系统的计算系统运行的机器可执行指令。所述机器可执行指令的运行使所述计算系统提供经训练的机器学习模块，所述经训练的机器学习模块被训练为响应于接收到医学图像作为输入而输出显著性图作为输出。所述显著性图预测用户注意力在所述医学图像上的分布。所述经训练的机器学习模块的所述提供包括提供所述机器学习模块。此外，提供包括训练医学图像和训练显著性图的对的训练数据。所述训练显著性图描述用户注意力在所述训练医学图像上的分布。使用所述训练数据来训练所述机器学习模块。所得到的经训练的机器学习模块被训练为响应于接收到所述第一对中的所述训练医学图像而输出所述第一对中的所述训练显著性图。

经训练的机器学习模块可以由训练经训练的机器学习模块的相同医学系统使用。另外地或备选地，经训练的机器学习模块可以被提供用于另一医学系统。例如，经训练的机器学习模块可以被发送到另一医学系统。

使用经训练的机器学习模块可以包括将医学图像作为输入提供给经训练的机器学习模块。响应于医学图像的提供，从经训练的机器学习模块接收医学图像的显著性图作为输出。显著性图预测用户注意力在医学图像上的分布。医学图像的接收到的显著性图可以被提供用于进一步使用。

在另一方面中，本发明提供了一种使用经训练的机器学习模块的医学成像方法，所述经训练的机器学习模块被训练为响应于接收到医学图像作为输入而输出显著性图作为输出。所述显著性图预测用户注意力在所述医学图像上的分布。所述方法包括接收医学图像。将所述医学图像作为输入提供给所述经训练的机器学习模块。响应于所述医学图像的所述提供，从所述经训练的机器学习模块接收所述医学图像的显著性图作为输出。所述显著性图预测用户注意力在所述医学图像上的分布。提供所述医学图像的所述显著性图。

在另一方面中，本发明提供了一种提供经训练的机器学习模块的方法，所述经训练的机器学习模块被训练为响应于接收到医学图像作为输入而输出显著性图作为输出。所述显著性图预测用户注意力在所述医学图像上的分布。所述经训练的机器学习模块的所述提供包括提供所述机器学习模块。此外，提供包括训练医学图像和训练显著性图的对的训练数据。所述训练显著性图描述用户注意力在所述训练医学图像上的分布。使用所述训练数据来训练所述机器学习模块。所得到的经训练的机器学习模块被训练为响应于接收到所述第一对中的所述训练医学图像而输出所述第一对中的所述训练显著性图。

经训练的机器学习模块可以由训练经训练的机器学习模块的相同医学系统使用。另外地或备选地，经训练的机器学习模块可以被提供以供另一医学系统使用。例如，经训练的机器学习模块可以被发送到另一医学系统。

使用经训练的机器学习模块可以包括将医学图像作为输入提供给经训练的机器学习模块。响应于医学图像的提供，从经训练的机器学习模块接收医学图像的显著性图作为输出。显著性图预测用户注意力在医学图像上的分布。医学图像的接收到的显著性图可以被提供用于进一步使用。

应理解，只要组合的示例不相互排斥，就可以组合前述示例中的一个或多个。

如本领域的技术人员将认识到的，本发明的各个方面可以实现为装置、方法或计算机程序产品。相应地，本发明的各个方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或组合软件和硬件方面的实施例(在本文中总体上全部可以被称为“电路”、“模块”或“系统”)的形式。此外，本发明的各个方面可以采取实现在一个或多个计算机可读介质中的计算机程序产品的形式，所述一个或多个计算机可读介质具有实现在其上的计算机可执行代码。

可以利用一个或多个计算机可读介质的任何组合。所述计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。本文使用的“计算机可读存储介质”涵盖任何可以存储可由计算设备的处理器或计算系统执行的指令的有形存储介质。可以将计算机可读存储介质称为计算机可读非暂态存储介质。也可以将计算机可读存储介质称为有形计算机可读介质。在一些实施例中，计算机可读存储介质还可以能够存储可以由计算设备的计算系统访问的数据。计算机可读存储介质的示例包括但不限于：软盘、磁硬盘驱动器、固态硬盘、闪速存储器、USB拇指驱动器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、磁光盘以及计算系统的寄存器文件。光盘的示例包括压缩盘(CD)和数字通用盘(DVD)，例如，CD-ROM、CD-RW、CD-R、DVD-ROM、DVD-RW或DVD-R盘。术语计算机可读存储介质还指能够经由网络或通信链路由计算机设备访问的各种类型的记录介质。例如，可以在调制调解器、因特网或局域网上检索数据。可以使用任何适当介质发送实现在计算机可读介质上的计算机可执行代码，所述任何适当介质包括但不限于无线的、有线的、光纤线缆的、RF等或者前面的任何合适的组合。

计算机可读信号介质可以包括具有实现在其中的计算机可执行代码的传播的数据信号，例如，在基带中或作为载波的部分。这样的传播的信号可以采取任何各种形式，包括但不限于电磁的、光学的或它们的任何合适的组合。计算机可读信号介质可以是这样的任何计算机可读介质：不是计算机可读存储介质，并且能够传达、传播或传输由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序。

“计算机存储器”或“存储器”是计算机可读存储介质的示例。计算机存储器是可由计算系统直接访问的任何存储器。“计算机存储设备”或“存储设备”是计算机可读存储介质的另外的示例。计算机存储设备是任何非易失性计算机可读存储介质。在一些示例中，计算机存储设备也可以是计算机存储器，或者反之亦然。

如本文所使用的“计算系统”涵盖能够运行程序或机器可执行指令或计算机可执行代码的电子部件。对包括“计算系统”的示例的计算系统的引用应当被解释为可能包含超过一个计算系统或处理核心。所述计算系统可以例如是多核处理器。计算系统还可以是指单个计算机系统内或分布在多个计算机系统间的计算系统的集合。术语计算系统还应当被解释为可能是指各自包括处理器或计算系统的计算设备的集合或网络。机器可执行代码或指令可以由可以在相同计算设备内或者可以甚至跨多个计算设备分布的多个计算系统或处理器运行。

机器可执行指令或计算机可执行代码可以包括使得处理器或其他计算系统执行本发明的方面的指令或程序。用于执行针对本发明的方面的操作的计算机可执行代码可以以一个或多个编程语言的任何组合来编写并且被编译为机器可执行指令，所述一个或多个编程语言包括诸如Java、Smalltalk、C++等的面向对象的编程语言以及诸如“C”编程语言或相似编程语言的常规过程性编程语言。在一些实例中，所述计算机可执行代码可以采取高级语言的形式或者采取预编译的形式并且结合在工作时生成机器可执行指令的解读器一起被使用。在其他实例中，所述机器可执行指令或计算机可执行代码可以采取用于可编程逻辑门阵列的编程的形式。

所述计算机可执行代码可以完全在用户的计算机上、部分在用户的计算机上(作为独立的软件包)、部分在用户的计算机上并且部分在远程计算机上、或完全在远程计算机或服务器上执行。在后一种情形下，所述远程计算机可以通过包括局域网(LAN)或广域网(WAN)的任何类型的网络连接到用户的计算机，或者可以(例如，通过使用因特网服务提供商的因特网)对外部计算机进行连接。

参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图、图示和/或方框图来描述本发明的方面。应理解，当可应用时，能够通过采取计算机可执行代码的形式的计算机程序指令来实施流程图、图示和/或方框图的方框的每个方框或部分。还应理解，当互不排斥时，可以组合不同流程图、图示和/或方框图中的方框的组合。这些计算机程序指令可以被提供给通用计算机、专用计算机或产生机器的其他可编程数据处理装置的计算系统，使得经由计算机或其他可编程数据处理装置的计算系统执行的指令创建用于实施在流程图和/或一个或多个方框图框中指定的功能/动作的单元。

这些机器可执行指令或计算机程序指令还可以存储在计算机可读介质中，所述计算机可读介质能够指引计算机、其他可编程数据处理装置或其他设备以特定的方式来工作，使得在计算机可读介质中存储的指令产生包括实施在流程图和/或一个或多个方框图框中指定的功能/动作的指令的制品。

所述机器可执行指令或计算机程序指令还可以加载到计算机、其他可编程数据处理装置或其他设备上，以令在计算机、其他可编程装置或其他设备上执行一系列操作步骤，从而产生计算机实施的过程，使得在计算机或其他可编程装置上执行的指令提供用于在流程图和/或一个或多个方框图框中指定的功能/动作的过程。

如本文所使用的“用户接口”是允许用户或操作人员与计算机或计算机系统交互的接口。“用户接口”还可以被称为“人机接口设备”。用户接口可以向操作人员提供信息或数据和/或从操作人员接收信息或数据。用户接口可以使得来自操作人员的输入能够被计算机接收并且可以从计算机向用户提供输出。换言之，所述用户接口可以允许操作人员控制或操控计算机，并且所述接口可以允许计算机指示操作人员的控制或操控的效果。显示器或图形用户接口上的数据或信息的显示是向操作人员提供信息的示例。通过键盘、鼠标、跟踪球、触摸板、指点杆、图形输入板、操纵杆、游戏手柄、网络摄像头、耳机、踏板、有线手套、遥控器和加速度计对数据的接收全都是实现对来自操作人员的信息或数据的接收的用户接口部件的示例。

如本文所使用的“硬件接口”涵盖使得计算机系统的计算系统能够与外部计算设备和/或装置交互和/或控制外部计算设备和/或装置的接口。硬件接口可以允许计算系统将控制信号或指令发送到外部计算设备和/或装置。硬件接口也可以使得计算系统能够与外部计算设备和/或装置交换数据。硬件接口的示例包括但不限于：通用串行总线、IEEE1394端口、并行端口、IEEE 1284端口、串行端口、RS-232端口、IEEE-488端口、蓝牙连接、无线局域网连接、TCP/IP连接、以太网连接、控制电压接口、MIDI接口、模拟输入接口以及数字输入接口。

如本文所使用的“显示器”或“显示设备”涵盖适于显示图像或数据的输出设备或用户接口。显示器可以输出视觉、音频和/或触觉数据。显示器的示例包括但不限于：计算机监视器、电视屏幕、触摸屏、触觉电子显示器、盲文屏幕、阴极射线管(CRT)、存储管、双稳态显示器、电子纸、矢量显示器、平板显示器、真空荧光显示器(VF)、发光二极管(LED)显示器、电致发光显示器(ELD)、等离子体显示板(PDP)、液晶显示器(LCD)、有机发光二极管显示器(OLED)、投影仪和头戴式显示器。

术语‘机器学习’(ML)指的是用于通过以自动化方式建立概率框架(称为机器学习模块)而从训练数据提取有用信息的计算机算法。机器学习可以使用一个或多个学习算法来执行，诸如线性回归、K均值、分类算法、强化算法等。‘机器学习模块’可以例如是使从其他已知值预测未测量值成为可能的公式或规则的集合。

如本文中使用的‘神经网络’涵盖被配置为一般在没有任务特异性编程的情况下通过考虑示例而学习做任务(即逐渐改进其能力)的计算系统。神经网络包括被称为神经元的多个单元，所述多个单元通过用于在所连接的神经元之间传输信号的连接而被通信性地连接。神经元之间的连接也被称为突触。神经元接收信号作为输入，根据该输入而改变其内部状态，即激活。取决于输入、所学习的权重和偏置，激活作为输出被生成，并且经由一个或多个突触被发送给一个或多个所连接的神经元。网络形成定向的且加权的曲线图，其中，神经元是节点，并且神经元之间的连接是加权的定向边缘。权重和偏置可以通过被称为学习的过程来修正，所述学习通过学习规则来管理。学习规则是修改神经网络的参数以便到网络的给定输入产生有利输出的算法。该学习过程可以等于修改网络的权重和偏置。

神经元可以以层方式被组织。不同的层可以对其输入执行不同类型的变换。被应用于神经元网络的信号从第一层(即输入层)行进到最后一层(即输出层)，穿过被布置在输入层与输出层之间的中间(隐藏)层。

如本文中使用的‘网络参数’涵盖神经元的权重和偏置，神经元的权重和偏置可以随着学习进行而被改变，并且可以增加或降低由神经元经由突触向下游发送的信号的强度。

如本文中使用的‘医学系统’涵盖包括存储机器可执行指令的存储器和被配置用于执行机器可执行指令的计算系统的任何系统，其中，所述机器可执行指令的运行使所述计算系统处理医学图像。医学系统可以被配置用于使用用于处理医学图像的经训练的机器学习模块和/或训练用于处理医学图像的机器学习模块。医学系统还可以被配置用于使用医学成像数据生成医学图像和/或用于采集医学成像数据以用于生成医学图像。

医学成像数据在本文中被定义为描述对象的由断层摄影医学成像系统做出的所记录的测量结果。医学成像数据可以被重建为医学图像。医学图像在本文中被定义为包含在医学成像数据内的解剖数据的重建二维或三维可视化。这种可视化可以使用计算机来执行。

磁共振成像(MRI)图像或MR图像在本文中被定义为包含在磁共振成像数据内的解剖数据的重建二维或三维可视化。这种可视化能够使用计算机来执行。

计算机断层摄影(CT)图像在本文中被定义为由计算机使用从不同角度获取的X射线测量的数据重建的重建二维或三维断层摄影图像。

正电子发射断层摄影(PET)图像在本文中被定义为作为放射性示踪剂被注射到身体中的放射性药物的分布的重建二维或三维可视化。可以例如使用伽马相机检测由放射性示踪剂引起的伽马射线发射。该成像数据可以用于重建二维或三维图像。PET扫描器可以例如并入CT扫描器中。PET图像可以例如使用在同一会话期间使用一个扫描器执行的CT扫描来重建。

单光子发射计算机断层摄影(SPECT)在本文中被定义为作为放射性示踪剂注入体内的伽马发射放射性药物的分布的重建二维或三维可视化。通过使用伽马相机从多个角度采集成像数据来执行SPECT成像。计算机用于使用所采集的成像数据来重建二维或三维断层摄影图像。SPECT在其放射性示踪剂的使用和伽马射线的探测方面类似于PET。与PET相比，SPECT中使用的放射性示踪剂发射直接测量的伽马辐射，而PET放射性示踪剂发射与电子湮灭从而提供伽马射线的正电子。

附图说明

在下文中将仅通过示例的方式并且参考附图描述本发明的优选实施例，在附图中：

图1图示了医学系统的示例；

图2示出了图示预测显著性图的示例性方法的流程图；

图3示出了图示预测显著性图的示例性方法的流程图；

图4图示了医学系统的另外的示例；

图5图示了医学系统的另外的示例；

图6示出了图示预测显著性图的示例性方法的流程图；

图7示出了图示将机器学习模块训练为预测显著性图的示例性方法的流程图；

图8图示了被配置用于训练机器学习模块的医学系统的示例；

图9图示了被配置用于训练机器学习模块的医学系统的示例；

图10示出了具有被训练为预测显著性图的神经网络的示例性机器学习模块；

图11示出了图示生成训练显著性图的示例性方法的流程图；

图12示出了图示生成训练显著性图的示例性方法的流程图；

图13示出了图示使用显著性图选择重建方法的示例性方法的流程图；

图14图示了使用显著性图选择重建方法的示例性方法；

图15示出了图示使用显著性图提供加权OOD图的示例性方法的流程图；

图16示出了图示使用显著性图提供加权OOD评分的示例性方法的流程图；

图17示出了图示使用显著性图提供加权OOD图的示例性方法的流程图；

图18示出了图示使用显著性图提供图像质量图的示例性方法的流程图；

图19示出了图示使用显著性图提供图像质量评分的示例性方法的流程图；

图20示出了图示使用显著性图提供图像质量图的示例性方法的流程图；并且

图21示出了图示将机器学习模块训练为使用显著性图重建医学图像的示例性方法的流程图。

附图标记列表

100医学系统

101医学系统

102计算机

104计算系统

106任选的硬件接口

108任选的用户接口

110存储器

120机器可执行指令

121机器学习模块

122经训练的机器学习模块

123医学成像数据

124医学图像

126显著性图

128一组测试图

130OOD估计模块

132OOD图

134加权OOD图

136图像质量评估模块

138图像质量图

140显示设备

144眼睛跟踪设备

150注意力确定模块

160机器学习模块

162训练数据

302磁共振成像系统

304磁体

306磁体的膛

308成像区

309感兴趣区域

310磁场梯度线圈

312磁场梯度线圈电源

314射频线圈

318收发器

318对象

320对象支撑体

330脉冲序列命令

332CT系统

334X射线电源

336机架

338稳压器电路

340旋转轴

342X射线管

344探测器

346X射线

350CT控制命令

406训练医学图像

407训练数据

408训练显著性图

422测试图

424测试图

426测试图

500用户

502眼睛

具体实施方式

在这些附图中相似编号的元件或为等效元件或执行相同的功能。如果功能等效，则先前已经讨论的元件将不必要在后面的附图中讨论。

图1图示了医学系统100的示例。医学系统被示出为包括计算机102。计算机102旨在表示一个或多个运算或计算设备。计算机102可以例如是接收医学图像124以用于预测显著性图126和/或接收所采集的医学成像数据123以用于重建医学图像124的计算机。计算机102可以例如被集成到被配置用于采集医学成像数据的医学成像系统中，作为其控制系统的部分。医学成像系统可以例如是磁共振成像系统、计算机断层摄影成像系统或高级分子成像系统，例如正电子发射断层摄影成像系统或单光子发射计算机断层摄影成像系统。在其他示例中，计算机102可以是用于远程重建图像的远程计算机系统。例如，计算机102可以是放射科中的服务器，或它可以是位于云计算系统中的虚拟计算机系统。

计算机102还被示出为包括计算系统104。计算系统104旨在表示位于一个或多个位置处的一个或多个处理器或处理核或其他计算系统。计算系统104被示出为连接到任选的硬件接口106。任选的硬件接口106可以例如使得计算系统104能够控制其他部件，诸如磁共振成像系统、计算机断层摄影成像系统、正电子发射断层摄影成像系统或单光子发射计算机断层摄影成像系统。

计算系统104还被示出为连接到任选的用户接口108，该任选的用户接口可以例如使得操作者能够控制和操作医学系统100。任选的用户接口108可以例如包括使得用户能够与医学系统交互的输出和/或输入设备。输出设备可以例如包括被配置用于显示医学图像的显示设备。输入设备可以例如包括键盘和/或鼠标，该键盘和/或鼠标使得用户能够插入用于控制医学系统100的控制命令。任选的用户接口108可以例如包括被配置用于跟踪使用医学系统100的用户的眼睛的位置和/或移动的眼睛跟踪设备，如相机。计算系统104还被示出为连接到存储器110。存储器110旨在表示可以连接到计算系统104的不同类型的存储器。

存储器被示出为包含机器可执行指令120。机器可执行指令120使得计算系统104能够执行诸如控制其他部件以及执行各种数据和图像处理任务的任务。机器可执行指令120可以例如使得计算系统104能够控制其他部件，诸如磁共振成像系统、计算机断层摄影成像系统、正电子发射断层摄影成像系统或单光子发射计算机断层摄影成像系统。

存储器110还被示出为包含经训练的机器学习模块122，该经训练的机器学习模块被配置用于接收医学图像124并且作为响应而提供显著性图126。显著性图126预测用户注意力在医学图像124上的分布。医学图像124可以例如是MRI图像、CT图像或AMI图像，如PET图像或SPECT图像。

存储器110还被示出为包含医学成像数据123。医学系统100可以例如被配置为使用医学成像数据123来重建医学图像124。医学成像数据123可以例如是MRI数据、CT成像数据或AMI数据，如PET成像数据或SPECT成像数据。例如，存储器110可以包含另外的机器学习模块121，该另外的机器学习模块被配置用于接收医学成像数据123并且作为响应而提供重建医学图像124。

存储器110还被示出为包含一组测试图128。医学系统100可以被配置为执行不同的重建方法，该不同的重建方法用于例如使用医学成像数据123重建医学图像，如医学图像124。测试图128中的每个可以被分配给重建方法中的不同的重建方法，并且使用所分配的重建方法来识别图像重建的质量最高的测试图像的部分。测试图像(例如，医学图像124)可以显示要针对其使用重建方法中的一种来重建医学图像的预定义类型的解剖结构。在要重建脑部的医学图像的情况下，测试图像可以示出脑部结构。当使用所分配的重建方法时，由测试图识别的部分可以包括与预定义类型的解剖结构的其他解剖子结构相比图像重建的质量最高的预定义类型的解剖结构的解剖子结构。例如，在重建方法中的一种为脑部中的白质提供高图像质量的情况下，分配给该重建方法的测试图可以指示(例如，突出显示)由测试图像包括的白质。例如，在重建方法中的一种为脑部中的灰质提供高图像质量的情况下，分配给该重建方法的测试图可以指示(例如，突出显示)由测试图像包括的灰质。例如，在重建方法中的一种为脑部中的脑脊液提供高图像质量的情况下，分配给该重建方法的测试图指示(例如，突出显示)由测试图像包括的脑脊液。例如，医学图像124可以是测试图像，并且显著性图126可以用于选择用于重建一幅或多幅医学图像的重建方法中的一种。显著性图126可以用于确定测试图128中与显著性图126具有最高水平的结构相似性的一个测试图。可以选择分配给所确定的测试图的重建方法，并且可以使用所选择的重建方法来重建一幅或多幅医学图像。例如，医学成像数据123可以用于重建医学图像。

存储器110还被示出为包含OOD估计模块130，该OOD估计模块被配置用于接收医学图像124，并且作为响应而提供表示输入医学图像124与由一组参考医学图像定义的参考分布的符合性水平的OOD图132。存储器110还可以包含加权OOD图134，该加权OOD图通过使用由显著性图126预测的医学图像124上的用户注意力的分布对由OOD图132表示的符合性水平进行加权来生成。由加权OOD图134提供的加权符合性水平可以例如用于计算描述医学图像124整体上在参考分布内的概率的OOD评分。

存储器110还被示出为包含图像质量评估模块136，该图像质量评估模块被配置用于接收医学图像124，并且作为响应而提供表示输入医学图像124上的图像质量水平的分布的图像质量图138。当将显著性图126与医学图像124一起接收作为输入时，可以使用由输入显著性图126预测的输入医学图像124上的用户注意力的分布对图像质量水平进行加权。由图像质量图138提供的加权图像质量水平可以例如用于计算图像质量评分，其提供例如医学图像124的平均图像质量。

图像质量评估模块136可以例如由医学系统100用于训练机器学习模块121。由图像质量评估模块136估计的图像质量可以例如描述由机器学习模块121输出的医学图像124相对于一幅或多幅参考医学图像的损失。例如，可以提供用于训练机器学习模块121的训练数据。相应的训练数据可以例如由存储器110包含。用于训练机器学习模块121的训练数据可以包括训练医学成像数据和使用训练医学图像数据重建的训练医学图像的对。机器学习模块121可以被训练为响应于接收到训练医学图像数据而输出训练医学图像。该训练可以包括针对改对中的每个对，将相应的训练医学成像数据作为输入提供给机器学习模块121并且接收初步医学图像作为输出。接收到的初步医学图像可以例如是医学图像124。由从图像质量评估模块136针对医学图像124接收的图像质量图138表示的图像质量的分布可以用作相对于相应对的训练医学图像的医学图像124上的损失的分布。可以将训练医学图像作为参考医学图像提供给图像质量评估模块136以用于确定接收到的图像质量图138。机器学习模块121的训练可以包括调节机器学习模块的参数，直到医学图像124上的损失满足预定义准则。该准则可以例如要求损失小于预定义阈值。

图2示出了图示使用经训练的机器学习模块来预测显著性图的示例性方法的流程图。图2的方法可以例如由图1的医学系统100执行。在框200中，接收医学图像。可以使用所采集的医学成像数据来重建医学图像，或可以以重建形式提供医学图像。在框202中，将医学图像作为输入提供给经训练的机器学习模块。在框204中，响应于提供医学图像作为输入而从经训练的机器学习模块接收医学图像的显著性图作为输出。接收到的显著性图预测用户注意力在所提供的医学图像上的分布。在框204中，提供医学图像的显著性图以供进一步使用。例如，显著性图可以用于选择图像重建的合适方法，用于对OOD图进行加权和/或用于对图像质量图进行加权。图像质量图的这种加权可以例如用于将另外的机器学习模块训练为根据医学成像数据重建医学图像。

图3示出了图示预测显著性图的示例性方法的另外的流程图。如图3所示，例如脑部的医学图像124被提供给经训练的机器学习模块122。经训练机器学习模块122被配置(即，训练)为响应于接收到医学图像124而提供显著性图126。显著性图126预测用户注意力在医学图像124上的分布。图3的显著性图126中的像素越亮，针对医学图像124中的该像素的用户注意力的预测水平可以越高。

图4图示了包括磁共振成像系统302的医学系统100的另外的示例。图4中描绘的医学系统100类似于图1中描绘的医学系统100，除了它另外包括由计算系统104控制的磁共振成像系统302。

磁共振成像系统302包括磁体304。磁体304是具有通过其的膛306的超导圆柱型磁体。使用不同类型的磁体也是可能的；例如，使用分裂的圆柱形磁体和所谓的开放式磁体两者也是可能的。分裂的圆柱形磁体类似于标准圆柱形磁体，除了低温恒温器已经被分裂成两个部分以允许进入磁体的等平面，这样的磁体可以例如与带电粒子束治疗结合使用。开放式磁体具有两个磁体部分，一个在另一个之上，其间的空间足够大以接收对象：两个部分区的布置类似于亥姆霍兹线圈的布置。开放式磁体是流行的，因为对象不太受限制。在圆柱形磁体的低温恒温器内部，存在超导线圈的集合。

在圆柱形磁体304的膛306内存在磁场足够强且足够均匀以执行磁共振成像的成像区308。在成像区308内示出了感兴趣区域309。磁共振数据通常针对感兴趣区域进行采集。对象318被示出为由对象支撑体320支撑，使得对象318的至少部分处于成像区308和感兴趣区域309内。

在磁体的膛306内还存在一组磁场梯度线圈310，其用于采集初步磁共振数据以对磁体304的成像区308内的磁自旋进行空间编码。磁场梯度线圈310连接到磁场梯度线圈电源312。磁场梯度线圈310旨在是代表性的。通常，磁场梯度线圈310包含单独的三组线圈，以用于在三个正交空间方向上进行空间编码。磁场梯度电源向磁场梯度线圈供应电流。供应给磁场梯度线圈310的电流被控制为时间的函数，并且可以是斜坡的或脉冲的。

与成像区308相邻的是射频线圈314，该射频线圈用于操纵成像区308内的磁自旋的取向并且用于接收来自也在成像区308内的自旋的无线电发射。射频天线可以包含多个线圈元件。射频天线也可以被称为通道或天线。射频线圈314连接到射频收发器316。射频线圈314和射频收发器316可以由单独的发射和接收线圈以及单独的发射器和接收器替换。应理解，射频线圈314和射频收发器316是代表性的。射频线圈314还旨在表示专用发射天线和专用接收天线。同样地，收发器316也可以表示单独的发射器和接收器。射频线圈314还可以具有多个接收/发射元件，并且射频收发器316可以具有多个接收/发射通道。例如，如果并行成像技术(诸如SENSE)被执行，则射频线圈314将具有多个线圈元件。

收发器316和梯度控制器312被示出为连接到计算机系统102的硬件接口106。

存储器110还被示出为包含脉冲序列命令330。脉冲序列命令330是被配置用于控制磁共振成像系统302从感兴趣区域309采集医学图像数据123的命令或可以被转换为此类命令的数据。在根据图4的医学系统100的情况下，医学图像数据123是磁共振成像数据，并且使用医学图像数据123重建的医学图像124是MRI图像。

图5图示了医学系统100的另外的示例。图4中描绘的医学系统100类似于图1中描绘的医学系统100，除了它另外包括由计算系统104控制的计算机断层摄影成像系统332。CT系统332被示出为由计算机102控制。硬件接口106允许计算系统104(例如，处理器)与CT系统332交换数据并控制CT系统332。计算机系统102的存储器110被示出为包含用于控制CT系统332的额外的CT系统控制命令350。CT系统控制命令350可以被计算系统104用于控制CT系统332采集CT成像数据形式的医学成像数据123。CT成像数据123可以用于重建CT图像形式的医学图像124。

CT系统332可包括旋转机架336。机架336可以围绕旋转轴340旋转。存在被示出在对象支撑体320上的对象318。在机架336内的是X射线管342，例如在X射线管高压隔离罐内。另外，稳压器电路338可以与X射线管342一起被提供在X射线电源334内或在两者外部。X射线电源334向X射线管342供应功率。

X射线管334产生穿过对象318并由探测器344接收的X射线346。在框309的区内的是成像区308内的感兴趣区域，其中，可以做出对象318的CT或计算机断层摄影图像124。

对于正电子发射断层摄影成像(PET)或单光子发射计算机断层摄影成像(SPECT)，类似的系统可以与包括伽马相机的探测器344一起使用。在正电子发射断层摄影或单光子发射计算机断层摄影的情况下，不需要外部辐射源。例如，CT系统332的探测器344可以包括伽马相机并且分别用于PET-CT成像或SPECT-CT成像，即，PET和CT的组合或SPECT和CT的组合。

图6示出了图示例如使用图4或图5的医学系统预测显著性图的示例性方法的流程图。备选地或另外地，医学系统可以被配置用于PET成像或SPECT成像。在框210中，使用由医学系统包括的医学成像系统来采集医学成像数据。在图4的医学系统的情况下，医学成像系统是MRI系统，并且医学成像数据是MRI数据。在图5的医学系统的情况下，医学成像系统是CT成像系统，并且医学成像数据是CT数据。在框212中，使用在框210中采集的医学成像数据来重建医学图像。在图4的医学系统的情况下，医学图像是MRI图像。在图5的医学系统的情况下，医学图像是CT图像。图6的另外的框214、216和218相当于于图2的框202、204和206。对于PET和SPECT，类似的方法可以用于预测显著性图。

图7示出了图示将机器学习模块训练为预测显著性图的示例性方法的流程图。在框220中，提供要训练的机器学习模块。所提供的机器学习模块可以例如是未训练的机器学习模块或被进一步训练的预训练的机器学习模块。在框222中，提供用于训练机器学习模块的训练数据。训练数据包括训练医学图像和训练显著性图的对。训练显著性图描述用户注意力在训练医学图像上的分布。在框224中，使用所提供的训练数据来训练机器学习模块。所得到的经训练的机器学习模块被训练为响应于接收到该对的训练医学图像而输出该对的训练显著性图。

图8图示了医学系统101的示例，该医学系统被配置用于将机器学习模块160训练为响应于接收到医学图像作为输入而输出显著性图作为输出。所得到的显著性图预测用户注意力在作为输入提供的医学图像上的分布。机器学习模块160可以例如是未训练的机器学习模块或部分预训练的机器学习模块。训练机器学习模块160得到经训练的机器学习模块122。医学系统101被示出为包括计算机102。计算机102旨在表示一个或多个运算或计算设备。例如，计算机102可以是用于远程训练机器学习模块160的远程计算机系统。例如，计算机102可以是放射科中的服务器，或它可以是位于云计算系统中的虚拟计算机系统。

计算机102还被示出为包括计算系统104。计算系统104旨在表示位于一个或多个位置处的一个或多个处理器或处理核或其他计算系统。计算系统104被示出为连接到任选的硬件接口106。任选的硬件接口106可以例如使得计算系统104能够控制其他部件。

计算系统104还被示出为连接到任选的用户接口108，该任选的用户接口可以例如使得操作者能够控制和操作医学系统101。任选的用户接口108可以例如包括使得用户能够与医学系统交互的输出和/或输入设备。输出设备可以例如包括被配置用于显示医学图像和显著性图的显示设备。输入设备可以例如包括使得用户能够插入用于控制医学系统101的控制命令的键盘和/或鼠标。任选的用户接口108可以例如包括被配置用于跟踪使用医学系统101的用户的眼睛的位置和/或移动的眼睛跟踪设备，如相机。计算系统104还被示出为连接到存储器110。存储器110旨在表示可以连接到计算系统104的不同类型的存储器。

存储器被示出为包含机器可执行指令120。机器可执行指令120使得计算系统104能够执行诸如控制其他部件以及执行各种数据和图像处理任务的任务。机器可执行指令120可以例如使得计算系统104能够训练机器学习模块160并且作为训练的结果而提供经训练的机器学习模块122。

为了训练机器学习模块160，可以提供训练数据162。训练数据可以包括训练医学图像和训练显著性图的对。训练显著性图描述用户注意力在训练医学图像上的分布。训练显著性图可以例如使用被配置用于跟踪使用医学系统101的用户的眼睛的位置和/或移动的眼睛跟踪设备(如相机)来生成。基于由眼睛跟踪设备提供的跟踪数据，可以确定用户注意力在训练医学图像上的分布，从而得到显著性图。使用所提供的训练数据162来训练机器学习模块160。机器学习模块160被训练为响应于接收到该对的训练医学图像而输出该对的训练显著性图。因此，可以生成机器学习模块122。

图9图示了医学系统100的另一示例，该医学系统被配置用于将机器学习模块160训练为响应于接收到医学图像作为输入而输出显著性图作为输出。所得到的显著性图预测用户注意力在作为输入提供的医学图像上的分布。机器学习模块160可以例如是未训练的机器学习模块或部分预训练的机器学习模块。训练机器学习模块160得到经训练的机器学习模块122。

图9所示的医学系统100对应于图1所示的医学系统100。图9所示的医学系统100另外包括要使用训练数据162训练的机器学习模块160，以便提供经训练的机器学习模块122。机器可执行指令120可以例如使得计算系统104能够训练机器学习模块160并且作为训练的结果而提供经训练的机器学习模块122。

为了训练机器学习模块160，可以提供训练数据162。训练数据可以包括训练医学图像和训练显著性图的对。训练显著性图描述用户注意力在训练医学图像上的分布。训练显著性图可以例如使用被配置用于跟踪使用医学系统100的用户的眼睛的位置和/或移动的眼睛跟踪设备(如相机)来生成。基于由眼睛跟踪设备提供的跟踪数据，可以确定用户注意力在训练医学图像上的分布，从而得到显著性图。使用所提供的训练数据162来训练机器学习模块160。机器学习模块160被训练为响应于接收到该对的训练医学图像而输出该对的训练显著性图。因此，可以生成机器学习模块122。

图10示出了具有被训练为预测显著性图的神经网络的示例性的经训练的机器学习模块122。所提供的神经网络的示例性架构可以是U-Net架构。U-Net是卷积神经网络。卷积神经网络是例如被应用于分析视觉影像的一类深度神经网络。U-Net包括收缩路径和扩展路径，这给予它U形架构。收缩路径是由卷积的重复应用组成的典型卷积网络，每个卷积可以跟随有整流线性单元(ReLU)和最大池化操作。在收缩期间，可以减少空间信息，同时增加特征信息。扩展路径可以通过具有来自收缩路径的高分辨率特征的一系列上卷积和级联来组合特征和空间信息。

例如具有U-Net架构的这种机器学习模块122可以被训练为模仿用户(例如，放射科医师)的与所显示的医学图像有关的行为。例如，可以模仿如下面在图12中检测到的用户注意力。为此目的，可以提供包括训练医学图像(例如，在图12中显示的医学图像406)和训练显著性图(例如，下面在图12中针对所显示的医学图像406确定的显著性图408)的对的训练数据。机器学习模块122可以被训练为接收这样的训练医学图像406作为输入，并且作为响应而生成分配给输入训练医学图像406的训练显著性图408作为输出。因此，也可以使得机器学习模块122能够预测针对其他医学图像的显著性图。

例如，可以使用被设计用于图像到图像变换任务的损失函数在如下面在图12中示出的那样采集的医学图像406及其对应的显著性图408的训练对上训练用于预测显著性图的机器学习模块122。例如，可以使用损失函数，诸如MSE、MAE、SSIM或其组合。经训练的机器学习模块122可以被配置为将医学图像作为输入并预测显著性图。例如，这样的显著性可以预测用户注意力的分布。这样的显著性图可以例如用作指示用户注意力应当聚焦在给定医学图像的哪些区域上的用于用户的指导。备选地或另外地，这样的显著性图可以在图像重建和/或医学图像分析的背景下使用。

图11图示了用于向机器学习模块提供训练显著性图的示例性方法。在框230中，使用用于提供训练显著性图的医学系统的显示设备来显示训练医学图像。在框232中，测量用户注意力在所显示的训练医学图像上的分布。用户注意力可以例如基于用户与训练医学图像的交互来测量。例如，可以测量由用户控制的光标在所显示的训练医学图像内的位置和移动。例如，用户注意力可以使用被配置用于测量医学系统的用户的眼睛的位置和移动的眼睛跟踪设备来测量。被配置用于使用眼睛跟踪设备确定用户注意力在所显示的训练医学图像上的分布的注意力确定模块可以用于为观看所显示的训练医学图像的医学系统的用户确定在所显示的训练医学图像内的注意力点。在框234中，使用用户注意力在训练医学图像上的所测量的分布来生成训练显著性图。

图12图示了用于生成训练数据的示例性方法，该训练数据用于将机器学习模块训练为生成预测用户注意力在医学图像上的分布的显著性图。训练显著性数据可以以使用例如眼睛跟踪设备144确定的用户注意力数据的形式来采集，该眼睛跟踪设备用于跟踪用户注意力集中在的医学图像406的区域。所采集的训练显著性数据用于生成显著性图408。显著性图408可以与医学图像406组合用作训练数据407，以将机器学习模块训练为响应于接收到给定医学图像作为输入而提供显著性图作为输出。经训练的机器学习模型可以用于在运行时生成预测用户注意力在给定医学图像上的分布的显著性图。

在图12中，图示了用于使用检查医学图像(如MR图像)的用户500(例如放射科医师)的眼睛跟踪来构建训练显著性图408的示例性流水线。包括一组医学图像406的训练数据(即，训练医学图像)被呈现给放射科医师500，例如，被显示在医学设备100的显示设备140上。使用眼睛跟踪设备144(如相机)记录放射科医师500的眼睛502的位置和移动。所收集的眼睛跟踪数据被变换成表示放射科医师500的用户注意力在所显示的医学图像406上的分布的显著性图408。为此目的，可以提供注意力确定模块150。注意力确定模块150可以被配置用于使用眼睛跟踪设备144确定用户注意力在所显示的训练医学图像406上的分布。它可以例如用于为观看所显示的训练医学图像406的医学系统100的用户500确定在所显示的训练医学图像406内的注意力点。在框234中，使用用户注意力在训练医学图像上的所测量的分布来生成训练显著性图。所显示的医学图像406可以与所生成的显著性图408成对地组合，以提供用于将机器学习模块训练为预测给定医学图像的显著性图的训练数据407的对。训练数据407的每个对包括训练医学图像406以及表示使用眼睛跟踪设备144确定的用户注意力在相应的训练医学图像406上的分布的训练显著性图408。

图13示出了图示使用显著性图选择重建方法的示例性方法的流程图。执行该方法的医学系统可以被配置为使用显著性图从多个预定义重建方法中选择用于重建医学图像的重建方法。在框240中，提供针对测试医学图像的多个测试图。测试医学图像是要重建医学图像的预定义类型的解剖结构的医学图像。测试图中的每个被分配给重建方法中的不同的重建方法。当使用所分配的重建方法时，测试图中的每个识别测试图像的部分，该部分包括预定义类型的解剖结构的解剖子结构，该解剖子结构的图像重建质量与预定义类型的解剖结构的其他解剖子结构相比是最高的。在框242中，将测试图与显著性图进行比较。显著性图是针对测试医学图像预测的显著性图，即，显著性图预测用户注意力在测试医学图像上的分布。在框244中，确定测试图中的哪一个与显著性图具有最高水平的结构相似性。在框246中，被分配给所确定的测试图的重建方法被选择用于重建要重建的医学图像。在框246中，使用所选择的重建方法来重建要重建的医学图像。

因此，经训练的机器学习模块可以用于选择更好地服务于用户的兴趣的重建方法。通过提供预测用户注意力的分布的显著性图，经训练的机器学习提供了考虑用户相关的相关性量度的方法。在该设置中，可以部署具有可比较特性的多种重建方法。例如，应当描绘特定的解剖结构。可比较特性可以是指所有重建方法能够提供描绘相应的解剖结构的重建医学图像的事实。可以基于由显著性图提供的用户注意力的预测来选择最适合于用户的重建方法。显著性图可以例如预测个体用户的用户注意力的分布。因此，对于不同的用户，取决于用户的经验、参考和/或工作方式，可以预测不同的显著性图。不同的放射科医师可以以不同的方式检查图像。因此，他们中的每个可以受益于更好地满足他或她的个体需要的重建。重建方法中的每种可以被设计为处理输入数据(即，用于重建医学图像的所采集的医学数据)的特定特性。例如，在MRI中，一些重建方法可以产生在脑部中的白质和灰质之间具有高对比度的医学图像，而其他重建方法可以在颅骨附近的区域中提供更好的信噪比。对于每种重建方法，可以提供识别相应的重建方法的图像重建质量最高的测试图像的部分的测试图。例如，在为脑部中的白质提供高图像质量的重建方法的情况下，可以提供突出显示由测试图像包括的白质的测试图。例如，在为脑部中的灰质提供高图像质量的重建方法的情况下，可以提供突出显示由测试图像包括的灰质的测试图。例如，在为脑部中的脑脊液提供高图像质量的重建方法的情况下，可以提供突出显示由测试图像包括的脑脊液的测试图。测试图可以具有类似显著性图的外观。测试图可以与由机器学习提供的显著性图进行比较，该机器学习例如被配置为预测特定放射科医师的注意力在测试图像上的分布。选择最合适的重建方法，即，测试图显示与显著性图的最高相似性水平的重建方法。可以通过估计针对放射科医师获得的显著性图与针对不同的重建方法提供的测试图之间的距离来确定相似性水平。

图14图示了使用显著性图来选择重建方法的示例性方法。例如，要重建脑部的医学图像。可以提供脑部的医学图像124作为测试图像，为该测试图像提供被分配给不同的重建方法的测试图128。在该示例中，存在三种可用的重建方法，其中每种可以在重建脑部的不同部分方面具有其自身的优势。例如，重建方法中的第一种重建方法可以在重建脑部中的白质方面具有其优势。重建方法中的第二种重建方法可以在重建脑部中的灰质方面具有其优势，而重建方法中的第三种重建方法可以在重建脑脊液方面具有其优势。对于重建方法中的每一种，可以提供突出显示相应的重建方法的重建质量最高的测试图像的区域的测试图。例如，对于第一种重建方法，可以提供突出显示由测试图像包括的白质的测试图422。例如，对于第二种重建方法，可以提供突出显示由测试图像包括的灰质的测试图424，而对于第三种重建方法，可以提供突出显示脑脊液的测试图426。此外，使用经训练的机器学习模块(例如，用户特异性的经训练的机器学习模块)来生成预测用户注意力在测试医学图像124上的分布的显著性图126。经训练的机器学习模块可以例如是深度学习神经网络。在这种情况下，例如，可以选择第二种重建方法，因为突出显示由测试图像124包括的灰质的测试图424与由显著性图126针对脑部的医学测试图像124预测的用户注意力的分布最佳匹配。因此，预测用户主要聚焦于灰质。因此，可以选择在灰质上最佳地工作的模型作为最适合用户需要的模型。

图15示出了图示使用显著性图提供加权OOD图的示例性方法的流程图。执行该方法的医学系统可以包括被配置用于响应于接收到医学图像作为输入而输出OOD图的OOD估计模块。OOD图表示输入医学图像与由一组参考医学图像定义的参考分布的符合性水平。在框250中，将医学图像作为输入提供给OOD估计模块。在框252中，响应于医学图像的提供而从OOD估计模块接收医学图像的OOD图作为输出。OOD图表示医学图像与预定义分布的符合性水平。在框254中，提供加权OOD图。加权OOD图的提供可以包括使用由显著性图预测的用户注意力在医学图像上的分布对由在框252中接收的OOD图表示的符合性水平进行加权。

图16示出了图示使用显著性图提供加权OOD评分的示例性方法的流程图。图16的框260至264对应于图15的框250至254。在框266中，使用在框264中提供的加权OOD图的加权符合性水平来计算OOD评分。OOD评分描述医学图像整体上在参考分布内的概率。

图17示出了图示使用显著性图126提供加权OOD图134的示例性方法的流程图。显著性图126用于OOD图132的缩放，从而得到加权OOD图134。OOD图132是针对为其提供显著性图126的相同医学图像生成的。OOD图132提供OOD值(即不确定性水平)在医学图像上的分布。显著性图126预测用户注意力并且因此相关性在医学图像上的分布。缩放的OOD图134看起来相当空，因为根据由显著性图126指示的用户注意力，具有由OOD图132指示的最高OOD评分的区域对于用户而言看起来是最不重要的。因此，这样的医学图像仍然可以是可靠的，即使它可能包括不确定性，因为不确定性被限制于医学图像的相当不重要的区域。

图18示出了图示使用显著性图提供图像质量图的示例性方法的流程图。用于执行该方法的医学系统可以包括被配置用于响应于接收到医学图像和显著性图作为输入而输出图像质量图的图像质量评估模块。图像质量图表示使用由输入显著性图预测的用户注意力在输入医学图像上的分布加权的图像质量水平在输入医学图像上的分布。在框270中，将医学图像和显著性图作为输入提供给图像质量评估模块。在框272中，响应于医学图像和显著性图的提供而从图像质量评估模块接收图像质量图作为输出。图像质量图表示使用由显著性图预测的用户注意力在医学图像上的分布加权的图像质量水平在医学图像上的分布。在框274中，计算系统提供接收到的图像质量图。图像质量图可以例如用作用于将机器学习模块训练为重建医学图像的加权损失函数。

图19示出了图示使用显著性图提供图像质量评分的示例性方法的流程图。图19的框280至284对应于图18的框270至274。在框286中，使用接收到的图像质量图来计算图像质量评分。图像质量评分可以描述医学图像的平均图像质量。

图20示出了图示使用显著性图提供图像质量图(例如，提供MSE度量的加权重建误差)的示例性方法的流程图。图像质量图137(即，重建误差量度在医学图像上的分布的误差图)使用显著性图126来缩放。作为重建误差量度，可以使用例如MSE度量。使用由显著性图126预测的用户注意力的分布对MSE度量的重建误差的值进行加权。缩放的图像质量图138示出了正被训练的神经网络可能需要以非常不同的方式被惩罚，以便产生满足基于预测的用户注意力确定的用户需要的图像。在没有缩放的情况下，正被训练的神经网络针对在图像质量图137的更亮区域中发生的误差进行惩罚，该更亮区域显著不同于在加权图像质量图138中突出显示的区域。突出显示的图像质量图138的区域是对用户来说重要的区域。因此，使用图像质量图137来调节正被训练的神经网络的参数可以改进正由神经网络重建的图像的总体图像质量，然而对于对用户来说重要的区域，该改进可以是可忽略的。为了改进图像质量使得用户真正受益，可能需要使用诸如图138的加权图像质量图。

图21示出了图示将机器学习模块训练为使用显著性图来重建医学图像的示例性方法的流程图。提供如例如图18和20所示的那样使用显著性图加权的图像质量图的图像质量评估模块可以用于将机器学习模块训练为响应于接收到医学成像数据作为输入而输出医学图像作为输出。由图像质量评估模块估计的图像质量可以描述正被训练的机器学习模块的输出医学图像相对于一幅或多幅参考医学图像的损失。在框290中，可以提供要训练的机器学习模块。在框292中，提供用于训练机器学习模块的训练数据。训练数据包括训练医学成像数据和使用训练医学成像数据重建的训练医学图像的对。在框294中，使用训练数据以及图像质量图来训练机器学习模块。机器学习模块被训练为响应于接收到该对中的训练医学成像数据而输出该对中的训练医学图像。该训练包括针对该对中的每个对，将相应的训练医学成像数据作为输入提供给机器学习模块，并且接收初步医学图像作为输出。对于初步医学图像，生成由针对初步医学图像预测的显著性图加权的图像质量图。由来自图像质量评估模块的针对初步医学图像接收的图像质量图表示的图像质量的分布被用作相对于相应对的训练医学图像的初步医学图像上的损失的分布，该训练医学图像作为参考医学图像被提供给图像质量评估模块以用于确定接收到的图像质量图。在训练期间调节机器学习模块的参数，直到医学图像上的损失满足预定义准则。该准则可以例如要求损失等于或小于阈值。

尽管已经在附图和前面的描述中详细说明和描述了本发明，但这样的说明和描述被认为是说明性或示例性的而非限制性的；本发明不限于公开的实施例。

本领域技术人员通过研究附图、说明书和权利要求书，在实践要求保护的本发明时能够理解和实现所公开实施例的其他变型。在权利要求书中，“包括”一词不排除其他元件或步骤，词语“一”或“一个”不排除多个。单个处理器或其他单元可以满足权利要求中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定元件，但是这并不指示不能有利地使用这些元件的组合。计算机程序可以存储和/或分布在适当的介质上，例如与其他硬件一起提供或作为其他硬件的部分提供的光学存储介质或固态介质，但计算机程序也可以以其他形式分布，例如经由因特网或其他有线或无线的远程通信系统分布。权利要求书中的任何附图标记都不得被解释为对范围的限制。

Claims (15)

1.一种医学系统(100)，包括：

存储器(110)，其存储机器可执行指令(120)，其中，所述存储器(110)还存储经训练的第一机器学习模块(122)，所述经训练的第一机器学习模块被训练为响应于接收到医学图像(124)作为输入而输出显著性图(126)作为输出，所述显著性图(126)预测用户注意力在所述医学图像(124)上的分布；

计算系统(104)，其中，所述机器可执行指令(120)的运行使所述计算系统(104)：

接收医学图像(124)；

将所述医学图像(124)作为输入提供给所述经训练的第一机器学习模块(122)；

响应于对所述医学图像(124)的所述提供而从所述经训练的第一机器学习模块(122)接收所述医学图像(124)的显著性图(126)作为输出，其中，所述显著性图(126)预测用户注意力在所述医学图像(124)上的分布；

提供所述医学图像(124)的所述显著性图(126)。

2.根据权利要求1所述的医学系统(100)，其中，所述机器可执行指令(120)的运行还使所述计算系统(104)提供所述经训练的第一机器学习模块(122)，其中，对所述经训练的第一机器学习模块(122)的所述提供包括：

提供所述第一机器学习模块(160)；

提供包括训练医学图像和训练显著性图的第一对的第一训练数据(162)，其中，所述训练显著性图描述用户注意力在所述训练医学图像上的分布；

使用所述第一训练数据(162)来训练所述第一机器学习模块(160)，其中，所得到的经训练的第一机器学习模块(122)被训练为响应于接收到所述第一对中的所述训练医学图像而输出所述第一对中的所述训练显著性图。

3.根据权利要求2所述的医学系统(100)，其中，所述医学系统(100)还包括显示设备(140)，其中，对所述第一训练数据(407)的所述提供包括针对所述第一训练数据(407)的所述训练医学图像(406)中的每幅训练医学图像来执行以下操作：

使用所述显示设备(140)来显示相应的训练医学图像(406)；

测量用户注意力在所显示的训练医学图像(406)上的分布；

使用用户注意力在所述训练医学图像(124)上的所测量的分布来生成包括所显示的训练医学图像(406)的训练数据的所述第一对中的所述训练显著性图(408)。

4.根据权利要求3所述的医学系统(100)，其中，所述医学系统(100)还包括眼睛跟踪设备(144)，所述眼睛跟踪设备被配置用于测量所述医学系统(100)的用户(500)的眼睛(502)的位置和移动，其中，所述存储器(110)还存储注意力确定模块(150)，所述注意力确定模块被配置用于使用所述眼睛跟踪设备(144)来确定用户注意力在所显示的训练医学图像(406)上的所述分布，以针对观看所显示的训练医学图像(406)的所述医学系统(100)的所述用户(500)来确定在所显示的训练医学图像(406)内的注意力点。

5.根据前述权利要求中的任一项所述的医学系统(100)，其中，所述经训练的第一机器学习模块(122)被训练为响应于接收到医学图像(124)作为输入而输出用户个体显著性图(126)，所述用户个体显著性图预测用户注意力在输入医学图像(124)上的用户个体分布。

6.根据前述权利要求中的任一项所述的医学系统(100)，其中，所述医学系统(100)还被配置为使用所述显著性图(126)从多个预定义重建方法中选择用于重建医学图像的重建方法，

其中，所述医学图像(124)是要重建医学图像的预定义类型的解剖结构的测试医学图像，其中，提供多个测试图(128)，所述测试图(128)中的每个测试图被分配给所述重建方法中的不同重建方法，当使用所分配的重建方法时，所述测试图(128)中的每个测试图识别所述测试图像的部分，所述部分包括所述预定义类型的解剖结构的解剖子结构，针对所述解剖子结构的图像重建质量与所述预定义类型的解剖结构的其他解剖子结构相比是最高的，

其中，所述机器可执行指令(120)的运行还使所述计算系统(104)：

提供所述测试图(128)；

将所述测试图与所述显著性图(126)进行比较；

确定所述测试图(128)中与所述显著性图(126)具有最高水平的结构相似性的一个测试图；

选择被分配给所确定的测试图的所述重建方法；

使用所选择的重建方法来重建要重建的所述医学图像。

7.根据前述权利要求中的任一项所述的医学系统(100)，其中，所述存储器(110)还存储分布外估计模块(130)，所述分布外估计模块被配置用于响应于接收到医学图像(124)作为输入而输出分布外图(132)，其中，所述分布外图(132)表示所述输入医学图像(124)与由一组参考医学图像定义的参考分布的符合性水平，

其中，所述机器可执行指令(120)的运行还使所述计算系统(104)：

将所述医学图像(124)作为输入提供给所述分布外估计模块(130)；

响应于对所述医学图像(124)的所述提供而从所述分布外估计模块(130)接收所述医学图像(124)的分布外图(132)作为输出，其中，所述分布外图(132)表示所述医学图像(124)与预定义分布的符合性水平；

提供加权分布外图(134)，其中，对所述加权分布外图(134)的所述提供包括使用用户注意力在所述医学图像(124)上的所述分布对由所述分布外图(132)表示的所述符合性水平进行加权，用户注意力在所述医学图像上的所述分布是由所述显著性图(126)预测的。

8.根据权利要求7所述的医学系统(100)，其中，对所述加权分布外图(134)的所述提供还包括使用由所述加权分布外图(134)提供的加权符合性水平来计算分布外评分，其中，所述分布外评分描述所述医学图像(124)整体上在所述参考分布内的概率。

9.根据前述权利要求中的任一项所述的医学系统(100)，其中，所述存储器(110)还存储图像质量评估模块(136)，所述图像质量评估模块被配置用于响应于接收到医学图像(124)和显著性图(126)作为输入而输出图像质量图(138)，其中，所述图像质量图(138)表示图像质量水平在所述输入医学图像(124)上的分布，所述分布是使用用户注意力在所述输入医学图像(124)上的所述分布加权的，用户注意力在所述输入医学图像(124)上的所述分布是由所述输入显著性图(126)预测的，

其中，所述机器可执行指令(120)的运行还使所述计算系统(104)：

将所述医学图像(124)和所述显著性图(126)作为输入提供给所述图像质量评估模块(136)；

响应于对所述医学图像(124)和所述显著性图(126)的所述提供而从所述图像质量评估模块(136)接收图像质量图(138)作为输出，其中，所述图像质量图(138)表示图像质量水平在所述医学图像(124)上的分布，图像质量水平在所述医学图像上的所述分布是使用用户注意力在所述医学图像(124)上的所述分布加权的，用户注意力在所述医学图像上的所述分布是由所述显著性图(126)预测的；

提供接收到的图像质量图(138)。

10.根据权利要求9所述的医学系统(100)，其中，所述图像质量评估模块(136)被用于将第二机器学习模块(121)训练为响应于接收到医学成像数据(123)作为输入而输出医学图像(124)作为输出，其中，由所述图像质量评估模块(136)估计的所述图像质量描述所述第二机器学习模块(121)的输出医学图像(124)相对于一幅或多幅参考医学图像的损失，

其中，所述机器可执行指令(120)的运行还使所述计算系统(104)：

提供所述第二机器学习模块(121)；

提供用于训练所述第二机器学习模块(121)的第二训练数据，所述第二训练数据包括训练医学成像数据和使用所述训练医学图像数据重建的训练医学图像的第二对；

训练所述第二机器学习模块(121)，其中，所述第二机器学习模块(121)被训练为响应于接收到所述第二对中的所述训练医学图像数据而输出所述第二对中的所述训练医学图像，其中，所述训练包括：针对所述第二对中的每个第二对，将相应的训练医学成像数据作为输入提供给所述第二机器学习模块(121)并且接收初步医学图像作为输出，其中，接收到的初步医学图像是所述医学图像(124)，

其中，由从所述图像质量评估模块(136)针对所述医学图像(124)所接收的所述图像质量图(138)表示的图像质量的所述分布被用作相对于相应的第二对中的所述训练医学图像的所述医学图像(124)上的损失的分布，相应的第二对中的所述训练医学图像作为参考医学图像被提供给所述图像质量评估模块(136)以用于确定所述接收到的图像质量图(138)，

其中，所述第二机器学习模块(121)的参数在所述训练期间被调节，直到在所述医学图像(124)上的所述损失满足预定义准则。

11.根据权利要求9所述的医学系统(100)，其中，对所述接收到的图像质量图(138)的所述提供包括使用所述接收到的图像质量图(138)来计算图像质量评分，其中，所述图像质量评分描述所述医学图像(124)的平均图像质量。

12.根据前述权利要求中的任一项所述的医学系统(100)，其中，所述医学系统(100)被配置为采集用于重建所述医学图像(124)的医学成像数据，其中，所述医学成像数据是使用以下数据采集方法中的任一种来采集的：磁共振成像、计算机断层摄影成像、正电子发射断层摄影成像、单光子发射计算机断层摄影成像。

13.一种医学系统(101)，包括：

存储器(110)，其存储机器可执行指令(120)；

计算系统(104)，其中，所述机器可执行指令(120)的运行使所述计算系统(104)提供经训练的机器学习模块(122)，所述经训练的机器学习模块被训练为响应于接收到医学图像(124)作为输入而输出显著性图(126)作为输出，所述显著性图(126)预测用户注意力在所述医学图像(124)上的分布，其中，对所述经训练的机器学习模块(122)的所述提供包括：

提供所述机器学习模块(160)；

提供包括训练医学图像和训练显著性图的对的训练数据(162)，其中，所述训练显著性图描述用户注意力在所述训练医学图像上的分布；

使用所述训练数据(162)来训练所述机器学习模块(160)，其中，所得到的经训练的机器学习模块(122)被训练为响应于接收到所述对中的所述训练医学图像而输出所述对中的所述训练显著性图。

14.一种包括机器可执行指令(120)的计算机程序，所述机器可执行指令用于由控制医学系统(100)的计算系统(104)运行，其中，所述计算机程序还包括经训练的机器学习模块(122)，所述经训练的机器学习模块被训练为响应于接收到医学图像(124)作为输入而输出显著性图(126)作为输出，所述显著性图(126)预测用户注意力在所述医学图像(124)上的分布，

其中，所述机器可执行指令(120)的运行使所述计算系统(104)：

接收医学图像(124)；

将所述医学图像(124)作为输入提供给所述经训练的机器学习模块(122)；

响应于对所述医学图像(124)的所述提供而从所述经训练的机器学习模块(122)接收所述医学图像(124)的显著性图(126)作为输出，其中，所述显著性图(126)预测用户注意力在所述医学图像(124)上的分布；

提供所述医学图像(124)的所述显著性图(126)。

15.一种使用经训练的机器学习模块(122)的医学成像方法，所述经训练的机器学习模块被训练为响应于接收到医学图像(124)作为输入而输出显著性图(126)作为输出，所述显著性图(126)预测用户注意力在所述医学图像(124)上的分布，其中，所述方法包括：

接收医学图像(124)；

将所述医学图像(124)作为输入提供给所述经训练的机器学习模块(122)；

响应于对所述医学图像(124)的所述提供而从所述经训练的机器学习模块(122)接收所述医学图像(124)的显著性图(126)作为输出，其中，所述显著性图(126)预测用户注意力在所述医学图像(124)上的分布；

提供所述医学图像(124)的所述显著性图(126)。