CN112005314A - 用于训练成像系统的深度学习模型的系统和方法 - Google Patents

Abstract

本发明提供了用于训练成像系统的深度学习模型的方法和系统。在一个实施方案中，用于成像系统的方法包括：根据扫描协议执行对受检者的扫描以采集成像数据；显示图像和与所述图像相关联的决策支持，该图像由成像数据重建，并且决策支持利用学习模型和成像数据来计算；以及利用成像数据、图像、扫描协议、描述受检者的受检者元数据、决策支持、与图像和决策支持有关的结果决策以及与成像系统有关的系统元数据更新用于学习模型的训练数据集。这样，深度学习模型可以在图像和相应的诊断以及与扫描有关的附加信息上自动训练。

Description

用于训练成像系统的深度学习模型的系统和方法

相关申请的交叉引用

本申请要求名称为“SYSTEMS AND METHODS FOR TRAINING A DEEP LEARNINGMODEL FOR AN IMAGING SYSTEM”(用于训练成像系统的深度学习模型的系统和方法)且于2018年4月13日提交的美国临时申请号62/657,644的优先权。上述申请的全部内容据此以引用方式并入以用于所有目的。

技术领域

本文所公开的主题的实施方案涉及非侵入式诊断成像，并且更具体地涉及用于成像系统的深度学习模型的综合训练数据集。

背景技术

非侵入式成像技术允许获得患者或对象的内部结构的图像，而无需对该患者或对象执行侵入式程序。具体地，诸如计算机断层摄影(CT)之类的技术使用各种物理原理(诸如通过靶体积的X射线的差分传输)来采集图像数据和构建断层摄影图像(例如，人体或其他成像结构的内部的三维表示)。

利用深度学习(DL)技术自动分析临床图像可极大地简化和改善由医生使用此类图像进行的临床诊断。然而，准备数据集以训练DL算法可能是困难且耗时的，因为必须手动整理图像和对应的诊断并准备输入至算法中。

发明内容

在一个实施方案中，用于成像系统的方法包括：根据扫描协议执行对受检者的扫描以采集成像数据；显示图像和与所述图像相关联的决策支持，所述图像由成像数据重建，并且所述决策支持利用学习模型和所述成像数据来计算；以及利用所述成像数据、所述图像、所述扫描协议、描述所述受检者的受检者元数据、所述决策支持、与所述图像和所述决策支持有关的结果决策以及与所述成像系统有关的系统元数据更新用于所述学习模型的训练数据集。这样，深度学习模型可以在图像和相应的诊断以及与扫描有关的附加信息上自动训练。

应当理解，提供上面的简要描述来以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。

附图说明

通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本发明，其中以下：

图1示出了根据一个实施方案的用于扩展成像系统的能力的简化示例性系统的方框示意图；

图2示出了示出根据一个实施方案的用于使成像系统与边缘计算系统同步的示例性方法的高级流程图；

图3示出了示出根据一个实施方案的用于利用成像系统生成深度学习训练数据的示例性方法的高级流程图；

图4示出了示出根据一个实施方案的用于成像系统快捷模式的示例性方法的高级流程图；

图5示出了示出根据一个实施方案的用于管理边缘计算系统上的应用程序的示例性方法的高级流程图；

图6示出了根据一个实施方案的成像系统的绘画视图；

图7示出了根据一个实施方案的示例性成像系统的方框示意图；

图8示出了根据一个实施方案的用于扩展成像系统的能力的比图1更详细的示例性系统的方框示意图；并且

图9示出了示出根据一个实施方案的用于使用边缘计算系统生成成像系统的决策支持输出的示例性方法的流程图。

具体实施方式

以下描述涉及诊断成像的各种实施方案。具体地，提供了用于训练成像系统的深度学习模型的系统和方法。成像系统的处理能力可通过将成像系统耦接至包括深度学习模型的边缘计算系统(ECS)来扩展，如图1所示。由成像系统采集的成像数据可在扫描期间被传输或流式传送至ECS。用于将成像数据传输同步至ECS的方法，诸如图2中所描绘的方法，允许在扫描的同时由深度学习(DL)应用程序处理成像数据，从而减少获得决策支持的时间量。可利用与采集成像数据有关的附加信息以及表征被扫描受检者的信息来训练DL应用程序，如图3中所描绘的。当与ECS耦接时，成像系统的扩展处理能力允许成像系统以“快捷模式”操作，其中由成像系统的操作员或操作员的输入以最小的介入来执行扫描，如图4中所描绘的。可从远程储存库检索新的和更新的DL应用程序，如图5中所描绘的，从而允许ECS提供与成像系统兼容的最新DL能力。在图6和图7中提供了可用于采集根据本发明技术处理的图像的CT成像系统的示例。

ECS连接至成像系统/扫描仪。ECS包括CPU/GPU，该CPU/GPU运行被配置用于不同类型任务的一个或多个虚拟机(VM)。数据从扫描仪实时流式传送至ECS，该ECS处理数据(在图像和/或投射空间中)并返回结果。以这种方式，成像系统似乎具有额外的处理能力，因为由ECS执行的后处理通过成像系统的用户界面与重建图像一起输出。

数据流式传送至ECS与扫描仪的状态同步。只有当扫描仪不处于临界状态时，数据才从扫描仪传送至ECS。当介入模式时(例如，当医生在扫描仪处执行介入诸如造影剂注射时)，扫描仪根本不传送数据以避免数据损坏。

ECS提供基于任务的决策支持。输入至成像系统的特定任务触发输入至ECS并由ECS执行的次要任务。例如，任务可规定由扫描仪进行的特定扫描协议和/或图像重建类型，而次要任务可规定将相关后处理技术应用于所采集的数据。这些后处理技术可包括对所采集的数据的深度学习分析。如图9的方法中所描绘的，ECS可基于次要任务、检查类型和/或其他信息来选择适当的DL应用程序，并且利用所选择的DL应用程序生成决策支持。在ECS处生成的决策支持的每个实例均可与相关联的数据(例如，所使用的DL应用程序、检查类型、最终/编辑的检查报告)一起保存。在已在ECS上生成并保存阈值数量的决策支持之后，可在本地(例如，存储在ECS上的DL应用程序)和全局地(例如，可将更新的模型权重连同来自其他位置的数据一起发送至中央服务器以创建更新的全局模型)利用新数据重新训练DL应用程序中的一个或多个。

图1示出了根据一个实施方案的用于利用边缘计算系统(ECS)110扩展成像系统101的能力的示例性系统100的方框示意图。成像系统101可包括任何合适的非侵入式成像系统，包括但不限于计算机断层摄影(CT)成像系统、正电子发射断层摄影(PET)成像系统、单光子发射计算机断层摄影(SPECT)成像系统、磁共振(MR)成像系统、X射线成像系统、超声系统以及它们的组合(例如，多模态成像系统，诸如PET/CT、PET/MR或SPECT/CT成像系统)。本文关于图6和图7进一步描述示例性成像系统。

成像系统101包括处理器103和非暂态存储器104。一种或多种本文所述的方法可被实现为非暂态存储器104中的可执行指令，该可执行指令在由处理器103执行时使处理器103执行各种动作。本文关于图2至图4进一步描述此类方法。

成像系统101还包括扫描仪105，该扫描仪用于扫描受检者(诸如患者)以采集成像数据。根据成像系统101的类型，扫描仪105可包括扫描受检者所必需的多个部件。例如，如果成像系统101包括CT成像系统，则扫描仪105可包括CT管和检测器阵列，以及用于控制CT管和检测器阵列的各种部件，如本文关于图6和图7所进一步讨论的。又如，如果成像系统101包括超声成像系统，则扫描仪105可包括超声换能器。因此，如本文所用的术语“扫描仪”是指成像系统的部件，该部件被使用并控制以执行对受检者的扫描。

由扫描仪105采集的成像数据的类型也取决于成像系统101的类型。例如，如果成像系统101包括CT成像系统，则由扫描仪105采集的成像数据可包括投射数据。类似地，如果成像系统101包括超声成像系统，则由扫描仪105采集的成像数据可包括由超声换能器发射至受检者体内的超声波的模拟回波和/或数字回波。

在一些示例中，成像系统101包括协议引擎106，该协议引擎用于自动选择和调整用于扫描受检者的扫描协议。由协议引擎106选择的扫描协议规定了用于在受检者的扫描期间控制扫描仪105的多种设置。如本文进一步所讨论的，协议引擎106可基于所指示的主要任务来选择或确定扫描协议。虽然协议引擎106被描绘为与非暂态存储器104分开的部件，但是应当理解，在一些示例中，协议引擎106可包括作为可执行指令存储在非暂态存储器104中的软件模块，该可执行指令当由处理器103执行时使处理器103选择和调整扫描协议。

成像系统101还包括用户界面107，该用户界面被配置为接收来自成像系统101的操作员的输入以及向操作员的显示信息。为此，用户界面107可包括输入设备(包括但不限于键盘、鼠标、触摸屏设备、麦克风等)和输出设备(包括但不限于显示设备、打印机等)中的一者或多者。

在一些示例中，成像系统101还包括相机108，该相机用于帮助受检者在成像系统内自动定位。例如，相机108可捕获成像系统内受检者的实时图像，而处理器103基于实时图像来确定受检者在成像系统内的位置。然后，处理器103可控制工作台马达控制器，例如以调整工作台的被受检者所抵靠的位置，以便将受检者的至少一个所关注区域(ROI)定位在成像系统内。此外，在一些示例中，可至少近似地基于由相机108捕获的实时图像来确定扫描范围。

系统100还包括ECS 110，该ECS经由有线或无线连接通信地耦接至成像系统101。ECS 110包括多个处理器113，该多个处理器运行被配置用于不同类型任务的一个或多个虚拟机(VM)114。多个处理器113包括一个或多个图形处理单元(GPU)和/或一个或多个中央处理单元(CPU)。ECS 110还包括存储可执行指令的非暂态存储器115，该可执行指令可由多个处理器113中的一个或多个执行。非暂态存储器115可还包括深度学习(DL)模型116，该深度学习(DL)模型可由多个处理器113的虚拟机114执行。虽然在图1中仅描绘了一个DL模型，但是应当理解，ECS 110可包括存储在非暂态存储器中的多于一个DL模型。

在一些示例中，系统100还包括一个或多个外部数据库130，成像系统101和ECS110可经由网络120通信地耦接至该一个或多个外部数据库。作为示例性和非限制性示例，一个或多个外部数据库130可包括医院信息系统(HIS)、辐射科信息系统(RIS)、图片存档和通信系统(PACS)以及电子医疗记录(EMR)系统中的一者或多者。成像系统101和/或ECS 110可检索信息，诸如受检者元数据，该元数据可包括描述待扫描的特定受检者或与待扫描的特定受检者有关的元数据(例如，患者的年龄、性别、身高和体重)，该元数据可包括受检者的EMR。如本文进一步所述，成像系统101和/或ECS 110可使用从一个或多个外部数据库130检索的受检者元数据来自动确定扫描协议，训练深度学习模型等。

在一些示例中，系统100还包括储存库140，该储存库经由网络120通信地耦接至成像系统101和ECS 110中的一者或多者。储存库140存储多个应用程序142，该多个应用程序可由成像系统101和ECS 110中的一者或多者利用。为此，成像系统101和/或ECS 110可经由网络120从储存库140检索多个应用程序142的一个或多个应用程序。另选地，储存库140可将多个应用程序142的一个应用程序推送至成像系统101和ECS 110中的一者或多者。本文关于图5进一步描述用于从储存库140检索应用程序的方法。

图2示出了示出根据一个实施方案的用于使成像系统与边缘计算系统(ECS)同步的示例性方法200的高级流程图。具体地，方法200涉及将在扫描期间从成像系统(诸如成像系统101)采集的成像数据流式传送至ECS(诸如ECS 110)，以用于在扫描的同时处理成像数据。关于图1中所描绘的和下文所述的系统和部件描述方法200，但应当理解，在不脱离本公开的范围的情况下，该方法可用其他系统和部件来实现。方法200可被实现为成像系统101的非暂态存储器104中的可执行指令，该可执行指令可由成像系统101的处理器103执行。

方法200在205处开始。在205处，方法200接收初始任务的指示，该初始任务在本文中也被称为主要任务。初始任务包括待由成像系统执行的临床任务，并且因此通常指定应由成像系统执行何种类型的扫描。初始任务通常是必须在成像处方的预扫描和扫描期间完成的临床动作。与预扫描有关的任务的一些示例是患者设置、接收并查看来自EMR、CDSS和HIS/RIS的数据，以及选择用于扫描的协议。与扫描有关的任务的一些示例是患者定位、图像采集和图像重建。在一个示例中，方法200可例如经由成像系统101的用户界面107接收初始任务的指示。即，成像系统101的操作员可经由用户界面107选择初始任务或以其他方式指示初始任务。在另一个示例中，方法200可自动识别初始任务，例如通过评价待扫描的受检者的EMR。

例如，初始任务可包括成像扫描的诊断目标(例如，使患者参考成像扫描的原因)或由其限定。示例性诊断目标可包括诊断脑出血的存在(或不存在)、诊断肝脏病灶的存在(或不存在)、确定脊柱骨折的存在或程度、以及执行器官分割以计划用于辐射疗法。每个诊断目标均可针对特定解剖结构或一组解剖结构，并且因此可规定待执行的扫描/检查的类型。例如，脑出血的诊断可针对脑并且因此可规定执行非造影头部扫描，肝脏病灶的诊断可针对肝脏并且因此可规定执行腹部扫描，并且具体地，可规定以不同计时进行有造影的多相肝脏研究，脊柱骨折的诊断可针对颈部和/或背部并且因此可规定执行完整的脊柱非造影扫描，并且器官分割可针对整个腹部区域(或甚至全身)并且因此可规定执行非造影全身扫描。每种不同的扫描类型均可具有一组相关联的扫描参数，该参数规定在扫描期间如何控制扫描仪。例如，对于计算机断层摄影扫描，每种不同的扫描类型均可规定CT扫描仪在扫描期间的比管电流(mA)、管电压(kV)和机架旋转速度。

在210处继续，方法200确定初始任务是否与次要任务相关联。初始任务指定可如何采集成像数据，而次要任务指定可如何处理成像数据。作为非限制性示例，次要任务可包括自动病灶检测、器官分类、分割或可应用于成像数据的任何类型的后处理方法。次要任务通常是必须在成像处方的后扫描期间完成的临床动作。与后扫描有关的任务的一些示例是通过应用后处理应用程序对图像进行后处理。

在一些示例中，特定初始任务可始终指定一个或多个待结合初始任务或主要任务执行的次要任务。附加地或另选地，在205处接收的初始任务指示可指定一个或多个次要任务。例如，初始任务可不指定次要任务，但成像系统的操作员可在指示初始任务时选择次要任务。作为非限制性示例，初始任务可指定脑扫描，并且次要任务可包括病灶检测。由于病灶检测对于每次脑扫描可能不是必需的，因此对于可能怀疑存在病灶的特定情况，成像系统的操作员可针对脑扫描的初始任务任选地选择包括病灶检测的次要任务。附加地或作为操作员手动选择次要任务的另选方案，在一些示例中，方法200可基于初始任务以及受检者元数据(诸如受检者的EMR)自动确定次要任务。

如果初始任务不与次要任务相关联(“否”)，则方法200前进至212。在212处，方法200根据初始任务指示执行扫描。方法200可进一步从扫描期间采集的成像数据重建并输出一个或多个图像。由于没有次要任务与初始任务相关联，因此在212处采集的成像数据不被流式传送至ECS。然后方法200结束。

然而，再次参考210，如果初始任务与次要任务相关联(“是”)，则方法200继续至215。在215处，方法200将次要任务指示输出至ECS 110。ECS 110基于次要任务指示执行成像数据的后处理。

在220处，方法200开始根据初始任务指示用扫描仪105扫描受检者以采集成像数据。例如，方法200根据与初始任务相关联的扫描协议开始扫描受检者。作为非限制性示例，扫描协议可由协议引擎106选择。

在220处开始的扫描期间，方法200基于扫描仪105的状态将成像系统101同步至ECS 110。为此，在225处，方法200评价扫描仪105的状态。在230处，方法200确定扫描仪105是否处于临界状态。扫描仪105可以在异步外部操作可能负面地影响其满足基本安全要求的能力时处于临界状态。例如，当正在进行主动数据采集时，诸如当X射线源打开并且图像数据正被存储至磁盘或存储器存储位置时，扫描仪105可处于临界状态。如果成像系统在这样的时间期间与ECS同步(使得成像数据可从成像系统被发送至ECS)，则可能导致扫描失败(例如，由于数据丢失、延迟或其他问题)，并且患者将需要被重新扫描，从而将患者暴露于附加的辐射剂量。主要地，当X射线源接通或在快速采集序列期间时，CT扫描仪处于临界状态。临界状态的另一个示例是当系统执行介入程序时，其中扫描数据存储和图像显示操作两者均对时间敏感并且对于安全是必不可少的。

如果扫描仪处于临界状态(“是”)，则方法200前进至232，其中方法200继续扫描。更具体地，方法200继续扫描受检者，但不将所采集的成像数据传输至ECS 110。

然而，再次参考230，如果扫描仪不处于临界状态(“否”)，则方法200继续至233，其中方法200将所采集的成像数据传输至ECS 110用于后处理。ECS 110根据次要任务处理所传输的成像数据。

方法200从232和233两者前进至235。在235处，方法200确定扫描是否完成。如果扫描未完成(“否”)，则方法200返前进至237，其中方法200继续扫描。方法200前进至225以重新评价扫描仪状态。因此，方法200在扫描期间连续地评价扫描仪105的状态以确定扫描仪105是否处于临界状态，并且仅当扫描仪105不处于临界状态时才将在扫描期间采集的成像数据流式传送或传输至ECS 110。换句话讲，除非扫描仪105处于临界状态，否则方法200在扫描期间在成像数据被采集时将其连续地流式传送至ECS 110。以这种方式，ECS 110可在扫描的同时接收和处理成像数据。此外，当扫描仪105在临界状态下操作时，成像数据不会因在临界状态期间传输而损坏，成像系统101的运行也不会受到干扰。

一旦方法200在235处确定扫描完成(“是”)，则方法200前进至240。在240处，方法200从在所采集的成像数据重建一个或多个图像。作为非限制性示例，方法200可使用任何合适的迭代或分析图像重建算法来重建一个或多个图像。

在245处，方法200从ECS 110接收决策支持。决策支持包括应用于成像数据的一种或多种后处理算法的结果，该成像数据在233处在扫描期间被流式传送至ECS 110。例如，如果检查是执行头部扫描的脑出血检查，则决策支持输出可包括是否检测到出血的指示。如果检查是扫描肝脏的肝脏病灶检查，则决策支持输出可包括是否检测到病灶，并且如果检测到病灶，则决策支持输出可包括对病灶的大小、形状、位置等的指示。

在250处，方法200输出一个或多个图像和决策支持。例如，方法200可将一个或多个图像和决策支持输出至显示设备以显示给成像系统101的操作员。附加地或另选地，例如，方法200可以将一个或多个图像和决策支持输出至大容量存储设备以供稍后查看，或者输出至图片存档和通信系统(PACS)以供在远程工作站处查看。然后方法200结束。

因此，用于成像系统的方法包括执行对受检者的扫描以采集成像数据，将扫描期间的成像数据传输至计算设备，该计算设备通信地耦接至成像系统并且定位在成像系统外部，从计算设备接收决策支持输出，该决策支持输出由计算设备从成像数据计算，以及显示从成像数据重建的图像和决策支持输出。以这种方式，深度学习技术可用于与成像数据的采集并行提供决策支持，从而减少进行知情诊断所需的时间。

利用深度学习(DL)技术自动分析临床图像可极大地简化和改善由医生使用此类图像进行的临床诊断。然而，准备数据集以训练DL算法可能是困难且耗时的，因为必须手动整理图像和对应的诊断并准备输入至算法中。此外，此类训练数据集关于与扫描相关并且可由DL算法利用的潜在可用信息量受到不必要地限制。因此，如下文关于图3所述，成像系统101输出适合于输入至DL算法(诸如ECS 110中的DL应用程序116)的数据。输出数据包括扫描数据、图像数据、患者的EMR数据、扫描仪类型(以及其他扫描仪元数据)、扫描协议、决策支持输出和与扫描相关联的任何临床诊断。为此，成像系统可从医院信息系统(HIS)和/或辐射科信息系统(RIS)以及给定患者的EMR检索数据(以获得患者数据以及临床结果)。输出数据可被DL算法用来优化/个性化用于不同患者和图像质量目标的扫描协议，改善决策支持，并且潜在地自动化临床诊断。

图3示出了示出根据一个实施方案的用于利用成像系统生成深度学习训练数据的示例性方法300的高级流程图。具体地，方法300涉及利用可能与重建图像的质量潜在相关的所有信息及其分析来训练深度学习模型。关于图1的系统和部件描述方法300，但应当理解，在不脱离本公开的范围的情况下，该方法可以用其他系统和部件来实现。方法300可被实现为成像系统101的非暂态存储器104中的可执行指令并且由成像系统101的处理器103执行。

方法300在305处开始。在305处，方法300接收对扫描协议的选择。扫描协议可例如由操作员经由用户界面107手动选择，或者可例如经由协议引擎106自动选择。

在310处，方法300从一个或多个外部数据库检索用于待扫描的受检者的受检者元数据。受检者元数据可至少包括与受检者有关的信息的子集，并且因此可包括但不限于人口统计信息和病史。方法300可例如经由网络120从一个或多个数据库130检索受检者元数据，该一个或多个数据库包括HIS、RIS和EMR数据库中的一者或多者。

在315处，方法300根据扫描协议执行对受检者的扫描以采集成像数据。例如，方法300可控制扫描仪105来扫描受检者，其中在305中选择的扫描协议规定扫描仪105的控制参数。在320处，方法300由在315处的扫描期间采集的成像数据重建图像。方法300可根据成像系统的模态使用任何合适的图像重建算法来重建图像。

在325处，方法300将在320处重建的图像和/或在315处采集的成像数据传输至ECS110。ECS 110使用一种或多种DL算法处理图像和/或成像数据以生成决策支持输出。虽然传输成像数据在图3中被描绘为在扫描之后发生，但是应当理解，在一些示例中，方法300可传输在315处的扫描期间的成像数据，使得ECS 110在315处的扫描的同时处理成像数据，如上文关于图2所讨论的。

ECS 110在扫描期间或在扫描完成之后处理图像和/或成像数据以生成决策支持输出。在330处，方法300利用学习模型(例如，DL算法，诸如神经网络)从ECS 110接收针对图像和/或成像数据计算的决策支持输出。

在335处，方法300显示图像和决策支持输出。图像和决策支持输出两者均可经由例如成像系统101的显示设备来显示。取决于决策支持输出的类型，决策支持输出可与图像叠加或并排显示。

在340处，方法300接收与所显示的图像和决策支持输出有关的结果决策。结果决策包括例如由医师或辐射科医生基于所显示的图像和决策支持输出而作出的临床诊断。附加地或另选地，结果决策可包括与决策支持输出有关的基础事实(ground truth)。例如，如果决策支持输出包括图像中的对象(诸如病灶)的检测或分类，则用于决策支持输出的基础事实可包括检测或分类正确或不正确的指示。

在345处，方法300用成像数据、图像、扫描协议、受检者元数据、决策支持输出、结果决策和系统元数据更新训练数据集。由于训练数据集可远离成像系统101定位，而不是定位在成像系统的非暂态存储器104中，因此在一些示例中，更新训练数据集可包括将成像数据、图像、扫描协议、受检者元数据、决策支持输出、结果决策和系统元数据聚合成待添加至训练数据集的单个情况。系统元数据包括表征成像系统101本身的信息，诸如成像系统101的型号、成像系统101的制造日期等。

在350处，方法300将更新的训练数据集传输至ECS 110，以用于更新用于生成在330处接收的决策支持输出的学习模型。以这种方式，可利用可影响学习模型的性能的附加数据，诸如受检者元数据、系统元数据、扫描协议以及由医师基于重建图像和/或决策支持输出而作出的临床诊断，来改善学习模型的性能。然后方法300结束。

因此，用于成像系统的方法包括根据扫描协议执行对受检者的扫描以采集成像数据；显示图像和与图像相关联的决策支持，图像由成像数据重建，并且决策支持利用学习模型和成像数据来计算；以及利用成像数据、图像、扫描协议、描述受检者的受检者元数据、决策支持、与图像和决策支持有关的结果决策以及与成像系统有关的系统元数据更新用于学习模型的训练数据集。

随着成像系统的功能变得更加强大和复杂，用户可能发现成像系统的操作太复杂。必须培训辐射科医生和技术人员以为每个患者选择和准备正确的扫描协议，每个患者也可针对给定协议被不同地定位在成像系统内。如果扫描准备的任何部分不正确，则所得一个或多个图像的质量对于临床使用来说可能太差，因此必须再次执行扫描。此外，图像分析必须由辐射科医生/医生执行，因此临床报告的往返(turn-around)时间可能较慢。如下文关于图4进一步所述，成像系统101因此可包括“快捷模式”，该“快捷模式”利用由ECS 110提供的扩展处理能力以及更复杂的DL应用程序116来使成像过程的尽可能多的部分自动化。医院信息系统、辐射科信息系统和电子医疗记录数据由协议引擎106用来为给定患者选择扫描协议并对该扫描协议进行个性化，在一些示例中，该扫描协议可由深度学习辅助。基于成像协议并且在相机的辅助下自动定位患者。相机进一步使得能够确定用于患者的正确扫描范围，使得可针对患者进一步调整和个性化扫描协议。扫描和后处理/决策支持由成像系统101和ECS 110自动执行。由ECS110的多个处理器113执行的DL应用程序116提供所采集的数据的自动处理和重建图像的至少草稿评估。

图4示出了示出根据一个实施方案的用于成像系统快捷模式的示例性方法400的高级流程图。具体地，方法400涉及以最少的操作员介入或输入控制成像系统来扫描受检者。参照图1的系统和部件描述方法400，但应当理解，在不脱离本公开的范围的情况下，该方法可以用其他系统和部件来实现。方法400可被实现为成像系统101的非暂态存储器104和ECS 110的非暂态存储器115中的可执行指令，并且可由成像系统101的处理器103和ECS110的多个处理器113执行。

方法400在405处开始。在405处，方法400接收用于扫描的快捷模式的指示。方法400可例如经由成像系统101的用户界面107接收用于扫描的快捷模式的指示。在一些示例中，用户界面107可包括专用按钮、开关或用于指示期望使用成像系统101的快捷模式的另一机构。

在410处，方法400接收待扫描的受检者的标识。在一些示例中，方法400可经由用户界面107接收待扫描的受检者的标识。例如，成像系统101的操作员可手动输入待扫描受检者的标识。在其他示例中，方法400可自动识别待扫描的受检者。作为示例性和非限制性示例，方法400可经由相机108来获得受检者的面部图像，并且可采用面部识别技术来基于该图像识别受检者。

在415处，方法400例如通过经由网络120访问一个或多个数据库130中的EMR来检索在410处识别的受检者的EMR。在420处，方法400基于EMR确定初始任务或主要任务。如上文所讨论的，主要任务可指示扫描的临床背景，并且因此可指示应该执行何种类型的扫描。方法400可从EMR确定主要任务，该主要任务可包括医师对特定类型的扫描的处方。

在425处，方法400确定用于主要任务的扫描协议。例如，方法400可将主要任务输入至成像系统101的协议引擎106以确定扫描协议。在其他示例中，主要任务可与特定扫描协议相关联。此外，可基于受检者确定或调整扫描协议。例如，扫描协议可根据受检者的年龄和大小规定更多或更少的辐射剂量。

在430处，方法400将受检者定位在成像系统内。在一些示例中，方法400可例如通过处理由相机108捕获的受检者的实时图像来确定受检者在可移动工作台上相对于成像系统的位置。方法400可控制工作台马达控制器以调整工作台以及因此受检者的位置，使得待扫描的所关注区域在成像系统的成像区域内(例如，定位在辐射源和辐射检测器之间的机架内)。

在435处，方法400确定用于受检者的扫描范围。方法400可基于由相机108捕获的实时图像来确定用于受检者的扫描范围。例如，不同的受检者具有不同大小的身体，因此应当相应地调整扫描范围。因此，方法400可评价由相机108捕获的图像以确定受检者的大小和比例，并且可继而设置将扫描受检者的ROI的适当扫描范围。在440处，方法400利用在435处确定的扫描范围来调整扫描协议。

在445处，方法400根据所调整的扫描协议执行对受检者的扫描以采集成像数据。例如，方法400控制扫描仪105以根据所调整的扫描协议来扫描受检者。在450处，方法400将成像数据输出至ECS 110。如上文关于图2所讨论的，在一些示例中，可在扫描期间将成像数据输出至ECS 110以用于处理。ECS 110使用学习模型处理成像数据以生成决策支持输出。在455处，方法400从ECS 110接收决策支持输出。

在460处继续，方法400从在445处采集的成像数据重建图像。方法400可使用任何合适的图像重建技术从成像数据重建图像。虽然图4将图像的重建描绘为在将成像数据输出至ECS 110之后发生，但是应当理解，在一些示例中，可将重建的图像可传输至ECS 110，并且在455处接收的决策支持输出可由ECS 110基于重建图像而不是原始成像数据生成。在465处，方法400将图像和决策支持输出输出至用于显示的显示设备、用于后续检索和查看的大容量存储设备以及PACS中的一者或多者。然后方法400结束。

因此，用于成像系统的方法包括接收待扫描受检者的标识，自动确定用于受检者的个性化扫描协议，根据个性化扫描协议自动执行对受检者的扫描以采集成像数据，以及显示图像和决策支持，图像和决策支持由成像数据自动生成。

如上文所提及的，用于成像系统的后处理技术随时间推移定期得到改善。然而，一旦安装了成像系统，就难以更新成像系统以包括改善的算法和新功能。如本文关于图5所进一步讨论的，应用程序储存库使得能够远程部署用于成像系统的软件应用程序。如上文关于图1所讨论的，成像系统101和/或ECS 110可经由网络120耦接至应用程序储存库140。在一些示例中，成像系统101或ECS 110可从应用程序储存库140检索新的或更新的应用程序142。另选地，应用程序储存库140可将应用程序142推送至ECS110和/或成像系统101。此外，如下文所讨论的，某些应用程序可仅与成像系统101和ECS 110的特定组合兼容。例如，相对于耦接至高功率ECS的过时的低功率成像系统，不同的应用程序可被显示/部署至耦接至低功率ECS的更新的高功率成像系统。

图5示出了示出根据一个实施方案的用于管理边缘计算系统上的应用程序的示例性方法500的高级流程图。具体地，方法500涉及从外部储存库检索用于处理图像和/或成像数据的新的或更新的应用程序。参照图1的系统和部件描述方法500，但应当理解，在不脱离本公开的范围的情况下，该方法可以用其他系统和部件来实现。方法500可被实现为ECS110的非暂态存储器115中的可执行指令，并且可由ECS 110的多个处理器113中的一个或多个执行。

方法500在505处开始。在505处，方法500将访问请求传输至储存库，诸如储存库140。访问请求可包括成像系统101和ECS 110的标识。储存库140包括多个应用程序，该多个应用程序可与成像系统101和ECS 110中的一者或多者兼容或不兼容。因此，储存库140基于成像系统101和ECS110的标识来确定多个应用程序中的哪些应用程序与成像系统101和ECS110的给定组合兼容。

在510处，方法500从储存库140接收兼容应用程序的列表。兼容应用程序的列表可包括存储在储存库140中的多个应用程序的子集。

在515处，方法500接收对兼容应用程序列表中的应用程序的选择。例如，成像系统101的操作员可查看兼容应用程序的列表，并且经由用户界面107从列表选择期望的应用程序。因此，该选择可从成像系统101传输至ECS 110。在其他示例中，ECS 110可包括其自身的用户界面，以用于启用对应用程序的选择，因此可经由所述用户界面接收对应用程序的选择。

附加地或另选地，对应用程序的选择可以是自动的。例如，如果储存库140包括已经安装在ECS 110上的应用程序的更新版本，则方法500可从兼容应用程序列表自动选择应用程序的更新版本。

在520处，方法500从储存库140检索所选择的应用程序并且将其本地安装在非暂态存储器115中。因此，图1中描绘的ECS 110的非暂态存储器115中的DL应用程序116可包括从储存库140检索的应用程序。

在525处，方法500利用应用程序从由成像系统101接收的成像数据生成决策支持计算。例如，如果应用程序包括分割应用程序，则方法500可分割由利用成像系统101采集的成像数据重建的图像，并且图像的分割包括决策支持计算。在530处，方法500将决策支持计算输出至成像系统101。然后方法500结束。

因此，用于通信地耦接至成像系统并且定位在成像系统外部的ECS的方法包括：经由网络从通信地耦接至ECS的应用程序储存库接收兼容深度学习应用程序的列表，从应用程序储存库检索选自该列表的深度学习应用程序，从成像系统接收成像数据，用深度学习应用程序处理成像数据以生成决策支持计算，以及将决策支持计算输出至成像系统。

图6示出了被配置为允许快速且迭代的图像重建的示例性CT系统600。具体地，CT系统600被配置为对受检者612(诸如患者、无生命对象、一个或多个制造部分)和/或外来对象(诸如存在于身体内的牙科植入物、支架和/或造影剂)进行成像。在一个实施方案中，CT系统600包括机架602，该机架继而可还包括至少一个X射线辐射源604，该至少一个X射线辐射源被配置为投射X射线辐射束606以用于使受检者612成像。具体地，X射线辐射源604被配置为将X射线606朝向定位在机架602的相对侧上的检测器阵列608投射。虽然图6仅描绘了单一X射线辐射源604，但是在某些实施方案中，可采用多个辐射源来投射多个X射线606，以采集不同能级下与受检者612对应的投射数据。

尽管以举例的方式描述了CT系统，但是应当理解，当应用于使用其他成像模态(诸如层析X射线照相组合、MRI、C臂血管造影术等)采集的图像时，本发明技术也可以是有用的。对CT成像模态的本发明论述仅提供作为一种合适的成像模态的示例。

在某些实施方案中，CT系统600通信地耦接至边缘计算系统(ECS)610，该边缘计算系统被配置为利用DL技术处理投射数据。例如，如上文所讨论的，CT系统600可在投射数据被采集时将其传输至ECS 610，并且继而ECS 610处理投射数据以与从投射数据重建的图像一起提供决策支持。

在一些已知的CT成像系统配置中，辐射源投射扇形束，该扇形束被准直成位于笛卡尔坐标系(Cartesian coordinate system)的X-Y平面内并且通常被称为“成像平面”。辐射束穿过正在被成像的对象，诸如患者或受检者612。射束在被对象衰减之后照射在辐射检测器阵列上。在检测器阵列处接收的衰减辐射束的强度取决于对象对辐射束的衰减。阵列的每个检测器元件均产生单独的电信号，该单独的电信号是检测器位置处的射束衰减的量度。单独地采集来自所有检测器的衰减测量值，以产生传输分布。

在一些CT系统中，使用机架使辐射源和检测器阵列在成像平面内并且围绕待成像的对象旋转，使得辐射束与对象相交的角度不断变化。在一个机架角度下来自检测器阵列的一组辐射衰减测量值(即，投射数据)被称为“视图”。对象的“扫描”包括在辐射源和检测器的一次旋转期间在不同的机架角度或视角下制得的一组视图。可以设想，本文所述的方法的益处归于CT之外的医学成像模态，因此如本文所用，术语视图不限于上文关于来自一个机架角度的投射数据所述的用途。术语“视图”用于意指每当存在来自不同角度的多个数据采集(无论是来自CT、PET还是SPECT采集)时的一个数据采集，和/或任何其他模态(包括尚待开发的模态)以及它们在融合实施方案中的组合。

在轴向扫描中，对投射数据进行处理以重建对应于穿过对象拍摄的二维切片的图像。一种用于从一组投射数据重建图像的方法在本领域中称为滤波反投射(FBP)技术。传输和发射断层摄影重建技术还包括统计迭代方法，诸如最大似然预期最大化(MLEM)和有序子集预期重建技术以及迭代重建技术。该方法将来自扫描的衰减测量值转换成称为“CT数”或“亨氏单位(Hounsfield unit)”的整数，该整数用于控制显示设备上的对应像素的亮度。

为了减少总扫描时间，可执行“螺旋”扫描。为了执行螺旋扫描，在采集规定数量的切片的数据的同时移动患者。此类系统从锥形束螺旋扫描生成单个螺旋。由锥形束标出的螺旋产生投射数据，可由该投射数据重建每个规定切片中的图像。

如本文所用，短语“重建图像”并非旨在排除其中生成表示图像的数据而非可视图像的本公开的实施方案。因此，如本文所用，术语“图像”广义地是指可视图像和表示可视图像的数据两者。然而，许多实施方案生成(或被配置为生成)至少一个可视图像。

附加地或另选地，CT系统600可通过与ECS 610通信而通信地耦接至“云”网络620。

图7示出了类似于图6的CT系统600的示例性成像系统700。成像系统700可包括上文关于图1所述的成像系统101。在一个实施方案中，成像系统700包括检测器阵列608(参见图6)。检测器阵列608还包括多个检测器元件702，该多个检测器元件一起感测穿过受检者704(诸如患者)的X射线束606(参见图6)以采集对应的投射数据。因此，在一个实施方案中，以包括多行单元或检测器元件702的多切片配置来制造检测器阵列608。在此类配置中，一个或多个附加行的检测器元件702以并行配置布置，以用于采集投射数据。

在某些实施方案中，成像系统700被配置为遍历受检者704周围的不同角位置以采集所期望的投射数据。因此，机架602和安装在其上的部件可被配置为围绕旋转中心706旋转，以采集例如不同能级下的投射数据。另选地，在相对于受检者704的投射角度随时间变化的实施方案中，所安装的部件可被配置为沿着大致弧形而不是沿着一段圆周移动。

在X射线辐射源604和检测器阵列608旋转时，检测器阵列608收集衰减的X射线束的数据。由检测器阵列608收集的数据经历预处理和校准以对数据进行调节以表示所扫描受检者704的衰减系数的线积分。经处理的数据通常被称为投射。

在双能或多能成像中，通常在不同的管峰值千伏电压(kVp)水平(这改变了包括发射的X射线光束的入射光子的能量的峰值和光谱)下，或者另选地，在单管kVp水平或光谱下，利用检测器阵列608的能量分辨检测器获得成像对象的两组或更多组投射数据。

所采集的投射数据集可用于基础材料分解(BMD)。在BMD期间，将所测量的投射转换为一组密度线积分投射。可重建密度线积分投射以形成每种相应基础材料的密度图或密度图像(诸如骨、软组织和/或造影剂的标测图)。密度图或密度图像可继而相关联以在成像体积中形成基础材料(例如，骨、软组织和/或造影剂)的体绘制。

一旦重建，由成像系统700产生的基础材料图像揭示出以两种基础材料的密度表示的受检者704的内部特征。可显示密度图像以示出这些特征。在诊断医疗病状(诸如疾病状态)以及更一般地医疗事件的传统方法中，辐射科医生或医师将考虑密度图像的硬拷贝或显示以识别所关注的特性特征。此类特征可包括特定解剖结构或器官的病灶、大小和形状，以及基于个体医师的技能和知识将在图像中可辨别的其他特征结构。

在一个实施方案中，成像系统700包括控制机构608以控制部件的移动，诸如机架602的旋转和X射线辐射源604的操作。在某些实施方案中，控制机构708还包括X射线控制器710，该X射线控制器被配置为向X射线辐射源604提供功率和定时信号。另外，控制机构708包括机架马达控制器712，该机架马达控制器被配置为基于成像要求来控制机架602的旋转速度和/或位置。

在某些实施方案中，控制机构708还包括数据采集系统(DAS)714，该DAS被配置为对从检测器元件702接收的模拟数据进行采样，并将模拟数据转换为数字信号以用于后续处理。将由DAS 714采样和数字化的数据传输至计算机或计算设备716。在一个示例中，计算设备716将数据存储在诸如大容量存储设备的存储设备718中。例如，大容量存储设备718可包括硬盘驱动器、软盘驱动器、光盘-读/写(CD-R/W)驱动器、数字通用光盘(DVD)驱动器、闪存驱动器和/或固态存储驱动器。

另外，计算设备716向DAS 714、X射线控制器710和机架马达控制器712中的一者或多者提供命令和参数，用于控制系统操作，诸如数据采集和/或处理。在某些实施方案中，计算设备716基于操作员输入来控制系统操作。计算设备716经由可操作地耦接至计算设备716的操作员控制台720来接收操作员输入，该操作员输入例如包括命令和/或扫描参数。操作员控制台720可包括键盘(未示出)和/或触摸屏，以允许操作员指定命令和/或扫描参数。

虽然图7仅示出了一个操作员控制台720，但是多于一个操作员控制台可耦接至成像系统700，例如以用于输入或输出系统参数、请求检查和/或查看图像。此外，在某些实施方案中，成像系统700可以经由一个或多个可配置的有线和/或无线网络(诸如互联网和/或虚拟专用网络)而耦接至例如在机构或医院内或者处于完全不同位置的本地或远程地定位的多个显示器、打印机、工作站和/或类似设备。

在一个实施方案中，例如，成像系统700包括图片存档和通信系统(PACS)724或者耦接至PACS。在一个示例性实施方式中，PACS 724进一步耦接至远程系统(诸如辐射科信息系统、医院信息系统)和/或耦接至内部或外部网络(未示出)，以允许处于不同位置的操作员供应命令和参数和/或获得对图像数据的访问。

计算设备716使用操作员供应的和/或系统定义的命令和参数来操作工作台马达控制器726，该工作台马达控制器继而可控制工作台728，该工作台可包括机动工作台。具体地，工作台马达控制器726移动工作台728，以用于将受检者704适当地定位在机架602中，以采集对应于受检者704的靶体积的投射数据。

如前所述，DAS 714对由检测器元件702采集的投射数据进行采样和数字化。随后，图像重建器730使用所采样和数字化的X射线数据来执行高速重建。虽然图7将图像重建器730示出为单独的实体，但是在某些实施方案中，图像重建器730可形成计算设备716的一部分。另选地，图像重建器730可不存在于成像系统700中，并且替代地计算设备716可执行图像重建器730的一种或多种功能。此外，图像重建器730可本地或远程地定位，并且可使用有线或无线网络来可操作地连接至成像系统700。具体地，一个示例性实施方案可以使用“云”网络集群中的计算资源来用于图像重建器730。

在一个实施方案中，图像重建器730将重建的图像存储在存储设备或大容量存储设备718中。另选地，图像重建器730将重建的图像传输至计算设备716，以生成用于诊断和评价的可用患者信息。在某些实施方案中，计算设备716将重建的图像和/或患者信息传输至显示器732，该显示器通信地耦接至计算设备716和/或图像重建器730。

本文进一步所述的各种方法和过程可作为可执行指令存储在成像系统700中的计算设备上的非暂态存储器中。例如，图像重建器730可包括非暂态存储器中的此类可执行指令，并且可应用本文所述的方法来从扫描数据重建图像。在另一个实施方案中，计算设备716可包括非暂态存储器中的指令，并且可在从图像重建器730接收重建图像之后至少部分地将本文所述的方法应用于重建图像。在又一个实施方案中，本文所述的方法和过程可分布在整个图像重建器730和计算系统716上。

在一个实施方案中，显示器732允许操作员评价成像的解剖结构。显示器732还可允许操作员例如经由图形用户界面(GUI)来选择所关注的体积(VOI)和/或请求患者信息，以用于后续扫描或处理。

本公开的技术效果是用图像和相应的诊断以及与扫描有关的附加信息自动更新深度学习模型训练数据集。本公开的另一个技术效果是将更新的训练数据集传输至ECS以用于更新深度学习模型。本公开的另一个技术效果是用深度学习模型自动确定扫描协议、临床决策支持或临床诊断。

在一个实施方案中，用于成像系统的方法包括：根据扫描协议执行对受检者的扫描以采集成像数据；显示图像和与所述图像相关联的决策支持，所述图像由成像数据重建，并且所述决策支持利用学习模型和所述成像数据来计算；以及利用所述成像数据、所述图像、所述扫描协议、描述所述受检者的受检者元数据、所述决策支持、与所述图像和所述决策支持有关的结果决策以及与所述成像系统有关的系统元数据更新用于所述学习模型的训练数据集。

在该方法的第一示例中，该方法还包括从一个或多个外部数据库检索用于待扫描的受检者的受检者元数据。在该方法的任选地包括第一示例的第二示例中，该方法还包括接收对扫描协议的选择。在该方法的任选地包括第一示例和第二示例中的一个或多个的第三示例中，该方法还包括将图像和成像数据中的一者或多者传输至边缘计算系统(ECS)，该ECS通信地耦接至成像系统并且定位在该成像系统外部，并且利用学习模型从ECS接收针对图像和成像数据中的一者或多者计算的决策支持。在该方法的任选地包括第一示例至第三示例中的一个或多个的第四示例中，该方法还包括将更新的训练数据集传输至ECS以用于更新学习模型。在该方法的任选地包括第一示例至第四示例中的一个或多个的第五示例中，该方法还包括由成像数据重建图像。在该方法的任选地包括第一示例至第五示例中的一个或多个的第六示例中，该方法还包括经由用户界面接收与图像和决策支持有关的结果决策。在该方法的任选地包括第一示例至第六示例中的一个或多个的第七示例中，该方法还包括从医院信息系统、放射信息系统和受检者的电子病历中的一者或多者检索结果决策。

在另一个实施方案中，系统包括成像系统，该成像系统至少包括扫描仪和处理器，该处理器被配置为由在经由扫描仪扫描受检者期间采集的数据重建图像；计算设备，该计算设备通信地耦接至成像系统并且定位在该成像系统外部，该计算设备被配置为基于数据生成决策支持计算；其中处理器经由网络从数据库检索受检者的受检者元数据；其中在扫描之后，处理器更新训练数据集以包括受检者元数据、图像、在扫描期间采集的数据、决策支持计算、用于扫描的扫描协议、用于成像系统的系统元数据以及基于扫描的结果；并且其中所述计算设备利用所更新的训练数据集更新学习模型。

在该系统的第一示例中，计算设备利用学习模型生成决策支持计算。在系统的任选地包括第一示例的第二示例中，计算系统利用学习模型生成扫描协议。在系统的任选地包括第一示例和第二示例中的一个或多个的第三示例中，计算系统利用学习模型生成结果。在系统的任选地包括第一示例至第三示例中的一个或多个的第四示例中，学习模型包括深度神经网络。在系统的任选地包括第一示例至第四示例中的一个或多个的第五示例中，处理器基于来自医院信息系统、放射学信息系统和受检者的电子病历中的一者或多者的扫描来检索结果。在系统的任选地包括第一示例至第五示例中的一个或多个的第六示例中，成像系统还包括显示设备和用户界面，其中处理器被进一步配置为将图像和决策支持输出输出至显示设备，并且其中处理器被进一步配置为经由用户界面接收结果。

在另一个实施方案中，成像系统包括X射线源，该X射线源朝向待成像的受检者发射X射线束；检测器，该检测器接收由受检者衰减的X射线；数据采集系统(DAS)，该DAS可操作地连接至检测器，和计算设备，该计算设备可操作地连接至DAS并且被配置有非暂态存储器中的可执行指令，该可执行指令在被执行时使计算设备：控制X射线源以根据扫描协议执行对受检者的扫描；由在扫描期间经由DAS采集的投射数据重建图像；并且利用所述扫描协议、所述投射数据、所述图像、基于所述投射数据计算的决策支持计算、与所述图像相关联的结果决策、描述所述成像系统的系统元数据以及描述所述受检者的受检者元数据来更新用于学习模型的训练数据集。

在成像系统的第一示例中，学习模型确定扫描协议、决策支持计算和结果决策中的一者。在成像系统的任选地包括第一示例的第二示例中，计算设备进一步被配置有非暂态存储器中的可执行指令，该可执行指令在被执行时使计算设备将图像和投射数据中的一者或多者传输至边缘计算系统(ECS)，该ECS通信地耦接至成像系统并且定位在该成像系统外部，并且从ECS接收由ECS使用图像和投射数据中的一者或多者以及学习模型计算的决策支持计算。在成像系统的任选地包括第一示例和第二示例中的一个或多个的第三示例中，计算设备进一步被配置有非暂态存储器中的可执行指令，该可执行指令在被执行时使计算设备将更新的训练数据集传输至ECS以更新学习模型。在成像系统的任选地包括第一示例至第三示例中的一个或多个的第四示例中，计算设备进一步被配置有非暂态存储器中的可执行指令，该可执行指令在被执行时使计算设备检索受检者元数据和结果中的一者或多者，所述结果来自医院信息系统、放射学信息系统和电子病历数据库中的一者或多者。

图8示出了根据一个实施方案的用于扩展成像系统或其他设备802的能力的比图1更详细的示例性系统800的方框示意图。系统800可包括多个成像系统802，诸如任何合适的非侵入式成像系统，包括但不限于计算机断层摄影(CT)成像系统、正电子发射断层摄影(PET)成像系统、磁共振(MR)成像系统、超声系统以及它们的组合(例如，多模态成像系统，诸如PET/CT或PET/MR成像系统)，或其他设备802，诸如用于可视化图像的高级工作站(AW)、PACS和移动客户端设备，诸如平板电脑、iPad、智能电话、iPhone等。多个成像系统和其他设备802可经由网络通信地耦接至边缘计算系统804。多个成像系统和其他设备802以及边缘计算系统804可通信地耦接至云网络806。多个成像系统与其他设备802、ECS 804和云网络806之间的通信是安全的。

ECS 804还可被称为内部部署云(on-premises cloud)，并且可包括来自各种输入和来源的数据808(包括EMR、HIS/RIS数据、整体数据等)，该数据可通信地耦接至DL接口810和DL训练812。ECS 804可还包括至少一个边缘主机814，该边缘主机可包括至少一个边缘平台816和具有多个应用程序820的应用程序商店818。

云网络806可包括来自各种输入和来源以及DL训练824的数据822。附加地或另选地，云网络806可包括具有多个应用程序826的应用程序商店。云网络806可还包括用于生成学习模型或可用于系统800的其他模型的人工智能(AI)接口。

来自系统800的数据可在多个成像系统与其他设备802、ECS 804和云网络806之间共享和/或存储。可对在发送至DICOM之前发送至ECS的数据实现后处理。可在发送至PACS之前，在成像系统上进行量化和分割。

某些示例提供内核处理能力，该内核处理能力被组织成可部署在多种位置中的单元或模块。可利用设备外处理来提供微云、迷你云和/或全球云等。例如，微云提供与成像设备控制台的一对一配置，其针对没有云连接等的客户的超低延时处理(例如，描边等)。迷你云部署在客户网络等上，其针对例如更喜欢将其数据保持在内部的客户的低延时处理。全球云部署在整个客户组织中以便实现操作优异的信息技术基础设施的高性能计算和管理。

在某些其他示例中，一个或多个设备外处理引擎(例如，采集引擎、重建引擎、诊断引擎等，以及它们相关联的部署的深度学习网络设备等)可包括在系统800中。例如，检查目的、电子医疗记录信息、心率和/或心率变异性、血压、体重、俯卧/仰卧、头先进或脚先进的视觉评估等可用于确定一个或多个采集设置，诸如默认视场(DFOV)、中心、间距、取向、造影剂注射速率、造影剂注射定时、电压、电流等，从而提供“一键式”成像设备。类似地，例如，核信息、层厚、层距等可用于确定一个或多个重建参数，包括图像质量反馈。可向系统设计引擎提供采集反馈、重建反馈等以提供用于成像设备的实时(或基本上实时(考虑到有处理和/或传输延迟))健康分析，如由一个或多个数字模型(例如，深度学习模型、机器模型、数字孪生等)所表示。一个或多个数字模型可用于实时(或基本上实时(考虑到有处理和/或传输延迟)预测成像设备的部件健康状态。

图9示出了示出用于使用一个或多个深度学习(DL)应用程序生成决策支持输出的方法900的流程图。参照图1的系统和部件描述方法900，但应当理解，在不脱离本公开的范围的情况下，该方法可以用其他系统和部件来实现。方法900可被实现为ECS 110的非暂态存储器115中的可执行指令，并且可由ECS 110的多个处理器113中的一个或多个执行。

在905处，接收针对与成像扫描有关的决策支持输出的检查类型和次要任务。如上文所解释的，当执行成像扫描以便诊断患者病状时，扫描仪的操作员可输入初始任务或主要任务(如上文关于图2所解释的)，或者可从患者的EMR获得初始/主要任务(如上文关于图4所解释的)。初始任务/主要任务可包括检查类型的指示并且可包括相关联的次要任务。检查类型可包括待扫描的目标解剖结构和用于执行检查(诸如脑出血检查、肝脏病灶检查等)的扫描的某些特征。相关联的次要任务可指示将与在成像扫描期间获得的图像一起生成和输出的决策支持。决策支持可包括出血检测、病灶检测、器官分割等。

在910处，选择待执行的应用程序以便生成决策支持输出。所选择的应用程序可以是深度学习应用程序(DL应用程序)，该DL应用程序利用从扫描仪发送的成像信息(例如，如上文关于图2所解释的)作为至DL模型中的输入。DL模型然后使用DL模型和输入成像信息生成决策支持输出。可基于次要任务和检查类型来选择DL应用程序。例如，如果检查是要执行以检测出血的存在的脑检查，则可选择脑出血DL应用程序。如果检查是要执行以检测病灶的存在的肝脏扫描，则可选择肝脏病灶DL应用程序。在一些示例中，相同的DL应用程序可应用于多于一种的检查类型。例如，可为肝脏病灶检查和肾脏病灶检测选择病灶检测DL应用程序。在其他示例中，可为每个不同的检查类型/次要任务组合选择单独的DL应用程序。在此类示例中，可为肝脏和肾脏病灶检测检查选择不同的DL应用程序。

可根据合适的机制来选择适当的DL应用程序。在一些实施方案中，ECS可将查找表存储在存储器中，该查找表根据检查类型和次要任务来索引DL应用程序。用于选择DL应用程序的其他机制是可能的。例如，不是ECS选择适当的DL应用程序，操作员可选择期望的DL应用程序，并且可将所选择的DL应用程序的指示连同检查类型和次要任务一起发送至ECS。在一些实施方案中，对特定DL应用程序的选择可自动触发待触发的其他DL应用程序的序列，以用于主要任务的数据的预处理或后处理。例如，选择用于肝脏病灶检测的DL应用程序可触发解剖结构定位DL应用程序，该解剖结构定位DL应用程序可被执行以将所采集的图像缩小至仅包括肝脏的图像。

在915处，任选地发送对附加输入的请求。附加输入可包括受检者和/或扫描仪元数据或可由所选择的DL应用程序用来生成决策支持输出的其他信息。因此，对附加输入的请求可被发送至EMR、PACS或存储附加输入的其他数据库。例如，如上文关于图3所述，除了在受检者的成像扫描期间获得的图像/成像数据之外，DL应用程序还可利用各种信息作为相应DL模型的输入，包括但不限于受检者信息(例如，人口统计数据、病史)和扫描仪信息。扫描仪信息可包括扫描仪的类型(诸如CT扫描仪或超声)、成像类别/类型(诸如造影剂成像、非造影剂成像、多普勒、B模式)、扫描仪设置(诸如管电流和管电压)等。附加输入可还包括受检者的实验室测试结果、先前的诊断成像扫描结果以及来自其他成像模态的互补图像。在一些实施方案中，所选择的DL应用程序所请求和/或使用的附加输入可基于检查类型和次要任务。例如，ECS可存储查找表，该查找表存储根据检查类型和次要任务而请求的附加输入。作为一个非限制性示例，如果检查类型是待由脑出血检测DL应用程序分析的非造影头部CT扫描，则所请求的附加输入可包括实验室报告、神经生理检查报告、在扫描期间使用的X射线管kVp和/或CT扫描的类型。作为另一个非限制性示例，如果检查类型是利用待由肝脏病灶检测模块分析的在不同定时施用的造影剂进行的多相肝脏研究，则附加输入可包括在扫描期间使用的扫描类型和X射线管kVp、造影剂定时、所注射造影剂的体积、心脏的射血分数和/或用于患者的先前CT研究。

在920处，从扫描仪接收图像和/或成像数据。如上文关于图2和图3所解释的，扫描仪可在成像扫描期间和/或之后将所重建的图像和/或原始成像数据发送至ECS。在925处，使用所选择的DL应用程序生成决策支持输出。为了生成决策支持输出，所选择的DL应用程序可将所接收的图像/图像数据连同由DL应用程序规定的任何附加信息作为输入输入至由DL应用程序执行的DL模型中。DL模型然后可输出决策支持。如上文所解释的，决策支持可包括器官分割、解剖结构标识、是否检测到出血、病灶、骨折等的指示等。在930处，将决策支持输出发送至请求设备，诸如发送成像信息的扫描仪，和/或其他设备，诸如PACS、护理提供者设备或其他合适的设备。如上文所解释的，决策支持输出可与来自成像扫描的重建图像一起显示或以其他方式呈现。决策支持输出可支持经由重建图像对临床发现的诊断或确定。决策支持输出和重建图像可由一位或多位临床医生(诸如辐射科医生)分析。一位或多位临床医生可接受或拒绝决策支持输出。例如，如果决策支持输出包括对受检者的肝脏上的病灶的指示，则临床医生可同意病灶检测并接受输出，或者不同意所识别的病灶实际上是病灶并拒绝输出。在决策支持输出包括器官分割的示例中，临床医生可编辑或更新限定器官的轮廓，其中轮廓由DL应用程序生成。此外，临床医生可生成具有详细的和(如果指示的话)编辑的发现(例如，更新的轮廓、拒绝的决策支持等)的最终报告。最终报告可保存在受检者的EMR中。

在935处，接收(例如，从EMR数据库)可包括已编辑结果的最终报告。最终报告可由ECS(例如，由ECS的训练数据聚合器模块)分析，以便标识用于生成报告中所包括的决策支持的检查类型和DL应用程序，该决策支持可与最终报告一起被标记/存储。在940处，将标记的报告(例如，最终报告，在适当的情况下包括已编辑的结果，并且用检查类型和DL应用程序标记)置于训练、测试和/或验证数据集中。每个数据集均可存储在ECS上。此外，每个数据集均可特定于DL应用程序。例如，每个DL应用程序均可具有特定训练数据集、测试数据集和验证数据集。因此，可基于DL应用程序将标记的报告置于数据集中，该DL应用程序用于生成该报告中所列出的决策支持。至少在一些实施方案中，在用于特定DL应用程序的数据集内，可将标记的报告随机或半随机分配给训练、测试和/或验证数据集中的一者。

在945处，方法900包括确定训练数据集是否包括报告的阈值数量。报告的阈值数量可以是足以准确反映由DL应用程序执行的DL模型的功能的数量，诸如100个报告。因此，如果用于给定DL应用程序的训练数据集达到100个报告，则945处的答案包括“是”，否则945处的答案包括“否”。如果945处的答案为“否”，则方法900返回。如果答案为“是”，则方法900前进至950以利用数据集中的新数据重新训练该DL应用程序。以这种方式，DL模型可通过用新数据重新训练来微调。可针对站点调谐模型来本地部署所更新的权重。例如，由DL应用程序在ECS上执行的DL模型可包括加权连接、决策树等，并且DL模型可被重新训练，使得权重被更新以更好地拟合新数据。随着越来越多的数据被收集，DL模型可变得更准确。通过在本地(例如，在ECS上)而不是经由诸如云的中央设备全局地重新训练DL模型，可保持在部署DL模型方面的站点特定偏好。例如，特定医疗设施可能优选积极(aggressive)的病灶检测方法来确保减少假阴性检测，而不同的医疗设施可能优选通过采取较为保守(lessaggressive)的病灶检测方法来减少假阳性。通过允许适当DL模型的本地重新训练，可建立和保持此类偏好。此外，DL模型的本地重新训练可用于针对世界某些地区的特定患者人口统计数据来定制DL模型。例如，如果医院中的大多数患者群体是肥胖的，则DL模型可能需要针对该类患者人口统计成像特征进行调谐。然而，至少在一些示例中，数据和/或更新的权重的子集或全部可连同来自其他站点的数据一起被发送至中央设备(例如，云)以创建更新的全局模型，如955处所示。发送回云的数据可包括可用于训练特定模型的图像和其他特定数据集。全局模型也可被发送回本地存储的DL应用程序模型。

如本文所用，以单数形式列举并且以单词“一个”或“一种”开头的元件或步骤应当被理解为不排除多个所述元件或步骤，除非明确说明此类排除。此外，对本发明的“一个实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”具有特定特性的元件或多个元件的实施方案可包括不具有该特性的附加此类元件。术语“包括”和“在…中”用作相应的术语“包含”和“其中”的简明语言等同形式。此外，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在对其对象施加数字要求或特定位置次序。

该书面描述使用示例来公开本发明，包括最佳模式，并且还使相关领域中的普通技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明可取得专利权的范围由权利要求书限定，并且可包括本领域普通技术人员想到的其他示例。如果此类其它示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其它示例旨在落入权利要求书的范围内。

Claims (20)

1.一种用于成像系统的方法，包括：

根据扫描协议执行对受检者的扫描以采集成像数据；

显示图像和与图像相关联的决策支持，图像由成像数据重建，并且决策支持利用学习模型和成像数据来计算；以及

利用所述成像数据、所述图像、所述扫描协议、描述所述受检者的受检者元数据、所述决策支持、与所述图像和所述决策支持有关的结果决策以及与所述成像系统有关的系统元数据更新用于所述学习模型的训练数据集。

2.根据权利要求1所述的方法，还包括从一个或多个外部数据库检索待扫描的受检者的所述受检者元数据。

3.根据权利要求1所述的方法，还包括接收对所述扫描协议的选择。

4.根据权利要求1所述的方法，还包括将所述图像和所述成像数据中的一者或多者传输至边缘计算系统(ECS)，所述ECS通信地耦接至所述成像系统并定位在所述成像系统外部，并且利用所述学习模型从所述ECS接收针对所述图像和所述成像数据中的一者或多者计算的所述决策支持。

5.根据权利要求4所述的方法，还包括将所更新的训练数据集传输至所述ECS以用于更新所述学习模型。

6.根据权利要求1所述的方法，还包括由所述成像数据重建图像。

7.根据权利要求1所述的方法，还包括经由用户界面接收与所述图像和所述决策支持有关的所述结果决策。

8.根据权利要求1所述的方法，还包括从医院信息系统、放射信息系统和所述受检者的电子病历中的一者或多者检索所述结果决策。

9.一种系统，包括：

成像系统，所述成像系统至少包括扫描仪和处理器，所述处理器被配置为由在经由所述扫描仪扫描受检者期间采集的数据重建图像；以及

计算设备，所述计算设备通信地耦接至所述成像系统并且定位在所述成像系统外部，所述计算设备被配置为基于所述数据生成决策支持计算；

其中所述处理器经由网络从数据库检索所述受检者的受检者元数据；

其中在所述扫描之后，所述处理器更新训练数据集以包括所述受检者元数据、所述图像、在所述扫描期间采集的数据、所述决策支持计算、用于所述扫描的扫描协议、用于所述成像系统的系统元数据以及基于所述扫描的结果；并且

其中所述计算设备利用所更新的训练数据集更新学习模型。

10.根据权利要求9所述的系统，其中所述计算设备利用所述学习模型生成所述决策支持计算。

11.根据权利要求9所述的系统，其中所述计算设备利用所述学习模型生成所述扫描协议。

12.根据权利要求9所述的系统，其中所述计算设备利用所述学习模型生成所述结果。

13.根据权利要求9所述的系统，其中所述学习模型包括深度神经网络。

14.根据权利要求9所述的系统，其中所述处理器基于来自医院信息系统、放射信息系统和所述受检者的电子病历中的一者或多者的所述扫描来检索所述结果。

15.根据权利要求9所述的系统，其中所述成像系统还包括显示设备和用户界面，其中所述处理器进一步被配置为将所述图像和所述决策支持输出输出至所述显示设备，并且其中所述处理器进一步被配置为经由所述用户界面接收所述结果。

16.一种成像系统，包括：

X射线源，所述X射线源朝向待成像的受检者发射X射线束；

检测器，所述检测器接收由所述受检者衰减的所述X射线；

数据采集系统(DAS)，所述DAS可操作地连接至所述检测器；以及

计算设备，所述计算设备可操作地连接至所述DAS并且被配置有非暂态存储器中的可执行指令，所述可执行指令在被执行时使所述计算设备：

控制所述X射线源以根据扫描协议执行对所述受检者的扫描；

由在所述扫描期间经由所述DAS采集的投射数据重建图像；并且利用所述扫描协议、所述投射数据、所述图像、基于所述投射数据计算的决策支持计算、与所述图像相关联的结果决策、描述所述成像系统的系统元数据以及描述所述受检者的受检者元数据来更新用于学习模型的训练数据集。

17.根据权利要求16所述的成像系统，其中所述学习模型确定所述扫描协议、所述决策支持计算和所述结果决策中的一者。

18.根据权利要求16所述的成像系统，其中所述计算设备进一步被配置有非暂态存储器中的可执行指令，所述可执行指令在被执行时使所述计算设备将所述图像和所述投射数据中的一者或多者传输至边缘计算系统(ECS)，所述ECS通信地耦接至所述成像系统并且定位在所述成像系统外部，并且从所述ECS接收由所述ECS使用所述图像和所述投射数据中的一者或多者以及所述学习模型计算的所述决策支持计算。

19.根据权利要求18所述的成像系统，其中所述计算设备进一步被配置有非暂态存储器中的可执行指令，所述可执行指令在被执行时使所述计算设备将所更新的训练数据集传输至所述ECS以更新所述学习模型。

20.根据权利要求16所述的成像系统，其中所述计算设备进一步被配置有非暂态存储器中的可执行指令，所述可执行指令在被执行时使所述计算设备检索所述受检者元数据和所述结果中的一者或多者，所述结果来自医院信息系统、放射学信息系统和电子病历数据库中的一者或多者。

Images