CN110858391B

CN110858391B - 患者专用的深度学习图像降噪方法和系统

Info

Publication number: CN110858391B
Application number: CN201910779576.5A
Authority: CN
Inventors: 唐杰; 埃里克·格罗斯; 谢江; 罗伊·尼尔森
Original assignee: General Electric Co
Current assignee: General Electric Co
Priority date: 2018-08-23
Filing date: 2019-08-22
Publication date: 2023-10-10
Anticipated expiration: 2039-08-22
Also published as: KR20200026071A; US10949951B2; CN110858391A; KR102229853B1; EP3633601A1; JP7053541B2; JP2020064609A; US20200065940A1

Abstract

本发明题为“患者专用的深度学习图像降噪方法和系统”。本发明公开了使用深度学习网络模型来改善图像降噪的系统和方法。示例性系统包括输入数据处理器，该输入数据处理器用于处理第一患者的第一患者图像，以向第一患者图像添加第一噪声以形成有噪声的图像输入。示例性系统包括图像数据降噪器，该图像数据降噪器用于使用第一深度学习网络来处理有噪声的图像输入以识别第一噪声。图像数据降噪器用于使用有噪声的图像输入来训练第一深度学习网络。当第一深度学习网络被训练以识别第一噪声时，图像数据降噪器用于将第一深度学习网络部署为第二深度学习网络模型以应用于第一患者的第二患者图像以识别第二患者图像中的第二噪声。

Description

患者专用的深度学习图像降噪方法和系统

技术领域

本公开整体涉及经改善的医疗系统，并且更具体地讲，涉及用于医疗成像处理的经改善的机器学习系统和方法。

背景技术

图像噪声是由图像采集过程的一个组成部分引入(例如，由图像源、图像检测器、图像扫描仪的其他部分中的缺陷或磨损、图像处理软件中的错误、传感器和/或其他成像设备的加热等引入)的图像数据中的随机变化(例如，图像的亮度和/或颜色信息的变化)。例如，在x射线和/或计算机断层摄影成像中，因x射线光子的泊松统计引起的量子噪声可为图像中的噪声源。图像中的噪声或干扰可能会破坏实际图像数据和/或以其他方式模糊所得图像中的特征。因此，如果图像中的噪声妨碍临床医生(例如，放射科医生、专科医生、外科医生等)诊断健康问题或正确准备手术，则图像中的噪声可能对于患者来说是极具破坏性的，甚至是危险的。

包括图像处理和分析等在内的医疗保健提供者任务是耗时且资源密集型的任务，人类单独完成这些任务即使不是不可能的，也是不切实际的。在将要处理、将要分析以及患者治疗和患者安全将要依赖的图像中添加噪声会使虽然已经很困难，但仍然至关重要的任务进一步复杂化。

发明内容

某些示例提供了使用深度学习网络模型改善图像降噪的系统和方法。

某些示例提供了图像数据处理系统，该图像数据处理系统包括输入数据处理器、图像数据降噪器、图像后处理发生器和输出成像器。示例性输入数据处理器用于处理第一患者的第一患者图像，以向第一患者图像添加第一噪声以形成有噪声的图像输入。示例性图像数据降噪器用于使用第一深度学习网络处理有噪声的图像输入以识别第一噪声。示例性图像数据降噪器用于使用有噪声的图像输入训练第一深度学习网络并且基于第一深度学习网络的噪声输出与预期的噪声输出的比较来修改网络权重。当第一深度学习网络被训练以识别第一噪声时，图像数据降噪器用于将第一深度学习网络部署为第二深度学习网络模型以应用于第一患者的第二患者图像以识别第二患者图像中的第二噪声。示例性图像后处理发生器用于从第二患者图像中除去由第二深度学习网络模型所识别的第二噪声，以形成降噪的患者图像。示例性输出成像器用于输出降噪的患者图像。

某些示例提供计算机可读存储介质，该计算机可读存储介质包括指令，这些指令当被执行时，使至少一个处理器至少：处理第一患者的第一患者图像，以向第一患者图像添加第一噪声以形成有噪声的图像输入；使用有噪声的图像输入作为输入来训练第一深度学习网络以识别第一噪声；以及当第一深度学习网络被训练以识别第一噪声时，将第一深度学习网络部署为第二深度学习网络模型以应用于第一患者的第二患者图像以识别第二患者图像中的第二噪声，其中将从第二患者图像中除去由第二深度学习网络模型所识别的第二噪声，以形成降噪的患者图像以便输出。

某些示例提供计算机实现的图像降噪方法，该方法包括：使用至少一个处理器来处理第一患者的第一患者图像以向第一患者图像添加第一噪声以形成有噪声的图像输入；使用至少一个处理器，使用有噪声的图像输入作为输入来训练第一深度学习网络以识别第一噪声；以及当第一深度学习网络被训练以识别第一噪声时，使用至少一个处理器，将第一深度学习网络部署为第二深度学习网络模型以应用于第一患者的第二患者图像以识别第二患者图像中的第二噪声，其中将从第二患者图像中除去由第二深度学习网络模型所识别的第二噪声，以形成降噪的患者图像以便输出。

附图说明

图1至图2示出了本文所公开的方法、装置和制品可应用的示例性成像系统。

图3是示例性学习神经网络的表示。

图4示出了作为卷积神经网络的示例性神经网络的特定实施方式。

图5是图像分析卷积神经网络的示例性实施方式的表示。

图6A示出了应用学习网络来处理和/或以其他方式评估图像的示例性配置。

图6B示出了多个学习网络的组合。

图7示出了学习网络的示例性训练和部署阶段。

图8示出了利用经训练的网络包来提供深度学习产品供应的示例性产品。

图9A至图9C示出了各种深度学习设备配置。

图10示出了深度学习网络驱动的图像降噪与其他重建技术之间的比较结果。

图11示出了用于对从成像模态所获得的图像数据进行处理和降噪的示例性图像处理器装置。

图12示出了图11的示例的图像降噪器的示例性实施方式。

图13至图16示出了使用神经网络来处理患者图像以识别并消除来自该患者图像的噪声的示例性方法的流程图。

图17是处理器平台的框图，该处理器平台被结构化为执行示例性机器可读指令以实现本文所公开和描述的部件。

附图未按比例绘制。在所有的附图以及附带的书面描述中，只要有可能，都会使用相同的附图标记来指代相同或类似的部件。

具体实施方式

在以下详细描述中，参考形成其一部分的附图，并且其中通过图示的方式示出了可实践的具体示例。足够详细地描述了这些示例以使得本领域技术人员能够实践本主题，并且应当理解，可以利用其他示例，并且可以在不脱离本公开主题的范围的情况下进行逻辑、机械、电气和其他改变。因此提供以下详细描述的目的是为了描述示例性实施方式，而非被看作对本公开所述的主题的范围进行限制。来自以下描述的不同方面的某些特征可组合形成下文所讨论的主题的新方面。

当介绍本公开的各种实施方案的元件时，词语“一个”、“一种”、“该”和“所述”旨在意指存在这些元件中的一个或多个元件。术语“包含”、“包括”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。

虽然下文在医学或医疗系统的背景下描述了某些示例，但可在医疗环境之外实现其他示例。例如，某些示例可应用于非医学成像，诸如非破坏性测试、爆炸物检测等。

I.概述

成像设备(例如，γ相机、正电子发射断层成像(PET)扫描仪、计算机断层成像(CT)扫描仪、X射线机、磁共振(MR)成像机、超声扫描仪等)生成表示身体部位(例如，器官、组织等)的医学图像(例如，原始医学数字成像与通信(DICOM)图像)以诊断和/或治疗疾病。医学图像可包括体数据，包括与医学图像中捕获的身体部位相关联的体素。医学图像可视化软件允许临床医生分割、注释、测量和/或报告医学图像的各个位置上的功能或解剖特性。在一些示例中，临床医生可利用医学图像可视化软件以医学图像来识别感兴趣区域。

医学图像数据的采集、处理、分析和存储对医疗环境中患者的诊断和治疗起着重要作用。医学成像工作流以及该工作流中涉及的设备可在医学成像工作流和设备的整个操作中配置、监测和更新。机器学习可用于帮助配置、监测和更新医学成像工作流和设备。

例如，对靶区域周围的放射敏感器官的分割是放射治疗计划的关键步骤。在临床实践中，通常手动地执行分割，这可能需要长达数小时的时间。分割的自动化以及对分割的灵敏度、精确性和准确性的改善将大大提高效率，因此这一任务将极大地提高效率以及患者护理的健康与安全。

在自动化分割期间，将分析每个体素以确定该体素是否属于被分割的器官。这种分析可能非常耗时。某些示例通过检测和/或以其他方式确定各种器官的边界框来提高这种分析的速度、准确性和精确性。

某些示例提供和/或促进经改善的成像设备，由此提高诊断准确性和/或覆盖率。某些示例促进经改善的图像重建和进一步处理，从而提高诊断准确性。

机器学习定义了可以基于数据集进行学习(例如，形成相关性、得出结论等)的构造。例如，机器学习可以用于对数据集内的抽象进行建模。机器学习的一个示例是神经网络，其可以包括：可见层，诸如连接节点的输入层和输出层；以及隐藏层，诸如由网络模型定义的内部层，以根据确定的相关性、连接、行为等来连接节点。一些神经网络在训练中引发预期的相关性等。其他神经网络(诸如深度学习网络)通过分析大数据集来确定它们自身的相关性。例如，机器学习技术(不论是深度学习网络，还是其他体验/观察学习系统)可用于定位图像中的对象，理解语音并且将语音转换为文本，并且提高搜索引擎结果的相关性。

深度学习是机器学习的子集，其使用一套算法使用具有多个处理层(包括线性和非线性变换)的深度图对数据中的高层抽象化进行建模。虽然许多机器学习系统都是先植入初始特征和/或网络权重、再通过机器学习网络的学习和更新加以修改，但是深度学习网络是通过训练自身来识别分析的“良好”特征。使用多层体系结构时，采用深度学习技术的机器对原始数据的处理可好于使用常规机器学习技术的机器。使用评估或抽象化的不同层促进了各组高度相关的值或区别性主题的数据检查。

在本说明书和权利要求书中，以下术语自始至终都采取与本文明确相关联的含义，除非上下文另外清楚指明。术语“深度学习”是利用多个数据处理层来识别数据集中的各种结构并且以高准确性对这些数据集进行分类的机器学习技术。深度学习网络可以是基于多个输入和输出来学习模式的训练网络(例如，训练网络模型或设备)。深度学习网络可以是由训练网络生成并且响应于输入而提供输出的所部署的网络(例如，所部署的网络模型或设备)。

术语“监督学习”是向机器提供来自人类来源的已分类数据的深度学习训练方法。术语“无监督学习”是不向机器给予已分类数据而是使机器可用于异常检测的深度学习训练方法。术语“半监督学习”是这样的深度学习训练方法，其中向机器提供少量来自人类来源的分类数据，相比之下，更大量的未分类数据可供机器使用。

术语“表示学习”是将原始数据变换为可在机器学习任务中利用的表示或特征的方法领域。在监督学习中，经由标记输入来学习特征。

术语“卷积神经网络”或“CNN”是用于在深度学习中检测、分割和识别数据集中的相关对象和区域的互连数据的生物启发网络。CNN以多个阵列的形式评估原始数据，将数据分为一系列级，检查数据中学习到的特征。

术语“迁移学习”是机器存储正确地或不正确地解决一个问题时所使用的信息来解决与第一问题相同或类似性质的另一个问题的过程。迁移学习可也称为“归纳学习”。例如，迁移学习可利用来自先前任务的数据。

术语“主动学习”是机器选择要接收训练数据的一组示例而不是被动地接收外部实体所选的示例的机器学习过程。例如，当机器学习时，可允许机器选择机器确定将对学习最有用的示例，而非仅仅依赖外部人类专家或外部系统来识别和提供示例。

术语“计算机辅助检测”或“计算机辅助诊断”是指出于建议可能的诊断的目的而分析医学图像的计算机。

术语“降噪”或“图像降噪”是指图像中的噪声降低和特征保留。因此，引入图像数据中的噪声被减少或消除，同时在图像数据中所捕获的靶的实际特征得到保留以便在所得图像中示出。图像降噪清除了图像中的噪声，同时保留了诊断质量图像的特征以便放射科医生和/或其他临床医生查看。

某些示例使用神经网络和/或其他机器学习来实现用于图像分析的新的工作流，包括图像中的身体检测(例如，图像的二维和/或三维计算机断层摄影(CT)、x射线等)、在感兴趣的区域周围生成边界框、以及在边界框区域中进行体素分析。某些示例促进了全连接网络(FCN)结合CNN的多层输入特征的云形随机特征集，其使用创新的网络架构，其中梯度推进机(GBM)堆叠在FCN和CNN上方，并且相关联的特征集用于分割图像并识别图像中的一个或多个器官。

深度学习和其他机器学习

深度学习是采用表示学习方法的一类机器学习技术，其允许机器被给予原始数据并且确定数据分类所需的表示。深度学习使用用于改变深度学习机器的内部参数(例如，节点权重)的反向传播算法来确定数据集中的结构。深度学习机器可利用多种多层体系结构和算法。例如，虽然机器学习涉及识别要用于训练网络的特征，但深度学习处理原始数据来识别感兴趣特征而无需外部识别。

神经网络环境中的深度学习包括许多称为神经元的互连节点。由外部来源激活的输入神经元基于受机器参数控制的与其他神经元的连接来激活这些其他神经元。神经网络以基于其自身参数的一定方式起作用。学习细化机器参数，并且广义来说，细化网络中的各神经元之间的连接，使得神经网络以所需方式起作用。

利用卷积神经网络的深度学习使用卷积过滤器来分割数据以定位并且识别数据中学习到的可观测特征。CNN体系结构的每个过滤器或层变换输入数据以增加数据的选择性和不变性。数据的该抽象化允许机器聚焦于数据中其尝试分类的特征并且忽略不相关的背景信息。

深度学习的操作建立在许多数据集包括高级特征而高级特征又包括低级特征这一理解上。例如，当检查图像时，并不查找对象，更有效的做法是查找边缘，边缘形成模体，模体形成部分，部分形成要寻找的对象。特征的这些层次可见于许多不同形式的数据，诸如语音和文本等。

学习到的可观测特征包括机器在监督学习期间学习到的对象和可量化正则性。提供有有效分类的数据的大集合的机器更有条件区分并且提取与新数据的成功分类相关的特征。

利用迁移学习的深度学习机器可将数据特征正确地连接到由人类专家确认的某些分类。相反，同一机器可在人类专家告知分类错误时更新用于分类的参数。例如，可通过学习到的设置和/或其他配置信息的使用来引导设置和/或其他配置信息，并且当系统使用更多次(例如，反复使用和/或由多个用户使用)时，对于给定情况而言，可减少设置和/或其他配置信息的变化和/或其他可能性的数量。

例如，可使用专家分类数据集来训练示例性深度学习神经网络。该数据集构建了神经网络的第一参数，并且这将为监督学习阶段。在监督学习阶段，可测试神经网络是否已实现所需行为。

一旦已实现所需神经网络行为(例如，机器经过训练以根据指定阈值来操作等)，就可部署机器以便使用(例如，使用“真实”数据来测试机器等)。在操作期间，可(例如，由专家用户、专家系统、参考数据库等)确认或拒绝神经网络分类以继续改善神经网络行为。然后示例性神经网络处于迁移学习状态，因为确定神经网络行为的分类参数基于正在进行的交互来更新。在某些示例中，神经网络可向另一个过程提供直接反馈。在某些示例中，神经网络输出的数据先经过缓冲(例如，经由云等)和验证，之后向另一个过程提供。

使用卷积神经网络(CNN)的深度学习机器可用于图像分析。CNN分析的阶段可用于自然图像中的面部识别、计算机辅助诊断(CAD)等。

可使用诸如x射线、计算机断层成像(CT)、分子成像与计算机断层成像(MICT)、磁共振成像(MRI)等一种或多种成像模式来采集高质量医学图像数据。医学图像质量通常不受产生图像的机器的影响，而是受患者的影响。例如，患者在MRI期间移动可形成模糊或畸变图像，从而可妨碍准确诊断。

在不考虑质量的情况下解释医学图像仅仅是最近的发展。医学图像大部分由医师解释，但这些解释可能带有主观性，受到医师在本领域中的经验和/或疲劳状况的影响。经由机器学习的图像分析可支持医疗从业者的工作流。

例如，深度学习机器可提供计算机辅助检测支持以在图像质量和分类方面改善其图像分析。然而，应用于医疗领域的深度学习机器所面临的问题通常会引起许多错误分类。例如，深度学习机器必须克服小的训练数据集并且需要反复调节。

例如，深度学习机器在经过最少训练的情况下可用于确定医学图像的质量。半监督和无监督深度学习机器可用于定量测量图像的质量方面。例如，可在已采集图像之后利用深度学习机器来确定图像的质量是否足以用于诊断。监督深度学习机器可也用于计算机辅助诊断。例如，监督学习可有助于减少错误分类敏感性。

深度学习机器可在与医师交互时利用迁移学习来抵消监督训练中可用的小数据集。这些深度学习机器可随时间推移通过训练和迁移学习来改善其计算机辅助诊断。

II.示例描述

示例性成像系统

本文所述的方法、装置和制品可以应用于多种医疗系统和非医疗系统。在一个特定示例中，本文所述的方法、装置和制品可以应用于计算机断层摄影(CT)成像系统的部件、配置和操作。图1至图2示出了本文所公开的方法、装置和制品可应用的CT成像扫描仪的示例性实施方式。图1和图2示出了包括机架12的CT成像系统10。机架12具有带x射线源14的旋转构件13，该x射线源朝向旋转构件13的相对侧上的检测器组件18投射一束x射线16。可利用主轴承将旋转构件13附接到机架12的固定结构。X射线源14包括固定靶或旋转靶。检测器组件18由多个检测器20和数据采集系统(DAS)22形成，并且可包括准直仪。所述多个检测器20感测透过受检者24的投射x射线，并且DAS 22将该数据转换为数字信号以便进行后续处理。每个检测器20产生模拟或数字电信号，该模拟或数字电信号表示照射的x射线束的强度以及因此透过受检者24时的衰减束的强度。在扫描以采集x射线投射数据期间，旋转构件13及安装在其上的部件可围绕旋转中心旋转。

旋转构件13的旋转以及x射线源14的操作由CT系统10的控制机构26控制。控制机构26可包括向x射线源14提供功率和定时信号的x射线控制器28和发生器30，以及控制旋转构件13的旋转速度和位置的机架电机控制器32。图像重建器34从DAS 22接收采样并数字化的x射线数据，并且执行高速图像重建。重建的图像被输出到计算机36，该计算机将图像存储在计算机存储设备38中。

计算机36还经由操作员控制台40从操作员接收命令和扫描参数，该操作员控制台具有某种形式的操作员接口，诸如键盘、鼠标、触敏控制器、语音激活的控制器或任何其他合适的输入装置。显示器42允许操作员从计算机36观察重建的图像和其他数据。计算机36使用操作员提供的命令和参数来向DAS 22、x射线控制器28和机架电机控制器32提供控制信号和信息。另外，计算机36操作检查台电机控制器44，该检查台电机控制器控制电动检查台46以定位受检者24和机架12。特别地，检查台46使受检者24全部或部分地移动通过机架开口48或入口。坐标系50限定受检者24沿着其移进和移出开口48的患者或Z轴52、检测器组件18沿着其经过的机架圆周或X轴54、以及沿着从x射线管14的焦点到检测器组件18的方向经过的Y轴56。

因此，某些示例可将机器学习技术应用于CT扫描仪10及其机架12、旋转构件13、x射线源14、检测器组件18、控制机构26、图像重建器34、计算机36、操作员控制台40、显示器42、检查台控制器44、检查台46和/或机架开口48等的配置和/或操作。可基于输入、所需输出、实际输出等来监测部件配置、操作等以学习并建议例如扫描仪10和/或其部件的配置、操作和/或图像捕获和/或处理的一个或多个变化。

示例性学习网络系统

图3是示例性学习神经网络300的表示。示例性神经网络300包括层320、340、360和380。层320和340与神经连接330相连。层340和360与神经连接350相连。层360和380与神经连接370相连。数据经由输入312、314、316从输入层320向前流动到输出层380并流动到输出390。

层320是输入层，其在图3的示例中包括多个节点322、324、326。层340和360是隐藏层，并且在图3的示例中包括节点342、344、346、348、362、364、366、368。神经网络300可包括比所示更多或更少的隐藏层340和360。层380是输出层，并且在图3的示例中包括具有输出390的节点382。每个输入312至316对应于输入层320的节点322至326，并且输入层320的每个节点322至326具有到隐藏层340的每个节点342至348的连接330。隐藏层340的每个节点342至348具有到隐藏层360的每个节点362至368的连接350。隐藏层360的每个节点362至368具有到输出层380的连接370。输出层380具有输出390以提供来自示例性神经网络300的输出。

在连接330、350和370之中，可为神经网络300中的某些示例性连接332、352、372给予附加权重，同时可为其他示例性连接334、354、374给予更小权重。例如，通过经由输入312至316接收输入数据来激活输入节点322至326。通过数据分别经由连接330和350向前流过网络300来激活隐藏层340和360的节点342至348和362至368。在经由连接370发送隐藏层340和360中处理的数据之后激活输出层380的节点382。当激活输出层380的输出节点382时，节点382基于神经网络300的隐藏层340和360中完成的处理来输出适当值。

图4示出了作为卷积神经网络400的示例性神经网络300的特定实施方式。如图4的示例中所示，将输入310提供给第一层320，该第一层处理输入310并将该输入传播到第二层340。进一步在第二层340中处理输入310并将该输入传播到第三层360。第三层360对数据进行分类以便提供给输出层380。更具体地讲，如图4的示例中所示，将卷积404(例如，5×5卷积等)应用于第一层320中的输入310(例如，32×32数据输入等)的部分或窗口(也称为“接受域”)402以提供特征映射406(例如，(6×)28×28特征映射等)。卷积404将来自输入310的元素映射到特征映射406。第一层320还提供子采样(例如，2×2子采样等)以生成减小的特征映射410(例如，(6×)14×14特征映射等)。特征映射410发生卷积412并且从第一层320传播到第二层340，在第二层中，特征映射410变为扩展的特征映射414(例如，(16×)10×10特征映射等)。在第二层340中的子采样416之后，特征映射414变为减小的特征映射418(例如，(16×)4×5特征映射等)。特征映射418发生卷积420并且传播到第三层360，在第三层中，特征映射418变为分类层422，从而形成例如具有到卷积层422的连接426的N个类别的输出层424。

图5是图像分析卷积神经网络500的示例性实施方式的表示。卷积神经网络500接收输入图像502，并且在卷积层504中将该图像抽象化以识别学习到的特征510至522。在第二卷积层530中，图像被变换为多个图像530至538，其中学习到的特征510至522各自在相应子图像530至538中加强。进一步处理图像530至538以聚焦于图像540至548中的感兴趣特征510至522。然后通过池化层处理所得图像540至548，该池化层减小图像540至548的尺寸以分离包括感兴趣特征510至522在内的图像540至548的部分550至554。卷积神经网络500的输出550至554从最后非输出层接收值，并且基于从最后非输出层接收到的数据对图像进行分类。在某些示例中，卷积神经网络500可包含卷积层、池化层、学习到的特征和输出等的许多不同变型。

图6A示出了应用学习(例如，机器学习、深度学习等)网络来处理和/或以其他方式评估图像的示例性配置600。机器学习可应用于多种过程，包括图像采集、图像重建、图像分析/诊断等。如图6A的示例性配置600中所示，原始数据610(例如，从成像扫描仪诸如x射线、计算机断层成像、超声、磁共振等扫描仪获得的原始数据610，诸如声谱图原始数据)被馈入学习网络620。学习网络620处理数据610以将原始图像数据620关联和/或以其他方式合并到所得图像630(例如，“良好质量”图像和/或其他提供足以诊断的质量的图像等)中。学习网络620包括节点和连接(例如，路径)以将原始数据610与完成的图像630相关联。例如，学习网络620可为训练网络，其学习这些连接并且处理反馈以建立连接并识别模式。例如，学习网络620可为所部署的网络，其由训练网络生成，并且利用在训练网络中建立的连接和模式来获取输入原始数据610并生成所得图像630。

一旦学习620经过训练并从原始图像数据610产生良好图像630，网络620就可继续“自学习”过程并且在操作时改善其性能。例如，输入数据(原始数据)610中存在“冗余”，网络620中存在冗余，并且可利用该冗余。

如果检查分配给学习网络620中的节点的权重，则可能存在许多具有极低权重的连接和节点。低权重指示这些连接和节点对学习网络620的整体性能的贡献很少。因此，这些连接和节点是冗余的。可评估此类冗余以减少输入(原始数据)610中的冗余。例如，减少输入610冗余可节省扫描仪硬件，降低对部件的要求，并且还减少对患者的暴露剂量。

在部署中，配置600形成包600，其包括输入定义610、经训练的网络620和输出定义630。可相对于另一个系统诸如成像系统、分析引擎等部署并安装包600。

如图6B的示例中所示，学习网络620可与多个学习网络621至623链接和/或以其他方式组合在一起而形成更大的学习网络。例如，网络620至623的组合可用于进一步改善对输入的响应和/或将网络620至623分配给系统的各个方面。

在一些示例中，在操作中，可最初将“弱”连接和节点设定为零。然后学习网络620在保持过程中处理其节点。在某些示例中，不允许在重新训练期间改变被设定为零的节点和连接。考虑到网络620中存在冗余，很有可能会生成同样好的图像。如图6B所示，在重新训练之后，学习网络620变为DLN 621。还检查学习网络621以识别弱连接和节点，并且将它们设定为零。该进一步重新训练的网络是学习网络622。示例性学习网络622包括学习网络621中的“零点”以及节点和连接的新集合。学习网络622继续重复该处理直到在学习网络623(其称为“最小可行性网(MVN)”)处达到良好图像质量。学习网络623之所以为MVN，是因为如果试图在学习网络623中将附加连接或节点设定为零，则图像质量会变差。

一旦已用学习网络623获得MVN，就将“零”区域(例如，坐标图中的不规则暗区域)映射到输入610。每个暗区可能映射到输入空间中的一个或一组参数。例如，零区域之一可与原始数据中的视图数量和通道数量联系起来。由于可减少与这些参数相对应的网络623中的冗余，很有可能可减少输入数据并且该输入数据可生成同样好的输出。为了减少输入数据，获得与减少的参数相对应的新的原始数据集并且通过学习网络621运行该新的原始数据集。可简化或可不简化网络620至623，但处理学习网络620至623中的一者或多者直到达到原始数据输入610的“最小可行性输入(MVI)”。在MVI处，输入原始数据610的进一步减少可导致图像630质量降低。例如，MVI可使得数据采集的复杂性降低、对系统部件的要求更少、患者的紧张感减轻(例如，屏气或造影剂更少)和/或对患者的剂量减少。

通过使学习网络620至623中的一些连接和节点强制变为零，网络620至623构建“侧支”来补偿。在该过程中，获得对学习网络620至623的拓朴结构的洞察。应当注意，网络621和网络622例如具有不同拓朴结构，这是由于已强制一些节点和/或连接变为零。从网络有效移除连接和节点的该过程超出了“深度学习”，并且可称为例如“深度-深度学习”。

在某些示例中，输入数据处理和深度学习阶段可被实现为单独系统。然而，作为单独系统，两个模块可能都不知晓更大的输入特征评估回路以选择感兴趣/重要的输入参数。由于输入数据处理选择对产生高质量输出很重要，因此来自深度学习系统的反馈可用于经由模型来执行输入参数选择优化或改进。并非通过在整个输入参数集内扫描来形成原始数据(例如，这是强力的且昂贵的)，而是可实现主动学习的变型。使用主动学习的该变型，可确定起始参数空间以在模型中产生所需或“最佳”结果。然后可随机减小参数值以生成原始输入，这会降低结果的质量，同时仍保持质量的可接受范围或阈值，并且通过处理对模型质量没有什么影响的输入来缩短运行时间。

图7示出了学习网络的示例性训练和部署阶段，诸如深度学习或其他机器学习网络。如图7的示例中所示，在训练阶段，向网络704提供一组输入702以便进行处理。在该示例中，该组输入702可包括待识别的图像的面部特征。网络704沿正向706处理输入702以关联数据元素并识别模式。网络704确定输入702表示狗708。在训练中，在710处将网络结果708与已知结局712进行比较。在该示例中，已知结局712是人类面部(例如，输入数据集702表示人类面部，而非狗面部)。由于在710处网络704的确定708不匹配已知结局712，因此生成错误714。错误714触发沿着经过网络704的反向传播716相反地分析已知结局712和相关联的数据702。因此，训练网络704从数据702、712经过网络704的正向传播706和反向传播716中学习。

一旦在710处网络输出708与已知输出712的比较根据一定标准或阈值相匹配(例如，匹配n次，匹配大于x％等)，就可使用训练网络704生成待用外部系统部署的网络。一旦被部署，就向所部署的学习网络722提供单个输入720以生成输出724。在这种情况下，基于训练网络704，所部署的网络722确定输入720是人类面部724的图像。

图8示出了利用经训练的网络包来提供深度学习和/或其他机器学习产品供应的示例性产品。如图8的示例中所示，提供输入810(例如，原始数据)以便进行预处理820。例如，在820处对原始输入数据810进行预处理以检查格式、完整性等。一旦已在820处对数据810进行预处理，就在830处创建数据的分块。例如，在830处以一定尺寸和格式创建数据的分块或部分或“组块”以便进行处理。然后将这些分块馈入经训练的网络840以便进行处理。基于学习到的模式、节点和连接，经训练的网络840基于输入分块来确定输出。在850处组装这些输出(例如，将这些输出组合和/或以其他方式集合在一起以生成可用输出等)。然后在860处显示该输出和/或将该输出以其他方式输出给用户(例如，人类用户、临床系统、成像模式、数据存储(例如，云存储、本地存储、边缘设备等)等)。

如上所讨论，可将学习网络包装为供训练、部署和应用于多种系统之用的设备。图9A至图9C示出了各种学习设备配置。例如，图9A示出了一般学习设备900。示例性设备900包括输入定义910、学习网络模型920和输出定义930。输入定义910可包括经由网络920转换为一个或多个输出930的一个或多个输入。

图9B示出了示例性训练设备901。即，训练设备901是被配置为训练学习网络设备的设备900的示例。在图9B的示例中，向网络921提供多个训练输入911以在网络921中建立连接并且提供输出以便由输出评估器931进行评估。然后输出评估器931向网络921中提供反馈以进一步形成(例如，训练)网络921。可向网络921提供附加输入911直到输出评估器931确定网络921经过训练(例如，根据一定阈值、误差容限等，该输出已满足输入与输出的已知相关性)。

图9C示出了示例性部署设备903。一旦训练设备901已学习到必要的水平，就可部署训练设备901以便使用。例如，虽然训练设备901通过处理多个输入来学习，但所部署的设备903通过处理单个输入来确定输出。如图9C的示例中所示，所部署的设备903包括输入定义913、经训练的网络923和输出定义933。例如，一旦网络921已经过充分训练，就可由网络921生成经训练的网络923。所部署的设备903接收系统输入913并且经由网络923处理输入913以生成输出933，然后例如已与所部署的设备903相关联的系统可使用该输出。

示例性图像降噪系统和方法

图像降噪处理所获得的图像数据以降低图像数据中的噪声，同时保留图像数据中的由成像系统所捕获的患者和/或其他靶的特征。可以使用小波变换、统计方法、深度学习等来促进图像降噪。例如，小波变换使用阈值(例如，子带系数阈值)来除去在整个图像数据系数中均匀分布的噪声，同时使图像数据集中在少数几个大系数。作为替代方案，小波变换可以使用贝叶斯非线性估计器框架，以通过采用图像数据信号和噪声分量的准确统计描述来提供噪声降低和特征保留。用于图像降噪的统计方法根据诸如高斯分布的分布来对图像像素值进行建模，在该分布中，图像中的像素的灰度值是正态分布的，其均值等于具有给定方差的其邻域像素的平均灰度值。可以经由CNN和/或其他学习模型来将深度学习应用于处理图像数据以降低噪声、改善分辨率等。

图像降噪对CT成像尤其感兴趣，因为从图像中除去噪声转换为图像采集过程中的放射剂量节省。传统的图像降噪方法侧重于手工设计的图像滤波器(大多数是非线性的，诸如GE的ASiR-V^TM)。然而，传统的图像降噪方法具有许多缺点，包括在所得降噪图像中产生了斑片状纹理和锯齿状边缘。本文公开和描述的某些示例克服了这些缺点，以提供诊断质量、降噪的图像。

深度学习技术已被用于许多应用中，包括图像降噪。一些深度学习降噪方法显示出优于传统降噪方法的独特优势，诸如降噪图像中的令人愉快的纹理和平滑的边缘。大多数深度学习方法依赖于大训练数据集才能成功。然而，除了获得大量训练数据的困难以及在处理大量训练数据时训练时间长之外，使用一组患者数据来训练降噪模型还具有另一个高风险：神经网络可以从训练数据中学习解剖结构并尝试在执行降噪任务时通过推理生成类似的结构。例如，某些示例提供了根据同一患者的CT扫描生成训练数据并执行一个或多个降噪任务，而不会生成不属于该患者并且在原始图像数据中找不到的解剖结构的系统和方法。

例如，如果使用不同的患者，则网络模型存在将另一患者的解剖学特征复制到当前患者扫描中的风险。例如，如果将病变从训练数据复制到健康患者中，则会发生误诊。某些示例使用同一患者的数据进行训练和推理，这避免了通过深度学习训练过程意外或无意地导入其他患者图像特征。

因此，在某些示例中，不是利用跨越若干患者的大数据集(这通常是进行深度学习的方法)，而是将单个患者用于CNN或其他神经网络的患者专用的训练，以将所部署的网络模型应用于从该特定患者获得的图像。通过患者专用的网络训练，可以使用少得多的数据来有效地训练网络，并且为该特定患者形成网络权重和连接，从而改善其对该患者的适用性。可以使用一名患者的数来为他/她自己训练模型，并提供足够的细节以实现该患者图像的降噪。

可以以许多方式生成有噪声的患者图像，使其包括已知的噪声。例如，可以将噪声添加到患者图像中的投影域和/或图像域中。例如，在投影域和/或图像域中，可以通过模拟(例如，经由分析计算和/或基于噪声建模的蒙特卡罗模拟等)和/或实际采集(例如，通过重复来自体模/动物/尸体的扫描、使用来自具有均匀区域的体模的单次扫描等)来生成噪声。不同的体模/动物/尸体等可以提供不同的噪声模式。体模可以是简单的体模(例如，呈圆柱体/椭圆形或具有一个或多个插入物的水/聚酯等)或拟人体模(例如，Lungman体模、Kyoto全身体模等)。

训练网络的输出是添加到低噪声患者图像的噪声的识别。所识别的噪声与所添加的实际噪声相匹配，以确定模型的准确性。在某些示例中，网络模型的输出仅为噪声，并且该噪声对应于图像体积中存在的噪声的估计。例如，可以将输出与已知的干净图像或参考图像(例如，来自体模或从患者验证等)进行比较，以帮助确保当所识别的噪声被除去时，在图像中没有留下伪影。例如，还可以将所得图像与经验证的参考图像进行比较，以帮助确保实际图像数据并未与噪声一起被除去。

通过训练网络，所部署的网络模型可以识别输入图像数据中的噪声。例如，可以部署具有准确的噪声识别的网络模型，以应用于同一患者的图像(其用于训练网络模型)和/或不同患者的图像。该模型可以应用于薄切片患者图像和/或厚切片患者图像以估计那些患者图像中的噪声(例如，即使网络模型在厚切片上被训练，它也可以用于检测并除去薄图像切片中的噪声)。

在某些示例中，卷积神经网络(CNN)可以用于患者图像的噪声识别和降噪。例如，可以使用17层CNN，其包括用于每个二维(2D)卷积层的64个输出和用于每个层的3×3内核大小，不同的是最后一个卷积输出层具有单个输出。在该示例中，在示例性CNN的前16层中使用修正线性单元(ReLU)激活，并且在CNN的最后一层中使用批归一化。通过向FBP重建添加噪声然后分解成40×40小分块图像来生成有噪声的训练数据。通过将有噪声的图像与添加噪声之前的图像进行比较，可以获得添加到训练数据中的噪声模式的基础事实。

为进行训练，使用有噪声的图像作为神经网络的输入，并且使用噪声的基础事实作为训练目标输出/结果。例如，可以使用均方误差(MSE)损失函数和随机梯度下降Adam优化器，并且可以在达到预设时期之后停止训练。因此，可以在迭代训练中使用CNN以通过训练数据集，然后利用验证集进行测试以形成单个时期。可以执行多个时期来训练网络模型以进行降噪部署。

在该示例中，使用CNN进行降噪的推理输入大小可以与训练输入大小不同。例如，可以使用512×512滤波反投影(FBP)图像(例如，在对图像数据执行反投影以通过图像反向运行源投影从而重建源并滤波以消除模糊伪影或星形伪影等之后)作为CNN的输入，并且可以通过推理生成估计的噪声图像。然后，从输入图像中减去估计的噪声图像以产生降噪的图像。最后，对降噪的图像进行后处理以生成最终输出图像。

因此，在该示例中，获得患者扫描，并且不需要其他患者扫描或附加的患者数据来处理图像并训练网络模型。可以针对特定扫描仪获得一次水体模扫描并将其作为校准数据存储在扫描仪上，以与每个患者的图像扫描一起使用，直到扫描仪配置改变为止。因此，不是通常深度学习所需的大数据集，而是可以使用单个患者扫描(或针对该单个患者的多次扫描)来训练深度学习网络以对患者图像进行降噪。

图10示出了a)FBP重建、b)深度学习网络驱动的降噪和c)ASiR-V100％重建之间的比较结果。如图1的示例中所示，可以将利用FBP重建1002、深度学习网络降噪1004和ASiR-V重建1006处理的腹部扫描与利用FBP重建1008、深度学习网络降噪1010和ASiR-V重建1012处理的腹部/骨盆的前后(AP)视图进行比较以示出深度学习网络驱动的降噪技术的经改善的准确性。

图11示出了用于处理从成像模态(例如，CT、MR、超声、x射线等)获得的图像数据并从图像中除去噪声/伪影的示例性图像处理器装置1100。示例性装置1100包括输入数据处理器1110、图像降噪器1120、图像后处理发生器1130和输出成像器1140。示例性输入数据处理器1110用于处理来自成像模态、图像存档、电子病历等的输入图像、噪声和其他数据。可以对输入数据进行解析、格式化、组织、细化等，以供图像处理器1100进一步处理。示例性图像降噪器1120获取处理后的输入数据(包括针对对应的成像模态的患者图像和噪声信息)并基于噪声信息来处理图像以识别患者图像中的噪声/伪影。示例性图像后处理发生器1130获取关于患者中的噪声的信息并对图像进行后处理以从图像中除去噪声并应用后处理(例如，对比度、亮度、感兴趣区域识别等)以产生图像以便由示例性输出成像器1140输出。例如，输出成像器1140可以将输出图像提供给图像读取工作站、另一图像查看器、图像处理系统、临床决策支持系统、图像存档、电子病历等。

图12示出了图11的示例的图像降噪器1120的示例性实施方式。如图12的示例中所示，图像降噪器1120包括有噪声的输入处理器1210、训练神经网络模型1220、比较器1230、网络权重更新器1240、所部署的神经网络模型1250和噪声标识符1260。在操作中，将来自输入数据处理器1110的图像、噪声和其他数据提供给有噪声的输入处理器1210，该有噪声的输入处理器将噪声信息与患者图像数据相结合以形成有噪声的图像作为输入来训练训练神经网络模型1220。训练神经网络模型1220通过卷积、滤波等处理有噪声的图像数据，以识别有噪声的图像数据中的噪声。训练神经网络模型1220提取并输出噪声，该噪声被馈送到比较器1230。比较器1230将训练神经网络1220所提取的噪声与预期的、已知的或“基础事实”噪声值进行比较，以确定网络模型1220的准确性。可以将来自比较器1230的指示神经网络模型1220与正确识别有噪声的图像中的已知噪声的接近程度和距离的反馈提供给网络权重更新器1240，该网络权重更新器可以调整训练模型1220的网络权重以相对于有噪声的图像数据调整模型1220的操作。当比较器1230满足训练模型1220准确地识别和量化有噪声的图像中的噪声时，训练神经网络模型1220可以被实例化为数据结构并且被部署为所部署的神经网络模型1250。然后，所部署的神经网络模型1250可以处理包括图像数据以根据图像模态识别患者图像中的噪声。噪声识别器1260可以量化噪声信息，并将信息与图像打包发送到图像后处理发生器1130，以生成除去了噪声/伪影的患者图像。

虽然结合图1至图12示出了示例性实施方式，但结合图1至图12示出的元件、过程和/或设备可以任何其他方式组合、划分、重新布置、省略、消除和/或实现。此外，本文所公开和描述的部件可由硬件、机器可读指令、软件、固件、和/或硬件、机器可读指令、软件和/或固件的任何组合来实现。因此，例如，本文所公开和描述的部件可由一个或多个模拟和/或一个或多个数字电路、逻辑电路、可编程处理器、专用集成电路(ASIC)、可编程逻辑设备(PLD)和/或现场可编程逻辑设备(FPLD)来实现。当读到本专利中的任一项覆盖纯粹的软件和/或固件实现的装置或系统权利要求时，这些部件中的至少一者在此明确地被定义为包括存储软件和/或固件的有形计算机可读存储设备或存储盘，诸如存储器、数字通用盘(DVD)、压缩盘(CD)、蓝光盘等。

结合至少图13至图16示出代表用于实现本文所公开和描述的部件的示例性机器可读指令的流程图。在这些示例中，机器可读指令包括供处理器(诸如下文结合图17讨论的示例性处理器平台1700中所示的处理器1712)执行的程序。该程序可体现在有形计算机可读存储介质(诸如CD-ROM、软盘、硬盘驱动器、数字通用盘(DVD)、蓝光盘或与处理器1712相关联的存储器)上存储的机器可读指令中，但整个程序和/或其部分可另选地由除处理器1712之外的设备执行和/或体现在固件或专用硬件中。此外，尽管参考至少结合图13至图16示出的流程图描述了示例性程序，但是可替代地使用实现本文公开和描述的部件的许多其他方法。例如，可改变框的执行顺序，和/或可改变、消除或组合所述的一些框。尽管至少图13至图16的流程图以示出的顺序描绘了示例性操作，但这些操作不是穷举性的，并且不限于示出的顺序。另外，本领域技术人员可在本公开的实质和范围内作出各种变化和修改。例如，流程图中示出的框可按替代顺序执行或可并行执行。

如上所述，至少图13至图16的示例性过程可使用存储在有形计算机可读存储介质上的编码指令(例如，计算机和/或机器可读指令)来实现，所述有形计算机可读存储介质诸如硬盘驱动器、闪存存储器、只读存储器(ROM)、光盘(CD)、数字通用光盘(DVD)、高速缓存、随机存取存储器(RAM)和/或任何其他存储设备或存储盘，其中信息被存储任何持续时间(例如，延长的时间段、永久、短暂、用于暂时缓存和/或用于信息的高速缓存)。如本文所用，术语有形计算机可读存储介质明确地被定义为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号且排除传输介质。如本文所用，“有形计算机可读存储介质”和“有形机器可读存储介质”可互换使用。除此之外或另选地，至少图13至图16的示例性过程可使用存储在非暂态计算机和/或机器可读介质上的编码指令(例如，计算机和/或机器可读指令)来实现，该非暂态计算机和/或机器可读介质诸如为将信息存储任何持续时间(例如，存储延长时间段、永久存储、用于短暂实例、用于暂时缓冲和/或用于信息的高速缓存)的硬盘驱动器、闪速存储器、只读存储器、压缩盘、数字通用盘、高速缓存、随机存取存储器和/或任何其他存储设备或存储盘。如本文所用，术语非暂态计算机可读介质明确地被定义为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号且排除传输介质。如本文所用，当短语“至少”用作权利要求前序中的过渡性术语时，与术语“包含”是开放式的一样，其也是开放式的。另外，与术语“包含”是开放式的一样，术语“包括”也是开放式的。

图13示出了使用神经网络1220、1250(例如，CNN和/或其他深度学习网络)处理患者图像以识别并消除来自该患者图像的噪声的示例性方法1300的流程图。在框1302处，(例如，从CT扫描仪、MR扫描仪、X射线机、超声探头等)获得患者的第一图像体积。该图像体积具有高的噪声。例如，可以使用第一组重建参数来获得并产生第一图像体积。在框1304处，使用不同的一组重建参数来产生具有低噪声的第二图像体积。

在框1306处，可以结合在图像重建期间添加的噪声来再利用在框1304处用于生成第二图像体积的重建参数。因此，第二图像体积结合噪声产生有噪声的图像。例如，可以使用在框1306处重建的有噪声的图像作为输入来训练CNN 1220。在框1308处，可以通过从有噪声的图像中减去1310第二图像体积以重建所添加的噪声来确定量化的或“已知的”噪声。

在框1312处，由CNN 1220输出预测的噪声，表示网络尝试基于对卷积神经网络1220中的有噪声的图像数据进行分析来识别有噪声的图像输入1306中的噪声。基于CNN1220在有噪声的输入1306中识别出(或尚未识别出)噪声1312的密集程度，在框1314处，可以调整CNN 1220中的节点、连接等的网络权重。然后，CNN 1220可以在有噪声的输入1306上再次操作以确定预测的噪声1312，并且如有必要，则可以进一步调整1314网络权重。

当CNN 1220被训练以足够准确地识别图像中的噪声1312(例如，损失函数值或训练时期的数量达到预设阈值等)时，可以部署网络。所部署的CNN 1250接收高噪声图像体积以用于进行诊断(框1316)并处理患者图像以生成图像的预测噪声(框1318)。在框1320处，可以检查和/或以其他方式量化预测的噪声1318以生成细化的噪声。在框1322处，从患者图像1316中减去细化的噪声1320以生成降噪的图像体积以便诊断(框1324)。

图14示出了用于使用在患者图像数据上针对成像模态而训练的深度神经网络模型来诊断该患者图像的示例性方法1400的流程图。在框1402处，在患者自身的一个或多个图像上训练深度神经网络1220。因此，不是需要来自多个患者的多个图像的大数据池，而是可以使用来自成像扫描仪的患者自身的图像以及该成像扫描仪已知的噪声信息来训练深度神经网络1220。一旦网络1220已被训练并验证以正确识别患者图像中由扫描仪引入的噪声(例如，在容错或误差容限内，使得网络1220在图像中未检测到明显的噪声且没有明显的图像数据被错误地表征为噪声等)，则可以将训练网络1220(框1404)部署为深度神经网络模型1250以用于处理输入的患者图像(框1406)。

图15示出了上面参考图14所描述的训练深度神经网络(框1402)的示例性实施方式。在该示例中，在框1502处，获得患者图像(例如，作为薄切片、厚切片等获得的患者的图像体积)。在框1504处，对患者图像进行预处理以使该图像准备供训练深度神经网络1220使用。例如，可以加厚薄图像切片(例如，通过将薄切片相结合、对附加数据进行外推等)以降低患者图像中的噪声。例如，可以从患者图像中提取一个或多个分块。将噪声(例如，使用扫描仪从体模模拟和/或测量等)添加到患者图像以形成有噪声的图像输入以便由训练网络1220进行处理。

在框1506处，使用训练神经网络1220来处理有噪声的图像输入。例如，将卷积、滤波器等经由内核应用于有噪声的图像输入，以识别并量化图像中的噪声。网络1220的输出是噪声的识别/量化。

在框1508处，针对关于在预处理中引入的噪声的已知信息来评估由训练网络输出的噪声结果。例如，比较器1230评估由训练网络1220所识别的噪声与添加到患者图像的实际噪声的接近程度。例如，可以通过与容错或误差容限进行比较来评估噪声检测的准确性或“接近度”，使得网络1220在图像中未检测到明显的噪声，并且没有明显的图像数据被错误地表征为噪声。

在框1510处，如果训练网络1220已经提取了准确的噪声结果，则控制返回到框1404以将训练网络1220部署为神经网络模型1250以便与附加患者图像一起使用。然而，如果训练网络1220提取的噪声结果不够准确，则在框1512处，基于噪声比较来为训练网络1220调整网络权重。然后，网络1220可以利用更新的权重值来重新评估噪声患者图像分块(框1506)，以确定(在框1508处)经调整的网络权重是否导致例如噪声确定更加准确。

因此，在一个示例中，在采集了患者的CT扫描数据之后，执行低噪声重建(例如，通过平滑内核、较大像素大小和/或较厚切片等)。一个或多个低噪声重建图像充当“干净的”参考数据。然后，在重建期间使用相同的重建参数并添加噪声以生成“有噪声的”重建图像。可以以许多方式添加噪声(例如，在投影域和/或图像域中等)。在投影域和/或图像域中，可以通过模拟(例如，经由分析计算、使用基于噪声建模的蒙特卡罗模拟等)和/或实际采集(例如，通过重复来自任何体模/动物/尸体的扫描或来自具有均匀区域的体模的单次扫描等)来生成噪声。例如，不同的体模/动物/尸体可以提供不同的噪声模式，并且体模可以是简单的体模(例如，呈圆柱体/椭圆形或具有一些插入物的水/聚酯等)，也可以是拟人体模(例如，Lungman体模、Kyoto全身体模等)。在利用“干净的”和“有噪声的”图像作为训练数据(例如，使用一个或多个图像变换模型等)的情况下，可以诸如通过使用“有噪声的”图像作为网络的输入，同时使用“干净的”图像或“有噪声的”图像(通过从“有噪声的”图像中减去“干净的”图像来计算)作为基础事实或比较图像以确定网络噪声检测的准确性来训练降噪神经网络。

图16示出了上面参考图14所描述的使用所部署的深度神经网络来处理患者图像(框1406)的示例性实施方式。在该示例中，在框1602处，接收患者图像数据。例如，可以从成像模态、图像存档、电子病历、临床决策支持系统、放射学报告/查看系统等提供患者的附加的薄切片图像和/或厚切片图像。

在框1604处，使用所部署的深度神经网络模型1250来处理患者图像数据以识别并量化患者图像数据中的噪声。例如，使用具有在训练期间配置并在部署模型1250中设置的权重的内核，卷积、滤波器等可以将图像特征与由成像扫描仪引入的噪声和/或其他环境/数据处理不规则/误差区分开来，以识别并量化患者图像数据中存在的噪声(例如，非图像数据或伪影等)。由所部署的模型1250输出患者图像数据中的这个噪声指示。

在框1606处，细化作为所部署的神经网络模型1250的输出而产生的噪声。例如，可以检查噪声(例如，基于阈值、预期值、参考值等)以诸如通过确认图像数据未被错误地包括在噪声确定中来细化噪声信息。例如，如果图像数据被错误地包括在内，则可以生成反馈以重新训练网络模型1220(例如，在负反馈超过极限或其他阈值之后)以被重新部署为例如更新的神经网络模型1250。

在框1608处，使用来自所部署的神经网络模型1250的细化的噪声输出来对患者图像数据进行降噪。例如，从患者图像数据中除去所识别的噪声值，留下实际的患者图像内容，而没有通过成像模态和/或其他数据传输、处理、存储误差等添加的噪声。

在框1610处，输出降噪的患者图像。例如，可以输出一个或多个降噪的患者图像切片以便显示、存储、由临床决策支持系统进一步处理等。

因此，在网络1220被训练之后，可以将网络1220部署为深度神经网络模型1250并将其用于对同一患者的图像数据执行降噪任务。例如，利用与在训练图像的重建中所使用的重建参数不同的重建参数对同一患者的扫描数据执行薄切片重建，并且应用所部署的深度学习神经网络1250以生成降噪的薄切片重建。例如，可以从降噪的薄切片体积生成任何厚(或薄)切片重新格式化。例如，如果神经网络训练目标为“干净的”图像，则在推理时所部署的模型1250的输出是降噪的图像。如果神经网络训练目标为“噪声”图像，则从“有噪声的”输入中减去该“噪声”图像以经由所部署的神经网络模型1250生成降噪的图像。例如，由于深度学习的结果不是完全可预测的，因此应用验证检查或细化以帮助确保深度学习神经网络1250除去的“噪声”实际上是噪声，之后从输入图像中减去噪声。

虽然已经关于CT图像示出和描述了一些示例，但相同的系统和方法也可以应用于MR、x射线、MICT、超声波等。在一些示例中，可以将模态相结合，诸如向MR图像应用CT模型等。

图17是被构造成执行至少图14至图16的指令以实现本文公开和描述的示例性部件的示例性处理器平台1700的框图。处理器平台1700可为例如服务器、个人计算机、移动设备(例如，蜂窝电话、智能电话、平板电脑诸如iPad^TM)、个人数字助理(PDA)、互联网设备或任何其他类型的计算设备。

所示示例的处理器平台1700包括处理器1712。所示示例的处理器1712是硬件。例如，处理器1712可由来自任何所需产品系列或制造商的集成电路、逻辑电路、微处理器或控制器来实现。

所示示例的处理器1712包括本地存储器1713(例如，高速缓存)。图17的示例性处理器1712执行至少图14至图16的指令以实现图1至图13的系统和基础设施及相关联的方法，诸如示例性输入数据处理器1110、示例性图像数据降噪器1120、示例性图像后处理发生器1130、示例性输出成像器1140、或更一般地示例性图像处理器系统1100等。所示示例的处理器1712经由总线1718与包括易失性存储器1714和非易失性存储器1716的主存储器进行通信。易失性存储器1714可由同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、RAMBUS动态随机存取存储器(RDRAM)和/或任何其他类型的随机存取存储器设备来实现。非易失性存储器1716可由闪速存储器和/或任何其他所需类型的存储器设备来实现。由时钟控制器控制对主存储器1714、1716的存取。

所示示例的处理器平台1700还包括接口电路1720。接口电路1720可由任何类型的接口标准诸如以太网接口、通用串行总线(USB)和/或PCIexpress接口来实现。

在所示的示例中，一个或多个输入设备1722连接到接口电路1720。一个或多个输入设备1722允许用户将数据和命令输入到处理器1712中。一个或多个输入设备可由例如传感器、麦克风、相机(静物相机或摄像机)、键盘、按钮、鼠标、触摸屏、触控板、轨迹球、isopoint和/或语音识别系统来实现。

一个或多个输出设备1724也连接到所示示例的接口电路1720。输出设备1724可例如由显示设备(例如，发光二极管(LED)、有机发光二极管(OLED)、液晶显示器、阴极射线管显示器(CRT)、触摸屏、触觉输出设备和/或扬声器)来实现。因此，所示示例的接口电路1720通常包括图形驱动器卡、图形驱动器芯片或图形驱动器处理器。

所示示例的接口电路1720还包括通信设备，诸如发射器、接收器、收发器、调制解调器和/或网络接口卡，以促进经由网络1726(例如，以太网连接、数字用户线(DSL)、电话线、同轴电缆、蜂窝电话系统等)来与外部机器(例如，任何种类的计算设备)交换数据。

所示示例的处理器平台1700还包括用于存储软件和/或数据的一个或多个大容量存储设备1728。此类大容量存储设备1728的示例包括软盘驱动器、硬盘驱动器、压缩盘驱动器、蓝光盘驱动器、RAID系统以及数字通用光盘(DVD)驱动器。

图17的编码指令1732可存储在大容量存储设备1728中、易失性存储器1714中、非易失性存储器1716中和/或可移动的有形计算机可读存储介质诸如CD或DVD上。

根据前述内容，应当理解，已公开了以上所公开的方法、装置和制品以使用多种深度学习和/或其他机器学习技术来监测、处理并改善成像和/或其他医疗系统的操作。所公开的方法、装置和制品通过扩展计算设备的能力，使其能够通过结合有在单个患者图像上而不是在大的多患者数据集上训练的深度神经网络来诊断图像，从而改善计算设备的操作。因此，本发明所公开的方法、装置和制品涉及计算机功能的一个或多个改进。

因此，某些示例提供了用于训练并部署神经网络以对同一患者的扫描进行降噪和推理的计算机系统和相关联的方法。使用同一患者的扫描有助于确保所部署的深度学习神经网络模型不会在降噪过程期间生成不属于患者的解剖结构。

普遍接受的是，深度学习的成功是基于大数据的，并且一般认为的是，更多的训练数据会带来更好的结果。然而，某些示例使用同一患者的数据来进行训练和推理。已经证明，通过使用这种患者专用的训练方法，仍然可以实现深度学习降噪可以提供的期望特征(例如，良好的纹理、平滑的边缘等)，而无需大的数据集、无需匿名的附加患者数据和/或所涉及的其他患者不会超过考虑中的患者。此外，某些示例提供了非常独特的优点，即并不需要将解剖结构(例如，来自另一患者)从训练数据复制到推理数据中，因为训练和推理数据来自同一患者扫描。如果使用了另一患者的数据，则存在将解剖特征从另一患者的扫描导入当前患者扫描的风险。例如，如果将病变从训练数据复制到健康的患者中，则会导致误诊。

因此，某些示例采集患者图像、基于图像和所添加的噪声训练网络、分析由网络所识别的所得噪声以确保所有噪声都被除去且仅噪声被除去并将网络应用于该患者的后续图像。在某些示例中，可以使用反馈以通过缩放添加到训练中使用的患者图像的噪声来修改对网络的训练。一定程度的噪声缩放可以是基于来自所查看的图像和相关联噪声的反馈。例如，对于给定的患者和/或成像设备，如果要除去更多的噪声，则可以将更高的噪声结合到网络训练中。例如，可以经由体模将更多或更少的噪声引入训练患者图像中。可以通过体模扫描、患者扫描、计算机模拟等将噪声添加到患者图像中。

在某些示例中，缩放因子为模糊值，例如，该因子包括多个值(例如，值的范围或梯度，诸如0和1之间的所有数字，而不是确定的整数值)，并且噪声模拟也为模糊值(例如，从体模扫描中提取和/或以其他方式模拟等)。

在某些示例中，图像处理器装置可以定位在成像设备本身上、定位在与成像设备进行通信的单独计算机上、定位在基于云的服务器上等。例如，基于深度学习模型的图像降噪可以结合成像设备被作为图像重建链的一部分插入和/或可以在获得图像并将其存储在PACS中之后发生。

在某些示例中，图像处理器可以扩展超出单个患者的图像，以经由云来跨患者和/或跨不同的成像设备进行训练。在某些示例中，可以由基于云的服务器结合本地处理器来协调基于神经网络的图像降噪。云服务器可以远程监测噪声消除，并且如果来自本地处理器的残留信号没有任何意义(例如，不满足某些阈值、极限和/或预期值等)，则云服务器可以触发本地图像处理器处的调整或修改。例如，可以提供本地和/或基于云的反馈(例如，来自用户、来自使用降噪图像的系统等)以训练和/或重新训练神经网络模型。

在某些示例中，图像头(例如，DICO头等)提供关于图像的信息、与图像相关联的患者、获得了图像的成像设备、重建在图像上使用的算法等。例如，可以由图像数据降噪器1120使用对DICOM和/或其他图像文件头的分析来训练网络1220并为所部署的网络模型1250设置参数。

在某些示例中，分割算法期望特定格式的特定信息等。因此，基于所选择/所提供的分割算法来以不同的方式训练网络1220。不同的算法以不同的方式训练网络1220。类似地，不同的扫描仪、不同的患者和/或不同的临床医生可以以不同的方式训练网络1220。例如，人类更喜欢较平滑的图像以便诊断查看，但机器更喜欢较清晰的边缘，因为处理器可以对图像进行自动降噪。例如，可以训练神经网络模型1220以反映特定系统，该特定系统具有影响由该系统生成的噪声的特定特性，然后可以重新训练模型1220使其看起来像具有不同特性的不同系统，从而考虑到由不同成像系统生成的噪声。因此，例如，随着网络1220以不同参数重新训练，可以动态地部署模型1250。

在某些示例中，神经网络1220、1250采用神经风格传递，将当前患者图像示例的本地特征与更广泛的示例集匹配。基于图像质量可能发生感知损失。因此，先验训练可以教导网络1220识别什么是好的图像。然后，可以分析当前患者的数据以识别满足感知损失的低级特征、病状等。感知损失是依赖于人的，因此可能存在放射科医师特定的感知损失，无论神经网络是存储在本地还是存储在云上。因此，网络1250可以根据个人用户的偏好进行个性化。例如，训练网络1220可以嵌入描述不同特性的特性，并且网络1220学习描述特定医生的内容。然后，网络1220可以调整其处理方式并表示特定医生的图像。

在某些示例中，个性化可以是多维的。例如，网络模型1250可以针对以下项进行个性化：1)特定患者及其相关联的病状；2)用户/读者及其偏好、感知等；3)预期病状(例如，基于医生查看特定病状所获得的反馈而学习的病状驱动的内核等)；等等。在训练1220并部署神经网络模型1250时可以考虑关键质量(CTQ)因子。例如，模糊图像可以用于灌注但不适用于面部骨骼。在某些示例中，可以基于与特定目标/目的相关的CTQ来将感知损失映射到图像质量度量，以帮助定义和/或理解网络模型1220、1250选择特定感知损失为最佳的原因。

某些示例获得新采集的患者图像、使图像加厚以降低噪声、然后将已知的噪声添加到加厚的图像。在某些示例中，可以使用先前的患者图像作为当前患者图像的替代或补充。例如，可以将对比度图像与患者的非对比度图像结合使用；可以先进行较高剂量的暴露，之后进行低剂量暴露(例如，胸筛/肺筛等)；等等。例如，肿瘤患者可以具有高剂量的初始图像和较低剂量的后续图像。可以将这两个图像结合用于训练神经网络1220，以基于该特定患者的特性跨多个图像进行更有效的图像降噪。例如，多模态图像集可以允许神经网络1220获得患者的更好图像。

在某些示例中，可以使用神经网络1250来将噪声添加回图像中。例如，可以添加噪声以评估较低剂量的扫描效果。因此，例如，在查看临床方案时，方案可以涉及高剂量的扫描，并且网络1250可以帮助评估较低剂量(并且对应地，分辨率较低且噪声较多)的扫描的影响。还可以使用网络模型1250作为临床方案选择和/或控制的模拟器。例如，可以使用CNN来模拟现实噪声，并且用于训练CNN的真实噪声可以被训练用于生成真实的噪声模式，这些真实的噪声模式可以用于针对患者、扫描仪、环境等实际地选择适当的方案和剂量。

虽然本文已描述了某些示例性方法、装置和制品，但本专利的覆盖范围不限于此。相反，本专利覆盖合理落入本专利的权利要求书的范围内的所有方法、装置和制品。

Claims

1.一种图像数据处理系统，包括：

输入数据处理器，所述输入数据处理器用于处理第一患者的第一患者图像，以向所述第一患者图像添加第一噪声以形成有噪声的图像输入，并且在向所述第一患者图像添加所述第一噪声之前将所述第一患者图像从薄切片图像体积加厚到厚切片图像体积，以减少所述第一患者图像中的噪声；和

图像数据降噪器，所述图像数据降噪器用于使用第一深度学习网络处理所述有噪声的图像输入以识别所述第一噪声，所述图像数据降噪器用于使用所述有噪声的图像输入训练所述第一深度学习网络并基于所述第一深度学习网络的噪声输出与预期的噪声输出的比较来修改网络权重，其中，当所述第一深度学习网络被训练以识别所述第一噪声时，所述图像数据降噪器用于将所述第一深度学习网络部署为第二深度学习网络模型以应用于所述第一患者的第二患者图像以识别所述第二患者图像中的第二噪声；

图像后处理发生器，所述图像后处理发生器用于从所述第二患者图像中除去由所述第二深度学习网络模型所识别的所述第二噪声，以形成降噪的患者图像；以及

输出成像器，所述输出成像器用于输出所述降噪的患者图像。

2.根据权利要求1所述的系统，其中所述第一噪声将使用第一体模扫描或模拟中的至少一者来获得。

3.根据权利要求1所述的系统，其中第一体模扫描将在用于获得所述第一患者图像的成像扫描仪上获得。

4.根据权利要求1所述的系统，其中所述输入数据处理器用于基于反馈来缩放所述第一噪声。

5.根据权利要求1所述的系统，其中所识别的第二噪声将被检查并细化，之后由所述图像数据降噪器从所述第二患者图像中除去。

6.根据权利要求1所述的系统，其中所述第二深度学习网络模型将针对所述第一患者进行部署，并且其中所述第一深度学习网络将针对所述第一患者和将要查看所述第二患者图像并诊断所述第一患者的用户进行训练。

7.一种计算机可读存储介质，所述计算机可读存储介质包括指令，所述指令在被执行时使至少一个处理器至少：

处理第一患者的第一患者图像以向所述第一患者图像添加第一噪声以形成有噪声的图像输入；

在向所述第一患者图像添加所述第一噪声之前将所述第一患者图像从薄切片图像体积加厚到厚切片图像体积，以减少所述第一患者图像中的噪声；

使用第一深度学习网络处理所述有噪声的图像输入，以识别所述第一噪声；

使用所述有噪声的图像输入训练所述第一深度学习网络；

基于所述第一深度学习网络的噪声输出与预期的噪声输出的比较来修改网络权重；

当所述第一深度学习网络被训练以识别所述第一噪声时，将所述第一深度学习网络部署为第二深度学习网络模型以应用于所述第一患者的第二患者图像以识别所述第二患者图像中的第二噪声；

从所述第二患者图像中除去由所述第二深度学习网络模型所识别的所述第二噪声，以形成降噪的患者图像；以及

输出所述降噪的患者图像。

8.一种计算机实现的图像降噪方法，包括：

使用至少一个处理器来处理第一患者的第一患者图像，以向所述第一患者图像添加第一噪声以形成有噪声的图像输入；

使用所述至少一个处理器来在向所述第一患者图像添加所述第一噪声之前将所述第一患者图像从薄切片图像体积加厚到厚切片图像体积，以减少所述第一患者图像中的噪声；

使用所述至少一个处理器来使用第一深度学习网络处理所述有噪声的图像输入，以识别所述第一噪声；

使用所述至少一个处理器来使用所述有噪声的图像输入训练所述第一深度学习网络；以及

使用所述至少一个处理器来基于所述第一深度学习网络的噪声输出与预期的噪声输出的比较来修改网络权重；

当所述第一深度学习网络被训练以识别所述第一噪声时，使用所述至少一个处理器来将所述第一深度学习网络部署为第二深度学习网络模型以应用于所述第一患者的第二患者图像以识别所述第二患者图像中的第二噪声；

使用所述至少一个处理器来将从所述第二患者图像中除去由所述第二深度学习网络模型所识别的所述第二噪声，以形成降噪的患者图像；以及

使用所述至少一个处理器来输出所述降噪的患者图像。