CN111383338A

CN111383338A - 用于基于深度学习的图像重建的系统和方法

Info

Publication number: CN111383338A
Application number: CN201911307347.XA
Authority: CN
Inventors: 西尔万·伯纳德
Original assignee: General Electric Co
Current assignee: General Electric Co
Priority date: 2018-12-28
Filing date: 2019-12-17
Publication date: 2020-07-07
Anticipated expiration: 2039-12-17
Also published as: EP3675043B1; US20200211240A1; US20220051456A1; CN111383338B; EP3675043A1; JP2020116378A; JP7237809B2; US11227418B2

Abstract

本发明题为“用于基于深度学习的图像重建的系统和方法”。公开了用于进行基于深度学习的图像重建的方法、装置和系统。至少一种计算机可读存储介质的示例包括如下指令，该指令在被执行时使得至少一个处理器至少：通过以下方式获得器官的多个二维(2D)断层融合投影图像：将x射线发射器旋转到相对于该器官的多个取向，以及从该发射器发射第一水平的x射线激励以获得该多个2D断层融合投影图像中的每个投影图像；根据该多个2D断层融合投影图像重建该器官的三维(3D)体积；使用第二水平的x射线激励获得该器官的x射线图像；基于该2D合成图像与该x射线图像之间的相似性度量，根据该重建的3D体积生成2D合成图像生成算法；以及部署将该2D合成图像生成算法实例化的模型。

Description

用于基于深度学习的图像重建的系统和方法

技术领域

本公开整体涉及图像重建，并且更具体地涉及用于基于深度学习的图像重建的系统和方法。

背景技术

射线照相通常用于在感兴趣的对象中寻找异常。射线照相图像表示对象例如患者器官的投影。在更具体的非限制性示例中，器官为乳房并且图像为乳腺X线摄影图像。几十年来，乳腺X线摄影术一直被用于筛查和诊断乳腺癌。通常通过以下方式来获得射线照相图像：将对象放置在发射X射线的源与X射线探测器之间，使得到达探测器的X射线已经穿过了所述对象。然后射线照相图像根据由探测器提供的数据来构造，并表示在X射线的方向上投影在探测器上的对象。

在乳腺X线摄影术的情况下，经验丰富的放射科医生可区分指示例如微钙化、包块或其他浑浊等潜在问题的放射性标记。然而，在二维(2D)投影图像中，组织的重叠可隐藏病变，但是在任何情况下它们的实际位置在感兴趣的对象中都无从得知，因为医师没有关于放射性标志在投影方向上的位置的任何信息。

断层融合被用于解决这些问题。在断层融合中，器官的三维(3D)表示可作为一系列连续切片被获得。所述切片根据感兴趣的对象在各种角度下的投影来重建。为此，一般将感兴趣的对象放置在发射X射线的源与X射线探测器之间。源和/或探测器是可移动的，使得对象在探测器上的投影方向可变化(例如，在30度的角度范围内等)。因此，在不同角度下获得了感兴趣的对象的若干投影，通常通过例如重建方法根据所述若干投影可以重建对象的三维表示。

对于每个投影，X射线的辐射剂量自然小于用于标准乳腺X线摄影术的辐射剂量。例如，通过将标准乳腺X线摄影术的辐射剂量记录为D，并将用于断层融合的投影数量表示为N，用于每个投影的辐射剂量通常为D/N的数量级。

虽然标准乳腺X线摄影术和断层融合两者目前都被放射科医生使用，但每种技术都具有优势。在对微钙化点进行成像时，标准乳腺X线摄影术比断层融合更好。这可能是由于用于获得任何单独的标准乳腺X线摄影术图像的能量和剂量较高，并且还由于断层融合中的重建过程趋于使已经很小的钙化点的边缘模糊。断层融合在毛刺包块成像方面具有优越性，因为断层融合中的重建正确地定位了器官内的包块以及器官内来自感兴趣的对象的重叠误差和反投影误差。

虽然放射科医生可获取标准乳腺X线摄影术图像和断层融合图像两者以利用每种技术的优点，但是这些成像过程通常是由放射科医生在所述成像技术之间切换而顺序执行的。

近年来，数字乳腺断层融合(DBT)和对比增强的数字乳腺断层融合(CE-DBT)已被证明是有效的癌症检测技术。DBT使用x射线创建乳房的三维(3D)图像。通过从多个角度拍摄每个乳房的多张x射线照片，计算机可生成用于检测任何异常的3D图像。DBT/CE-DBT过程的关键部分是图像重建，因为图像重建直接影响数据的内容，而放射科医生将检查所述数据以确定任何诊断。为了重建图像，对算法进行训练并将其用于减少噪声和任何脉线(streak line)。尽管算法复杂，但是DBT过程通常导致不完美的图像重建。

附图说明

图1示出了用于获得感兴趣的对象的一个或多个图像的示例性成像系统。

图2示出了源/发射器相对于器官的示例性移动。

图3示出了示例性图像处理系统。

图4示出了图3的示例性图像处理系统的训练器和建模器的示例性实施方式。

图5是示例性深度学习神经网络的表示。

图6示出了图5的示例性神经网络作为卷积神经网络的特定实施方式。

图7是对卷积神经网络进行图像分析的示例性实施方式的表示。

图8示出了应用深度学习网络来处理和/或以其他方式评估图像的示例性配置。

图9示出了使用断层融合采集提供体积图像数据而对图5的示例的训练网络进行的示例性训练。

图10示出了对图5的示例的训练网络的示例性测试。

图11至图15示出了表示用于实现图1至图10的一个或多个示例性系统的示例机器可读指令的流程图。

图16为可用于实现图11至图15的方法的处理器图。

附图未按比例绘制。相反，为了阐明多个层和区域，层的厚度可以在附图中放大。在所有的一个或多个附图以及附带的书面描述中，尽可能使用相同的附图标记来指代相同或类似的部件。如本专利中所用，指出任何部件(例如，层、膜、区域或板)以任何方式定位在另一部件上(例如，定位在其上、位于其上，设置在其上，或形成在其上，等等)，这意味着被提及的部件与另一部件接触，或者被提及的部件位于另一部件上方，在其间定位有一个或多个中间部件。指出任何部件与另一部件接触意味着两个部件之间不存在中间部件。

发明内容

某些示例提供了用于基于深度学习的图像重建的方法和系统。

某些示例提供了至少一种计算机可读存储介质，所述至少一种计算机可读存储介质包括如下指令，所述指令在被执行时使得至少一个处理器至少：通过以下方式获得器官的多个二维(2D)断层融合投影图像：将x射线发射器旋转到相对于所述器官的多个取向，以及从所述发射器发射第一水平的x射线激励以获得所述多个2D断层融合投影图像中的每个投影图像；根据所述多个2D断层融合投影图像重建所述器官的三维(3D)体积；使用第二水平的x射线激励获得所述器官的x射线图像；基于所述2D合成图像与所述x射线图像之间的相似性度量，根据所述重建的3D体积生成2D合成图像生成算法；以及部署将所述2D合成图像生成算法实例化的模型。

某些示例提供了至少一种计算机可读存储介质，所述至少一种计算机可读存储介质包括如下指令，所述指令在被执行时使得至少一个处理器至少：通过以下方式获得器官的多个二维(2D)断层融合投影图像：将x射线发射器旋转到相对于所述器官的多个取向，以及从所述发射器发射第一水平的x射线激励以获得所述多个2D断层融合投影图像中的每个投影图像；使用第二水平的x射线激励获得所述器官的x射线图像；基于所述体积重投影与所述x射线图像之间的相似性度量，根据所述多个2D断层融合投影图像来生成体积重建算法；以及部署将所述体积重建算法实例化的模型。

某些示例提供了至少一种计算机可读存储介质，所述至少一种计算机可读存储介质包括这样的指令，所述指令在被执行时使得至少一个处理器至少：通过以下方式获得器官的多个二维(2D)断层融合投影图像：将x射线发射器旋转到相对于所述器官的多个取向，以及从所述发射器发射第一水平的x射线激励以获得所述多个投影图像中的每个投影图像；使用第二水平的x射线激励获得所述器官的x射线图像；基于所述图像增强算法的输出与所述x射线图像之间的相似性度量，根据来自所述多个2D断层融合投影图像的中心断层融合投影来生成图像增强算法；以及部署将所述图像增强算法实例化的模型。

某些示例提供了至少一种计算机可读存储介质，所述至少一种计算机可读存储介质包括这样的指令，所述指令在被执行时使得至少一个处理器至少：通过以下方式获得器官的多个二维(2D)断层融合投影图像：将x射线发射器旋转到相对于所述器官的多个取向，以及从所述发射器发射第一水平的x射线激励以获得所述多个投影图像中的每个投影图像；将所述多个2D投影图像降质，以形成一组降质的断层融合投影图像，其似乎已经用比所述第一水平的x射线激励更低水平的x射线激励来采集；根据趋于使所述图像增强算法的输出与所述原始投影之间的相似性度量最小化的所述一组降质的断层融合投影图像来生成图像增强算法；以及部署将所述图像增强算法实例化的模型。

某些示例提供了至少一种计算机可读存储介质，所述至少一种计算机可读存储介质包括这样的指令，所述指令在被执行时使得至少一个处理器至少：通过以下方式获得器官的多个二维(2D)断层融合投影图像：将x射线发射器旋转到相对于所述器官的多个取向，以及从所述发射器发射第一水平的x射线激励以获得所述多个投影图像中的每个投影图像；根据所述多个2D断层融合投影图像重建所述器官的原始三维(3D)体积；将所述多个2D投影图像降质，以形成一组降质的断层融合投影图像，其似乎已经用比所述第一水平的x射线激励更低水平的x射线激励来采集；根据趋于使所述体积重建算法的输出与所述原始3D体积之间的相似性度量最小化的所述一组降质的断层融合投影图像来生成体积重建算法；以及部署将所述体积重建算法实例化的模型。

具体实施方式

在以下详细描述中，参考形成其一部分的附图，并且其中通过图示的方式示出了可实践的具体示例。对这些示例进行了充分详细的描述，以使本领域的技术人员能够实践主题，并且应当理解，可利用其他示例。因此以下详细描述被提供用于描述示例性实施方式，而非被视为对本公开所述的主题的范围进行限制。来自以下描述的不同方面的某些特征可组合形成下文所讨论的主题的新方面。

当介绍本公开的各种实施方案的元件时，词语“一个”、“一种”、“该”和“所述”旨在意指存在这些元件中的一个或多个元件。术语“包含”、“包括”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。

如本文所用，术语“系统”、“单元”、“模块”等可包括操作以执行一个或多个功能的硬件和/或软件系统。例如，模块、单元或系统可包括计算机处理器、控制器和/或基于存储在有形和非暂态计算机可读存储介质(诸如计算机存储器)上的指令来执行操作的其他基于逻辑的设备。另选地，模块、单元或系统可包括基于设备的硬连线逻辑来执行操作的硬连线设备。附图中示出的各种模块、单元、引擎和/或系统可表示基于软件或硬连线指令来操作的硬件、指示硬件执行操作的软件、或其组合。

如本文所用，术语“映射”指示将正在成像的对象中的位置的定位转换为所述对象的所获得的一个或多个图像中的对应位置。另选地或除此之外，映射可指多个图像或视图中的公共点之间的相关性，使得第一图像中的点被映射到其他相关图像中的相同点，使得当形成二维合成图像、三维体积等时，它们的位置坐标是相关的。例如，3D对象中的每个要素(例如像素、体素等)具有在坐标系上的位置。对3D对象中的要素进行映射指示将数据点从所述3D对象转换为生成的2D或3D图像中的对应数据点。

如本文所用，术语“投影”或“投影图像”指示从特定角度或视角发射x射线而获得的图像。可将投影视为映射的特定示例，其中从3D对象的不同角度捕获一组投影图像，并将所述一组投影图像映射或组合/融合以重建体积和/或创建2D合成图像。捕获相对于中心投影(例如，基线投影、直线投影、零角度投影等)的每个投影图像。来自所述投影的所得图像为与原始3D对象大致相同的3D重建图像，或2D合成图像，该2D合成图像将每个投影合并在一起并受益于每个视图中的信息。

如本文所用，术语“采集几何形状”是x射线源相对于3D对象(例如，探测器)的特定路径或移动，以获得一系列2D投影。

虽然下文在医学或医疗保健工作场所的上下文中描述了某些示例，但可在医疗环境之外实现其他示例。

在许多不同的应用中，深度学习技术已经利用了允许机器被给予原始数据并确定数据分类所需的表示的学习方法。深度学习使用用于改变深度学习机器的内部参数(例如，节点权重)的反向传播算法来确定数据集中的结构。深度学习机器可利用多种多层架构和算法。例如，虽然机器学习涉及识别要用于训练网络的特征，但深度学习处理原始数据来识别感兴趣特征而无需外部识别。

神经网络环境中的深度学习包括许多称为神经元的互连节点。由外部来源激活的输入神经元基于受机器参数控制的与其他神经元的连接来激活这些其他神经元。神经网络以基于其自身参数的一定方式起作用。学习改善机器参数，并且广义来说，改善网络中的各神经元之间的连接，使得神经网络以所需方式起作用。

深度学习的操作建立在许多数据集包括高级特征而高级特征又包括低级特征这一理解上。例如，当检查图像时，并不查找对象，更有效的做法是查找边缘，边缘形成模体，模体形成部分，部分形成要寻找的对象。特征的这些层次可见于许多不同形式的数据，诸如语音和文本等。

深度学习技术在医学领域中的一种示例性用途是乳腺X线摄影术。乳腺X线摄影术用于筛选乳腺癌和其他异常。传统上，已在x射线膜上形成乳腺X线照片。然而，最近已经引入了以数字形式采集乳腺X线照片的平板数字成像仪，从而有利于采集图像的分析和存储。此外，大量的关注和技术开发已经致力于获得乳房的三维图像。三维(3D)乳腺X线摄影术也称为数字乳腺断层融合(DBT)。二维(2D)乳腺X线摄影术是全视场数字乳腺X线摄影术，并且2D合成乳腺X线摄影术通过组合DBT体积的各个增强切片(例如，1mm、2mm等)来产生来源于3D数据的2D图片。乳腺断层融合系统根据一系列二维(2D投)影图像重建3D图像体积，每个投影图像是在x射线源的不同角位移处获得的。重建的3D图像体积通常被呈现为多个图像数据切片，所述切片是在平行于成像探测器的平面上几何重建的。

学习到的可观测特征包括机器在监督学习期间学习到的对象和可量化正则性。设置有有效分类的数据的大集合的机器更有条件区分并且提取与新数据的成功分类相关的特征。

深度学习机器可将数据特征正确地连接到由人类专家确认的某些分类。相反，同一机器可在人类专家告知分类错误时更新用于分类的参数。例如，可通过学习到的设置和/或其他配置信息的使用来引导设置和/或其他配置信息，并且当系统被使用更多次(例如，反复使用和/或由多个用户使用)时，对于给定情况而言，可减少设置和/或其他配置信息的变化和/或其他可能性的数量。

例如，可使用专家分类数据集来训练示例性深度学习神经网络。该数据集构建了神经网络的第一参数，并且这将成为监督学习阶段。在监督学习阶段，可测试神经网络是否已实现所需行为。

一旦已实现所需神经网络行为(例如，机器经过训练以根据指定阈值来操作等)，就可部署机器以便使用(例如，使用“真实”数据来测试机器等)。在操作期间，可(例如，由专家用户、专家系统、参考数据库等)确认或拒绝神经网络分类以继续改善神经网络行为。因此，可基于正在进行的交互来更新用于确定神经网络行为的分类参数。在某些示例中，神经网络可向另一个过程提供直接反馈。在某些示例中，神经网络输出的数据先经过缓冲(例如经由云等)和验证，再提供给另一个过程。

使用卷积神经网络(CNN)的深度学习机器可以用于数据分析。CNN分析的各阶段可用于评估和/或以其他方式估计图像投影数据中的像素(i，j)的高度，使用CAD的图像数据中病变的存在等。

深度学习机器可以提供计算机辅助检测支持，以改进针对患者的图像分析以及计算机辅助诊断。例如，监督深度学习可以帮助降低对错误分类的敏感性。深度学习机器可在与医师交互时利用迁移学习夹抵消监督训练中可用的小数据集。这些深度学习机器可随时间推移改进其计算机辅助诊断。

示例性系统和相关联的方法

图1示出了用于获得感兴趣的对象的一个或多个图像的示例性成像系统100。示例性系统100包括面向探测器145的x射线束源140。x射线束源或发射器140和探测器145通过臂144连接。感兴趣的对象132可放置在探测器145与源140之间。在图1的示例中，x射线源140在单个探测器145上方以弧形移动。沿弧形(参见虚线)的探测器145和x射线源140′和140″的多个位置以虚线/实线和透视局部视图示出。在图1的示例中所示的布置中，探测器145固定在所示位置，并且仅x射线源140移动。角度a是由零取向和任何其他取向(诸如141和142)包围的投影角度。使用该配置，可经由至少一个x射线源140采集乳腺(例如，感兴趣的对象132)组织的多个视图。具有最低投影a或最接近零取向的投影被称为近似中心投影或零投影。

仍然参见图1，在左侧示出了包括探测器145和x射线源140的成像系统100的局部透视图。x射线源140、140′和140″的不同位置被广义地描绘以示出x射线源140的移动。存在被指示为直线的包括零投影105在内的九个不同投影视角101、102、102、103、104、106、107、108、109，所述投影视角全部指向探测器145的中心。

患者(未示出)定位在乳腺X线摄影术臂的前面。为了获得例如侧斜位(MLO)视图，乳腺X线摄影术技术人员181设定用于所需投影的角度(30度至60度，其中45度表示图1的透视图中所示的优选零投影)。在常规筛查乳腺X线摄影术期间，倾斜的MLO视图优于侧向90度投影，因为可以使更多的乳腺组织成像。

示出在显示单元170中的感兴趣的对象132是被压迫桨133压迫的乳房，所述压迫桨有助于确保在辐射暴露期间对乳房的均匀压迫和固定，从而获得最佳图像质量。乳房132包括例如作为钙化点的点状对象131，所述点状对象定位为处于垂直于探测器145平面的零取向143中。例如，用户可检查钙化点或其他临床相关结构以进行诊断。显示器170描绘2D乳腺X线摄影术视图，其中主要可检查乳房132的中间部分。

探测器145和x射线源140形成采集单元，所述采集单元经由数据采集线155连接到处理单元150。处理单元150包括存储器单元160，所述存储器单元可例如经由归档线路165连接。

用户诸如医疗专业人员可经由用户界面180输入控制信号。此类信号经由信号线185从用户界面180传输至处理单元150。通过使用示例性系统100，可获得显示为2D乳腺X线照片的增强2D投影图像。基于该高质量图像，放射科医生和/或其他用户可识别与乳房筛查相关的临床征象。此外，可显示历史存储的2D乳腺X线照片，以与通过断层融合获得的新2D投影图像进行比较。可查看断层融合图像并将其归档，并且CAD系统、用户等可提供3D标记。可将从图像数据获得的点状对象或其他对象的高度图与由CAD系统基于3D标记提供的高度信息相组合，所述3D标记是由用户通过3D查看等指示的。此外，用户可决定将2D全体积图像和/或其他图像归档。另选地或除此之外，可自动进行图像的保存和存储。

在某些示例中，存储器单元150可与处理单元150集成和/或分离。存储器单元160允许存储诸如2D增强投影图像和/或断层融合3D图像等数据。一般来讲，存储器单元160可包括计算机可读介质，诸如硬盘或CD-ROM、软盘、ROM/RAM存储器、DVD、数字源，诸如网络或互联网等，处理单元150被配置为执行存储在存储器单元160中的程序指令，所述程序指令使得计算机执行本文所公开和描述的方法和/或实现系统。执行一个或多个方法和/或实现一个或多个系统的一种技术效果是，可以较少使用x射线源，因为增强的2D投影图像可以代替已知的2D乳腺X线照片，所述2D乳腺X线照片通常是使用附加的x射线暴露得到高质量图像而获得的。

图2示出了源/发射器140相对于器官0的示例性移动。当发射器140围绕器官旋转时，发射器140还可以包括光束整形(未示出)以引导X射线通过器官到达探测器145。如图2的示例中所示，对象0位于下部支撑件202和压迫支撑件204之间以压迫所述对象，并且探测器145集成到下部支撑件202中。在其他示例中，对象/器官可以在没有支撑件202和/或204的情况下相对于探测器145定位。例如，发射器140可以围绕器官0旋转到相对于器官0的多个取向。在一个示例中，发射器140可以相对于器官0旋转通过30度的总弧度，或者可以相对于器官0在每个方向(顺时针和逆时针)上旋转30度。应当认识到，这些旋转弧度仅仅是示例，而并不旨在限制可以使用的角度范围。

应当认识到，发射器140可定位到某一位置或与器官0和探测器145中的一者或两者正交。在该正交或中心位置，可以采集全视场数字乳腺X线摄影术(FFDM)，特别是在使用单个发射器140和探测器145来采集FFDM图像和数字乳腺断层融合(DBT)投影图像的示例性配置中时。DBT投影图像是在发射器140绕器官0的不同角度处采集的。可以使用示例性系统100来实现各种成像工作流程。在一个示例中，在与器官正交的位置处获得FFDM图像，并且在相对于器官0的不同角度处采集DBT投影图像，包括在与器官0正交的发射器140位置处采集DBT投影图像。例如，在重建期间，使用DBT投影图像和FFDM图像来重建器官的3D体积。

在一个示例中，在发射器140相对于器官的各种角度处采集DBT投影图像。然而，未在发射器140正交于器官的位置处采集DBT投影图像。相反，采集了FFDM图像。使用DBT投影图像和FFDM图像两者来重建器官的3D体积。

在另一个示例中，在发射器140相对于器官的不同角度处，包括在与器官正交的位置处，采集DBT投影图像。在正交于器官处采集FFDM图像。在重建器官的3D体积期间，FFDM图像代替了用与器官0正交的发射器140采集的DBT投影图像。

在另一个示例中，在发射器140相对于器官的不同角度处围绕器官采集DBT投影图像。如前所述，每个单独的DBT投影图像的激励水平通常低于采集FFDM的X射线能量水平。在该示例中，在整个DBT投影图像采集过程中使用动态激励，使得相对于正交于器官的位置处于最大角度处的DBT投影图像具有最低X射线激励，并且当发射器140相对于器官的角度接近正交时，在采集每个后续DBT投影图像时使用的X射线激励增大，直到正交于器官采集的DBT投影图像接近或等于采集FFDM图像时的X射线能量。

FFDM图像(也称为数字乳腺X线摄影术图像)允许将对象(例如，乳房等)的全视场成像，而不是将所述对象内的小视场(FOV)成像。数字探测器145允许目标对象0的全视场成像，而不是必须移动和组合表示整个对象的各部分的多个图像。

在某些示例中，可以根据断层融合采集数据来生成2D合成图像，并且所得2D合成图像的诊断质量至少与对象的所获得的FFDM图像一样好。为了在2D合成图像中实现该诊断质量分辨率，例如可将机器学习应用于断层融合数据。然而，深度学习算法需要大量真实数据来优化网络模型的内部参数，而收集精确的真实数据是痛苦和高代价的。因此，在某些示例中，可以利用包括DBT和2D乳腺X线摄影术图像的组合案例来训练学习算法(例如，深度学习算法、其他机器学习算法等)。然后，例如可以利用来自多个站点的可能成千上万个案例的组合图像数据来训练网络模型。FFDM采集可以用作“真实图像”，以验证学习网络已经生成了与FFDM图像呈镜像和/或以其他方式高度相似的2D合成图像(例如，在某个伪像/噪声极限和/或其他误差容限内，等等)。在某些示例中，由网络模型输出的2D合成图像可富含体积信息(例如，毛刺包块等)，以产生优于FFDM图像的丰富图像。

因此，在某些示例中，通过以下方式来将器官和/或其他感兴趣的对象成像：通过以下方式获得所述器官的多个2D断层融合投影图像：将x射线发射器140旋转到相对于器官的多个取向，以及从所述发射器140发射第一水平的x射线激励以获得所述多个投影图像中的每个投影图像。然后根据所述多个断层融合投影图像来重建器官的3D体积。使用第二水平的x射线激励来获得器官的x射线图像。采用学习网络模型以通过例如以下方式产生在网络模型中实例化的2D合成图像生成算法：根据趋于降低或最小化2D合成图像与所获得的x射线图像(例如，FFDM图像和/或丰富的FFDM图像等)之间的相似性度量的3D体积和/或2D投影进行相关。

在某些示例中，3D体积的每个平面与2Dx射线图像的图像几何形状匹配。通过以下方式来促进通过深度学习和/或其他机器学习网络进行学习：使用锥形重建来重建3D体积(例如，在平面中对象与它们的实际大小相比被放大，就像源位于距探测器平面无限距离处一样)。通过使用锥形重建，选择过程并行进行，并且不需要几何转换。例如，根据combo-FFDM采集(例如，其可能不同于DBT中心投影)的源位置来重建3D体积。

在某些示例中，可提取3D体积的区域，并且可利用从3D体积提取的区域来增强2D合成图像，以用提取区域的位置来丰富2D合成图像至3D体积的映射。由网络提供的2D合成图像可富含仅在3D体积中可见的信息(诸如毛刺包块等)，以优于FFDM。

在某些示例中，通过以下方式来将患者的器官成像：通过以下方式获得所述器官的多个2D断层融合投影图像：将x射线发射器140旋转到相对于器官的多个取向，以及从所述发射器140发射第一水平的x射线激励以获得所述多个投影图像中的每个投影图像。然后可以用第二水平的x射线激励来获得器官的x射线图像。由模型根据断层融合投影来学习体积重建算法，所述断层融合投影趋于最小化或以其他方式减小体积重投影与x射线图像之间的相似性度量。

在某些示例中，通过以下方式来将器官和/或其他靶标成像：通过以下方式获得所述器官的多个2D断层融合投影图像：将x射线发射器140旋转到相对于器官的多个取向，以及从所述发射器140发射第一水平的x射线激励以获得所述多个投影图像中的每个投影图像。使用第二水平的x射线激励来获得器官的x射线图像。例如，由学习网络根据中央断层融合投影来学习图像增强算法，所述中央断层融合投影趋于减少或最小化算法输出与x射线图像之间的相似性度量。在测试阶段期间，仅采集断层融合投影(无combo)。将图像增强算法应用于该组断层融合投影。根据增强的投影来重建增强的体积。例如，根据增强的投影/体积来计算2D合成图像。

在某些示例中，可通过以下方式来将器官成像：通过以下方式获得所述器官的多个2D断层融合投影图像：将x射线发射器140旋转到相对于器官的多个取向，以及从所述发射器140发射第一水平的x射线激励以获得所述多个投影图像中的每个投影图像。在某些示例中，可使投影图像降质，就像所述图像是用较低剂量采集的一样。由网络根据降质的断层融合投影来学习图像增强算法，所述降质的断层融合投影趋于最小化或以其他方式减小算法输出与初始投影之间的相似性度量。在测试阶段期间，执行低剂量的断层融合采集。将图像增强算法应用于该组断层融合投影。根据增强的投影来重建改良的体积。例如，根据增强的投影/体积来计算2D合成图像。

在某些示例中，通过以下方式来将器官成像：通过以下方式获得所述器官的多个2D断层融合投影图像：将x射线发射器140旋转到相对于器官的多个取向，以及从所述发射器140发射第一水平的x射线激励以获得所述多个投影图像中的每个投影图像。根据多个断层融合投影图像来重建器官的原始3D体积。可将投影图像降质，就像它们是用较低剂量采集的一样。例如，由神经网络根据所述降质的投影来学习/在其中实例化体积重建算法，所述降质的投影趋于最小化或减小重建输出与原始体积之间的相似性度量。

在某些示例中，通过利用包括多个图像采集的多个采集中的FFDM图像来获得更高剂量的图像。在某些示例中，机器学习算法优化和/或以其他方式改进其内部参数(例如，神经网络模型的内部参数，等等)，以最小化或减少2D合成图像输出与combo-FFDM图像之间的相似性度量。

先前的2D合成图像被认为比FFDM图像具有更低的图像质量。因此，女性同时经历了DBT和FFDM采集，这使得递送到患者的辐射剂量加倍。通过生成至少具有与FFDM图像一样好的图像质量的2D合成图像，某些示例提供了对2D合成图像生成的技术改进，减少了患者辐射暴露，减少了成像和分析时间，并且有助于采用全3D方案来进行图像采集、处理和查看。

在先前的2D合成图像生成中，中心投影被认为是使用来自其他投影的信息来增强的基线。然而，该方法有许多缺点。例如，基线很嘈杂，因为中心投影是低剂量的DBT投影图像。噪声导致了最终的2D合成图像中的非期望的噪声。此外，随着新一代DBT系统的开发，投影的数量可能会增加以避免涟波伪影。总剂量预算将保持不变，但每次投影的剂量将增大。因此，依靠中心投影作为基线可能是有挑战性的。

类似FFDM的图像可用作有用的可靠基线。然而，设计算法以根据DBT采集生成看起来像FFDM采集的图像是一项具有挑战性的任务。某些示例利用机器学习来生成此类图像。因此，机器学习算法可以处理一个或多个投影图像，以将一个或多个图像渲染为FFDM合成图像(例如，对一个或多个投影图像去噪等)。

图3示出了示例性图像处理系统300，所述图像处理系统包括图像采集单元310、数据存储库320、模型训练器330、建模器340、输出处理器350和反馈单元360。在某些示例中，图像采集单元310包括成像系统100，和/或与成像系统100通信以接收和/或以其他方式获取图像数据(例如，FFDM图像、DBT图像数据、其他图像数据等)。图像数据存储在数据存储库320中(例如，在数据库、数据结构、硬盘驱动器、固态存储器、闪存存储器、其他计算机存储器等中)。

训练器330和建模器340从数据存储库320接收图像和/或其他数据。训练器330训练和测试要在建模器340中作为模型部署的深度学习网络和/或其他机器学习网络(例如，卷积神经网络、递归神经网络、随机森林等)。经训练的网络模型由建模器340用于处理来自数据存储库320的图像数据，以生成与对象的实际捕获图像(例如，FFDM图像等)高度相似的所述对象的合成图像。用于训练和测试所生成的网络的图像输入包括断层融合图像数据、重建体积图像数据、2D乳腺X线照片数据、投影图像数据、FFDM图像数据等。

建模器340使用所部署的人工智能模型(例如，神经网络、随机森林等)来处理引入的图像数据并形成具有与实际采集的数字图像(例如，FFDM图像等)类似的足够诊断质量的合成图像。将由建模器340生成的合成图像提供到输出处理器350以生成图像输出，所述图像输出用于由另一个系统显示、存储、处理(例如，用于计算机辅助诊断以检测病变、肿瘤等)，与另一设备(例如，平板电脑或智能电话等)通信等。

来自图像输出的反馈由反馈单元360捕获并且可被提供到训练器330，所述训练器可利用所述反馈来改善人工智能模型。反馈可用于训练和/或测试模型，并且可用于周期性地触发训练器330对模型的再生，以将其部署到建模器340。

图4示出了训练器330和建模器340的示例性实施方式。如图4的示例中所示，训练器330包括输入处理器410、训练网络420、输出验证器430和反馈处理器440。示例性建模器340包括预处理器450、部署的模型460，以及后处理器470。在图4的示例中，向输入处理器410提供诸如FFDM图像、DBT图像数据、其他图像数据等输入，所述输入处理器准备待输入到训练网络420的数据。例如，数据可经过滤、补充和/或以其他方式改变，以准备待输入到网络420的图像数据(例如，图像数据像素和/或体素值等)。

示例性训练网络420处理来自输入处理器410的输入数据并生成输出，所述输出由输出验证器430验证。因此，训练网络420形成连接并处理图像数据以动态地形成学习算法，所述学习算法获得输入图像数据并生成合成图像，所述合成图像具有足够的诊断质量以匹配或超过全数字图像(诸如，FFDM图像)的诊断质量。经验证的输出430可将从训练网络420输出的合成图像数据与从数据存储库320提供的真实FFDM图像数据进行比较，以验证例如网络420的准确性。如果网络420的输出不准确(例如，不具有足够的诊断质量)，则可改进所述网络420(例如，通过调节网络权重、改变节点连接等)，以更新所述网络420并重新处理输入数据以生成另一组输出的合成图像数据来供例如评估。一旦已经由输出验证器430验证了训练网络420的输出图像质量，则训练网络420可用于生成并部署用于建模器340的网络模型460。

可定期向反馈处理器440提供反馈，所述反馈处理器处理所述反馈并评估是否要触发网络420的更新或再生。例如，如果所部署的网络模型460的合成图像输出继续为准确的，则可能不需要更新。然而，例如如果网络模型460的合成图像输出变得不准确，则可触发网络429的再生或其他更新以部署经更新的网络模型460(例如，基于附加数据、新约束、更新的配置等)。

经部署的网络模型460由建模器340用于处理输入图像数据并将所述图像数据转换为合成图像(例如，2D合成图像等)。诸如来自数据存储装置320等的输入数据由预处理器450准备，以馈送到网络模型460(例如，深度学习网络模型、机器学习模型、其他网络模型等)中。例如，在将图像数据提供到网络模型460之前，可由预处理器450调节输入图像数据以调节对比度、亮度、水平、伪影/噪声等。模型460处理来自预处理器450的图像数据以构建合成图像数据。从模型460输出的合成图像数据由后处理器470进行后处理，所述后处理器470可清理、组织和/或以其他方式修改从模型460输出的数据，以便形成2D合成图像。在某些示例中，后处理器470可在合成图像被存储、显示、传送至另一个系统等之前验证和/或以其他方式对输出图像数据执行质量检查。

图5是示例性深度学习神经网络500的表示。示例性神经网络500包括层520、540、560和580。层520和540使用神经连接540来连接。层540和560使用神经连接550来连接。层560和580使用神经连接570来连接。数据经由输入512、514、516从输入层520向前流到输出层580并到达输出590。

层520是输入层，其在图5的示例中包括多个节点522、524、526。层540和560是隐藏层，并且在图5的示例中包括节点542、544、546、548、562、564、566、568。神经网络500可包括比所示更多或更少的隐藏层540和560。层580是输出层，并且在图5的示例中包括具有输出590的节点582。每个输入512-516对应于输入层520的节点522-526，并且输入层520的每个节点522-526具有到隐藏层540的每个节点542-548的连接530。隐藏层540的每个节点542-548具有到隐藏层560的每个节点562-568的连接550。隐藏层560的每个节点562-568具有到输出层580的连接570。输出层580具有输出590以提供来自示例性神经网络500的输出。

在连接530、550和570中，某些示例性连接532、552、572可被赋予增加的权重，而其他示例性连接534、554、574可在神经网络500中被赋予较小的权重。例如，通过经由输入512-516接收输入数据来激活输入节点522-526。通过数据分别经由连接530和550向前流过网络500来激活隐藏层540和560的节点542-548和562-568。在经由连接570发送在隐藏层540和560中处理的数据之后，激活输出层580的节点582。当输出层580的输出节点582被激活时，节点582基于在神经网络500的隐藏层540和560中完成的处理来输出适当的值。

图6示出了作为卷积神经网络600的示例性神经网络500的特定实施方式。如图6的示例中所示，将输入510提供给第一层520，该第一层处理输入510并将该输入传播到第二层540。输入510在第二层540中被进一步处理并被传播到第三层560。第三层560对数据进行分类以便提供给输出层580。更具体地，如图6的示例中所示，将卷积604(例如，5×5卷积等)应用于第一层520中的输入510(例如，32×32数据输入等)的部分或窗口(也称为“接受域”)602以提供特征映射606(例如，(6×)28×28特征映射等)。卷积604将来自输入610的元素映射到特征映射606。第一层520还提供子采样(例如，2×2子采样等)以生成减小的特征映射610(例如，(6×)14×14特征映射等)。特征映射610发生卷积612并且从第一层520传播到第二层540，在第二层中，特征映射610变为扩展的特征映射614(例如，(16×)10×10特征映射等)。在第二层540中的子采样616之后，特征映射614变为减小的特征映射618(例如，(16×)4×5特征映射等)。特征映射618发生卷积620并且传播到第三层560，在第三层中，特征映射618变为分类层622，从而形成例如具有到卷积层622的连接626的N个类别的输出层624。

图7是图像分析卷积神经网络700的示例性实施方式的表示。卷积神经网络700接收输入图像数据702，并且在卷积层704中将该图像数据抽象化以识别学习到的特征710-722。在第二卷积层730中，图像数据被变换为多个图像730-738，其中学习到的特征710-722各自在相应子图像730-738中加强。进一步处理图像730-738以聚焦于图像740-748中的感兴趣特征710-722。然后通过池化层处理所得图像740-748，该池化层减小图像740-748的尺寸以分离包括感兴趣特征710-722在内的图像740-748的部分750-754。卷积神经网络700的输出750-754从最后非输出层接收值，并且基于从最后非输出层接收到的数据对图像进行分类。在某些示例中，卷积神经网络700可包含卷积层、池化层、学习到的特征和输出等的许多不同变型。

图8示出了应用深度学习网络来处理和/或以其他方式评估图像的示例性配置800。深度学习可应用于多种过程，包括图像采集、图像重建、图像分析/诊断等。如图8的示例性配置800中所示，原始数据810(例如，从成像扫描仪诸如x射线、计算机断层扫描、超声、磁共振等扫描仪获得的原始数据810，诸如声谱图原始数据)被馈入深度学习网络820。深度学习网络820处理数据810以将原始图像数据810关联和/或以其他方式合并到所得图像830(例如，“良好质量”图像和/或其他提供足够诊断质量的图像等)中。深度学习网络820包括节点和连接(例如，路径)以将原始数据810与完成的图像830相关联。例如，深度学习网络820可为训练深度学习网络(例如，训练网络420)，其学习这些连接并且处理反馈以建立连接并识别模式。例如，深度学习网络820可为部署的深度学习网络(例如，部署的网络模型460)，其由训练网络生成，并且利用在训练网络中建立的连接和模式来获取输入原始数据810并生成所得图像830。

一旦DLN 820经过训练并从原始图像数据810产生良好图像830，网络820就可继续“自学习”过程并且在操作时改善其性能。例如，输入数据(原始数据)810中存在“冗余”，网络820中存在冗余，并且可利用该冗余。

如果检查分配给DLN 820中的节点的权重，则可能存在许多具有极低权重的连接和节点。低权重指示这些连接和节点对DLN 820的整体性能的贡献很少。因此，这些连接和节点是冗余的。可评估此类冗余以减少输入(原始数据)810中的冗余。例如，减少输入810冗余可节省扫描仪硬件，降低对部件的要求，并且还减少对患者的暴露剂量。

在部署中，配置800形成包800，其包括输入定义810、经训练的网络820和输出定义830。可相对于诸如成像系统、分析引擎等另一个系统来部署并安装包800。

图9示出了使用DBT采集910提供体积图像数据920而进行的训练网络420的示例性训练900。将体积图像数据920提供作为训练网络420的输入，所述训练网络包括一个或多个最大池化层930和一个或多个完全连接的层940以生成输出950。将输出950与从真实的FDMcombo采集970获得的FFDM图像960进行比较。学习网络参数以减小或最小化FFDM图像960与网络420的输出950之间的误差。例如，输出图像950与FFDM真实图像960之间的误差可被定量为诸如以下的误差测量值或相似性度量：

误差＝∑_{训练_集}∑_x，y[输出(x，y)-FFDM(x，y，)]² (等式1)。

如图10所示，一旦输出图像950与真实FFDM图像960相比具有近似为零和/或小于某个阈值(例如，小于0.5、小于0.05、小于1％等)的相似性度量，则网络420被视为经训练的并且可被测试。在误差阈值被满足之前，可继续训练网络420并修改网络参数以动态地形成在网络420中实例化的图像处理算法。使用附加DBT采集1010来测试经训练的网络，所述附加DBT采集用于提取图像的新体积1020，以提供给经训练的网络420来生成2D合成图像1030作为网络420的各层(例如，包括最大池化层930和完全连接的层940等)的输出1030。可评估合成图像1030以帮助确保经训练的网络420的准确性。如果测试图像评估满足误差阈值/相似性度量(例如，由等式1设置的与针对图9相同的误差阈值/相似性度量，或者用于测试的更严格的阈值，等等)，则经训练的网络420可用于生成模型，所述模型将被部署为经部署的网络模型460。

虽然图4至图10中示出了图3的示例性系统300的示例性实施方式，但是图3至图10中所示的一个或多个元件、过程和/或设备可以以任何其他方式组合、划分、重新布置，省略、消除和/或实现。例如，虽然图3至图10的元件被单独示出，但是在某些示例中，图3至图10可以经组合并实现为容纳用于2D和/或3D图像生成的多个图形元素(诸如体素、像素等)的单个系统。在某些示例中，图3至图10的示例性图像采集单元310、数据存储库320、训练器330、建模器340、输出处理器350、反馈单元360和/或更一般地示例性系统300中的一者或多者，可以通过硬件、软件、固件，和/或硬件、软件和/或固件的任意组合来实现。因此，例如，图3至图10的示例性图像采集单元310、数据存储库320、训练器330、建模器340、输出处理器350、反馈单元360和/或更一般地示例性系统300中的任何一者，可由一个或多个模拟或数字电路、逻辑电路、一个或多个可编程处理器、一个或多个专用集成电路(ASIC)、一个或多个可编程逻辑设备(PLD)和/或现场可编程逻辑设备(FPLD)来实现。当读到本专利中的任一项覆盖纯粹的软件和/或固件实现的装置或系统权利要求时，图3至图10的示例图像采集单元310、数据存储库320、训练器330、建模器340、输出处理器350、反馈单元360和/或更一般地示例性系统300中的至少一者在此明确地被定义为包括存储软件和/或固件的有形计算机可读存储设备或存储盘，诸如存储器、数字通用盘(DVD)、压缩盘(CD)、蓝光盘等。此外，图3至图10的示例性系统300可包括一个或多个元件、过程和/或设备，作为图3至图10中所示的那些的补充或替代，和/或可以包括所示元件、过程和设备中的任何一者或全部中的一不止一者。

图11至图15示出了表示用于实现图3至图10的示例性系统300的示例性机器可读指令的流程图。在该示例中，机器可读指令包括供处理器(诸如下文结合图11至图15讨论的示例性处理器平台1600中所示的处理器1612)执行的程序。该程序可体现在有形计算机可读存储介质(诸如CD-ROM、软盘、硬盘驱动器、数字通用盘(DVD)、蓝光盘或与处理器1612相关联的存储器)上存储的软件中，但整个程序和/或其部分可另选地由除处理器1612之外的设备执行和/或体现在固件或专用硬件中。此外，尽管参考图11至图15中所示的流程图描述了示例性程序，但是可以另选地使用实现示例性系统300的许多其他方法。例如，可改变框的执行顺序，和/或可改变、消除或组合所述的一些框。

如上所述，图11至图15的示例性过程可使用存储在有形计算机可读存储介质上的编码指令(例如，计算机和/或机器可读指令)来实现，所述有形计算机可读存储介质诸如硬盘驱动器、闪存存储器、只读存储器(ROM)、光盘(CD)、数字通用光盘(DVD)、高速缓存、随机存取存储器(RAM)和/或任何其他存储设备或存储盘，其中信息被存储任何持续时间(例如，延长的时间段、永久、短暂、用于暂时缓冲和/或用于信息的高速缓存)。如本文所用，术语有形计算机可读存储介质明确地被定义为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号且排除传输介质。如本文所用，“有形计算机可读存储介质”和“有形机器可读存储介质”可互换使用。除此之外或另选地，图11至图15的示例性过程可使用存储在非暂态计算机和/或机器可读介质上的编码指令(例如，计算机和/或机器可读指令)来实现，该非暂态计算机和/或机器可读介质诸如为将信息存储任何持续时间(例如，存储延长时间段、永久、短暂、用于暂时缓冲和/或用于信息的高速缓存)的硬盘驱动器、闪存存储器、只读存储器、压缩盘、数字通用盘、高速缓存、随机存取存储器和/或任何其他存储设备或存储盘。如本文所用，术语非暂态计算机可读介质明确地被定义为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号并且排除传输介质。如本文所用，当短语“至少”用作权利要求前序中的过渡性术语时，与术语“包含”是开放式的一样，其也是开放式的。

图11是表示用于对诸如患者器官等对象进行成像的示例性方法1100的流程图。在框1110处，以第一水平的激励获得器官和/或其他对象的多个投影图像。例如，通过以下方式来获得器官的多个2D断层融合投影图像：将x射线发射器140旋转到相对于器官的多个取向，以及从所述发射器140发射第一水平的x射线激励以获得所述多个投影图像中的每个投影图像。

在框1120处，根据投影图像重建对象的体积。例如，器官的3D体积可根据多个2D断层融合投影图像来重建。

在框1130处，以第二水平的x射线激励获得对象的x射线图像。例如，可使用比用于获得投影图像的水平更高水平的x射线激励来获得器官的x射线图像，诸如FFDM图像等。

在某些示例中，将x射线图像配准以适配断层融合投影图像的几何形状(例如，采集几何形状)。在某些示例中，在对器官的相同压迫期间(例如，在对患者乳房的相同压迫期间，等等)获得x射线图像和多个断层融合投影图像。在某些示例中，通过以下方式利用接收从x射线发射器140发射的x射线的探测器145来获得多个2D断层融合投影图像和x射线图像：对多个2D投影图像和/或x射线图像施加动态范围校正因子，以调节和/或以其他方式校正可能引入投影图像和/或x射线图像中的噪声。在某些示例中，重建的3D体积的每个平面与x射线图像的几何形状匹配。

在框1140处，根据体积和/或投影图像，基于所述体积/投影图像与x射线图像之间的相似性度量来生成合成图像生成算法。例如，根据趋于最小化或以其他方式减小所得2D合成图像与x射线图像之间的相似性度量的体积和/或投影来生成2D合成图像生成算法。

例如，可对体积和x射线图像进行分析和比较，使得3D体积的每个平面与x射线图像的几何形状匹配。在某些示例中，使用锥形重建来重建体积，其中在平面中对象与其实际尺寸相比被放大。因此，基础选择过程是并行的并且不需要几何变换。例如，可根据combo-FFDM采集(其可能不同于DBT中心投影)的源位置来重建体积。

在某些示例中，将2D合成图像的每个像素映射到3D体积中的至少一个体素，并且经由在图形显示器上提供的图形用户界面(GUI)来呈现2D合成图像。可接收用户对x射线图像中感兴趣的对象的选择并用于识别穿过3D体积的至少一个平面。可在图形显示器上呈现一个或多个识别的平面。在某些示例中，2D合成图像可利用从3D体积提取的区域来增强。例如，2D合成图像至3D体积的映射可富含提取区域的一个或多个位置。

在框1150处，将所生成的算法部署在模型中以用于生成合成图像。例如，将合成图像生成算法部署在模型460中以生成合成图像。

在某些示例中，生成算法包括提取3D体积的区域，用从3D体积提取的区域来增强2D合成图像，以及利用提取区域的位置来丰富2D合成图像至3D体积的映射。在某些示例中，由网络460提供的2D合成图像可富含在体积中作为毛刺包块可见的信息，以优于FFDM。

图12是表示用于对诸如患者器官等对象进行成像的示例性方法1200的流程图。在框1210处，以第一水平的激励获得器官和/或其他对象的多个投影图像。例如，通过以下方式来获得器官的多个2D断层融合投影图像：将x射线发射器140旋转到相对于器官的多个取向，以及从所述发射器140发射第一水平的x射线激励以获得所述多个投影图像中的每个投影图像。

在框1220处，以第二水平的x射线激励获得对象的x射线图像。例如，可使用比用于获得投影图像的水平更高水平的x射线激励来获得器官的x射线图像，诸如FFDM图像等。

在框1230处，根据投影图像，基于所得体积重投影与x射线图像之间的相似性度量来生成体积重建算法。例如，根据趋于最小化或以其他方式减小所得体积重投影与x射线图像之间的相似性度量的投影来生成体积重建算法。

在框1240处，将所生成的算法部署在模型中以用于生成合成图像。例如，将体积重建算法部署在模型460中，以根据断层融合投影图像生成体积重投影。

图13A至图13B是表示用于对诸如患者器官等对象进行成像的示例性方法1300、1350的流程图。在框1310处，以第一水平的激励获得器官和/或其他对象的多个投影图像。例如，通过以下方式来获得器官的多个2D断层融合投影图像：将x射线发射器140旋转到相对于器官的多个取向，以及从所述发射器140发射第一水平的x射线激励以获得所述多个投影图像中的每个投影图像。

在框1320处，以第二水平的x射线激励获得对象的x射线图像。例如，可使用比用于获得投影图像的水平更高水平的x射线激励来获得器官的x射线图像，诸如FFDM图像等。

在框1330处，根据中心断层融合投影图像，基于算法的输出与中心投影之间的相似性度量来生成图像增强算法。例如，根据所述一组投影中的中心断层融合投影来生成图像增强算法，所述中心断层融合投影趋于最小化或以其他方式减小算法的输出与x射线图像之间的相似性度量。使用训练模型420来形成(例如，训练和测试)算法。

在框1340处，将所生成的算法部署在模型中以用于生成合成图像。例如，将图像增强算法部署在模型460中以生成合成图像。

在框1360处，将图像增强算法应用于一组断层融合投影。例如，根据在模型460中实例化的图像增强算法来修改在所述一组断层融合投影中获得的数据。因此，例如，可通过使投影经过反映图像增强算法的模型460来修改所述投影的像素和/或其他强度值。

在框1370处，根据所述一组增强的断层融合投影来重建增强的3D体积。例如，使用由模型460的算法增强的所述一组2D投影来形成3D体积。

在框1380处，根据增强的投影和/或体积来形成2D合成图像。例如，可以根据增强的断层融合投影和/或重建的3D体积来合成2D图像，以形成诊断图像。

图14A至图14B是表示用于对诸如患者器官等对象进行成像的示例性方法1400、1450的流程图。在框1410处，以第一水平的激励获得器官和/或其他对象的多个投影图像。例如，通过以下方式来获得器官的多个2D断层融合投影图像：将x射线发射器140旋转到相对于器官的多个取向，以及从所述发射器140发射第一水平的x射线激励以获得所述多个投影图像中的每个投影图像。

在框1420处，将投影图像降质以类似于在较低水平的激励下采集的投影图像。例如，将2D断层融合投影图像降质(例如，通过引入噪声、其他滤波等)，以显示为以比获得一组原始投影所用的更低的x射线剂量采集的图像。

在框1430处，根据所述一组降质的投影图像，基于算法的输出与一组原始投影之间的相似性度量来生成图像增强算法。例如，根据趋于最小化或以其他方式减小算法的输出与一组原始断层融合投影之间的相似性度量的一组降质的断层融合投影来生成图像增强算法。使用训练模型420来形成(例如，训练和测试)算法。

在框1440处，将所生成的算法部署在模型中以用于生成合成图像。例如，将图像增强算法部署在模型460中以生成合成图像。

在框1460处，将图像增强算法应用于来自低剂量断层融合采集的一组断层融合投影。例如，根据在模型460中实例化的图像增强算法来修改在所述一组断层融合投影中获得的数据。因此，例如，可通过使投影经过反映图像增强算法的模型460来修改所述投影的像素和/或其他强度值。

在框1470处，根据一组增强的断层融合投影来重建改善的3D体积。例如，使用由模型460的算法增强的所述一组2D投影来形成3D体积。

在框1480处，根据增强的投影和/或体积来形成2D合成图像。例如，可以根据增强的断层融合投影和/或重建的3D体积来合成2D图像，以形成诊断图像。

图15是表示用于对诸如患者器官等对象进行成像的示例性方法1500的流程图。在框1510处，以第一水平的激励获得器官和/或其他对象的多个投影图像。例如，通过以下方式来获得器官的多个2D断层融合投影图像：将x射线发射器140旋转到相对于器官的多个取向，以及从所述发射器140发射第一水平的x射线激励以获得所述多个投影图像中的每个投影图像。

在框1520处，根据投影图像重建对象的第一体积。例如，器官的3D体积可根据多个2D断层融合投影图像来重建。

在框1530处，将投影图像降质以类似于在较低水平的激励下采集的投影图像。例如，将2D断层融合投影图像降质(例如，通过引入噪声、其他滤波等)，以显示为以比获得一组原始投影所用的更低的x射线剂量采集的图像。

在框1540处，根据降质的投影图像，基于算法的重建输出与第一体积之间的相似性度量来生成体积重建算法。例如，根据趋于最小化或以其他方式减小来自重建算法的第二体积输出与第一体积重构之间的相似性度量的降质断层融合投影来生成体积重建算法。使用训练模型420来形成(例如，训练和测试)算法。

在框1550处，将所生成的算法部署在模型中以用于生成合成图像。例如，将体积重建算法部署在模型460中以生成合成图像。

图16是能够执行图11至图15的指令以实现图1至图10的示例性系统300的示例性处理器平台1600的框图。处理器平台1600可为例如服务器、个人计算机、移动设备(例如，手机、智能电话、诸如iPad^TM的平板电脑)、个人数字助理(PDA)、互联网设备、DVD播放器、CD播放器、数字视频录像机、蓝光播放器、游戏机、个人视频录像机、机顶盒，或任何其他类型的计算设备。

所示示例的处理器平台1600包括处理器1612。所示示例的处理器1612是硬件。例如，处理器1612可由来自任何所需产品系列或制造商的一个或多个集成电路、逻辑电路、微处理器或控制器来实现。

所示示例的处理器1612包括本地存储器1613(例如，高速缓存)。所示示例的处理器1612经由总线1618与包括易失性存储器1614和非易失性存储器1616的主存储器通信。易失性存储器1614可由同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、RAMBUS动态随机存取存储器(RDRAM)和/或任何其他类型的随机存取存储器设备来实现。非易失性存储器1616可由闪存存储器和/或任何其他所需类型的存储器设备来实现。由存储器控制器控制对主存储器1614、1616的存取。

所示示例的处理器平台1600还包括接口电路1620。接口电路1620可由任何类型的接口标准诸如以太网接口、通用串行总线(USB)和/或PCIexpress接口来实现。

在所示示例中，一个或多个输入设备1622连接到接口电路1620。一个或多个输入设备1622允许用户将数据和命令输入到处理器1612中。一个或多个输入设备可由例如音频传感器、麦克风、相机(静物相机或摄像机)、键盘、按钮、鼠标、触摸屏、触控板、轨迹球、isopoint和/或语音识别系统来实现。

一个或多个输出设备1624也连接到所示示例的接口电路1620。输出设备1624可例如由显示设备(例如，发光二极管(LED)、有机发光二极管(OLED)、液晶显示器、阴极射线管显示器(CRT)、触摸屏、触觉输出设备、打印机和/或扬声器)来实现。因此，所示示例的接口电路1620通常包括图形驱动器卡、图形驱动器芯片或图形驱动器处理器。

所示示例的接口电路1620还包括通信设备，诸如发射器、接收器、收发器、调制解调器和/或网络接口卡，以促进经由网络1626(例如，以太网连接、数字用户线(DSL)、电话线、同轴电缆、蜂窝电话系统等)来与外部机器(例如，任何种类的计算设备)交换数据。

所示示例的处理器平台1600还包括用于存储软件和/或数据的一个或多个大容量存储设备1628。此类大容量存储设备1628的示例包括软盘驱动器、硬盘驱动器、压缩盘驱动器、蓝光盘驱动器、RAID系统以及数字通用光盘(DVD)驱动器。

图11至图15的编码指令1632可存储在大容量存储设备1628中、易失性存储器1614中、非易失性存储器1616中和/或可移除的有形计算机可读存储介质诸如CD或DVD上。

根据上述内容，应当理解，上述所公开的方法、装置和制品有助于根据诸如DBT投影数据等投影数据来改善图像重建和生成2D和/或3D图像。某些示例有助于对图像信息的建模进行改进，以有助于根据可用的投影信息进行2D合成图像生成。某些示例减轻了对特定等式的依赖，以替代地利用建模和学习来根据可用图像投影信息生成2D和/或3D图像。某些示例有助于改善人工智能技术对图像重建的应用。某些示例提供了对被配置用于对图像数据，诸如根据图像投影数据(例如，DBT等)生成的2D和/或3D图像等等进行建模、处理和重建的处理器的技术改进。

例如，在DBT/CE-DBT中，重建直接影响供放射科医生查看的数据的内容，并由此影响所得诊断。尽管现今的算法趋于优化重建切片的质量(例如，降噪、减轻条纹伪影等)，但是这些算法中引入的先验知识通常仅部分解决了导致不完美重建数据的缺陷。另外，这些精细算法通常是复杂的，并且需要强大的计算能力。因此，理想重建的设计受算法设计者的知识限制。然而，对于给定体素，重建算法可简单地被视为将重建的灰度与从投影提取的一组输入灰度相关联的映射函数。

虽然本文已公开了某些示例性方法、装置和制品，但本专利的覆盖范围不限于此。相反，本专利覆盖合理落入本专利的权利要求书的范围内的所有方法、装置和制品。

Claims

1.至少一种计算机可读存储介质，所述至少一种计算机可读存储介质包括指令，所述指令在被执行时使得至少一个处理器至少：

通过以下方式获得器官的多个二维(2D)断层融合投影图像：将x射线发射器旋转到相对于所述器官的多个取向，以及从所述发射器发射第一水平的x射线激励以获得所述多个2D断层融合投影图像中的每个投影图像；

根据所述多个2D断层融合投影图像重建所述器官的三维(3D)体积；

使用第二水平的x射线激励获得所述器官的x射线图像；

基于所述2D合成图像与所述x射线图像之间的相似性度量，根据所述多个二维(2D)断层融合投影图像或所述重建的3D体积中的至少一者来生成2D合成图像生成算法；以及

部署将所述2D合成图像生成算法实例化的模型。

2.根据权利要求1所述的至少一种计算机可读存储介质，其中所述x射线图像经配准以适配所述多个2D断层融合投影图像的几何形状。

3.根据权利要求1所述的至少一种计算机可读存储介质，其中所述器官的所述多个2D断层融合投影图像和所述器官的所述x射线图像将在对所述器官的相同压迫期间获得。

4.根据权利要求1所述的至少一种计算机可读存储介质，其中所述多个2D断层融合投影图像和所述x射线图像还可用接收从所述x射线发射器发射的x射线的探测器获得，所述指令在被执行时进一步使得所述至少一个处理器：

向所述多个2D投影图像或所述x射线图像中的至少一者施加动态范围校正因子。

5.根据权利要求1所述的至少一种计算机可读存储介质，其中所述重建的3D体积的每个平面与所述x射线图像的几何形状匹配。

6.根据权利要求1所述的至少一种计算机可读存储介质，其中所述指令在被执行时进一步使得所述至少一个处理器：

将所述2D合成图像的每个像素映射到所述重建的3D体积中的至少一个体素；

在图形显示器上生成的图形用户界面(GUI)中呈现所述2D合成图像；

接收用户对所述x射线图像中的感兴趣的对象的选择；

识别穿过所述3D体积的至少一个平面；以及

在所述图形显示器上呈现所述至少一个识别的平面。

7.根据权利要求1所述的至少一种计算机可读存储介质，其中所述指令在被执行时进一步使得所述至少一个处理器：

提取所述重建的3D体积的区域；以及

用从所述重建的3D体积提取的所述区域来增强所述2D合成图像；以及

使用所述提取的区域的所述位置来丰富所述2D合成图像至所述重建的3D体积的映射。

8.根据权利要求1所述的至少一种计算机可读存储介质，其中所述指令在被执行时进一步使得所述至少一个处理器：

提取所述重建的3D体积的区域；以及

用从所述重建的3D体积提取的所述区域来增强所述x射线图像，

其中基于所述2D合成图像与所述增强的x射线图像之间的相似性度量，根据所述重建的3D体积来生成所述2D合成图像生成算法。

9.根据权利要求1所述的至少一种计算机可读存储介质，其中用于获得所述x射线图像的能量高于用于获得所述多个二维(2D)断层融合投影图像的能量。

10.根据权利要求1所述的至少一种计算机可读存储介质，其中生成所述2D合成图像生成算法包括使用训练模型来确定所述2D合成图像生成算法，使得所述2D合成图像生成算法趋于最小化所述2D合成图像与所述x射线图像之间的所述相似性度量。

11.根据权利要求1所述的至少一种计算机可读存储介质，其中所述模型包括人工神经网络模型。

12.至少一种计算机可读存储介质，所述至少一种计算机可读存储介质包括指令，所述指令在被执行时使得至少一个处理器至少：

使用第二水平的x射线激励获得所述器官的x射线图像；

基于至少所述体积重投影与所述x射线图像之间的相似性度量，根据所述多个2D断层融合投影图像来生成体积重建算法；以及

部署将所述体积重建算法实例化的模型。

13.根据权利要求12所述的至少一种计算机可读存储介质，其中生成所述体积重建算法包括使用训练模型来确定所述体积重建算法，使得所述体积重建算法趋于最小化使用所述体积重建算法形成的体积重投影与所述x射线图像之间的所述相似性度量。

14.根据权利要求12所述的至少一种计算机可读存储介质，其中所述多个2D断层融合投影图像和所述x射线图像还可用接收从所述x射线发射器发射的x射线的探测器获得，所述指令在被执行时进一步使得所述至少一个处理器：

15.至少一种计算机可读存储介质，所述至少一种计算机可读存储介质包括指令，所述指令在被执行时使得至少一个处理器至少：

通过以下方式获得器官的多个二维(2D)断层融合投影图像：将x射线发射器旋转到相对于所述器官的多个取向，以及从所述发射器发射第一水平的x射线激励以获得所述多个投影图像中的每个投影图像；

使用第二水平的x射线激励获得所述器官的x射线图像；

基于所述图像增强算法的输出与所述x射线图像之间的相似性度量，根据来自所述多个2D断层融合投影图像的中心断层融合投影来生成图像增强算法；以及

部署将所述图像增强算法实例化的模型。