CN112396560A - 用于使用深度神经网络对医疗图像进行去模糊的系统和方法 - Google Patents

Abstract

本发明题为“用于使用深度神经网络对医疗图像进行去模糊的系统和方法”。本发明提供了用于使用深度神经网络对医疗图像进行去模糊的方法和系统。在一个实施方案中，一种用于对医疗图像进行去模糊的方法包括：接收模糊医疗图像和对应于该模糊医疗图像的采集的一个或多个采集参数；将该一个或多个采集参数结合到经训练的深度神经网络中；以及由该经训练的深度神经网络将该模糊医疗图像映射到去模糊的医疗图像。该深度神经网络可由此接收关于模糊医疗图像中的模糊的类型、程度和/或空间分布的至少部分信息，使得该经训练的深度神经网络能够对所接收的模糊医疗图像选择性地去模糊。

Description

用于使用深度神经网络对医疗图像进行去模糊的系统和方法

技术领域

本文所公开的主题的实施方案涉及处理医疗图像，诸如磁共振图像(MRI)、计算机断层摄影术(CT)图像、X射线图像、超声图像等，并且更具体地讲，涉及使用深度神经网络减少医疗图像中的模糊。

背景技术

医疗成像系统(诸如磁共振成像(MRI)系统、计算机断层摄影术(CT)系统、正电子发射断层摄影术(PET)系统、X射线系统、超声系统等)广泛用于获得受试者(例如，患者)的内部生理信息。通过这些成像模态获得的医疗图像可包括可能由瞬态信号采集、组织/患者特定效应、成像装备属性等引起的一种或多种类型的模糊。模糊可能会降低医疗图像的分辨率和诊断质量，并且可能会进一步降低可能已对清晰非模糊医疗图像进行训练的下游图像处理方法的功效。已提出将深度学习方法用于对图像进行去模糊，然而当前深度学习方法在去模糊中的执行是不一致的，并且通常不能产生足够程度的去模糊。因此，通常期望探索深度学习技术以识别用于对医疗图像一致地进行去模糊的新方法。

发明内容

本公开至少部分地解决了上述问题。在一个实施方案中，本公开提供了一种用于使用深度神经网络对医疗图像进行去模糊的方法。该方法包括：接收模糊医疗图像和对应于模糊医疗图像的采集的一个或多个采集参数；将一个或多个采集参数结合到经训练的深度神经网络中；以及由经训练的深度神经网络将模糊医疗图像映射到去模糊的医疗图像。通过接收模糊医疗图像和采集参数两者，其中采集参数对应于在模糊医疗图像的采集期间所使用的成像系统的一个或多个参数，可至少部分地向深度神经网络通知模糊医疗图像中存在的模糊的类型、程度和/或分布，从而使得深度神经网络能够将模糊医疗图像以更大程度的一致性映射到对应的去模糊的医疗图像，即使在医疗图像中存在多种类型的模糊时，或者在模糊的程度/类型随像素/体素而变化时也是如此。

在单独或与附图联系时，本说明书的以上优势以及其他优势和特征将从以下具体实施方式中显而易见。应当理解，提供以上发明内容是为了以简化的形式介绍在具体实施方式中进一步描述的概念的选择。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的具体实施。

附图说明

通过阅读以下具体实施方式并且参考附图，可以更好地理解本公开的各个方面，其中：

图1是根据示例性实施方案的示出了用于使用深度神经网络和采集参数变换对医疗图像进行去模糊的图像处理系统的示意图；

图2是根据示例性实施方案的示出了可在图1的图像处理系统中使用的深度神经网络和采集参数变换的第一实施方案的布局的示意图；

图3是根据示例性实施方案的示出了可在图1的图像处理系统中使用的深度神经网络和采集参数变换的第二实施方案的布局的示意图；

图4是根据示例性实施方案的示出了可在图1的系统中使用的深度神经网络的架构的示意图；

图5是根据示例性实施方案的示出了可在图1的系统中使用的采集参数变换架构的示意图；

图6是根据示例性实施方案的示出了可在图1的系统中使用的采集参数变换架构的示意图；

图7是根据示例性实施方案的示出了用于使用深度神经网络和采集参数变换对医疗图像进行去模糊的方法的流程图；

图8示出了因T2和对应的点扩散函数引起的信号衰减。

图9示出了根据示例性实施方案的模糊医疗图像与去模糊的医疗图像之间的比较。

附图示出了所描述的用于使用深度神经网络和一个或多个采集参数变换对医疗图像进行去模糊的系统和方法的具体方面。连同以下描述，附图示出并且解释了本文描述的结构、方法和原理。在附图中，为了清楚起见，部件的大小可以被放大或以其他方式修改。没有示出或详细描述众所周知的结构、材料或操作以避免模糊所描述的部件、系统和方法的各方面。

具体实施方式

医疗图像容易出现模糊，这限制了图像分辨率并且降低了诊断质量。在一个示例中，磁共振(MR)图像中的模糊可能是由于在瞬态采集期间的信号调制和/或在读出列期间的可变翻转角和/或弛豫效应造成的。一个示例是单次激发快速自旋回波中的T2模糊。在另一示例中，在CT成像中，模糊可能作为检测器大小、检测器数量、源到检测器距离、准直器几何形状、切片厚度、剂量等的函数而产生。在另一示例中，在PET成像中，模糊可能作为检测器类型、检测器几何形状、环半径、正电子范围(同位素类型)、响应的深度/线和体素活动的函数而产生。在又一示例中，在超声成像中，模糊可能作为换能器(晶体和阵列)几何形状、中心频率、振铃、空间脉冲长度、焦深、光束切趾、旁瓣振幅、切片厚度等的函数而产生。因此，模糊在广泛范围的医疗成像模态中发生，并且可作为一个或多个采集参数的函数而发生，其中如本文所用，采集参数将被理解为包括成像系统、成像组织和/或采集医疗图像时的环境条件(温度、湿度、环境磁场强度等)一个或多个参数。

当模糊的类型/来源未知时和/或当模糊的程度在整个图像中变化时，对医疗图像进行去模糊的过程可能是复杂的。以MR为例。在单次激发快速自旋回波中，模糊可能由低的(并且可能是可变的)重聚焦角度与其他因素(包括组织特定弛豫时间、视图排序、部分体积效应、B₁场不均匀性等)的组合引起。在一些情况下，每个体素/像素都可具有独特的模糊函数。去模糊是一种不适定逆问题，用常规方法很难解决。此外，常规方法具有噪声放大的缺点，导致图像更清晰但噪声更大。

以下描述涉及用于使用深度神经网络对医疗图像进行去模糊的各种实施方案，这可能至少部分地解决上述问题。具体地，由成像系统采集医疗图像，其中在医疗图像的采集期间应用一个或多个采集参数。采集参数可包括用于采集医疗图像的各种成像系统设置。例如，MR图像的采集参数可包括以下中的一项或多项：回波列长度、重复时间(TR)、回波时间(TE)、翻转角、反转时间等。采集参数还可包括以下中的一项或多项：医疗图像的尺寸、体素空间尺寸(医疗图像中的每个体素所表示的空间体积)、采样图案、采集顺序、加速度因子、脂肪饱和设置(开或关)、B₀垫片模式选择、RF驱动模式选择、生理信号、生理状态、图像重建参数等。然后使用经训练的深度神经网络和一个或多个采集参数变换来处理所采集的医疗图像，该所采集的医疗图像可包括模糊。将在医疗图像的采集期间应用的一个或多个采集参数输入到采集参数变换中，并且可以各种方式将来自采集参数变换的输出结合到深度神经网络中。通过将采集参数变换的输出结合到深度神经网络中，可由深度神经网络确定关于医疗图像内的模糊的类型、程度和分布的信息并且这些信息用于以更一致的方式对医疗图像去模糊，而不会增加医疗图像内的噪声。

在一些实施方案中，采集参数变换的输出可包括基于一个或多个采集参数的点扩散函数，其中用于深度神经网络中的解卷积核和/或卷积核可基于由采集参数变换确定的点扩散函数。以这种方式，可从对应的模糊医疗图像产生去模糊的/清晰的医疗图像。此外，可训练深度神经网络和采集参数变换(在采集参数变换包括神经网络的实施方案中)，然后再投入使用。

如本文所用，去模糊是从图像中去除模糊伪影的过程，诸如由散焦像差或运动模糊或其他类型的模糊伪影引起的模糊。通常，模糊可被建模为假设的清晰输入图像上的(空变和/或时变的)点扩散函数的卷积，其中清晰输入图像和点扩散函数两者都可能是未知的。因此，去模糊包括通过一个或多个点扩散函数至少部分地反转或减轻清晰图像的卷积以获得或逼近清晰输入图像的过程并且因此被称为逆问题。因此，可通过对模糊图像(或模糊医疗图像)进行去模糊来产生清晰图像(或清晰医疗图像)，并且相反地，可通过将一个或多个模糊伪影引入清晰图像中来产生模糊图像。应当理解，在一些情况下，可使用成像系统直接采集清晰医疗图像。

参考图1，示出了根据示例性实施方案的医疗图像处理系统100。在一些实施方案中，医疗图像处理系统100被结合到医疗成像系统(例如，MRI系统、CT系统、X射线系统、PET系统、超声系统等)中。在一些实施方案中，医疗图像处理系统100设置在设备(例如，边缘设备、服务器等)处，该设备经由有线和/或无线连接可通信地耦接到医疗成像系统。在一些实施方案中，医疗图像处理系统100设置在单独的设备(例如，工作站)处，该设备可从医疗成像系统或者从存储由医疗成像系统生成的图像的存储设备接收图像。医疗图像处理系统100可包括图像处理系统31、用户输入设备32和显示设备33。

图像处理系统31包括处理器204，该处理器被配置为执行存储在非暂态存储器206中的机器可读指令。处理器204可以是单核或多核的，并且在其上执行的程序可以被配置用于进行并行或分布式处理。在一些实施方案中，处理器204可以可选地包括分布在两个或更多个设备中的单独组件，其可以被远程定位和/或配置用于协调处理。在一些实施方案中，处理器204的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。

非暂态存储器206可存储深度神经网络模块208、采集参数变换模块210、训练模块212和医疗图像数据214。深度神经网络模块208可包括一个或多个深度神经网络，该一个或多个深度神经网络包括多个参数(包括权重、偏差、激活函数)，以及用于实现一个或多个深度神经网络以接收模糊医疗图像并且将模糊医疗图像映射到输出的指令，其中可从输出中产生对应于模糊医疗图像的去模糊的医疗图像。例如，深度神经网络模块208可存储用于实现神经网络(诸如图4所示的CNN架构400的卷积神经网络(CNN))的指令。深度神经网络模块208可包括经训练和/或未经训练的神经网络，并且还可包括与存储在其中的一个或多个神经网络有关的各种数据或元数据。

非暂态存储器206还存储采集参数变换模块210，其中可存储一个或多个经训练和/或未经训练的采集参数变换以及相关联的数据和/或元数据。采集参数变换可被配置为将采集参数映射到输出，其中该输出可被结合到深度神经网络模块208的一个或多个深度神经网络中。在一些实施方案中，采集参数变换可被配置为基于一个或多个输入采集参数来预测一个或多个点扩散函数。在一些实施方案中，采集参数变换可包括解析函数或模型，其中该函数/模型接收一个或多个采集参数作为模型自变量，并且使用来自采集参数的函数映射产生输出。在一个示例中，采集参数变换可包括用于将MRI回波序列映射到强度点扩散函数的傅里叶变换。

非暂态存储器206还可存储训练模块212，该训练模块包括用于训练存储在深度神经网络模块208中的深度神经网络和/或存储在采集参数变换模块210中的采集参数变换中的一者或多者的指令。训练模块212可包括指令，这些指令在由处理器204执行时，使图像处理系统31进行在下面详细地讨论的方法700的步骤中的一个或多个步骤。在一些实施方案中，训练模块212包括用于实现一个或多个梯度下降算法、应用一个或多个损失函数和/或训练例程以用于调整深度神经网络模块208的一个或多个深度神经网络和/或采集参数变换模块210的采集参数变换的参数的指令。在一些实施方案中，训练模块212包括用于从医疗图像数据214智能地选择训练数据对的指令。在一些实施方案中，训练数据对包括同一解剖区域的对应的模糊和去模糊的/清晰医疗图像对。在一些实施方案中，训练模块212包括用于通过将一个或多个模糊伪影应用于/添加到清晰的医疗图像以产生模糊医疗图像来生成训练数据对的指令。在一些实施方案中，训练模块212并不设置在图像处理系统31处。深度神经网络模块208包括经训练和经验证的网络。

非暂态存储器206还存储医疗图像数据214。医疗图像数据214包括例如从MRI系统所捕获的MR图像、由超声系统所采集的超声图像等。例如，医疗图像数据214可存储模糊和/或清晰医疗图像。在一些实施方案中，医疗图像数据214可包括多个训练数据对，该多个训练数据对包括模糊和清晰医疗图像对。在一些实施方案中，医疗图像数据可包括用于从清晰医疗图像产生模糊医疗图像的一个或多个模糊点扩散函数。

在一些实施方案中，非暂态存储器206可以包括设置在两个或更多个设备上的组件，这些组件可以被远程定位和/或配置用于协调处理。在一些实施方案中，非暂态存储器206的一个或多个方面可以包括以云计算配置进行配置的可远程访问的联网存储设备。

图像处理系统100可以进一步包括用户输入设备32。用户输入设备32可包括触摸屏、键盘、鼠标、触控板、运动感测相机或被配置为使用户能够与图像处理系统31内的数据交互并操纵该数据的其他设备中的一者或多者。例如，用户输入设备32可使用户能够选择医疗图像来对其执行去模糊。

显示设备33可包括几乎利用任何类型技术的一个或多个显示设备。在一些实施方案中，显示设备33可包括计算机监视器，并且可显示未处理的和已处理的MR图像和/或参数标测图。显示设备33可与处理器204、非暂态存储器206和/或用户输入设备32组合在共享壳体中，或者可以是外围显示设备，并且可包括监视器、触摸屏、投影仪或本领域已知的其他显示设备，其可使用户能够查看医疗图像，和/或与存储在非暂态存储器206中的各种数据交互。

应当理解，图1中所示的图像处理系统100是用于说明而非限制。另一种合适的图像处理系统可以包括更多、更少或不同的组件。

转到图2，示出了用于对医疗图像进行去模糊的去模糊过程200的第一实施方案的示意图。可由图像处理系统100实现去模糊过程200以从模糊医疗图像中至少部分地去除一个或多个模糊伪影。去模糊系统200用于示出去模糊系统的实施方案，其中采集参数302可经由采集参数变换304映射到输出，然后该输出经由输入层322结合到深度神经网络324中并且用于从模糊图像310中去除一个或多个模糊伪影。通过将采集参数映射到输出并且将输出结合到深度神经网络324中，深度神经网络324可接收关于模糊图像310中的模糊伪影的程度、类型和分布的至少部分信息，因为模糊伪影可作为采集参数中的一个或多个采集参数的函数而出现。

去模糊系统200包括采集参数变换304，该采集参数变换接收采集参数302作为输入并且将采集参数302映射到一个或多个输出，其中一个或多个输出可被结合到深度神经网络324的输入层322中。在一些实施方案中，采集参数变换304包括经训练的神经网络，该经训练的神经网络在输入层处接收一个或多个采集参数，并且将一个或多个采集参数映射到包括多个值的第一输出，其中该多个值在数量上可等于模糊图像310的多个像素或体素。在一些实施方案中，采集参数变换304包括解析映射诸如方程或模型，该解析映射接收一个或多个采集参数并且映射到第一输出。在图2所示的实施方案中，采集参数变换304可产生相等数量的输出值，因为在模糊图像310中存在像素值或体素值，从而使模糊图像310的多个像素或体素中的每一者都能够具有与其级联的来自采集参数变换304的至少单个输出值。

输入层322包括由采集参数304、模糊图像310和任选地参数标测图308的输出产生的采集层306，这些参数标测图可包括成像空间的一个或多个参数标测图，诸如B₁ ⁺字段、B_o字段、T1标测图、T2标测图、梯度非线性标测图、编码误差标测图、运动标测图(其中可估计或测量运动/速度)等。输入层322由深度神经网络324接收，并且被映射到去模糊的图像320。深度神经网络324包括学习的卷积滤波器314(在训练过程期间学习)和学习的解卷积滤波器318(在训练过程期间学习)。通过将数据从输入层322传播通过深度神经网络324的卷积层和解卷积层，产生去模糊的图像320。

采集参数302包括成像系统在模糊图像310的采集期间所使用的一个或多个设置和/或成像组织/患者的一个或多个生理属性和/或环境条件。例如，如果模糊图像310为MR图像，则采集参数302可包括MRI系统在模糊图像310的采集期间所使用的或与成像患者相关的回波列长度、重复时间、回波时间、回波间隔、目标翻转角、采样图案、采集顺序、生理信号或其他参数/设置中的一者或多者。模糊图像310为解剖区域的医疗图像，包括多个值，其中每个值都可被称为像素(对于2D图像)或体素(对于3D图像)。模糊图像310包括一个或多个模糊伪影，该一个或多个模糊伪影一般可被描述为在图像的比原始/底层解剖区域更大的区域上的强度值的扩散/拖尾。模糊可在数学上被描述为原始非模糊图像与点扩散函数的卷积，其中点扩散函数用于使强度的点源从非模糊图像扩展开以产生占据图像的相对较大区域的强度区域。例如，模糊图像310包括人体腹部的MR图像，该MR图像包括空间上异质的模糊，其中模糊的程度和/或类型基于模糊图像310内的像素/体素而变化。也就是说，模糊图像310可包括具有第一模糊程度的第一区域和包含第二模糊程度的第二区域，其中第一模糊程度和第二模糊程度以及模糊的类型不相同。

采集参数302可包括矢量或标量，并且可被输入到采集参数变换304中。采集参数变换304被配置为将采集参数302映射到一个或多个输出，该一个或多个输出可被结合到深度神经网络324中和/或与参数标测图308和模糊图像310级联然后再输入到深度神经网络324中。在一些实施方案中，可由多个采集参数变换产生多个输出，其中采集参数变换可包括函数、神经网络和/或数值模型。由一个或多个采集参数变换产生的每个输出可被结合到深度神经网络324中。在一些实施方案中，多个采集参数变换中的每个采集参数变换的每个输出可经由输入层322输入到深度神经网络324中。

采集层306包括一个或多个特征标测图/层，每个层具有与模糊图像310相同的尺寸，从而实现采集层306和模糊图像310的直接级联。在一些实施方案中，采集参数变换304可接收包括单个标量值的采集参数302，并且可将该单个标量值映射到多个值，其中该多个值在数量上等于模糊图像310中的多个像素。在一些实施方案中，采集参数变换304可将多个采集参数302映射到多个采集参数层。在一个示例中，如果模糊图像310包括512×512×120体素体积，则采集层306可包括一个或多个层，每个层具有512×512×120的尺寸，从而实现与模糊图像310的直接级联。通过将可包括标量(单个采集参数)或矢量(多个采集参数)的采集参数302映射到较高维空间，可将关于成像空间内的模糊的空间异质性的信息附加到模糊图像310，然后再输入到深度神经网络324中，从而为深度神经网络324提供关于模糊图像310中的模糊的空间分布的附加信息，该空间分布可作为一个或多个采集参数302的函数而出现。

参数标测图308可包括成像空间的一个或多个参数，其中该成像空间对应于模糊图像310。在一些实施方案中，参数标测图308可包括由模糊图像310成像的区域的一个或多个物理属性/参数。在一个示例中，参数标测图308可包括磁场强度、质子密度场标测图、密度场标测图、B₁ ⁺场不均匀性标测图等。

输入层322(其包括采集层306、参数标测图308和模糊图像310)可传播通过深度神经网络324内的多个层，以将模糊图像310的强度值映射到去模糊的图像320的强度值。深度神经网络324包括学习的卷积滤波器314和学习的解卷积滤波器318。深度神经网络324还可包括一个或多个密集连接的层(未示出)以及一个或多个池化层(未示出)、一个或多个上采样层(未示出)以及一个或多个ReLU层(未示出)或机器学习领域中常规的任何层。

深度神经网络324的输出可用于产生去模糊的图像320，该去模糊的图像包括与模糊图像310相同的解剖区域的图像，但其中至少一个或多个模糊伪影被至少部分地去除。

转到图3，示出了用于对医疗图像进行去模糊的去模糊过程300的第二实施方案的示意图。先前介绍并且在先前附图中讨论的去模糊过程300的元素可保留它们的编号。可由图像处理系统100实现去模糊过程300以从模糊的医疗图像中至少部分地去除一个或多个模糊伪影。去模糊系统300用于示出去模糊系统的实施方案，其中采集参数302可经由采集参数变换304映射到一个或多个值，然后可使用该一个或多个值来设置深度神经网络324的一个或多个卷积滤波器权重和/或解卷积滤波器权重。基于采集参数变换304的输出而设置的卷积滤波器权重和/或解卷积滤波器权重可使得深度神经网络能够被通知模糊图像310中存在的模糊的类型/程度。通过应用针对给定采集参数集而特别选择的卷积滤波器和解卷积滤波器，可从模糊图像310中更一致且更彻底地去除一个或多个模糊伪影。通过将采集参数映射到输出并且将输出结合到深度神经网络324中，深度神经网络324可接收关于模糊图像310中的模糊伪影的程度、类型和分布的至少部分信息，因为模糊伪影可作为采集参数中的一个或多个采集参数的函数而出现。

去模糊系统300包括采集参数变换304，该采集参数变换接收采集参数302作为输入，并且将采集参数302映射到一个或多个输出，其中可通过基于输出设置深度神经网络324的一个或多个参数来将一个或多个输出直接结合到深度神经网络324中(参见图6以获得更详细的讨论)。在一些实施方案中，采集参数变换304包括傅里叶变换，并且采集参数变换304的第一输出包括与利用一个或多个采集参数302采集的模糊图像310中存在的模糊对应的点扩散函数。

输入层322包括模糊图像310和任选地参数标测图308，这些参数标测图可包括成像空间的一个或多个参数标测图，诸如B₁ ⁺字段、B_o字段、T1标测图、T2标测图、梯度非线性标测图、编码误差标测图、运动标测图(其中可估计或测量运动/速度)等。输入层322由深度神经网络324接收，并且被映射到去模糊的图像320。

深度神经网络324包括卷积滤波器312(基于来自采集参数变换304的输出而设置)、学习的卷积滤波器314(在训练过程期间学习)、解卷积滤波器316(基于来自采集参数变换304的输出而设置)和学习的解卷积滤波器318(在训练过程期间学习)。通过将数据从输入层322传播通过深度神经网络324的卷积层和解卷积层，产生去模糊的图像320。

采集参数302可包括矢量或标量，并且可被输入到采集参数变换304中。采集参数变换304被配置为将采集参数302映射到一个或多个输出，该一个或多个输出可被结合到深度神经网络324中。可通过基于采集参数变换304的输出设置卷积滤波器312和/或解卷积滤波器316来将来自采集参数变换304的输出直接结合到深度神经网络324中。在一些实施方案中，结合到深度神经网络324中的每个输出可由单独的采集参数变换产生，使得在输出和采集参数变换之间存在一一对应关系。在其他实施方案中，单个采集参数变换可将采集参数302映射到多个输出，其中该多个输出可各自经由多个不同的机制/通道(诸如参考图3所述)结合到深度神经网络324中。

输入层322(其包括参数标测图308和模糊图像310)可传播通过深度神经网络324内的多个层以将模糊图像310的强度值映射到去模糊的图像320的强度值。深度神经网络324包括卷积滤波器312、学习的卷积滤波器314、解卷积滤波器316和学习的解卷积滤波器318。因此，深度神经网络324包括在训练期间使用训练数据对学习的参数/层，以及基于来自采集参数变换304的输出而选择的参数。

深度神经网络324包括卷积滤波器312和解卷积滤波器316，这些卷积滤波器和解卷积滤波器可基于采集参数变换304的输出来确定或选择。在一些实施方案中，采集参数变换304将一个或多个采集参数映射到多个值，其中该多个值包括多个权重，并且其中卷积滤波器312和/或解卷积滤波器316内的一个或多个滤波器基于多个权重来设置。在一些实施方案中，一个或多个卷积滤波器312和/或一个或多个解卷积滤波器316被设置为等于采集参数变换304的输出。在一些实施方案中，采集参数变换304的输出可包括表示点扩散函数或点扩散函数的逆映射的多个权重，该多个权重基于输入到采集参数变换304中的一个或多个采集参数来确定。

深度神经网络324还包括学习的卷积滤波器314和学习的解卷积滤波器318，这些学习的卷积滤波器和学习的解卷积滤波器包括在深度神经网络324的训练期间学习的滤波器。通过将在训练过程期间学习的参数以及基于来自一个或多个采集参数变换304的输出而选择/确定的参数两者包括在内，深度神经网络324可被启用以至少部分地预期模糊图像310中存在的模糊伪影的类型、程度和/或分布，这可实现模糊图像强度值到去模糊的图像强度值的更精确且更一致的映射，从而改善一个或多个模糊图像的诊断质量并且减少对患者解剖区域重新成像的需要。

在一些实施方案中，可经由输入层322并且通过基于输出设置一个或多个卷积滤波器312或解卷积滤波器316将来自多个采集参数变换的输出输入到深度神经网络324中。也就是说，图2和图3所示的实施方案可相组合。被变换为输入层322的一部分的参数集可与被变换为滤波器312/316的参数集相同或不同。可存在或可不存在重叠。在一些实施方案中，采集参数变换304可将采集参数302映射到多个输出，每个输出经由多个不同的机制/通道(诸如图5和图6中更详细描述的那些)结合到深度神经网络324中。

转到图4，示出了用于基于采集参数变换的输出将模糊医疗图像映射到去模糊的医疗图像的CNN架构400。CNN架构400提供了深度神经网络(诸如深度神经网络324)的更详细说明，该深度神经网络可执行对模糊医疗图像的去模糊。在一些实施方案中，CNN架构400的参数的子集可基于一个或多个采集参数变换的输出来选择/确定，而CNN架构400的其他参数可使用训练算法来学习。例如，如图3所示的去模糊系统200中所指出的，CNN架构400可结合有采集参数变换的一个或多个输出。

CNN架构400表示U-net架构，该U-net架构可分为自动编码器部分(下降部分，元素402b-430)和自动解码器部分(上升部分，元素432-456a)。CNN架构400被配置为接收包括一个或多个模糊伪影的医疗图像，这些医疗图像可包括磁共振(MR)图像、计算机断层摄影术(CT)图像、正电子发射断层摄影术(PET)图像、X射线图像或超声图像。在一个实施方案中，CNN架构400被配置为从包括多个像素/体素的解剖区域的模糊医疗图像(诸如模糊医疗图像402a)接收数据，并且基于采集参数变换的输出将输入的模糊医疗图像数据映射到同一解剖区域的去模糊的医疗图像(诸如去模糊的医疗图像456b)。CNN架构400包括从可由输入层接收的输入图像图块402b通过多个特征标测图最后到可基于输出层456a的输出而产生的输出的去模糊的医疗图像456b的一系列映射。在一些实施方案中，CNN架构400被配置为从第一采集参数变换接收采集参数层形式的输出，并且将来自模糊医疗图像402a的采集参数层数据级联，其中级联的输入图像数据和采集参数层可被馈送到输入图块402b中并且传播通过CNN架构400的层。在一些实施方案中，CNN架构400被配置为基于采集参数变换的输出来设置一个或多个卷积滤波器和/或一个或多个解卷积滤波器。CNN架构400可被配置为接收来自对应的多个采集参数变换的多个输出，根据上述实施方案中的一个或多个实施方案，该多个采集参数变换可被结合到CNN架构400中。

图例458中标记了包括CNN架构400的各种元素。如图例458所指出的，CNN架构400包括通过一个或多个操作(由箭头指出)连接的多个特征标测图(和/或复制的特征标测图)。箭头/操作接收来自外部文件或先前特征标测图的输入，并且将所接收的输入变换/映射到输出以产生下一个特征标测图。每个特征标测图都可包括多个神经元，其中在一些实施方案中，每个神经元都可接收来自前一层/特征标测图的神经元的子集的输入，并且可基于所接收的输入来计算单个输出，其中输出可传播/映射到下一层/特征标测图中的神经元的子集或全部。

可使用术语长度、宽度和深度来描述特征标测图，其中每个术语都是指包括特征标测图的神经元的数量(例如，指定的特征标测图是多少神经元长、多少神经元宽、以及多少神经元深)。参考特征标测图所使用的长度和宽度对应于正在处理的图像的空间尺寸，并且在一些情况下可对应于图像的像素/体素的数量。参考特征标测图所使用的深度可对应于每个特征通道中的特征的数量。

在每个特征标测图之间执行的变换/映射由箭头指出，其中每种不同类型的箭头对应于不同类型的变换，如图例458所指出的。向右指向的实心黑色箭头指示步幅为1的3×3卷积，其中通过在特征通道的3×3网格的输出/激活与3×3滤波器(紧接着先前的特征标测图的每个层/每个单位深度包含9个权重)之间执行点积，将来自紧接着先前的特征标测图的特征的3×3网格的输出(其中3×3网格延伸穿过紧接着先前的特征标测图的所有层)映射到当前特征标测图的在单个深度处的单个特征。在一些实施方案中，可基于来自采集参数变换的输出来选择卷积滤波器权重。在一些实施方案中，可在训练过程期间学习卷积滤波器权重。用于执行3×3卷积的滤波器在本文被称为卷积滤波器(convolution filter/convolutional filter)或卷积核(convolution kernel/convolutional kernel)。

向下指向的箭头指示2×2最大池化操作，其中来自单个深度处的特征通道的2×2网格的最大值从紧接着先前的特征标测图传播到当前特征标测图的单个深度处的单个特征，从而导致与紧接着先前的特征标测图相比，产生空间分辨率减少4倍的输出特征标测图。在一个示例中，来自紧接着先前的特征标测图的2×2激活网格的最大池化(其中2×2激活网格包括(2,1.4,10,4.4))产生(10)的输出，因为10是2×2网格内的最大激活值。

向上指向的箭头指示步幅为2的2×2向上卷积，这些向上卷积包括使用包括多个权重的解卷积滤波器执行转置卷积(在本文也称为解卷积)(用于执行转置卷积的滤波器在本文也被称为解卷积滤波器(deconvolutional filter/deconvolution filter))，将来自紧接着先前的特征标测图的每个特征深度处的单个特征通道的输出映射到当前特征标测图中的单个特征深度处的2×2特征网格，从而将紧接着先前的特征标测图的空间分辨率增大4倍。

向右指向的虚线箭头指示复制和裁剪特征标测图以与另一个以后出现的特征标测图级联。裁剪使复制的特征标测图的维度能够与待与复制的特征标测图级联的特征标测图的维度匹配。应当理解，当正复制的第一特征标测图的尺寸和待与第一特征标测图级联的第二特征标测图的尺寸相等时，可不执行裁剪。

具有中空头部的向右指向的箭头指示步幅为1的1×1卷积，其中紧接着先前的特征标测图中的每个特征通道被映射到当前特征标测图的单个特征通道，或者换句话讲，其中在紧接着先前的特征标测图与当前特征标测图之间发生了特征通道的1对1映射。每个特征标测图处的处理可包括上述的卷积和解卷积以及激活，其中激活函数是将处理的输出值限制在边界范围内的非线性函数。

除了图例458内的箭头所指示的操作之外，CNN架构400还包括对应于特征标测图的实心填充矩形，其中特征标测图包括高度(如图4所示的从上到下的长度，对应于x-y平面中的y空间维度)、宽度(图4中未示出，假设量值与高度相等，对应于x-y平面中的x空间维度)和深度(如图4所示的左右长度，对应于每个特征通道内的特征的数量)。同样，CNN架构400包括对应于复制和裁剪的特征标测图的中空(未填充)矩形，其中复制的特征标测图包括高度(如图4所示的从上到下的长度，对应于x-y平面中的y空间维度)、宽度(图4中未示出，假设量值与高度相等，对应于x-y平面中的x空间维度)和深度(如图4所示从左侧到右侧的长度，对应于每个特征通道内的特征的数量)。

从输入图像图块402b(在本文也称为输入层)处开始，输入对应于模糊医疗图像402a的数据并且将其映射到第一特征集。在一些实施方案中，模糊医疗图像402a(其可包括对应于图像的一个或多个特征(诸如多色图像的每个强度值)的一个或多个层)还可包括由一个或多个采集参数变换产生的一个或多个级联采集参数层。在一些实施方案中，与模糊医疗图像402a级联的采集参数层可指示模糊医疗图像402a的每个像素位置处的模糊伪影的期望的/预期的类型或强度。模糊医疗图像402a可包括患者解剖区域的二维(2D)或三维(3D)图像/标测图。在一些实施方案中，对来自模糊医疗图像402a的输入数据进行预处理(例如，归一化)，然后再由神经网络进行处理。

输出层456a可包括神经元的输出层，其中每个神经元可对应于预测的去模糊的医疗图像456b的像素(或残差)，其中每个神经元的输出可对应于输出的去模糊的医疗图像456b内指定位置的预测像素强度。

以这种方式，CNN架构400可实现来自模糊医疗图像402a的多个强度值到去模糊的医疗图像456b的多个强度值的映射，其中在去模糊的医疗图像456b中减少或消除了模糊医疗图像402a中存在的一个或多个模糊伪影的模糊程度。在一些实施方案中，CNN架构400可实现模糊医疗图像的像素/体素的一个或多个特征到去模糊的医疗图像的一个或多个属性的映射。CNN架构400示出了在输入图像图块传播通过卷积神经网络的神经元层时发生的特征标测图变换，以产生去模糊的医疗图像。在一个示例中，CNN架构400可实现模糊医疗图像的多个像素/体素强度值到残差标测图的映射，其中可通过将残差标测图与输入的模糊医疗图像402a组合(诸如通过值的逐像素相加)来产生去模糊的医疗图像。

CNN架构400中的卷积层的权重(和偏差)可在训练期间学习，和/或可基于来自一个或多个采集参数变换的输出来结合/设置，如下面将参考图5、图6和图7更详细地讨论。可通过计算预测的去模糊的医疗图像和地面实况去模糊的医疗图像之间的差异来训练CNN架构400，其中地面实况去模糊的医疗图像可包括无模糊伪影的医疗图像。可使用预测的去模糊的医疗图像和地面实况去模糊的医疗图像之间的差异来确定损失，并且可使用梯度下降或机器学习领域中已知的任何其他参数优化方法来通过神经网络反向传播损失以更新每个特征标测图的权重(和偏差)。在CNN架构400的训练过程期间，可使用多个训练数据对，包括模糊医疗图像和对应的地面实况去模糊的医疗图像。

尽管图4中未示出，但应当理解，本公开涵盖神经网络架构，这些神经网络架构包括一个或多个正则化层，该一个或多个正则化层包括批归一化层、丢弃层、高斯噪声层和机器学习领域中已知的其他正则化层，它们可在训练期间使用以减轻过度拟合并且提高训练效率，同时减少训练时间。

应当理解，图4中所示的CNN架构400是用于说明而非限制。本文中可使用任何适当的神经网络诸如ResNet、递归神经网络、广义回归神经网络(GRNN)等用于使用来自一个或多个采集参数变换的输出来从模糊医疗图像预测去模糊的医疗图像。上面描述了本公开的一个或多个具体实施方案以便提供透彻的理解。这些描述的实施方案仅仅是用于使用深度神经网络和一个或多个采集参数以及一个或多个采集参数变换来从模糊医疗图像预测去模糊的医疗图像的系统和方法的示例。本领域技术人员将理解，在不脱离本公开的实质的情况下，可以在实施时修改实施方案中描述的具体细节。

转到图5，示出了采集参数变换500。采集参数变换500可存储在图像处理系统31内的采集参数变换模块210中，并且可用于将一个或多个采集参数映射到一个或多个采集参数层，该一个或多个采集参数层可与来自模糊医疗图像的数据级联并且由深度神经网络接收以用于映射到去模糊的医疗图像，如图3的去模糊系统200中所示。采集参数变换500被配置为将采集参数的矢量(1D)映射到大小和尺寸与模糊医疗图像的大小和尺寸匹配的采集参数层518。然后，可将采集参数层518与来自模糊医疗图像的数据级联，并且可将组合的模糊医疗图像数据和采集参数层数据输入到深度神经网络中，从而为深度神经网络提供关于模糊医疗图像的采集参数的附加信息，这由此可以通知深度神经网络模糊医疗图像内的模糊类型和/或模糊程度。

采集参数变换500被配置为接收n个采集参数的矢量(1D数据对象)，包括第一采集参数AP₁ 502至第n采集参数采集参数变换504，其中n为大于1的正整数。在一些实施方案中，采集参数变换500可被配置为接收单个采集参数，而不背离本公开的范围。n个采集参数中的每个采集参数在采集参数变换500的第一/输入层中包括对应的输入节点/神经元，使得在采集参数与输入节点/神经元之间存在一对一的对应关系。如采集参数变换500中所示，n个采集参数与输入层中的n个节点匹配。节点(1,1)506至节点(1,n)508中的每个节点可接收单个采集参数作为输入，并且可通过使采集参数通过激活函数来将单个所接收的采集参数映射到输出，其中激活函数可包括偏差项。

来自输入节点(1,1)506至输入节点(1,n)508中的每个输入节点的输出由第一隐藏层节点(2,1)510至第一隐藏层节点(2,J)512中的每个第一隐藏层节点接收，其中J为大于1的正整数，其可等于或不等于n。换句话讲，由采集参数变换500的第一隐藏层的每个节点接收来自采集参数变换500的第一层的每个节点的输出，并且因此采集参数变换500的第一隐藏层可被称为全连接层。采集参数变换500的第一隐藏层的每个节点使用来自前一层的每个节点的输出和每个对应的权重，根据以下方程来计算点积。

其中是先前层的第i个神经元，Y_j是后续层的第j个神经元，W_ji是权重，并且B_j是偏差。在一些实施方案中，激活函数f是整流线性单元(ReLU)函数，例如，普通ReLU函数、泄漏ReLU函数、参数ReLU函数等。

采集参数变换500可包括正整数个全连接隐藏层，类似于上述的第一隐藏层，并且由第一隐藏层和输出层之间的水平省略号指示。采集参数变换500还可包括一个或多个丢弃层，或者可促进训练并且减轻训练数据的过度拟合的其他正则化层。

采集参数变换500还包括输出节点(C,1)514至输出节点(C,R)516，其中C指定输出层是采集参数变换500的第C层，并且第C层包括R个节点，其中C和R是大于1的整数。输出节点(C,1)514至输出节点(C,R)516中的每个输出节点都接收来自紧接着先前的隐藏层的每个节点的加权输出，并且从中计算激活，这与其中每个隐藏层都基于来自紧接着先前的层中的每个先前节点/神经元的加权输入来计算激活的方式类似。然后，将每个激活值乘以对应的权重，并且使用结果来产生采集参数层518。

在图5所示的实施方案中，每个输出节点都包括X乘Y个权重(其中X乘Y个权重中的每个权重的值对于每个输出节点可以是不同的)，这些权重用于将激活值从每个输出节点映射到采集参数层518的单独深度。基于要与采集参数层518级联的输入图像(模糊医疗图像)的大小来选择X和Y的大小。例如，如果模糊医疗图像包括512像素乘512像素乘100像素的3D图像，则X可设置为512，Y可设置为512，并且R可设置为100。

在一个实施方案中，输出节点(C,1)514(其表示采集参数变换500的输出层的第一输出节点)产生单个输出/激活值，然后使用X乘Y个权重将该输出映射到采集参数层518的第一深度520。类似地，输出节点(C,R)516(输出层中的最后一个节点)产生激活值，使用X乘Y个权重将该激活值传播到采集参数层518的最后第R深度。可与采集参数层518级联的模糊医疗图像具有宽度X、高度Y和深度R，并且因此表示3D图像，诸如患者解剖结构的3D图像。作为具体示例，如果R等于3，X等于10，并且Y等于10，则输出层将包括3个输出节点，并且3个输出节点中的每个节点将产生100个输出值(通过将每个输出节点的单个激活值乘以100个相关联的权重)，其中采集参数层518的第一深度包括由输出节点(C,1)产生的100个输出值，采集参数层518的第二深度(未示出)包括由输出节点(C,2)(未示出)产生的100个输出值，并且采集参数层518的第三深度包括由输出节点(C,R)产生的100个输出值。以这种方式，可将一个或多个采集参数映射到与模糊医疗图像具有相同尺寸和大小的数据对象，从而实现采集参数层518与模糊医疗图像的直接级联，然后再将模糊医疗图像数据输入到深度神经网络中。

应当理解，本公开涵盖具有除图5中所描绘的架构之外的架构的采集参数变换，以用于将一个或多个采集参数映射到与模糊医疗图像具有相同尺寸和大小的数据对象。例如，每个输出节点可产生在采集参数层518的每个深度中使用的值。在另一示例中，输出层的每个输出节点可输出要结合到采集参数层518的单个值，使得例如如果采集参数层518包括总共100个值，则输出层包括100个输出节点。在一些实施方案中，采集参数层518可具有与模糊医疗图像相同的尺寸，但具有小于模糊的医疗图像的大小。

转到图6，示出了采集参数变换600。采集参数变换600可存储在图像处理系统31内的采集参数变换模块210中，并且可用于将一个或多个采集参数映射到一个或多个卷积滤波器或解卷积滤波器，该一个或多个卷积滤波器或解卷积滤波器可分别结合到深度神经网络的一个或多个卷积层和/或解卷积层中。采集参数变换600被配置为将采集参数的矢量(1D)映射到多个滤波器权重，其中滤波器权重可用于深度神经网络的一个或多个卷积滤波器和/或解卷积滤波器，诸如图3所示的深度神经网络324或图4所示的CNN架构400。

采集参数变换600被配置为接收n个采集参数的矢量(1D数据对象)，包括第一采集参数AP₁ 602至第n采集参数采集参数变换604，其中n为大于1的正整数。在一些实施方案中，采集参数变换600可被配置为接收单个采集参数，而不背离本公开的范围。n个采集参数中的每个采集参数在采集参数变换600的第一/输入层中包括对应的输入节点/神经元，使得在采集参数与输入节点/神经元之间存在一对一的对应关系。如采集参数变换600中所示，n个采集参数与输入层中的n个节点匹配。节点(1,1)606至节点(1,n)608中的每个节点可接收单个采集参数作为输入，并且可通过使采集参数通过激活函数来将单个所接收的采集参数映射到输出，其中激活函数可包括偏差项。

来自输入节点(1,1)606至输入节点(1,n)608中的每个输入节点的输出由第一隐藏层节点(2,1)610至第一隐藏层节点(2,J)612中的每个第一隐藏层节点接收，其中J为大于1的正整数，其可等于或不等于n。换句话讲，由采集参数变换600的第一隐藏层的每个节点接收来自采集参数变换600的第一层的每个节点的输出，并且因此采集参数变换600的第一隐藏层可被称为全连接层。采集参数变换600的第一隐藏层的每个节点使用来自前一层的每个节点的输出和每个对应的权重，根据以下方程来计算点积。

其中X_i是先前层的第i个神经元，Y_j是后续层的第j个神经元，W_ji是权重，并且B_j是偏差。在一些实施方案中，激活函数f是整流线性单元(ReLU)函数，例如，普通ReLU函数、泄漏ReLU函数、参数ReLU函数等。

采集参数变换600可包括正整数个全连接隐藏层，类似于上述的第一隐藏层，并且由第一隐藏层和输出层之间的水平省略号指示。采集参数变换600还可包括一个或多个丢弃层，或者可促进训练并且减轻训练数据的过度拟合的其他正则化层。

采集参数变换600还包括第一输出节点(C,1)614至最后一个输出节点(C,R)616，其中C指定输出层是采集参数变换600的第C层，并且第C层包括R个节点，其中C和R是大于1的整数，它们可以彼此相等或彼此不相等。第一输出节点(C,1)614至最后一个输出节点(C,R)616中的每个输出节点都接收来自紧接着先前的隐藏层的每个节点的加权输出，并且从中计算激活值，这与其中每个隐藏层都基于来自紧接着先前的层中的每个节点/神经元的加权输入来计算激活的方式类似。然后，将每个激活值乘以对应的权重，并且使用结果来产生滤波器618，其中滤波器618包括具有i乘R个权重的卷积滤波器和/或解卷积滤波器(也就是说，滤波器618包括i列和R行)。

在图6所示的实施方案中，R个输出节点中的每个输出节点都包括i个相关联的权重，其中i个相关联的权重用于将来自每个输出节点的激活值映射到i个不同的滤波器权重，使得每个输出节点在滤波器618的单行中产生滤波器权重。应当理解，尽管被示出为包括单个深度，但滤波器618可包括任何正整数数量的深度，使得滤波器618可包括i×R×D个权重，其中D为滤波器的深度。在一个实施方案中，滤波器618包括深度为1的3×3卷积滤波器，使得采集参数变换600的输出层包括3个输出节点，每个输出节点具有3个不同的权重，从而将3个激活值映射到总共9个滤波器权重。

滤波器618可被结合到深度神经网络(诸如图3的深度神经网络324或图4的CNN架构400)的一个或多个卷积层和/或解卷积层中，并且可使得深度神经网络能够对模糊医疗图像更一致地解卷积/去模糊。

应当理解，本公开涵盖具有除图6中所描绘的架构之外的架构的采集参数变换，以用于将一个或多个采集参数映射到卷积滤波器和/或解卷积滤波器。例如，每个输出节点可产生在滤波器618的每个深度中使用的值。在另一示例中，输出层的每个输出节点都可输出单个值以便结合到滤波器618中，使得如果滤波器618包括例如总共27个值，则输出层包括27个输出节点。

可通过使用多对模糊医疗图像和对应的清晰(或原始)图像来训练深度神经网络。在一些实施方案中，在清晰-模糊医疗图像对中，模糊医疗图像是由医疗设备从所采集的原始数据中重建的，而清晰图像是通过已知的去噪/去模糊方法或它们的任何组合处理模糊图像而获得的。在一些实施方案中，在清晰-模糊医疗图像对中，针对同一解剖区域但利用不同的采集参数，采集清晰图像和模糊图像。使用模糊图像作为对深度神经网络的输入，并且使用清晰图像作为地面实况以供参考。

确定深度神经网络所输出的去模糊的医疗图像和对应的清晰医疗图像之间的差异并且反向传播通过深度神经网络的层/特征标测图。

在一些实施方案中，在单个阶段中调整深度神经网络和一个或多个采集参数变换的参数，其中使用预测的去模糊的医疗图像和地面实况去模糊的医疗图像之间的差异来在单个阶段中调整整个深度神经网络和采集参数变换两者中的参数。另选地，可在交替阶段中训练深度神经网络和一个或多个采集参数变换，其中在第一阶段期间，深度神经网络的参数保持固定，而一个或多个采集参数变换的参数基于训练数据进行调整。在第二阶段期间，一个或多个采集参数变换的参数可保持固定，而深度神经网络的参数基于训练数据进行调整。训练阶段的交替可继续，直到满足预测的阈值准确度，或者直到一个或多个采集参数变换和深度神经网络的参数已收敛(也就是说，当一个或多个采集参数变换和深度神经网络的参数的变化率的每轮变化率小于预先确定的阈值变化率时)。

参考图7，示出了根据示例性实施方案的用于使用深度神经网络和一个或多个采集参数变换对模糊医疗图像进行去模糊的方法700的流程图。方法700可由成像处理系统100、连接到成像设备的边缘设备、与成像设备通信的云或它们的任何适当的组合实现。

方法700在操作702处开始，在该操作中接收模糊医疗图像。在一些实施方案中，图像处理系统经由通信耦接(诸如通过网络)从成像系统接收模糊医疗图像。在一些实施方案中，图像处理系统从非暂态存储器接收模糊医疗图像。尽管为了简单起见参考单个模糊医疗图像进行描述，但应当理解，本公开提供了将多个模糊医疗图像映射到多个(或单个)去模糊的医疗图像。例如，可增加与多个模糊医疗图像对应的输入层的数量，以适应要去模糊的模糊医疗图像的数量，而不背离本文提供的公开内容。

在操作704处，接收与模糊医疗图像相关联的一个或多个采集参数。与模糊医疗图像相关联或对应的采集参数可包括在模糊医疗图像的采集期间所使用或存在的一个或多个设置、参数或条件。在一些实施方案中，采集参数包括在扫描/图像采集期间所使用的成像设备的设置。在一些实施方案中，采集参数包括在扫描/图像采集期间成像的患者解剖区域的一个或多个属性。采集参数可与它们所对应的医疗图像一起存储或由其索引，使得可以实现与模糊医疗图像相关联的一个或多个采集参数的快速且计算有效的检索。

在操作706处，将所接收的采集参数输入到将采集参数映射到第一输出的一个或多个经训练的采集参数变换中。在一些实施方案中，第一输出可包括一个或多个采集参数层，该一个或多个采集参数层可与模糊医疗图像级联并且被输入到深度神经网络中。在一些实施方案中，第一输出可包括一个或多个值，该一个或多个值可用于设置深度神经网络的卷积滤波器和/或解卷积滤波器中的一个或多个权重。在一些实施方案中，该输出可用于输入层和滤波器的权重两者。在一些实施方案中，采集参数变换包括被配置为接收采集参数的输入层、被配置为产生第一输出的输出层以及输入层和输出层之间的至少一个全连接层。在一些实施方案中，模糊医疗图像包括多个像素或体素，并且来自采集参数变换的第一输出包括多个输出值，其中该多个输出值可被多个像素或体素均匀划分，使得来自第一输出的整数个输出值可与来自模糊输入图像的每个像素或体素的数据级联。参见图5和图6，以获得对采集参数变换以及可从中产生的输出类型的更详细描述。尽管采集参数变换在本文被描述为包括可学习参数，但应当理解，本公开还提供了包括固定模型/模拟的采集参数变换，其中诸如根据物理模型或方程，参数是固定的，该物理模型或方程可用于将一个或多个采集参数映射到具有本文所述属性的第一输出。

在操作708处，将来自一个或多个采集参数变换的第一输出结合到深度神经网络诸如深度神经网络324或CNN架构400中。将来自一个或多个采集参数变换的第一输出结合到深度神经网络中可如参考图3、图4、图5和图6所述而发生，并且因此将在此简要描述。在一些实施方案中，将第一输出与深度神经网络相结合包括：将第一输出与参数标测图和模糊医疗图像级联，其中参数标测图可包括成像空间/成像解剖区域的一个或多个物理属性或生理属性的标测图；以及将第一输出、参数标测图和模糊医疗图像输入到经训练的深度神经网络的输入层中。在一些实施方案中，将第一输出与深度神经网络相结合包括：将第一输出与模糊医疗图像级联；以及将第一输出和模糊医疗图像两者输入到经训练的深度神经网络的输入层中。在一些实施方案中，第一输出包括多个值，并且将第一输出结合到深度神经网络中包括基于多个值在经训练的深度神经网络中设置多个权重，其中在一些实施方案中，深度神经网络包括CNN，并且该多个权重包括卷积神经网络的解卷积层的解卷积滤波器或卷积层的卷积滤波器。在一些实施方案中，该输出可用于输入层和滤波器的权重两者。

在操作710处，使用深度神经网络将模糊医疗图像映射到第二输出。将模糊医疗图像映射到第二输出包括：将来自模糊医疗图像的数据(包括任何附加的级联数据)输入到深度神经网络的输入层/输入图块中；以及通过深度神经网络的每个层传播输入数据，直到由深度神经网络的输出层产生第二输出。在一些实施方案中，深度神经网络包括卷积神经网络，其中基于来自一个或多个采集参数变换的第一输出来设置一个或多个滤波器(卷积滤波器或解卷积滤波器)，并且当数据传播通过深度神经网络时，将该一个或多个滤波器应用于来自模糊医疗图像的数据。

在操作712处，使用来自深度神经网络的第二输出来生成去模糊的医疗图像。在一些实施方案中，该第二输出包括残差标测图，并且使用第二输出来从模糊医疗图像产生去模糊的医疗图像包括将残差标测图与模糊医疗图像组合以产生去模糊的医疗图像。换句话讲，残差标测图可包括多个值，即输入的模糊医疗图像的一个或每个像素或体素，其描述了模糊图像的每个像素或体素与对应的去模糊的医疗图像的每个像素或体素的强度之间的强度差异。将残差标测图与模糊医疗图像组合以产生去模糊的医疗图像可包括残差标测图和模糊医疗图像之间的值的逐像素相加。在一些实施方案中，来自深度神经网络的第二输出包括去模糊的医疗图像的像素/体素强度值的标测图。

在操作714处，图像处理系统经由显示设备显示去模糊的医疗图像。在一些实施方案中，用户可使用在清晰/非模糊医疗图像上训练的模型，经由用户输入设备选择去模糊的图像以用于进一步的图像处理，诸如图像分割、背景噪声抑制、病理学识别、超分辨率等。

以这种方式，方法700通过使用一个或多个采集参数变换将关于一个或多个采集参数的信息集成到所使用的深度神经网络中，实现以时间有效且更一致的方式对模糊医疗图像进行的去模糊，从而产生去模糊的医疗图像。可通过另外的下游图像处理模型来更有效地处理去模糊的医疗图像，这些下游图像处理模型可能已使用清晰医疗图像进行了训练。

转到图8，示出了点扩散函数804和对应的横向磁化信号衰减802的一个示例。标称信号衰减802与基于一个或多个采集参数(诸如回波间隔、回波列长度、样本调度/顺序和原始k空间数据的滤波)的标称T2值(或T2值的某个分数组合，这可能导致多指数衰减)的模型拟合。将信号衰减802从频域变换为空间域可经由傅里叶变换来实现，从而得到点扩散函数804。在一些实施方案中，在变换到空间域之前将信号衰减802反转可用于产生一个或多个卷积核或解卷积核的权重，该一个或多个卷积核或解卷积核可例如在层312和/或316处使用。

在一些实施方案中，可通过基于一个或多个采集参数的采集参数变换来预测类似于点扩散函数804的点扩散函数，并且将其反转以产生解卷积滤波器，该解卷积滤波器可被结合到深度神经网络中并且用于对模糊医疗图像进行解卷积。由于模糊可被建模为清晰图像上的点扩散函数的卷积，因此使用反转的点扩散函数对模糊图像进行解卷积可实现一致的去模糊，尤其是当基于在待去模糊的模糊医疗图像的采集期间所使用的采集参数而不是通用的点扩散函数来预测逆点扩散函数时。

在一些实施方案中，点扩散函数804可由解析模型作为一个或多个采集参数的函数来产生。

转到图9，示出了根据本公开的实施方案产生的模糊医疗图像和对应的去模糊的医疗图像的示例。模糊医疗图像902包括人腹部的MR横截面图像，并且包括一个或多个模糊伪影，该一个或多个模糊伪影减小成像解剖区域的各种边界的清晰度。清晰/去模糊的医疗图像904包括与模糊医疗图像902中所描绘相同的解剖区域，然而清晰医疗图像904已根据本文所公开的去模糊方法(诸如方法700)进行了去模糊。可以看出，在清晰医疗图像904中成像的解剖区域的边界比在模糊医疗图像902中成像的对应的解剖区域更清晰/拖尾更少，这可使得能够基于成像的解剖区域进行更精确的分析和/或诊断。此外，模糊医疗图像902内的模糊程度在整个图像中变化，然而，去模糊的医疗图像904显示出始终一致的去模糊程度。

模糊医疗图像906包括人髋部区域的MR横截面图像，并且包括一个或多个模糊伪影，该一个或多个模糊伪影减小成像解剖区域的各种边界的清晰度。清晰/去模糊的医疗图像908包括与模糊医疗图像906中所描绘相同的解剖区域，然而清晰医疗图像908已根据本文所公开的去模糊方法(诸如方法700)进行了去模糊。可以看出，与模糊医疗图像906中的对应的精细结构相比，在去模糊的医疗图像908中捕获的解剖区域中的组织和骨中的精细结构被更清楚地限定。因此，去模糊的医疗图像908可实现更精确的分析和/或诊断。

尽管图9提供了经由MRI成像的解剖区域的两个具体示例，这些解剖区域可使用本文所公开的系统和方法进行去模糊，但应当理解，本公开提供了任何解剖区域的基本上任何医疗图像的去模糊。在一个实施方案中，可使用基本上类似的解剖区域的训练数据对来训练单个深度神经网络(这些基本上类似的解剖区域使用单个医疗成像模态来捕获/采集)，并且可将该深度神经网络用于对基本上类似于训练数据对的解剖区域的模糊医疗图像进行去模糊。在其他实施方案中，可使用包括不同解剖区域的多个不同医疗成像模态的训练数据对来训练单个深度神经网络，从而产生更一般化的深度神经网络，该更一般化的深度神经网络可使得能够使用单个深度神经网络对各种解剖区域的广泛范围的医疗图像进行去模糊。

将一个或多个采集参数结合到经训练的深度神经网络中的技术效果是，深度神经网络可接收关于模糊医疗图像中的模糊的类型、程度和/或空间分布的至少部分信息，使得经训练的深度神经网络能够以更高程度的一致性对所接收的模糊医疗图像选择性地去模糊。

以上描述本公开的一个或多个具体实施方案以提供透彻的理解。这些描述的实施方案仅是用于通过使用深度神经网络来选择性地对医疗图像进行去噪的系统和方法的示例。本领域技术人员将理解，在不脱离本公开的实质的情况下，可以在实施时修改实施方案中描述的具体细节。

当介绍本公开的各种实施方案的元件时，词语“一个”、“一种”和“该”旨在意指存在这些元件中的一个或多个元件。术语“第一”、“第二”等不表示任何顺序、量或重要性，而是用于将一个元件与另一个元件区分开。术语“包含”、“包括”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。如本文使用术语“连接到”、“耦接到”等，一个对象(例如，材料、元件、结构、构件等)可以连接到或耦接到另一个对象，而无论该一个对象是否直接连接或耦接到另一个对象，或者在该一个对象和另一个对象之间是否存在一个或多个介入对象。此外，应当理解，对本公开的“一个实施方案”或“实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。

除了任何先前指示的修改之外，本领域技术人员可以在不脱离本描述的实质和范围的情况下设计出许多其他变型和替换布置，并且所附权利要求书旨在覆盖此类修改和布置。因此，尽管上面已经结合当前被认为是最实际和最优选的方面对信息进行了具体和详细的描述，但对于本领域的普通技术人员将显而易见的是，在不脱离本文阐述的原理和概念的情况下，可以进行许多修改，包括但不限于形式、功能、操作方式和使用。同样，如本文所使用的，在所有方面，示例和实施方案仅意图是说明性的，并且不应以任何方式解释为限制性的。

Claims (20)

1.一种用于对医疗图像进行去模糊的方法，所述方法包括：

接收模糊医疗图像以及对应于所述模糊医疗图像的采集的一个或多个采集参数；

将所述一个或多个采集参数结合到经训练的深度神经网络中；以及

由所述经训练的深度神经网络将所述模糊医疗图像映射到去模糊的医疗图像。

2.根据权利要求1所述的方法，其中将所述一个或多个采集参数结合到所述经训练的深度神经网络中包括：

将所述一个或多个采集参数映射到一个或多个权重；以及

将所述一个或多个权重结合到所述一个或多个经训练的深度神经网络中。

3.根据权利要求2所述的方法，其中所述经训练的深度神经网络包括卷积神经网络，并且其中将所述一个或多个权重结合到所述经训练的深度神经网络中包括基于所述一个或多个权重来设置一个或多个卷积滤波器权重和/或一个或多个解卷积滤波器权重。

4.根据权利要求1所述的方法，其中将所述一个或多个采集参数结合到所述经训练的深度神经网络中包括：

将所述一个或多个采集参数映射到多个值；

将所述多个值与所述模糊医疗图像的多个像素或体素数据级联；以及

将所述模糊医疗图像的所述多个值和所述多个像素或体素数据输入到所述经训练的深度神经网络的输入层中。

5.根据权利要求1所述的方法，还包括通过使用多个清晰医疗图像和对应的模糊医疗图像对来训练所述深度神经网络。

6.根据权利要求1所述的方法，其中所述医疗图像为以下中的一项：磁共振(MR)图像，计算机断层摄影术(CT)图像、正电子发射断层摄影术(PET)图像、X射线图像或超声图像。

7.根据权利要求1所述的方法，其中所述一个或多个采集参数包括以下中的一项或多项：回波列长度、回波间隔、翻转角、体素空间维度、采样图案、采集顺序、加速度因子、生理状态、图像重建参数、检测器大小、检测器数量、源到检测器距离、准直器几何形状、切片厚度、剂量、检测器类型、检测器几何形状、环半径、正电子范围、响应深度/线、换能器几何形状、中心频率、振铃、空间脉冲长度、焦深、光束切趾或旁瓣振幅。

8.一种用于减少医疗图像中的模糊的方法，所述方法包括：

接收由成像系统采集的模糊医疗图像；

接收在所述模糊医疗图像的采集期间所应用的所述成像系统的一个或多个采集参数；

使用采集参数变换将所述一个或多个采集参数映射到第一输出；

将所述第一输出结合到卷积神经网络(CNN)中；

使用所述CNN将所述模糊医疗图像映射到第二输出；以及

使用所述第二输出产生去模糊的医疗图像。

9.根据权利要求8所述的方法，其中所述第二输出包括残差标测图，并且其中使用所述第二输出产生所述去模糊的医疗图像包括将所述残差标测图与所述模糊医疗图像组合以产生所述去模糊的医疗图像。

10.根据权利要求8所述的方法，其中所述第一输出为一个或多个权重，并且其中将所述第一输出结合到所述CNN中包括基于所述一个或多个权重来设置一个或多个卷积滤波器权重和/或一个或多个解卷积滤波器权重。

11.根据权利要求10所述的方法，其中所述采集参数变换包括将所述一个或多个采集参数映射到所述一个或多个权重的解析模型。

12.根据权利要求11所述的方法，其中所述解析模型基于点扩散函数。

13.根据权利要求8所述的方法，其中所述第一输出为多个值，并且其中将所述第一输出结合到所述CNN中包括将所述多个值与所述模糊医疗图像的多个像素或体素数据级联作为对所述CNN的输入。

14.根据权利要求13所述的方法，其中所述采集参数变换包括将所述一个或多个采集参数映射到所述多个值的另一经训练的深度神经网络。

15.一种用于对医疗图像进行去模糊的系统，所述系统包括：

存储器，所述存储器存储经训练的深度神经网络和采集参数变换；和

处理器，所述处理器可通信地耦接到所述存储器并且被配置为：

接收模糊医疗图像；

接收一个或多个采集参数，其中所述一个或多个采集参数对应于所述模糊医疗图像的采集；

使用所述采集参数变换将所述采集参数映射到第一输出；

将所述第一输出结合到所述经训练的深度神经网络中；

使用所述经训练的深度神经网络将所述模糊医疗图像映射到第二输出；以及

使用所述第二输出产生去模糊的医疗图像。

16.根据权利要求15所述的系统，其中所述经训练的深度神经网络为经训练的卷积神经网络，其中所述第一输出为一个或多个权重，并且其中所述处理器被配置为通过基于所述一个或多个权重设置所述卷积神经网络的一个或多个卷积滤波器权重和/或一个或多个解卷积滤波器权重来将所述第一输出结合到所述经训练的深度神经网络中。

17.根据权利要求16所述的系统，其中所述采集参数变换包括将所述一个或多个采集参数映射到所述一个或多个权重的解析模型。

18.根据权利要求17所述的系统，其中所述解析模型基于点扩散函数。

19.根据权利要求15所述的系统，其中所述第一输出为多个值，并且其中所述处理器被配置为通过将所述多个值与所述模糊医疗图像的多个像素或体素数据级联作为对所述经训练的深度神经网络的输入来将所述第一输出结合到所述经训练的深度神经网络中。

20.根据权利要求19所述的系统，其中所述采集参数变换包括将所述一个或多个采集参数映射到所述多个值的另一经训练的深度神经网络。

Images