CN113053496B - 一种用于医学图像低剂量估计的深度学习方法 - Google Patents

Abstract

本发明公开了一种用于医学图像低剂量估计的深度学习方法。该方法包括：利用小波变换对低剂量原始图像进行分解，得到多层分解图像，其中每层分解图像包含与原始图像对应的不同视角特性的多个子带图像；将所述多层分解图像和原始图像输入至卷积神经网络进行训练，经分解和重构，学习从低剂量原始图像到标准剂量图像之间的映射关系，其中，所述卷积神经网络包含主干结构和多个分支结构，该主干结构以原始图像为输入，所述多个分支结构分别以对应的各层分解图像为输入。本发明将小波变换与卷积神经网络结合，在提高图像峰值信噪比、结构相似性和对比度信噪比的同时，增强了图像细节信息。

Description

一种用于医学图像低剂量估计的深度学习方法

技术领域

本发明涉及医学图像处理技术领域，更具体地，涉及一种用于医学图像低剂量估计的深度学习方法。

背景技术

医学图像处理被广泛应用于临床指导。例如，正电子发射断层扫描-磁共振成像(PET-MRI)是一种混合成像技术，结合了磁共振成像(MRI)的软组织形态学成像和正电子发射断层成像(PET)的功能成像。PET-MRI检查与其他手段相比，具有低放射剂量、灵敏度高、准确性好，对许多疾病(尤其是肿瘤和最为常见的心脑疾病)具有早期发现、早期诊断的价值。然而，PET使用的放射性辐射绝大多数来源于氟-18(18F)，18F发射正电子，产生高能γ射线，对人体有一定辐射。而辐射剂量过多会出现辐射剂量的累计效应，大幅度增加各种疾病发生的可能性，进而影响人体生理机能，破坏人体组织器官，甚至危害到患者的生命安全。合理使用低剂量PET-MRI成像技术需要在满足PET-MRI图像的临床诊断要求下，同时尽可能降低放射性辐射，因此，研究和开发低剂量条件下成像质量更高的PET-MRI成像，对于目前的医疗诊断领域都有着重要的科学意义和广阔的应用场景。

Lei Xiang等人于2017年在Neuro computing期刊中发表文章“Deep auto-context convolutional neural networks for standard-dose PET image estimationfrom low-dose PET/MRI”，将PET和MRI的T1图像切割成多个小模块，将其输入到多模式卷积神经网络中处理，从而得到低剂量PET到常规剂量的映射，实现PET图像的低剂量去噪。

Kui Zhao等人于2020年在PLOS ONE期刊上发表文章“Study of low-dose PETimage recovery using supervised learning with CycleGAN”使用有监督的循环对抗生成网络用于PET图像低剂量去噪，这个网络使用循环一致性损失，Wasserstein距离损失和S-CycleGAN损失等作为联合损失函数等构建端到端的非线性映射，从而将10％到30％的低剂量脑部PET进行去噪处理。

然而，由于PET-MRI使用低剂量放射性核素时，PET图像不仅会出现大量的噪声，还会出现结构上的变形，并且传统PET低剂量去噪技术通常基于卷积神经网络或传统数学方法，图像重建效果较差。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种用于医学图像低剂量估计的深度学习方法，是基于小波变换的卷积神经网络实现医学图像降噪的新技术方案。

根据本发明的第一方面，提供一种用于医学图像低剂量估计的深度学习方法。该方法包括以下步骤：

步骤S1：利用小波变换对低剂量原始图像进行分解，得到多层分解图像，其中每层分解图像包含与原始图像对应的不同视角特性的多个子带图像；

步骤S2：将所述多层分解图像和原始图像输入至卷积神经网络进行训练，经分解和重构，学习从低剂量原始图像到标准剂量图像之间的映射关系，其中，所述卷积神经网络包含主干结构和多个分支结构，该主干结构以原始图像为输入，所述多个分支结构分别以对应的各层分解图像为输入。

根据发明的第二方面，提供一种医学图像处理方法。该方法包括：

将待处理图像利用小波变换进行分解，得到多层分解图像，每层分解图像包含与待处理图像对应的不同视角特性的多个子带图像；

将所述多层分解图像和待处理图像输入利用本发明方法训练的卷积神经网络，获得输出图像。

与现有技术相比，本发明的优点在于，将小波变换与卷积神经网络结合，既有小波变换增强边缘的优势，也有卷积神经网络泛化能力强的优点。在提高图像峰值信噪比、结构相似性和对比度信噪比的同时，增强了图像细节信息，从而得到更能满足诊断需求的医学图像。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明一个实施例的用于医学图像低剂量估计的深度学习方法的流程图；

图2是根据本发明一个实施例的残差块结构示意图；

图3是根据本发明一个实施例的密集连接残差块结构DCR结构示意图；

图4是根据本发明一个实施例的堆积密集连接残差块DDCR结构示意图；

图5是根据本发明一个实施例的注意力机制结构示意图；

图6是根据本发明一个实施例的使用小波变换的卷积神经网络示意图；

图7是根据本发明一个实施例的实验效果示意图；

附图中，conv-卷积；attention-注意力；DWT-离散小波变换；IDWT-逆离散小波变换。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明可应用于PET图像或其他类型的医学图像降噪、去伪影等。为清楚起见，下文以PET图像的降噪处理为例进行说明。

为了解决PET-MRI在低剂量条件下PET图像质量差，噪声伪影多的问题，本发明实施例设计了一种基于离散小波变换的密集自导小波变换，将出现大量噪声和结构上变形的低剂量PET图像，协同PET-MRI一体机的MRI图像，恢复成常规剂量的PET图像，从而提高了低剂量PET成像质量。

离散小波变换通常被用于图像编码，可用于影像分割、影像压缩、边缘检测和影像降噪、去噪等方面。在一个实施例中，本发明利用离散哈尔小波对图像进行分解，得到低剂量PET图像和MRI中ip和water图像的分解图像，将分解图像通过卷积神经网络进行处理，重构得到去除噪声的PET图像。经过多层分解和重构，得到一个从低剂量到标准剂量的PET图像映射。此外，为了提高深度神经网络的稳定性，使用联合损失函数对该网络进行约束和优化。

具体地，参见图1所示，所提供的用于医学图像低剂量估计的深度学习方法包括以下步骤。

步骤S110，设计残差模块。

残差方法是由残差卷积神经网络演化而来，其优点在于能够保持与图像到多个层次不同的特征。在输入b×c×h×w(表示batch*channel*height*weight)大小的图像矩阵后，得到与原图像大小相同的图像矩阵，其包含原图像多层次的信息。图2是残差块的示例，每一个残差块包含两层卷积层，每一层卷积层后包含一个LeakyRelu激活函数，也可以使用其他的激活函数，如PRELU。

步骤S120，设计Densely-DCR模块。

DCR(Densely connected and residual block，或称密集连接残差块)是2019年Bumjun Park在CVPR上发表“Densely Connected Hierarchical Network for ImageDenoising”中提出的模块，其优点在于相比同样的三个卷积层，拥有更好的收敛性。DCR结构如图3所示，其包含三个卷积层，DCR的工作程序是：在第一步处理中，input(输入)的输入通道为f，经过第一层卷积层后得到通道为的图像矩阵，标记为ouput1；在第二步处理中，将input和output1进行拼接，得到通道为/>的图像矩阵input2，将input2输入到第二层卷积层得到通道为/>的图像矩阵output2；在第三步处理中，将input2与output2拼接，得到通道数量为2f的图像矩阵input3，将input3输入到第三层卷积层得到通道数量为f的图像矩阵output3，output3与原图像矩阵input相加得到输出通道数量为f的图像矩阵，标记为output(输出)。

在一个实施例中，以DCR作为基本单元，对其进行模块化，构成Densely-DCR模块(DDCR，堆积密集连接残差块)结构，如图4所示。将DCR模块使用Dense-net的方法连接起来，并在每个DCR的后面增加一个LReLU的激活函数。在图4的DDCR的结构图中显示为两个DCR的连接，实际上可以将N(N≥2)个DCR进行连接，最后通过一层卷积层和Leaky ReLU激活函数。DDCR输入图像矩阵的通道数量和输出图像矩阵的通道数量一致。以DDCR替代多层卷积层，提取图像矩阵的图像特征。

步骤S130，设计注意力机制结构。

传统的注意力模块(或称注意力机制结构)是通过不断叠加卷积操作以此获得更高维的信息，但往往对来自低维的特征信息缺乏足够的灵活应用。其中，通道注意力主要是为了提取与神经网络主干不同的特征信息，是主干神经网络的一个补充和调整。

在一个实施例中，注意力结构基于DDCR模块改良，如图5所示。注意力结构的最后一层卷积的激活函数改成Tanh，最后得到与输入图像矩阵相同大小的输出图像矩阵。

使用DDCR模块能够增强网络的收敛性，降低卷积层的数量，并且增加DCR模块个数或者增删卷积层能够提高提取特征的能力。

步骤S140，设计基于小波变换作为上下采样方法的卷积神经网络，该卷积神经网络的主干结构用于处理原始图像，并融合分支结构提取的特征，获得输出图像，该卷积神经网络的分支结构处理经小波变换分解的图像。

在传统卷积神经网络中，上下采样的方法通常有两种。第一种采用步数为2的卷积层进行下采样，通过upsample进行上采样。这种方法在上采样过程中使用插值法，包括线性插值法、双线性插值法、bicubic插值法和三线性插值法等。这些插值法在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。尽管差值法能够实现上采样过程，但由于插值的方法比较简单，容易造成细节的丢失。第二种则是采用步数为2的卷积层进行下采样，例如通过pixel-shuffle进行上采样。这个方法相对于插值法，会减少像素块，边缘比较清晰。

本发明将小波变换和卷积神经网络结构设计网络模型，如图6所示，整体上包括：利用小波变换对低剂量原始图像进行分解，得到多层分解图像，其中每层分解图像包含与原始图像对应的具有多尺度和多视角特性的多个子带图像；将多层分解图像和原始图像输入至卷积神经网络进行训练，经分解和重构，学习从低剂量原始图像到标准剂量图像之间的映射关系。在图6中，卷积神经网络包含主干结构和三个分支结构，主干结构以原始图像为输入，而各分支结构分别以对应的各层分解图像为输入。

具体地，采用小波变换方法，将图像分解成大小是原图像四分之一大小的四张图像(或称四张子带图像)，如包含压缩图像、水平纹理图像、垂直纹理图像和倾斜纹理图像。经过多层级的分解，获得多层分解图像，即每层分解图像均包含对应的压缩图像、水平纹理图像、垂直纹理图像和倾斜纹理图像。对于每个分支结构，经处理后，经过小波逆变换，将压缩图像、水平纹理图像、垂直纹理图像和倾斜纹理图像还原为原图像的大小，相当于神经网络中的上采样。

在整个网络模型中，利用原始图像以及具有不同视角特性的子带图像，不仅强调图像的整体特征，还将其纹理特征也作为神经网络训练的重要材料。

例如，在训练网络时，将低剂量PET图像和MRI中的ip、water两类图像拼接，得到通道数量为3的图像矩阵作为input。而常规剂量的PET图像作为output的目标图像。

在一个实施例中，针对图6的网络模型中，采用联合损失函数的方式对其进行优化和约束，以达到期望的效果。该联合损失函数表示为：

Loss＝w_per×Loss_per+w_MSE×Loss_MSE+w_ker×Loss_kernel (1)

其中Loss_per为感知损失，Loss_MSE为均方误差，Loss_kernel为kernel损失，而w_per、w_MSE和w_ker分别为感知损失、均方误差、kernel损失的权重，可根据训练的具体情况进行设置。

在上述联合损失函数中，采用了感知损失、MSE和kernel损失三个损失函数。其中感知损失是采用预训练的VGG-19作为提取图像特征的感知器，VGG-19是一个预训练的卷积神经网络。网络输出的图像矩阵output与目标图像经过VGG-19分别得到图像特征矩阵，将两个图像特征矩阵计算得到的值作为感知损失函数。MSE是均方误差，直接计算output与目标图像的均方误差即可。而kernel损失则是将输出图像output直接计算即可。

通过使用感知损失、MSE、KERNEL损失相结合的联合损失函数能够提高低剂量PET成像质量并保证成像的稳定性和收敛性。

步骤S150，以设定的损失函数收敛为目标训练卷积神经网络。

例如，训练优化过程，使用Adam优化器或其他现有优化器来优化整个网络。训练时，从低剂量PET图像数据和MRI图像数据作为输入，从正常剂量PET图像数据集中提取对应的图像块作为参考，训练网络，逐步达到收敛状态，如以设定的损失函数最小化为目标。网络训练优化过程属于现有技术，在此不再赘述。

步骤S160，利用经训练的卷积神经网络进行图像处理。

进一步，训练好的网络可以用于任意类型的图像重建。具体包括：将待处理图像利用小波变换进行分解，得到多层分解图像，其中每层分解图像包含与待处理图像对应的具有多尺度和多视角特性的多个子带图像；将所述多层分解图像和待处理图像输入经训练的卷积神经网络，获得输出图像。

需说明的是，在本发明中，小波变换和小波逆变换可以被认为是一种即插即用模块，可以添加在任意传统卷积神经网络工作流程中，提高网络的性能。DDCR可以认为是一种可改良的模块，增删其内的模块数量，以取代普通堆积的卷积层，可以应用在任意的传统的神经网络的工作流程中，提高网络的性能。

为进一步验证本发明的效果，进行了实验，结果如图7所示。可以看出，本发明的方法可以有效提高图像的峰值信噪比和结构相似度，并且，可以在一定程度上恢复图像细节信息。

综上所述，与现有技术相比，本发明的优点在于：1)传统下采样使用的是卷积方法，而上采样使用的是插值法和pixle-shuffle方法，而本发明基于离散小波变换和逆小波变换进行上下采样，对图像整体和细节上进行把控，提取多层次的纹理特征，从高维到低维实现整体和纹理的特征提取。2)传统神经网络使用多层卷积进行提取图像特征，本发明采用DCR和DDCR模块加快神经网络收敛，减少网络的参数数量。3)传统低剂量PET图像使用单一或者联合损失函数，而本发明增加了kernel损失函数提高网络的收敛性，有效保证输出目标图像的稳定性和收敛性。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++、Python等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (5)

1.一种用于医学图像低剂量估计的深度学习方法，包括以下步骤：

步骤S1：利用小波变换对低剂量原始图像进行分解，得到多层分解图像，其中每层分解图像包含与原始图像对应的不同视角特性的多个子带图像；

步骤S2：将所述多层分解图像和原始图像输入至卷积神经网络进行训练，经分解和重构，学习从低剂量原始图像到标准剂量图像之间的映射关系，其中，所述卷积神经网络包含主干结构和多个分支结构，该主干结构以原始图像为输入，所述多个分支结构分别以对应的各层分解图像为输入；

其中，步骤S1包括：

采用离散哈尔小波将所述原始图像分解为多层图像，每层分解图像包括压缩图像、水平纹理图像、垂直纹理图像和倾斜纹理图像四个子带图像，每个子带图像是所述原始图像四分之一大小；

其中，步骤S2包括

将各层分解图像分别输入对应的分支结构，每个分支结构包含多层卷积层、密集连接残差块结构DCR以及逆小波变换过程，并且较高一级分支结构的输出特征与其下一级分支结构中的第一卷积层的输出依次级联，最终补充到所述主干结构；

其中，在训练所述卷积神经网络过程中，将低剂量PET图像和MRI中的ip、water两类图像拼接，得到通道数量为3的图像矩阵作为输入，而将标准剂量的PET图像作为输出的目标图像；

其中，所述主干结构包含多层卷积层、和堆积密集连接残差块结构，并采用注意力机制结构融合从各层分解图像提取的特征，获得输出图像；

其中，所述堆积密集连接残差块结构包含多个密集连接残差块结构DCR的连接，每个DCR后设有LeakyReLU激活函数，最后通过一层卷积层和LeakyReLU激活函数；所述注意力机制结构包含多个密集连接残差结构DCR的连接，每个DCR后设有LeakyReLU激活函数，且最后通过一层卷积层和Tanh激活函数。

2.根据权利要求1所述的方法，其中，采用联合损失函数训练所述卷积神经网络，表示为：

Loss＝w_per×Loss_per+w_MSE×Loss_MSE+w_ker×Loss_kernel

其中Loss_per为感知损失，Loss_MSE为均方误差，Loss_kernel为kernel损失，w_per、w_MSE和w_ker分别为对应项的权重。

3.根据权利要求2所述的方法，其中，所述感知损失是采用预训练的VGG-19作为提取图像特征的感知器。

4.一种医学图像处理方法，包括：

将待处理图像利用小波变换进行分解，得到多层分解图像，每层分解图像包含与待处理图像对应的不同视角特性的多个子带图像；

将所述多层分解图像和待处理图像输入根据权利要求1至3任一项所述方法得到的经训练的卷积神经网络，获得输出图像。

5.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至4中任一项所述方法的步骤。