CN112258438A - 一种基于非配对数据的ldct图像恢复算法 - Google Patents

一种基于非配对数据的ldct图像恢复算法 Download PDF

Info

Publication number
CN112258438A
CN112258438A CN202011172293.3A CN202011172293A CN112258438A CN 112258438 A CN112258438 A CN 112258438A CN 202011172293 A CN202011172293 A CN 202011172293A CN 112258438 A CN112258438 A CN 112258438A
Authority
CN
China
Prior art keywords
ldct
image
images
hdct
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011172293.3A
Other languages
English (en)
Other versions
CN112258438B (zh
Inventor
杨余久
侯冠群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202011172293.3A priority Critical patent/CN112258438B/zh
Publication of CN112258438A publication Critical patent/CN112258438A/zh
Application granted granted Critical
Publication of CN112258438B publication Critical patent/CN112258438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于非配对数据的LDCT图像恢复方法，包括以下步骤：S1：将包括非配对的多个LDCT图像和多个HDCT图像的预训练集输入到图像恢复网络以对所述图像恢复网络进行预训练，其中所述图像恢复网络包括两个生成器和两个鉴别器，两个所述生成器分别包括卷积层和残差通道注意力块；S2：将包括配对的多个LDCT图像和多个HDCT图像的调节训练集对所述图像恢复网络中的所述生成器进行调节得到训练完成的所述生成器；S3：将待恢复的LDCT图像输入到训练完成的所述生成器中，得到高质量的LDCT图像；其中所述调节训练集中的LDCT图像和HDCT图像的数量小于所述预训练集中的LDCT图像和HDCT图像的数量。本发明不需借助大量成对数据训练，即可实现有效地对LDCT图像进行恢复。

Description

一种基于非配对数据的LDCT图像恢复算法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于非配对数据的LDCT图像恢复算法。
背景技术
X射线计算机断层扫描(CT)是临床和工业应用中使用最广泛的成像技术之一。临床结果表明，CT技术在心脏动态成像、恶性肿瘤诊断和早期发现肺癌方面具有明显的优势。但是，CT检查中的电离辐射会对人体构成潜在的癌症风险。CT检查被认为是医源性放射的最重要原因，为了确保图像质量并满足临床诊断要求，放射剂量和合理使用低剂量(ALARA)已成为影像学的重要研究方向。目前，降低CT辐射剂量(低剂量CT)最有效的方法是降低X射线管的电流强度和曝光时间，但是，低强度的发射电流会导致在检测器端出现“光子饥饿”现象，这会使CT图像产生严重的噪音和伪影，影响医生对患者疾病的诊断。因此，如何在降低辐射剂量的同时保持较高的图像质量一直是CT领域的研究热点。
LDCT图像去噪方法包括传统的利用CT扫描中的原始投影数据的正弦域方法；在投影域和图像域转化的迭代重建算法以及利用图像处理知识的图像域算法。正弦域算法可以抑制图像中的噪声，但会牺牲图像分辨率；迭代重建弥补了正弦域中的缺陷，但在计算上是昂贵的，难以推广使用。
随着近年来深度学习的发展，其在医学成像领域的研究逐渐深入，基于图像域的LDCT去噪方法得到了充分的研究。许多学者提出了多种基于深度学习的LDCT图像去噪方法，包括利用卷积神经网络和对抗学习的多种算法。尽管这些方法可以有效的抑制LDCT图像中的噪声和伪影，但他们通常都需要大量成对的训练数据集，然而在医学成像中很难获得配对良好的数据。即使在不同剂量水平下获得了相同的患者CT数据，由于身体活动和扫描位置不可避免的轻微移动，这些数据也很难完全匹配，这很大程度上会影响网络的去噪能力。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为弥补上述现有技术的不足，本发明提出一种基于非配对数据的LDCT图像恢复网络，不需借助大量成对数据训练，即可实现有效地对LDCT图像进行恢复。
为了达到上述目的，本发明采用以下技术方案：
本发明公开了一种基于非配对数据的LDCT图像恢复方法，包括以下步骤：
S1：将包括非配对的多个LDCT图像和多个HDCT图像的预训练集输入到图像恢复网络以对所述图像恢复网络进行预训练，其中所述图像恢复网络包括两个生成器和两个鉴别器，两个所述生成器分别包括卷积层和残差通道注意力块；
S2：将包括配对的多个LDCT图像和多个HDCT图像的调节训练集对所述图像恢复网络中的所述生成器进行调节得到训练完成的所述生成器；
S3：将待恢复的LDCT图像输入到训练完成的所述生成器中，得到高质量的LDCT图像；
其中所述调节训练集中的LDCT图像和HDCT图像的数量小于所述预训练集中的LDCT图像和HDCT图像的数量。
优选地，所述图像恢复网络中的两个所述生成器包括生成器GL2H和生成器GH2L，其中生成器GL2H用于将LDCT图像生成对应的HDCT图像，生成器GH2L用于将HDCT图像生成对应的LDCT图像；步骤S2中具体将所述调节训练集对生成器GL2H进行调节得到训练完成的生成器GL2H，步骤S3中具体将待恢复的LDCT图像输入到训练完成的生成器GL2H中，得到高质量的LDCT图像。
优选地，步骤S1中将包括非配对的多个LDCT图像和多个HDCT图像的预训练集输入到图像恢复网络以对所述图像恢复网络进行预训练具体包括前向循环和后向循环，并在所述前向循环和所述后向循环过程中分别用各自的循环一致性损失函数进行约束；
其中所述前向循环包括将预训练集中多个LDCT图像输入到生成器GL2H后得到图像GL2H(LDCT)，再将图像GL2H(LDCT)输入到生成器GH2L，得到图像GH2L(GL2H(LDCT))；
所述后向循环包括将预训练集中多个HDCT图像输入到生成器GH2L后得到图像GH2L(HDCT)，再将图像GH2L(HDCT)输入到生成器GL2H，得到图像GH2L(GL2H(LDCT))。
优选地，其中所述前向循环的循环一致性损失函数
Figure BDA0002747673010000031
为：
Figure BDA0002747673010000032
所述后向循环的循环一致性损失函数
Figure BDA0002747673010000033
为：
Figure BDA0002747673010000034
其中，Pdata(LDCT)是LDCT图像域的分布，Pdata(HDCT)是HDCT图像域的分布，E表示均值。
优选地，两个所述生成器分别包括至少两个卷积层和多个残差通道注意力块，其中多个所述残差通道注意力块依次相互连接，至少两个所述卷积层分别连接在相互连接的多个所述残差通道注意力块的首尾两端，第一个所述卷积层用于浅层特征的提取，最后一个所述卷积层用于图像的解码，并将通过第一个所述卷积层的输出连接到最后一个所述卷积层的输入以形成跳过连接。
优选地，每个所述残差通道注意力块包括两个3×3的卷积层和通道注意力机制层，其中所述通道注意力机制层连接在相互连接的两个3×3的卷积层之后，并将两个3×3的卷积层的输入连接到所述通道注意力机制层的输出以形成跳过连接。
优选地，每个所述通道注意力机制层包括一个全局池化层、两个全连接层、Sigmoid激活函数，其中所述全局池化层连接在两个相互连接的所述全连接层之前，所述Sigmoid激活函数连接在两个相互连接的所述全连接层之后，将所述全局池化层的输入连接到所述Sigmoid激活函数的输出以进行乘积运算，并将所述全局池化层的输入连接到乘积运算的输出以形成跳过连接。
优选地，两个所述鉴别器包括鉴别器DL和鉴别器DH，其中鉴别器DL用于鉴别LDCT图像和图像GH2L(HDCT)，鉴别器DH用于鉴别HDCT图像和图像GL2H(LDCT)。
优选地，步骤S2中以所述调节训练集中的相互配对的HDCT图像和LDCT图像之间对应像素的L2损失函数来分别对所述生成器进行调节，其中L2损失函数为：
Figure BDA0002747673010000041
其中，N表示相互配对的HDCT图像和LDCT图像的配对数量，x表示输入的LDCT图像，y表示输入的HDCT图像，f(xi；Θ)表示通过参数为Θ的网络生成的HDCT图像。
优选地，所述调节训练集中的HDCT图像和LDCT图像的数量小于所述预训练集中的HDCT图像和LDCT图像的数量的5％。
与现有技术相比，本发明的有益效果在于：本发明公开的基于非配对数据的图像恢复方法中首先采用大量的非配对的训练数据对图像恢复网络进行预训练，图像恢复网络中的两个生成器分别包括卷积层和残差通道注意力块，通过通道注意力的引入有助于消除LDCT图像的伪影及细节部分处理；然后再采用极少量的配对的训练数据对生成器进行调节以监督内容的生成并确保恢复图像的质量，最后将待恢复的LDCT图像输入到生成器中即可得到高质量的LDCT图像，因此，本发明的图像恢复方法不需借助大量成对数据训练即可实现有效地对LDCT图像进行恢复，从而解决了现有技术中医学成像过程中成对的训练数据难以获得的问题。
附图说明
图1是本发明优选实施例的LDCT图像恢复方法的流程示意图；
图2是本发明优选实施例的LDCT图像恢复网络的结构示意图；
图3是图2中的生成器的网络结构图；
图4是图3中的通道注意力块的结构图；
图5是图2中的鉴别器的网络结构图；
图6a是待处理的LDCT图像；
图6b是采用现有的K-SVD方法对图6a的LDCT图像进行恢复的图像；
图6c是采用现有的NL-Means方法对图6a的LDCT图像进行恢复的图像；
图6d是采用现有的BM3D方法对图6a的LDCT图像进行恢复的图像；
图6e是采用现有的CNN方法对图6a的LDCT图像进行恢复的图像；
图6f是采用现有的RED-CNN方法对图6a的LDCT图像进行恢复的图像；
图6g是采用本发明的方法对图6a的LDCT图像进行恢复的图像；
图6h是与图6a的LDCT图像配对的HDCT图像。
具体实施方式
下面结合具体实施方式并对照附图对本发明做进一步详细说明。其中相同的附图标记表示相同的部件，除非另外特别说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
下面结合附图通过具体实施例对本发明进行详细的介绍，以使更好的理解本发明，但下述实施例并不限制本发明范围。另外，需要说明的是，下述实施例中所提供的图示仅以示意方式说明本发明的基本构思，附图中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的形状、数量及比例可为一种随意的改变，且其组件布局形态也可能更为复杂。
基于现有技术中医学成像过程中，成对的训练数据难以获得的问题，本发明提出一种LDCT图像恢复方法，基于大量的非配对的CT图像与极少量配对的CT图像作为训练样本，其中的LDCT图像恢复网络以CycleGAN为基础，并增加通道注意力机制进行改进，使其作为训练的基本网络架构；然后通过大量的非配对的CT图像在基本网络架构上进行预训练，再通过极少量配对的CT图像在基本网络架构中的生成器上进行微调，最后对于需要进行恢复的低剂量CT图像用训练好的生成器网络来输出恢复好的结果。
如图1所示，本发明优选实施例公开了一种基于非配对数据的LDCT图像恢复方法，包括以下步骤：
S1：将包括大量非配对的HDCT图像(高剂量CT图像)和LDCT图像(低剂量CT图像)的预训练集输入到图像恢复网络中以对图像恢复网络进行预训练；
如图2所示，该图像恢复网络是基于CycleGAN网络的，由两个生成器GL2H、GH2L以及两个鉴别器DL、DH组成，其中，生成器GL2H用于将LDCT图像生成尽可能接近对应的HDCT的图像，生成器GH2L用于将HDCT图像生成尽可能接近对应的LDCT的图像，鉴别器DL用于辨别是生成器GH2L生成的图像还是真实的LDCT图像，鉴别器DH用于辨别是生成器GL2H生成的图像还是真实的HDCT图像。
两个鉴别器分别使用交叉熵损失来约束网络的训练：
Figure BDA0002747673010000061
Figure BDA0002747673010000062
其中，Pdata(LDCT)是LDCT域的分布，Pdata(HDCT)是HDCT域的分布，E为均值，DL()表示鉴别器DL的输出，DH()表示鉴别器DH的输出。
预训练阶段包括前向循环和后向循环两个训练路径，其中前向循环如图2的上半部分所示，输入为LDCT图像，训练生成器GL2H以生成尽可能接近对应的HDCT的图像GL2H(LDCT)，然后训练生成器GH2L将生成器GL2H的结果图像转换回对应的LDCT的图像GH2L(GL2H(LDCT))；后向循环如图2的下半部分所示，输入为非配对的HDCT图像，在后向循环中要先训练生成器GH2L使其生成尽可能接近相应的LDCT的图像，之后将结果图像输入生成器GL2H，将其转换回对应的LDCT的图像GH2L(GL2H(LDCT))。在两个循环过程中，用两个循环一致性损失函数
Figure BDA0002747673010000063
和
Figure BDA0002747673010000064
进行约束，其中前向循环的循环一致性损失函数
Figure BDA0002747673010000065
为：
Figure BDA0002747673010000066
后向循环的循环一致性损失函数
Figure BDA0002747673010000067
为：
Figure BDA0002747673010000068
其中，Pdata(LDCT)是LDCT图像域的分布，Pdata(HDCT)是HDCT图像域的分布，E表示均值，也即为数学期望；
Figure BDA0002747673010000069
公式右边表示的是经过循环网络生成的LDCT图像同真实的LDCT图像在分布上一致；
Figure BDA00027476730100000610
公式右边表示的是经过循环网络生成的HDCT图像同真实的HDCT图像在分布上一致。
在图2中所示的基于CycleGAN的模式中，网络可以在没有配对数据的情况下完成LDCT图像恢复任务，这解决了医学图像成对数据难以获得的问题。但现有技术中的CycleGAN是针对图像翻译任务提出的，并不是适用于LDCT图像的恢复，对此，本发明在现有的CycleGAN的内部结构进行了调整：在CycleGAN的基础上引入通道注意力机制作为训练的基本网络架构。
其中图2所示的两个生成器的结构相同，如图3所示，生成器主要由卷积层Conv和17个残差通道注意力块(Residual Channel Attention Block，RCAB)(RCAB1、RCAB2、…RCAB16、RCAB17)组成，其中第一个卷积层Conv用于浅层特征的提取，最后一个卷积层Conv用于图像重建的解码过程，且其中还将浅层特征与靠近整个网络输出的图层连接起来，以保证远程信息的补偿，并促进梯度反向传播。
残差通道注意力块(RCAB)是包含通道注意力机制(Channel Attention，CA)的残差块，其具体结构如图3所示，由两个3×3的卷积层Conv和通道注意力机制层(CA)组成，其中通道注意力机制层(CA)连接在相互连接的两个3×3的卷积层Conv之后，并将两个3×3的卷积层Conv的输入连接到通道注意力机制层(CA)的输出以形成跳过连接。目前已存的大多数基于CNN的LDCT图像恢复方法都均等地对待图像的各通道特征，这对于实际情况而言并不合适，因为LDCT图像空间中具有丰富的低频成分和有价值的高频成分，高频分量通常是充满边缘、纹理和其他细节的区域，除此之外就是低频信息，均等地对待各个通道也就无法特异性地关注图像高频信息，无法完成良好的恢复。如图4所示，通道注意力机制层(CA)具体由一个全局池化层、两个全连接层和Sigmoid激活函数组成，其中全局池化层连接在两个相互连接的全连接层之前，Sigmoid激活函数连接在两个相互连接的全连接层之后，将全局池化层的输入连接到Sigmoid激活函数的输出以进行乘积运算，并将全局池化层的输入连接到乘积运算的输出以形成跳过连接。本发明中通过利用特征通道之间的相互依赖性以形成CA机制，从而使得网络更加专注于图像的有效部分。
另外，两个鉴别器也拥有相同的结构，基于pix2pix思想，鉴别器的结构如图5所示，鉴别器网络包含8个3×3的卷积层(Conv)，其中卷积核的数量由64不断增加至512。每当特征数量增加一倍时，将使用步长为2的卷积来降低图像的分辨率；生成512个特征图之后是两个全连接层(FC)和一个最终的Sigmoid激活函数，以获取输出样本分类的概率，两个全连接层(FC)之间连接批量归一化层(BN)。其中使用LeakyReLU(α＝0.2)作为激活函数，并去掉了网络中的的最大池化层。
S2：将包括少量配对的HDCT图像和LDCT图像的调节训练集对图像恢复网络中的两个生成器进行微调得到训练完成的图像恢复网络；
对于预训练的循环一致性的图像恢复网络，生成器GL2H的性能需要通过生成器GH2L的结果进行间接监督，这种机制不能保证最终输出的准确性，并且可能导致出现虚假信息；而对于LDCT图像的重建恢复，结果的准确性至关重要，如果生成错误信息，便可能导致误诊漏诊等，后果严重。因此，本步骤中对生成器网络进行一定的限制，保证生成器GL2H的输出符合医生要求。
已知在CNN中，浅层卷积提取图像的基础特征，比如边缘、轮廓等，深层卷积提取图像的抽象特征，比如脸型等，在预训练的CycleGAN模型中，网络已经具备了提取浅层特征和深层抽象信息等能力；但未配对的训练数据导致网络泛化能力比较差，参数不够优化，性能一般等问题。因此，在此基础上使用极少量的成对的训练数据对预训练的CycleGAN网络进行微调(Finetune)，这种粗粒度到细粒度(Coarse to Fine)的两阶段训练模式可以保证生成器GL2H的优越性能。本步骤中将预训练好的生成器GL2H进行微调，微调网络的结构与图3所示的生成器结构相同。
在微调网络中，采用成对的数据集进行训练，以生成图像和标签图像之间对应像素的L2损失来约束此阶段网络的训练：
Figure BDA0002747673010000081
其中，N表示配对的LDCT图像和HDCT图像的对数，x表示输入，即表示LDCT图像，y表示标签，即代表对应的HDCT图像；f(xi；Θ)指通过参数为Θ的网络生成的HDCT图像，损失函数限制网络生成的图像和标签在二范数上的一致。
S3：将待恢复的LDCT图像输入到生成器GL2H中，得到高质量的LDCT图像。
其中，在上述LDCT图像恢复方法中，进行微调的配对的HDCT图像和LDCT图像的数量远远小于预训练的非配对的HDCT图像和LDCT图像的数量，具体的实施例中微调的配对的HDCT图像和LDCT图像的数量小于预训练的非配对的HDCT图像和LDCT图像的数量的5％。因此，本发明的图像恢复网络只需要基于非常少量的配对图像并结合大量的非配对图像进行训练，即可实现良好的图像恢复效果，从而解决了医学图像处理中成对训练数据难以获得的问题。
本发明优选实施例的LDCT图像恢复方法，通过粗粒度到细粒度(Coarse to Fine)两阶段的训练，在大量非配对的训练数据下进行预训练，利用循环一致结构促使网络学习LDCT图像域和HDCT图像域之间的映射关系，而不是LDCT图像和NDCT图像(正常剂量CT图像)的图像对，在细粒度(Fine)阶段对粗粒度(Coarse)阶段预训练好的生成网络模型，用极少量配对的数据对其进行微调，以监督内容的生成并确保恢复图像的质量；其中生成器由卷积层和残差通道注意力块组成，通过通道注意力的引入有助于消除LDCT图像中的伪影及细节部分处理。
下述结合本发明优选实施例的LDCT图像恢复方法的实际应用，并与现有技术的几种图像恢复方法的结果进行对比。
具体地，采用Mayo诊所发布的2016NIH-AAPM-Mayo低剂量CT挑战赛的真实临床数据集进行训练。该数据集包括来自10位匿名患者的2378对正常剂量CT(NDCT)和低剂量(四分之一剂量)CT图像，图像尺寸为512×512。在实验中，随机选择了162900对64×64的非配对的图像块进行CycleGAN的预训练，而后重新选择4800对成对的图像块进行微调，微调的数据量仅为预训练的数据的2.9％。整个训练过程都将CT根据HU值转换为“肺”，“腹部”和“骨”三个窗位分别进行。
测试集为在AAPM中随机选择的142个LDCT图像，所有的测试图像均未包含在训练数据集中。本专利选择PSNR(峰值信噪比)、SSIM(结构相似性指数)和RMSE(均方根误差)作为测量标准，均为LDCT图像恢复领域的常用指标，结果如表1所示。
表1测试结果表
Figure BDA0002747673010000091
Figure BDA0002747673010000101
可视化结果如图6a～图6h所示，其中图6a为LDCT图像，图6b到图6f分别是K-SVD、NL-Means、BM3D、CNN、RED-CNN的结果图，图6g是采用本发明方法的结果图，图6h为对应的HDCT图像。
从上述表1和图6a～6h，可以看出，采用本发明的LDCT图像恢复方法，能够获得高质量的图像，且能够很好地抑制LDCT图像的噪声，即使与使用大量配对数据即训练的深度网络(例如RED-CNN)效果也毫不逊色，而且对于细节和伪影的处理效果显著。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于非配对数据的LDCT图像恢复方法，其特征在于，包括以下步骤：
S1：将包括非配对的多个LDCT图像和多个HDCT图像的预训练集输入到图像恢复网络以对所述图像恢复网络进行预训练，其中所述图像恢复网络包括两个生成器和两个鉴别器，两个所述生成器分别包括卷积层和残差通道注意力块；
S2：将包括配对的多个LDCT图像和多个HDCT图像的调节训练集对所述图像恢复网络中的所述生成器进行调节得到训练完成的所述生成器；
S3：将待恢复的LDCT图像输入到训练完成的所述生成器中，得到高质量的LDCT图像；
其中所述调节训练集中的LDCT图像和HDCT图像的数量小于所述预训练集中的LDCT图像和HDCT图像的数量。
2.根据权利要求1所述的LDCT图像恢复方法，其特征在于，所述图像恢复网络中的两个所述生成器包括生成器GL2H和生成器GH2L，其中生成器GL2H用于将LDCT图像生成对应的HDCT图像，生成器GH2L用于将HDCT图像生成对应的LDCT图像；步骤S2中具体将所述调节训练集对生成器GL2H进行调节得到训练完成的生成器GL2H，步骤S3中具体将待恢复的LDCT图像输入到训练完成的生成器GL2H中，得到高质量的LDCT图像。
3.根据权利要求2所述的LDCT图像恢复方法，其特征在于，步骤S1中将包括非配对的多个LDCT图像和多个HDCT图像的预训练集输入到图像恢复网络以对所述图像恢复网络进行预训练具体包括前向循环和后向循环，并在所述前向循环和所述后向循环过程中分别用各自的循环一致性损失函数进行约束；
其中所述前向循环包括将预训练集中多个LDCT图像输入到生成器GL2H后得到图像GL2H(LDCT)，再将图像GL2H(LDCT)输入到生成器GH2L，得到图像GH2L(GL2H(LDCT))；
所述后向循环包括将预训练集中多个HDCT图像输入到生成器GH2L后得到图像GH2L(HDCT)，再将图像GH2L(HDCT)输入到生成器GL2H，得到图像GH2L(GL2H(LDCT))。
4.根据权利要求3所述的LDCT图像恢复方法，其特征在于，其中所述前向循环的循环一致性损失函数
Figure FDA0002747671000000021
为：
Figure FDA0002747671000000022
所述后向循环的循环一致性损失函数
Figure FDA0002747671000000023
为：
Figure FDA0002747671000000024
其中，Pdata(LDCT)是LDCT图像域的分布，Pdata(HDCT)是HDCT图像域的分布，E表示均值。
5.根据权利要求1所述的LDCT图像恢复方法，其特征在于，两个所述生成器分别包括至少两个卷积层和多个残差通道注意力块，其中多个所述残差通道注意力块依次相互连接，至少两个所述卷积层分别连接在相互连接的多个所述残差通道注意力块的首尾两端，第一个所述卷积层用于浅层特征的提取，最后一个所述卷积层用于图像的解码，并将通过第一个所述卷积层的输出连接到最后一个所述卷积层的输入以形成跳过连接。
6.根据权利要求5所述的LDCT图像恢复方法，其特征在于，每个所述残差通道注意力块包括两个3×3的卷积层和通道注意力机制层，其中所述通道注意力机制层连接在相互连接的两个3×3的卷积层之后，并将两个3×3的卷积层的输入连接到所述通道注意力机制层的输出以形成跳过连接。
7.根据权利要求6所述的LDCT图像恢复方法，其特征在于，每个所述通道注意力机制层包括一个全局池化层、两个全连接层、Sigmoid激活函数，其中所述全局池化层连接在两个相互连接的所述全连接层之前，所述Sigmoid激活函数连接在两个相互连接的所述全连接层之后，将所述全局池化层的输入连接到所述Sigmoid激活函数的输出以进行乘积运算，并将所述全局池化层的输入连接到乘积运算的输出以形成跳过连接。
8.根据权利要求3所述的LDCT图像恢复方法，其特征在于，两个所述鉴别器包括鉴别器DL和鉴别器DH，其中鉴别器DL用于鉴别LDCT图像和图像GH2L(HDCT)，鉴别器DH用于鉴别HDCT图像和图像GL2H(LDCT)。
9.根据权利要求1所述的LDCT图像恢复方法，其特征在于，步骤S2中以所述调节训练集中的相互配对的HDCT图像和LDCT图像之间对应像素的L2损失函数来分别对所述生成器进行调节，其中L2损失函数为：
Figure FDA0002747671000000031
其中，N表示相互配对的HDCT图像和LDCT图像的配对数量，x表示输入的LDCT图像，y表示输入的HDCT图像，f(xi；Θ)表示通过参数为Θ的网络生成的HDCT图像。
10.根据权利要求1所述的LDCT图像恢复方法，其特征在于，所述调节训练集中的HDCT图像和LDCT图像的数量小于所述预训练集中的HDCT图像和LDCT图像的数量的5％。
CN202011172293.3A 2020-10-28 2020-10-28 一种基于非配对数据的ldct图像恢复方法 Active CN112258438B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011172293.3A CN112258438B (zh) 2020-10-28 2020-10-28 一种基于非配对数据的ldct图像恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011172293.3A CN112258438B (zh) 2020-10-28 2020-10-28 一种基于非配对数据的ldct图像恢复方法

Publications (2)

Publication Number Publication Date
CN112258438A true CN112258438A (zh) 2021-01-22
CN112258438B CN112258438B (zh) 2023-07-25

Family

ID=74261417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011172293.3A Active CN112258438B (zh) 2020-10-28 2020-10-28 一种基于非配对数据的ldct图像恢复方法

Country Status (1)

Country Link
CN (1) CN112258438B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538260A (zh) * 2021-06-21 2021-10-22 复旦大学 自监督和有监督联合训练的ldct图像去噪与分类方法
CN113807497A (zh) * 2021-09-02 2021-12-17 电子科技大学 一种增强纹理细节的非配对图像翻译方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785243A (zh) * 2018-11-28 2019-05-21 西安电子科技大学 基于对抗生成网络未配准低剂量ct的去噪方法、计算机
CN110570492A (zh) * 2019-09-11 2019-12-13 清华大学 神经网络训练方法和设备、图像处理方法和设备以及介质
US20200068398A1 (en) * 2018-08-24 2020-02-27 International Business Machines Corporation USE OF GENERATIVE ADVERSARIAL NETWORKS (GANs) FOR ROBUST TRANSMITTER AUTHENTICATION
CN111161137A (zh) * 2019-12-31 2020-05-15 四川大学 一种基于神经网络的多风格国画花生成方法
CN111784596A (zh) * 2020-06-12 2020-10-16 北京理工大学 基于生成对抗神经网络的通用内窥镜图像增强方法及装置
CN111833277A (zh) * 2020-07-27 2020-10-27 大连海事大学 一种具有非配对多尺度混合编解码结构的海上图像去雾方法
CN111833267A (zh) * 2020-06-19 2020-10-27 杭州电子科技大学 一种进行运动模糊复原的双重生成对抗网络及其运行方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200068398A1 (en) * 2018-08-24 2020-02-27 International Business Machines Corporation USE OF GENERATIVE ADVERSARIAL NETWORKS (GANs) FOR ROBUST TRANSMITTER AUTHENTICATION
CN109785243A (zh) * 2018-11-28 2019-05-21 西安电子科技大学 基于对抗生成网络未配准低剂量ct的去噪方法、计算机
CN110570492A (zh) * 2019-09-11 2019-12-13 清华大学 神经网络训练方法和设备、图像处理方法和设备以及介质
CN111161137A (zh) * 2019-12-31 2020-05-15 四川大学 一种基于神经网络的多风格国画花生成方法
CN111784596A (zh) * 2020-06-12 2020-10-16 北京理工大学 基于生成对抗神经网络的通用内窥镜图像增强方法及装置
CN111833267A (zh) * 2020-06-19 2020-10-27 杭州电子科技大学 一种进行运动模糊复原的双重生成对抗网络及其运行方法
CN111833277A (zh) * 2020-07-27 2020-10-27 大连海事大学 一种具有非配对多尺度混合编解码结构的海上图像去雾方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AMJAD ALMAHAIRI ET AL: "Augmented CycleGAN: Learning Many-to-Many Mappings from Unpaired Data", 《ARXIV:1802.10151V2》 *
GUANQUN HOU ET AL: "RESIDUAL DILATED NETWORK WITH ATTENTION FOR IMAGE BLIND DENOISING", 《2019 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPPO》 *
ZHIYUAN HUANG ET AL: "CaGAN: A Cycle-Consistent Generative Adversarial Network With Attention for Low-Dose CT Imaging", 《IEEE TRANSACTIONS ON COMPUTATIONAL IMAGING》 *
何剑华等: "基于改进的CycleGAN模型非配对的图像到图像转换", 《玉林师范学院学报（自然科学）》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538260A (zh) * 2021-06-21 2021-10-22 复旦大学 自监督和有监督联合训练的ldct图像去噪与分类方法
CN113538260B (zh) * 2021-06-21 2022-04-12 复旦大学 自监督和有监督联合训练的ldct图像去噪与分类方法
CN113807497A (zh) * 2021-09-02 2021-12-17 电子科技大学 一种增强纹理细节的非配对图像翻译方法
CN113807497B (zh) * 2021-09-02 2023-09-15 电子科技大学 一种增强纹理细节的非配对图像翻译方法

Also Published As

Publication number Publication date
CN112258438B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
US11854160B2 (en) CT super-resolution GAN constrained by the identical, residual and cycle learning ensemble (GAN-circle)
CN111325686B (zh) 一种基于深度学习的低剂量pet三维重建方法
Yuan et al. SIPID: A deep learning framework for sinogram interpolation and image denoising in low-dose CT reconstruction
CN110223255B (zh) 一种基于残差编解码网络的低剂量ct图像去噪递归方法
Huang et al. Considering anatomical prior information for low-dose CT image enhancement using attribute-augmented Wasserstein generative adversarial networks
Kwon et al. Cycle-free CycleGAN using invertible generator for unsupervised low-dose CT denoising
CN112258438B (zh) 一种基于非配对数据的ldct图像恢复方法
CN107292858B (zh) 一种基于低秩分解和稀疏表示的多模态医学图像融合方法
Xue et al. LCPR-Net: low-count PET image reconstruction using the domain transform and cycle-consistent generative adversarial networks
WO2023000244A1 (zh) 一种图像处理方法、系统及其应用
CN117813055A (zh) 用于从快速spect扫描和ct图像合成spect图像的多模态和多尺度特征聚合
Zhang et al. DREAM-Net: Deep residual error iterative minimization network for sparse-view CT reconstruction
Liu et al. MRCON-Net: Multiscale reweighted convolutional coding neural network for low-dose CT imaging
Wang et al. A self-supervised guided knowledge distillation framework for unpaired low-dose CT image denoising
Zhou et al. The synthesis of high-energy CT images from low-energy CT images using an improved cycle generative adversarial network
Poonkodi et al. 3D-MedTranCSGAN: 3D medical image transformation using CSGAN
Xie et al. Generation of contrast-enhanced CT with residual cycle-consistent generative adversarial network (Res-CycleGAN)
Yang et al. Low‐dose CT denoising with a high‐level feature refinement and dynamic convolution network
Gholizadeh-Ansari et al. Low-dose CT denoising using edge detection layer and perceptual loss
Yang et al. Abdomen MRI synthesis based on conditional GAN
Zhang et al. Medical image fusion based a densely connected convolutional networks
Sharif et al. Two-Stage Deep Denoising With Self-guided Noise Attention for Multimodal Medical Images
Yang et al. Medical image fusion method based on lifting wavelet transform and dual-channel PCNN
Wang et al. An unsupervised dual contrastive learning framework for scatter correction in cone-beam CT image
Zhao et al. A dual-channel network based GAN for low-dose CT image denoising

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant