CN111861910A - 一种ct图像降噪系统及方法 - Google Patents

一种ct图像降噪系统及方法 Download PDF

Info

Publication number
CN111861910A
CN111861910A CN202010605214.7A CN202010605214A CN111861910A CN 111861910 A CN111861910 A CN 111861910A CN 202010605214 A CN202010605214 A CN 202010605214A CN 111861910 A CN111861910 A CN 111861910A
Authority
CN
China
Prior art keywords
image
dose
noise reduction
generator
reduction system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010605214.7A
Other languages
English (en)
Inventor
郑海荣
李彦明
江洪伟
万丽雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guochuang Yucheng Medical Device Development (Shenzhen) Co.,Ltd.
Original Assignee
Shenzhen National Research Institute of High Performance Medical Devices Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen National Research Institute of High Performance Medical Devices Co Ltd filed Critical Shenzhen National Research Institute of High Performance Medical Devices Co Ltd
Priority to CN202010605214.7A priority Critical patent/CN111861910A/zh
Publication of CN111861910A publication Critical patent/CN111861910A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20088—Trinocular vision calculations; trifocal tensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请属于医学CT成像技术领域，特别是涉及一种CT图像降噪系统及方法。由于在CT成像时降低X射线的辐射会导致重建图像产生大量量子噪声和金属伪影。本申请提供了一种CT图像降噪系统，所述系统包括生成对抗网络，所述生成对抗网络用于实现低剂量CT图像和正常剂量CT图像之间的映射，判断生成图像的真假；所述生成对抗网络包括注意力模块和自适应矩估计优化器；所述注意力模块用于对图像的特征图每个通道施加不同的权重，充分利用图像高维低维特征以及局部和非局部信息；所述自适应矩估计优化器用于优化所述生成对抗网络。增强了图像细节信息，从而得到更加满足诊断需求的CT图像。

Description

一种CT图像降噪系统及方法
技术领域
本申请属于医学CT成像技术领域，特别是涉及一种CT图像降噪系统及方法。
背景技术
计算机断层扫描(Computed Tomography，CT)，是一种通过计算机和X射线来获取病人 躯体断层图像的非侵入式影像学检测方法，它具有扫描时间短，费用低廉和疾病监测范围广 等优点，适用于疾病的早期筛查和常规性体检。然而，大量的X射线照射会出现辐射剂量的 累计效应，大幅度增加各种疾病发生的可能性，进而影响人体生理机能，破坏人体组织器官， 甚至危害到患者的生命安全。合理应用低剂量CT成像技术需要在满足CT图像的临床诊断要求 下，同时尽可能的降低X射线对患者的辐射剂量，因此，研究和开发低剂量条件下成像质量 更高的CT成像，对于目前的医疗诊断领域都有着重要的科学意义和广阔的应用前景。
图像降噪的英文名称是Image Denoising，是图像处理中的专业术语。现实中的数字图像在 数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，称为含噪图像或噪声图像。 减少数字图像中噪声的过程称为图像降噪，有时候又称为图像去噪。
由于在CT成像时降低X射线的辐射会导致重建图像产生大量量子噪声和金属伪影；正常 CT成像需采集的数据量较大，导致图像重建速度慢；扫描时间长，导致出现病人出现不可避 免生理运动而引起伪影。
发明内容
1.要解决的技术问题
基于现有CT图像重建技术无法实现在稀疏采样的低剂量条件下重建临床诊断可接受的 CT图像，使用传统算法重建稀疏低剂量CT图像会带来明显的图像伪影和干扰信息，严重影响 后续的临床诊断的问题，本申请提供了一种CT图像降噪系统及方法。
2.技术方案
为了达到上述的目的，本申请提供了一种CT图像降噪系统，所述系统包括生成对抗网 络，所述生成对抗网络用于实现低剂量CT图像和正常剂量CT图像之间的映射，判断生成图 像的真假；
所述生成对抗网络包括注意力模块和自适应矩估计优化器；所述注意力模块用于对图像 的特征图每个通道施加不同的权重，充分利用图像高维低维特征以及局部和非局部信息；
所述自适应矩估计优化器用于优化所述生成对抗网络。
本申请提供的另一种实施方式为：：所述步骤1中所述注意力模块内嵌于所述生成对抗 网络，所述注意力模块包括通道注意力子模块和十字交叉自注意力子模块；
所述通道注意力子模块用于为不同的特征图在通道方向赋予不同的权重；
所述十字交叉自注意力子模块用于提高非局部信息利用率，可以沿着水平和垂直方向获 取非局部特征。
通道注意力子模块用于对图像的特征图每个通道施加不同的权重，进而可以用来融合高 维和低维特征；十字交叉自注意力子模块通过学习得到注意力图，充分利用图像局部和非局 部信息
本申请提供的另一种实施方式为：所述生成对抗网络包括第一生成器、第二生成器、第 一判别器和第二判别器；
所述第一生成器用于完成低剂量CT图像降噪任务；
所述第二生成器用于完成从正常剂量CT到低剂量CT的噪声仿真过程；
所述第一判别器用于鼓励第一生成器从低剂量CT图像里生成正常剂量CT图像；
所述第二判别器用于鼓励第二生成器从正常剂量CT图像里生成低剂量CT图像。
本申请提供的另一种实施方式为：所述第一生成器包括特征提取单元、图像重建单元和 残差连接单元，所述残差连接单元包括均值滤波器；所述第二生成器包括特征提取单元、图 像重建单元和残差连接单元，所述残差连接单元包括均值滤波器。
本申请提供的另一种实施方式为：所述特征提取子模块由12组3×3卷积和LeakyReLU 激活函数组成，并将每一层卷积操作的输出在最后沿着通道方向合并，再经由通道注意力子 模块为每个通道自主地赋予权重。
本申请提供的另一种实施方式为：所述第一判别器由6组卷积和LearkyReLU激活函数 组成，其中卷积核的大小为3×3；所述第二判别器由6组卷积和LearkyReLU激活函数组成， 其中卷积核的大小为3×3。
本申请提供的另一种实施方式为：还包括联合损失函数模块，所述联合损失函数模块用 于进一步提高图像质量。
本申请提供的另一种实施方式为：所述联合损失函数模块包括对抗损失子模块、循环一 致性损失子模块和结构恢复损失子模块。
本申请还提供一种CT图像降噪方法，所述方法包括：
1)采用权利要求1～7中任一项所述的CT图像降噪系统对图像进行处理；
2)从低剂量CT图像数据集中提取图像块作为输入，从正常剂量CT图像数据集中提取 对应的图像块作为参考；
3)训练生成对抗网络，逐步达到收敛状态。
本申请提供的另一种实施方式为：所述对图像的特征图每个通道施加不同的权重包括对输入 的特征图做全局平均池化操作，得到1×1×C的向量，再使用1×1卷积操作对该向量沿通道方 向压缩再恢复，经过两次1×1卷积操作后再经过sigmoid函数即可得到所需的权重向量，最 后将输入的特征图与该权重向量相乘，即可得到最终的输出。
3.有益效果
与现有技术相比，本申请提供的一种CT图像降噪系统及方法的有益效果在于：
本申请提供的CT图像降噪系统，为一种医学和工业领域计算机断层扫描(CT)系统。
本申请提供的CT图像降噪方法，基于多重注意力的循环一致性生成对抗网络实现CT图 像降噪，在提高图像峰值信噪比和结构相似度的同时，增强了图像细节信息，从而得到更加 满足诊断需求的CT图像。
本申请提供的CT图像降噪方法，为解决低剂量条件下CT成像质量差，噪声伪影多的问 题。
本申请提供的CT图像降噪系统，为一种基于多重注意力的循环一致性生成对抗网络， 来提高低剂量CT成像质量，通过注意力机制可以大幅度提高低维和高维信息的重复利用以 及局部和非局部信息的融合，从而增强传统卷积操作的性能，能够在较大程度上消除低剂量 CT的噪声和伪影。
本申请提供的CT图像降噪方法，提高CT图像质量专门设计了一个联合损失函数，通过 联合多重损失函数来进一步保证生成的CT图像满足医学诊断要求。
本申请提供的CT图像降噪系统，基于多重注意力机制，力求更有效地提取图像特征， 从高维和低维特征以及局部和非局部信息着手，并通过两种不同的注意力机制实现，大大提 高了生成的CT图像细节表现力。
一般CT降噪方法使用单一损失函数，无法对生成图像质量做出保证，本申请提供的CT 图像降噪系统通过联合多重损失函数，有效地保证了输出图像的质量。
本申请提供的CT图像降噪系统，加入了带有均值滤波的残差连接，有效地提升了网络 的收敛速度，提高了网络的训练效率。
附图说明
图1是本申请的通道注意力子模块结构示意图；
图2是本申请的十字交叉自注意力子模块结构示意图；
图3是本申请的第一生成器结构示意图；
图4是本申请的特征提取单元结构示意图；
图5是本申请的图像重建单元结构示意图；
图6是本申请的第一判别器结构示意图；
图7是本申请的生成对抗网络示意图；
图8是本申请的不同方法的结果对比示意图。
具体实施方式
在下文中，将参考附图对本申请的具体实施例进行详细地描述，依照这些详细的描述， 所属领域技术人员能够清楚地理解本申请，并能够实施本申请。在不违背本申请原理的情况 下，各个不同的实施例中的特征可以进行组合以获得新的实施方式，或者替代某些实施例中 的某些特征，获得其它优选的实施方式。
elmer M.Wolterink等人于2017年在IEEE Transactions on Medical Imaging期刊上发表文章 “Generative Adversarial Networks for Noise Reduction in Low-DoseCT”，成功将生成对抗网 络(GAN)应用于低剂量CT成像领域，其中生成器使用的卷积核大小为3×3×3，卷积核数 量由最开始的32个逐步增加到64个，最终增加到128个，去除了池化操作，所有卷积层后均使 用LeakyReLU激活函数提训练稳定性，此外，为保证生成器学习到的是低剂量CT图像中的噪 声部分，生成器的最终输出为输入图像减去生成器最后一层卷积输出图像，即可得到降噪后 图像；判别器部分使用了3×3×3大小的卷积核，LeakyReLU激活函数以及批正则化操作，最 终通过全连接层以及Sigmoid激活函数输出预测。
Yang等人于2018年在IEEE transactions on medical imaging期刊上发表文章“Low-dose CT image denoising using a generative adversarial network withWasserstein distance and perceptual loss”，在生成对抗网络的基础上增加了感知损失，使得生成的图像具有更多的细节信息和更 好的视觉效果。该网络生成器部分由8个卷积操作和ReLU激活函数组成，判别器由6个卷积操 作和ReLU激活函数组成，生成器和判别器同时训练，判别器可促进生成器生成更加符合要求 的图像。
参见图1～8，本申请提供一种CT图像降噪系统，所述系统包括生成对抗网络，所述生 成对抗网络用于实现低剂量CT图像和正常剂量CT图像之间的映射，判断生成图像的真假；
所述生成对抗网络包括注意力模块和自适应矩估计优化器；所述注意力模块用于对图像 的特征图每个通道施加不同的权重，充分利用图像高维低维特征以及局部和非局部信息；
所述自适应矩估计优化器用于优化所述生成对抗网络。
生成对抗网络是网络的整体结构，包含生成器和判别器，生成器学习低剂量CT图像和 正常CT图像之间的映射，判别器学习判别输入图像是否为真实图像，所谓的对抗，指的就 是生成器和判别器之间的互相对抗，生成器学习真实数据的特征分布，判别器从真实数据和 生成器生成数据中鉴别真假，生成器期望生成数据尽可能的欺骗判别器，而判别器期望能够 鉴别出生成器生成数据，由此形成对抗，两者在生成和对抗中不断博弈，共同学习，逐步达 到纳什均衡，最终生成器生成数据足以以假乱真，使得判别器无法鉴别真伪；注意力模块属 于内嵌进生成器和判别器中的子模块，用于提高生成器和判别器的性能；Adam优化器是用 于反向传播时的梯度更新方法，能确保网络训练正常进行，有效提高网络收敛速度。
进一步地，：所述步骤1中所述注意力模块内嵌于所述生成对抗网络，所述注意力模块 包括通道注意力子模块和十字交叉自注意力子模块；
所述通道注意力子模块用于为不同的特征图在通道方向赋予不同的权重；
所述十字交叉自注意力子模块用于提高非局部信息利用率，可以沿着水平和垂直方向获 取非局部特征。
注意力模块包含两种不同的注意力机制：通道注意力和十字交叉自注意力。传统的卷积 神经网络通过不断叠加卷积操作以此来获取图像的更高维信息，但往往对来自低维的特征信 息缺乏足够的灵活利用，其中，通道注意力主要是为不同的特征图在通道方向赋予不同的权 重，可以更加充分地利用来自低维和高维的特征信息，该权重不是通过人为确定，而是网络 通过学习获得，这进一步增加了网络的自主性。通道注意力如图1所示。
如图1所示，通道注意力子模块输入为大小是H×W×C的特征图，为了给每个通道施加 不同的权重，需要获得一个1×1×C的权重向量，该向量上的值即为不同通道的权重。为获取 权重向量，首先对输入的特征图做全局平均池化操作，得到1×1×C的向量，再使用1×1卷积 操作对该向量沿通道方向压缩再恢复，以此来更好地实现通道间的信息融合，经过两次1×1 卷积操作后再经过sigmoid函数即可得到所需的权重向量，最后将输入的特征图与该权重向 量相乘，即可得到最终的输出。通道注意力操作可用如下公式表示：
s＝f(WUδ(WDG(z))) (1)
其中，z表示大小为H×W×C的输入特征图，G表示全局平均池化操作，WD和WU表示两次1 ×1卷积操作，δ和f分别表示ReLU和sigmoid激活函数。
此外，传统卷积操作仅在局部区域内进行互相关计算，这大大降低了非局部信息的利用， 融合图像的非局部特征有利于提高最终生成的图像质量。为提高非局部信息利用率，设计出 一种可以沿着水平和垂直方向获取非局部特征的十字交叉自注意力子模块。该模块首先通过 计算当前像素位置的水平和垂直方向相关性，然后再叠加两次十字交叉自注意力子模块即可 获得全局相关性，从而有效地利用全局的非局部特征信息。
如图所示，假定该模块的输入为C×H×W大小的特征图，分别经过三个1×1卷积得到
Figure BDA0002560813860000061
和
Figure BDA0002560813860000066
其中f(x)和g(x)的通道数C要低于h(x)， 压缩通道是为了促使通道间的信息融合。假定当前像素点xi∈x是特征图中的第i个位置的像 素点，
Figure BDA0002560813860000062
是f(x)与当前像素位置对应的沿着通道方向像素值组成的向量，
Figure BDA0002560813860000063
是g(x)与当前像素位置对应的沿着水平和垂直方向像素值组成的向量，则：
Figure BDA0002560813860000064
再将v′(x)首先经1×1卷积扩展维度，然后通过softmax计算输出注意力图，再将得到的注意力 图与h(x)对应元素相乘：
Figure BDA0002560813860000065
最终将输出乘以可学习参数γ并加上输入，得到最后的输出：
ofinal(x)＝γ·o(x)+x (4)
以上所描述的十字交叉自注意力子模块仅在垂直和水平方向计算相关性，当叠加两次十 字交叉自注意力子模块即可间接计算出全局的相关性，这大大降低了直接计算全局相关性的 计算量。
进一步地，所述生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器；
所述第一生成器用于完成低剂量CT图像降噪任务；
所述第二生成器用于完成从正常剂量CT到低剂量CT的噪声仿真过程；
所述第一判别器用于鼓励第一生成器从低剂量CT图像里生成正常剂量CT图像；
所述第二判别器用于鼓励第二生成器从正常剂量CT图像里生成低剂量CT图像。
进一步地，所述第一生成器包括特征提取单元、图像重建单元和残差连接单元，所述残 差连接单元包括均值滤波器；所述第二生成器包括特征提取单元、图像重建单元和残差连接 单元，所述残差连接单元包括均值滤波器。
本申请涉及到的生成对抗网络主要由生成器和判别器组成，其中生成器主要实现低剂量 CT图像和正常剂量CT图像之间的映射，而判别器用于判断生成器生成图像的真假，两者同 步训练共同进步，逐步使得生成器生成的图像能够以假乱真。其中生成器主要由两个部分组 成：特征提取单元和图像重建单元，输入经由特征提取网络对图像进行特征提取，再经图像 重建网络对提取到的特征进行重建，同时输入经由带均值滤波器的残差连接单元到输出，残 差连接单元是为了解决训练中的梯度消失和梯度爆炸问题，同时为了促进网络间的信息传递， 均值滤波器可以进一步提高网络的收敛速度。
进一步地，所述特征提取子模块由12组3×3卷积和LeakyReLU激活函数组成，并将每 一层卷积操作的输出在最后沿着通道方向合并，再经由通道注意力子模块为每个通道自主地 赋予权重。从而更加有效地利用来自高维和低维的特征信息。
图像重建单元首先经由三路不同尺寸卷积操作提取特征，其中1×1卷积可用于通道压缩， 减少参数量并提高通道间的信息融合，三条支路的最后都添加了十字交叉自注意力子模块， 以提高非局部特征的利用，最终将三条支路获取到的特征图沿通道方向合并，并经由三组卷 积操作得到最终的输出。
进一步地，所述第一判别器由6组卷积和LearkyReLU激活函数组成，其中卷积核的大 小为3×3；所述第二判别器由6组卷积和LearkyReLU激活函数组成，其中卷积核的大小为 3×3。卷积核的数量和步长如图中所示，其中n表示卷积核的数量，s表示卷积核的步长，网 络的最后是两个卷积层，最终的输出为判别输入图像是否为真。
进一步地，还包括联合损失函数模块，所述联合损失函数模块用于进一步提高图像质量。
进一步地，所述联合损失函数模块包括对抗损失子模块、循环一致性损失子模块和结构 恢复损失子模块。
在设计联合损失函数前，首先说明循环一致性生成对抗网络的整体架构，如图所示，该 架构主要包含两对生成器(Gab和Gba)和判别器(Da和Db)，判别器Db鼓励生成器Gab从低剂量CT图像
Figure BDA0002560813860000071
里生成正常剂量CT图像
Figure BDA0002560813860000072
判别器Da鼓励生成器Gba从正常剂量CT图 像
Figure BDA0002560813860000073
里生成低剂量CT图像
Figure BDA0002560813860000074
其中生成器Gab可完成低剂量CT图像降噪任务，生成器 Gba可完成从正常剂量CT到低剂量CT的噪声仿真过程，本申请在测试阶段主要使用已训练 好的生成器Gab实现图像降噪功能。
单一损失函数在图像生成方面存在一定局限性，为提高生成图像质量，有必要使用联合 损失来进一步提高图像质量。联合损失函数可表示如下：
Figure BDA0002560813860000075
其中，λ1和λ2分别为权重系数。
首先，网络整体基于生成对抗网络的思想，故对抗损失为其核心损失函数之一，其目标 函数为：
Figure BDA0002560813860000076
其中，
Figure BDA0002560813860000081
Figure BDA0002560813860000082
为缓解生成对抗网络在训练过程中的梯度消失和模式崩塌问题，使用了最小二乘对抗损 失函数：
Figure BDA0002560813860000083
Figure BDA0002560813860000084
其中，E(·)表示期望，α和β表示输入和目标数据，P*表示数据分布，a，b和c表示人为 设定的超参数，其中a＝0，b＝1，c＝1。
在循环一致性生成对抗网络中，除了对抗损失外，还加入了循环一致性，单单使用对抗 损失来训练函数无法保证生成的图像细节能满足要求，故增加循环一致性损失对输出做进一 步约束：
Figure BDA0002560813860000085
其中，||·||1表示L1范数。
对抗损失与循环一致性损失相互配合是为了相互约束，保证输出结果尽可能接近真实， 但难以保证输出图像的峰值信噪比和结构相似性，为进一步提高图像质量，增加了结构恢复 损失，该损失可以进一步提高图像峰值信噪比和结构相似度。首先，以往的经验可知L2损失 函数虽然可以在一定程度上提升图像的峰值信噪比，但L2损失会使得图像平滑，丢失细节， 故采用L1损失函数：
Figure BDA0002560813860000087
结构相似度是从亮度，对比度和结构等方面衡量两个图像的相似度，其计算公式为：
Figure BDA0002560813860000088
其中，μ和σ分别表示图像的均值和标准差，C1＝(k1L)2和C2＝(k2L)2是两个较小的常数项，避 免分母为0，其中L表示图像的最大像素值。结构相似度越接近于1，则表示两张图像相似度 越高，同时，在网络训练中通常使用梯度下降法，故设计如下损失函数：
Figure BDA0002560813860000091
结合L1和LSSIM可得：
Lstr＝μL1+(1-μ)LSSIM (15)
本申请还提供一种CT图像降噪方法，所述方法包括：
1)采用权利要求1～7中任一项所述的CT图像降噪系统对图像进行处理；
2)从低剂量CT图像数据集中提取图像块作为输入，从正常剂量CT图像数据集中提取 对应的图像块作为参考；
3)训练生成对抗网络，逐步达到收敛状态。
进一步地，所述对图像的特征图每个通道施加不同的权重包括对输入的特征图做全局平均池 化操作，得到1×1×C的向量，再使用1×1卷积操作对该向量沿通道方向压缩再恢复，经过两 次1×1卷积操作后再经过sigmoid函数即可得到所需的权重向量，最后将输入的特征图与该 权重向量相乘，即可得到最终的输出。
从图8可以看出，本申请的方法可以有效提高图像的峰值信噪比和结构相似度，同时，可以 在一定程度上恢复图像细节信息。
除应用于CT图像降噪外，该方法可应用于其他类型医学图像降噪；除应用于降噪外，该方 法经过适当更改后，也可应用于图像超分辨领域；注意力机制可以被认为是一种即插即用模 块，可以添加至任意传统卷积神经网络工作流程中，提高网络的性能。
尽管在上文中参考特定的实施例对本申请进行了描述，但是所属领域技术人员应当理解， 在本申请公开的原理和范围内，可以针对本申请公开的配置和细节做出许多修改。本申请的 保护范围由所附的权利要求来确定，并且权利要求意在涵盖权利要求中技术特征的等同物文 字意义或范围所包含的全部修改。

Claims (10)

1.一种CT图像降噪系统，其特征在于：所述系统包括生成对抗网络，所述生成对抗网络用于实现低剂量CT图像和正常剂量CT图像之间的映射，判断生成图像的真假；
所述生成对抗网络包括注意力模块和自适应矩估计优化器；所述注意力模块用于对图像的特征图每个通道施加不同的权重，充分利用图像高维低维特征以及局部和非局部信息；所述自适应矩估计优化器用于优化所述生成对抗网络。
2.如权利要求1所述的CT图像降噪系统，其特征在于：所述注意力模块内嵌于所述生成对抗网络，所述注意力模块包括通道注意力子模块和十字交叉自注意力子模块；
所述通道注意力子模块用于为不同的特征图在通道方向赋予不同的权重；
所述十字交叉自注意力子模块用于提高非局部信息利用率，可以沿着水平和垂直方向获取非局部特征。
3.如权利要求2所述的CT图像降噪系统，其特征在于：所述生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器；
所述第一生成器用于完成低剂量CT图像降噪任务；
所述第二生成器用于完成从正常剂量CT到低剂量CT的噪声仿真过程；
所述第一判别器用于鼓励第一生成器从低剂量CT图像里生成正常剂量CT图像；
所述第二判别器用于鼓励第二生成器从正常剂量CT图像里生成低剂量CT图像。
4.如权利要求3所述的CT图像降噪系统，其特征在于：所述第一生成器包括特征提取单元、图像重建单元和残差连接单元，所述残差连接单元包括均值滤波器；所述第二生成器包括特征提取单元、图像重建单元和残差连接单元，所述残差连接单元包括均值滤波器。
5.如权利要求4所述的CT图像降噪系统，其特征在于：所述特征提取子模块由12组3×3卷积和LeakyReLU激活函数组成，并将每一层卷积操作的输出在最后沿着通道方向合并，再经由通道注意力子模块为每个通道自主地赋予权重。
6.如权利要求3所述的CT图像降噪系统，其特征在于：所述第一判别器由6组卷积和LearkyReLU激活函数组成，其中卷积核的大小为3×3；所述第二判别器由6组卷积和LearkyReLU激活函数组成，其中卷积核的大小为3×3。
7.如权利要求1所述的CT图像降噪系统，其特征在于：还包括联合损失函数模块，所述联合损失函数模块用于进一步提高图像质量。
8.如权利要求7所述的CT图像降噪系统，其特征在于：所述联合损失函数模块包括对抗损失子模块、循环一致性损失子模块和结构恢复损失子模块。
9.一种CT图像降噪方法，其特征在于：所述方法包括：
1)采用权利要求1～7中任一项所述的CT图像降噪系统对图像进行处理；
2)从低剂量CT图像数据集中提取图像块作为输入，从正常剂量CT图像数据集中提取对应的图像块作为参考；
3)训练生成对抗网络，逐步达到收敛状态。
10.如权利要求8所述的CT图像降噪方法，其特征在于：所述对图像的特征图每个通道施加不同的权重包括对输入的特征图做全局平均池化操作，得到1×1×C的向量，再使用1×1卷积操作对该向量沿通道方向压缩再恢复，经过两次1×1卷积操作后再经过sigmoid函数即可得到所需的权重向量，最后将输入的特征图与该权重向量相乘，即可得到最终的输出。
CN202010605214.7A 2020-06-29 2020-06-29 一种ct图像降噪系统及方法 Pending CN111861910A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010605214.7A CN111861910A (zh) 2020-06-29 2020-06-29 一种ct图像降噪系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010605214.7A CN111861910A (zh) 2020-06-29 2020-06-29 一种ct图像降噪系统及方法

Publications (1)

Publication Number Publication Date
CN111861910A true CN111861910A (zh) 2020-10-30

Family

ID=72989881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010605214.7A Pending CN111861910A (zh) 2020-06-29 2020-06-29 一种ct图像降噪系统及方法

Country Status (1)

Country Link
CN (1) CN111861910A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785525A (zh) * 2021-01-26 2021-05-11 桂林电子科技大学 基于深度学习去除刀具刃口图像中的附着物的方法和系统
CN112837244A (zh) * 2021-03-11 2021-05-25 太原科技大学 用于低剂量ct图像降噪及去伪影的渐进式生成对抗网络
CN113379868A (zh) * 2021-07-08 2021-09-10 安徽工程大学 基于卷积稀疏编码网络的低剂量ct图像噪声伪影分解方法
CN113506353A (zh) * 2021-07-22 2021-10-15 深圳高性能医疗器械国家研究院有限公司 一种图像处理方法、系统及其应用
CN114511475A (zh) * 2022-04-21 2022-05-17 天津大学 一种基于改进Cycle GAN的图像生成方法
CN115100432A (zh) * 2022-08-23 2022-09-23 浙江大华技术股份有限公司 一种小样本目标检测方法、设备及计算机可读存储介质
CN117123131A (zh) * 2023-10-25 2023-11-28 克拉玛依市蓝润环保科技有限责任公司 石油助剂的生产设备及其方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555458A (zh) * 2019-07-24 2019-12-10 中北大学 基于注意力机制生成对抗网络的多波段图像特征级融合方法
CN110766632A (zh) * 2019-10-22 2020-02-07 广东启迪图卫科技股份有限公司 基于通道注意力机制和特征金字塔的图像去噪方法
CN110930318A (zh) * 2019-10-31 2020-03-27 中山大学 一种低剂量ct图像修复去噪方法
US20200111194A1 (en) * 2018-10-08 2020-04-09 Rensselaer Polytechnic Institute Ct super-resolution gan constrained by the identical, residual and cycle learning ensemble (gan-circle)
US20200118306A1 (en) * 2018-10-12 2020-04-16 Korea Advanced Institute Of Science And Technology Method for processing unmatched low-dose x-ray computed tomography image using neural network and apparatus therefor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200111194A1 (en) * 2018-10-08 2020-04-09 Rensselaer Polytechnic Institute Ct super-resolution gan constrained by the identical, residual and cycle learning ensemble (gan-circle)
US20200118306A1 (en) * 2018-10-12 2020-04-16 Korea Advanced Institute Of Science And Technology Method for processing unmatched low-dose x-ray computed tomography image using neural network and apparatus therefor
CN110555458A (zh) * 2019-07-24 2019-12-10 中北大学 基于注意力机制生成对抗网络的多波段图像特征级融合方法
CN110766632A (zh) * 2019-10-22 2020-02-07 广东启迪图卫科技股份有限公司 基于通道注意力机制和特征金字塔的图像去噪方法
CN110930318A (zh) * 2019-10-31 2020-03-27 中山大学 一种低剂量ct图像修复去噪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴晨、等: "基于差分的生成式对抗网络 GP 算法及其应用研究", 中国优秀硕士学位论文全文数据库, 15 February 2020 (2020-02-15), pages 29 - 44 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785525A (zh) * 2021-01-26 2021-05-11 桂林电子科技大学 基于深度学习去除刀具刃口图像中的附着物的方法和系统
CN112837244A (zh) * 2021-03-11 2021-05-25 太原科技大学 用于低剂量ct图像降噪及去伪影的渐进式生成对抗网络
CN112837244B (zh) * 2021-03-11 2022-07-22 太原科技大学 一种基于渐进式生成对抗网络的低剂量ct图像降噪及去伪影方法
CN113379868A (zh) * 2021-07-08 2021-09-10 安徽工程大学 基于卷积稀疏编码网络的低剂量ct图像噪声伪影分解方法
CN113506353A (zh) * 2021-07-22 2021-10-15 深圳高性能医疗器械国家研究院有限公司 一种图像处理方法、系统及其应用
CN114511475A (zh) * 2022-04-21 2022-05-17 天津大学 一种基于改进Cycle GAN的图像生成方法
CN114511475B (zh) * 2022-04-21 2022-08-02 天津大学 一种基于改进Cycle GAN的图像生成方法
CN115100432A (zh) * 2022-08-23 2022-09-23 浙江大华技术股份有限公司 一种小样本目标检测方法、设备及计算机可读存储介质
CN115100432B (zh) * 2022-08-23 2022-11-18 浙江大华技术股份有限公司 一种小样本目标检测方法、设备及计算机可读存储介质
CN117123131A (zh) * 2023-10-25 2023-11-28 克拉玛依市蓝润环保科技有限责任公司 石油助剂的生产设备及其方法
CN117123131B (zh) * 2023-10-25 2024-02-02 克拉玛依市蓝润环保科技有限责任公司 石油助剂的生产设备及其方法

Similar Documents

Publication Publication Date Title
CN111861910A (zh) 一种ct图像降噪系统及方法
WO2022000183A1 (zh) 一种ct图像降噪系统及方法
US11308587B2 (en) Learning method of generative adversarial network with multiple generators for image denoising
CN110443867B (zh) 基于生成对抗网络的ct图像超分辨率重构方法
CN112435164B (zh) 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法
CN115953494B (zh) 基于低剂量和超分辨率的多任务高质量ct图像重建方法
CN112598649B (zh) 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法
CN110660063A (zh) 多图像融合的肿瘤三维位置精准定位系统
CN116645283A (zh) 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法
CN111696042B (zh) 基于样本学习的图像超分辨重建方法
CN114943721A (zh) 一种建立基于改进U-Net网络的颈部超声图像分割方法
WO2023000244A1 (zh) 一种图像处理方法、系统及其应用
CN114565711A (zh) 基于深度学习的心脏图像重建方法及系统
CN113762522A (zh) 机器学习模型的训练方法、装置和图像的重建方法、装置
CN112819740A (zh) 一种基于多成份低秩字典学习的医学图像融合方法
CN116402954A (zh) 一种基于深度学习的脊柱三维结构的重建方法
CN115330600A (zh) 一种基于改进srgan的肺部ct图像超分辨率方法
CN114897726A (zh) 基于三维生成对抗网络的胸腔ct图像伪影去除方法与系统
CN114864095A (zh) 一种结合多运动强度下的狭窄冠脉血运变化的分析方法
CN114049334A (zh) 一种以ct图像为输入的超分辨率mr成像方法
CN114569116A (zh) 基于三通道图像及迁移学习的心冲击图室颤辅助诊断系统
CN113506353A (zh) 一种图像处理方法、系统及其应用
Cui et al. Medical image quality assessment method based on residual learning
Jagtap et al. Improved Image Fusion Technique Using Convolutional Neural Networks and The Hybrid PCA-Guided Filter
Baalbaki et al. An end-to-end deep learning approach for atherosclerosis detection using autoencoders

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230614

Address after: 381, West Side, Phase 1, Huiheng Building, No. 138 Gaoxin South Seventh Road, Gaoxin District Community, Yuehai Street, Shenzhen, Guangdong Province, 518000

Applicant after: Guochuang Yucheng Medical Device Development (Shenzhen) Co.,Ltd.

Address before: Room A101, building 1, Yinxing Zhijie phase II, No. 1301-76, sightseeing Road, Xinlan community, Guanlan street, Longhua District, Shenzhen, Guangdong 518000

Applicant before: Shenzhen National Research Institute of high performance Medical Devices Co.,Ltd.