CN108564553A - 基于卷积神经网络的低剂量ct图像噪声抑制方法 - Google Patents

基于卷积神经网络的低剂量ct图像噪声抑制方法 Download PDF

Info

Publication number
CN108564553A
CN108564553A CN201810428054.6A CN201810428054A CN108564553A CN 108564553 A CN108564553 A CN 108564553A CN 201810428054 A CN201810428054 A CN 201810428054A CN 108564553 A CN108564553 A CN 108564553A
Authority
CN
China
Prior art keywords
image
dose
low
neural networks
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810428054.6A
Other languages
English (en)
Inventor
阳维
陈阳
张慧娟
蔡广威
冯前进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Medical University
Original Assignee
Southern Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Medical University filed Critical Southern Medical University
Priority to CN201810428054.6A priority Critical patent/CN108564553A/zh
Publication of CN108564553A publication Critical patent/CN108564553A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种基于卷积神经网络的低剂量CT图像噪声抑制方法,包括(1):利用低管电流管电压扫描得到的低剂量CT图像,对输入的原始低剂量CT图像L进行归一化处理,求出低剂量CT图像所有像素的灰度的均值和标准偏差,然后L减去均值除以标准偏差得到CT图像L0;(2):得到的预处理后的低剂量CT图像L0作为卷积神经网络的输入,预测低剂量CT图像I对应的噪声CT图像D0;(3):L0减去预测出来的噪声图像D0然后乘以低剂量CT图像的标准偏差再加上低剂量CT图像的均值便为去噪后的图像H0。本发明中通过卷积神经网络来对低剂量CT图像进行去噪处理,保证图像满足诊断质量的同时,降低受检者的照射剂量,提高了病灶的检出率,使疾病得到早期诊断。

Description

基于卷积神经网络的低剂量CT图像噪声抑制方法
技术领域
本发明属于数字图像处理领域,也属于机器学习与模式识别的范畴,具体地说,涉及一种基于卷积神经网络的低剂量CT图像噪声抑制方法。
背景技术
随着CT技术的不断发展和CT设备的普及,CT检查已越来越广泛应用于各种疾病的诊断中。近年来多层螺旋CT的出现,提高了CT图像的时间分辨力、空间分辨力及密度分辨率,图像后处理软件的发展,大大提高了病灶的检出率,使疾病得到早期诊断。然而,随着多层螺旋CT的升级,容积采集大大增加数据量和信息量,在为诊断医师提供更多优质图像资料的同时也增加了X线辐射剂量,从而增加了患者的危害性。因此,有关人员为了降低受检者照剂量,开发了各种新的技术来降低受检者的X线辐射剂量,低剂量CT的概念随之被提出。
X线断层成像(ComputedTomography,CT)技术在临床获得了广泛应用,但照射剂量偏高限制了其在普通人群筛查如肺癌高危人群检查中的应用,CT的辐射剂量主要由系统扫描参数决定。针对上述现象,临床上采用了降低剂量的扫描方案,但低剂量CT图象中的噪声使图象质量下降,影响诊断的准确性,并增加对图像进行分析处理的难度。
低剂量CT作为人体很多部位病变筛选的有效手段,在人体很多疾病预防上起重要作用,但是由于低管电流管电压扫描技术会导致图像噪声增加从而影响低剂量CT图像当中微小病灶显示。
目前国内医院中的绝大部分CT设备均没有内置新型低剂量重建算法,重新购买那些内置了低剂量算法的新型CT设备对大部分中小医院将是一笔巨大的费用。
基于图像噪声统计特性的小波去噪改进算法,即基于贝叶斯估计的小波系数自适应法和基于平稳小波的局部自适应阈值去噪法两种方法,在获得在一定条件下投影数据的噪声统计特性下经过处理后前者图像边缘并没有得到很好保留厚着图像细节不够完善,并且这种改进算法处理过程较为复杂,基于大尺度CT值平均的低剂量CT图像后处理算法相比较而言虽然有一定的优势,但是不可否认这种低剂量CT图像的去噪方法仅仅在腹部图像具有很好的处理效果还没有在其他部位的CT图像显示出很好的适用性。基于字典学习的低剂量X-rayCT图像去噪算法其字典的大小、稀疏表示的约束条件等参数会显著影响所提算法的去噪结果,仅仅依靠低剂量CT图像作为训练样本其去噪结果并不会得到较大改善,并且算法本身在临床上的实用性并不高并且算法所涉及复杂度和参数敏感性也是无法预料到的。
发明内容
本发明克服了现有技术中的缺点,提供了一种基于卷积神经网络的低剂量CT图像噪声抑制方法,不需进行复杂的低剂量CT图像的后处理的情况下,通过采用卷积神经网络(Convolutional Neural Network,ConvNet)对CT图像数据的学习,自动学习对于噪声图像预测有效的图像特征,建立噪声图像的预测模型,直接实现CT图像中的噪声的抑制,避免病人接受更多的X射线,提高低剂量CT图像的图像质量,提高病灶诊断率。
本发明不需要对图像特征提取方式进行特别的设计,通过对卷积神经网络模型的训练自动完成图像特征的学习。本发明避免了传统低剂量CT图像处理的繁琐过程,在去噪的同时有效保留了图像细节。
为了解决上述技术问题,本发明是通过以下技术方案实现的:
一种基于卷积神经网络的低剂量CT图像噪声抑制方法,包括以下步骤:
(1):利用低管电流管电压扫描得到的低剂量CT图像,对输入的低剂量CT图像L进行归一化处理,求出低剂量CT图像所有像素的灰度的均值和标准偏差,然后用L减去所有像素的灰度的均值除以标准偏差得到预处理后的低剂量CT图像L0
μi——为低剂量CT图像所有像素的灰度的均值,
m——为所有像素数量,
xi——为单个像素的灰度,
δ——为低剂量CT图像的灰度的标准偏差,
L——为低剂量CT图像,
L0——为预处理后的低剂量CT图像;
(2):以步骤(1)得到的预处理后的低剂量CT图像L0作为卷积神经网络的输入,预测低剂量CT图像L对应的噪声CT图像D0
(3):用步骤(1)中的L0减去步骤(2)中预测出来的噪声图像D0然后乘以低剂量CT图像的标准偏差再加上低剂量CT图像的均值便为去噪后的图像H0
H0=(L0-D0)×δ+μ,
D0——为低剂量CT图像L对应的噪声CT图像,
H0——为去燥后的图像。
进一步,卷积神经网络的训练数据预处理包括:首先对高剂量CT图像H进行去噪处理得到去噪后的高剂量CT图像H0;然后用低剂量CT图像L减去对应的去噪后的高剂量CT图像H0得到实际的噪声图像D;训练卷积神经网络用的低剂量CT图像采用步骤(1)中方法提到的图像灰度归一化方法进行归一化处理得到L0;对噪声图像除以低剂量CT图像的标准偏差得到D0对初始化的卷积神经网络进行训练,
D=L-H0
进一步,利用低剂量CT图像预测高剂量CT图像其训练数据的预处理包括:首先对高剂量CT图像H进行去噪处理得到去噪后的高剂量CT图像H0;训练卷积神经网络用的低剂量CT图像采用步骤(1)中方法提到的图像灰度归一化方法进行归一化处理得到L0然后对初始化的卷积神经网络进行训练。
进一步,二维二维卷积神经网络各层的输入和输出称为特征图,特征图具有多个通道,通道数目取决于对应卷积层中卷积核的数目,设第l层卷积层有nl个卷积核,第l层输出的特征图记为Fl,特征图Fl的第i个通道记为Fi l(i=1,2,3,...,nl),卷积网络的输入记为F0,F0具有两个通道,分别为:
数学上,卷积神经网络中第l层卷积层输出Fl与输入Fl-1之间的关系可描述为:
上式中,*表示二维卷积操作,σ(.)表示输入矩阵中元素的非线性激活函数,为第l层卷积层中用于计算输出特征图第i个通道、与输入特征图中第j个通道进行卷积的二维卷积核,bil为第l层卷积层中用于计算输出特征图第i个通道的偏置项,L表示卷积网络中的卷积层数目;第L层卷积层激活函数为线性函数,输出为去噪后的CT图像:
Gx,Gy输出为去噪后的CT图像,为第L层卷积层中用于计算输出特征图第i个通道、与输入特征图中第j个通道进行卷积的二维卷积核,特征图Fl的第j个通道记为L表示卷积网络中的卷积层数目,为第L层卷积层中用于计算输出特征图第i个通道的偏置项。
进一步,非线性激活函数可以为Sigmoid函数、双曲线正切函数或者ReLU函数。
进一步,卷积神经网络的网络架构,包括平原网络,残差网络,对称跳层结构,以及其它基于平原网络引入其他任何连接捷径的网络结构。
进一步,残差单元的输出由多个卷积层级联的输出和输入元素间相加,其中,保证卷积层输出和输入元素维度相同,再经过ReLU激活后得到,将这种结构级联起来,就得到了残差网络。
进一步,对称跳层结构包括:首先,跳跃连接捷径使信号直接后向传播到最底层;第二,对称连接通过卷积来传递图像细节。
进一步,利用三维卷积核对输入的三维的CT图像数据进行特征提取,这些卷积核在不同层面上进行操作,基于三维卷积特征核构造三维卷积神经网络。
进一步,三维卷积神经网络各层的输入和输出称为特征图,特征图具有多个通道,通道数目取决于对应卷积层中三维卷积核的数目,设第l层卷积层有nl个卷积核,第l层输出的特征图记为Fl,特征图Fl的第i个通道记为Fi l(i=1,2,3,...,nl),卷积网络的输入记为F0,但此时F0具有三个通道,分别为:
F1 0=Ix
F2 0=Iy
F3 0=Iz
数学上,卷积神经网络中第l层卷积层输出Fl与输入Fl-1之间的关系可描述为:
上式中,*表示三维卷积操作,σ(.)表示输入矩阵中元素的非线性激活函数,为第l层卷积层中用于计算输出特征图第i个通道、与输入特征图中第j个通道进行卷积的三维卷积核,为第l层卷积层中用于计算输出特征图第i个通道的偏置项,L表示卷积网络中的卷积层数目。
与现有技术相比,本发明的有益效果是:
本发明中通过卷积神经网络来对低剂量CT图像进行去噪处理,抑制或去除低剂量CT图像中的噪声和伪影,增强CT图像的可视性,保证图像满足诊断质量的同时,降低受检者的照射剂量,提高了病灶的检出率,使疾病得到早期诊断。本方法不需要复杂的图像后处理步骤,直接对得到的低剂量CT图像进行预处理后通过卷积神经网络得到去噪后的图像。经证明本发明对不同剂量的CT图像去噪效果均可以达到很好的效果,具有很好的实用性。
通过卷积神经网络学习预测高剂量CT图像,将低剂量CT图像输入卷积神经网络模型来得到对应的高剂量CT图像。卷积神经网络输入FBP重建的(真实或仿真的)低剂量CT图像,预测FBP重建的高剂量CT图像或者是代数迭代重建的高剂量CT图像。
本发明中所涉及的网络的架构,深度包括激活函数等的应用均非常灵活,均可以采用不同的参数对网络进行微调。可以运用扩展中所提到的三种优化方式进一步对网络进行优化,与传统图像去噪算法相比可以更好地去除图像噪声,且保留了图像的细节信息进而达到更好的去噪效果。
本发明不需要对图像特征提取方式进行特别的设计,通过对卷积神经网络模型的训练自动完成图像特征的学习。
附图说明
附图用来提供对本发明的进一步理解,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制,在附图中:
图1是本发明进行低剂量CT图像去噪的基本流程图;
图2是低剂量CT图像预测高剂量CT的基本流程图;
图3是本发明一种用于低剂量CT图像预测的卷积神经网络构架示意图;
图4是一种残差网络连接方式去噪流程的示意图;
图5是残差网络处理流程的单元示意图;
图6是一种对称跳层结构相连(模仿残差网络)示意图;
图7是基于三维卷积网络的低剂量CT图像去噪示意图;
图8a是腹部低剂量中存在复杂的噪声与伪影的CT图像;
图8b是腹部最终得到的去噪后的低剂量CT图像;
图9a是腹部卷积神经网络的输入图像;
图9b是腹部去噪后的图像;
图10a是输入的三维低剂量CT图像;
图10b是输出去噪后的三维低剂量CT图像;
图10c未处理的实际的高剂量CT图像。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1。
在卷积神经网络的训练过程中通过改变对输入网络的数据的预处理过程可以达到不同的目的:(1)通过训练卷积神经网络来预测出低剂量CT图像所对应的噪声图像,经过处理可以得到去噪后的图像。(2)同样根据对低剂量CT图像进行去噪的目的与原理,可以利用同样的神经网络但是通过不同的训练方式来直接预测低剂量CT图像对应的高剂量CT图像,其实现过程的本质与低剂量CT去噪基本一致但细节过程稍有差别。下面将针对两个目的实现过程进行叙述。
目的1:输入低剂量CT图像达到抑制低剂量CT图像中的伪影和噪声,通过卷积神经网络的预测能力来抑制或去除低剂量CT图像当中的噪声和伪影
本发明对抑制低剂量CT图像中的噪声处理包括以下基本步骤:(1)低剂量CT图像的灰度的归一化处理;(2)卷积神经网络预测低剂量CT图像中的对应的噪声图像;(3)从低剂量CT图像中减去预测得到的噪声图像得到对应的高剂量CT图像的结果。
如图1所示,具体实现如下:
步骤(1):对输入的原始低剂量CT图像L进行归一化处理,求出低剂量CT图像所有像素
的灰度的均值和标准偏差,然后L减去均值除以标准偏差得到CT图像L0
步骤(2):以步骤(1)得到的预处理后的低剂量CT图像L0作为卷积神经网络的输入,预测低剂量CT图像I对应的噪声CT图像D0
步骤(3):用步骤(1)中的L0减去步骤(2)中预测出来的噪声图像D0然后乘以低剂量CT图像的标准偏差再加上低剂量CT图像的均值便为去噪后的图像H0
H0=(L0-D0)×δ+μ
其训练数据的预处理包括:在训练过程中首先对高剂量CT图像H进行去噪处理得到去噪后的高剂量CT图像H0;然后用低剂量CT图像L减去对应的去噪后的高剂量CT图像H0得到实际的噪声图像D;训练卷积神经网络用的低剂量CT图像采用步骤(1)中方法提到的图像灰度归一化方法进行归一化处理得到L0;对噪声图像除以低剂量CT图像的标准偏差得到D0对初始化的卷积神经网络进行训练。
D=L-H0
目的二:通过卷积神经网络学习生成高剂量迭代重建的图像,利用低剂量CT图像输入卷积神经网络来得到对应的FBP或者迭代重建高剂量CT图像。
上述方法中通过训练卷积神经网络来预测出低剂量CT图像所对应的噪声图像,经过处理可以得到去噪后的图像。同样根据对低剂量CT图像进行去噪的目的与原理,可以利用同样的神经网络但是通过不同的训练方式来直接预测低剂量CT图像对应的高剂量CT图像,其实现过程的本质与低剂量CT去噪基本一致但细节过程稍有差别。
如图2所示,本实验预测的低剂量CT图像对应的高剂量CT图像步骤以下:
(1)低剂量CT图像的灰度的归一化处理;
(2)卷积神经网络预测低剂量CT图像对应的迭代重建出来的高剂量CT图像;
在这里需要注意的是经过试验证明卷积神经网络的输入是FBP重建的(真实或仿真的)低剂量CT图像,预测的高剂量CT图像是FBP重建的高剂量CT图像或者是代数迭代重建的高剂量CT图像。
利用低剂量CT图像预测高剂量CT图像其训练数据的预处理包括:在训练过程中首先对高剂量CT图像H进行去噪处理得到去噪后的高剂量CT图像H0;训练卷积神经网络用的低剂量CT图像采用步骤(1)中方法提到的图像灰度归一化方法进行归一化处理得到L0然后对初始化的卷积神经网络进行训练。
本实验所用到的卷积神经网络的网络架构:
无论是基于哪个目的,运用哪种方法,本发明采用的卷积神经网络均可以是图3中的构架,图中卷积层数量是灵活可变的。卷积神经网络各层的输入和输出称为特征图(featuremap)。特征图具有多个通道,通道数目取决于对应卷积层中卷积核的数目。设第l层卷积层有nl个卷积核,第l层输出的特征图记为Fl,特征图Fl的第i个通道记为Fi l(i=1,2,3,...,nl)。卷积网络的输入记为F0,F0具有两个通道,分别为:
数学上,卷积神经网络中第l层卷积层输出Fl与输入Fl-1之间的关系可描述为:
上式中,*表示二维卷积操作,σ(.)表示输入矩阵中元素的非线性激活函数,为第l层卷积层中用于计算输出特征图第i个通道、与输入特征图中第j个通道进行卷积的二维卷积核,为第l层卷积层中用于计算输出特征图第i个通道的偏置项,L表示卷积网络中的卷积层数目。非线性激活函数σ(.)可以为Sigmoid函数、双曲线正切函数或者ReLU(RectifiedLinearUnits)函数等。
Sigmoid函数:σ(x)=1/(1+e-x),其中e为自然底数。
双曲线正切函数:σ(x)=(ex-e-x)/(ex+e-x),其中e为自然底数。
ReLU函数:
第L层卷积层激活函数为线性函数,输出为去噪后的CT图像:
图3是本发明一种用于低剂量CT图像预测的卷积神经网络构架示意图。
关于卷积神经网络训练用的CT图像样本:卷积神经网络的训练(亦即卷积神经网络各卷积层中的卷积核和偏置项的+优化)通过采集大量低剂量CT图像和对应的实际得到的迭代重建的高剂量图像作为训练样本对进行训练。
关于卷积神经网络训练的目标函数和优化算法:
在这里卷积神经网络训练的目标函数并不是唯一的,当然可以采用的目标函数包括:均方误差MSE、平均绝对误差MAE、其他鲁棒损失函数、SSIM损失函数等。不同的目标函数虽然略有差别但是目的最终都是针对低剂量CT图像进行去噪,或者预测对应的FBP重建(迭代重建)的高剂量CT图像。加入采用均方误差(MSE)作为训练的目标函数则具体的目标函数如下:
目的一:训练卷积神经网络预测模型的目标函数可为预测的噪声图像与真实的噪声图像的均方根误差。
目的二:预测的高剂量CT图像和实际高剂量CT图像的均方根误差。
在训练过程中都要对输入的低剂量CT图像进行步骤(1)所提到的预处理步骤。卷积神经网络的训练可采用误差反向传播和随机梯度下降算法最小化目标函数完成。
实施例2。
在上述实验中,利用的卷积神经网络是由卷基层堆叠而成的平原网络,再具体实现中可通过对平原网络中的卷基层之间引进连接捷径来对本发明的应用方式进行扩展,以进一步提升去噪效果,本实验所引进连接捷径的方式比较灵活仅举两个例子,但涉及此种连接捷径的网络架构均属于本专利保护范围。
1.残差网络连接(multi-scale cascade)方式:
在“平整”网络(与上述所介绍的网络)中,当网络层数增加到一定程度时,此时增加网络的
层数卷积神经网络的输出不但没有提升,反而出现了显著的退化。为了网络可以达到更深层次并且不降低实验效果,引入深度残差网络。
图4所示,设深度网络中某隐含层为H(x)-x=F(x),如果可以假设多个非线性层组合可以近似于一个复杂函数,那么也同样可以假设隐含层的残差近似于某个复杂函数。即可以将隐含层表示为H(x)=F(x)+x。
如图5所示运用的残差结构网络。可以看到,残差单元的输出由多个卷积层级联的输出和输入元素间相加(保证卷积层输出和输入元素维度相同),再经过ReLU激活后得到。将这种结构级联起来,就得到了残差网络。
以注意到残差网络有这样几个特点:
(1.网络较瘦,控制了参数数量;
(2.存在明显层级,特征图个数逐层递进,保证输出特征表达能力。
(3.网络训练更快,在网络训练过程中所采用的是梯度下降法,经过残差连接后梯度回传时可以跨过多层直接传到某一层从而大大缩短了训练时间
(4.本实验中引进的残差网络,所谓残差也即一种连接捷径,这种连接捷径是灵活可变的,并不是固定不变的,连接捷径之间的卷积层数等都是可变的。
2.对称跳层结构:
本方法对残差结构网络进行变换和优化,提出了一种对称跳层结构相连(模仿残差网络)——有助于恢复图像细节和取得更好的局部最优值。运用此种网络亦可实现想要达到的去噪目的。
图6.本发明一种对称跳层结构相连(模仿残差网络)示意图。提出一种对称跳层结构相连(模仿残差网络),其具有残差网络的特性如训练收敛更快,并且此种网络达到有助于恢复图像细节和取得更好的局部最优值。首先,跳跃连接这种捷径允许信号直接后向传播到最底层,从而解决梯度消失的问题,这样就更容易训练一些深层次网络。第二,这些对称连接通过卷积来传递图像细节,使图像细节更好的保留。
实施例3。
以上实验处理的都是二维CT图像,由此可以扩展至针对三维的低剂量CT图像的处理。
利用卷积神经网络在三维层面上对三维图像进行去噪或者预测迭代重建的高剂量CT图像也是可行的。其原理和在二维平面上操作是一样的。其利用三维卷积核对输入的三维的CT图像数据进行特征提取,这些卷积核可以再不同层面上进行操作,更多保留了图像的空间细节信息,基于三维卷积特征核构造了一个三维卷积神经网络。与二维卷积神经网络相比这个网络架构可以从连续多层发生多通道的信息,最后将全部通道的信息组合起来形成最终的特征描述。
基于卷积神经网络学习生成高剂量迭代重建的三维低剂量CT图像的基本流程与上面提到的基于二维的处理方法类似,同样是用三维低剂量CT图像输入卷积神经网络来得到对应的高剂量迭代重建CT图像。
这里只列出基于卷积神经网络对三维低剂量CT图像的去噪处理的流程,其主要包括以下
基本步骤:
(1)三维低剂量CT图像的灰度的归一化处理;(2)卷积神经网络预测低剂量CT图像中的对应的噪声图像;(3)从低剂量CT图像中减去预测得到的噪声图像得到对应的三维高剂量CT图像的结果。
图7.基于三维卷积网络的低剂量CT图像去噪,三维卷积神经网络同样具有图3中的构架,卷积层数量是灵活可变的。卷积神经网络各层的输入和输出称为特征图(featuremap)。特征图具有多个通道,通道数目取决于对应卷积层中三维卷积核的数目。设第l层卷积层有nl个卷积核,第l层输出的特征图记为Fl,特征图Fl的第i个通道记为Fi l(i=1,2,3,...,nl)。卷积网络的输入记为F0,但此时F0具有三个通道,分别为:
F1 0=Ix
F2 0=Iy
F3 0=Iz
数学上,卷积神经网络中第l层卷积层输出Fl与输入Fl-1之间的关系可描述为:
上式中,*表示三维卷积操作,σ(.)表示输入矩阵中元素的非线性激活函数,为第l层卷积层中用于计算输出特征图第i个通道、与输入特征图中第j个通道进行卷积的三维卷积核,为第l层卷积层中用于计算输出特征图第i个通道的偏置项,L表示卷积网络中的卷积层数目。非线性激活函数σ(.)可以为Sigmoid函数、双曲线正切函数或者ReLU(Rectified Linear Units)函数等。三维卷积神经网络的架构主要的特点如下:
(1)网络的初始化发生改变
(2)输入的数据是三维形式的
(3)噪声图像的计算过程也有所不同
(3)卷积核相应改成三维的形式。
(4)网络的训练过程,数据的预处理过程,图像去噪后的求解及其方法步骤均与二维一致。
本发明采用卷积神经网络以低剂量CT图像(二维/三维)为输入,预测其对应的噪声图像并计算出对应的高剂量CT图像达到去噪效果。利用卷积神经网络直接预测低剂量CT图像(二维/三维)对应的高剂量CT图像。训练过程中低剂量CT图像所对应的噪声图像的求解过程及对求出的真实的噪声图像的处理,在测试过程中,根据预测出的噪声图像求出需要的去噪后图像的过程。本发明可采用简单的归一化处理方法进行图像对比度归一化处理;在具体实现中,基于平原网络结构引进连接捷径对本发明的应用方式进行扩展,以进一步提升去噪效果。低剂量CT图像为输入,通过训练卷积神经网络自动学习、优化卷积核,完成图像的特征提取,无需设计特别的图像特征提取方法。
实施例4。
卷积神经网络预测输出为去噪后的CT图像。该卷积神经网络是由一系列的卷基层连接起来的,每层卷基层之后都采用batchnormalization,激活函数选取比较灵活采用ReLU函数(灵活运用)。输入图像为按上述步骤归一化的低剂量CT图像。图8所示为此具体实施实例中对一输入低剂量CT图像(120kv)图像进行去噪处理,卷积神经网络的输入和输出的效果对比。
从图中可以看出低剂量CT图像中存在比较复杂的噪声与伪影(图8a),严重影响到图像质量从而影响诊断的准确度,图8b为最终得到的去噪后的低剂量CT图像,看到与低剂量CT图像相比,经过卷积神经网络输出的去噪后的图像噪声大大降低,图像质量明显提高。
为了进一步证明基于卷积神经网络的低剂量CT图像去噪的处理方法的可行性。改变卷积神经网络的输入图像来观察不同输入图像下输出结果。改变卷积神经网络的输入图像(图9a),经过去噪后可以得到其去噪后的图像(图9b)。
实施例5。
卷积神经网络预测输出为去噪后的三维低剂量CT图像。该卷积神经网络架构如图3所示。该实验过程中输入的低剂量CT图像是高剂量的1/4剂量。图10所示为此具体实施实例中对一输入三维低剂量CT图像进行去噪处理,卷积神经网络的输入和输出,以及相应的高剂量CT的图像效果对比
图10a是输入的三维低剂量CT图像,图10b为最终得到的去噪后的低剂量CT图像,图10c为对应的高剂量CT图像,从图中明显可以对比出低剂量CT图像中存在比较复杂的噪声,严重影响到图像质量从而影响诊断的准确度,图10b为最终得到的去噪后的低剂量CT图像,明显看到图10b与低剂量CT图像相比,图像噪声大大降低,图像质量明显提高,图像细节更容易观察,图10c为对应的高剂量CT图像,可以拿对应的高剂量CT图像和去噪后的图像相比,可以发现去噪后的CT图像与高剂量相比其边缘还是模糊一些,但毕竟临床上考虑到高剂量CT对人体的巨大辐射量,而从总体上讲,去噪后的图像质量完全达到了想要的目的。这样在三维层面上基于卷积神经网络的三维低剂量CT图像去噪的处理方法的可行性以及有效性。
最后应说明的是:以上仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,但是凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于卷积神经网络的低剂量CT图像噪声抑制方法,其特征在于,包括以下步骤:
(1):利用低管电流管电压扫描得到的低剂量CT图像,对输入的低剂量CT图像L进行归一化处理,求出低剂量CT图像所有像素的灰度的均值和标准偏差,然后用L减去所有像素的灰度的均值除以标准偏差得到预处理后的低剂量CT图像L0
μi——为低剂量CT图像所有像素的灰度的均值,
m——为所有像素数量,
xi——为单个像素的灰度,
δ——为低剂量CT图像的灰度的标准偏差,
L——为低剂量CT图像,
L0——为预处理后的低剂量CT图像;
(2):以步骤(1)得到的预处理后的低剂量CT图像L0作为卷积神经网络的输入,预测低剂量CT图像L对应的噪声CT图像D0
(3):用步骤(1)中的L0减去步骤(2)中预测出来的噪声图像D0然后乘以低剂量CT图像的标准偏差再加上低剂量CT图像的均值便为去噪后的图像H0
H0=(L0-D0)×δ+μ,
D0——为低剂量CT图像L对应的噪声CT图像,
H0——为去燥后的图像。
2.根据权利要求1所述一种基于卷积神经网络的低剂量CT图像噪声抑制方法,其特征在于,卷积神经网络的训练数据预处理包括:首先对高剂量CT图像H进行去噪处理得到去噪后的高剂量CT图像H0;然后用低剂量CT图像L减去对应的去噪后的高剂量CT图像H0得到实际的噪声图像D;训练卷积神经网络用的低剂量CT图像采用步骤(1)中方法提到的图像灰度归一化方法进行归一化处理得到L0;对噪声图像除以低剂量CT图像的标准偏差得到D0对初始化的卷积神经网络进行训练,
D=L-H0
3.根据权利要求1所述一种基于卷积神经网络的低剂量CT图像噪声抑制方法,其特征在于,利用低剂量CT图像预测高剂量CT图像其训练数据的预处理包括:首先对高剂量CT图像H进行去噪处理得到去噪后的高剂量CT图像H0;训练卷积神经网络用的低剂量CT图像采用步骤(1)中方法提到的图像灰度归一化方法进行归一化处理得到L0然后对初始化的卷积神经网络进行训练。
4.根据权利要求1所述一种基于卷积神经网络的低剂量CT图像噪声抑制方法,其特征在于,二维二维卷积神经网络各层的输入和输出称为特征图,特征图具有多个通道,通道数目取决于对应卷积层中卷积核的数目,设第l层卷积层有nl个卷积核,第l层输出的特征图记为Fl,特征图Fl的第i个通道记为Fi l(i=1,2,3,...,nl),卷积网络的输入记为F0,F0具有两个通道,分别为:
数学上,卷积神经网络中第l层卷积层输出Fl与输入Fl-1之间的关系可描述为:
上式中,*表示二维卷积操作,σ(.)表示输入矩阵中元素的非线性激活函数,为第l层卷积层中用于计算输出特征图第i个通道、与输入特征图中第j个通道进行卷积的二维卷积核,为第l层卷积层中用于计算输出特征图第i个通道的偏置项,L表示卷积网络中的卷积层数目;第L层卷积层激活函数为线性函数,输出为去噪后的CT图像:
Gx,Gy输出为去噪后的CT图像,为第L层卷积层中用于计算输出特征图第i个通道、与输入特征图中第j个通道进行卷积的二维卷积核,特征图Fl的第j个通道记为Fj L-1(j=1,2,3,...,n),L表示卷积网络中的卷积层数目,为第L层卷积层中用于计算输出特征图第i个通道的偏置项。
5.根据权利要求4所述一种基于卷积神经网络的低剂量CT图像噪声抑制方法,其特征在于,非线性激活函数可以为Sigmoid函数、双曲线正切函数或者ReLU函数。
6.根据权利要求4所述一种基于卷积神经网络的低剂量CT图像噪声抑制方法,其特征在于,卷积神经网络的网络架构,包括平原网络,残差网络,对称跳层结构,以及其它基于平原网络引入其他任何连接捷径的网络结构。
7.根据权利要求6所述一种基于卷积神经网络的低剂量CT图像噪声抑制方法,其特征在于,残差单元的输出由多个卷积层级联的输出和输入元素间相加,其中,保证卷积层输出和输入元素维度相同,再经过ReLU激活后得到,将这种结构级联起来,就得到了残差网络。
8.根据权利要求6所述一种基于卷积神经网络的低剂量CT图像噪声抑制方法,其特征在于,对称跳层结构包括:首先,跳跃连接捷径使信号直接后向传播到最底层;第二,对称连接通过卷积来传递图像细节。
9.根据权利要求6所述一种基于卷积神经网络的低剂量CT图像噪声抑制方法,其特征在于,利用三维卷积核对输入的三维的CT图像数据进行特征提取,这些卷积核在不同层面上进行操作,基于三维卷积特征核构造三维卷积神经网络。
10.根据权利要求6所述一种基于卷积神经网络的低剂量CT图像噪声抑制方法,其特征在于,三维卷积神经网络各层的输入和输出称为特征图,特征图具有多个通道,通道数目取决于对应卷积层中三维卷积核的数目,设第l层卷积层有nl个卷积核,第l层输出的特征图记为Fl,特征图Fl的第i个通道记为Fi l(i=1,2,3,...,nl),卷积网络的输入记为F0,但此时F0具有三个通道,分别为:
F1 0=Ix
F2 0=Iy
F3 0=Iz
数学上,卷积神经网络中第l层卷积层输出Fl与输入Fl-1之间的关系可描述为:
上式中,*表示三维卷积操作,σ(.)表示输入矩阵中元素的非线性激活函数,为第l层卷积层中用于计算输出特征图第i个通道、与输入特征图中第j个通道进行卷积的三维卷积核,为第l层卷积层中用于计算输出特征图第i个通道的偏置项,L表示卷积网络中的卷积层数目。
CN201810428054.6A 2018-05-07 2018-05-07 基于卷积神经网络的低剂量ct图像噪声抑制方法 Pending CN108564553A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810428054.6A CN108564553A (zh) 2018-05-07 2018-05-07 基于卷积神经网络的低剂量ct图像噪声抑制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810428054.6A CN108564553A (zh) 2018-05-07 2018-05-07 基于卷积神经网络的低剂量ct图像噪声抑制方法

Publications (1)

Publication Number Publication Date
CN108564553A true CN108564553A (zh) 2018-09-21

Family

ID=63538100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810428054.6A Pending CN108564553A (zh) 2018-05-07 2018-05-07 基于卷积神经网络的低剂量ct图像噪声抑制方法

Country Status (1)

Country Link
CN (1) CN108564553A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272472A (zh) * 2018-10-15 2019-01-25 天津大学 面向医用能谱ct图像的噪声及伪影消除方法
CN109376695A (zh) * 2018-11-26 2019-02-22 北京工业大学 一种基于深度混合神经网络的烟雾检测方法
CN109697740A (zh) * 2018-12-26 2019-04-30 上海联影智能医疗科技有限公司 图像重建方法、装置和计算机设备
CN109978778A (zh) * 2019-03-06 2019-07-05 浙江工业大学 基于残差学习的卷积神经网络医学ct图像去噪方法
CN110223255A (zh) * 2019-06-11 2019-09-10 太原科技大学 一种用于低剂量ct图像去噪的浅层残差编解码递归网络
CN110490824A (zh) * 2019-08-23 2019-11-22 广东浪潮大数据研究有限公司 图像去噪的方法及装置
CN110742635A (zh) * 2019-10-08 2020-02-04 南京安科医疗科技有限公司 一种复合能谱ct成像方法
CN111008943A (zh) * 2019-12-24 2020-04-14 广州柏视医疗科技有限公司 低剂量dr图像降噪方法及系统
CN111145125A (zh) * 2019-12-30 2020-05-12 南京信息工程大学 一种基于残差学习与卷积神经网络的图像去噪方法
CN111311506A (zh) * 2020-01-21 2020-06-19 辽宁师范大学 基于双残差网络的低剂量ct牙齿图像去噪方法
CN111325737A (zh) * 2020-02-28 2020-06-23 上海志唐健康科技有限公司 低剂量ct图像处理方法、装置和计算机设备
CN111789635A (zh) * 2019-04-04 2020-10-20 株式会社日立制作所 超声波摄像装置以及图像处理装置
CN111932467A (zh) * 2020-07-13 2020-11-13 东软医疗系统股份有限公司 一种图像处理方法及装置
CN111968112A (zh) * 2020-09-02 2020-11-20 广州海兆印丰信息科技有限公司 Ct三维定位图像的获取方法、装置和计算机设备
CN111968167A (zh) * 2020-09-02 2020-11-20 广州海兆印丰信息科技有限公司 Ct三维定位像的图像处理方法、装置和计算机设备
CN112330575A (zh) * 2020-12-03 2021-02-05 华北理工大学 一种卷积神经网络医学ct图像去噪方法
CN112651885A (zh) * 2019-10-09 2021-04-13 西门子医疗有限公司 用于减少图像记录噪声的方法和装置
CN113866375A (zh) * 2021-09-17 2021-12-31 华南师范大学 出水含氮物智能在线监测方法和系统
US11941786B2 (en) 2020-06-11 2024-03-26 GE Precision Healthcare LLC Image noise reduction method and device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447866A (zh) * 2015-11-22 2016-03-30 南方医科大学 基于卷积神经网络的x线胸片骨抑制处理方法
CN107481297A (zh) * 2017-08-31 2017-12-15 南方医科大学 一种基于卷积神经网络的ct图像重建方法
CN107590797A (zh) * 2017-07-26 2018-01-16 浙江工业大学 一种基于三维残差神经网络的ct影像肺结节检测方法
CN107871332A (zh) * 2017-11-09 2018-04-03 南京邮电大学 一种基于残差学习的ct稀疏重建伪影校正方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447866A (zh) * 2015-11-22 2016-03-30 南方医科大学 基于卷积神经网络的x线胸片骨抑制处理方法
CN107590797A (zh) * 2017-07-26 2018-01-16 浙江工业大学 一种基于三维残差神经网络的ct影像肺结节检测方法
CN107481297A (zh) * 2017-08-31 2017-12-15 南方医科大学 一种基于卷积神经网络的ct图像重建方法
CN107871332A (zh) * 2017-11-09 2018-04-03 南京邮电大学 一种基于残差学习的ct稀疏重建伪影校正方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张慧娟: ""基于卷积神经网络的低剂量CT图像处理方法"", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272472B (zh) * 2018-10-15 2022-07-15 天津大学 面向医用能谱ct图像的噪声及伪影消除方法
CN109272472A (zh) * 2018-10-15 2019-01-25 天津大学 面向医用能谱ct图像的噪声及伪影消除方法
CN109376695A (zh) * 2018-11-26 2019-02-22 北京工业大学 一种基于深度混合神经网络的烟雾检测方法
CN109376695B (zh) * 2018-11-26 2021-09-17 北京工业大学 一种基于深度混合神经网络的烟雾检测方法
US11494877B2 (en) 2018-12-26 2022-11-08 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image reconstruction
CN109697740A (zh) * 2018-12-26 2019-04-30 上海联影智能医疗科技有限公司 图像重建方法、装置和计算机设备
CN109978778A (zh) * 2019-03-06 2019-07-05 浙江工业大学 基于残差学习的卷积神经网络医学ct图像去噪方法
CN111789635A (zh) * 2019-04-04 2020-10-20 株式会社日立制作所 超声波摄像装置以及图像处理装置
CN110223255B (zh) * 2019-06-11 2023-03-14 太原科技大学 一种基于残差编解码网络的低剂量ct图像去噪递归方法
CN110223255A (zh) * 2019-06-11 2019-09-10 太原科技大学 一种用于低剂量ct图像去噪的浅层残差编解码递归网络
CN110490824A (zh) * 2019-08-23 2019-11-22 广东浪潮大数据研究有限公司 图像去噪的方法及装置
CN110742635A (zh) * 2019-10-08 2020-02-04 南京安科医疗科技有限公司 一种复合能谱ct成像方法
CN112651885A (zh) * 2019-10-09 2021-04-13 西门子医疗有限公司 用于减少图像记录噪声的方法和装置
US11983847B2 (en) 2019-10-09 2024-05-14 Siemens Healthineers Ag Method and device for noise reduction in image recordings
CN111008943A (zh) * 2019-12-24 2020-04-14 广州柏视医疗科技有限公司 低剂量dr图像降噪方法及系统
CN111145125A (zh) * 2019-12-30 2020-05-12 南京信息工程大学 一种基于残差学习与卷积神经网络的图像去噪方法
CN111311506A (zh) * 2020-01-21 2020-06-19 辽宁师范大学 基于双残差网络的低剂量ct牙齿图像去噪方法
CN111311506B (zh) * 2020-01-21 2023-05-09 辽宁师范大学 基于双残差网络的低剂量ct牙齿图像去噪方法
CN111325737B (zh) * 2020-02-28 2024-03-15 上海志唐健康科技有限公司 低剂量ct图像处理方法、装置和计算机设备
CN111325737A (zh) * 2020-02-28 2020-06-23 上海志唐健康科技有限公司 低剂量ct图像处理方法、装置和计算机设备
US11941786B2 (en) 2020-06-11 2024-03-26 GE Precision Healthcare LLC Image noise reduction method and device
CN111932467A (zh) * 2020-07-13 2020-11-13 东软医疗系统股份有限公司 一种图像处理方法及装置
CN111968112B (zh) * 2020-09-02 2023-12-26 广州海兆印丰信息科技有限公司 Ct三维定位图像的获取方法、装置和计算机设备
CN111968167B (zh) * 2020-09-02 2023-12-26 广州海兆印丰信息科技有限公司 Ct三维定位像的图像处理方法、装置和计算机设备
CN111968112A (zh) * 2020-09-02 2020-11-20 广州海兆印丰信息科技有限公司 Ct三维定位图像的获取方法、装置和计算机设备
CN111968167A (zh) * 2020-09-02 2020-11-20 广州海兆印丰信息科技有限公司 Ct三维定位像的图像处理方法、装置和计算机设备
CN112330575B (zh) * 2020-12-03 2022-10-14 华北理工大学 一种卷积神经网络医学ct图像去噪方法
CN112330575A (zh) * 2020-12-03 2021-02-05 华北理工大学 一种卷积神经网络医学ct图像去噪方法
CN113866375A (zh) * 2021-09-17 2021-12-31 华南师范大学 出水含氮物智能在线监测方法和系统

Similar Documents

Publication Publication Date Title
CN108564553A (zh) 基于卷积神经网络的低剂量ct图像噪声抑制方法
Huang et al. CaGAN: A cycle-consistent generative adversarial network with attention for low-dose CT imaging
Yang et al. Low-dose CT image denoising using a generative adversarial network with Wasserstein distance and perceptual loss
Yin et al. Domain progressive 3D residual convolution network to improve low-dose CT imaging
CN108898642B (zh) 一种基于卷积神经网络的稀疏角度ct成像方法
Huang et al. Metal artifact reduction on cervical CT images by deep residual learning
CN112424835B (zh) 用于图像重建的系统和方法
CN108961237B (zh) 一种基于卷积神经网络的低剂量ct图像分解方法
US9332953B2 (en) Supervised machine learning technique for reduction of radiation dose in computed tomography imaging
CN107633540A (zh) 图像转换的系统和方法
JP2020099662A (ja) X線ctシステム及び方法
EP3695382A1 (en) Image generation using machine learning
JP2021013736A (ja) X線診断システム、画像処理装置及びプログラム
Ko et al. Rigid and non-rigid motion artifact reduction in X-ray CT using attention module
CN106373163B (zh) 一种基于三维投影图区别性特征表示的低剂量ct成像方法
Gao et al. Deep convolutional neural network with adversarial training for denoising digital breast tomosynthesis images
JP7475979B2 (ja) X線システム及び撮像プログラム
CN110599420A (zh) 基于深度学习的ct图像分块重建方法及系统
CN110189389A (zh) 基于深度学习的双能谱ct投影域基材料分解方法及装置
Chan et al. An attention-based deep convolutional neural network for ultra-sparse-view CT reconstruction
Wang et al. Limited-angle computed tomography reconstruction using combined FDK-based neural network and U-Net
Xia et al. Deep residual neural network based image enhancement algorithm for low dose CT images
Du et al. X-ray CT image denoising with MINF: A modularized iterative network framework for data from multiple dose levels
Liang et al. A self-supervised deep learning network for low-dose CT reconstruction
Nazir et al. Recent developments in denoising medical images using deep learning: an overview of models, techniques, and challenges.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination