CN110310244A - 一种基于残差编码解码的医学图像降噪方法 - Google Patents

一种基于残差编码解码的医学图像降噪方法 Download PDF

Info

Publication number
CN110310244A
CN110310244A CN201910586767.XA CN201910586767A CN110310244A CN 110310244 A CN110310244 A CN 110310244A CN 201910586767 A CN201910586767 A CN 201910586767A CN 110310244 A CN110310244 A CN 110310244A
Authority
CN
China
Prior art keywords
training
data
residual coding
decoded
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910586767.XA
Other languages
English (en)
Inventor
滕月阳
薛恒志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201910586767.XA priority Critical patent/CN110310244A/zh
Publication of CN110310244A publication Critical patent/CN110310244A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于残差编码解码的医学图像降噪方法,包括:对采集的训练数据进行预处理;采用处理后的数据训练基于残差编码解码的卷积神经网络;利用训练后的卷积神经网络对高噪图像降噪,得到高质量图像。本发明解决了现有技术中存在的图像边缘损失、成像速度慢等问题,通过分层网络框架从像素数据中有效地学习高级特征,从而建立训练样本和训练标签之间复杂的非线性关系。

Description

一种基于残差编码解码的医学图像降噪方法
技术领域
本发明涉及医学图像处理领域,具体而言,尤其涉及一种基于深度卷积神经网络模型图像降噪方法。
背景技术
医学图像降噪、去伪影具有重要的研究意义和临床价值。临床上常常借助PET,即正电子发射扫描,来获取患者灰度断层图像,对病患部位进行诊断,并加以治疗。获取高质量且对患者体内病灶敏感的图像对医生正确诊断尤为重要。在PET扫描之前需要在人体中注射18F-FDG,这种物质对肿瘤非常敏感,遇到肿瘤部位会发射一对儿方向相反的正电子,可以被探测器所检测到,从而达到成像的功能。18F-FDG对人体具有一定的辐射,显然注射低剂量的18F-FDG可以减少患者辐射的危险,但同时也给成像带来不清晰的弊端。如何在注射低剂量的18F-FDG进行成像而尽量减少对病人辐射的伤害的情况下获取高质量的扫描图像一直是本领域研究的重点。
发明内容
鉴于现有技术中存在的图像边缘损失、成像速度慢等问题,本发明提供了一种基于残差编码解码的医学图像降噪方法,通过分层网络框架从像素数据中有效地学习高级特征,找出训练样本和训练标签之间复杂的非线性关系。
本发明的技术方案如下:
一种基于残差编码解码的医学图像降噪方法,步骤包括:
S100、对采集的训练数据进行预处理;
S200、采用处理后的数据训练基于残差编码解码的卷积神经网络,所述网络包括编码器和解码器,所述编码器包括8个连续的卷积块,所述解码器包括11个卷积层和3个反卷积层;
S300、利用训练后的卷积神经网络对高噪图像降噪,得到高质量图像。
进一步地,步骤S100所述对采集的训练数据进行预处理,包括:
S110、分类收集训练数据,所述训练数据包括低质量图像和高质量图像;
S120、对收集的分类数据进行格式转化,便于后续直接处理;
S130、对可处理的分类数据进行扩充,以满足训练要求。
进一步地,步骤S130所述对可处理的分类数据进行扩充,包括:对数据进行随机水平翻转、随机像素平移、随机旋转和裁剪的方法来扩充数据集。
进一步地,步骤S200所述采用处理后的数据训练基于残差编码解码的卷积神经网络,包括:
S210、搭建基于残差编码解码神经网络,并设置各层卷积参数;
S220、将预处理后的低质量图像作为网络的训练输入、高质量图像作为网络训练标签,对模型进行训练。
本发明还提供了一种存储介质,其包括存储的程序,其中,所述程序执行上述任意一项所述的降噪方法。
本发明还提供了一种处理器,其用于运行程序,其中,所述程序执行上述任意一项所述的降噪方法。
较现有技术相比,本发明具有以下优点:
本发明利用大数据深度学习解决图像去噪问题,模拟人类的信息处理过程。不同于传统方法普遍针对像素值之间的差异进行降噪,本发明针对图像本身,整体上的进行处理,实现降噪。通过分层网络框架从像素数据中有效地学习高级特征,能够快速、有效地建立训练样本和训练标签之间复杂的非线性关系,进而实现对图像数据的精确降噪。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明降噪方法流程图。
图2为实施例中方法执行流程图。
图3a为输入的图像示意图。
图3b为提取的切片腹部图像。
图3c为提取的切片肺部图像。
图3d为提取的切片脑部图像。
图4为实施例中卷积神经网络训练结构示意图。
图5为实施例中肺部图像降噪结果对比图。
具体实施方式
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明提供了一种基于残差编码解码的医学图像降噪方法,步骤包括:
S100、对采集的训练数据进行预处理。具体包括:
S110、分类收集训练数据,所述训练数据包括低质量图像和高质量图像;
S120、对收集的分类数据进行格式转化,便于后续直接处理。
S130、对可处理的分类数据进行扩充,以满足训练要求,具体包括:对数据进行随机水平翻转、随机像素平移、随机旋转和裁剪的方法来扩充数据集。
S200、采用处理后的数据训练基于残差编码解码的卷积神经网络,所述网络包括由8个连续的卷积块组成的编码集以及由11个卷积层和3个反卷积层组成的解码器,具体包括:
S210、搭建基于残差编码解码神经网络,并设置各层卷积参数;
S220、将预处理后的低质量图像作为网络的训练输入、高质量图像作为网络训练标签,对模型进行训练。
S300、利用训练后的卷积神经网络对高噪图像降噪,得到高质量图像。
下面通过具体的实施例,对本发明的技术方案做进一步的说明:
实施例1
如图2所示,本发明提供了一种基于具有残差编码解码的医学图像降噪方法,用于医学图像降噪,即本发明正电子发射计算机断层图像降噪,至少包括:对数据进行预处理;用处理完的数据训练具有残差编码解码的卷积神经网络;利用训练好的神经网络对高噪声图像进行降噪,得到高质量图像。
具体地,数据由东软医疗提供,数据包括10人的全身扫描的低质量和高质量图像。每人全身扫描切片为360张,将这些切片分为头部、肺部和腹部三类。如图3a-3d所示。将这些DICOM数据应用pydicom包转化为npy格式的数组。将三类数据分别进行随机左右翻转、在x方向或y方向随机移动30个像素、随机±10度的旋转。用这些方式来扩充已有的数据集,避免训练过程中出现过拟合问题。得到1080张切片。
卷积编码解码的网络结构设计:通过对U-net网络进行微调得到的本文设计的编码解码结构如图4所示。与具有四层编码操作的原始2D U-net不同,这里我们仅使用三层编码操作,以减少由于有限数量的训练对而导致的可训练参数。网络的输入数据是1×128×128×1的扫描75秒低质量数据,训练标签是扫描150秒的高质量清晰图片,网络输出的是1×128×128×1的降噪后的图像。
编码器将以卷积的方式压缩提取输入数据的信息,其中编码器由8个连续的卷积块组成,当卷积的步幅为1时,特征层数量保持不变,当步幅为2时,特征层数量变为原来的二倍且其维度减小为原来的一半。其中特征层数量有滤波器个数决定,输出维度由卷积核步幅决定。
解码器将来自编码器的缩小特征表示反卷积到PET图像中。解码器路径中的每一步都包括一个反卷积层,将图像大小增加2倍,同时通过减少滤波器个数将特征层数减半,一个批归一化层,然后是一个线性激活函数。
具体地,如图4所示,解码编码网络共有11个卷积层和3个反卷积层:所有的卷积核大小都为3×3,每层卷积后边接上批归一化和线性激活函数层。下面将不再赘述。编码器具体网络结构:第一层卷积,输入为1×128×128×1大小的待降噪图像,第一层卷积使用的卷积核数量为16。输出为1×128×128×16的数据。第二层卷积步长为2,卷积核数量为32,输出为1×64×64×32的数据。第三层卷积步长为1,卷积核数量为32,输出为1×64×64×32的数据。第四层卷积步长为2,卷积核数量为64,输出为1×32×32×64的数据。第五层卷积步长为1,卷积核数量为64,输出为1×32×32×64的数据。第六层卷积步长为2,卷积核数量为128,输出为1×16×16×128的数据。第七和第八层卷积步长都为1,卷积核数量为128,输出为1×16×16×128的数据。解码器具体网络结构:解码器的卷积步长均为1。将编码器输出的1×16×16×128的数据进行反卷积,卷积核数量为64,得到1×32×32×64的数据,将第五层输出的数据与第一次反卷积得到的数据相加,数据维度不变,仍然是1×32×32×64。第九层卷积步长为1,卷积核数量为64,得到1×32×32×64的图像。之后是第二次反卷积,卷积核数量为32,得到1×64×64×32的数据。将第三层卷积的结果与第二次反卷积的输出相加,数据维度不变,仍然是1×64×64×32。第十层卷积步长为1,卷积核数量为32,得到维度为1×64×64×32的图像,之后是第三次反卷积,卷积核数量为16,得到1×128×128×16的图像,将第一层卷积的结果与第三次反卷积的输出相加,数据维度保持不变,仍然是1×128×128×16的图像。第十一层卷积步长为1,卷积核数量为1,得到1×128×128×1的降噪后的图像。
将处理好的数据集对网络进行训练,将均方误差作为网络的损失函数,其表达式为:
其中n为像素点的个数,x为模型重建的图像,y为网络训练的标签
为了评估所训练模型的质量,采用经典的图像质量评估方法:峰值信噪比和结构相似性。峰值信噪比计算公式如下:
其中n为经重建后第n个像素值。
结构相似性计算公式如下:
其中μx是x的平均值,μy是y的平均值,是x的方差,是y的方差,σxy是x和y的协方差。
如图5所示,为本发明提供的降噪方法与现有期望最大化重建方法在肺部图像处理中的结果对比,由图可知,本发明的上述评价指标均优于期望最大化重建方法。
本发明还提供了一种存储介质,其包括存储的程序,其中,所述程序执行上述任意一项所述的降噪方法。
本发明还提供了一种处理器,其用于运行程序,其中,所述程序执行上述任意一项所述的降噪方法。
PET是一种广泛用于肿瘤学,神经学和心脏病学的成像方式,能够通过注射特定的放射性示踪剂观察组织内的分子水平活动。尽管PET与其他成像模式相比具有高灵敏度,但由于各种物理退化因素和检测到的低重合光子计数,其图像分辨率和信号噪声比仍然很低。提高PET图像质量至关重要,特别是在小病变检测,脑成像和纵向研究等应用中。受到利用深度学习,医学图像分割和图像降噪目标检测的研究的启发,我们将原始U-Net模型进行修改用于我们的PET图像去噪目的。如图4所示,整个模型分为两个对称过程,即编码和解码。在这两个过程中具有相同输入维度的层通过跳过连接连接,跳越连接是来自编码过程的特征映射和经过激活函数之后的解码过程的逐元素求和。深度学习对于网络深度遇到的主要问题是梯度消失和梯度爆炸,传统对应的解决方案则是数据的初始化和正则化,但是这样虽然解决了梯度的问题,深度加深了,却带来了另外的问题,就是网络性能的退化问题,深度加深了,错误率却上升了,而残差用来设计解决退化问题,其同时也解决了梯度问题,更使得网络的性能也提升了。因此,可以更轻松,更有效地训练具有跳过连接的自适应U-Net模型
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于残差编码解码的医学图像降噪方法,其特征在于,步骤包括:
S100、对采集的训练数据进行预处理;
S200、采用处理后的数据训练基于残差编码解码的卷积神经网络,所述网络包括编码器和解码器,所述编码器包括8个连续的卷积块,所述解码器包括11个卷积层和3个反卷积层;
S300、利用训练后的卷积神经网络对高噪图像降噪,得到高质量图像。
2.根据权利要求1所述的基于残差编码解码的医学图像降噪方法,其特征在于,步骤S100所述对采集的训练数据进行预处理,包括:
S110、分类收集训练数据,所述训练数据包括低质量图像和高质量图像;
S120、对收集的分类数据进行格式转化,便于后续直接处理;
S130、对可处理的分类数据进行扩充,以满足训练要求。
3.根据权利要求2所述的基于残差编码解码的医学图像降噪方法,其特征在于,步骤S130所述对可处理的分类数据进行扩充,包括:对数据进行随机水平翻转、随机像素平移、随机旋转和裁剪的方法来扩充数据集。
4.根据权利要求1所述的基于残差编码解码的医学图像降噪方法,其特征在于,步骤S200所述采用处理后的数据训练基于残差编码解码的卷积神经网络,包括:
S210、搭建基于残差编码解码神经网络,并设置各层卷积参数;
S220、将预处理后的低质量图像作为网络的训练输入、高质量图像作为网络训练标签,对模型进行训练。
5.一种存储介质,其包括存储的程序,其特征在于,所述程序执行权利要求1-4中任意一项所述的降噪方法。
6.一种处理器,其用于运行程序,其特征在于,所述程序执行权利要求1-4中任意一项所述的降噪方法。
CN201910586767.XA 2019-07-01 2019-07-01 一种基于残差编码解码的医学图像降噪方法 Withdrawn CN110310244A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910586767.XA CN110310244A (zh) 2019-07-01 2019-07-01 一种基于残差编码解码的医学图像降噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910586767.XA CN110310244A (zh) 2019-07-01 2019-07-01 一种基于残差编码解码的医学图像降噪方法

Publications (1)

Publication Number Publication Date
CN110310244A true CN110310244A (zh) 2019-10-08

Family

ID=68078844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910586767.XA Withdrawn CN110310244A (zh) 2019-07-01 2019-07-01 一种基于残差编码解码的医学图像降噪方法

Country Status (1)

Country Link
CN (1) CN110310244A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145123A (zh) * 2019-12-27 2020-05-12 福州大学 基于U-Net融合保留细节的图像去噪方法
CN112990279A (zh) * 2021-02-26 2021-06-18 西安电子科技大学 基于自动编码器的雷达高分辨距离像库外目标拒判方法
CN113052924A (zh) * 2019-12-27 2021-06-29 无锡祥生医疗科技股份有限公司 用于超声图像编解码间的画质补偿方法及其卷积神经网络
US11540798B2 (en) 2019-08-30 2023-01-03 The Research Foundation For The State University Of New York Dilated convolutional neural network system and method for positron emission tomography (PET) image denoising
CN116128768A (zh) * 2023-04-17 2023-05-16 中国石油大学(华东) 一种带有去噪模块的无监督图像低照度增强方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11540798B2 (en) 2019-08-30 2023-01-03 The Research Foundation For The State University Of New York Dilated convolutional neural network system and method for positron emission tomography (PET) image denoising
CN111145123A (zh) * 2019-12-27 2020-05-12 福州大学 基于U-Net融合保留细节的图像去噪方法
CN113052924A (zh) * 2019-12-27 2021-06-29 无锡祥生医疗科技股份有限公司 用于超声图像编解码间的画质补偿方法及其卷积神经网络
CN111145123B (zh) * 2019-12-27 2022-06-14 福州大学 基于U-Net融合保留细节的图像去噪方法
CN112990279A (zh) * 2021-02-26 2021-06-18 西安电子科技大学 基于自动编码器的雷达高分辨距离像库外目标拒判方法
CN116128768A (zh) * 2023-04-17 2023-05-16 中国石油大学(华东) 一种带有去噪模块的无监督图像低照度增强方法

Similar Documents

Publication Publication Date Title
CN111325686B (zh) 一种基于深度学习的低剂量pet三维重建方法
CN110310244A (zh) 一种基于残差编码解码的医学图像降噪方法
Wang et al. Advances in data preprocessing for biomedical data fusion: An overview of the methods, challenges, and prospects
Liu et al. 3D feature constrained reconstruction for low-dose CT imaging
Chen et al. Low-dose CT with a residual encoder-decoder convolutional neural network
US11847763B2 (en) Systems and methods for image reconstruction
CN110827216A (zh) 图像去噪的多生成器生成对抗网络学习方法
CN112368738B (zh) 用于图像优化的系统和方法
KR20190137913A (ko) 딥 컨볼루션 신경망을 사용하는 의료 이미징을 위한 선량 감소
CN111429379B (zh) 一种基于自监督学习的低剂量ct图像去噪方法及系统
CN110298804A (zh) 一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法
CN110559009B (zh) 基于gan的多模态低剂量ct转换高剂量ct的方法
WO2021068975A1 (en) Systems and methods for image reconstruction
CN112258642B (zh) 基于深度学习的低剂量pet数据三维迭代更新重建方法
Bai et al. Probabilistic self‐learning framework for low‐dose CT denoising
Xue et al. LCPR-Net: low-count PET image reconstruction using the domain transform and cycle-consistent generative adversarial networks
CN114387236A (zh) 基于卷积神经网络的低剂量Sinogram去噪与PET图像重建方法
CN110335327A (zh) 一种直接解决逆问题的医学图像重建方法
CN116245969A (zh) 一种基于深度神经网络的低剂量pet图像重建方法
CN105976412B (zh) 一种基于离线字典稀疏正则化的低管电流强度扫描的ct图像重建方法
WO2023125683A1 (en) Systems and methods for image reconstruction
CN114463459B (zh) 一种pet图像的部分容积校正方法、装置、设备及介质
CN110264428A (zh) 一种基于3d卷积反卷积和生成对抗网络的医学图像降噪方法
Xu et al. Low-dose CT denoising using a structure-preserving kernel prediction network
EP4330862A1 (en) System and method for medical imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20191008

WW01 Invention patent application withdrawn after publication