CN112508833B - 基于深度学习的医学图像增强方法及装置 - Google Patents

基于深度学习的医学图像增强方法及装置 Download PDF

Info

Publication number
CN112508833B
CN112508833B CN202011435159.8A CN202011435159A CN112508833B CN 112508833 B CN112508833 B CN 112508833B CN 202011435159 A CN202011435159 A CN 202011435159A CN 112508833 B CN112508833 B CN 112508833B
Authority
CN
China
Prior art keywords
image
enhanced
enhancement
network
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011435159.8A
Other languages
English (en)
Other versions
CN112508833A (zh
Inventor
陈阳
张柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202011435159.8A priority Critical patent/CN112508833B/zh
Publication of CN112508833A publication Critical patent/CN112508833A/zh
Application granted granted Critical
Publication of CN112508833B publication Critical patent/CN112508833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的医学图像增强方法及装置，其中，方法包括：步骤(1)采集图像增强数据，包括增强后的数据和需要增强的数据；步骤(2)将采集到的数据进行裁剪、分批处理，得到成批的图像块；步骤(3)计算增强后的图像块和需要增强的图像块之间的误差值，选取误差值高于一定阈值的进行下一步处理；步骤(4)计算选中的图像批次对(增强后的图像块和需要增强的图像块)之间的差值；步骤(5)将需要增强的图像作为输入，差值作为目标输出，对深度网络进行训练，直至误差收敛；步骤(6)将原始图像直接输入训练好的深度网络，网络输出增强后的图像。该方案图像增强效果更好，无明显的噪声放大情况，而且处理速度比较快。

Description

基于深度学习的医学图像增强方法及装置
技术领域
本发明涉及医学图像增强技术领域，尤其涉及一种基于深度学习的医学图像增强方法及装置。
背景技术
磁共振成像(MRI)技术通过检测组织中水质子的核磁共振信号，对体内结构进行断层成像，以反映组织功能、新陈代谢等生理信息的变化，但通过MRI技术直接得到的医学图像可能呈现出灰度分布不均衡、细节不清晰等问题，图像增强通过有目的地强调图像整体或者局部特性，改变图像的灰度、对比度等等，将原来不清晰的图像变得清晰，或强调某些感兴趣的信息，扩大图像中不同部位之间的差别，提高图像的视觉效果，图像增强已广泛应用于医学图像处理、彩色图像处理等多个方面。
目前有多种图像增强算法，传统方法包括直方图均衡化、对数图像增强、指数图像增强、拉普拉斯算子图像增强、基于PDE的图像增强算法等，现介绍其中三种使用比较广泛的图像增强算法。
(1)直方图均衡化
图像细节不清晰很大程度上是由于灰度分布不均衡导致的，当灰度级集中于高灰度区域时，图像低灰度细节则难以分辨；当灰度级集中于低灰度区域时，图像高灰度细节则难以分辨，该算法通过对图像进行转换，使高低灰度级分布概率相同。直方图均衡采用如下的映射方式：
式中，sk表示目标像素值，rk表示原始像素值，L表示图像的灰度级总数，MN是图像中像素的总个数，M表示图像的列数，N表示图像的行数，nj表示图像中像素值为j的像素个数。
(2)拉普拉斯算子图像增强
图像增强主要增强的是图像中的边缘信息，二阶微分算子有很强的边缘定位能力，锐化效果十分突出，拉普拉斯算子是一种非常简单、好用的二阶微分算子，拉普拉斯算子定义为：
对于具有离散值的图像来说，其二阶微分定义为：
将二阶微分定义带入拉普拉斯算子的定义中，我们可以据此确定一个拉普拉斯算子的模板，将模板与图像进行卷积，可以得到图像中突变的细节信息，将突变的细节信息乘以模板系数，然后加到原始图像上去，就可以得到增强后的图像：
目前也有很多其他应用效果很好的拉普拉斯运算扩展模板，其原理与上相同，在此不再一一赘述。
(3)基于PDE的图像增强
基于PDE的图像增强算法起源于物理学上著名的热扩散过程，该方法利用传导系数来调制空间各点的扩散量，使扩散主要发生在较为平滑的图像内部，能够抑制噪声的同时保持高对比度的区域，通过耦合扩散和冲击滤波器，PDE方法可以用三项的组合来进行表示：
式中，当u(t＝0)＝u0表示的是输入图像(即有噪声的需要增强的原始图像)，|▽u|表示的是梯度大小，η表示梯度方向，ε垂直于梯度方向，uηη、uεε分别表示两个方向上的扩散，Cη、Cε是控制系数，上式中的最后一项表示冲击滤波对于图像增强的贡献，Csk用以控制贡献的大小，函数F的选择应当满足两个条件：F(0)＝0且F(s)·s≥0，符号函数满足这两个条件，可以用来定义函数F。将自适应权重Cη、Cε、Csk作为函数局部对比度的函数，我们可以选择在图像均匀部分中的扩散，以及边缘位置的增强。
以上三种传统方法具有一定的局限性，比如可能会放大噪声，使变换后的图像过度增强，造成图像出现块状的不连续现象。
发明内容
本发明针对现有技术存在的问题，提供一种基于深度学习的医学图像增强方法及装置，该方案增强效果更好。
为了实现上述目的，本发明提供一种基于深度学习的医学图像增强方法，具体方案如下：
步骤(1)采集图像增强数据，包括增强后的数据和需要增强的数据；
步骤(2)将采集到的数据进行裁剪、分批处理，得到成批的图像块；
步骤(3)计算增强后的图像块和需要增强的图像块之间的误差值，选取误差值高于一定阈值的进行下一步处理；
步骤(4)计算选中的图像批次对(增强后的图像块和需要增强的图像块)之间的差值；
步骤(5)将需要增强的图像作为输入，差值作为目标输出，对深度网络进行训练，直至误差收敛；
步骤(6)将原始图像直接输入训练好的深度网络，网络输出增强后的图像。
进一步的，步骤(3)中仅选取误差值高于一定阈值的图像块进行处理，误差值选取的是均方误差，阈值计算方法如下式所示：
threshold＝MSE(Iori-Itar)/n；
式中，Iori表示需要增强的图像，Itar表示增强后的图像，MSE表示计算两幅图像的均方误差，n表示训练时每一批次中包含的图像块个数。
进一步的，步骤(5)具体包括：
(5.1)目标输出是需要增强的图像和增强后的图像之间的差值，将每对图像块逐像素相减得到深度网络输出的目标图像；
(5.2)建立目标函数：
式中，n表示训练时每一批次中包含的图像块个数，N表示每个图像块中像素的个数，Xi,j表示网络输出的第i批次中j像素的像素值，和/>分别表示需要增强的原始图像和增强后的图像对应批次中相同位置像素的像素值；
(5.3)通过随机梯度下降算法求解该目标函数，误差收敛后，得到训练成功的深度网络。
进一步的，所使用的深度网络是改进后的DenseNet神经网络。
本发明所述的基于深度学习的图像增强装置包括：
数据采集模块，用核磁共振成像仪采集人体头部MRI图像数据，并用传统增强算法对需要增强的原始图像进行增强，得到512*512大小的原始图像-增强图像对；
预处理模块，对采集到的原始图像-增强图像数据进行预处理，将512*512大小的图像裁剪成方便处理的图像块，并将其堆叠成一定数量的图像批次；
图像选择模块，计算裁剪后每对图像块的均方误差，并选择误差值大于阈值的图像批次输入网络进行训练；
网络训练模块，将选择好的一批图像块输入改进后的DenseNet神经网络，以原始图像作为输入，增强图像作为目标，训练能够对原始图像进行增强的深度网络；
图像增强模块，是训练好的深度网络，能够直接对512*512大小的原始图像进行增强，不需要预处理模块的裁剪。
进一步的，所述的图像选择模块，仅选择了误差值大于一定阈值的图像批次送入深度网络，避免了无效训练。
进一步的，所述网络训练模块具体包括：
目标函数建立单元，用于建立目标函数：
式中，n表示训练时每一批次中包含的图像块个数，N表示每个图像块中像素的个数，Xi,j表示网络输出的第i批次中j像素的像素值，和/>分别表示需要增强的原始图像和增强后的图像对应批次中相同位置像素的像素值；
求解单元，用于通过随机梯度下降算法求解该目标函数，得到增强后的图像和需要增强的原始图像之间的差值X。
相对于现有技术，本发明的优点如下：本发明图像增强效果更好，相对于传统的图像增强算法，能够获得更高的峰值信噪比和信息熵，峰值信噪比大概增加3dB左右，信息熵大概增加0.1，图像中无明显的噪声，而且处理速度比较快，在NVIDIAGeForceGTX1070上1秒左右能够完成一张图像增强。
附图说明
图1是本发明提供的基于深度学习的图像增强方法的的流程示意图；
图2为需要增强的原始图像；
图3分别为本发明增强结果、公司提供的传统算法增强结果。
具体实施方式
为了加深对本发明的认识和理解，下面结合附图和具体实施方式进一步介绍该技术方案。
实施例1：本实施例提供了一种基于深度学习的医学图像增强方法，如图1所示，包括：
步骤(1)采集图像增强数据，包括增强后的数据和需要增强的数据。
步骤(2)将采集到的数据进行裁剪、分批处理，得到成批的图像块。
在训练深度网络的时候，由于数据集图像数量是有限的，从图像中随机选取图像块输入深度网络，可以起到数据增强的作用。在训练时，采用小批量梯度下降的方法，能够迅速迭代，同时使收敛效果更加接近梯度下降的效果。根据训练时使用的GPU型号，输入深度网络的图像大小为16×1×128×128。
步骤(3)计算增强后的图像块和需要增强的图像块之间的误差值，选取误差值高于一定阈值的进行下一步处理。
MRI图像是由前景和背景组成的，背景中一般不包含图像信息，因此在增强时也不需要对背景进行增强，同时平滑的图像区域在增强时也没有太大改变，因此我们可以对裁剪得到的图像批次进行选择，选择增强比较明显的图像批次进行训练，增加网络收敛速度。
误差值选取的是均方误差，阈值计算方法如下式所示：
threshold＝MSE(Iori-Itar)/n
其中，Iori表示需要增强的图像，Itar表示增强后的图像，MSE表示计算两幅图像的均方误差，n表示训练时每一批次中包含的图像块个数。
步骤(4)计算选中的图像批次对(增强后的图像块和需要增强的图像块)之间的差值。
步骤(5)将需要增强的图像作为输入，差值作为目标输出，对深度网络进行训练，直至误差收敛。
深度网络使用的是DenseNet神经网络，需要对网络结构进行一些改进，删除原网络中的池化层以便保留更多的图像细节，将网络中的全连接层和Softmax层改成卷积层，使用具有4个Dense-Block的DenseNet网络，每个Dense-Block中有6个卷积层。
本实施例采用基于深度学习的医学图像增强方法，具体包括：
(5.1)目标输出是需要增强的图像和增强后的图像之间的差值，将每对图像块逐像素相减得到深度网络输出的目标图像；
(5.2)建立目标函数：
式中，n表示训练时每一批次中包含的图像块个数，N表示每个图像块中像素的个数，Xi,j表示网络输出的第i批次中j像素的像素值，和/>分别表示需要增强的原始图像和增强后的图像对应批次中相同位置像素的像素值；
(5.3)通过随机梯度下降算法求解该目标函数，误差收敛后，得到训练成功的深度网络。
步骤(6)将原始图像直接输入训练好的深度网络，网络输出增强后的图像。
网络训练完成之后，可以直接对需要增强的原始图像进行增强，不需要进行裁剪、分批这些预处理操作，将完整图像直接输入DenseNet网络，处理后可得到增强后的图像，避免引入不必要的噪声。
本实施例还提供了基于深度学习的医学图像增强装置，包括：
数据采集模块，用于采集MRI图像数据，并用传统增强算法对需要增强的原始图像进行增强；
预处理模块，用于对采集到的图像数据进行预处理，将图像裁剪成指定大小的图像块，并将其堆叠成一定数量的图像批次；
图像选择模块，用于选择误差值大于一定阈值的图像批次输入网络进行训练；
网络训练模块，用于训练能够对原始图像进行增强的深度网络；
图像增强模块，是训练好的深度网络，用于直接对原始图像进行增强，不需要预处理模块的预处理。
进一步的，所述的图像选择模块，仅选择了误差值大于一定阈值的图像批次送入深度网络，避免了无效训练。
进一步的，所述网络训练模块具体包括：
目标函数建立单元，用于建立目标函数：
式中，n表示训练时每一批次中包含的图像块个数，N表示每个图像块中像素的个数，Xi,j表示网络输出的第i批次中j像素的像素值，和/>分别表示需要增强的原始图像和增强后的图像对应批次中相同位置像素的像素值；
求解单元，用于通过随机梯度下降算法求解该目标函数，得到增强后的图像和需要增强的原始图像之间的差值X。
本装置与上述方法一一对应，未详尽之处请参照方法，不再赘述。
为了验证本发明的效果，使用鑫高益公司提供的增强图像来比较本发明公开方法相对于传统方法的提升，图2为需要增强的原始图像，图3分别为本发明增强结果、公司提供的传统算法增强结果，提升效果明显，对增强医学图像显示效果有重要意义。
以上所揭露的仅为本发明较佳实施例而已，不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (5)

1.一种基于深度学习的医学图像增强方法，其特征在于，所述方法包括以下步骤：
步骤(1)采集图像增强数据，包括增强后的数据和需要增强的数据；
步骤(2)将采集到的数据进行裁剪、分批处理，得到成批的图像块；
步骤(3)计算增强后的图像块和需要增强的图像块之间的误差值，选取误差值高于一定阈值的进行下一步处理；
步骤(4)计算选中的图像批次对即增强后的图像块和需要增强的图像块之间的差值；
步骤(5)将需要增强的图像作为输入，差值作为目标输出，对深度网络进行训练，直至误差收敛；具体包括：
(5.1)目标输出是需要增强的图像和增强后的图像之间的差值，将每对图像块逐像素相减得到深度网络输出的目标图像；
(5.2)建立目标函数：
式中，n表示训练时每一批次中包含的图像块个数，N表示每个图像块中像素的个数，Xi,j表示网络输出的第i批次中第j个像素的像素值，和/>分别表示需要增强的原始图像和增强后的图像对应批次中相同位置像素的像素值；
(5.3)通过随机梯度下降算法求解该目标函数，误差收敛后，得到训练成功的深度网络，
步骤(6)将原始图像直接输入训练好的深度网络，网络输出增强后的图像。
2.根据权利要求1所述的基于深度学习的医学图像增强方法，其特征在于：步骤(3)中仅选取误差值高于一定阈值的图像块进行处理，误差值选取的是均方误差，阈值计算方法如下式所示：
threshold＝MSE(Iori-Itar)/n；
式中，Iori表示需要增强的图像，Itar表示增强后的图像，MSE表示两幅图像的均方误差，n表示训练时每一批次中包含的图像块个数。
3.根据权利要求1所述的基于深度学习的医学图像增强方法，其特征在于：步骤(6)中使用的深度网络是改进后的DenseNet神经网络。
4.一种基于深度学习的医学图像增强装置，其特征在于，所述装置包括：
数据采集模块，用核磁共振成像仪采集人体头部MRI图像数据，并用传统增强算法对需要增强的原始图像进行增强，得到512*512大小的原始图像-增强图像对；
预处理模块，对采集到的原始图像-增强图像数据进行预处理，将512*512大小的图像裁剪成方便处理的图像块，并将其堆叠成一定数量的图像批次；
图像选择模块，计算裁剪后每对图像块的均方误差，并选择误差值大于阈值的图像批次输入网络进行训练；
网络训练模块，将选择好的一批图像块输入改进后的DenseNet神经网络，以原始图像作为输入，增强图像作为目标，训练能够对原始图像进行增强的深度网络；
图像增强模块，是训练好的深度网络，能够直接对512*512大小的原始图像进行增强，不需要预处理模块的的裁剪，
所述网络训练模块具体包括：
DenseNet网络建立单元，用于对已有的DenseNet分类网络进行改进，使其输入是能够改变大小的图像块，输出也是图像块而不是分类标签；
目标函数建立单元，用于建立目标函数：
式中，n表示训练时每一批次中包含的图像块个数，N表示每个图像块中像素的个数，Xi,j表示网络输出的第i批次中第j个像素的像素值，和/>分别表示需要增强的原始图像和增强后的图像对应批次中相同位置像素的像素值；
求解单元，用于通过随机梯度下降算法求解该目标函数，得到增强后的图像和需要增强的原始图像之间的差值X。
5.根据权利要求4所述的基于深度学习的医学图像增强装置，其特征在于：
所述的图像选择模块，仅选择了误差值大于一定阈值的图像批次送入深度网络，
避免了无效训练。
CN202011435159.8A 2020-12-09 2020-12-09 基于深度学习的医学图像增强方法及装置 Active CN112508833B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011435159.8A CN112508833B (zh) 2020-12-09 2020-12-09 基于深度学习的医学图像增强方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011435159.8A CN112508833B (zh) 2020-12-09 2020-12-09 基于深度学习的医学图像增强方法及装置

Publications (2)

Publication Number Publication Date
CN112508833A CN112508833A (zh) 2021-03-16
CN112508833B true CN112508833B (zh) 2024-03-29

Family

ID=74970478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011435159.8A Active CN112508833B (zh) 2020-12-09 2020-12-09 基于深度学习的医学图像增强方法及装置

Country Status (1)

Country Link
CN (1) CN112508833B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574820A (zh) * 2015-12-04 2016-05-11 南京云石医疗科技有限公司 一种基于深度学习的自适应超声图像增强方法
CN109800650A (zh) * 2018-12-21 2019-05-24 河海大学 一种增强和识别交通标志的方法
CN111507918A (zh) * 2020-04-16 2020-08-07 上海全景云医学影像诊断有限公司 一种基于深度学习技术的医学图像增强方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10424054B2 (en) * 2015-06-26 2019-09-24 Peking University Shenzhen Graduate School Low-illumination image processing method and device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574820A (zh) * 2015-12-04 2016-05-11 南京云石医疗科技有限公司 一种基于深度学习的自适应超声图像增强方法
CN109800650A (zh) * 2018-12-21 2019-05-24 河海大学 一种增强和识别交通标志的方法
CN111507918A (zh) * 2020-04-16 2020-08-07 上海全景云医学影像诊断有限公司 一种基于深度学习技术的医学图像增强方法

Also Published As

Publication number Publication date
CN112508833A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN110599409B (zh) 基于多尺度卷积组与并行的卷积神经网络图像去噪方法
US11308587B2 (en) Learning method of generative adversarial network with multiple generators for image denoising
CN109410127B (zh) 一种基于深度学习与多尺度图像增强的图像去噪方法
WO2022267641A1 (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN106339998B (zh) 基于对比度金字塔变换的多聚焦图像融合方法
CN107146228A (zh) 一种基于先验知识的大脑磁共振图像超体素生成方法
CN112116601A (zh) 一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法及系统
CN110060286B (zh) 一种单目深度估计方法
CN110675411A (zh) 基于深度学习的宫颈鳞状上皮内病变识别算法
CN109685716A (zh) 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法
CN109035172A (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN114266939B (zh) 一种基于ResTLU-Net模型的脑提取方法
CN111080531A (zh) 一种水下鱼类图像的超分辨率重建方法、系统及装置
CN104766304B (zh) 一种基于多序列医学图像的血管配准方法
CN105184742B (zh) 一种基于拉普拉斯图特征向量的稀疏编码的图像去噪方法
CN108460723A (zh) 基于邻域相似性的双边全变分图像超分辨率重建方法
CN107967674A (zh) 基于图像块自相似性先验的核磁共振图像去噪方法
CN113191968B (zh) 三维超声图像盲去噪模型的建立方法及其应用
CN103903239B (zh) 一种视频超分辨率重建方法及其系统
CN112508833B (zh) 基于深度学习的医学图像增强方法及装置
CN111260706B (zh) 一种基于单目相机的稠密深度图计算方法
CN107945114A (zh) 基于聚类字典和迭代反投影的磁共振图像超分辨率方法
CN116993639A (zh) 基于结构重参数化的可见光与红外图像融合方法
CN116894783A (zh) 基于时变约束的对抗生成网络模型的金属伪影去除方法
CN116563554A (zh) 基于混合表征学习的低剂量ct图像去噪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant