CN110930337A - 一种基于深度学习的医学影像增强方法 - Google Patents
一种基于深度学习的医学影像增强方法 Download PDFInfo
- Publication number
- CN110930337A CN110930337A CN201911203259.5A CN201911203259A CN110930337A CN 110930337 A CN110930337 A CN 110930337A CN 201911203259 A CN201911203259 A CN 201911203259A CN 110930337 A CN110930337 A CN 110930337A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- net network
- image data
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000013135 deep learning Methods 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 40
- 230000002708 enhancing effect Effects 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims abstract description 9
- 238000010586 diagram Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 14
- 238000002372 labelling Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000009191 jumping Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 238000006467 substitution reaction Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 12
- 206010028980 Neoplasm Diseases 0.000 description 15
- 210000000496 pancreas Anatomy 0.000 description 11
- 238000002591 computed tomography Methods 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 7
- 208000014018 liver neoplasm Diseases 0.000 description 7
- 206010019695 Hepatic neoplasm Diseases 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 210000004185 liver Anatomy 0.000 description 4
- 210000001015 abdomen Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000002872 contrast media Substances 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000006740 morphological transformation Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及一种基于深度学习的医学影像增强方法，属于图像增强技术领域。利用U‑Net网络作为图像增强方法的网络结构，在网络的训练目标中加入能够使网络对选定的感兴趣区域进行增强的软差异对比度损失，并且给网络提供具有医生标注的医学图像数据按照软差异对比度损失这个训练目标对网络进行训练，从而使得U‑Net网络能够对输入的医学图像进行重建并对选定的感兴趣区域进行检测与图像增强。本发明提出的方法与基于直方图均衡的方法相比，能够更加稳定准确地找到感兴趣的标注区域位置并进行增强；与基于形态学的方法相比，对关注区域的增强效果更加清晰明显，实现快速、准确、可靠的医学影像区域增强的功能。
Description
技术领域
本发明涉及一种基于深度学习的医学影像增强方法，属于图像增强技术领域。
背景技术
医学影像，如计算机断层扫描CT、MRI等，是目前发现和诊断疾病最常用和最主要的工具之一。然而，医学影像中所显现的很多区域，如肿瘤病灶等往往比较模糊，不容易清晰的辨别。这给医学上的图像检测和诊断带来了较大的困难，尤其对于缺少经验的初级医生和自动诊断工具来说。通过图像增强手段对医学影像中的进行增强处理，使得特定区域变得更加明显，这对医学应用的检测和诊断，如是肿瘤的早期检测与诊断，具有重要的意义。
现有的针对CT、MRI等医学影像的图像增强方法主要是利用传统的图像增强技术，方法主要有基于直方图均衡化的方法和基于形态学变换的方法两种。
直方图均衡技术将原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布，即将灰度拉伸成更为平坦的直方图，从而使得图像灰度分布更为均衡，以便达到增强图像的目的。基于形态学的医学图像增强方法，主要是利用top-hap变换来对图像进行处理，增强图像边缘纹理等高频信息的同时，抑制图像中无关的低频信息。此外，也有技术通过结合这两种方法来实现图像增强，试图获得更好的增强效果。
现有方法中，无论是基于直方图均衡的方法，还是基于形态学变换的方法，都旨在提高整幅图像的对比度，通过对全局图像纹理的对比度进行增强，来提高图像的清晰程度。但由此造成这些方法都着重处理全局信息而不是针对影像中的特定区域进行处理，因此图像增强后虽然整体清晰度有所提升，但需要被关注的区域相比周边区域的对比度并没有得到增强，医生所关注的组织器官区域的模糊程度并未得到改善。此外，对影像全局进行处理，通常会导致灰阶的消失，从而可能带来一些有价值的图像细节消失的问题。
发明内容
本发明的目的在于针对现有处理医疗图片的增强方法存在无法保持输入图像中无关区域的原貌的同时还能提升所关注区域的清晰与辨识度的技术缺陷，提出了一种基于深度学习的医学影像增强方法,应用于医学影像上，对感兴趣的区域的进行预测并对感兴趣区域的对比度进行增强。例如在肝部CT图像上，对于图像中的肝脏区域以及上面可能存在的肿瘤部分进行着重的增强。
所述基于深度学习的医学影像病变区域增强方法依托于图像重建和分割能力的深度网络；
所述深度网络为U-Net网络，包括由下采样块组成的编码器和由上采样块组成的解码器；
其中，编码器用于捕获图像中的整个上下文信息，解码器用以恢复图像中特定关注区域的精确定位。
所述基于深度学习的医学影像增强方法，包括如下步骤：
步骤1)数据采集：使用CT/MRI医学图像采集设备，根据医学影像的成像需求以及成像设备的使用说明调整设备参数，扫描产生医学图像，再将扫描得到的医学图像按照切片进行提取，形成2D图像数据集；
其中，2D图像数据集包括2D图像数据训练集和2D图像数据测试集；
其中，2D图像数据训练集用来做模型训练，其数量记为N；2D图像数据测试集用来做增强，其数量记为M；
步骤2)数据标注：专业医生对步骤1)中提取到的2D图像数据训练集中每一张2D图像的感兴趣区域进行标注，产生与2D图像一一对应的用于训练图像的标注数据，这个标注数据将被用来监督U-Net网络的学习；
步骤3)模型训练：将步骤1)采集到的2D图像数据训练集输入U-Net网络，利用2D图像数据训练集中的2D图像以及步骤2)中得到的标注数据对U-Net网络进行训练，具体包括如下子步骤：
步骤3-1)初始化选取图像序号i为1；
步骤3-2)选取步骤1)采集得到的2D图像数据训练集中的第i张2D图像输入U-Net网络，利用U-Net网络中编码器对第i张2D图像进行编码，产生编码后的特征图i；
步骤3-3)U-Net网络的解码器对特征图i进行解码，生成重构图像i；
步骤3-4)将步骤2)中第i张2D图像的标注数据沿着所有方向等距扩张标注数据的标定区域后取得其边缘，即对该标注数据分别进行膨胀及取反操作得到“膨胀图”和“取反图”，再将“膨胀图”和“取反图”进行异或操作得到“边缘图”i；
其中，“膨胀图”采用一个由1填充的矩阵膨胀内核与标注数据进行卷积得到；
步骤3-5)将步骤3-3)中生成的重构图像i分别与第i张2D图像的标注数据以及步骤3-4)中得到的“边缘图”i进行矩阵点乘，分别产生增强区域图Ia和增强边缘图Ib，然后计算增强区域图Ia的灰度均值和增强边缘图Ib的灰度均值并做差，该差值即为区域对比损失LRC，该区域对比损失LRC表达了网络对图像在标注数据给定的区域内进行增强的程度；
步骤3-6)对步骤3-2)选取的图像数据以及步骤3-3)中产生的重构图像进行逐像素的差值计算，选取其中差值大于C的像素点进行累加并求均值得到软差异度损失LSD，C是一个人为给定的差异度参数；
步骤3-7)将步骤3-5)中得到的区域对比损失LRC和步骤3-6)中得到的软差异度损失LSD代入公式(1)，计算求得软差异区域对比度损失函数，并利用随机梯度下降法对U-Net网络的参数进行优化，得到训练好的U-Net网络；
Ltotal＝λ1×LSD+λ2×LRC， (1)
其中，λ1是软差异度损失的比例系数；λ2是区域对比损失的比例系数，Ltotal是计算得到的软差异区域对比度损失函数的值；
步骤3-8)判断i是否等于N，若不等于，则i＝i+1，再跳至步骤3-2)，否则若等于，则跳至步骤4)；
步骤4)增强图像：利用步骤3)中训练好的U-Net网络对步骤1)中取得的2D图像数据测试集进行增强，包括以下子步骤：
步骤4-1)逐一遍历步骤1)中取得的用来做增强的2D图像数据测试集，将数据输入进训练好的U-Net网络；
步骤4-2)U-Net网络的编码器对输入的图像数据进行编码，将图像中存在的空间和语义信息进行提取并编码，得到图像的特征图；
步骤4-3)U-Net网络的解码器将步骤4-2)得到的特征图进行解码，完成对图像的增强；由于U-Net网络已经在步骤3)中完成了训练，它的解码器能够对图像中的感兴趣区域进行预测，并针对这些区域进行图像增强。
有益效果
本发明提出的一种基于深度学习的医学影像增强方法，与现有医学图像增强方法相比，具有如下有益效果：
1.所述方法与基于直方图均衡的方法相比，由于有软差异损失的限定，能够产生更少的噪声以及无关区域的变化，更具有针对性地增强图像的感兴趣区域；而基于直方图均衡的方法由于是将图像中所有的区域一视同仁地进行灰度值的映射，会在很多无关的区域造成大量噪声和细节损失，影响图像的整体效果；
2.所提方法与基于形态学方法相比，所提方法具有针对性，对关注区域的增强效果更加清晰明显，由于经过了提前给定划定了感兴趣区域的标注数据的监督训练，能够更加稳定准确地找到感兴趣的区域位置，从而对其进行增强；而形态学的方法由于主要关注图像原本的差异分布，通过拉大这种分布来全局提高图像的清晰度，不能针对特定区域进行增强；
3.所述方法与直接调整窗宽、窗位的方法相比，提出的方法使用深度学习方式，通过数据进行训练，无需大量人工调整；而窗宽、窗位的调整往往需要有经验的人员操作，才能达到比较准确的效果。
附图说明
图1是本发明一种基于深度学习的医学影像增强方法及实施例1中的流程图；
图2是本发明一种基于深度学习的医学影像增强方法实施例2的效果示意图。
具体实施方式
下面结合附图及实施例，对本发明所述的基于深度学习的医学影像增强方法进行详细阐述。
实施例1
在医学领域中，计算机断层成像技术，又称CT，是一种广泛应用的医学应用技术。这种技术至今依然是对人体内的组织器官进行影响观察的重要手段。为了使得CT成像足够清晰，往往需要在对病人扫描之前对其进行造影剂注射，这种注射会根据注射剂量不同对人体造成不同程度的不良影响。过多的造影剂会对人体造成危害，过少的造影剂又使得CT成像不够清晰。本实施例从医院取得了人体腹部的CT扫描数据集与标注集，通过基于深度学习的医学影像增强方法对其中的胰腺部位进行图像增强，来说明所述方法的有益效果。
本实施例对应具体方法流程如图1所示。
(1)数据采集：
数据通过CECT扫描仪扫描取得，扫描参数为120kV，280mAs，旋转时间为0.8s，片厚5mm，间隔5mm。使用CECT的成像协议符合LIRADS指南推荐的标准。共包括19例人体CT扫描。对扫描得到的医学图像按照切片进行提取，形成了367张人体腹部位置的2D图像数据，2D数据的尺寸大小为399*399；这些2D图像数据被分成两个数据集，分别是293张用来做模型训练的用于训练的2D图像数据训练集，以及74张用来做增强的2D图像数据组成的测试集。
(2)数据标注：数据中的胰腺标注由一位具有15年以上腹部医疗影像经验的医生给定，清晰地标注出了CT中胰腺的位置和轮廓。这个标注数据将被用来监督U-Net网络的学习，使之能够准确在CT图像上发觉胰腺的特征与位置；
(3)模型训练：将(1)采集到的367张大小为399*399的用于训练的图像数据作为U-Net网络的输入，利用这些输入图像数据以及(2)中得到的标注数据对U-Net网络进行训练，以便使U-Net网络能够获得对图像进行增强的能力，具体包括如下子步骤：
(3-1)初始化选取图像序号i为1；
(3-2)选取(1)采集得到的367张2D图像数据训练集中的第i张2D图像输入U-Net网络，利用U-Net的4层编码器对图像数据进行逐层编码，最终产生大小为1024*10*10的编码后的特征图i；
(3-3)U-Net网络的解码器部分对特征图进行解码，产生网络重构的图像i；
(3-4)将(2)中第i张2D图像的的胰腺位置标注数据沿着所有方向等距扩张标注数据的标定区域后取得胰腺的边缘区域，即对该标注数据分别进行膨胀及取反操作得到“膨胀图”和“取反图”，再将“膨胀图”和“取反图”进行异或操作得到“边缘图”i；
其中，“膨胀图”采用一个由1填充的19*19的矩阵膨胀内核与标注数据进行卷积得到；
(3-5)将(3-3)中生成的重构图像i分别与第i张2D图像的胰腺位置标注数据以及(3-4)中得到的“边缘图”i进行矩阵点乘，分别产生增强区域图Ia和增强边缘图Ib，然后计算增强区域图Ia的灰度均值和增强边缘图Ib的灰度均值并做差，该差值即为区域对比损失LRC，该区域对比损失LRC表达了网络对图像在标注数据给定的区域内进行增强的程度；利用这个区域对比损失训练U-Net网络，能够使网络准确找到胰腺的位置，继而可以有针对性地进行增强，达到有益效果1；
(3-6)对(3-2)选取的图像数据以及(3-3)中产生的重构图像进行逐像素的差值计算，选取其中差值大于20的像素点进行累加并求均值得到软差异度损失LSD；利用这个损失训练U-Net网络能够让网络尽量保证非胰腺部位的图像不产生变化，达到有益效果2；
(3-7)将(3-5)中得到的区域对比损失LRC和(3-6)中得到的软差异度损失LSD代入公式(1)，计算求得软差异区域对比度损失函数，并利用随机梯度下降法对U-Net网络的参数进行优化，得到训练好的U-Net网络，这个网络能够准确地找到胰腺位置并对其进行增强；
Ltotal＝λ1×LSD+λ2×LRC， (1)
其中，λ1是软差异度损失的比例系数；λ2是区域对比损失的比例系数，Ltotal是计算得到的软差异区域对比度损失函数的值；
(3-8)判断i是否等于N，若不等于，则i＝i+1，再跳至(3-2)，否则若等于，则跳至(4)；
(4)增强图像：利用(3)中训练好的网络对(1)中取得的用来做增强的2D图像数据测试集进行增强，包括以下子过程：
(4-1)逐一遍历(1)中取得的用来做增强的2D图像数据，将数据输入到训练好的U-Net网络；
(4-2)U-Net网络的编码器对输入的图像数据进行编码，将图像中存在的空间和语义信息进行提取并编码，得到图像的特征图；
(4-3)U-Net网络的解码器将(4-2)得到的特征图进行解码，完成对图像的增强，准确地找到胰腺的位置并进行了增强。统计计算得到胰腺区域的准确增强比例达到97.4％，与通过直方图均衡做的对比实验，精准效果提高了17.3％。
实施例2
肝癌作为一种致死率极高的癌症，能够被早期发现对其治疗的成功起着至关重要的作用。目前，计算机断层扫描CT是早期发现和诊断肝脏肿瘤最常用的工具之一。然而，肝脏CT图像中的肿瘤病灶往往表现为模糊和模糊，这给对肿瘤的发现带来了一定的困难。因此，本实施例用过对肝脏CT扫描应用基于深度学习的医学影像增强方法，来增强肿瘤区域的对比度，来说明所述方法的有益效果。
图2是本实施例对于肝部肿瘤进行增强之后的增强效果，每一组样例中左侧是强化后效果，右侧是原图；在每一组对比图中可以清晰看到肿瘤区域对比度被显著增强，其他无关区域保持不变。
(1)数据采集：通过网络收集到的医学数据集，包括139例人体CT扫描。对扫描得到的医学图像按照切片进行提取，形成了1384张人体腹部位置的2D图像数据，2D数据的尺寸大小为256*256；这些2D图像数据被分成两个数据集，分别是1204张用来做模型训练的用于训练的2D图像数据，以及希望180张用来做增强的2D图像数据组成的测试集。
(2)数据标注：收集到的数据包含肝脏肿瘤位置的标注，这个标注数据将被用来监督U-Net网络的学习，使之能够准确在CT图像上发觉肿瘤的特征与位置；
(3)模型训练：将(1)采集到的367张大小为399*399的用于训练的图像数据作为U-Net网络的输入，利用这些输入图像数据以及(2)中得到的标注数据对U-Net网络进行训练，以便使U-Net网络能够获得对图像进行增强的能力，具体包括如下子步骤：
(3-1)初始化选取图像序号i为1；
(3-2)选取(1)采集得到的1204张2D图像数据训练集中的第i张2D图像输入U-Net网络，利用U-Net的4层编码器对图像数据进行逐层编码，最终产生大小为1024*10*10的编码后的特征图i；
(3-3)U-Net网络的解码器部分对特征图进行解码，产生网络重构的图像i；
(3-4)将(2)中第i张2D图像的的肝脏肿瘤位置标注数据沿着所有方向等距扩张标注数据的标定区域后取得肝脏肿瘤的边缘区域，即对该标注数据分别进行膨胀及取反操作得到“膨胀图”和“取反图”，再将“膨胀图”和“取反图”进行异或操作得到“边缘图”i；
其中，“膨胀图”采用一个由1填充的19*19的矩阵膨胀内核与标注数据进行卷积得到；
(3-5)将(3-3)中生成的重构图像i分别与第i张2D图像的肝脏肿瘤位置标注数据以及(3-4)中得到的“边缘图”i进行矩阵点乘，分别产生增强区域图Ia和增强边缘图Ib，然后计算增强区域图Ia的灰度均值和增强边缘图Ib的灰度均值并做差，该差值即为区域对比损失LRC，该区域对比损失LRC表达了网络对图像在标注数据给定的区域内进行增强的程度；利用这个区域对比损失训练U-Net网络，能够使网络准确找到肿瘤的位置，继而可以有针对性地进行增强，达到有益效果1；
(3-6)对(3-2)选取的图像数据以及(3-3)中产生的重构图像进行逐像素的差值计算，选取其中差值大于20的像素点进行累加并求均值得到软差异度损失LSD；利用这个损失训练U-Net网络能够让网络尽量保证非肿瘤部位的图像不产生变化，达到有益效果2；
(3-7)将(3-5)中得到的区域对比损失LRC和(3-6)中得到的软差异度损失LSD代入公式(1)，计算求得软差异区域对比度损失函数，并利用随机梯度下降法对U-Net网络的参数进行优化，得到训练好的U-Net网络，这个网络能够准确地找到肿瘤位置并对其进行增强；
Ltotal＝λ1×LSD+λ2×LRC， (1)
其中，λ1是软差异度损失的比例系数；λ2是区域对比损失的比例系数，Ltotal是计算得到的软差异区域对比度损失函数的值；
(3-8)判断i是否等于N，若不等于，则i＝i+1，再跳至(3-2)，否则若等于，则跳至(4)；
(4)增强图像：利用(3)中训练好的网络对(1)中取得的用来做增强的2D图像数据测试集进行增强，包括以下子过程：
(4-1)逐一遍历(1)中取得的用来做增强的2D图像数据测试集，将数据输入到训练好的U-Net网络；
(4-2)U-Net网络的编码器对输入的图像数据进行编码，将图像中存在的空间和语义信息进行提取并编码，得到图像的特征图；
(4-3)U-Net网络的解码器将(4-2)得到的特征图进行解码，完成对图像的增强，准确地找到肿瘤的位置并进行了增强。统计计算得到肿瘤区域的准确增强比例达到95.6％，与通过直方图均衡做的对比实验，精准效果提高了30％。
需要强调的是，对于本领域技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些也应视为属于本发明的保护范围。
Claims (4)
1.一种基于深度学习的医学影像增强方法，其特征在于：包括如下步骤：
步骤1)数据采集：使用CT/MRI医学图像采集设备，根据医学影像的成像需求以及成像设备的使用说明调整设备参数，扫描产生医学图像，再将扫描得到的医学图像按照切片进行提取，形成2D图像数据集；
其中，2D图像数据集包括2D图像数据训练集和2D图像数据测试集；且2D图像数据训练集的数量记为N；
步骤2)数据标注：专业医生对步骤1)中提取到的2D图像数据训练集中每一张2D图像的感兴趣区域进行标注，产生与2D图像一一对应的用于训练图像的标注数据，这个标注数据将被用来监督U-Net网络的学习；
步骤3)模型训练：将步骤1)采集到的2D图像数据训练集输入U-Net网络，利用2D图像数据训练集中的2D图像以及步骤2)中得到的标注数据对U-Net网络进行训练，输出训练好的U-Net网络，具体包括如下子步骤：
步骤3-1)初始化选取图像序号i为1；
步骤3-2)选取步骤1)采集得到的2D图像数据训练集中的第i张2D图像输入U-Net网络，利用U-Net网络中编码器对第i张2D图像进行编码，产生编码后的特征图i；
步骤3-3)U-Net网络的解码器对特征图i进行解码，生成重构图像i；
步骤3-4)将步骤2)中第i张2D图像的标注数据沿着所有方向等距扩张标注数据的标定区域后取得其边缘，即对该标注数据分别进行膨胀及取反操作得到“膨胀图”和“取反图”，再将“膨胀图”和“取反图”进行异或操作得到“边缘图”i；
步骤3-5)将步骤3-3)中生成的重构图像i分别与第i张2D图像的标注数据以及步骤3-4)中得到的“边缘图”i进行矩阵点乘，分别产生增强区域图Ia和增强边缘图Ib，然后计算增强区域图Ia的灰度均值和增强边缘图Ib的灰度均值并做差，该差值即为区域对比损失LRC，该区域对比损失LRC表达了网络对图像在标注数据给定的区域内进行增强的程度；
步骤3-6)对步骤3-2)选取的图像数据以及步骤3-3)中产生的重构图像进行逐像素的差值计算，选取其中差值大于C的像素点进行累加并求均值得到软差异度损失LSD；
步骤3-7)将步骤3-5)中得到的区域对比损失LRC和步骤3-6)中得到的软差异度损失LSD代入公式(1)，计算求得软差异区域对比度损失函数，并利用随机梯度下降法对U-Net网络的参数进行优化，得到训练好的U-Net网络；
Ltotal＝λ1×LSD+λ2×LRC， (1)
其中，λ1是软差异度损失的比例系数；λ2是区域对比损失的比例系数，Ltotal是计算得到的软差异区域对比度损失函数的值；
步骤3-8)判断i是否等于N，若不等于，则i＝i+1，再跳至步骤3-2)，否则若等于，则跳至步骤4)；
步骤4)增强图像：利用步骤3)中训练好的U-Net网络对步骤1)中取得的2D图像数据测试集进行增强，包括以下子步骤：
步骤4-1)逐一遍历步骤1)中取得的用来做增强的2D图像数据测试集，将数据输入进训练好的U-Net网络；
步骤4-2)U-Net网络的编码器对输入的图像数据进行编码，将图像中存在的空间和语义信息进行提取并编码，得到图像的特征图；
步骤4-3)U-Net网络的解码器将步骤4-2)得到的特征图进行解码，完成对图像的增强；由于U-Net网络已经在步骤3)中完成了训练，它的解码器能够对图像中的感兴趣区域进行预测，并针对这些区域进行图像增强。
2.根据权利要求1所述的一种基于深度学习的医学影像增强方法，其特征在于：步骤1)中，2D图像数据训练集用来做模型训练，2D图像数据测试集用来做增强，其数量记为M。
3.根据权利要求1所述的一种基于深度学习的医学影像增强方法，其特征在于：步骤3-4)中，“膨胀图”采用一个由1填充的矩阵膨胀内核与标注数据进行卷积得到。
4.根据权利要求1所述的一种基于深度学习的医学影像增强方法，其特征在于：步骤3-6)中的C是一个人为给定的差异度参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911203259.5A CN110930337B (zh) | 2019-11-29 | 2019-11-29 | 一种基于深度学习的医学影像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911203259.5A CN110930337B (zh) | 2019-11-29 | 2019-11-29 | 一种基于深度学习的医学影像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110930337A true CN110930337A (zh) | 2020-03-27 |
| CN110930337B CN110930337B (zh) | 2022-05-31 |
Family
ID=69847023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911203259.5A Expired - Fee Related CN110930337B (zh) | 2019-11-29 | 2019-11-29 | 一种基于深度学习的医学影像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110930337B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113706425A (zh) * | 2021-06-02 | 2021-11-26 | 上海深至信息科技有限公司 | 一种图像增强系统及便携式多普勒成像仪 |
| CN116452464A (zh) * | 2023-06-09 | 2023-07-18 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 一种基于深度学习的胸部图像增强处理方法 |
| CN116739949A (zh) * | 2023-08-15 | 2023-09-12 | 武汉互创联合科技有限公司 | 一种胚胎图像的卵裂球边缘增强处理方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180165554A1 (en) * | 2016-12-09 | 2018-06-14 | The Research Foundation For The State University Of New York | Semisupervised autoencoder for sentiment analysis |
| CN108921851A (zh) * | 2018-06-06 | 2018-11-30 | 深圳市未来媒体技术研究院 | 一种基于3d对抗网络的医学ct图像分割方法 |
| CN109978850A (zh) * | 2019-03-21 | 2019-07-05 | 华南理工大学 | 一种多模态医学影像半监督深度学习分割系统 |
| CN110290387A (zh) * | 2019-05-17 | 2019-09-27 | 北京大学 | 一种基于生成模型的图像压缩方法 |
| CN110322435A (zh) * | 2019-01-20 | 2019-10-11 | 北京工业大学 | 一种基于深度学习的胃癌病理图像癌变区域分割方法 |
-
2019
- 2019-11-29 CN CN201911203259.5A patent/CN110930337B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180165554A1 (en) * | 2016-12-09 | 2018-06-14 | The Research Foundation For The State University Of New York | Semisupervised autoencoder for sentiment analysis |
| CN108921851A (zh) * | 2018-06-06 | 2018-11-30 | 深圳市未来媒体技术研究院 | 一种基于3d对抗网络的医学ct图像分割方法 |
| CN110322435A (zh) * | 2019-01-20 | 2019-10-11 | 北京工业大学 | 一种基于深度学习的胃癌病理图像癌变区域分割方法 |
| CN109978850A (zh) * | 2019-03-21 | 2019-07-05 | 华南理工大学 | 一种多模态医学影像半监督深度学习分割系统 |
| CN110290387A (zh) * | 2019-05-17 | 2019-09-27 | 北京大学 | 一种基于生成模型的图像压缩方法 |
Non-Patent Citations (2)
| Title |
|---|
| LU ZHANG，AND ETC: "An Automatic Liver Segmentation Algorithm for CT Images U-Net with Separated Paths of Feature Extraction", 《2018 IEEE 3RD INTERNATIONAL CONFERENCE ON IMAGE, VISION AND COMPUTING (ICIVC)》 * |
| 郭晓等: "基于级联深度卷积神经网络的高性能图像超分辨率重构", 《计算机应用》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113706425A (zh) * | 2021-06-02 | 2021-11-26 | 上海深至信息科技有限公司 | 一种图像增强系统及便携式多普勒成像仪 |
| CN113706425B (zh) * | 2021-06-02 | 2024-06-04 | 上海深至信息科技有限公司 | 一种图像增强系统及便携式多普勒成像仪 |
| CN116452464A (zh) * | 2023-06-09 | 2023-07-18 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 一种基于深度学习的胸部图像增强处理方法 |
| CN116452464B (zh) * | 2023-06-09 | 2023-08-22 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 一种基于深度学习的胸部图像增强处理方法 |
| CN116739949A (zh) * | 2023-08-15 | 2023-09-12 | 武汉互创联合科技有限公司 | 一种胚胎图像的卵裂球边缘增强处理方法 |
| CN116739949B (zh) * | 2023-08-15 | 2023-11-03 | 武汉互创联合科技有限公司 | 一种胚胎图像的卵裂球边缘增强处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110930337B (zh) | 2022-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110930337B (zh) | 一种基于深度学习的医学影像增强方法 | |
| US7961967B2 (en) | Adaptive density mapping in computed tomographic images | |
| US8233692B2 (en) | Method of suppressing obscuring features in an image | |
| AU2012350363B2 (en) | Method and apparatus for the assessment of medical images | |
| CN103501699B (zh) | 用于隔离成像数据中的潜在异常的方法和装置和其对医学图像的应用 | |
| JP6570145B2 (ja) | 画像を処理する方法、プログラム、代替的な投影を構築する方法および装置 | |
| Chung et al. | Automated segmentation of muscle and adipose tissue on CT images for human body composition analysis | |
| CN110458859B (zh) | 一种基于多序列mri的多发性骨髓瘤病灶的分割系统 | |
| CN106530236B (zh) | 一种医学图像处理方法及系统 | |
| TW201219013A (en) | Method for generating bone mask | |
| Zhang et al. | Low-dose lung CT image restoration using adaptive prior features from full-dose training database | |
| CN113222852B (zh) | 一种增强ct图像的重建方法 | |
| CN106780491B (zh) | Gvf法分割ct骨盆图像中采用的初始轮廓生成方法 | |
| Zhang et al. | Computer-assisted assessment of ultrasound real-time elastography: initial experience in 145 breast lesions | |
| Ganvir et al. | Filtering method for pre-processing mammogram images for breast cancer detection | |
| Jalab et al. | Fractional Renyi entropy image enhancement for deep segmentation of kidney MRI | |
| Xu et al. | Diagnostically lossless coding of X-ray angiography images based on background suppression | |
| CN111477304A (zh) | 一种pet和mri图像相融合的肿瘤照射成像组合方法 | |
| CN113838020B (zh) | 一种基于钼靶影像的病变区域量化方法 | |
| US20090069666A1 (en) | Correction of Intensity Inhomogeneity in Breast MRI | |
| CN113298754B (zh) | 一种前列腺组织轮廓线控制点的检测方法 | |
| Sonia et al. | A Comparative Analysis of Wavelet Transforms for Denoising MRI Brain Images | |
| Born et al. | Three-step segmentation of the lower airways with advanced leakage-control | |
| Hill et al. | Dynamic breast MRI: image registration and its impact on enhancement curve estimation | |
| Venkatachalam et al. | Processing of abdominal ultrasound images using seed based region growing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220531 |