CN110136147A - 一种基于U-Net模型的分割医学图像的方法、装置及存储介质 - Google Patents
一种基于U-Net模型的分割医学图像的方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110136147A CN110136147A CN201910421479.9A CN201910421479A CN110136147A CN 110136147 A CN110136147 A CN 110136147A CN 201910421479 A CN201910421479 A CN 201910421479A CN 110136147 A CN110136147 A CN 110136147A
- Authority
- CN
- China
- Prior art keywords
- medical image
- model
- image segmentation
- medical
- segmentation model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 67
- 230000011218 segmentation Effects 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000002708 enhancing effect Effects 0.000 claims abstract description 10
- 239000003814 drug Substances 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000013508 migration Methods 0.000 claims description 6
- 230000005012 migration Effects 0.000 claims description 6
- 238000003475 lamination Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 7
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
一种基于U‑Net模型的分割医学图像的方法、装置及存储介质，方法包括：确定多张医学图像的目标分割区域；分别对多张医学图像的目标分割区域进行医学扫描，得到彩色医学图像样本；对各彩色医学图像样本分别进行预处理，得到提取G通道后的灰色图像；对各灰色图像分别进行去除噪声操作，根据去除噪声后的各灰色图像分别生成一个对应的分割标签图像；对医学图像样本和分割标签图像进行旋转、平移、缩放中的至少一项数据增强处理操作，得到多个位图样本；分别将各位图样本划分为训练集和验证集；将各训练集输入医学图像分割模型，以训练医学图像分割模型；使用各验证集调试模型参数，得到最优模型参数；使用各验证集对进行性能测试，得到最优分割正确率。
Description
技术领域
本发明涉及大数据深度学习技术领域，尤其涉及一种基于U-Net 模型的分割医学图像的方法、装置及存储介质。
背景技术
随着医学影像技术的快速发展,现在采用大数据分析医学图像， 从海量的医学图像中挖掘出有用信息，然后识别出医学图像，以判定 患者是否患病或者判断患者的疾病种类。而由于医学图像数量庞大， 且采集临床医学图像的设备的种类繁多，再加上不同的患病部位以及 不同的疾病种类，而目前的数据分析方法无法在这些环境下从多种医 学图像中准确的挖掘出有用的信息，且目前的数据分析方法已无法满 足当前的医疗需求。
发明内容
针对上述技术问题，本发明实施例提供了一种基于U-Net模型的 分割医学图像的方法、装置及存储介质。
第一方面，本发明实施例提供一种基于U-Net模型的分割医学图 像的方法，包括：
获取待分割的多张图像，确定所述多张医学图像的目标分割区域；
分别对所述多张医学图像的目标分割区域进行医学扫描，扫描得 到多个彩色医学图像样本；
对各彩色医学图像样本分别进行预处理，得到多张提取G通道 后的灰色图像；
对各灰色图像分别进行去除噪声操作，根据去除噪声后的各灰色 图像分别生成一个对应的分割标签图像；
对预处理后的医学图像样本和对应的分割标签图像一起进行旋 转、平移、缩放中的至少一项数据增强处理操作，得到多个医学图像 样本对应的位图样本；
按照预设比例分别将各位图样本划分为训练集和验证集；
生成医学图像分割模型，将各位图样本的训练集输入所述医学图 像分割模型，以训练所述医学图像分割模型；
使用各位图样本的验证集调试所述医学图像分割模型的模型参 数，调试得到所述医学图像模型的一组最优模型参数；
将各位图样本的训练集输入所述医学图像分割模型，以使用各医 学图像样本的验证集对进行性能测试，得到所述医学图像分割模型的 最优分割正确率。
可选的，在数据增强处理操作中，平移和缩放的随机区间范围均 为0-20％，旋转的随机区间范围为0～10°；
所述预设比例为4:1。
可选的，所述生成医学图像分割模型，包括：
生成一个医学图像分割框架U-Net；
将U-Net编码器和解码器中的正常的卷积层替换为密集卷积块 Denseblock；
在每个3×3卷积之前，在所述医学图像分割模型中的Denseblock 中构建4个1×1的卷积层，各卷积层基本结构为BN-ReLU-Conv(3 ×3)；
在编码器和解码器中均加入密集卷积块；
通过所述Denseblock将所述4个1×1的卷积层连接起来，每个 卷积层都加入批标准化；
在设置所述解码器的阶段，在所述解码器中添加注意力门机制， 以自动学习专注于目标结构。
可选的，所述将各位图样本的训练集输入所述医学图像分割模型， 以训练所述医学图像分割模型；将各位图样本的训练集输入所述医学 图像分割模型，以使用各医学图像样本的验证集对进行性能测试，得 到所述医学图像分割模型的最优分割正确率，包括：
将各位图样本的训练集分批输入所述医学图像分割模型；
利用反向传播策略，通过Adam更新所述医学图像分割模型的模 型参数；
其中，每次批量输入所述医学图像分割模型的训练集的样本数目 为4，每次训练所述医学图像分割模型的训练次数为2000次；
每次训练完后，根据各个迁移模型在所述验证集上的表现调整学 习率；最后将验证集上的效果比较，得到最优学习率。
可选的，所述将各位图样本的训练集输入所述医学图像分割模型， 以使用各医学图像样本的验证集对进行性能测试，得到所述医学图像 分割模型的最优分割正确率，包括：
使用彩色眼底视网膜进行最终系统的测试，得到最后的系统输出 结果。
第二方面，本申请提供一种用于分割医学图像的装置，具有实现 对应于上述第一方面提供的基于U-Net模型的分割医学图像的方法 中的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的 软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所 述模块可以是软件和/或硬件。
一种可能的设计中，所述装置包括：
输入输出模块，用于获取待分割的多张图像，确定所述多张医学 图像的目标分割区域；
处理模块，用于分别对所述多张医学图像的目标分割区域进行医 学扫描，扫描得到多个彩色医学图像样本；对各彩色医学图像样本分 别进行预处理，得到多张提取G通道后的灰色图像；对各灰色图像 分别进行去除噪声操作，根据去除噪声后的各灰色图像分别生成一个 对应的分割标签图像；对预处理后的医学图像样本和对应的分割标签 图像一起进行旋转、平移、缩放中的至少一项数据增强处理操作，得 到多个医学图像样本对应的位图样本；按照预设比例分别将各位图样 本划分为训练集和验证集；生成医学图像分割模型，通过所述输入输 出模块将各位图样本的训练集输入所述医学图像分割模型，以训练所述医学图像分割模型；使用各位图样本的验证集调试所述医学图像分 割模型的模型参数，调试得到所述医学图像模型的一组最优模型参数； 通过所述输入输出模块将各位图样本的训练集输入所述医学图像分 割模型，以使用各医学图像样本的验证集对进行性能测试，得到所述 医学图像分割模型的最优分割正确率。
可选的，在数据增强处理操作中，平移和缩放的随机区间范围均 为0-20％，旋转的随机区间范围为0～10°；
所述预设比例为4:1。
可选的，所述处理模块具体用于：
生成一个医学图像分割框架U-Net；
将U-Net编码器和解码器中的正常的卷积层替换为密集卷积块 Denseblock；
在每个3×3卷积之前，在所述医学图像分割模型中的Denseblock 中构建4个1×1的卷积层，各卷积层基本结构为BN-ReLU-Conv(3 ×3)；
在编码器和解码器中均加入密集卷积块；
通过所述Denseblock将所述4个1×1的卷积层连接起来，每个 卷积层都加入批标准化；
在设置所述解码器的阶段，在所述解码器中添加注意力门机制， 以自动学习专注于目标结构。
可选的，所述处理模块具体用于：
通过所述输入输出模块将各位图样本的训练集分批输入所述医 学图像分割模型；
利用反向传播策略，通过Adam更新所述医学图像分割模型的模 型参数；
其中，每次批量输入所述医学图像分割模型的训练集的样本数目 为4，每次训练所述医学图像分割模型的训练次数为2000次；
每次训练完后，根据各个迁移模型在所述验证集上的表现调整学 习率；最后将验证集上的效果比较，得到最优学习率。
可选的，所述处理模块具体用于：
使用彩色眼底视网膜进行最终系统的测试，得到最后的系统输出 结果。
本发明实施例提供的技术方案中，分别对所述多张医学图像的目 标分割区域进行医学扫描，扫描得到多个彩色医学图像样本；对各彩 色医学图像样本分别进行预处理，得到多张提取G通道后的灰色图 像；对预处理后的医学图像样本和对应的分割标签图像一起进行数据 增强处理操作，得到多个医学图像样本对应的位图样本；将各位图样 本的训练集输入所述医学图像分割模型，以训练所述医学图像分割模 型；使用各位图样本的验证集调试所述医学图像分割模型的模型参数， 调试得到所述医学图像模型的一组最优模型参数；将各位图样本的训 练集输入所述医学图像分割模型，以使用各医学图像样本的验证集对 进行性能测试，得到所述医学图像分割模型的最优分割正确率。因此 相对于现有技术，本发明实施例中，通过在深度学习模型中特征抽取 层可以有效提取出所需要的特征，可以将需要分割的目标从医学图像 中较好的分割出来，对医生诊断疾病提供准确的依据。通过引入密集 连接卷积神经模型和注意力机制，可以缓解梯度消失问题，加强特征 传播，大幅减少参数数量，并自动学会专注于目标结构而无需额外的 监督，使最后系统医学图像目标分割效果更加接近于人工手动分割结 果。
附图说明
图1为本发明实施例中分割医学图像的一种流程示意图；
图2为本发明实施例中基于U-Net模型的分割医学图像的方法的 一实施例示意图；
图3为本发明实施例中DenseBlock的一种结构示意图；
图4为本发明实施例中注意力机制模型的一种示意图；
图5为本发明实施例中医学图像模型的一种结构示意图；
图6为本发明实施例中彩色眼底图像的一种示意图；
图7为本发明实施例中分割标签图像的一种示意图；
图8为本发明实施例中使用医学图像模型分割图像后的一种结果示意图；
图9为本发明实施例中用于分割医学图像的装置的结构示意图；
图10为本发明实施例中计算机处理设备的结构框图。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用 于限定本申请。本申请的说明书和权利要求书及上述附图中的术语 “第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的 顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换， 以便这里描述的实施例能够以除了在这里图示或描述的内容以外的 顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意 图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、 方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而 是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有 的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑 上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块 可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行。
本申请提供一种基于U-Net模型的分割医学图像的方法、装置及 存储介质，可用于临床医学的疾病分析。如图1所示的一种的分割医 学图像的流程示意图中，本发明对U-Net网络进行改进，并利用深度 学习医学图像中蕴含的丰富信息，例如从像素级的原始数据中逐级的、 自动的提取从底层到高层的特征，进而有效提取出医学分析所需要的 特征，能够将需要分割的目标从医学图像中较好的分割出来。
请参阅图2，下面介绍本发明实施例中的基于U-Net模型的分割 医学图像的方法，本发明实施例包括：
201、获取待分割的多张图像，确定所述多张医学图像的目标分 割区域；
202、分别对所述多张医学图像的目标分割区域进行医学扫描， 扫描得到多个彩色医学图像样本；
203、对各彩色医学图像样本分别进行预处理，得到多张提取G 通道后的灰色图像；
204、对各灰色图像分别进行去除噪声操作，根据去除噪声后的 各灰色图像分别生成一个对应的分割标签图像；
205、对预处理后的医学图像样本和对应的分割标签图像一起进 行旋转、平移、缩放中的至少一项数据增强处理操作，得到多个医学 图像样本对应的位图样本；
其中，数据增强是指通过一系列随机变换对原始数据进行扩充从 而提高数据量的方法。
一些实施方式中，在数据增强处理操作中，平移和缩放的随机区 间范围均为0-20％，旋转的随机区间范围为0～10°，所述预设比例为 4:1。
206、按照预设比例分别将各位图样本划分为训练集和验证集；
其中，训练集训练集是指用于模型拟合的数据样本，可用于建立 医学图像分割模型。
验证集(validation set)是指是模型训练过程中单独留出的样 本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评 估。验证集一般用于进一步确定模型中的超参数，例如正则项系数、 神经网络中隐层的节点个数，k值等，假设建立一个BP神经网络， 对于隐含层的节点数目，并没有很好的方法取确定，此时一般将节点 数设为某一具体的值，通过训练出相应的参数后，再由验证集取检测 该模型的误差；然后再改变节点数，重复上述过程，直到模型在验证 集上误差最小。此时的节点数可以认为是最优节点数。但是这只是在 验证集上的表现最优而已，事实上在调整节点数的这个过程当中，即 已经不知不觉的让调整节点数的方向往达到验证集最小误差这个目 标。
207、生成医学图像分割模型，将各位图样本的训练集输入所述 医学图像分割模型，以训练所述医学图像分割模型；
一些实施方式中，可选的，所述生成医学图像分割模型，包括：
生成一个医学图像分割框架U-Net；
将U-Net编码器和解码器中的正常的卷积层替换为密集卷积块 (Denseblock)；如图3所示的一种Denseblock结构示意图；
在每个3×3卷积之前，在所述医学图像分割模型中的 Denseblock中构建4个1×1的卷积层，各卷积层基本结构为 BN-ReLU-Conv(3×3)；
在编码器和解码器中均加入密集卷积块；
通过所述Denseblock将所述4个1×1的卷积层连接起来，每个 卷积层都加入批标准化；
在设置所述解码器的阶段，在所述解码器中添加注意力门机制， 以自动学习专注于目标结构。
可见，将U-Net编码器和解码器中的正常的卷积层替换为密集卷 积块Denseblock，这样可以缓解梯度消失问题，加强特征传播，大幅 减少参数数量。因为U-Net是一个高度对称的模型结构，通过实验证 明在编码器和解码器两侧都加入密集卷积块比只在编码器或者解码 器单侧加入更加有效。在每个3×3卷积之前引入了1×1的卷积层，以减少输入特征图的数量，从而提高计算效率。这种设计对于 DenseNet特别有效，卷积层基本结构为BN-ReLU-Conv(3×3)，本 实施例的医学图像分割模型中的Denseblock里面设计了4个卷积层 然后通过密集卷积连接起来，每个卷积层都加入了批标准化，使得模 型更加容易训练。在解码器的阶段，我们添加了注意力门机制如图3 所示，可以自动学习专注于目标结构而无需额外的监督，加入注意力 机制后的模型分割精度更加精确。
208、使用各位图样本的验证集调试所述医学图像分割模型的模 型参数，调试得到所述医学图像模型的一组最优模型参数；
需要理解的是，本发明实施例中，模型参数也可称为网络参数， 本发明实施例不对此作区分。
209、将各位图样本的训练集输入所述医学图像分割模型，以使 用各医学图像样本的验证集对进行性能测试，得到所述医学图像分割 模型的最优分割正确率
与现有机制相比，本发明实施例中，通过在深度学习模型中特征 抽取层可以有效提取出所需要的特征，可以将需要分割的目标从医学 图像中较好的分割出来，对医生诊断疾病提供准确的依据。通过引入 密集连接卷积神经模型和注意力机制，可以缓解梯度消失问题，加强 特征传播，大幅减少参数数量，并自动学会专注于目标结构而无需额 外的监督，使最后系统医学图像目标分割效果更加接近于人工手动分 割结果。
可选的，在本发明的一些实施例中，所述将各位图样本的训练集 输入所述医学图像分割模型，以训练所述医学图像分割模型；将各位 图样本的训练集输入所述医学图像分割模型，以使用各医学图像样本 的验证集对进行性能测试，得到所述医学图像分割模型的最优分割正 确率，包括：
将各位图样本的训练集分批输入所述医学图像分割模型；
利用反向传播策略，通过Adam更新所述医学图像分割模型的模 型参数；
其中，每次批量输入所述医学图像分割模型的训练集的样本数目 为4，每次训练所述医学图像分割模型的训练次数为2000次；
每次训练完后，根据各个迁移模型在所述验证集上的表现调整学 习率；最后将验证集上的效果比较，得到最优学习率。例如，最后经 过验证集上的效果比较，最优学习率为0.0001。
可选的，在本发明的一些实施例中，所述将各位图样本的训练集 输入所述医学图像分割模型，以使用各医学图像样本的验证集对进行 性能测试，得到所述医学图像分割模型的最优分割正确率，包括：
使用彩色眼底视网膜进行最终系统的测试，得到最后的系统输出 结果。实验结果表明视网膜血管分割的准确率达到了96.95％，很接 近人工手动分割结果。
上述图1至图8中任一所对应的实施例或实施方式中所提及的技 术特征也同样适用于本申请中的图9和图10所对应的实施例，后续 类似之处不再赘述。
以上对本申请中一种基于U-NET模型的分割医学图像的方法进 行说明，以下对执行上述基于U-Net模型的分割医学图像的方法的装 置进行描述。
如图9所示的一种用于分割医学图像的装置90的结构示意图， 其可应用于临床医疗分析。本申请实施例中的用于分割医学图像的装 置能够实现对应于上述图1所对应的实施例中所执行的基于U-NET 模型的分割医学图像的方法的步骤。用于分割医学图像的装置90实 现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。 硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以 是软件和/或硬件。所述用于分割医学图像的装置可包括输入输出模 块901和处理模块902，所述处理模块902和获取模块901的功能实 现可参考图1所对应的实施例中所执行的操作，此处不作赘述。所述 处理模块902可用于控制所述输入输出模块901的输入输出操作。
一些实施方式中，所述输入输出模块901，用于获取待分割的多 张图像，确定所述多张医学图像的目标分割区域；
所述处理模块902用于分别对所述多张医学图像的目标分割区 域进行医学扫描，扫描得到多个彩色医学图像样本；对各彩色医学图 像样本分别进行预处理，得到多张提取G通道后的灰色图像；对各 灰色图像分别进行去除噪声操作，根据去除噪声后的各灰色图像分别 生成一个对应的分割标签图像；对预处理后的医学图像样本和对应的 分割标签图像一起进行旋转、平移、缩放中的至少一项数据增强处理 操作，得到多个医学图像样本对应的位图样本；按照预设比例分别将 各位图样本划分为训练集和验证集；生成医学图像分割模型，通过所 述输入输出模块901将各位图样本的训练集输入所述医学图像分割 模型，以训练所述医学图像分割模型；使用各位图样本的验证集调试 所述医学图像分割模型的模型参数，调试得到所述医学图像模型的一 组最优模型参数；通过所述输入输出模块901将各位图样本的训练集 输入所述医学图像分割模型，以使用各医学图像样本的验证集对进行 性能测试，得到所述医学图像分割模型的最优分割正确率。
可选的，在数据增强处理操作中，平移和缩放的随机区间范围均 为0-20％，旋转的随机区间范围为0～10°；
所述预设比例为4:1。
可选的，所述处理模块902具体用于：
生成一个医学图像分割框架U-Net；
将U-Net编码器和解码器中的正常的卷积层替换为密集卷积块 Denseblock；
在每个3×3卷积之前，在所述医学图像分割模型中的Denseblock 中构建4个1×1的卷积层，各卷积层基本结构为BN-ReLU-Conv(3 ×3)；
在编码器和解码器中均加入密集卷积块；
通过所述Denseblock将所述4个1×1的卷积层连接起来，每个 卷积层都加入批标准化；
在设置所述解码器的阶段，在所述解码器中添加注意力门机制， 以自动学习专注于目标结构。
可选的，所述处理模块902具体用于：
通过所述输入输出模块将各位图样本的训练集分批输入所述医 学图像分割模型；
利用反向传播策略，通过Adam更新所述医学图像分割模型的模 型参数；
其中，每次批量输入所述医学图像分割模型的训练集的样本数目 为4，每次训练所述医学图像分割模型的训练次数为2000次；
每次训练完后，根据各个迁移模型在所述验证集上的表现调整学 习率；最后将验证集上的效果比较，得到最优学习率。
可选的，所述处理模块902具体用于：
使用彩色眼底视网膜进行最终系统的测试，得到最后的系统输出 结果。
上面从模块化功能实体的角度分别介绍了本申请实施例中的用 于分割医学图像的装置，以下从硬件角度介绍一种计算机设备，如图 9所示，其包括：处理器、存储器、收发器(也可以是输入输出单元， 图9中未标识出)以及存储在所述存储器中并可在所述处理器上运行 的计算机程序。例如，该计算机程序可以为图1所对应的实施例中基 于U-NET模型的分割医学图像的方法对应的程序。例如，当计算机 设备实现如图3所示的用于分割医学图像的装置90的功能时，所述 处理器执行所述计算机程序时实现上述图3所对应的实施例中由用 于分割医学图像的装置90执行的基于U-NET模型的分割医学图像的 方法中的各步骤；或者，所述处理器执行所述计算机程序时实现上述 图3所对应的实施例的用于分割医学图像的装置90中各模块的功能。 又例如，该计算机程序可以为图1所对应的实施例中基于U-NET模 型的分割医学图像的方法对应的程序。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)， 还可以是其他通用处理器、数字信号处理器(Digital Signal Processor， DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、 现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他 可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通 用处理器可以是微处理器或者该处理器也可以是任何常规的处理器 等，所述处理器是所述计算机设备的控制中心，利用各种接口和线路 连接整个计算机设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器 通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及 调用存储在存储器内的数据，实现所述计算机设备的各种功能。所述 存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存 储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图 像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据 (比如音频数据、视频数据等)等。此外，存储器可以包括高速随机 存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式 硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、 或其他易失性固态存储器件。
所述收发器也可以用接收器和发送器代替，可以为相同或者不同 的物理实体。为相同的物理实体时，可以统称为收发器。该收发器可 以为输入输出单元。
所述存储器可以集成在所述处理器中，也可以与所述处理器分开 设置。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解 到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现， 当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这 样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部 分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存 储介质(如ROM/RAM)中，包括若干指令用以使得一台终端(可以 是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所 述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局 限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而 不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离 本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡 是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或 直接或间接运用在其他相关的技术领域，这些均属于本申请的保护之 内。
Claims (10)
1.一种基于U-Net模型的分割医学图像的方法，其特征在于，所述方法包括：
获取待分割的多张图像，确定所述多张医学图像的目标分割区域；
分别对所述多张医学图像的目标分割区域进行医学扫描，扫描得到多个彩色医学图像样本；
对各彩色医学图像样本分别进行预处理，得到多张提取G通道后的灰色图像；
对各灰色图像分别进行去除噪声操作，根据去除噪声后的各灰色图像分别生成一个对应的分割标签图像；
对预处理后的医学图像样本和对应的分割标签图像一起进行旋转、平移、缩放中的至少一项数据增强处理操作，得到多个医学图像样本对应的位图样本；
按照预设比例分别将各位图样本划分为训练集和验证集；
生成医学图像分割模型，将各位图样本的训练集输入所述医学图像分割模型，以训练所述医学图像分割模型；
使用各位图样本的验证集调试所述医学图像分割模型的模型参数，调试得到所述医学图像模型的一组最优模型参数；
将各位图样本的训练集输入所述医学图像分割模型，以使用各医学图像样本的验证集对进行性能测试，得到所述医学图像分割模型的最优分割正确率。
2.根据权利要求1所述的方法，其特征在于，在数据增强处理操作中，平移和缩放的随机区间范围均为0-20％，旋转的随机区间范围为0～10°；
所述预设比例为4:1。
3.根据权利要求1所述的方法，其特征在于，所述生成医学图像分割模型，包括：
生成一个医学图像分割框架U-Net；
将U-Net编码器和解码器中的正常的卷积层替换为密集卷积块Denseblock；
在每个3×3卷积之前，在所述医学图像分割模型中的Denseblock中构建4个1×1的卷积层，各卷积层基本结构为BN-ReLU-Conv(3×3)；
在编码器和解码器中均加入密集卷积块；
通过所述Denseblock将所述4个1×1的卷积层连接起来，每个卷积层都加入批标准化；
在设置所述解码器的阶段，在所述解码器中添加注意力门机制，以自动学习专注于目标结构。
4.根据权利要求1所述的方法，其特征在于，所述将各位图样本的训练集输入所述医学图像分割模型，以训练所述医学图像分割模型；将各位图样本的训练集输入所述医学图像分割模型，以使用各医学图像样本的验证集对进行性能测试，得到所述医学图像分割模型的最优分割正确率，包括：
将各位图样本的训练集分批输入所述医学图像分割模型；
利用反向传播策略，通过Adam更新所述医学图像分割模型的模型参数；
其中，每次批量输入所述医学图像分割模型的训练集的样本数目为4，每次训练所述医学图像分割模型的训练次数为2000次；
每次训练完后，根据各个迁移模型在所述验证集上的表现调整学习率；最后将验证集上的效果比较，得到最优学习率。
5.根据权利要求1-4中任意一项所述的方法，其特征在于，所述将各位图样本的训练集输入所述医学图像分割模型，以使用各医学图像样本的验证集对进行性能测试，得到所述医学图像分割模型的最优分割正确率，包括：
使用彩色眼底视网膜进行最终系统的测试，得到最后的系统输出结果。
6.一种用于分割医学图像的装置，其特征在于，所述装置包括：
输入输出模块，用于获取待分割的多张图像，确定所述多张医学图像的目标分割区域；
处理模块，用于分别对所述多张医学图像的目标分割区域进行医学扫描，扫描得到多个彩色医学图像样本；对各彩色医学图像样本分别进行预处理，得到多张提取G通道后的灰色图像；对各灰色图像分别进行去除噪声操作，根据去除噪声后的各灰色图像分别生成一个对应的分割标签图像；对预处理后的医学图像样本和对应的分割标签图像一起进行旋转、平移、缩放中的至少一项数据增强处理操作，得到多个医学图像样本对应的位图样本；按照预设比例分别将各位图样本划分为训练集和验证集；生成医学图像分割模型，通过所述输入输出模块将各位图样本的训练集输入所述医学图像分割模型，以训练所述医学图像分割模型；使用各位图样本的验证集调试所述医学图像分割模型的模型参数，调试得到所述医学图像模型的一组最优模型参数；通过所述输入输出模块将各位图样本的训练集输入所述医学图像分割模型，以使用各医学图像样本的验证集对进行性能测试，得到所述医学图像分割模型的最优分割正确率。
7.根据权利要求6所述的装置，其特征在于，所述处理模块具体用于：
生成一个医学图像分割框架U-Net；
将U-Net编码器和解码器中的正常的卷积层替换为密集卷积块Denseblock；
在每个3×3卷积之前，在所述医学图像分割模型中的Denseblock中构建4个1×1的卷积层，各卷积层基本结构为BN-ReLU-Conv(3×3)；
在编码器和解码器中均加入密集卷积块；
通过所述Denseblock将所述4个1×1的卷积层连接起来，每个卷积层都加入批标准化；
在设置所述解码器的阶段，在所述解码器中添加注意力门机制，以自动学习专注于目标结构。
8.根据权利要求6所述的装置，其特征在于，所述处理模块具体用于：
通过所述输入输出模块将各位图样本的训练集分批输入所述医学图像分割模型；
利用反向传播策略，通过Adam更新所述医学图像分割模型的模型参数；
其中，每次批量输入所述医学图像分割模型的训练集的样本数目为4，每次训练所述医学图像分割模型的训练次数为2000次；
每次训练完后，根据各个迁移模型在所述验证集上的表现调整学习率；最后将验证集上的效果比较，得到最优学习率。
9.一种计算机设备，其特征在于，所述设备包括：
至少一个处理器、存储器和收发器；
其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中存储的程序代码来执行如权利要求1-5中任一项所述的方法。
10.一种计算机存储介质，其特征在于，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910421479.9A CN110136147A (zh) | 2019-05-21 | 2019-05-21 | 一种基于U-Net模型的分割医学图像的方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910421479.9A CN110136147A (zh) | 2019-05-21 | 2019-05-21 | 一种基于U-Net模型的分割医学图像的方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110136147A true CN110136147A (zh) | 2019-08-16 |
Family
ID=67571791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910421479.9A Pending CN110136147A (zh) | 2019-05-21 | 2019-05-21 | 一种基于U-Net模型的分割医学图像的方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110136147A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110648344A (zh) * | 2019-09-12 | 2020-01-03 | 电子科技大学 | 一种基于局部病灶特征的糖尿病视网膜病变分类装置 |
| CN111429452A (zh) * | 2020-04-15 | 2020-07-17 | 深圳市嘉骏实业有限公司 | 基于UNet卷积神经网络的膀胱超声图像分割方法及装置 |
| CN111429464A (zh) * | 2020-03-11 | 2020-07-17 | 深圳先进技术研究院 | 医学图像分割方法、医学图像分割装置及终端设备 |
| CN112348794A (zh) * | 2020-11-05 | 2021-02-09 | 南京天智信科技有限公司 | 基于注意力增强u型网络的超声乳腺肿瘤自动分割方法 |
| CN112767403A (zh) * | 2021-01-08 | 2021-05-07 | 广东中科天机医疗装备有限公司 | 医学影像分割模型训练方法、医学影像分割方法及装置 |
| CN113205528A (zh) * | 2021-04-02 | 2021-08-03 | 上海慧虎信息科技有限公司 | 医学影像分割模型训练方法、分割方法及装置 |
| CN113269772A (zh) * | 2021-06-08 | 2021-08-17 | 泰康保险集团股份有限公司 | 一种图像分割方法和装置 |
| CN113487588A (zh) * | 2020-03-02 | 2021-10-08 | 博动医学影像科技（上海）有限公司 | 冠状动脉的血流速度的计算方法、装置及电子设备 |
| CN114331902A (zh) * | 2021-12-31 | 2022-04-12 | 英特灵达信息技术(深圳)有限公司 | 一种降噪方法、装置、电子设备及介质 |
| CN114882218A (zh) * | 2022-04-28 | 2022-08-09 | 桂林理工大学 | 一种基于嵌入残差卷积和注意力模块的u型糖尿病视网膜渗出物分割算法 |
| WO2022247173A1 (zh) * | 2021-05-26 | 2022-12-01 | 北京长木谷医疗科技有限公司 | 图像识别及模型训练的方法、关节位置识别的方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170277981A1 (en) * | 2016-01-08 | 2017-09-28 | Siemens Healthcare Gmbh | Deep Image-to-Image Network Learning for Medical Image Analysis |
| CN108986124A (zh) * | 2018-06-20 | 2018-12-11 | 天津大学 | 结合多尺度特征卷积神经网络视网膜血管图像分割方法 |
| CN109165550A (zh) * | 2018-07-13 | 2019-01-08 | 首都师范大学 | 一种基于无监督深度学习的多模态手术轨迹快速分割方法 |
| CN109359695A (zh) * | 2018-10-26 | 2019-02-19 | 东莞理工学院 | 一种基于深度学习的计算机视觉0-o识别方法 |
| CN109448006A (zh) * | 2018-11-01 | 2019-03-08 | 江西理工大学 | 一种注意力机制u型密集连接视网膜血管分割方法 |
| CN109658399A (zh) * | 2018-12-13 | 2019-04-19 | 深圳先进技术研究院 | 一种头颈斑块图像识别方法及装置 |
| CN109685813A (zh) * | 2018-12-27 | 2019-04-26 | 江西理工大学 | 一种自适应尺度信息的u型视网膜血管分割方法 |
-
2019
- 2019-05-21 CN CN201910421479.9A patent/CN110136147A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170277981A1 (en) * | 2016-01-08 | 2017-09-28 | Siemens Healthcare Gmbh | Deep Image-to-Image Network Learning for Medical Image Analysis |
| CN108986124A (zh) * | 2018-06-20 | 2018-12-11 | 天津大学 | 结合多尺度特征卷积神经网络视网膜血管图像分割方法 |
| CN109165550A (zh) * | 2018-07-13 | 2019-01-08 | 首都师范大学 | 一种基于无监督深度学习的多模态手术轨迹快速分割方法 |
| CN109359695A (zh) * | 2018-10-26 | 2019-02-19 | 东莞理工学院 | 一种基于深度学习的计算机视觉0-o识别方法 |
| CN109448006A (zh) * | 2018-11-01 | 2019-03-08 | 江西理工大学 | 一种注意力机制u型密集连接视网膜血管分割方法 |
| CN109658399A (zh) * | 2018-12-13 | 2019-04-19 | 深圳先进技术研究院 | 一种头颈斑块图像识别方法及装置 |
| CN109685813A (zh) * | 2018-12-27 | 2019-04-26 | 江西理工大学 | 一种自适应尺度信息的u型视网膜血管分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| CONG WU等: "DA-U-Net: Densely Connected Convolutional Networks and Decoder with Attention Gate for Retinal Vessel Segmentation", 《IOP CONFERENCE SERIES: MATERIALS SCIENCE AND ENGINEERING》 * |
| 林金朝等: "基于深度学习的医学图像处理研究进展", 《生命科学仪器》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110648344B (zh) * | 2019-09-12 | 2023-01-17 | 电子科技大学 | 一种基于局部病灶特征的糖尿病视网膜病变分类装置 |
| CN110648344A (zh) * | 2019-09-12 | 2020-01-03 | 电子科技大学 | 一种基于局部病灶特征的糖尿病视网膜病变分类装置 |
| CN113487588B (zh) * | 2020-03-02 | 2024-03-22 | 上海博动医疗科技股份有限公司 | 冠状动脉的血流速度的计算方法、装置及电子设备 |
| CN113487588A (zh) * | 2020-03-02 | 2021-10-08 | 博动医学影像科技（上海）有限公司 | 冠状动脉的血流速度的计算方法、装置及电子设备 |
| CN111429464A (zh) * | 2020-03-11 | 2020-07-17 | 深圳先进技术研究院 | 医学图像分割方法、医学图像分割装置及终端设备 |
| CN111429464B (zh) * | 2020-03-11 | 2023-04-25 | 深圳先进技术研究院 | 医学图像分割方法、医学图像分割装置及终端设备 |
| CN111429452A (zh) * | 2020-04-15 | 2020-07-17 | 深圳市嘉骏实业有限公司 | 基于UNet卷积神经网络的膀胱超声图像分割方法及装置 |
| CN112348794A (zh) * | 2020-11-05 | 2021-02-09 | 南京天智信科技有限公司 | 基于注意力增强u型网络的超声乳腺肿瘤自动分割方法 |
| CN112767403A (zh) * | 2021-01-08 | 2021-05-07 | 广东中科天机医疗装备有限公司 | 医学影像分割模型训练方法、医学影像分割方法及装置 |
| CN113205528B (zh) * | 2021-04-02 | 2023-07-07 | 上海慧虎信息科技有限公司 | 医学影像分割模型训练方法、分割方法及装置 |
| CN113205528A (zh) * | 2021-04-02 | 2021-08-03 | 上海慧虎信息科技有限公司 | 医学影像分割模型训练方法、分割方法及装置 |
| WO2022247173A1 (zh) * | 2021-05-26 | 2022-12-01 | 北京长木谷医疗科技有限公司 | 图像识别及模型训练的方法、关节位置识别的方法 |
| CN113269772A (zh) * | 2021-06-08 | 2021-08-17 | 泰康保险集团股份有限公司 | 一种图像分割方法和装置 |
| CN114331902A (zh) * | 2021-12-31 | 2022-04-12 | 英特灵达信息技术(深圳)有限公司 | 一种降噪方法、装置、电子设备及介质 |
| WO2023125440A1 (zh) * | 2021-12-31 | 2023-07-06 | 英特灵达信息技术(深圳)有限公司 | 一种降噪方法、装置、电子设备及介质 |
| CN114882218A (zh) * | 2022-04-28 | 2022-08-09 | 桂林理工大学 | 一种基于嵌入残差卷积和注意力模块的u型糖尿病视网膜渗出物分割算法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110136147A (zh) | 一种基于U-Net模型的分割医学图像的方法、装置及存储介质 | |
| CN110097559B (zh) | 基于深度学习的眼底图像病灶区域标注方法 | |
| CN111507381B (zh) | 图像识别方法及相关装置、设备 | |
| WO2020147263A1 (zh) | 一种评估眼底图像质量的方法、装置及存储介质 | |
| CN109741346A (zh) | 感兴趣区域提取方法、装置、设备及存储介质 | |
| CN111862044B (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
| CN110197493A (zh) | 眼底图像血管分割方法 | |
| CN108765387A (zh) | 基于Faster RCNN乳腺DBT影像肿块自动检测方法 | |
| CN109671076A (zh) | 血管分割方法、装置、电子设备及存储介质 | |
| CN110363760B (zh) | 用于识别医学图像的计算机系统 | |
| CN110047082A (zh) | 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统 | |
| CN108765392B (zh) | 一种基于滑动窗口的消化道内镜病变检测和识别方法 | |
| CN110781976B (zh) | 训练图像的扩充方法、训练方法及相关装置 | |
| CN109801272A (zh) | 肝脏肿瘤自动分割定位方法、系统及存储介质 | |
| CN110197474A (zh) | 图像处理方法和装置及神经网络模型的训练方法 | |
| CN111524144A (zh) | 一种基于GAN和Unet网络的肺结节智能诊断方法 | |
| CN110443254A (zh) | 图像中金属区域的检测方法、装置、设备和存储介质 | |
| CN109919912A (zh) | 一种医学影像的质量评价方法和装置 | |
| CN112820399A (zh) | 自动诊断甲状腺结节良恶性的方法及装置 | |
| CN110047075A (zh) | 一种基于对抗网络的ct图像分割方法 | |
| CN111369546B (zh) | 一种颈部淋巴结图像分类识别装置及方法 | |
| CN113658165A (zh) | 杯盘比确定方法、装置、设备及存储介质 | |
| Cai et al. | Identifying architectural distortion in mammogram images via a se-densenet model and twice transfer learning | |
| JP2008198078A (ja) | 画像検出装置 | |
| Zhao et al. | Attractive deep morphology-aware active contour network for vertebral body contour extraction with extensions to heterogeneous and semi-supervised scenarios |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190816 |
|
| RJ01 | Rejection of invention patent application after publication |