CN112150428B - 一种基于深度学习的医学图像分割方法 - Google Patents
一种基于深度学习的医学图像分割方法 Download PDFInfo
- Publication number
- CN112150428B CN112150428B CN202010983480.3A CN202010983480A CN112150428B CN 112150428 B CN112150428 B CN 112150428B CN 202010983480 A CN202010983480 A CN 202010983480A CN 112150428 B CN112150428 B CN 112150428B
- Authority
- CN
- China
- Prior art keywords
- convolution
- branch
- image
- module
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000003709 image segmentation Methods 0.000 title claims abstract description 23
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 12
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims description 44
- 238000010586 diagram Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 9
- 230000001427 coherent effect Effects 0.000 abstract description 5
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 208000037062 Polyps Diseases 0.000 description 11
- 230000037380 skin damage Effects 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 6
- 210000003855 cell nucleus Anatomy 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 210000004072 lung Anatomy 0.000 description 4
- 208000003174 Brain Neoplasms Diseases 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像分割技术领域,涉及一种基于深度学习的医学图像分割方法,先在编码器和解码器阶段使用新型的卷积模块,其次再设计一个包含注意力机制的残差瓶颈结构,用在跳层连接上,一方面减少编码器和解码器之间的语义差异,另一方面是使得神经网络在训练过程中能更加注意要分割的目标区域,从而能够提取更加精细的语义特征;其方法简单,能够更好的识别模糊的边界,分割出来的图像效果更加连贯,抵抗噪声干扰能力强,具有很强的泛化能力。
Description
技术领域:
本发明属于图像分割技术领域,涉及一种基于深度学习的医学图像分割方法,利用深度学习技术做医学图像分割的方法。
背景技术:
在图像分割领域的早期,大都是基于图论或者是像素聚类的方法,也诞生了很多经典的算法诸如K-Means算法。在医学图像方面,往往都是基于边缘检测和模版匹配的,比如利用Hough变换进行视盘分割。然而,医学图像通常来源于不同的成像技术,例如计算机断层扫描(CT),X-ray,和磁共振成像(MRI),所以当对大量数据进行测试时,这些方法未能保持健壮性。深度学习技术出现以后,便在一定程度上解决了传统图像分割方法中语义信息缺失的问题,而且单个模型也可以有效的应用于不同的医学成像方式。目前在这一领域,U-Net是最受欢迎也是最为经典的架构。但是,连续的池化操作可能会导致某些空间信息的丢失,而且卷积层中的卷积核尺度过于单一,无法提取更加精细的语义特征,这使得U-Net在一些实际的医学图像分割场景中,容易受到噪声的干扰,从而忽略一些细节部分,例如CN201910158251.5公开了一种基于深度学习的脑瘤医学图像分割方法,包括训练分割模型、接收待分割的脑瘤医学图像数据信息、对接收的待分割脑瘤医学图像数据信息进行分割处理和输出分割结果四个过程;CN201810852143.3公开了一种基于深度学习的图像分割方法,包括步骤a:对原始图像进行归一化处理,步骤b:将所述归一化后的图像输入ResUNet网络模型,所述ResUNet网络模型提取输入图像中包含全局语义信息的特征图,并对所述特征图进行上采样及特征图堆叠处理,得到最终的特征图,步骤c:对所述上采样及堆叠处理后的特征图进行逐像素分类,并输出图像分割结果;CN201910521449.5公开了一种基于深度学习的肺部组织图像分割方法,通过改进的Deeplabv3+的深度学习方法来实现对X光胸片肺部组织的分割,将X光胸片图像输入到分割模型中,其中,该分割模型使用多组训练数据训练得到,所述多组训练数据中的每一组训练数据均包括:X光胸片图像和对应用来标识肺部组织的金标准;获取所述模型的输出信息,其中,所述输出信息包括所述X光胸片图像中肺部组织的分割结果;CN201911355349.6公开了一种基于深度学习神经网络的肝脏CT图像分割方法及装置,所述方法包括:构建基于密集卷积网络DenseNet和U型网络Unet的U型DenseNet二维2D网络及U型DenseNet三维3D网络;基于自动上下文auto-context方法,将U型DenseNet 3D网络集成到U型DenseNet 2D网络中,获取U型DenseNet混合网络并进行深度学习训练;通过训练好的U型DenseNet混合网络对肝脏CT图像进行分割。因此,迫切需要设计一种新型的图像分割技术。
发明内容:
本发明的目的在于克服现有技术存在的缺点,寻求设计提供一种基于深度学习的新型图像分割方法,先在编码器和解码器阶段使用新型的卷积模块,其次再设计一个包含注意力机制的残差瓶颈结构,用在跳层连接上,一方面减少编码器和解码器之间的语义差异,另一方面是使得神经网络在训练过程中能更加注意要分割的目标区域,从而能够提取更加精细的语义特征。
为了实现发明目的,本发明实现医学图像分割的具体过程为:
(1)获取医学图像,数量要求15张以上,每一张医学图像均配有一张分割掩码,用作模型训练时使用的标签图像,并对原始的医学图像和标签图像进行预处理,调整分辨率使其图像的宽为256,高为192;
(2)构建多尺度语义卷积模块MS Block,多尺度语义卷积模块MS Block包含四个分支,第一个分支为3x3的卷积,第二个分支为连续两个3x3的卷积,用以替代一个5x5的卷积,以达到相同的感受野,第三个分支有3个3x3的卷积,与7x7的卷积核的感受野的相同,第一、二、三个分支均有一个附带1x1卷积的残差边,用于弥补池化过程中丢失的部分语义信息;第四个分支为一个1x1大小的卷积核;
(3)多尺度语义卷积模块MS Block的第一分支、第二分支、第三分支、第四分支将输入图像进行处理得到相应的特征图,假设输入图像的通道数是W,则第一个分支的卷积核个数为第二个分支的卷积核个数为第三个分支的卷积核个数为将第一、二、三个分支的特征图在通道的方向直接合并在一起拼接起来得到的通道数为W的新特征图,然后将新特征图与第四个分支的特征图的对应像素点做逐点加法运算,得到多尺度语义卷积模块MS Block的输出图D;
(4)建立由残差瓶颈模块和注意力机制模块组成的RB Attention结构,将步骤(3)得到的输出图D进行以下两步操作:一是依次传递到下一个卷积模块中,其中在编码器阶段,经过池化操作后再输入到下一个卷积模块中,在解码器阶段时,经过上采样操作后再输入到下一个卷积模块中;二是从编码器直接输入到RB Attention结构中的残差瓶颈模块Residual Bottleneck Block,残差瓶颈模块先用1x1的卷积将输出图D进行升维扩张t倍,再用3x3的卷积核进行普通的卷积操作实现语义特征的提取,然后用1x1的卷积降维调整通道数与输出图D相同,最后与步骤(3)得到的输出图D进行对应像素点上的逐点加法运算,实现残差连接,最后得到输出特征图M,其中t根据网络层数确定;
(5)将输出特征图M与相应的解码器端下一层的上采样结果一起输入到RBAttention结构中的注意力机制模块中,注意力机制模块输出二维的注意力系数矩阵θ,矩阵的大小跟特征图M的分辨率一致,其中在目标区域内的值趋近1,不相关的区域趋近0,最后将输出特征图M中每一个通道上的像素点都与注意力系数矩阵θ对应位置处的系数相乘在一起,得到的输出结果图,完成医学图像的分割。
本发明步骤(2)中,若输入图像输入到第一个卷积模块MS Block1,则输入图像为经过预处理后的原始医学图像,在其余的卷积模块中,输入图像为经过上一个卷积模块输出的卷积结果。
本发明与现有技术相比,其方法简单,能够更好的识别模糊的边界,分割出来的图像效果更加连贯,抵抗噪声干扰能力强,具有很强的泛化能力。
附图说明:
图1为本发明涉及的多尺度语义卷积模块MS Block结构示意图。
图2为本发明涉及的带注意力机制的残差瓶颈结构RB Attention结构示意图。
图3为本发明涉及的注意力机制内部的具体结构示意图。
图4为本发明涉及的医学图像分割模型总体结构示意图。
图5为本发明涉及的结肠镜内镜息肉图像分割结果对比示意图,(a)是原始的结肠镜内镜息肉图像,(b)是相应的标签图像,(c)是U-Net模型分割出来的结果,(d)是Attention U-Net分割出来的结果,(e)是Attention R2U-Net分割出来的结果,(f)是本发明技术方案分割出来的结果。
图6为本发明涉及的皮肤镜图像分割结果对比示意图,(a)是原始的皮肤镜图像,(b)是相应的标签图像,(c)是U-Net模型分割出来的结果,(d)是Attention U-Net分割出来的结果,(e)是Attention R2U-Net分割出来的结果,(f)是本发明技术方案分割出来的结果。
图7为本发明涉及的皮肤镜图像分割结果对比示意图,(a)是原始的皮肤镜图像,(b)是相应的标签图像,(c)是U-Net模型分割出来的结果,(d)是Attention U-Net分割出来的结果,(e)是Attention R2U-Net分割出来的结果,(f)是本发明技术方案分割出来的结果。
图8为本发明涉及的结肠镜内镜息肉图像分割结果对比示意图,(a)是原始的结肠镜内镜息肉图像,(b)是相应的标签图像,(c)是U-Net模型分割出来的结果,(d)是Attention U-Net分割出来的结果,(e)是Attention R2U-Net分割出来的结果,(f)是本发明技术方案分割出来的结果。
图9为本发明涉及的细胞核图像分割结果对比示意图,(a)是原始的细胞核图像,(b)是相应的标签图像,(c)是U-Net模型分割出来的结果,(d)是Attention U-Net分割出来的结果,(e)是Attention R2U-Net分割出来的结果,(f)是本发明技术方案分割出来的结果。
具体实施方式:
下面通过实施例并结合附图对本发明作进一步说明。
实施例1:
本实施例实现医学图像分割的具体过程为:
(2)获取医学图像,数量要求15张以上,每一张医学图像均配有一张分割掩码,用作模型训练时使用的标签图像,并对原始的医学图像和标签图像进行预处理,调整分辨率使其图像的宽为256,高为192;
(2)构建多尺度语义卷积模块MS Block,多尺度语义卷积模块MS Block包含四个分支,第一个分支为3x3的卷积,第二个分支为连续两个3x3的卷积,用以替代一个5x5的卷积,以达到相同的感受野,第三个分支有3个3x3的卷积,与7x7的卷积核的感受野的相同,第一、二、三个分支均有一个附带1x1卷积的残差边,用于弥补池化过程中丢失的部分语义信息;第四个分支为一个1x1大小的卷积核;
(3)多尺度语义卷积模块MS Block的第一分支、第二分支、第三分支、第四分支将输入图像进行处理得到相应的特征图,假设输入图像的通道数是W,则第一个分支的卷积核个数为第二个分支的卷积核个数为第三个分支的卷积核个数为将第一、二、三个分支的特征图在通道的方向直接合并在一起拼接起来得到的通道数为W的新特征图,然后将新特征图与第四个分支的特征图的对应像素点做逐点加法运算,得到多尺度语义卷积模块MS Block的输出图D;
(4)建立由残差瓶颈模块和注意力机制模块组成的RB Attention结构,将步骤(3)得到的输出图D进行以下两步操作:一是依次传递到下一个卷积模块中,其中在编码器阶段,经过池化操作后再输入到下一个卷积模块中,在解码器阶段时,经过上采样操作后再输入到下一个卷积模块中;二是从编码器直接输入到RB Attention结构中的残差瓶颈模块Residual Bottleneck Block,残差瓶颈模块先用1x1的卷积将输出图D进行升维扩张t倍,再用3x3的卷积核进行普通的卷积操作实现语义特征的提取,然后用1x1的卷积降维调整通道数与输出图D相同,最后与步骤(3)得到的输出图D进行对应像素点上的逐点加法运算,实现残差连接,最后得到输出特征图M,其中t根据网络层数确定;
(5)将输出特征图M与相应的解码器端下一层的上采样结果一起输入到RBAttention结构中的注意力机制模块中,注意力机制模块输出二维的注意力系数矩阵θ,矩阵的大小跟特征图M的分辨率一致,其中在目标区域内的值趋近1,不相关的区域趋近0,最后将输出特征图M中每一个通道上的像素点都与注意力系数矩阵θ对应位置处的系数相乘在一起,得到的输出结果图,完成医学图像的分割。
本实施例步骤(2)中,若输入图像输入到第一个卷积模块MS Block1,则输入图像为经过预处理后的原始医学图像,在其余的卷积模块中,输入图像为经过上一个卷积模块输出的卷积结果。
实施例2:
本实施例采用实施例1的技术方案,使用Keras作为深度学习框架。实验环境是Ubuntu 18.04,NVIDIA RTX 2080Ti(12GB,1.545GHZ)GPU,网络层数为9层,在MS Block1和MS Block9之间的第一层网络里,t=4,也就是用1x1的卷积使通道数扩张4倍,由于在第一层网络里,编码器和解码器之间的语义间隙最大,加入的非线性变换该最多,以此类推,从网络的第二层到第四层,依次设置t=3,2,1,以网络结构的第一层为例,从MS Block1输出的特征图经过RB Attention结构后,再与MS Block8上采样后的特征图直接拼接在一起,最后一起输入到MS Block9中,本实施例与现有U-Net结构中每一层的通道数保持一致,从MSBlock1到MS Block5,卷积核的数量分别为64,128,256,512,1024;从MS Block5到MSBlock9,卷积核的数量分别为1024,512,256,128,64,具体对比结果如下:
(1)对没有清晰边界的结肠镜内镜息肉图像采用不同模型进行分割,其结果如图5所示,由图5可以看出,U-Net完全失效,无法识别出前景图像的像素点。Attention U-Net和Attention R2U-Net也显得有些吃力,并没有表现出很好的分割效果,本实施例相比于其他三种模型来说,效果有着显著的提高,以Jaccard=0.9021分割出了大部分前景图像像素点。
(2)对有着清晰边界的皮肤图像和结肠镜内镜息肉图像采用不同模型进行分割,其结果分别如图6、7和8所示,由附图可以看出,本实施例分割出来的效果也更加的连贯,并且更能抵抗噪声的干扰;如图6所示,在皮肤镜图像上,有一部分皮损看起来和背景区域相同,即使是专业的人员,也很难对其进行分类,在这种情况下,U-Net便错误的将其分割成了两部分,忽略了中间的皮损区域,而且还可以看出,在U-Net分割出来的两片前景图像中,也有部分像素点被错误的识别为背景图像,因此U-Net不具有强鲁棒性,在背景区域有着比较强的噪声干扰下,U-Net很容易就会将其进行错误的分类,这是由于U-Net提取的特征太过于单一,无法做到像我们的MS Block块一样,组合了不同大小的卷积核来提取多尺度的空间特征;Attention U-Net和Attention R2U-Net,因为引入了注意力机制,所以相比于U-Net来说,分割性能有所提升,表现在分割出来的前景图像的边界更加的连贯,但是也依旧没有将中间的皮损区域的像素点进行正确的分类,本实施例的分割效果是最连贯、受到噪声干扰最小的。在图7中,皮损区域与背景区域差别较大,也没有强噪声点,但是在这种情况下,U-Net和其他两种模型的分割效果也不是那么的连贯,本实施例分割效果是最好的;类似的情况也发生在其他数据集中,比如图8的结肠镜内镜息肉图像,病变的息肉组织相比于其他图像中的息肉组织来说,形状有些怪异,其他三种模型都没有将息肉区域的大体轮廓正确的分割出来,本实施例以Jaccard系数为0.9566的精度,正确的将息肉的大体轮廓分割开来,分割效果也是最连贯的,而且连一些容易错过的小细节也没有放过。
(3)对细胞核图像进行分割,其结果如图9所示,结果显示本实施例的技术方案拥有更强的泛化能力,在细胞核数据集下,有些图像中的细胞核非常的小,只占整张图像的一小部分,而且分布的比较凌乱,在这种情况下,其他三个模型的表现很差,只有本实施例成功的将大部分的细胞核识别出来。
本实施例使用二元交叉熵损失函数,选择了Jaccard作为评估模型好坏的指标,并使用Adam优化器来最小化损失函数,结合了AdaGrad和RMSProp的优点,能基于训练数据迭代的更新神经网络的权重,所有的数据集都基于此优化器训练150个轮次。
本实施例为了得到更加准确的实验数据,使用了交叉验证,所有的数据集都被划分为80%作为训练集,20%作为测试集,使用5折交叉验证,本实施例中所有模型在所有数据集上测试评估结果都是基于5折交叉验证下的,在每一次运行中,记录在验证集下得到的最好结果,运行五次之后组合起来为最终结果。
Claims (2)
1.一种基于深度学习的医学图像分割方法,其特征在于实现医学图像分割的具体过程为:
(1)获取医学图像,数量要求15张以上,每一张医学图像均配有一张分割掩码,用作模型训练时使用的标签图像,并对原始的医学图像和标签图像进行预处理,调整分辨率使其图像的宽为256,高为192;
(2)构建多尺度语义卷积模块MS Block,多尺度语义卷积模块MS Block包含四个分支,第一个分支为3x3的卷积,第二个分支为连续两个3x3的卷积,用以替代一个5x5的卷积,以达到相同的感受野,第三个分支有3个3x3的卷积,与7x7的卷积核的感受野相同,第一、二、三个分支均有一个附带1x1卷积的残差边,用于弥补池化过程中丢失的部分语义信息;第四个分支为一个1x1大小的卷积;
(3)多尺度语义卷积模块MS Block的第一分支、第二分支、第三分支、第四分支将输入图像进行处理得到相应的特征图,假设输入图像的通道数是W,则第一个分支的卷积核个数为第二个分支的卷积核个数为第三个分支的卷积核个数为将第一、二、三个分支的特征图在通道的方向直接合并在一起拼接起来得到的通道数为W的新特征图,然后将新特征图与第四个分支的特征图的对应像素点做逐点加法运算,得到多尺度语义卷积模块MSBlock的输出图D;
(4)建立由残差瓶颈模块和注意力机制模块组成的RB Attention结构,将步骤(3)得到的输出图D进行以下两步操作:一是依次传递到下一个卷积模块中,其中在编码器阶段,经过池化操作后再输入到下一个卷积模块中,在解码器阶段时,经过上采样操作后再输入到下一个卷积模块中;二是从编码器直接输入到RB Attention结构中的残差瓶颈模块Residual Bottleneck Block,残差瓶颈模块先用1x1的卷积将输出图D进行升维扩张t倍,再用3x3的卷积核进行普通的卷积操作实现语义特征的提取,然后用1x1的卷积降维调整通道数与输出图D相同,最后与步骤(3)得到的输出图D进行对应像素点上的逐点加法运算,实现残差连接,最后得到输出特征图M,其中t根据网络层数确定;
(5)将输出特征图M与相应的解码器端下一层的上采样结果一起输入到RB Attention结构中的注意力机制模块中,注意力机制模块输出二维的注意力系数矩阵θ,矩阵的大小跟特征图M的分辨率一致,其中在目标区域内的值趋近1,不相关的区域趋近0,最后将输出特征图M中每一个通道上的像素点都与注意力系数矩阵θ对应位置处的系数相乘在一起,得到输出结果图,完成医学图像的分割。
2.根据权利要求1所述基于深度学习的医学图像分割方法,其特征在于所述步骤(2)中,若输入图像输入到第一个卷积模块MS Block1,则输入图像为经过预处理后的原始医学图像,在其余的卷积模块中,输入图像为经过上一个卷积模块输出的卷积结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010983480.3A CN112150428B (zh) | 2020-09-18 | 2020-09-18 | 一种基于深度学习的医学图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010983480.3A CN112150428B (zh) | 2020-09-18 | 2020-09-18 | 一种基于深度学习的医学图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112150428A CN112150428A (zh) | 2020-12-29 |
CN112150428B true CN112150428B (zh) | 2022-12-02 |
Family
ID=73893111
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010983480.3A Expired - Fee Related CN112150428B (zh) | 2020-09-18 | 2020-09-18 | 一种基于深度学习的医学图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112150428B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112766332A (zh) * | 2021-01-08 | 2021-05-07 | 广东中科天机医疗装备有限公司 | 医学影像检测模型训练方法、医学影像检测方法及装置 |
CN112767403A (zh) * | 2021-01-08 | 2021-05-07 | 广东中科天机医疗装备有限公司 | 医学影像分割模型训练方法、医学影像分割方法及装置 |
CN112767502B (zh) * | 2021-01-08 | 2023-04-07 | 广东中科天机医疗装备有限公司 | 基于医学影像模型的影像处理方法及装置 |
CN112819831B (zh) * | 2021-01-29 | 2024-04-19 | 北京小白世纪网络科技有限公司 | 基于卷积Lstm及多模型融合的分割模型生成方法及装置 |
CN112991263B (zh) * | 2021-02-06 | 2022-07-22 | 杭州迪英加科技有限公司 | 用于提升pd-l1免疫组化病理切片tps计算准确度的方法及设备 |
CN113065551B (zh) * | 2021-03-19 | 2023-08-08 | 杭州迪英加科技有限公司 | 利用深度神经网络模型执行图像分割的方法 |
CN113487622B (zh) * | 2021-05-25 | 2023-10-31 | 中国科学院自动化研究所 | 头颈部器官影像分割方法、装置、电子设备和存储介质 |
CN113379773B (zh) * | 2021-05-28 | 2023-04-28 | 陕西大智慧医疗科技股份有限公司 | 基于双重注意力机制的分割模型建立、分割方法及装置 |
CN113344933B (zh) * | 2021-06-01 | 2022-05-03 | 电子科技大学 | 一种基于多层次特征融合网络的腺体细胞分割方法 |
CN113658201B (zh) * | 2021-08-02 | 2022-07-29 | 天津大学 | 基于增强型多尺度特征的深度学习结直肠癌息肉分割装置 |
CN113920129A (zh) * | 2021-09-16 | 2022-01-11 | 电子科技大学长三角研究院(衢州) | 基于多尺度和全局上下文信息的医学图像分割方法和装置 |
CN113674281B (zh) * | 2021-10-25 | 2022-02-22 | 之江实验室 | 一种基于深度形状学习的肝脏ct自动分割方法 |
CN114066866B (zh) * | 2021-11-23 | 2024-04-26 | 湖南科技大学 | 一种基于深度学习的医学图像自动分割方法 |
CN114140731B (zh) * | 2021-12-08 | 2023-04-25 | 西南交通大学 | 一种牵引变电所异常检测方法 |
CN114419318B (zh) * | 2022-01-18 | 2024-07-19 | 北京工业大学 | 基于深度学习的医学图像分割方法 |
CN114612408B (zh) * | 2022-03-04 | 2023-06-06 | 拓微摹心数据科技(南京)有限公司 | 一种基于联邦深度学习的心脏图像处理方法 |
CN114821510B (zh) * | 2022-05-26 | 2024-06-14 | 重庆长安汽车股份有限公司 | 基于改进U-Net网络的车道线检测方法及装置 |
CN116228788B (zh) * | 2022-12-16 | 2023-11-21 | 东莞理工学院 | 一种医学图像分割的分割方法、装置、终端及存储介质 |
CN118552736A (zh) * | 2024-07-25 | 2024-08-27 | 真健康(广东横琴)医疗科技有限公司 | 一种医学图像分割方法及设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110060245A (zh) * | 2019-04-15 | 2019-07-26 | 青岛大学 | 一种基于深度神经网络的胃癌淋巴结染色病理图像自动识别方法 |
CN110189334A (zh) * | 2019-05-28 | 2019-08-30 | 南京邮电大学 | 基于注意力机制的残差型全卷积神经网络的医学图像分割方法 |
CN111127493A (zh) * | 2019-11-12 | 2020-05-08 | 中国矿业大学 | 基于注意力多尺度特征融合的遥感图像语义分割方法 |
CN111145170A (zh) * | 2019-12-31 | 2020-05-12 | 电子科技大学 | 一种基于深度学习的医学影像分割方法 |
CN111311592A (zh) * | 2020-03-13 | 2020-06-19 | 中南大学 | 一种基于深度学习的三维医学图像自动分割方法 |
CN111415361A (zh) * | 2020-03-31 | 2020-07-14 | 浙江大学 | 基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111091524A (zh) * | 2018-10-08 | 2020-05-01 | 天津工业大学 | 基于深度卷积神经网络的前列腺经直肠超声图像分割方法 |
CN110866489B (zh) * | 2019-11-07 | 2020-12-04 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、设备及存储介质 |
CN111161273B (zh) * | 2019-12-31 | 2023-03-21 | 电子科技大学 | 一种基于深度学习的医学超声图像分割方法 |
-
2020
- 2020-09-18 CN CN202010983480.3A patent/CN112150428B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110060245A (zh) * | 2019-04-15 | 2019-07-26 | 青岛大学 | 一种基于深度神经网络的胃癌淋巴结染色病理图像自动识别方法 |
CN110189334A (zh) * | 2019-05-28 | 2019-08-30 | 南京邮电大学 | 基于注意力机制的残差型全卷积神经网络的医学图像分割方法 |
CN111127493A (zh) * | 2019-11-12 | 2020-05-08 | 中国矿业大学 | 基于注意力多尺度特征融合的遥感图像语义分割方法 |
CN111145170A (zh) * | 2019-12-31 | 2020-05-12 | 电子科技大学 | 一种基于深度学习的医学影像分割方法 |
CN111311592A (zh) * | 2020-03-13 | 2020-06-19 | 中南大学 | 一种基于深度学习的三维医学图像自动分割方法 |
CN111415361A (zh) * | 2020-03-31 | 2020-07-14 | 浙江大学 | 基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置 |
Non-Patent Citations (2)
Title |
---|
Exploring New Backbone and Attention Module for Semantic Segmentation in Street Scenes;Lei Fan et al.;《IEEE Access》;20181112;第6卷;全文 * |
基于对抗学习与注意力机制的图像语义分割;王波;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20200215;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112150428A (zh) | 2020-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112150428B (zh) | 一种基于深度学习的医学图像分割方法 | |
Shaziya et al. | Automatic lung segmentation on thoracic CT scans using U-net convolutional network | |
CN110889852B (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
Chan et al. | Texture-map-based branch-collaborative network for oral cancer detection | |
Keraudren et al. | Automated fetal brain segmentation from 2D MRI slices for motion correction | |
Wu et al. | Unsupervised brain tumor segmentation using a symmetric-driven adversarial network | |
US20230005140A1 (en) | Automated detection of tumors based on image processing | |
CN110889853A (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
CN113239755B (zh) | 一种基于空谱融合深度学习的医学高光谱图像分类方法 | |
Rezaei et al. | Whole heart and great vessel segmentation with context-aware of generative adversarial networks | |
CN114693933A (zh) | 基于生成对抗网络和多尺度特征融合的医学影像分割装置 | |
CN114266786A (zh) | 基于生成对抗网络的胃病变分割方法及系统 | |
Yamanakkanavar et al. | MF2-Net: A multipath feature fusion network for medical image segmentation | |
CN110110727A (zh) | 基于条件随机场和贝叶斯后处理的图像分割方法 | |
Shan et al. | SCA-Net: A spatial and channel attention network for medical image segmentation | |
Banerjee et al. | A CADe system for gliomas in brain MRI using convolutional neural networks | |
Mahapatra | Registration of histopathogy images using structural information from fine grained feature maps | |
Carmo et al. | Extended 2D consensus hippocampus segmentation | |
Kamencay et al. | 3D image reconstruction from 2D CT slices | |
Mansour et al. | Kidney segmentations using cnn models | |
Nie et al. | Semantic-guided encoder feature learning for blurry boundary delineation | |
Khan et al. | AttResDU-Net: Medical Image Segmentation Using Attention-based Residual Double U-Net | |
Kascenas et al. | Anomaly detection via context and local feature matching | |
Arefin et al. | Deep learning approach for detecting and localizing brain tumor from magnetic resonance imaging images | |
CN114882282A (zh) | 基于mri和ct图像的结直肠癌治疗效果的神经网络预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20221202 |