CN116563315A - 一种医学图像腺体分割方法 - Google Patents
一种医学图像腺体分割方法 Download PDFInfo
- Publication number
- CN116563315A CN116563315A CN202310314365.0A CN202310314365A CN116563315A CN 116563315 A CN116563315 A CN 116563315A CN 202310314365 A CN202310314365 A CN 202310314365A CN 116563315 A CN116563315 A CN 116563315A
- Authority
- CN
- China
- Prior art keywords
- image
- edge information
- module
- segmentation
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 46
- 210000004907 gland Anatomy 0.000 title claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 230000007246 mechanism Effects 0.000 claims abstract description 24
- 238000013135 deep learning Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 6
- 230000000762 glandular Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 3
- 239000011800 void material Substances 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 6
- 210000000056 organ Anatomy 0.000 abstract description 6
- 238000007499 fusion processing Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000003709 image segmentation Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013215 result calculation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种医学图像腺体分割方法，包括以下步骤：获取待分割的图像，并根据检测数据特点进行预处理；对预处理后的图像，选用U‑net为基础网络，重新设计编码器解码器结构，将普通卷积换成深度可分离卷积，减少网络的数据量，并且在解码器模块中嵌入ECA注意力机制；将编码器得到的特征图作为边缘信息模块的输入，得到边缘信息；将得到的边缘信息及多尺度特征得到的特征图进行信息融合；将融合特征图进行分割，然后将处理好的数据集进入搭建的深度学习网络，得到图像中的分割部分。本发明的一种医学图像腺体分割方法，摒弃人工特征提取过程，可精准分割器官，准确率高、检测时间短、抗干扰性强，在融合过程保留更多空间信息，实现精准分割。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种医学图像腺体分割方法。
背景技术
纵观医学图像分割技术的发展历程，实际上是一个从人工分割到半自动分割和全自动分割逐步发展的过程。传统医学图像分割算法例如基于图像配准的方法、高斯混合模型(Gaussian Mixture Model，GMM)、K最近邻(K-Nearest Neighbor，KNN)等。但是传统的分割算法需要人工手动提取图像特征，处理能力非常有限。
相比于传统方法，深度学习更有利于提取到数据的深层抽象特征，而且端到端的学习方式使得深度网络可以直接处理原始数据，真正实现数据驱动，充分利用大数据的优势。基于深度学习的图像分割算法主要有三大类，分别是基于卷积神经网络的方法、基于语义分割的方法和基于U-net方法及其改进算法。
U-net是2015年专门针对医学图像提出的一个网络，它在语义分割方面具有很高的性能，但它仍有进一步优化的空间。首先，原始U-net使用跳跃连接将编码器和解码器的特征进行融合会导致语义差距，钟幸宇等设计了一个并行注意力模块APM，通过使用不同尺度的卷积核可以捕捉到图像中的多尺度信息，实现减少编码器和解码器之间的语义差距。Asadi等在网络中设计了一个BConvLSTM模块，在网络的各个层级中使用BConvLSTM将相应编码路径中提取的特征图与之前解码的上卷积层进行非线性组合，实现不同尺度信息的交互。王毅等改进跳跃连接方式，减少编码器与解码器之间的语义差异，为跳跃连接增加通道注意机制，使跳过连接能够充分整合不同维度的语义信息。其次，原始U-net分割网络通过解码器最后一层得到输出结果，导致分割对象边缘分割效果不理想。钟幸宇等设计了一个输出特征融合模块OFM，在解码器阶段通过融合不同层的输出，可以获得更加准确的轮廓信息。毛萌等在解码器端设计了一个空间通道两路注意力模块以融合空间注意力机制和通道注意力机制，并且在预测输出端增加轮廓预测分支以增强对前列腺轮廓的学习能力。Weiwei Cao等设计了多个边缘和邻域引导模块，旨在同时提取足够的边缘和邻域空间信息，以提高组织边缘分割性能。除此之外，在原始U-net分割网络中，由多次下采样操作导致的空间细节丢失，而通常空间细节中包含大量小区块，边缘等关键信息，这些细节的丢失会导致模型整体性能下降，也会使得分割结果的医疗辅助价值降低。田塍等提出了一种基于空间信息恢复的医学图像分割算法，通过空间信息注意力分支(SDAB)修复了丢失的空间信息。金百鑫等提出了一种有效的语义分割解码器，利用不同层次的特征来引导注意力机制，从而融合不同尺度的信息来恢复像素类别。吕念祖等受反卷积和PixelShuffle方法的启发，提出了双路径上采样(Dual Path Up-Sampling,DPUS)结构，在空间和通道上同时捕获高分辨率特征图，利用可变形卷积学习融合后的高分辨率特征图，减少上采样过程中空间信息和通道信息的丢失。
近年来的研究成果提高了图像分割的准确性，但是CNN网络仍然面临着很多困难，如MRI图像器官的边界缺失和强度分布不均匀，以及器官形状的巨大变化，各种组织与器官之间的对比度低，特征变化不大，边界模糊射线图像对比度低、噪声大等。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是传统的图像分割技术检测时间长、分割效率低，分割轮廓不理想并且影响分割精度和分割质量；基于U-net算法等深度学习算法，存在训练不稳定、由多次下采样操作导致的空间细节丢失，从而导致模型整体性能下降，导致分割结果的医疗辅助价值降低，分割精度不高，或分割精度的提高以模型运算量和模型复杂度为代价。本发明提供了一种医学图像腺体分割方法，摒弃人工特征提取过程，可精准分割器官，准确率高、检测时间短、抗干扰性强，在融合过程保留更多空间信息，实现精准分割。
为实现上述目的，本发明提供了一种医学图像腺体分割方法，包括以下步骤：
获取待分割的图像，并根据检测数据特点进行预处理；
对预处理后的图像，选用U-net为基础网络，重新设计编码器解码器结构，将普通卷积换成深度可分离卷积，减少网络的数据量，并且在解码器模块中嵌入ECA注意力机制；
将编码器得到的特征图作为边缘信息模块的输入，得到边缘信息；将得到的边缘信息及多尺度特征得到的特征图进行信息融合；
将融合特征图进行分割，然后将处理好的数据集进入搭建的深度学习网络，得到图像中的分割部分。
进一步地，获取待分割的图像，并根据检测数据特点进行预处理，具体包括，先对待分割图像进行标准化处理，将图像像素调整到[-1,1]区间内，然后对图像进行随机旋转的数据增强，最后将预处理后得到的数据进行标注并按照8:2的比例划分训练集和验证集。
进一步地，包括5个编码器模块、3个解码器模块、边缘信息模块、边缘信息金字塔模块和空洞空间金字塔模块，第二个和第五个编码器对应的特征图作为边缘信息模块的输入，边缘信息模块对第二个编码器对应的特征图进行上采样处理再与第五个编码器对应的特征图进行通道级拼接，拼接后的特征图进行2次卷积操作最后得到边缘信息。
进一步地，边缘信息金字塔模块将得到的边缘信息与多尺度特征进行信息融合，得到融合特征图，将得到的融合特征图作为空洞空间金字塔模块的输入，用于实现最终分割。
进一步地，每个解码器和边缘信息模块设置了深度监督机制，具体通过一个使用1x1卷积块和具有Sigmoid函数的卷积层实现。
进一步地，将融合特征图进行分割，然后将处理好的数据集进入搭建的深度学习网络，得到图像中的分割部分，得到图像中的分割部分包括6个分割结果，具体包括最终分割结果predict、边缘信息模块分割结果edge_predict和边缘信息特征金字塔的4个区域分割结果。
进一步地，将得到的分割结果与图像实际分割结果进行损失计算，反向传播，提高深度学习网络模型的分割精度，直至深度学习网络模型生成较高精度的分割结果。
进一步地，将得到的分割结果与图像实际分割结果进行损失计算，采用交叉熵损失函数和骰子函数的混合函数作为损失函数进行损失计算。
进一步地，当损失计算值大于0.3则进行反向传播，直至损失计算值小于0.3则停止计算，得到最终分割结果。
进一步地，解码器模块是在原始U-net解码器模块的基础上嵌入了ECA注意力机制，具体在原始U-net解码器模块的上采样操作之前嵌入ECA注意力机制。
技术效果
本发明的一种医学图像腺体分割方法，基于深度学习算法，选用U-net为基础网络，在使用U-net网络时，重新设计编码器解码器结构，将普通卷积替换为深度可分离卷积，并且在解码器模块中嵌入ECA注意力机制，利用第二个和第五个编码器的输出特征图设计边缘信息模块得到边缘信息特征图，并且利用得到的边缘信息特征图和解码器得到的特征图进行多尺度信息融合，经特征融合后进行1x1卷积和sigmoid函数得到最终的分割结果，并且在解码器阶段设计深度监督机制，促进网络的收敛速度。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的一种医学图像腺体分割方法的系统框架图；
图2是本发明的一个较佳实施例的一种医学图像腺体分割方法的实施例示意图；
图3是本发明的一个较佳实施例的一种医学图像腺体分割方法的待检测图像示意图；
图4是本发明的一个较佳实施例的一种医学图像腺体分割方法的待检测图像预处理结果示意图；
图5是本发明的一个较佳实施例的一种医学图像腺体分割方法的待检测图像数据增强结果示意图；
图6是本发明的一个较佳实施例的一种医学图像腺体分割方法的编码器模块；
图7是本发明的一个较佳实施例的一种医学图像腺体分割方法的边缘信息模块；
图8是本发明的一个较佳实施例的一种医学图像腺体分割方法的边缘信息特征金字塔模块；
图9是本发明的一个较佳实施例的一种医学图像腺体分割方法的检测结果示意图；
图10是本发明的一个较佳实施例的一种医学图像腺体分割方法的ECA注意力机制。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下描述中，为了说明而不是为了限定，提出了诸如特定内部程序、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
本发明实施例提供了一种医学图像腺体分割方法，具体包括以下步骤：
步骤100，获取待分割的图像，并根据检测数据特点进行预处理；
步骤200，对预处理后的图像，选用U-net为基础网络，重新设计编码器解码器结构，将普通卷积换成深度可分离卷积，减少网络的数据量，并且在解码器模块中嵌入ECA注意力机制；
步骤300，将编码器得到的特征图作为边缘信息模块的输入，得到边缘信息；将得到的边缘信息及多尺度特征得到的特征图进行信息融合；
步骤400，将融合特征图进行分割，然后将处理好的数据集进入搭建的深度学习网络，得到图像中的分割部分。
其中，步骤100，获取待分割的图像，并根据检测数据特点进行预处理；待检数据类型为MRI图像，如图3所示，具有组织与器官之间的对比度低、特征变化不大、噪声大等特点，在图像分割前需要对待检图像进行图像预处理，对图像进行放大缩小等数据增强。首先对原图采用标准化，将图像像素调整到[-1,1]区间内，预处理结果如图4所示，
在公式(1)中，input表示输入的图像像素值；mean(input)表示输入图像的像素均值；std(input)表示输入图像像素的标准差。经过标准化，图像像素被调整到[-1,1]区间内。
然后对经过标准化后的图像进行随机旋转的数据增强，数据增强结果如图5所示，
在公式(2)中，坐标(x,y)是原图像的一个点坐标，坐标(x’,y’)是原坐标经过顺时针旋转β度，经过矩阵相乘，转换成新坐标。
最后将得到的数据集进行标注按照8：2的比例划分为训练集和验证集；
步骤200，对预处理后的图像，选用U-net为基础网络，重新设计编码器解码器结构，将普通卷积换成深度可分离卷积，减少网络的数据量，并且在解码器模块中嵌入ECA注意力机制。选取U-net为基础网络，分析U-net目前存在的不足，通过阅读文献整理相关基于U-net的改进算法。
选取U-net为基础网络，发现U-net存在很多不足，例如U-net使用跳跃连接将编码器和解码器的特征进行融合会导致语义差距的问题，频繁的下采样操作导致空间细节丢失的问题以及U-net分割网络通过解码器最后一层得到输出结果，导致分割对象边缘分割效果不理想的问题。
针对这些问题，我们对U-net进行了改进，1)针对医学图像数据集量少的特点，原始U-net网络参数量太大，容易造成网络过拟合，为了使网络过拟合程度降低，重新设计了编码器模块(如公式(3)所示)和解码器模块(如公式(4)所示)；2)为了解决空间信息丢失的问题，我们设计了边缘信息模块和边缘信息金字塔模块；3)为了加快网络的收敛速度，在解码器不同阶段和边缘信息模块设计了深度监督机制，深度监督机制具体通过一个使用1x1卷积块和具有Sigmoid函数的卷积层实现。
如图6所示，提出的编码器模块与原始的U-net编码器模块的不同在于将原始U-net编码器模块中的普通3x3卷积替换为深度可分离3x3卷积，可减少网络参数量。
output＝σ1(DepConv(σ1(DepConv(input)))) (3)
在公式(3)中，input是重新设计的编码器模块的输入特征图，σ1是批归一化操作和激活函数，DepConv指的是3x3深度可分离卷积操作。
提出的解码器模块是在原始U-net解码器模块的基础上嵌入了ECA注意力机制，具体在原始U-net解码器模块的上采样操作之前嵌入ECA注意力机制。如图10所示，ECA注意力机制采用自适应卷积内核，高效实现了局部跨通道交互，提高通道间的依赖关系。
在公式(4)中，ECA指的是ECA注意力机制操作，DepConv指的是3x3深度可分离卷积操作，Up指的是上采样操作，是通道级拼接，d指的是这一层解码器模块的输入特征图，e指的是上一层编码器的输出特征图。
为了解决U-net特征提取过程中连续使用下采样操作导致图像空间信息丢失等问题，如图7和图8所示，设计边缘信息模块和边缘信息特征金字塔模块实现边缘信息和多尺度信息的融合。
步骤300，将编码器得到的特征图作为边缘信息模块的输入，得到边缘信息；将得到的边缘信息及多尺度特征得到的特征图进行信息融合。将处理好的数据发送到改进版的U-net分割模型进行特征提取和特征融合，得到对应的特征图，如图1所示，本发明实施例中的整个改进版的U-net分割模型一共由5个编码器模块、3个解码器模块、边缘信息模块、边缘信息金字塔模块和空洞空间金字塔模块组成。5个编码器模块和3个解码器模块其中对应的特征图分别记作e1、e2、e3、e4、e5、d5、d4和d3。在图7边缘信息模块中，将第二个和第五个编码器特征图e2和e5作为边缘信息模块的输入，如公式2对e2进行上采样处理再与e5进行通道级拼接，拼接后的特征图进行2次卷积操作最后得到边缘信息F1。
在公式(5)中，F1是边缘信息模块的输出边缘信息，e2和e5分别是第二个和第5个编码器的特征图，σ1是批归一化操作和激活函数，Conv指的是3x3卷积操作，是通道级拼接，Up指的是上采样操作。
在图3边缘信息金字塔模块中如公式(3)将得到的边缘信息F1与多尺度特征即d5、d4、d3和e5进行信息融合得到融合特征图Out_final。然后将其作为空洞空间金字塔模块的输入中得到，用于实现最终分割。
Out_final＝FPM(d5,d4,d3,e2,F1) (6)
在公式(6)中，FPM指的是边缘信息特征金字塔模块操作，Out_final指的是边缘信息F1和多尺度信息d5，d4，d3和e2融合之后得到的融合特征图。
步骤400，将融合特征图进行分割，然后将处理好的数据集进入搭建的深度学习网络，得到图像中的分割部分。将处理好的数据集送入搭建的深度学习网络模型，可以得到6个分割结果，分别是最终分割结果predict、边缘信息模块分割结果edge_predict和边缘信息特征金字塔的4个区域分割结果area_predicti(i＝1,2,3,4)。为提高网络的收敛速度，在每个解码器阶段和边缘信息模块处设计了深度监督机制。改进版的U-net分割模型的损失函数采用交叉熵损失函数和骰子函数的混合函数，记作L，定义为：
其中pn,c∈P,yn,c∈Y分别为批处理中第c类和第n个像素的目标标签和预测概率，Y和P分别是MRI图像真值和预测结果，C和N分别表示批处理中数据集类数和像素数。
在图2边缘信息模块中，主要用于丰富模型的边缘信息，边缘损失记作Ledge。在图3边缘信息特征金字塔模块中，区域损失记作Larea。整个网络模型的分割损失记作Lseg，Lseg、Ledge和Larea定义如下：
Lseg＝L(gt,predict) (8)
Ledge＝L(gt,edge_predict) (9)
在公式(8)、公式(9)、公式(10)中其中，gt表示图像的实际分割结果，predict表示模型的最终分割结果，edge_predict表示在边缘信息模块生成的分割结果，area_predicti(i＝1，2，3，4)表示在边缘信息特征金字塔模块生成的四个分割结果。
模型的总损失函数为Ltotal,定义为：
Ltotal＝Lseg+Ledge+Larea (11)
将得到的分割结果与图像实际分割结果进行损失计算，当损失计算值大于0.3则进行反向传播，直至损失计算值小于0.3可以停止计算，得到最终分割结果如图9所示，不断提高模型的分割精度，直至模型生成较高精度的分割结果并输出。
以下将举一具体例子来说明本发明的一种医学图像腺体分割方法。如图2所示，以chaos数据集中的一个MRI图像为例，首先对MRI图像进行标准化预处理和随机旋转的数据增强，可以得到预处理后的图像如4所示，以及数据增强后的图像如图5所示；
然后，将预处理和数据增强后的图像作为重新设计的编码器模块的输入，通过5次下采样操作对图像进行特征提取，可得到对应5个编码器模块的特征图，记作e1、e2、e3、e4和e5，然后将e5作为重新设计的解码器模块的输入，通过3次上采样操作对特征图进行维度的恢复，得到3个解码器模块的特征图，记作d5、d4和d3；
为了解决原始U-net频繁下采样操作导致的空间信息丢失的问题，将e2和e5作为边缘信息模块的输入，通过一系列卷积操作得到边缘信息特征图，并且为了实现多尺度特征图的信息融合，将边缘信息特征图、深层信息特征图e5、浅层信息特征图d5、d4和d3作为边缘信息金字塔模块的输入，经过一系列跳跃连接和拼接操作得到特征图F2、F3、F4和F5，经过一个通过级拼接操作得到融合信息特征图，最后为了扩大感受野和捕获多尺度特征图的上下文信息，将得到的融合特征图作为空洞空间金字塔模块的输入，得到最后的特征图用于最终的分割；
为了提高网络收敛速度，在解码器阶段、边缘信息模块和边缘信息金字塔模块设计深度监督机制，主要通过1x1卷积和sigmoid激活函数的卷积层实现，在第三步中得到的最后的特征图与图像的真实分割结果计算损失，记作Lseg，在第三步中的边缘信息模块得到的边缘信息特征图与图像的真实分割结果计算损失，记作Ledge,在第三步中的边缘信息金字塔模块得到特征图F2、F3、F4和F5与图像的真实分割结果计算损失，记作Lareai(i＝1,2,3,4)。这个MRI图像的总损失记作Ltotal＝Lseg+Ledge+Larea1+Larea2+Larea3+Larea4。将得到的计算损失值与0.3进行比较，若大于0.3进行反向传播，不断提高模型的分割精度；若小于0.3则停止计算，直接生成最终分割结果，如图9所示。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种医学图像腺体分割方法，其特征在于，包括以下步骤：
获取待分割的图像，并根据检测数据特点进行预处理；
对预处理后的图像，选用U-net为基础网络，重新设计编码器解码器结构，将普通卷积换成深度可分离卷积，减少网络的数据量，并且在解码器模块中嵌入ECA注意力机制；
将编码器得到的特征图作为边缘信息模块的输入，得到边缘信息；将得到的边缘信息及多尺度特征得到的特征图进行信息融合；
将融合特征图进行分割，然后将处理好的数据集进入搭建的深度学习网络，得到图像中的分割部分。
2.如权利要求1所述的一种医学图像腺体分割方法，其特征在于，获取待分割的图像，并根据检测数据特点进行预处理，具体包括，先对待分割图像进行标准化处理，将图像像素调整到[-1,1]区间内，然后对图像进行随机旋转的数据增强，最后将预处理后得到的数据进行标注并按照8:2的比例划分训练集和验证集。
3.如权利要求1所述的一种医学图像腺体分割方法，其特征在于，包括5个编码器模块、3个解码器模块、边缘信息模块、边缘信息金字塔模块和空洞空间金字塔模块，第二个和第五个编码器对应的特征图作为所述边缘信息模块的输入，所述边缘信息模块对第二个编码器对应的特征图进行上采样处理再与第五个编码器对应的特征图进行通道级拼接，拼接后的特征图进行2次卷积操作最后得到边缘信息。
4.如权利要求3所述的一种医学图像腺体分割方法，其特征在于，所述边缘信息金字塔模块将得到的所述边缘信息与多尺度特征进行信息融合，得到融合特征图，将得到的融合特征图作为所述空洞空间金字塔模块的输入，用于实现最终分割。
5.如权利要求3所述的一种医学图像腺体分割方法，其特征在于，每个解码器和所述边缘信息模块设置了深度监督机制，具体通过一个使用1x1卷积块和具有Sigmoid函数的卷积层实现。
6.如权利要求1所述的一种医学图像腺体分割方法，其特征在于，将融合特征图进行分割，然后将处理好的数据集进入搭建的深度学习网络，得到图像中的分割部分，得到图像中的分割部分包括6个分割结果，具体包括最终分割结果predict、边缘信息模块分割结果edge_predict和边缘信息特征金字塔的4个区域分割结果。
7.如权利要求6所述的一种医学图像腺体分割方法，其特征在于，将得到的分割结果与图像实际分割结果进行损失计算，反向传播，提高深度学习网络模型的分割精度，直至所述深度学习网络模型生成较高精度的分割结果。
8.如权利要求7所述的一种医学图像腺体分割方法，其特征在于，将得到的分割结果与图像实际分割结果进行损失计算，采用交叉熵损失函数和骰子函数的混合函数作为损失函数进行损失计算。
9.如权利要求8所述的一种医学图像腺体分割方法，其特征在于，当损失计算值大于0.3则进行反向传播，直至损失计算值小于0.3则停止计算，得到最终分割结果。
10.如权利要求3所述的一种医学图像腺体分割方法，其特征在于，解码器模块是在原始U-net解码器模块的基础上嵌入了ECA注意力机制，具体在原始U-net解码器模块的上采样操作之前嵌入ECA注意力机制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310314365.0A CN116563315A (zh) | 2023-03-28 | 2023-03-28 | 一种医学图像腺体分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310314365.0A CN116563315A (zh) | 2023-03-28 | 2023-03-28 | 一种医学图像腺体分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116563315A true CN116563315A (zh) | 2023-08-08 |
Family
ID=87485147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310314365.0A Pending CN116563315A (zh) | 2023-03-28 | 2023-03-28 | 一种医学图像腺体分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116563315A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117495876A (zh) * | 2023-12-29 | 2024-02-02 | 山东大学齐鲁医院 | 基于深度学习的冠状动脉图像分割方法及系统 |
-
2023
- 2023-03-28 CN CN202310314365.0A patent/CN116563315A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117495876A (zh) * | 2023-12-29 | 2024-02-02 | 山东大学齐鲁医院 | 基于深度学习的冠状动脉图像分割方法及系统 |
| CN117495876B (zh) * | 2023-12-29 | 2024-03-26 | 山东大学齐鲁医院 | 基于深度学习的冠状动脉图像分割方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111210443B (zh) | 基于嵌入平衡的可变形卷积混合任务级联语义分割方法 | |
| CN111047551B (zh) | 一种基于U-net改进算法的遥感影像变化检测方法及系统 | |
| CN113052210B (zh) | 一种基于卷积神经网络的快速低光照目标检测方法 | |
| CN110689599B (zh) | 基于非局部增强的生成对抗网络的3d视觉显著性预测方法 | |
| CN114219943B (zh) | 一种基于深度学习的ct图像危及器官分割系统 | |
| CN115661144B (zh) | 基于可变形U-Net的自适应医学图像分割方法 | |
| CN113642390B (zh) | 一种基于局部注意力网络的街景图像语义分割方法 | |
| CN113807355A (zh) | 一种基于编解码结构的图像语义分割方法 | |
| US20240029272A1 (en) | Matting network training method and matting method | |
| CN114283164B (zh) | 基于UNet3+的乳腺癌病理切片图像分割预测系统 | |
| CN110866938B (zh) | 一种全自动视频运动目标分割方法 | |
| CN113888547A (zh) | 基于gan网络的无监督域自适应遥感道路语义分割方法 | |
| CN111401247A (zh) | 一种基于级联卷积神经网络的人像分割方法 | |
| CN112990331A (zh) | 图像处理方法、电子设备和存储介质 | |
| CN113870286A (zh) | 一种基于多级特征和掩码融合的前景分割方法 | |
| CN116563315A (zh) | 一种医学图像腺体分割方法 | |
| CN115601330A (zh) | 一种基于多尺度空间反向注意力机制的结肠息肉分割方法 | |
| CN113065551A (zh) | 利用深度神经网络模型执行图像分割的方法 | |
| CN115908805A (zh) | 基于卷积增强交叉自注意力变形器的u型图像分割网络 | |
| CN113160229A (zh) | 基于层级监督级联金字塔网络的胰腺分割方法及装置 | |
| CN116958827A (zh) | 一种基于深度学习的撂荒区域提取方法 | |
| CN115908789A (zh) | 跨模态特征融合及渐近解码的显著性目标检测方法及装置 | |
| CN116612283A (zh) | 一种基于大卷积核骨干网络的图像语义分割方法 | |
| CN115937099A (zh) | 一种基于UNet深度可分离残差网络的BGA焊点分割方法 | |
| CN113052759B (zh) | 基于mask和自动编码器的场景复杂文本图像编辑方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |