CN116152502A - 一种基于解码层损失回召的医学影像分割方法及系统 - Google Patents
一种基于解码层损失回召的医学影像分割方法及系统 Download PDFInfo
- Publication number
- CN116152502A CN116152502A CN202310403445.3A CN202310403445A CN116152502A CN 116152502 A CN116152502 A CN 116152502A CN 202310403445 A CN202310403445 A CN 202310403445A CN 116152502 A CN116152502 A CN 116152502A
- Authority
- CN
- China
- Prior art keywords
- layer
- decoding
- convolution
- view
- recall
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000013138 pruning Methods 0.000 claims abstract description 32
- 230000011218 segmentation Effects 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims description 54
- 230000004927 fusion Effects 0.000 claims description 29
- 238000011176 pooling Methods 0.000 claims description 17
- 238000010276 construction Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 210000000056 organ Anatomy 0.000 claims description 9
- 238000013480 data collection Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 230000004913 activation Effects 0.000 description 16
- 238000012360 testing method Methods 0.000 description 10
- 210000000496 pancreas Anatomy 0.000 description 8
- 238000010606 normalization Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 206010061902 Pancreatic neoplasm Diseases 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 208000015486 malignant pancreatic neoplasm Diseases 0.000 description 2
- 201000002528 pancreatic cancer Diseases 0.000 description 2
- 208000008443 pancreatic carcinoma Diseases 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 101150083127 brox gene Proteins 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明涉及医学影像处理技术领域,公开了一种基于解码层损失回召的医学影像分割方法及系统,包括以下步骤:S1、收集带标签的训练数据集;S2、构建多视野卷积网络;S3、将训练数据集输入多视野卷积网络的编码器中,提取若干层语义特征;将若干层语义特征输入到多视野卷积网络的解码器中,解码器中的每层解码层通过其解码回召层各输出一个概率图;根据概率图得到总损失,训练多视野卷积网络的参数;S4、对训练好的多视野卷积网络的解码回召层进行剪枝;通过剪枝后的多视野卷积网络分割医学影像。本发明解决了现有技术医学影像分割学习不充分,泛化能力不足的的问题,且具有的鲁棒性强,分割效率高的特点。
Description
技术领域
本发明涉及医学影像处理技术领域,更具体的,涉及一种基于解码层损失回召的医学影像分割方法及系统。
背景技术
医学影像分割对于临床治疗有非常重要的作用,小目标的器官位置的确定和边缘位置的划分都需要医生花费大量精力。基于深度学习搭建的分割网络可以更精准和更快速地确定器官的位置和其边界,帮助病理专家提高阅片的效率。分割网络对于胰腺和胰腺癌这些小目标器官和病灶的病变起关键的作用。该技术的目的是将CT图像进行像素级别的分类,判断每个像素是否为胰腺。
随着计算机性能的提高和深度学习方法的快速发展,卷积神经网络已广泛应用于医学影像分割和检测。对于胰腺分割问题,现有技术有:U-Net(Ronneberger O, FischerP, Brox T. U-net: Convolutional networks for biomedical image segmentation[C]//Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015:18th International Conference, Munich, Germany, October 5-9, 2015,Proceedings, Part III 18. Springer International Publishing, 2015: 234-241.)和U-Net的改进网络如:Attention U-Net(Oktay O, Schlemper J, Folgoc L L, et al.Attention u-net: Learning where to look for the pancreas[J]. arXiv preprintarXiv:1804.03999, 2018.)和U-Net++( Zhou Z, Rahman Siddiquee M M, Tajbakhsh N,et al. Unet++: A nested u-net architecture for medical image segmentation[C]//Deep Learning in Medical Image Analysis and Multimodal Learning forClinical Decision Support: 4th International Workshop, DLMIA 2018, and 8thInternational Workshop, ML-CDS 2018, Held in Conjunction with MICCAI 2018,Granada, Spain, September 20, 2018, Proceedings 4. Springer InternationalPublishing, 2018: 3-11.)等;这些现有技术广泛应用在医学影像分割领域。U-Net网络是由编码和解码组成,并且通过编码和解码特征的融合达到更好的效果;Attention U-Net把注意力门的机制引入U-Net,让网络自己学习需要关注的区域;U-Net++整合了不同层次的特征,让网络更好利用不同层次的特征达到更好的分割效果。
然而,以上现有技术虽然改进网络的学习效果,提高了分割的精度。但是仍存在如下不足:一方面,以上方法考虑是输出概率图和真实标签所构成的全局损失,使得网络对胰腺和胰腺癌边缘特征学习不够充分,对胰腺和胰腺癌边界分割不准确;另一方面,网络都是通过统一的感受野进行学习,对于同一数据下会忽略其他特征的学习,降低网络的泛化能力。
因此,针对现有技术医学影像分割学习不充分,泛化能力不足的问题,如何发明一种学习充分,泛化能力强的医学影像分割方法,是本技术领域亟需解决的技术问题。
发明内容
本发明为了解决现有技术医学影像分割学习不充分,泛化能力不足的问题,提供了一种基于解码层损失回召的医学影像分割方法及系统,其具有鲁棒性强,分割效率高的特点。
为实现上述本发明目的,采用的技术方案如下:
一种基于解码层损失回召的医学影像分割方法,包括以下步骤:
S1、收集带标签的数据集,并进行预处理得到训练数据集;
S2、通过将卷积网络的编码器中的部分卷积替换成多视野卷积,并在卷积网络的解码器中的解码层中加入用于解码层损失回召的解码回召层,构建多视野卷积网络;
S3、将训练数据集输入多视野卷积网络的编码器中,提取若干层语义特征;将若干层语义特征输入到多视野卷积网络的解码器中,解码器中的每层解码层通过其解码回召层各输出一个概率图;根据概率图得到总损失,训练多视野卷积网络的参数;
S4、对训练好的多视野卷积网络的解码回召层进行剪枝;通过剪枝后的多视野卷积网络分割医学影像。
优选的,多视野卷积网络的解码器有N个编码层;
第1到第N-1层编码层由3x3卷积、L个多视野卷积、下采样依次串联组成;
第N层编码层由2个卷积组成。
进一步的,所述的多视野卷积包括2个3x3卷积、2个1x1卷积、最大池化层、第1全连接层、第2全连接层、平均池化层、ReLu函数、Sigmod函数;其中,1个3x3卷积、1个1x1卷积、最大池化层并联为多视野卷积;1个3x3卷积、1个1x1卷积、多视野卷积、平均池化层、第1全连接层、ReLu函数、第2全连接层、Sigmod函数依次串联。
更进一步的,所述的步骤S3中,将训练数据集输入多视野卷积网络的编码器中,提取若干层语义特征;具体为:
从而得到N层语义特征。
更进一步的,多视野卷积网络的解码器有N-1个解码层;
其中,第1层的解码层由上采样、特征融合层、3x3卷积、L个多视野卷积和Sigmod函数依次串联组成;
第2到N-1层的解码层由上采样、特征融合层、3x3卷积、L个多视野卷积和解码回召层依次串联组成;
所述的特征融合层由2个并联的1x1的卷积、ReLu函数、平均池化层、2个卷积和Sigmod函数依次串联组成。
更进一步的,所述的解码回召层由3x3的卷积、2个多视野卷积、Sigmod函数组成;3x3的卷积、2个多视野卷积、Sigmod函数依次串联;解码层中,3x3的卷积的输入为L个多视野卷积的输出,并且解码回召层中的2个多视野卷积还分别与3x3的卷积的输入和3x3的卷积连接。
更进一步的,所述的步骤S3中,将若干层语义特征输入到多视野卷积网络的解码器中,解码器中的每层解码层通过其解码回召层各输出一个概率图,具体为:
第N-1层解码层解码:将第N编码层经过上采样输出的特征和第N-1层编码层输出的语义特征/>共同输入到第N-1层解码层的特征融合层,再经过其3x3卷积和L个多视野卷积得到/>,再经过解码回召层得到概率图/>;
从而得到N-1个概率图。
更进一步的,所述的步骤S3中,解码器中的每层解码层通过其解码回召层各输出一个概率图;根据概率图得到总损失,训练多视野卷积网络的参数,具体为:
S301、计算第一层解码层的损失:
S304、根据总损失,利用pytorch进行搭建网络框架,完成反向传播,优化多视野卷积网络参数。
更进一步的,所述的步骤S4中,对训练好的多视野卷积网络的解码回召层进行剪枝;通过剪枝后的多视野卷积网络分割医学影像,具体为:
S401、通过剪枝去掉多视野卷积网络的解码回召层
S402、对需要预测的医学影像进行数据预处理;
S403、 将预处理后的影像输入到剪枝后的多视野卷积网络中,输出相关器官组织和病灶区域的位置与形状的掩码分割预测图,实现对医学影像的自动分割。
一种基于解码层损失回召的医学影像分割系统,包括数据收集模块、网络构建模块、网络训练模块、影像分割模块;
所述的数据收集模块用于收集带标签的数据集,并进行预处理得到训练数据集;
所述的网络构建模块用于通过将卷积网络的编码器中的部分卷积替换成多视野卷积,并在卷积网络的解码器中的解码层中加入用于解码层损失回召的解码回召层,构建多视野卷积网络;
所述的网络训练模块用于将训练数据集输入多视野卷积网络的编码器中,提取若干层语义特征;将若干层语义特征输入到多视野卷积网络的解码器中,解码器中的每层解码层通过其解码回召层各输出一个概率图;根据概率图得到总损失,训练多视野卷积网络的参数;
所述的影像分割模块用于对训练好的多视野卷积网络的解码回召层进行剪枝;通过剪枝后的多视野卷积网络分割医学影像。
本发明的有益效果如下:
本发明公开了一种基于解码层损失回召的医学影像分割方法。本发明通过对多视野卷积网络将卷积网络的编码器中的卷积替换成多视野卷积,使得多视野卷积网络可以学习到更多的数据特征,提高视野卷积网络的鲁棒性和泛化能力;在视野卷积网络训练时,通过引入解码回召层,对解码层损失进行加权求和,增强相关网络学习较弱区域,从而全面提升医学影像的分割效果。在预测时,剪枝掉解码层回召层,降低模型大小,提高预测速度。由此,本发明所提出的方法能解决现有技术医学影像分割学习不充分,泛化能力不足的问题,且具有鲁棒性强,分割效率高的特点。
附图说明
图1是本发明一种基于解码层损失回召的医学影像分割方法的流程示意图。
图2是本发明一种基于解码层损失回召的医学影像分割方法的多视野卷积结构示意图。
图3是本发明一种基于解码层损失回召的医学影像分割方法的特征融合层的示意图。
图4是本发明一种基于解码层损失回召的医学影像分割方法的解码回召层示意图。
图5是本发明一种基于解码层损失回召的医学影像分割方法的多视野卷积网络示意图。
图6是是本发明一种基于解码层损失回召的医学影像分割系统的影像处理流程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明做详细描述。
实施例1
如图1所示,一种基于解码层损失回召的医学影像分割方法,包括以下步骤:
S1、收集带标签的数据集,并进行预处理得到训练数据集;
S2、通过将卷积网络的编码器中的部分卷积替换成多视野卷积,并在卷积网络的解码器中的解码层中加入用于解码层损失回召的解码回召层,构建多视野卷积网络;
S3、将训练数据集输入多视野卷积网络的编码器中,提取若干层语义特征;将若干层语义特征输入到多视野卷积网络的解码器中,解码器中的每层解码层通过其解码回召层各输出一个概率图;根据概率图得到总损失,训练多视野卷积网络的参数;
S4、对训练好的多视野卷积网络的解码回召层进行剪枝;通过剪枝后的多视野卷积网络分割医学影像。
实施例2
一种基于解码层损失回召的医学影像分割方法,包括以下步骤:
S1、收集带标签的数据集分为带标签的训练数据集和待分割的测试数据集,并分别进行切片预处理得到训练数据集图像块、测试数据集图像块;
本实例使用公开的 NIH 胰腺分割数据集,该数据集由 82 例腹部对比增强 CT数据组成。该数据集中胰腺器官分割结果的金标准是通过医学生对每张切片进行手动勾画并由经验丰富的放射科医师进行核对和修正构成的。每个病例的 CT 数据的分辨率为 512×512×L,其中 L∈[181, 466],表示沿着身体长轴方向的切片样本数量。
本实施例输入采用三通道输入,第二通道为所需要训练的CT影像,第一通道为该CT影像的上一张切片,第三通道为该CT影像的下一张切片。
本实施例中,分别进行切片预处理,具体为:先将所需要训练和测试的CT图像的窗外和窗口设置为300Hu~350Hu和35Hu~50Hu,再筛选出具有胰腺部分的切片,切片一共有7060张;再根据标签中胰腺的位置,将数据裁剪尺寸大小为192x192。本胰腺器官分割数据集包含 82 例腹部增强 CT 数据,按照四折交叉验证的方式,将该数据集划分为四份,每份包含的数据量分别为:20, 20, 21, 21。在交叉验证实验过程中,依次将其中 3 份作为训练集,剩余的一份作为测试集,然后将算法四次的测试结果取均值,作为对算法精度的估计。
S2、通过将卷积网络的编码器中的部分卷积替换成多视野卷积,并在卷积网络的解码器中的解码层中加入用于解码层损失回召的解码回召层,构建多视野卷积网络;
S3、将训练数据集输入多视野卷积网络的编码器中,提取若干层语义特征;将若干层语义特征输入到多视野卷积网络的解码器中,解码器中的每层解码层通过其解码回召层各输出一个概率图;根据概率图得到总损失,训练多视野卷积网络的参数;
S4、对训练好的多视野卷积网络的解码回召层进行剪枝;通过剪枝后的多视野卷积网络分割医学影像。
本实施例中,所有的卷积都是由1个卷积、1个BatchNorm(归一化层)和一个ReLu函数组成。
在一个具体实施例中,多视野卷积网络的解码器有N个编码层;
第1到第N-1层编码层由3x3卷积、L个多视野卷积、下采样依次串联组成;
第N层编码层由2个卷积组成。
如图2所示,在一个具体实施例中,所述的多视野卷积包括2个3x3卷积、2个1x1卷积、最大池化层、第1全连接层、第2全连接层、平均池化层、ReLu函数、Sigmod函数;其中,1个3x3卷积、1个1x1卷积、最大池化层并联为多视野卷积;1个3x3卷积、1个1x1卷积、多视野卷积、平均池化层、第1全连接层、ReLu函数、第2全连接层、Sigmod函数依次串联。
在一个具体实施例中,所述的步骤S3中,将训练数据集输入多视野卷积网络的编码器中,提取若干层语义特征;具体为:
从而得到N层语义特征。
本实施例中,所述的编码器有5层编码层。
本实施例中,编码器的结构如下:
[(Con_3_64, R_64_64, R_64_64, P), (Con_64_128, R_128_128, R_128_128,P), (Con_128_256, R_256_256, R_256_256, P), (Con_256_512, R_512_512, R_512_512, P), (Con_1024_1024,Con_1024_1024)],[Con_3_64]表示[输入通道为3,输出通道为64,核大小为3x3,步长为1,填充为1的卷积、通道数为64的归一化层和Relu激活函数],[R_64_64]表示[输入通道为64,输出通道为64的多视野卷积],[P]表示[表示核大小为2×2的全局池化操作],[Con_64_128]表示 [输入通道为64,输出通道为128,核大小为3x3,步长为1,填充为1的卷积、通道数为128的归一化层和Relu激活函数],[R_128_128]表示[输入通道为128,输出通道为128的多视野卷积],[Con_128_256]表示 [输入通道为128,输出通道为256,核大小为3x3,步长为1,填充为1的卷积、通道数为256的归一化层和Relu激活函数],[R_256_256]表示[输入通道为256,输出通道为256的多视野卷积],[Con_256_512]表示[输入通道为256,输出通道为512,核大小为3x3,步长为1,填充为1的卷积、通道数为512的归一化层和Relu激活函数],[R_512_512]表示[输入通道为512,输出通道为512的多视野卷积],[Con_1024_1024]表示[输入通道为1024,输出通道为1024,核大小为3x3,步长为1,填充为1的卷积。通道数为1024的归一化层和Relu激活函数]。
本实施例中,将训练图像块输入到第1层编码层,先经过1个3x3卷积、L个多视野卷积层得到输出,再经过下采样得到/>。编码器第/>层编码(2<=/><=5):将第n-1层编码层下采样得到的/>作为第n层编码的输出,先经过1个3x3卷积、L个多视野卷积层得到输出/>,再经过下采样得到/>,这样就得到每层编码层输出的语义特征。
在一个具体实施例中,多视野卷积网络的解码器有N-1个解码层;
其中,第1层的解码层由上采样、特征融合层、3x3卷积、L个多视野卷积和Sigmod函数依次串联组成;
第2到N-1层的解码层由上采样、特征融合层、3x3卷积、L个多视野卷积和解码回召层依次串联组成;
在一个具体实施例中,所述的特征融合层由2个并联的1x1的卷积、ReLu函数、平均池化层、2个卷积和Sigmod函数依次串联组成。
本实施例中,如图3所示,输入特征融合层的输入1和输入2分别经过对应的1x1的卷积进行拼接后,将拼接后的特征依次经过ReLu函数、平均池化层、2个3x3的卷积和Sigmod函数扩张后与原始拼接后的特征组合输出融合后的特征。
本实施例中,解码器由4层解码层组成,第1层解码层由上采样(1个核为4x4,步长为2,填充为1的反卷积)、特征融合层、1个3x3卷积、L个多视野卷积层和Sigmod函数组成。
在一个具体实施例中,如图4所示,所述的解码回召层由3x3的卷积、2个多视野卷积、Sigmod函数组成;3x3的卷积、2个多视野卷积、Sigmod函数依次串联;解码层中,3x3的卷积的输入为L个多视野卷积的输出,并且解码回召层中的2个多视野卷积还分别与3x3的卷积的输入和3x3的卷积连接。
本实施例中,输入解码回召层的特征分别输入到3x3的卷积、第1个多视野卷积;3x3的卷积的输出分别输入到第1个多视野卷积和第2个多视野卷积;第1个多视野卷积的输出还输入到第2个多视野卷积中;第2个多视野卷积的输出经过Sigmod函数作为解码回召层的输出。
解码器结构如下:
[(T_1024_512, A_512, Con_1024_512, R_512_512, R_512_512, M_512_1),(T_512_256, A_256, Con_512_256, R_256_256, R_256_256, M_256_1), (T_256_128, A_256, Con_256_128, R_128_128, R_128_128, M_128_1), (T_128_64, A_64, Con_128_64, R_64_64, R_64_64, Sigmoid)], T_1024_512]表示[输入通道为1024,输出通道为512,核大小为4x4,步长为2,填充为1的反卷积],[A_512]表示[输入通道为512,输出通道为1024的特征融合层],[Con_1024_512]表示[输入通道为1024,输出通道为512,核大小为3x3,步长为1,填充为1的卷积、通道数为512的归一化层和Relu激活函数],[R_512_512]表示[输入通道为512,输出通道为512的多视野卷积],[M_512_1]表示[输入通道为512,输出通道为1的解码回召层,其中包括:输入通道为512,输出通道为128,核大小为3x3,步长为1,填充为1的卷积、通道数为128的归一化层和Relu激活函数;输入通道为640,输出通道为128的多视野卷积;输入通道为256,输出通道为64的多视野卷积;输入通道为64,输出通道为1,核大小为3x3,步长为1,填充为1的卷积、通道数为1的归一化层和Sigmoid激活函数],[T_512_256]表示[输入通道为512,输出通道为256,核大小为4x4,步长为2,填充为1的反卷积],[A_256]表示[输入通道为256,输出通道为512的特征融合层],[Con_512_256]表示[输入通道为512,输出通道为256,核大小为3x3,步长为1,填充为1的卷积、通道数为512的归一化层和Relu激活函数],[R_256_256]表示[输入通道为256,输出通道为256的多视野卷积],[M_256_1]表示[输入通道为256,输出通道为1的解码回召层,其中包括:输入通道为256,输出通道为128,核大小为3x3,步长为1,填充为1的卷积、通道数为128的归一化层和Relu激活函数;输入通道为384,输出通道为128的多视野卷积;输入通道为256,输出通道为128多视野卷积;输入通道为64,输出通道为1,核大小为3x3,步长为1,填充为1的卷积、通道数为1的归一化层和Sigmoid激活函数],[T_256_128]表示[输入通道为256,输出通道为128,核大小为4x4,步长为2,填充为1的反卷积],[A_128]表示[输入通道为128,输出通道为256的特征融合层],[Con_256_128]表示[输入通道为256,输出通道为128,核大小为3x3,步长为1,填充为1的卷积、通道数为128的归一化层和Relu激活函数],[R_128_128]表示[输入通道为128,输出通道为128的多视野卷积],[M_128_1]表示[输入通道为128,输出通道为1的解码回召层,其中包括:输入通道为128,输出通道为128,核大小为3x3,步长为1,填充为1的卷积、通道数为128的归一化层和Relu激活函数;输入通道为256,输出通道为128的多视野卷积;输入通道为256,输出通道为64的多视野卷积;输入通道为64,输出通道为1,核大小为3x3,步长为1,填充为1的卷积、通道数为1的归一化层和Sigmoid激活函数],[T_128_64]表示[输入通道为128,输出通道为64,核大小为4x4,步长为2,填充为1的反卷积],[A_64]表示[输入通道为64,输出通道为128的特征融合层],[Con_128_64]表示[输入通道为128,输出通道为64,核大小为3x3,步长为1,填充为1的卷积、通道数为64的归一化层和Relu激活函数],[R_64_64]表示[输入通道为64,输出通道为64的多视野卷积],[Sigmoid] 表示Sigmoid激活函数。
本实施例中,解码器第4层解码:第5层编码层输出的语义特征,经过上采样得到的语义特征和第4层编码层输出的语义特征/>共同输入到特征融合层,再输入到1个3x3卷积和L个多视野卷积层得到输出/>,最后输入到解码回召层得到输出/>;
解码器第1到3层解码(1<=<=3):第n+1层解码层的输出/>,经过上采样得到的语义特征和第n层编码层输出的语义特征/>共同输入到特征融合层,再输入到1个3x3卷积和L个多视野卷积层得到输出/>,最后输入到解码回召层得到输出/>。这样就得到解码器输出的4个概率图/>。
在一个具体实施例中,所述的步骤S3中,将若干层语义特征输入到多视野卷积网络的解码器中,解码器中的每层解码层通过其解码回召层各输出一个概率图,具体为:
第N-1层解码层解码:将第N编码层经过上采样输出的特征和第N-1层编码层输出的语义特征/>共同输入到第N-1层解码层的特征融合层,再经过其3x3卷积和L个多视野卷积得到/>,再经过解码回召层得到概率图/>;
从而得到N-1个概率图。
在一个具体实施例中,所述的步骤S3中,解码器中的每层解码层通过其解码回召层各输出一个概率图;根据概率图得到总损失,训练多视野卷积网络的参数,具体为:
S301、计算第一层解码层的损失:
S302、第1层解码的输出尺寸大小为和原始图像尺寸大小一样,第2层输解码的输出尺寸大小为/>是原始图像尺寸大小的一半,第y层解码输出的尺寸大小为,所以在计算第y层解码的边缘损失,将真实标签Y的长和宽进行y-1次缩小为原来的一半,记Y缩小后为/>;
S304、根据总损失,利用pytorch进行搭建网络框架,完成反向传播,优化多视野卷积网络参数。
本实施例中,根据概率图得到总损失,训练多视野卷积网络的参数,具体为:通过对各解码层损失函数的加权求和得到总损失,选取学习率为0.0001,修改偏导数weight_decay=1e-8的RMSProp优化器,利用pytorch进行搭建网络框架,完成反向传播,优化多视野卷积网络网络参数。
在一个具体实施例中,所述的步骤S4中,对训练好的多视野卷积网络的解码回召层进行剪枝;通过剪枝后的多视野卷积网络分割医学影像,具体为:
S401、通过剪枝去掉多视野卷积网络的解码回召层
S402、对需要预测的医学影像进行数据预处理;
S403、 将预处理后的影像输入到剪枝后的多视野卷积网络中,由多视野卷积网络自动输出相关器官组织和病灶区域的位置与形状的掩码分割预测图,实现对医学影像的自动分割。
本实施例中,通过将测试数据集输入到训练好的多视野卷积网络对多视野卷积网络进行了测试,本实施例中对于胰腺分割结果的测试对比如表1所示:
表1
多视野卷积网络1表示该网络结构没有加入解码回召层,多视野卷积网络2表示该网络加入解码回召层。Dice是医学影像中使用频率最高的度量指标,它是一种集合相似度度量指标,通常用于计算两个样本的相似度,值阈为[0, 1]。在医学图像中经常用于图像分割,分割的最好结果是1,最差时候结果为0。通过表一可知,本发明所构建的多视野卷积网络能够相对于U-Net能更好的分割医学影像;并且,多视野卷积网络剪枝后的效率更高,分割效果一致。
如图5所示,本发明创造性的提出了构建一种基于解码层损失回召的多视野卷积网络结构对医学影像进行分割,把网络结构中的卷积替换成多视野卷积,扩大了卷积的感受野,让网络可以学习到更多的特征;编码层和解码层的特征融合中提出了原创性的特征融合层,对于普通的特征拼接,特征融合层可以给予每个通道不同的权重,让网络更加重视需要的特征;本发明提出解码层回召层,在训练时,通过对解码层除第一层外添加该层,对各层解码层进行输出,通过计算不同解码层的损失函数,进行加权求和,可以增强网络对于相关较弱学习区域的学习,增加网络的泛化能力,提高分割的精度;在预测时,剪枝掉解码层回召层,降低模型大小,提高预测速度。由此,本发明所提出的方法能解决现有技术医学影像分割学习不充分,泛化能力不足的问题,且具有鲁棒性强,分割效率高的特点。
实施例3
一种基于解码层损失回召的医学影像分割系统,包括数据收集模块、网络构建模块、网络训练模块、影像分割模块;
所述的数据收集模块用于收集带标签的数据集,并进行预处理得到训练数据集;
所述的网络构建模块用于通过将卷积网络的编码器中的部分卷积替换成多视野卷积,并在卷积网络的解码器中的解码层中加入用于解码层损失回召的解码回召层,构建多视野卷积网络;
所述的网络训练模块用于将训练数据集输入多视野卷积网络的编码器中,提取若干层语义特征;将若干层语义特征输入到多视野卷积网络的解码器中,解码器中的每层解码层通过其解码回召层各输出一个概率图;根据概率图得到总损失,训练多视野卷积网络的参数;
所述的影像分割模块用于对训练好的多视野卷积网络的解码回召层进行剪枝;通过剪枝后的多视野卷积网络分割医学影像。
本实施例中,如图6所示,在需要进行医学影像分割时,首先通过数据收集模块获取医疗影像数据:对数据进行预处理,并将数据划分为训练数据和测试数据;
然后通过网络训练模块对通过网络构建模块构建好的模型进行训练:将训练数据输入到编码器,获取每层编码层输出的语义特征;将编码层输出的寓意特征输入到解码器中,并通过对应的解码回召层,每层解码层输出一个概率图;对每层解码层输出的概率图的损失进行加权计算,得到模型总损失,再进行反向传播优化多视野卷积网络参数。
最后通过影像分割模块对训练好的多视野卷积网络进行测试;首先对网络中解码回召层进行剪枝;将测试数据通过剪枝好的多视野卷积网络进行预测输出。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于解码层损失回召的医学影像分割方法,其特征在于:包括以下步骤:
S1、收集带标签的数据集,并进行预处理得到训练数据集;
S2、通过将卷积网络的编码器中的部分卷积替换成多视野卷积,并在卷积网络的解码器中的解码层中加入用于解码层损失回召的解码回召层,构建多视野卷积网络;
S3、将训练数据集输入多视野卷积网络的编码器中,提取若干层语义特征;将若干层语义特征输入到多视野卷积网络的解码器中,解码器中的每层解码层通过其解码回召层各输出一个概率图;根据概率图得到总损失,训练多视野卷积网络的参数;
S4、对训练好的多视野卷积网络的解码回召层进行剪枝;通过剪枝后的多视野卷积网络分割医学影像。
2.根据权利要求1所述的基于解码层损失回召的医学影像分割方法,其特征在于:多视野卷积网络的解码器有N个编码层;
第1到第N-1层编码层由3x3卷积、L个多视野卷积、下采样依次串联组成;
第N层编码层由2个卷积组成。
3.根据权利要求2所述的基于解码层损失回召的医学影像分割方法,其特征在于:所述的多视野卷积包括2个3x3卷积、2个1x1卷积、最大池化层、第1全连接层、第2全连接层、平均池化层、ReLu函数、Sigmod函数;
其中,1个3x3卷积、1个1x1卷积、最大池化层并联为多视野卷积;
1个3x3卷积、1个1x1卷积、多视野卷积、平均池化层、第1全连接层、ReLu函数、第2全连接层、Sigmod函数依次串联。
5.根据权利要求4所述的基于解码层损失回召的医学影像分割方法,其特征在于:多视野卷积网络的解码器有N-1个解码层;
其中,第1层的解码层由上采样、特征融合层、3x3卷积、L个多视野卷积和Sigmod函数依次串联组成;
第2到N-1层的解码层由上采样、特征融合层、3x3卷积、L个多视野卷积和解码回召层依次串联组成;
所述的特征融合层由2个并联的1x1的卷积、ReLu函数、平均池化层、2个卷积和Sigmod函数依次串联组成。
6.根据权利要求5所述的基于解码层损失回召的医学影像分割方法,其特征在于:所述的解码回召层由3x3的卷积、2个多视野卷积、Sigmod函数组成;
3x3的卷积、2个多视野卷积、Sigmod函数依次串联;
解码层中,3x3的卷积的输入为L个多视野卷积的输出,并且解码回召层中的2个多视野卷积还分别与3x3的卷积的输入和3x3的卷积连接。
7.根据权利要求6所述的基于解码层损失回召的医学影像分割方法,其特征在于:所述的步骤S3中,将若干层语义特征输入到多视野卷积网络的解码器中,解码器中的每层解码层通过其解码回召层各输出一个概率图,具体为:
第N-1层解码层解码:将第N编码层经过上采样输出的特征和第N-1层编码层输出的语义特征/>共同输入到第N-1层解码层的特征融合层,再经过其3x3卷积和L个多视野卷积得到/>,再经过解码回召层得到概率图/>;
从而得到N-1个概率图。
8.根据权利要求7所述的基于解码层损失回召的医学影像分割方法,其特征在于:所述的步骤S3中,解码器中的每层解码层通过其解码回召层各输出一个概率图;根据概率图得到总损失,训练多视野卷积网络的参数,具体为:
S301、计算第一层解码层的损失:
S304、根据总损失,利用pytorch进行搭建网络框架,完成反向传播,优化多视野卷积网络参数。
9.根据权利要求1所述的基于解码层损失回召的医学影像分割方法,其特征在于:所述的步骤S4中,对训练好的多视野卷积网络的解码回召层进行剪枝;通过剪枝后的多视野卷积网络分割医学影像,具体为:
S401、通过剪枝去掉多视野卷积网络的解码回召层
S402、对需要预测的医学影像进行数据预处理;
S403、 将预处理后的影像输入到剪枝后的多视野卷积网络中,输出相关器官组织和病灶区域的位置与形状的掩码分割预测图,实现对医学影像的自动分割。
10.一种基于解码层损失回召的医学影像分割系统,其特征在于:包括数据收集模块、网络构建模块、网络训练模块、影像分割模块;
所述的数据收集模块用于收集带标签的数据集,并进行预处理得到训练数据集;
所述的网络构建模块用于通过将卷积网络的编码器中的部分卷积替换成多视野卷积,并在卷积网络的解码器中的解码层中加入用于解码层损失回召的解码回召层,构建多视野卷积网络;
所述的网络训练模块用于将训练数据集输入多视野卷积网络的编码器中,提取若干层语义特征;将若干层语义特征输入到多视野卷积网络的解码器中,解码器中的每层解码层通过其解码回召层各输出一个概率图;根据概率图得到总损失,训练多视野卷积网络的参数;
所述的影像分割模块用于对训练好的多视野卷积网络的解码回召层进行剪枝;通过剪枝后的多视野卷积网络分割医学影像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310403445.3A CN116152502B (zh) | 2023-04-17 | 2023-04-17 | 一种基于解码层损失回召的医学影像分割方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310403445.3A CN116152502B (zh) | 2023-04-17 | 2023-04-17 | 一种基于解码层损失回召的医学影像分割方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116152502A true CN116152502A (zh) | 2023-05-23 |
CN116152502B CN116152502B (zh) | 2023-09-01 |
Family
ID=86350906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310403445.3A Active CN116152502B (zh) | 2023-04-17 | 2023-04-17 | 一种基于解码层损失回召的医学影像分割方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116152502B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110288570A (zh) * | 2019-05-31 | 2019-09-27 | 东南大学 | 一种基于视觉注意机制的转子绕线弱反光图像检测方法 |
CN112927255A (zh) * | 2021-02-22 | 2021-06-08 | 武汉科技大学 | 一种基于上下文注意力策略的三维肝脏影像语义分割方法 |
WO2022043910A1 (en) * | 2020-08-27 | 2022-03-03 | Iitb-Monash Research Academy | Systems and methods for automatically enhancing low-dose pet images with robustness to out-of-distribution (ood) data |
CN114240969A (zh) * | 2021-12-21 | 2022-03-25 | 北京交通大学 | 基于条纹多视野卷积网络的多线激光图像缺陷分割方法 |
CN114611674A (zh) * | 2022-03-22 | 2022-06-10 | 奥比中光科技集团股份有限公司 | 一种U-net模型的轻量化方法及装置 |
CN115035904A (zh) * | 2022-04-14 | 2022-09-09 | 南京大学 | 一种基于生成式对抗神经网络的高质量声码器模型 |
US20220309674A1 (en) * | 2021-03-26 | 2022-09-29 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on u-net |
CN115409847A (zh) * | 2022-07-22 | 2022-11-29 | 桂林电子科技大学 | 一种基于ct影像的轻量化分割方法 |
-
2023
- 2023-04-17 CN CN202310403445.3A patent/CN116152502B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110288570A (zh) * | 2019-05-31 | 2019-09-27 | 东南大学 | 一种基于视觉注意机制的转子绕线弱反光图像检测方法 |
WO2022043910A1 (en) * | 2020-08-27 | 2022-03-03 | Iitb-Monash Research Academy | Systems and methods for automatically enhancing low-dose pet images with robustness to out-of-distribution (ood) data |
CN112927255A (zh) * | 2021-02-22 | 2021-06-08 | 武汉科技大学 | 一种基于上下文注意力策略的三维肝脏影像语义分割方法 |
US20220309674A1 (en) * | 2021-03-26 | 2022-09-29 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on u-net |
CN114240969A (zh) * | 2021-12-21 | 2022-03-25 | 北京交通大学 | 基于条纹多视野卷积网络的多线激光图像缺陷分割方法 |
CN114611674A (zh) * | 2022-03-22 | 2022-06-10 | 奥比中光科技集团股份有限公司 | 一种U-net模型的轻量化方法及装置 |
CN115035904A (zh) * | 2022-04-14 | 2022-09-09 | 南京大学 | 一种基于生成式对抗神经网络的高质量声码器模型 |
CN115409847A (zh) * | 2022-07-22 | 2022-11-29 | 桂林电子科技大学 | 一种基于ct影像的轻量化分割方法 |
Non-Patent Citations (3)
Title |
---|
DINGKUN ZHU 等: "Rapid fault extraction from seismic images via deep learning", 《JOURNAL OF ELECTRONIC IMAGING》, vol. 31, no. 5, pages 1 - 12 * |
郭晓轩 等: "多线激光光条图像缺陷分割模型研究", 《电子学报》, vol. 51, no. 1, pages 172 - 179 * |
龚锦丹 等: "直肠癌术前分期中CT 影像诊断的应用及意义探究", 《影像研究与医学应用》, vol. 4, no. 19, pages 13 - 15 * |
Also Published As
Publication number | Publication date |
---|---|
CN116152502B (zh) | 2023-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
CN113674253B (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
CN114663431B (zh) | 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统 | |
CN110889852B (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
CN112927255B (zh) | 一种基于上下文注意力策略的三维肝脏影像语义分割方法 | |
CN110675406A (zh) | 基于残差双注意力深度网络的ct图像肾脏分割算法 | |
CN113012172A (zh) | 一种基于AS-UNet的医学图像分割方法及系统 | |
CN112767417B (zh) | 一种基于级联U-Net网络的多模态图像分割方法 | |
CN111696126B (zh) | 一种基于多视角的多任务肝脏肿瘤图像分割方法 | |
CN113393469A (zh) | 基于循环残差卷积神经网络的医学图像分割方法和装置 | |
Wazir et al. | HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images | |
CN112750137B (zh) | 基于深度学习的肝脏肿瘤分割方法及系统 | |
CN113436173A (zh) | 基于边缘感知的腹部多器官分割建模、分割方法及系统 | |
CN114998265A (zh) | 一种基于改进U-Net的肝脏肿瘤分割方法 | |
CN114596317A (zh) | 一种基于深度学习的ct影像全心脏分割方法 | |
CN116363081A (zh) | 基于深度神经网络的胎盘植入mri征象检测分类方法及装置 | |
CN116091412A (zh) | 一种从pet/ct图像中分割肿瘤的方法 | |
CN117649385A (zh) | 一种基于全局和局部注意力机制的肺部ct图像分割方法 | |
CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
CN117197454A (zh) | 一种肝脏及肝肿瘤数据分割方法及系统 | |
CN116152502B (zh) | 一种基于解码层损失回召的医学影像分割方法及系统 | |
CN115841457A (zh) | 一种融合多视图信息的三维医学图像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |