CN113436127A - 基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质 - Google Patents
基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113436127A CN113436127A CN202110807571.6A CN202110807571A CN113436127A CN 113436127 A CN113436127 A CN 113436127A CN 202110807571 A CN202110807571 A CN 202110807571A CN 113436127 A CN113436127 A CN 113436127A
- Authority
- CN
- China
- Prior art keywords
- liver
- deep learning
- dimensional image
- segmentation model
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004185 liver Anatomy 0.000 title claims abstract description 186
- 230000011218 segmentation Effects 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000013135 deep learning Methods 0.000 title claims abstract description 70
- 238000012549 training Methods 0.000 claims abstract description 44
- 230000007246 mechanism Effects 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims description 39
- 238000010606 normalization Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000002604 ultrasonography Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 18
- 238000002591 computed tomography Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000002411 adverse Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 201000007270 liver cancer Diseases 0.000 description 2
- 208000014018 liver neoplasm Diseases 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 208000005718 Stomach Neoplasms Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 206010017758 gastric cancer Diseases 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 208000011581 secondary neoplasm Diseases 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 201000011549 stomach cancer Diseases 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000004614 tumor growth Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于深度学习的自动化肝脏分段模型的构建方法，包括：获取样本肝脏三维影像，并获取样本肝脏三维影像的肝脏分段标签；将样本肝脏三维影像和肝脏分段标签作为训练集，对肝脏分段模型迭代进行深度学习训练，得到经过训练的肝脏分段模型，其中肝脏分段模型采用的深度学习网络是基于UNet/VNet和通道注意力机制相结合的分段网络。还提供了相关的装置、计算机设备和可读存储介质。由于采用UNet/VNet和通道注意力机制相结合，通过UNet/VNet更多挖掘样本肝脏三维影像的影像信息，通过通道注意力机制对重要通道信息赋予更高的权重，得到更准确的预测结果，可以为医生提供准确且高效的肝脏分段结果。
Description
技术领域
本发明涉及医学影像处理技术领域，特别涉及肝脏分段技术领域，具体是指一种基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质。
背景技术
肝癌是世界上最常见的癌症疾病之一，目前肝癌超越胃癌挤进了癌症死亡的前三。肝脏是原发或继发肿瘤生长的常见部位，它们的异质和扩散形状使其很难进行分段解剖。因此，对肝脏中的每个分段能够实现精确推断和测量是现代肝脏手术的先决条件。
在临床诊断中，沿着Z轴远距离探索空间信息来进行肝脏分段是十分耗时的，因而需要自动化方法来高效解决。近来，深度学习在计算机视觉领域表现优异，已应用在CT的肝脏和肿瘤的自动化分割(Sun,C.,et al.:Automatic segmentation of liver tumorsfrom multiphase contrast enhanced ct images based on FCNs[J].AI Med.2017,83:58–66)和自动化分段(Tian J,Liu L,Shi Z,et al.Automatic Couinaud Segmentationfrom CT Volumes on Liver Using GLC-UNet[M].Machine Learning in MedicalImaging,10th International Workshop,MLMI 2019,Held in Conjunction with MICCAI2019,Shenzhen,China,October 13,2019,Proceedings.2019)中。
上述的现有的基于CT的自动化肝脏分段方法基于深度学习Unet 2D网络(Ronneberger,O.,Fischer,P.,Brox,T.:U-Net:convolutional networks forbiomedical image segmentation.In:Navab,N.,Hornegger,J.,Wells,W.M.,Frangi,A.F.(eds.)MICCAI 2015.LNCS,vol.9351,pp.234–241.Springer,Cham(2015))通过全局和局部信息对CT数据进行肝脏分段，整个网络基于2D切片实现肝脏分割和肝脏分段两个任务。该网络采用的注意力机制是多层感知机，主要针对多层级的全局和局部信息的由粗到细进行特征提取。该网络的解码过程最终通过多层级融合实现对肝脏分段的结果预测。
但目前基于MRI的自动化肝脏分段研究较少，仍采用传统的算法分步骤实现(Lebre M A,Vacavant A,Grand-Brochier M,et al.Automatic segmentation methodsfor liver and hepatic vessels from CT and MRI volumes,applied to the Couinaudscheme[J].Computers in Biology and Medicine,2019,110(7):42-51)，即肝脏分割、血管中心线提取和重建肝脏分段。
由于现有的肝脏分段技术集中在两个方面：基于深度学习的CT肝脏分段和基于传统算法的MRI肝脏分段。然而，相对于CT，MRI能够提供多序列成像、多种图像模态等影像信息，它对疾病的诊断具有很大的潜在优越性，而深度学习相对传统算法能够自动化挖掘更潜在的影像信息。
因此，希望提供一种基于深度学习的自动化肝脏分段模型的构建方法，其能够获得准确且高效的自动化肝脏分段结果。
发明内容
本发明的目的是为了克服上述现有技术中的缺点，提供能够获得准确且高效的自动化肝脏分段结果的基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质。
为达到以上目的，在本发明的第一方面，提供一种基于深度学习的自动化肝脏分段模型的构建方法，其特点是，包括以下步骤：
(1)获取样本肝脏三维影像，并获取所述样本肝脏三维影像的肝脏分段标签；
(2)将所述样本肝脏三维影像和所述肝脏分段标签作为训练集，对肝脏分段模型迭代进行深度学习训练，得到经过训练的肝脏分段模型，其中所述肝脏分段模型采用的深度学习网络是基于UNet/VNet和通道注意力机制相结合的分段网络。
较佳地，在所述步骤(1)中，所述样本肝脏三维影像是肝脏MRI三维影像、肝脏B超三维影像、肝脏CT三维影像或肝脏MRS三维影像。
较佳地，在所述步骤(1)中，所述的获取样本肝脏三维影像的步骤具体包括：
对原始样本肝脏三维影像进行预处理得到所述样本肝脏三维影像，所述预处理包括直方图均衡化、标准化和归一化处理中的一种或几种。
较佳地，在所述步骤(2)中，所述UNet是UNet2.5D、UNet2D、UNet3D、UNet++、Res-UNet、Dense U-Net、MultiResUNet、R2U-Net或Attention UNet。
较佳地，在所述步骤(2)中，所述深度学习网络包括卷积层、池化层、反卷积层、级联层和批标准化层，所述卷积层通过所述池化层信号连接所述反卷积层，所述级联层分别信号连接所述卷积层、所述池化层、所述反卷积层和所述批标准化层，所述卷积层提取所述样本肝脏三维影像的特征图，所述池化层对所述特征图进行下采样操作，所述反卷积层对所述特征图填补后做卷积操作来扩大所述特征图的尺寸，所述级联层将不同层级输出的所述特征图进行组合，所述批标准化层对所述特征图的数值进行标准化。
较佳地，在所述步骤(2)中，所述深度学习训练包括编码过程和解码过程，所述编码过程和所述解码过程均采用所述UNet/VNet和所述通道注意力机制，所述解码过程还采用多层级融合操作和全监督操作中的一种或几种。
更佳地，在所述步骤(2)中，所述全监督操作采用的损失函数为多分类交叉熵损失函数。
在本发明的第二方面，提供一种基于深度学习的自动化肝脏分段模型的构建装置，其特点是，包括：
肝脏分段模型训练模块，采用基于UNet/VNet和通道注意力机制相结合的分段网络，用于以样本肝脏三维影像和所述样本肝脏三维影像的肝脏分段标签作为训练集，对肝脏分段模型迭代进行深度学习训练，得到经过训练的肝脏分段模型。
在本发明的第三方面，提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特点是，所述处理器执行所述计算机程序时实现上述的基于深度学习的自动化肝脏分段模型的构建方法。
在本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特点是，所述计算机程序被处理器执行时实现上述的基于深度学习的自动化肝脏分段模型的构建方法。
采用了本发明的基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质，由于采用UNet/VNet和通道注意力机制相结合，通过UNet/VNet更多挖掘样本肝脏三维影像的影像信息，通过通道注意力机制对重要通道信息赋予更高的权重，这有利于提取对最终预测结果贡献更大的特征，在解码过程还不仅采用多层级融合方式，而且利用全监督方式对多层级特征进行优化，得到更准确的预测结果，可以为医生提供准确且高效的肝脏分段结果。
附图说明
图1是本发明的基于深度学习的自动化肝脏分段模型的构建方法的一具体实施例的流程示意图。
图2是图1所示的具体实施例中肝脏分段模型深度学习训练的方法示意图。
图3是图1所示的具体实施例中验证经过训练的肝脏分段模型的人工标注肝脏分段标签示意图。
图4是图1所示的具体实施例中验证经过训练的肝脏分段模型的模型预测结果示意图。
图5是本发明的基于深度学习的自动化肝脏分段模型的构建装置的一具体实施例的框架示意图。
具体实施方式
为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限制本发明。
请参见图1～图2所示，在本发明的一具体实施例中，本发明的基于深度学习的自动化肝脏分段模型的构建方法包括以下步骤：
(1)获取样本肝脏三维影像，并获取所述样本肝脏三维影像的肝脏分段标签；
(2)将所述样本肝脏三维影像和所述肝脏分段标签作为训练集，对肝脏分段模型迭代进行深度学习训练，得到经过训练的肝脏分段模型，其中所述肝脏分段模型采用的深度学习网络是基于UNet/VNet和通道注意力机制(Jie Hu,Li Shen,et al.Squeeze-and-Excitation Networks.[J].IEEE transactions on pattern analysis and machineintelligence[J].2020,42(8):2011-2023)相结合的分段网络。
其中，肝脏分段模型，是用于进行肝脏分段处理的机器学习模型。可以通过深度学习训练，得到经过训练的肝脏分段模型。
也就是说，将上述训练集中的样本肝脏三维影像输入深度学习网络中，得到肝脏分段预测数据，然后将肝脏分段预测数据与训练集中的肝脏分段标签进行差异对比，根据该差异迭代地更新深度学习网络，直到满足迭代终止条件，得到肝脏分段模型。
在所述步骤(1)中，肝脏三维影像，是对肝脏拍摄的三维影像。
在所述步骤(1)中，所述样本肝脏三维影像可以是任何合适类型的肝脏三维影像，例如肝脏MRI(Magnetic Resonance Imaging，磁共振成像)三维影像、肝脏B超(type-Bultrasonic，B型超声检查)三维影像、肝脏CT(Computed Tomography，电子计算机断层扫描)三维影像或肝脏MRS(Magnetic Resonance Spectroscopy，磁共振波谱)三维影像，在本发明的一具体实施例中，所述样本肝脏三维影像是肝脏MRI三维影像。
在所述步骤(1)中，所述的获取样本肝脏三维影像的步骤具体可以采用任何合适的方法，在本发明的一具体实施例中，在所述步骤(1)中，所述的获取样本肝脏三维影像的步骤具体包括：
对原始样本肝脏三维影像进行预处理得到所述样本肝脏三维影像，所述预处理包括直方图均衡化、标准化和归一化处理中的一种或几种。
其中，原始样本肝脏三维影像，是未经过预处理的样本肝脏三维影像。直方图均衡化处理，使得图像灰度的动态范围得到增强，进而提高图像的对比度；标准化是将数据变换为均值为0，标准差为1的分布，归一化是将数据变化到某个固定区间，这里区间为[0，1]，使得在模型训练梯度下降过程中加快求解过程，也避免了梯度爆炸等不利因素。
在所述步骤(2)中，所述UNet可以是任何合适的UNet，例如UNet2.5D、UNet2D、UNet3D、UNet++、Res-UNet、Dense U-Net、MultiResUNet、R2U-Net或Attention UNet，请参见图2所示，在本发明的一具体实施例中，所述UNet是UNet2.5D。
在所述步骤(2)中，所述深度学习网络可以包括任何合适的构成，在本发明的一具体实施例中，在所述步骤(2)中，所述深度学习网络包括卷积层、池化层、反卷积层、级联层和批标准化层，所述卷积层通过所述池化层信号连接所述反卷积层，所述级联层分别信号连接所述卷积层、所述池化层、所述反卷积层和所述批标准化层，所述卷积层提取所述样本肝脏三维影像的特征图，所述池化层对所述特征图进行下采样操作，所述反卷积层对所述特征图填补后做卷积操作来扩大所述特征图的尺寸，所述级联层将不同层级输出的所述特征图进行组合，所述批标准化层对所述特征图的数值进行标准化。
其中，所述卷积层通过设置卷积核大小和步长来提取所述样本肝脏三维影像的特征图，所述批标准化层对所述特征图的数值进行标准化来提高梯度的收敛速度加快训练并缓解梯度消失问题。
在所述步骤(2)中，所述深度学习训练可以包括任何合适的训练过程，请参见图2所示，在本发明的一具体实施例中，在所述步骤(2)中，所述深度学习训练包括编码过程和解码过程，所述编码过程和所述解码过程均采用所述UNet/VNet和所述通道注意力机制，所述解码过程还采用多层级融合操作和全监督操作中的一种或几种。
在所述步骤(2)中，所述全监督操作采用的损失函数可以是任何合适的损失函数，在本发明的一具体实施例中，在所述步骤(2)中，所述全监督操作采用的损失函数为多分类交叉熵损失函数。
如图2所示，是通过深度学习训练，得到经过训练的肝脏分段模型的过程示意图。从图2中可知，整体训练过程是这样的：将原始医学影像(即样本肝脏三维影像)输入到深度学习网络中，得到深度学习网络预测结果，然后将预测结果(即肝脏分段预测数据)和人工标注(即肝脏分段标签)作对比，并反馈给深度学习网络，以人工标注作为目标，根据反馈的对比信息不断更新深度学习网络，直到预测结果与人工标注接近，即得到本实施例中的经过训练的肝脏分段模型。
以下，以500份原始样本肝脏MRI三维影像为例，具体说明本发明的基于深度学习的自动化肝脏分段模型的构建方法。
1、MRI数据预处理
读取500份原始样本肝脏MRI三维影像的DICOM数据，采用直方图均衡化、标准化和归一化的方式进行预处理。直方图均衡化处理使得图像灰度的动态范围得到增强，进而提高图像的对比度。标准化将数据变换为均值为0，标准差为1的分布。归一化将数据变化到固定区间[0，1]。其中，标准化和归一化处理，使得在模型训练梯度下降过程中加快求解过程，也避免了梯度爆炸等不利因素。获得500份样本肝脏MRI三维影像，将其中350份(70％)样本肝脏MRI三维影像和对应的肝脏分段标签作为训练集，150份(30％)肝脏MRI三维影像和对应的肝脏分段标签作为验证集。
2、肝脏分段模型构建
将训练集输入图2所示的基于UNet2.5D和通道注意力机制相结合的分段网络，具体地，编码过程包括3个层级的UNet2.5D和通道注意力机制，所述解码过程也包括3个层级的UNet2.5D和通道注意力机制，训练过程设置batch大小、学习率、核初始化参数，采用Adam优化器进行训练，损失函数采用多分类交叉熵损失函数。
(1)设置编码过程和解码过程的模型参数：卷积层，其卷积核的尺寸大小为3*3，核初始化采用LeCun均匀初始化器；激活函数使用线性整流函数(Rectified Linear Unit,ReLU)，又称修正线性单元；反卷积层的卷积核尺寸大小为3*3。
(2)设置网络模型输出参数：卷积层，其卷积核的尺寸大小为1*1；激活函数采用Sigmoid函数，将输出值映射在0到1之间。
(3)设置模型训练过程参数：batch设置为8；采用Adam优化器，其使用动量和自适应学习率来加快收敛速度，初始学习率设置为0.0001；损失函数采用多分类交叉熵损失函数；epoch设置为300。
(4)开始训练直至模型收敛，保留最优训练模型。即获得经过训练的肝脏分段模型。
3、肝脏分段模型验证
将验证集输入上述获得的经过训练的肝脏分段模型，将模型预测结果与肝脏分段标签进行定量和定性比较。其中，定量时采用Dice系数衡量验证集的平均效果(验证集Dice系数在0.81)。验证集上二维切片的定性预测效果如图3和图4所示。
从而，本发明首次将深度学习应用于MRI的肝脏分段，探索多模态影像信息，自动化挖掘影像中更多的潜在信息，提出一种端到端的自动化肝脏分段方法。
现有技术所应用的深度学习算法中，基于2D的卷积神经网络会忽视MRI上下层级之间空间信息，导致准确率降低，而基于3D的卷积神经网络会造成内存消耗等问题。因此，本发明采用UNet2.5D作为基础网络对MRI实现高效的自动化肝脏分段，主要的优势：相对UNet2D和UNet3D基础网络，本发明采用UNet2.5D不仅能够挖掘MRI影像上下层的空间信息，而且能够避免内存消耗等不利因素。此外，现有技术采用多层感知机的注意力机制，没有关注到通道特征的重要性和对最终预测结果的贡献，本发明的网络模型设计中利用通道注意力机制来充分挖掘通道特征信息，完成在通道维度上对原始特征的重新标定，即对通道特征的重要性进行加权。最后，为充分利用不同层级的特征信息，在解码过程采用全监督的方式进行多层级优化，并最终进行多层级融合实现准确且高效的端到端的肝脏分段任务。
因此，本发明的基于深度学习的自动化肝脏分段模型的构建方法主要包括数据预处理和肝脏分段模型构建。肝脏分段模型构建包括编码过程和解码过程，编码过程和解码过程均采用UNet/VNet和通道注意力机制相结合，解码过程除了多层级融合之外，对每个层级都进行全监督操作，即每个层级的输出都与肝脏分段标签计算损失，并一起参与到训练过程中。全监督使得网络解码过程的不同层级输出由粗到细不断优化，提高模型的预测准确率。训练过程设置batch大小、学习率、核初始化参数，采用Adam优化器进行训练，损失函数采用多分类交叉熵损失函数。深度学习网络是单输入多输出的结构，训练时解码过程采用全监督模式，测试时解码过程只输出多层级融合的最终预测结果。
请参见图5所示，在本发明的一具体实施例中，本发明还提供一种基于深度学习的自动化肝脏分段模型的构建装置，包括：
肝脏分段模型训练模块，采用基于UNet/VNet和通道注意力机制相结合的分段网络，用于以样本肝脏三维影像和所述样本肝脏三维影像的肝脏分段标签作为训练集，对肝脏分段模型迭代进行深度学习训练，得到经过训练的肝脏分段模型。
所述的基于深度学习的自动化肝脏分段模型的构建装置还可以包括其它任何合适的构成，请参见图3所示，在本发明的一具体实施例中，所述的基于深度学习的自动化肝脏分段模型的构建装置还包括预处理模块，所述预处理模块信号连接所述肝脏分段模型训练模块并用于对原始样本肝脏三维影像进行预处理得到所述样本肝脏三维影像，所述预处理包括直方图均衡化、标准化和归一化处理中的一种或几种。
所述的基于UNet/VNet和通道注意力机制相结合的分段网络可以包括任何合适的构成，在本发明的一具体实施例中，所述的基于UNet/VNet和通道注意力机制相结合的分段网络包括卷积层、池化层、反卷积层、级联层和批标准化层，所述卷积层通过所述池化层信号连接所述反卷积层，所述级联层分别信号连接所述卷积层、所述池化层、所述反卷积层和所述批标准化层，所述卷积层提取所述样本肝脏三维影像的特征图，所述池化层对所述特征图进行下采样操作，所述反卷积层对所述特征图填补后做卷积操作来扩大所述特征图的尺寸，所述级联层将不同层级输出的所述特征图进行组合，所述批标准化层对所述特征图的数值进行标准化。
所述肝脏分段模型训练模块可以包括任何合适的构成，较佳地，所述肝脏分段模型训练模块包括编码模块和解码模块，所述编码模块信号连接所述解码模块，所述编码模块和所述解码模块分别包括若干依次信号连接的UNet/VNet+通道注意力机制模块，所述编码模块的最下游的所述UNet/VNet+通道注意力机制模块信号连接所述解码模块的最上游的所述UNet/VNet+通道注意力机制模块，所述解码模块还包括多层级融合模块和全监督模块中的一种或几种，所述多层级融合模块分别信号连接所述解码模块的所述UNet/VNet+通道注意力机制模块并用于将该所述解码模块的所述UNet/VNet+通道注意力机制模块输出的特征图进行融合，所述全监督模块分别信号连接所述解码模块的所述UNet/VNet+通道注意力机制模块并用于将该所述解码模块的所述UNet/VNet+通道注意力机制模块输出的所述特征图与所述肝脏分段标签计算损失并优化所述特征图。请参见图2和图3所示，在本发明的一具体实施例中，所述UNet/VNet+通道注意力机制模块为UNet2.5D+通道注意力机制模块，所述编码模块包括3个层级的所述UNet2.5D+通道注意力机制模块，所述解码模块也包括3个层级的所述UNet2.5D+通道注意力机制模块。
所述全监督模块采用的损失函数可以是任何合适的损失函数，在本发明的一具体实施例中，所述全监督模块采用的损失函数为多分类交叉熵损失函数。
关于基于深度学习的自动化肝脏分段模型的构建装置的其它具体限定可以参见上文中对于基于深度学习的自动化肝脏分段模型的构建方法的限定，在此不再赘述。上述基于深度学习的自动化肝脏分段模型的构建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在本发明的一具体实施例中，本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的基于深度学习的自动化肝脏分段模型的构建方法。
在本发明的一具体实施例中，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于深度学习的自动化肝脏分段模型的构建方法。
由此，采用了本发明的基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质，由于采用UNet/VNet和通道注意力机制相结合，通过UNet/VNet更多挖掘样本肝脏三维影像的影像信息，通过通道注意力机制对重要通道信息赋予更高的权重，这有利于提取对最终预测结果贡献更大的特征，在解码过程还不仅采用多层级融合方式，而且利用全监督方式对多层级特征进行优化，得到更准确的预测结果，可以为医生提供准确且高效的肝脏分段结果。
由此可见，本发明的目的已经完整并有效的予以实现。本发明的功能及结构原理已在实施例中予以展示和说明，在不背离所述原理下，实施方式可作任意修改。所以，本发明包括了基于权利要求精神及权利要求范围的所有变形实施方式。
Claims (10)
1.一种基于深度学习的自动化肝脏分段模型的构建方法，其特征在于，包括以下步骤：
(1)获取样本肝脏三维影像，并获取所述样本肝脏三维影像的肝脏分段标签；
(2)将所述样本肝脏三维影像和所述肝脏分段标签作为训练集，对肝脏分段模型迭代进行深度学习训练，得到经过训练的肝脏分段模型，其中所述肝脏分段模型采用的深度学习网络是基于UNet/VNet和通道注意力机制相结合的分段网络。
2.如权利要求1所述的基于深度学习的自动化肝脏分段模型的构建方法，其特征在于，在所述步骤(1)中，所述样本肝脏三维影像是肝脏MRI三维影像、肝脏B超三维影像、肝脏CT三维影像或肝脏MRS三维影像。
3.如权利要求1所述的基于深度学习的自动化肝脏分段模型的构建方法，其特征在于，在所述步骤(1)中，所述的获取样本肝脏三维影像的步骤具体包括：
对原始样本肝脏三维影像进行预处理得到所述样本肝脏三维影像，所述预处理包括直方图均衡化、标准化和归一化处理中的一种或几种。
4.如权利要求1所述的基于深度学习的自动化肝脏分段模型的构建方法，其特征在于，在所述步骤(2)中，所述UNet是UNet2.5D、UNet2D、UNet3D、UNet++、Res-UNet、Dense U-Net、MultiResUNet、R2U-Net或Attention UNet。
5.如权利要求1所述的基于深度学习的自动化肝脏分段模型的构建方法，其特征在于，在所述步骤(2)中，所述深度学习网络包括卷积层、池化层、反卷积层、级联层和批标准化层，所述卷积层通过所述池化层信号连接所述反卷积层，所述级联层分别信号连接所述卷积层、所述池化层、所述反卷积层和所述批标准化层，所述卷积层提取所述样本肝脏三维影像的特征图，所述池化层对所述特征图进行下采样操作，所述反卷积层对所述特征图填补后做卷积操作来扩大所述特征图的尺寸，所述级联层将不同层级输出的所述特征图进行组合，所述批标准化层对所述特征图的数值进行标准化。
6.如权利要求1所述的基于深度学习的自动化肝脏分段模型的构建方法，其特征在于，在所述步骤(2)中，所述深度学习训练包括编码过程和解码过程，所述编码过程和所述解码过程均采用所述UNet/VNet和所述通道注意力机制，所述解码过程还采用多层级融合操作和全监督操作中的一种或几种。
7.如权利要求6所述的基于深度学习的自动化肝脏分段模型的构建方法，其特征在于，在所述步骤(2)中，所述全监督操作采用的损失函数为多分类交叉熵损失函数。
8.一种基于深度学习的自动化肝脏分段模型的构建装置，其特征在于，包括：
肝脏分段模型训练模块，采用基于UNet/VNet和通道注意力机制相结合的分段网络，用于以样本肝脏三维影像和所述样本肝脏三维影像的肝脏分段标签作为训练集，对肝脏分段模型迭代进行深度学习训练，得到经过训练的肝脏分段模型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～权利要求7中任一项所述的基于深度学习的自动化肝脏分段模型的构建方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～权利要求7中任一项所述的基于深度学习的自动化肝脏分段模型的构建方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2021103208162 | 2021-03-25 | ||
| CN202110320816.2A CN113052785A (zh) | 2021-03-25 | 2021-03-25 | 基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113436127A true CN113436127A (zh) | 2021-09-24 |
Family
ID=76515507
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110320816.2A Withdrawn CN113052785A (zh) | 2021-03-25 | 2021-03-25 | 基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质 |
| CN202110807571.6A Pending CN113436127A (zh) | 2021-03-25 | 2021-07-16 | 基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110320816.2A Withdrawn CN113052785A (zh) | 2021-03-25 | 2021-03-25 | 基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN113052785A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494482A (zh) * | 2021-12-24 | 2022-05-13 | 中国人民解放军总医院第一医学中心 | 一种基于平扫ct生成ct血管成像的方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907577A (zh) * | 2021-03-25 | 2021-06-04 | 上海志御软件信息有限公司 | 肝脏静脉血管三维结构特征定量分析方法、装置、计算机设备和存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110176004A (zh) * | 2019-04-24 | 2019-08-27 | 艾瑞迈迪科技石家庄有限公司 | 一种肝脏分段方法和系统 |
| CN110210485A (zh) * | 2019-05-13 | 2019-09-06 | 常熟理工学院 | 基于注意力机制指导特征融合的图像语义分割方法 |
| CN110211052A (zh) * | 2019-03-29 | 2019-09-06 | 北京工业大学 | 一种基于特征学习的单幅图像去雾方法 |
| CN110428428A (zh) * | 2019-07-26 | 2019-11-08 | 长沙理工大学 | 一种图像语义分割方法、电子设备和可读存储介质 |
| CN110428427A (zh) * | 2019-07-16 | 2019-11-08 | 东南大学 | 基于密集偏置网络和自编码器的半监督肾动脉分割方法 |
| CN110852317A (zh) * | 2019-09-16 | 2020-02-28 | 浙江工业大学 | 一种基于弱边缘的小尺度目标检测方法 |
| CN111161241A (zh) * | 2019-12-27 | 2020-05-15 | 联想(北京)有限公司 | 一种肝脏图像识别方法、电子设备及存储介质 |
| CN111340812A (zh) * | 2020-02-20 | 2020-06-26 | 中南大学 | 基于深度神经网络的交互式肝脏图像分割方法 |
| CN111627019A (zh) * | 2020-06-03 | 2020-09-04 | 西安理工大学 | 一种基于卷积神经网络的肝脏肿瘤分割方法及系统 |
| CN112241766A (zh) * | 2020-10-27 | 2021-01-19 | 西安电子科技大学 | 基于样本生成和迁移学习的肝脏ct图像多病变分类方法 |
-
2021
- 2021-03-25 CN CN202110320816.2A patent/CN113052785A/zh not_active Withdrawn
- 2021-07-16 CN CN202110807571.6A patent/CN113436127A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211052A (zh) * | 2019-03-29 | 2019-09-06 | 北京工业大学 | 一种基于特征学习的单幅图像去雾方法 |
| CN110176004A (zh) * | 2019-04-24 | 2019-08-27 | 艾瑞迈迪科技石家庄有限公司 | 一种肝脏分段方法和系统 |
| CN110210485A (zh) * | 2019-05-13 | 2019-09-06 | 常熟理工学院 | 基于注意力机制指导特征融合的图像语义分割方法 |
| CN110428427A (zh) * | 2019-07-16 | 2019-11-08 | 东南大学 | 基于密集偏置网络和自编码器的半监督肾动脉分割方法 |
| CN110428428A (zh) * | 2019-07-26 | 2019-11-08 | 长沙理工大学 | 一种图像语义分割方法、电子设备和可读存储介质 |
| CN110852317A (zh) * | 2019-09-16 | 2020-02-28 | 浙江工业大学 | 一种基于弱边缘的小尺度目标检测方法 |
| CN111161241A (zh) * | 2019-12-27 | 2020-05-15 | 联想(北京)有限公司 | 一种肝脏图像识别方法、电子设备及存储介质 |
| CN111340812A (zh) * | 2020-02-20 | 2020-06-26 | 中南大学 | 基于深度神经网络的交互式肝脏图像分割方法 |
| CN111627019A (zh) * | 2020-06-03 | 2020-09-04 | 西安理工大学 | 一种基于卷积神经网络的肝脏肿瘤分割方法及系统 |
| CN112241766A (zh) * | 2020-10-27 | 2021-01-19 | 西安电子科技大学 | 基于样本生成和迁移学习的肝脏ct图像多病变分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| QIANGGUO JIN 等: "RA-UNet : A hybrid deep attention-aware network to extract liver and tumor in CT scans", 《ARXIV》 * |
| 朱磊磊: "基于卷积神经网络的图像超分辨率重建算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 秦文建 等: "基于机器学习的医学影像分割关键问题研究及其在肿瘤诊疗中的应用", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494482A (zh) * | 2021-12-24 | 2022-05-13 | 中国人民解放军总医院第一医学中心 | 一种基于平扫ct生成ct血管成像的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113052785A (zh) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chaitanya et al. | Semi-supervised task-driven data augmentation for medical image segmentation | |
| Lather et al. | Investigating brain tumor segmentation and detection techniques | |
| Niyas et al. | Medical image segmentation with 3D convolutional neural networks: A survey | |
| Zhao et al. | A novel U-Net approach to segment the cardiac chamber in magnetic resonance images with ghost artifacts | |
| EP3852054A1 (en) | Method and system for automatically detecting anatomical structures in a medical image | |
| Ypsilantis et al. | Recurrent convolutional networks for pulmonary nodule detection in CT imaging | |
| CN115170582A (zh) | 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法 | |
| CN113436127A (zh) | 基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质 | |
| US11776128B2 (en) | Automatic detection of lesions in medical images using 2D and 3D deep learning networks | |
| EP4030385A1 (en) | Devices and process for synthesizing images from a source nature to a target nature | |
| CN112819831A (zh) | 基于卷积Lstm及多模型融合的分割模型生成方法及装置 | |
| La Rosa | A deep learning approach to bone segmentation in CT scans | |
| Mukherjee et al. | Domain adapted multitask learning for segmenting amoeboid cells in microscopy | |
| Ibrahim et al. | Deep learning based Brain Tumour Classification based on Recursive Sigmoid Neural Network based on Multi-Scale Neural Segmentation | |
| Baumgartner et al. | Fully convolutional networks in medical imaging: Applications to image enhancement and recognition | |
| Dickson et al. | An integrated 3D-sparse deep belief network with enriched seagull optimization algorithm for liver segmentation | |
| CN116759076A (zh) | 一种基于医疗影像的无监督疾病诊断方法及系统 | |
| Asma-Ull et al. | Data efficient segmentation of various 3d medical images using guided generative adversarial networks | |
| Ammari et al. | Deep-active-learning approach towards accurate right ventricular segmentation using a two-level uncertainty estimation | |
| Devi et al. | Hybrid convolutional neural network based segmentation of visceral and subcutaneous adipose tissue from abdominal magnetic resonance images | |
| Zhao et al. | Automated breast lesion segmentation from ultrasound images based on ppu-net | |
| Larsen | Exploring generative adversarial networks to improve prostate segmentation on mri | |
| Johansen et al. | Medical image segmentation: A general u-net architecture and novel capsule network approaches | |
| Ramya et al. | Design of Novel Brain Tumor Segmentation System Using Hybrid Heuristic-Aided Multiscale Self-Guided Attention Mechanism-Based Adaptive Unet+++ with 3D Brain MRI Images | |
| Shafi | Deep Learning-Based Segmentation Of Lung Images For Accurate Diagnosis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210924 |
|
| WD01 | Invention patent application deemed withdrawn after publication |