CN110047082B - 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统 - Google Patents
基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统 Download PDFInfo
- Publication number
- CN110047082B CN110047082B CN201910237004.4A CN201910237004A CN110047082B CN 110047082 B CN110047082 B CN 110047082B CN 201910237004 A CN201910237004 A CN 201910237004A CN 110047082 B CN110047082 B CN 110047082B
- Authority
- CN
- China
- Prior art keywords
- pancreatic neuroendocrine
- deep
- neuroendocrine tumor
- deep learning
- enhanced image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统,方法包括:获取胰腺神经内分泌肿瘤患者的计算机断层扫描增强图像;采用深度学习的方法对获取的计算机断层扫描增强图像进行病灶自动分割,所述深度学习的方法采用深度卷积神经网络。本发明用深度学习的方法对获取的计算机断层扫描增强图像进行病灶自动分割,将深度学习和计算机断层扫描增强图像结合起来应用于胰腺神经内分泌肿瘤的病灶分割上,能通过深度卷积神经网络的特征学习自动分割出肿瘤的病灶区域,受医生的经验影响小,更加准确,且节省了医生人工勾画出病灶区域的时间和精力,效率更高。本发明可广泛应用于医学图像处理领域。
Description
技术领域
本发明涉及医学图像处理领域,尤其是一种基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统。
背景技术
胰腺神经内分泌肿瘤(pancreatic neuroendocrine neoplasm,pNENs)原称为胰岛细胞瘤,其发病率约为1/10万~4/10万,约占原发性胰腺肿瘤的3%。手术是pNENs的主要治疗手段,也是目前唯一可能治愈pNENs的方法。定位诊断对pNENs的手术治疗有重要作用,临床上通过增强后的医学影像对肿瘤进行定位,并显示出肿瘤周围的组织结构,从而勾画出病灶区域,以指导医生进行手术治疗。
在对pNENs的定位诊断中,最常用的影像学检查方法就是计算机断层扫描技术(Computed Tomography,CT)。pNENs与其他血管性病变灶一样,肿瘤在血管处对比度明显增强。但是,pNENs在CT上多表现为动脉期早期的不均匀钙化、强化或囊性变,与此同时,早期的pNENs并不会侵犯周围胆管或血管,因此通过CT增强图像能够较好地把pNENs与其他血管性病变灶区分开来,从而可以实现pNENs病灶的有效分割。
在临床上,由于pNENs病例较少,在此方面经验丰富的医生数量不多,不同医生勾画的病灶区域不尽相同,这会使得精确分割肿瘤边界的难度增大,同时人工勾画出病灶区也需要耗费大量的时间和精力,增加医生负担。相比于人工勾画,基于计算机的自动分割速度可能更快,而且分析结果更为客观,在一定程度上保证了准确度,提高了医生的工作效率。因此,迫切地需要基于CT的pNENs自动分割方案,协助医生进行精准的手术治疗,同时提高医生的工作效率。
机器学习是一种通过计算机手段从数据中学习规律并利用规律对未知数据进行预测的方法。深度学习是机器学习的一个分支,对原始数据表现出更好的处理能力,它允许机器直接对原始数据进行处理,而无需人为设计和提取特征的步骤。
目前尚未有将深度学习应用于胰腺神经内分泌肿瘤的CT增强图像上进行病灶自动分割的相关报道。
发明内容
为解决上述技术问题,本发明实施例的目的在于:提供一种效率高和准确的基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统。
一方面,本发明实施例所采取的技术方案是:
基于深度学习的胰腺神经内分泌肿瘤自动分割方法,包括以下步骤:
获取胰腺神经内分泌肿瘤患者的计算机断层扫描增强图像;
采用深度学习的方法对获取的计算机断层扫描增强图像进行病灶自动分割,所述深度学习的方法采用深度卷积神经网络。
进一步,所述获取胰腺神经内分泌肿瘤患者的计算机断层扫描增强图像这一步骤,具体包括:
获取胰腺神经内分泌肿瘤患者平扫期、动脉期和延迟期的计算机断层扫描图像数据;
对获取的动脉期的计算机断层扫描图像数据进行预处理,所述预处理包括归一化、感兴趣区域提取和扩增。
进一步,所述对获取的动脉期的计算机断层扫描图像数据进行预处理这一步骤,具体包括:
对获取的动脉期的计算机断层扫描图像数据进行归一化,得到归一化后的计算机断层扫描增强图像;
对归一化后的计算机断层扫描增强图像进行胰腺神经内分泌肿瘤的感兴趣区域提取;
对感兴趣区域提取后的图像进行数据扩增。
进一步,所述对获取的动脉期的计算机断层扫描图像数据进行归一化,得到归一化后的计算机断层扫描增强图像这一步骤,具体包括:
将获取的动脉期的计算机断层扫描增强图像存放于三维矩阵中;
将所述三维矩阵转换成若干个二维计算机断层扫描增强图像并进行归一化;
将归一化后的每张二维计算机断层扫描图像与对应的金标准一起存储至指定的文件中。
进一步,所述深度学习的方法采用DeepLabv2深度卷积神经网络,所述DeepLabv2深度卷积神经网络包括若干个第一采样块、若干个第二采样块、一个第三采样块、若干个第四采样块、一个第五采样块,
其中,第一采样块包括2个卷积模块和一个下采样模块,第二采样块包括3个卷积模块和一个下采样模块,第三采样块包括3个多孔卷积模块和一个下采样模块,所述第四采样块包括一个补零层、一个多孔卷积层、一个Dropout层和一个卷积层,第五采样块包括一个上采样模块和一个卷积层;
所述卷积模块包括一个卷积层和一个补零层,下采样模块包括一个补零层和一个最大池化层,所述多孔卷积模块包括一个补零层和一个多孔卷积层,上采样模块包括一个上采样层和一个卷积层。
进一步,所述采用深度学习的方法对获取的计算机断层扫描增强图像进行病灶自动分割这一步骤,具体包括:
根据给定的样本采用DeepLabv2深度卷积神经网络训练出胰腺神经内分泌肿瘤自动分割模型;
将获取的计算机断层扫描增强图像经预处理后输入胰腺神经内分泌肿瘤自动分割模型中,得到胰腺神经内分泌肿瘤的病灶分割结果。
进一步,所述根据给定的样本采用DeepLabv2深度卷积神经网络训练出胰腺神经内分泌肿瘤自动分割模型这一步骤,具体包括:
将给定的样本按照K折交叉校验法划分为训练集和测试集,其中K为正整数;
将训练集输入DeepLabv2深度卷积神经网络进行模型训练,得到用于胰腺神经内分泌肿瘤自动分割的若干个分类器;
采用测试集对得到的若干个分类器进行测试,得到测试性能最优的分类器作为胰腺神经内分泌肿瘤自动分割模型。
进一步,所述将训练集输入DeepLabv2深度卷积神经网络进行模型训练,得到用于胰腺神经内分泌肿瘤自动分割的若干个分类器这一步骤,具体包括:
将训练集的计算机断层扫描增强图像依次经过N1个第一采样块处理后得到第一特征图,其中,N1为正整数;
将得到的第一特征图依次经过N2个第二采样块处理后得到第二特征图,其中,N2为正整数;
将得到的第二特征图经过第三采样块处理后得到第三特征图;
将得到的第三特征图经过第四采样块处理后得到第四特征图;
将得到的第四特征图经过第五采样块处理后得到用于胰腺神经内分泌肿瘤自动分割的分类器。
另一方面,本发明实施例所采取的技术方案是:
基于深度学习的胰腺神经内分泌肿瘤自动分割系统,包括:
获取模块,用于获取胰腺神经内分泌肿瘤患者的计算机断层扫描增强图像;
病灶自动分割模块,用于采用深度学习的方法对获取的计算机断层扫描增强图像进行病灶自动分割,所述深度学习的方法采用深度卷积神经网络。
另一方面,本发明实施例所采取的技术方案是:
基于深度学习的胰腺神经内分泌肿瘤自动分割系统,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现本发明所述的基于深度学习的胰腺神经内分泌肿瘤自动分割方法。
上述所有技术方案中任一个技术方案的有益效果是:本发明实施例采用深度学习的方法对获取的计算机断层扫描增强图像进行病灶自动分割,将深度学习和计算机断层扫描增强图像结合起来应用于胰腺神经内分泌肿瘤的病灶分割上,能通过深度卷积神经网络的特征学习自动分割出肿瘤的病灶区域,受医生的经验影响小,更加准确,且节省了医生人工勾画出病灶区域的时间和精力,效率更高。
附图说明
图1为本发明实施例提供的基于深度学习的胰腺神经内分泌肿瘤自动分割方法的流程图;
图2为本发明具体实施例的自动分割方案流程图;
图3为胰腺神经内分泌肿瘤平扫期的CT图像;
图4为胰腺神经内分泌肿瘤动脉期的CT图像;
图5为图4对应的金标准;
图6为胰腺神经内分泌肿瘤感兴趣区域粗提取前的动脉期CT图像;
图7为图6对应的金标准;
图8为图6经感兴趣区域粗提取后的CT图像;
图9为图8对应的金标准;
图10为本发明具体实施例DeepLabv2深度卷积神经网络的结构图。
具体实施方式
首先对本发明所涉及的名词或术语进行解释:
CT:Computed Tomography,即计算机断层扫描;
金标准(Ground truth,GT):指当前临床医学界公认的诊断疾病的最可靠、最准确、最好的诊断方法。临床上常用的金标准有组织病理学检查(活检、尸检)、手术发现、影像诊断(CT、核磁共振、彩色B超)、病原体的分离培养以及长期随访所得的结论;
HU:Heat Unit,为DR、CT等医疗设备中球管的热容量单位;
k-折交叉验证(k-fold crossValidation):在机器学习中,将数据集A分为训练集(training set)B和测试集(test set)C,在样本量不充足的情况下,为了充分利用数据集对算法效果进行测试,将数据集A随机分为k个份,每次将其中一个份作为测试集,剩下k-1个份作为训练集进行训练。
DSC:Dice相似系数,用于度量两个集合的相似性。
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。
参照图1,本发明实施例提供了一种基于深度学习的胰腺神经内分泌肿瘤自动分割方法,包括以下步骤:
获取胰腺神经内分泌肿瘤患者的计算机断层扫描增强图像;
采用深度学习的方法对获取的计算机断层扫描增强图像进行病灶自动分割,所述深度学习的方法采用深度卷积神经网络。
具体地,卷积神经网络(Convolutional Neural Network,CNN)是一种深度学习框架,它是一种前馈神经网络,由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网络能够利用输入数据的二维结构。相比较其他深度、前馈神经网络,卷积神经网络需要估计的参数更少,使之成为一种颇具吸引力的深度学习结构。大量的研究和应用早已证明,卷积神经网络在图像和文本上具有非常强的特征抽取能力。而深度卷积神经网络是卷积神经网络的结构基础上构建的更深的网络,其一般由卷积层、池化层、全连接层三种神经网络以及一个输出层组成,其优势在于通过对原始信号进行逐层特征变换,将样本由在原空间的特征表示变换到新的特征空间,自动地学习到层次化的特征表示,从而更有利于分类或特征的可视化。
由此可见,本发明实施例首次将深度学习(尤其是深度卷积神经网络)应用到胰腺神经内分泌肿瘤的CT增强图像上进行病灶分割,能通过深度卷积神经网络的特征学习自动分割出肿瘤的病灶区域,从而达到辅助医生精确分割胰腺神经内分泌肿瘤病灶区域的目的,受医生的经验影响小,更加准确,且节省了医生人工勾画出病灶区域的时间和精力,效率更高,促进了CT影像诊断和现代高科技整合发展。
进一步作为优选的实施方式,所述获取胰腺神经内分泌肿瘤患者的计算机断层扫描增强图像这一步骤,具体包括:
获取胰腺神经内分泌肿瘤患者平扫期、动脉期和延迟期的计算机断层扫描图像数据;
对获取的动脉期的计算机断层扫描图像数据进行预处理,所述预处理包括归一化、感兴趣区域提取和扩增。
具体地,本具体实施例可获取胰腺神经内分泌肿瘤患者平扫期、动脉期和延迟期的全面计算机断层扫描图像数据。而根据先验知识和临床实际情况,动脉期的CT增强图像观看pNENs的效果最明显,所以在实际应用时可主要选用动脉期的CT增强图像进行观察,平扫期和延迟期的图像可用于辅助观察。
归一化是为了使得获取的图像数据被限定在一定的范围内(比如[0,1]或者[-1,1]),从而消除奇异样本数据导致的不良影响。
感兴趣区域提取,通过对胰腺神经内分泌肿瘤患者的CT图像进行粗提取,得到包含病灶区域的CT图像,从而减少了背景信息的干扰,提升了分割效果。
扩增,是为了得到更多的数据作为样本用于分割模型的训练,以防止训练过程发生过拟合。扩增的方法包括左右翻转,旋转角度的变化和放大缩小等。
进一步作为优选的实施方式,所述对获取的动脉期的计算机断层扫描图像数据进行预处理这一步骤,具体包括:
对获取的动脉期的计算机断层扫描图像数据进行归一化,得到归一化后的计算机断层扫描增强图像;
对归一化后的计算机断层扫描增强图像进行胰腺神经内分泌肿瘤的感兴趣区域提取;
对感兴趣区域提取后的图像进行数据扩增。
进一步作为优选的实施方式,所述对获取的动脉期的计算机断层扫描图像数据进行归一化,得到归一化后的计算机断层扫描增强图像这一步骤,具体包括:
将获取的动脉期的计算机断层扫描增强图像存放于三维矩阵中;
将所述三维矩阵转换成若干个二维计算机断层扫描增强图像并进行归一化;
将归一化后的每张二维计算机断层扫描增强图像与对应的金标准一起存储至指定的文件中。
具体地,本具体实施例将归一化后的每张二维计算机断层扫描增强图像与对应的金标准一起存储至指定的文件中,通过将归一化的图像与对应的金标准一起存储,方便后续操作(如测试集测试)需要时进行对比。
进一步作为优选的实施方式,所述深度学习的方法采用DeepLabv2深度卷积神经网络,所述DeepLabv2深度卷积神经网络包括若干个第一采样块、若干个第二采样块、一个第三采样块、若干个第四采样块、一个第五采样块,
其中,第一采样块包括2个卷积模块和一个下采样模块,第二采样块包括3个卷积模块和一个下采样模块,第三采样块包括3个多孔卷积模块和一个下采样模块,所述第四采样块包括一个补零层、一个多孔卷积层、一个Dropout层和一个卷积层,第五采样块包括一个上采样模块和一个卷积层;
所述卷积模块包括一个卷积层和一个补零层,下采样模块包括一个补零层和一个最大池化层,所述多孔卷积模块包括一个补零层和一个多孔卷积层,上采样模块包括一个上采样层和一个卷积层。
具体地,本实施例采用了DeepLabv2网络来搭建用于胰腺神经内分泌肿瘤自动分割的网络。由于胰腺在整个CT增强图像中占比不大,直接下采样可能会使特征图密度下降而不能很好地学到有效的特征,而DeepLabv2通过使用多孔卷积则可在有限的计算资源下得到较大的感受野。多孔卷积的实现方法是:通过一个等于多孔卷积采样率r的因子对输入的特征图进行子采样,接着隔行扫描以得到降低了分辨率的低分辨率图,然后通过卷积将这些特征图恢复到原始分辨率大小。DeepLabv2主要用于语义图像分割,其中的全连接的条件随机场的主要作用就是细化分割边界。这是因为一般的语义图像上有很多类别,每个类别的边界大多不是普通的矩形、圆形等形状,边界复杂,所以使用全连接的条件随机场能在一定程度上提高分割结果。但本实施例对胰腺神经内分泌肿瘤的CT增强图像进行病灶分割时,类别只有病灶和背景,且病灶形状多呈圆形或椭圆形,边缘较平滑不尖锐,所以本实施例使用了一个卷积层代替全连接的条件随机场对输出结果进行边界细化。
进一步作为优选的实施方式,所述采用深度学习的方法对获取的计算机断层扫描增强图像进行病灶自动分割这一步骤,具体包括:
根据给定的样本采用DeepLabv2深度卷积神经网络训练出胰腺神经内分泌肿瘤自动分割模型;
将获取的计算机断层扫描增强图像经预处理后输入胰腺神经内分泌自动分割模型中,得到胰腺神经内分泌肿瘤的病灶分割结果。
具体地,给定的样本可以是临床上获得的胰腺神经内分泌肿瘤患者的实际数据。
进一步作为优选的实施方式,所述根据给定的样本采用DeepLabv2深度卷积神经网络训练出胰腺神经内分泌肿瘤自动分割模型这一步骤,具体包括:
将给定的样本按照K折交叉校验法划分为训练集和测试集,其中K为正整数;
将训练集输入DeepLabv2深度卷积神经网络进行模型训练,得到用于胰腺神经内分泌肿瘤自动分割的若干个分类器;
采用测试集对得到的若干个分类器进行测试,得到测试性能最优的分类器作为胰腺神经内分泌肿瘤自动分割模型。
进一步作为优选的实施方式,所述将训练集输入DeepLabv2深度卷积神经网络进行模型训练,得到用于胰腺神经内分泌肿瘤自动分割的若干个分类器这一步骤,具体包括:
将训练集的计算机断层扫描增强图像依次经过N1个第一采样块处理后得到第一特征图,其中,N1为正整数;
将得到的第一特征图依次经过N2个第二采样块处理后得到第二特征图,其中,N2为正整数;
将得到的第二特征图经过第三采样块处理后得到第三特征图;
将得到的第三特征图经过第四采样块处理后得到第四特征图;
将得到的第四特征图经过第五采样块处理后得到用于胰腺神经内分泌肿瘤自动分割的分类器。
具体地,训练集的计算机断层扫描增强图像不止一个,所以依次通过第一至第五采样块处理是迭代进行的,直到训练集的所有计算机断层扫描增强图像训练结束为止。
针对现有胰腺神经内分泌肿瘤病灶区域分割因对医生经验依赖过大而存在的不精准、效率低的问题,本具体实施例利用深度学习技术设计了一个深度卷积神经网络模型对胰腺神经内分泌肿瘤进行病灶的自动分割,以减轻医生的工作负担,辅助医生精确分割病灶。如图2所示,该具体实施例的方案共分为以下两个部分:1)pNENs患者CT增强图像的收集及数据预处理;2)pNENs病灶的分割。下面对这两部分进行具体说明:
第一部分:pNENs患者CT增强图像的收集及数据预处理
本具体实施例可收集pNENs患者不同期的CT图像数据,包括平扫期、动脉期和延迟期的数据。平扫期的pNENs患者图像数据是三维的腹部CT图像,如图3所示,每一层的图像大小为512×512即x轴、y轴方向大小均为512,而每一例患者具有的图像层数即z轴方向的大小从169到538不等。而pNENs在动脉期观察明显,特别是在血管处对比度增强,其CT增强图像如图4所示,故采用的是动脉期的腹部CT增强图像。动脉期pNENs病灶区域的金标准(Ground truth,GT)均由经验丰富的放射科医生手动勾画,勾画的金标准如图5所示。由于肿瘤大小不一,所以每个病人图像中包含有肿瘤的图像层层数在10到200不等,为降低分割难度,本具体实施例只选择包含肿瘤的CT增强图像进行病灶分割。
而数据预处理的过程如下:
(1)归一化:按照患者来将含有肿瘤的CT增强图像存放于三维矩阵中,并将三维矩阵转换成多个二维图像。然后设置提取出来的二维图像的窗宽为350H、窗位为55HU,并进行归一化操作,将原始图像强度设置在[0,1]之间,最后把每一张二维CT增强图像与其对应的金标准保存到一个文件中。
(2)ROI(感兴趣区域)提取:由于胰腺在腹部中占比较小,非胰腺区域的背景信息过多,同时pNENs肿瘤与周围组织差异不大,这都可能导致分割效果较差,所以需要进行人工干预。由医生在图像处理软件中框选一个包含pNENs病灶的矩形感兴趣区域(Region ofInterest,ROI),为了保证输入大小一致,本具体实施例将得到的ROI框放置到256×256的空矩阵中央,作为输入图像。图6、图7、图8和图9显示了某一个患者的某层图像的矩形ROI粗提取过程示例,其中,黄色虚线框表示包含肿瘤的最小矩形框,红色箭头表示往外填充15~30个空行,绿色实线框表示填充后的ROI框。可以看到,相比于图6的原始CT图像,图8经过ROI粗提取后的pNENs病灶在图像中占比增大,复杂背景信息减少。
(3)扩增
在深度学习网络中有很多参数,一般需要大量数据进行训练,否则训练过程容易发生过拟合。另外,每个患者的肿瘤大小不一,即扫描图像中包含肿瘤的层数不一,这会使得肿瘤较小的图像学习不到足够的特征。而体积较小的肿瘤往往边界明显模糊,肿瘤区域与非肿瘤区域差异不大。更重要的是,pNENs患者间病灶差异也很大,主要表现在位置、形状、大小等方面。因此,本具体实施例对ROI提取后的图像进行数据扩增,并保证每个患者扩增到大致相同数量的图像,大约900张,这些图像将作为深度卷积神经网络的输入。扩增所使用的方法主要有左右翻转,旋转角度变换和放大缩小:
1)根据不同患者肿瘤层数的不同,设置的旋转角度范围从0°~350°,间隔从25°~90°。
2)放大缩小的缩放比例为0.5,1,1.5,即128×128,256×256,384×384的二维图像。缩小后的图像采用填0补齐成256×256的图像,放大后的图像从中央裁剪出256×256的图像。
第二部分:pNENs病灶的分割
本具体实施例调整了深度学习中的DeepLabv2网络,并将其应用于pNENs病灶区域的分割。由于胰腺在整个腹部CT增强图像中占比不大,直接下采样可能会使特征图密度下降而不能很好地学到有效的特征,而DeepLabv2通过使用多孔卷积则可在有限的计算资源下得到较大的感受野。多孔卷积的实现方法是:通过一个等于多孔卷积采样率r的因子对输入的特征图进行子采样,接着隔行扫描以得到降低了的低分辨率图,然后通过卷积将这些特征图恢复到原始分辨率大小。另一方面,DeepLabv2主要用于语义图像分割,其中的全连接的条件随机场的主要作用就是细化分割边界。这是因为一般的语义图像上有很多类别,每个类别的边界大多不是普通的矩形、圆形等形状,边界复杂,所以使用全连接的条件随机场能在一定程度上提高分割结果。但本具体实施例对pNENs的CT增强图像进行病灶分割,类别只有病灶和背景,且病灶形状多呈圆形或椭圆形,边缘较平滑不尖锐,所以本具体实施例使用一个卷积层代替全连接的条件随机场对输出结果进行边界细化,具体网络结构如图10所示。图10中的32、64、128、256表示池化前特征图像的大小。所述卷积模块包括一个补零层和一个卷积层。每个下采样模块包括一个补零层(用于在图像边缘补零来使得输出特征图的大小等于输入图像的大小,因为若不补零,则输出特征图的大小小于输入图像的大小,会导致卷积网络的深度是有限的)和一个最大池化层。所述多孔卷积模块包括一个补零层和一个多孔卷积层。每个多孔空间金字塔池化模块包括一个补零层、一个多孔卷积层、一个Dropout层和一个卷积层,其中Dropout层随机更新网络层的参数,防止网络过拟合。每个上采样模块包括一个上采样层和一个卷积层。该网络首先对输入图像进行卷积操作,通过两个卷积模块和一个下采样模块(即第一采样块)实现一个池化功能,以增大感受野。经过两次池化之后,图像大小为64×64,改用三个卷积模块和一个下采样模块(即第二采样块)实现池化功能,再经过两次第二采样块池化后的图像大小变为32×32。接着经过三个多孔卷积模块和一个下采样模块(即第三采样块),图像大小保持为32×32。然后使用多孔空间金字塔池化模块(即第四采样块)采样得到四个不同尺度下的图像,最后将其加权融合,经过一个上采样模块和一个卷积层(即第五采样块)返回输出图像,大小与输入图像一样为256×256,并将输出图像返回到512×512大小的原始图像上。
在采用图10的网络结构进行网络训练之前,需要将数据分成训练集和测试集。划分时可以患者为单位随机把大约80%的患者数据作为训练集,余下的患者图像数据作为测试集,并对数据集进行5折交叉验证。
首先对所有数据进行归一化后进行ROI提取(具体操作见第一部分中的“归一化”和“ROI提取”)。在训练阶段,对训练集数据进行数据扩增(具体操作第一部分中的“扩增”),作为网络的输入。值得注意的是,不同的CT扫描会有不同的分辨率,本具体实施例需保持分辨率不变。网络的基础学习率lr设置为10-5,使用的损失函数是变形后的交叉熵损失函数,损失函数在机器学习中用来衡量所训练模型一次预测结果好坏的非负值函数,交叉熵损失函数可以增加训练模型的稳定性,避免出现学习缓慢的问题。优化器是Adam,Adam算法又称自适应时刻估计方法(Adaptive Moment Estimation),它是一种优化算法,在训练网络模型的过程中通过最小化(或最大化)损失函数,从而更新权重和有偏差的参数,使得模型参数接近于最优值的算法。每折扩增后的训练集在DeepLabv2网络上分别进行80000次迭代,再分别以原始训练数据量为单位,每迭代完一个单位次数则保存为一个模型。在测试阶段,本具体实施例用训练后的分割模型对测试集的每个测试患者进行pNENs病灶分割,并将分割结果同金标准进行评估。本具体实施例使用召回率(recall)、精确率(precision)和Dice相似系数(Dice similarity coefficient,DSC)这三个评价指标来评估分割结果的准确度。
召回率recall表示正样本中被模型预测正确的比例,计算公式如下:
recall=TP/(TP+FN)
精确率precision表示在模型预测为正的样本中,真正是正样本的比例,计算公式如下:
precision=TP/(TP+FP)
DSC的计算公式如下:
DSC=2TP/(FP+2TP+FN)
其中,真阳性(True Positive,TP)表示正确识别为肿瘤的区域,假阳性(FalsePositive,FP)表示被错误识别为肿瘤的非肿瘤区,假阴性(False Negative,FN)表示被错误识别为非肿瘤的肿瘤区。
采用本具体实施例的方法对56个pNENs患者的CT增强图像上进行自动分割,经过5折交叉验证的DSC平均值为82.2%,标准差为11.7%,DSC的中值为83.4%。由此可见,本具体实施例的自动分割方法的准确度较高。
综上所述,本具体实施例基于深度学习图像处理技术和CT增强图像,设计了一个深度卷积神经网络(Deep Convolutional Neural Network,DCNN)模型对pNENs进行自动分割,以此减轻医生的负担,省去了医生人工勾画出病灶区域的时间和精力,效率更高,且能辅助医生精确分割pNENs病灶区域,促进了CT影像诊断和现代高科技整合发展。
与图1的方法相对应,本发明实施例还提供了一种基于深度学习的胰腺神经内分泌肿瘤自动分割系统,包括:
获取模块,用于获取胰腺神经内分泌肿瘤患者的计算机断层扫描增强图像;
病灶自动分割模块,用于采用深度学习的方法对获取的计算机断层扫描增强图像进行病灶自动分割,所述深度学习的方法采用深度卷积神经网络。
上述方法实施例中的内容均适用于本系统实施例中,本系统实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明实施例还提供了一种基于深度学习的胰腺神经内分泌肿瘤自动分割系统,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现本发明所述的基于深度学习的胰腺神经内分泌肿瘤自动分割方法。
上述方法实施例中的内容均适用于本系统实施例中,本系统实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (6)
1.基于深度学习的胰腺神经内分泌肿瘤自动分割方法,其特征在于:包括以下步骤:
获取胰腺神经内分泌肿瘤患者的计算机断层扫描增强图像;
采用深度学习的方法对获取的计算机断层扫描增强图像进行病灶自动分割,所述深度学习的方法采用深度卷积神经网络;
其中,所述深度学习的方法采用DeepLabv2深度卷积神经网络,所述DeepLabv2深度卷积神经网络包括以下五部分:若干个第一采样块、若干个第二采样块、一个第三采样块、若干个第四采样块和一个第五采样块,
其中,第一采样块包括2个卷积模块和一个下采样模块,第二采样块包括3个卷积模块和一个下采样模块,第三采样块包括3个多孔卷积模块和一个下采样模块,所述第四采样块包括一个补零层、一个多孔卷积层、一个Dropout层和一个卷积层,第五采样块包括一个上采样模块和一个卷积层;
所述卷积模块包括一个卷积层和一个补零层,下采样模块包括一个补零层和一个最大池化层,所述多孔卷积模块包括一个补零层和一个多孔卷积层,上采样模块包括一个上采样层和一个卷积层;
其中,所述采用深度学习的方法对获取的计算机断层扫描增强图像进行病灶自动分割这一步骤,具体包括:
根据给定的样本采用DeepLabv2深度卷积神经网络训练出胰腺神经内分泌肿瘤自动分割模型;将获取的计算机断层扫描增强图像经预处理后输入胰腺神经内分泌肿瘤自动分割模型中,得到胰腺神经内分泌肿瘤的病灶分割结果;
其中,所述根据给定的样本采用DeepLabv2深度卷积神经网络训练出胰腺神经内分泌肿瘤自动分割模型这一步骤,具体包括:
将给定的样本按照K折交叉校验法划分为训练集和测试集,其中K为正整数;将训练集输入DeepLabv2深度卷积神经网络进行模型训练,得到用于胰腺神经内分泌肿瘤自动分割的若干个分类器;采用测试集对得到的若干个分类器进行测试,得到测试性能最优的分类器作为胰腺神经内分泌肿瘤自动分割模型;
其中,所述将训练集输入DeepLabv2深度卷积神经网络进行模型训练,得到用于胰腺神经内分泌肿瘤自动分割的若干个分类器这一步骤,具体包括:
将训练集的计算机断层扫描增强图像依次经过N1个第一采样块处理后得到第一特征图,其中,N1为正整数;将得到的第一特征图依次经过N2个第二采样块处理后得到第二特征图,其中,N2为正整数;将得到的第二特征图经过第三采样块处理后得到第三特征图;将得到的第三特征图经过第四采样块处理后得到第四特征图;将得到的第四特征图经过第五采样块处理后得到用于胰腺神经内分泌肿瘤自动分割的分类器。
2.根据权利要求1所述的基于深度学习的胰腺神经内分泌肿瘤自动分割方法,其特征在于:所述获取胰腺神经内分泌肿瘤患者的计算机断层扫描增强图像这一步骤,具体包括:
获取胰腺神经内分泌肿瘤患者平扫期、动脉期和延迟期的计算机断层扫描图像数据;
对获取的动脉期的计算机断层扫描图像数据进行预处理,所述预处理包括归一化、感兴趣区域提取和扩增。
3.根据权利要求2所述的基于深度学习的胰腺神经内分泌肿瘤自动分割方法,其特征在于:所述对获取的动脉期的计算机断层扫描图像数据进行预处理这一步骤,具体包括:
对获取的动脉期的计算机断层扫描图像数据进行归一化,得到归一化后的计算机断层扫描增强图像;
对归一化后的计算机断层扫描增强图像进行胰腺神经内分泌肿瘤的感兴趣区域提取;
对感兴趣区域提取后的图像进行数据扩增。
4.根据权利要求3所述的基于深度学习的胰腺神经内分泌肿瘤自动分割方法,其特征在于:所述对获取的动脉期的计算机断层扫描图像数据进行归一化,得到归一化后的计算机断层扫描增强图像这一步骤,具体包括:
将获取的动脉期的计算机断层扫描增强图像存放于三维矩阵中;
将所述三维矩阵转换成若干个二维计算机断层扫描增强图像并进行归一化;
将归一化后的每张二维计算机断层扫描图像与对应的金标准一起存储至指定的文件中。
5.基于深度学习的胰腺神经内分泌肿瘤自动分割系统,应用于如权利要求1至4中任一所述的基于深度学习的胰腺神经内分泌肿瘤自动分割方法,其特征在于:包括:
获取模块,用于获取胰腺神经内分泌肿瘤患者的计算机断层扫描增强图像;
病灶自动分割模块,用于采用深度学习的方法对获取的计算机断层扫描增强图像进行病灶自动分割,所述深度学习的方法采用深度卷积神经网络;
其中,所述深度学习的方法采用DeepLabv2深度卷积神经网络,所述DeepLabv2深度卷积神经网络包括以下五部分:若干个第一采样块、若干个第二采样块、一个第三采样块、若干个第四采样块和一个第五采样块;
其中,第一采样块包括2个卷积模块和一个下采样模块,第二采样块包括3个卷积模块和一个下采样模块,第三采样块包括3个多孔卷积模块和一个下采样模块,所述第四采样块包括一个补零层、一个多孔卷积层、一个Dropout层和一个卷积层,第五采样块包括一个上采样模块和一个卷积层;所述卷积模块包括一个卷积层和一个补零层,下采样模块包括一个补零层和一个最大池化层,所述多孔卷积模块包括一个补零层和一个多孔卷积层,上采样模块包括一个上采样层和一个卷积层;
所述采用深度学习的方法对获取的计算机断层扫描增强图像进行病灶自动分割这一步骤,具体包括:
根据给定的样本采用DeepLabv2深度卷积神经网络训练出胰腺神经内分泌肿瘤自动分割模型;将获取的计算机断层扫描增强图像经预处理后输入胰腺神经内分泌肿瘤自动分割模型中,得到胰腺神经内分泌肿瘤的病灶分割结果;
其中,所述根据给定的样本采用DeepLabv2深度卷积神经网络训练出胰腺神经内分泌肿瘤自动分割模型这一步骤,具体包括:
将给定的样本按照K折交叉校验法划分为训练集和测试集,其中K为正整数;将训练集输入DeepLabv2深度卷积神经网络进行模型训练,得到用于胰腺神经内分泌肿瘤自动分割的若干个分类器;采用测试集对得到的若干个分类器进行测试,得到测试性能最优的分类器作为胰腺神经内分泌肿瘤自动分割模型;
其中,所述将训练集输入DeepLabv2深度卷积神经网络进行模型训练,得到用于胰腺神经内分泌肿瘤自动分割的若干个分类器,具体包括:
将训练集的计算机断层扫描增强图像依次经过N1个第一采样块处理后得到第一特征图,其中,N1为正整数;将得到的第一特征图依次经过N2个第二采样块处理后得到第二特征图,其中,N2为正整数;将得到的第二特征图经过第三采样块处理后得到第三特征图;
将得到的第三特征图经过第四采样块处理后得到第四特征图;将得到的第四特征图经过第五采样块处理后得到用于胰腺神经内分泌肿瘤自动分割的分类器。
6.基于深度学习的胰腺神经内分泌肿瘤自动分割系统,其特征在于:包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求1-4任一项所述的基于深度学习的胰腺神经内分泌肿瘤自动分割方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910237004.4A CN110047082B (zh) | 2019-03-27 | 2019-03-27 | 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910237004.4A CN110047082B (zh) | 2019-03-27 | 2019-03-27 | 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110047082A CN110047082A (zh) | 2019-07-23 |
CN110047082B true CN110047082B (zh) | 2023-05-16 |
Family
ID=67275157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910237004.4A Active CN110047082B (zh) | 2019-03-27 | 2019-03-27 | 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110047082B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110751621B (zh) * | 2019-09-05 | 2023-07-21 | 五邑大学 | 基于深度卷积神经网络的乳腺癌辅助诊断方法及装置 |
CN111292304A (zh) * | 2020-01-22 | 2020-06-16 | 青岛大学附属医院 | 一种基于深度神经网络的胰腺肿瘤病理自动诊断系统 |
CN112070809B (zh) * | 2020-07-22 | 2024-01-26 | 中国科学院苏州生物医学工程技术研究所 | 基于pet/ct双时成像的胰腺癌精准诊断系统 |
CN112037172B (zh) * | 2020-07-30 | 2023-08-11 | 西安电子科技大学 | 基于轻量级卷积神经网络和空间先验传播的胰腺分割方法 |
CN112465779B (zh) * | 2020-11-26 | 2024-02-27 | 中国科学院苏州生物医学工程技术研究所 | 腹部ct中胆总管囊肿病灶全自动检测分割方法及系统 |
CN112561869B (zh) * | 2020-12-09 | 2021-11-02 | 深圳大学 | 一种胰腺神经内分泌肿瘤术后复发风险预测方法 |
CN113129297B (zh) * | 2021-04-30 | 2024-03-26 | 复旦大学附属中山医院 | 基于多期相肿瘤影像的直径自动测量方法及系统 |
CN113284151A (zh) * | 2021-06-07 | 2021-08-20 | 山东澳望德信息科技有限责任公司 | 一种基于深度卷积神经网络的胰腺分割方法及系统 |
CN114565613B (zh) * | 2022-04-29 | 2022-08-23 | 之江实验室 | 基于有监督深度子空间学习的胰腺术后糖尿病预测系统 |
CN114663431B (zh) * | 2022-05-19 | 2022-08-30 | 浙江大学 | 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统 |
CN115661107B (zh) * | 2022-11-07 | 2023-09-19 | 中国医学科学院北京协和医院 | 基于膀胱癌危险分层的图像分析方法、系统及设备 |
CN115994919B (zh) * | 2023-03-23 | 2023-05-30 | 北京大学第三医院(北京大学第三临床医学院) | 一种基于深度学习的膀胱壁自动分割工具和方法 |
CN116416239B (zh) * | 2023-04-13 | 2024-03-12 | 中国人民解放军海军军医大学第一附属医院 | 胰腺ct图像分类方法、图像分类模型、电子设备及介质 |
CN116883372A (zh) * | 2023-07-19 | 2023-10-13 | 重庆大学 | 一种基于血管区域图像自适应识别肿瘤的方法及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108257134B (zh) * | 2017-12-21 | 2022-08-23 | 深圳大学 | 基于深度学习的鼻咽癌病灶自动分割方法和系统 |
CN108766555A (zh) * | 2018-04-08 | 2018-11-06 | 深圳大学 | 胰腺神经内分泌肿瘤恶性程度的计算机诊断方法及系统 |
CN109035197B (zh) * | 2018-05-31 | 2021-09-28 | 东南大学 | 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统 |
CN108711161A (zh) * | 2018-06-08 | 2018-10-26 | Oppo广东移动通信有限公司 | 一种图像分割方法、图像分割装置及电子设备 |
CN109191471A (zh) * | 2018-08-28 | 2019-01-11 | 杭州电子科技大学 | 基于改进U-Net网络的胰腺细胞图像分割方法 |
-
2019
- 2019-03-27 CN CN201910237004.4A patent/CN110047082B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110047082A (zh) | 2019-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110047082B (zh) | 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统 | |
CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
CN106682435B (zh) | 一种多模型融合自动检测医学图像中病变的系统及方法 | |
CN110930416B (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
CN112102266B (zh) | 基于注意力机制的脑梗死医学影像分类模型的训练方法 | |
CN105447872A (zh) | 一种在超声影像中自动识别肝脏肿瘤类型的方法 | |
CN109255354B (zh) | 面向医用ct的计算机图像处理方法和装置 | |
CN101576997A (zh) | 基于二次三维区域生长的腹部器官分割方法 | |
CN109767459A (zh) | 新型眼底图配准方法 | |
CN114998265A (zh) | 一种基于改进U-Net的肝脏肿瘤分割方法 | |
CN110047075A (zh) | 一种基于对抗网络的ct图像分割方法 | |
CN111968108B (zh) | 基于智能扫描协议的ct智能成像方法、装置及系统 | |
CN116563533A (zh) | 基于目标位置先验信息的医学图像分割方法及系统 | |
CN115908449A (zh) | 一种基于改进UNet模型的2.5D医学CT影像分割方法及装置 | |
CN115471512A (zh) | 一种基于自监督对比学习的医学影像分割方法 | |
CN111640127B (zh) | 一种用于骨科的精准临床诊断导航方法 | |
CN111784652B (zh) | 基于强化学习多尺度神经网络的mri分割方法 | |
CN117541586A (zh) | 一种基于可变形yolo的甲状腺结节检测方法 | |
CN117576123A (zh) | 一种心血管ct图像数据分割检测方法 | |
CN104915989A (zh) | 基于ct影像的血管三维分割方法 | |
CN112634291A (zh) | 一种基于神经网络的烧伤创面区域自动分割方法 | |
CN116524178A (zh) | 基于半监督的mri图像组织分割方法及成像方法 | |
CN116228690A (zh) | 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法 | |
CN113139627B (zh) | 纵隔肿物识别方法、系统及装置 | |
CN111640126B (zh) | 基于医学影像的人工智能诊断辅助方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |