CN110910405B - 基于多尺度空洞卷积神经网络的脑肿瘤分割方法及系统 - Google Patents
基于多尺度空洞卷积神经网络的脑肿瘤分割方法及系统 Download PDFInfo
- Publication number
- CN110910405B CN110910405B CN201911143349.XA CN201911143349A CN110910405B CN 110910405 B CN110910405 B CN 110910405B CN 201911143349 A CN201911143349 A CN 201911143349A CN 110910405 B CN110910405 B CN 110910405B
- Authority
- CN
- China
- Prior art keywords
- brain tumor
- neural network
- scale
- layer
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 76
- 230000011218 segmentation Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 24
- 238000010586 diagram Methods 0.000 claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000003062 neural network model Methods 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 15
- 239000011800 void material Substances 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000012805 post-processing Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000012800 visualization Methods 0.000 abstract description 3
- 238000001356 surgical procedure Methods 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 208000032612 Glial tumor Diseases 0.000 description 2
- 206010018338 Glioma Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 208000005017 glioblastoma Diseases 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000007983 brain glioma Diseases 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 208000029824 high grade glioma Diseases 0.000 description 1
- 238000002675 image-guided surgery Methods 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 238000002075 inversion recovery Methods 0.000 description 1
- 208000030173 low grade glioma Diseases 0.000 description 1
- 201000011614 malignant glioma Diseases 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 208000030266 primary brain neoplasm Diseases 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于多尺度空洞卷积神经网络的脑肿瘤分割方法及其系统,包括:构建多尺度空洞卷积神经网络模型;获取多模态MRI脑肿瘤图像,通过多尺度空洞卷积神经网络模型提取多模态MRI脑肿瘤图像的三维特征图;对三维特征图进行上采样,使提取的三维特征图还原到原始的尺寸;对原始尺寸的三维特征图进行信息融合得到脑肿瘤分割结果。通过构建多尺度空洞卷积神经网络模型,将多模态MRI脑肿瘤图像输入多尺度空洞卷积神经网络模型,输出脑肿瘤分割结果。本发明解决了在三维脑肿瘤分割中信息易丢失的问题,提高了分割的效率和准确率,实现了脑肿瘤的自动分割、检测与可视化,为脑肿瘤的诊断、手术治疗提供直观、量化参考。
Description
技术领域
本发明涉及医学图像分割和深度学习技术领域,尤其涉及一种基于多尺度空洞卷积神经网络的脑肿瘤分割方法及系统。
背景技术
医学图像分割是医学图像定量分析的关键步骤之一,当前的临床辅助诊断、图像引导的外科手术和放射治疗中,医学图像分割技术显示出越来越重要的临床价值。由于医学图像种类繁多,常规影像包括磁共振(MR)成像、计算机断层(CT)成像、正电子发射计算机断层显像(PET)、超声(US)成像等,其中MR成像还可以产生多种不同时间参数序列的图像模态。为此,医学图像分割技术已成为面向不同的影像模态、临床目标、特定解剖学部位的一种独特的应用科学体系。现阶段恶性肿瘤是我国居民死亡的主要原因之一,其中脑肿瘤在人群中的发病率较高,脑胶质瘤更是最常见的原发性脑肿瘤。随着现代成像技术的不断发展,尤其是MRI 成像技术,为我们评估脑肿瘤的情况和选择治疗方案提供了有利的帮助。脑肿瘤分割的精准度更是医生诊断患者病症信息的关键。脑肿瘤结构复杂、形状多变、灰度不均匀以及在不同的患者身上表现出相当大的差异性。人工分割MRI脑肿瘤图像耗时耗力,并且常常会受到主观差异的影响,而精确分割三维脑肿瘤MR图像对于脑肿瘤的诊断,治疗以及术后追踪都有着非常重要的意义。
近年来脑肿瘤分割方法主要采用基于聚类、边缘检测、全局二值化及其改进等方法,但这些方法都具有一些局限性,例如由于图像中存在噪声、伪影等干扰,造成图像局部灰度不均匀,使用边缘检测方法分割困难;分水岭算法对于弱边界存在的情况下对图像的目标区域进行分割,就很容易造成过分割的现象。
发明内容
本发明目的是提供一种基于多尺度空洞卷积神经网络的脑肿瘤分割方法及系统,以解决的现有方法存在局限性的技术问题。
本发明的内容包括:
本发明首先提供了一种基于多尺度空洞卷积神经网络的脑肿瘤分割方法,包括以下步骤:
构建多尺度空洞卷积神经网络模型;
获取多模态MRI脑肿瘤图像,通过多尺度空洞卷积神经网络模型提取多模态MRI脑肿瘤图像的三维特征图;
对三维特征图进行上采样,使提取的三维特征图还原到原始的尺寸;
对原始尺寸的三维特征图进行信息融合得到脑肿瘤分割结果。
优选地,多尺度空洞卷积神经网络模块包括普通卷积层、空洞卷积层、上采样层、复制连接层、池化层、Dropout层、输入层和输出层。
优选地,在得到脑肿瘤分割结果后,对脑肿瘤分割结果进行后处理,得到三维可视化的脑肿瘤图像。
优选地,在对三维特征图进行上采样过程中,还通过空洞卷积层的不同扩张率的空洞卷积增大三维特征图的多尺度感受野。
优选地,对三维特征图进行上采样的具体方式为使用双线性插值和空洞卷积层的多尺度空洞卷积方法进行上采样操作。
优选地,多尺度三维空洞卷积神经网络模型的损失函数为:
其中,q(x)表示图像的分割预测值,p(x)表示图像的分割正确值,μ||w||2表示正则项,其中loss值越小,表示分割结果越准确。
优选地,通过多尺度空洞卷积神经网络模型提取多模态MRI脑肿瘤图像的三维特征图的具体方式为:
通过3D普通卷积层提取脑肿瘤的三维特征图,其卷积核大小为3*3*3,步长为2*2,激活函数为Relu函数,卷积之后的三维特征图的大小不变。
优选地,通过空洞卷积层的不同扩张率的空洞卷积增大三维特征图的多尺度感受野的具体方式为:使用了3个3D空洞卷积层,每个3D空洞卷积层中包含三个扩张率不同的空洞卷积,其卷积核大小为均为3*3*3,扩张率分别为1,2和5,padding分别设置为1,2和5。
优选地,对脑肿瘤分割结果进行后处理包括以下步骤:
对于脑肿瘤分割结果,建立面绘制所需要的基本三维体数据,选定作为表面显示的等值面的灰度阈值;
紧邻上下两层数据对应的四个像素点构成一个立方体,或对应成一个体素,体素的共8 个顶点按照前面得到的等值面阈值进行分类,超过或等于阈值,则顶点算作等值面的内部点,小于阈值的顶点算作等值面的外部点;
生成一个代表顶点内外部状态的二进制编码索引表,移动(前进)至下一个立方体,用此索引表查询一个长度为256的构型査找表,得到轮廓(等值面)与立方体空间关系的具体拓扑状态(构型),根据构型通过线性插值确定等值面与立方体相交的三角十顶点坐标,得到轮廓的具体位置,并绘制出三维可视化的脑肿瘤图像。
依托于上述方法,本发明还提供了一种基于多尺度空洞卷积神经网络的脑肿瘤分割系统,包括存储器和处理器;存储器,用于存储计算机程序;处理器,用于当执行计算机程序时,实现如上述任一的一种基于多尺度空洞卷积神经网络的脑肿瘤分割方法。
本方法构通过构建多尺度空洞卷积神经网络模型,将多模态MRI脑肿瘤图像输入空洞卷积神经网络模型,从而输出脑肿瘤分割结果。本发明相比于以前的方法解决了在三维脑肿瘤分割中信息易丢失的问题,提高了分割的效率和准确率,实现了脑肿瘤的自动分割、检测与可视化,为脑肿瘤的诊断、手术治疗提供直观、量化参考。
附图说明
图1是本发明的一种基于多尺度空洞卷积神经网络的脑肿瘤分割方法流程图。
图2是本发明所构建的基本多尺度空洞卷积神经网络模型结构图;
图3(a1)和图3(a2)是本发明中四种模态MRI待分割图;
图3(b1)和图3(b2)是基于多尺度空洞卷积神经网络的分割结果图;
图4是地面真实值和本发明分割结果的对比图;
图5是三维可视化的展示图。
具体实施方式
下面将结合实施例,以及一些附图对本发明进行详细说明,以体现本发明的优势,但本发明的实施方式不限于此。
如图1所示,本发明包括一种基于多尺度空洞卷积神经网络的脑肿瘤分割方法,包括以下步骤:
S1:构建多尺度空洞卷积神经网络模型。
图2显示了本发明中所提出的多尺度空洞卷积神经网络模型结构。本发明设计了一个29 层的深度神经网络:第1层为3D输入层,用于输入512*512*256尺寸的MRI图像,第2、18、21、26、31、35层为3D普通卷积层,采用3*3*3的滤波,第3、8、13、22、27、31层均为 3D空洞卷积层,用来扩大感受野,第4、9、14、23、28、33层均为3D普通卷积层,采用1*1*1 的滤波,第19层为3DDropout层,用于防止过拟合,第5、10、15、22、27、32层均为融合层,第6、11、16层为复制连接层,用于复制融合层的特征图,第7、12、17层均为3D池化层,采用2*2*2的池化核,步长为2*2,使得三维特征图缩小一半,第21、25、29层均为上采样层,每次上采样都将特征图像的分辨率扩大2倍来还原原始特征图像的空间信息,第29 层分类输出分割结果。图2中,Input layer为输入层,用于图片的输入,Conv layer为卷积层,用于特征的提取,Copylayer为复制连接层,Up layer为上采样层,2*2*2,Pooling layer为池化层,选用MAXPooling,Dilated Convolution为多尺度空洞卷积层,其扩张率分别为1、2、5,ClassLayer为分类层,Fusion为融和层,箭头代表跳跃连接。
构建多尺度空洞卷积神经网络模型的过程中,需要对多尺度空洞卷积神经网络模型进行训练。为了提高分割结果图片的质量和分割的精确性,在训练网络之前对数据进行了预处理,使用旋转变换来扩充数据集,选用了180度旋转,这样图像在旋转前后插,不会对图像的标签值产生映射改变,旋转变换可以在数据集较少的情况下扩充数据集,并将最终的数据集化成训练集和测试集两个部分,其中训练集占80%,测试集占20%。在训练网络时使用优化器使用损失函数的值对网络参数进行优化,迭代训练500次后,得到训练好的多尺度空洞卷积神经网络,其中损失函数的计算公式如下:
其中,q(x)表示图像的分割预测值,p(x)表示图像的分割正确值,μ||w||2表示正则项,其中loss值越小,表示分割结果越准确。
训练集是从BRATS 2017上获取的多模态MRI脑肿瘤图像,获取公开的数据集包括167 个胶质瘤样本,其中包括102个高级胶质母细胞瘤样本和65个低级胶质母细胞瘤样本。每个胶质瘤样本中包括了脑肿瘤的四种模态,分别是原始态、t1加权、t2加权和液体衰减反演恢复。低等级的胶质瘤轮廓清晰,轮廓线平整,高等级的胶质瘤呈浸润生长,边缘轮廓没有规则的形状。所有数据集均具有临床上常规获取的3T多峰MRI扫描功能,并且所有地面真相标签均由经过专家委员会认证的神经放射科医生手动修订。
S2:获取多模态MRI脑肿瘤图像,通过多尺度空洞卷积神经网络模型提取多模态MRI脑肿瘤图像的三维特征图。
获取测试集,首先将测试集数据输入多尺度空洞卷积神经网络模型的3D输入层:通过 3D普通卷积层提取脑肿瘤的三维特征图,其卷积核大小为3*3*3,步长为2*2,激活函数为 Relu函数,卷积之后的三维特征图的大小不变。然后使用了3个3D空洞卷积层,每个3D空洞卷积层中包含三个扩张率不同的空洞卷积,其卷积核大小为均为3*3*3,扩张率分别为1, 2和5,padding分别设置为1,2和5。空洞卷积可以增大感受野,不同的扩张率的空洞卷积其感受野不同。接着在三个扩张率不同的空洞卷积之后分别加入了普通卷积,其卷积核大小均为1*1*1,激活函数为Relu函数,将此过程后提取的特征进行融合,可以获得更全面信息的三维特征图,减少在池化过程中的信息丢失问题。最后,在融合层后加了复制连接层,主要是复制融合层中融合的三维特征图,便于与后面上采样的三维特征结合来还原脑肿瘤的空间信息。
S3:对三维特征图进行上采样,使提取的三维特征图还原到原始的尺寸。
首先在多尺度空洞卷积神经网络中使用3次双线性插值和3个3D多尺度空洞卷积方法进行上采样操作,将提取的三维特征图还原到原来的尺寸。在每次上采样层后经过多尺度空洞卷积操作,进一步扩大三维脑肿瘤三维特征图的感受野,其多尺度空洞卷积的卷积核大小为扩张率分别为1,2和5,padding分别设置为1,2和5。然后在多尺度三维空洞卷积神经网络中使用了3个3D特征跳跃融合,将低层提取的特征信息与高层特征信息进行融合从而防止信息丢失,并在跳跃融合过后进行普通卷积,进一步提取特征,其卷积核大小为3*3*3,激活函数为Relu函数。最后在多尺度空洞卷积神经网络中使用Dropout层防止提取特征时过拟合,将dropout值设置为0.5,丢弃50%的特征从而提高分割的准确度。
S4:对原始尺寸的三维特征图进行信息融合得到脑肿瘤分割结果。
使用分割精度、过分割率、欠分割率三个指标来评估测试集分割结果的性能。图3(a1)、图3(a2)、图3(b1)以及图3(b2)分别显示了实验的预测结果,图4中展示了原始脑肿瘤图像、地面真实值以及本发明分割结果图。其分割精度的计算公式为:
其中,Tarea表示专家手工勾画出的分割图像的参考面积,Parea表示算法分割得到的图像的真实面积,|Tarea-Parea|表示错误分割的像素点个数。
过分割是指预测分割结果出现了比真实地面图多的像素点,其过分割率的计算公式为:
其中,Os表示本不应该包含在分割结果中的像素点个数,但在分割结果中的像素点个数。
欠分割率是指预测结果出现了比真实地面图少的像素点,其欠分割率的计算公式如下:
其中,Us表示本应该包含在分割结果中的像素点个数,但不在分割结果中的像素个数。
分割检测:采用本发明实施例的方法进行分割,并在数据集BRATS2017获得对应的分割精度AS、多分割率OS和欠分割率US指标值,如表1所示。可见,本发明方法分割三维脑肿瘤图像的准确率高,能够满足实际需求。
表1网络结构在BRATS2017验证子集的分割表现(%)
样本图像 | AS(%) | OS(%) | US(%) |
样本1 | 95.1 | 1.8 | 1.8 |
样本2 | 92.4 | 3.7 | 2.1 |
S5:对脑肿瘤分割结果进行后处理包括以下步骤:
对于脑肿瘤分割结果,建立面绘制所需要的基本三维体数据,选定作为表面显示的等值面的灰度阈值;
紧邻上下两层数据对应的四个像素点构成一个立方体,或对应成一个体素,体素的共8 个顶点按照前面得到的等值面阈值进行分类,超过或等于阈值,则顶点算作等值面的内部点,小于阈值的顶点算作等值面的外部点;
生成一个代表顶点内外部状态的二进制编码索引表,移动(前进)至下一个立方体,用此索引表查询一个长度为256的构型査找表,得到轮廓(等值面)与立方体空间关系的具体拓扑状态(构型),根据构型通过线性插值确定等值面与立方体相交的三角十顶点坐标,得到轮廓的具体位置,并绘制出三维可视化的脑肿瘤图像。其后处理的结果如图5所示。
依托于上述方法,本发明还提供了一种基于多尺度空洞卷积神经网络的脑肿瘤分割系统,包括存储器和处理器;存储器,用于存储计算机程序;处理器,用于当执行计算机程序时,实现如上述任一的一种基于多尺度空洞卷积神经网络的脑肿瘤分割方法。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于多尺度空洞卷积神经网络的脑肿瘤分割方法,其特征是,包括以下步骤:
构建多尺度空洞卷积神经网络模型;
获取多模态MRI脑肿瘤图像,通过所述多尺度空洞卷积神经网络模型提取所述多模态MRI脑肿瘤图像的三维特征图;
对所述三维特征图进行上采样,使提取的所述三维特征图还原到原始的尺寸;
对原始尺寸的三维特征图进行信息融合得到脑肿瘤分割结果;
所述多尺度空洞卷积神经网络模块包括普通卷积层、空洞卷积层、上采样层、复制连接层、池化层、Dropout层、输入层和输出层;
通过所述多尺度空洞卷积神经网络模型提取所述多模态MRI脑肿瘤图像的三维特征图的具体方式为:
通过3D普通卷积层提取脑肿瘤的三维特征图,其卷积核大小为3*3*3,步长为2*2,激活函数为Relu函数,卷积之后的三维特征图的大小不变;
通过所述空洞卷积层的不同扩张率的空洞卷积增大所述三维特征图的多尺度感受野的具体方式为:使用了3个3D空洞卷积层,每个3D空洞卷积层中包含三个扩张率不同的空洞卷积,其卷积核大小为均为3*3*3,扩张率分别为1,2和5,padding分别设置为1,2和5。
2.如权利要求1所述的一种基于多尺度空洞卷积神经网络的脑肿瘤分割方法,其特征是,在得到所述脑肿瘤分割结果后,对所述脑肿瘤分割结果进行后处理,得到三维可视化的脑肿瘤图像。
3.如权利要求1所述的一种基于多尺度空洞卷积神经网络的脑肿瘤分割方法,其特征是,在对所述三维特征图进行上采样过程中,还通过所述空洞卷积层的不同扩张率的空洞卷积增大所述三维特征图的多尺度感受野。
4.如权利要求1所述的一种基于多尺度空洞卷积神经网络的脑肿瘤分割方法,其特征是,对所述三维特征图进行上采样的具体方式为使用双线性插值和空洞卷积层的多尺度空洞卷积方法进行上采样操作。
5.如权利要求1所述的一种基于多尺度空洞卷积神经网络的脑肿瘤分割方法,其特征是,所述多尺度三维空洞卷积神经网络模型的损失函数为:
其中,表示图像的分割预测值,表示图像的分割正确值,表示正则项,其中值越小,表示分割结果越准确。
6.如权利要求2所述的一种基于多尺度空洞卷积神经网络的脑肿瘤分割方法,其特征是,对所述脑肿瘤分割结果进行后处理包括以下步骤:
对于所述脑肿瘤分割结果,建立面绘制所需要的基本三维体数据,选定作为表面显示的等值面的灰度阈值;
紧邻上下两层数据对应的四个像素点构成一个立方体,或对应成一个体素,体素的共8个顶点按照前面得到的等值面阈值进行分类,超过或等于阈值,则顶点算作等值面的内部点,小于阈值的顶点算作等值面的外部点;
生成一个代表顶点内外部状态的二进制编码索引表,移动至下一个立方体,用此索引表查询一个长度为256的构型査找表,得到轮廓与立方体空间关系的具体拓扑状态,根据构型通过线性插值确定等值面与立方体相交的三角十顶点坐标,得到轮廓的具体位置,并绘制出三维可视化的脑肿瘤图像。
7.一种基于多尺度空洞卷积神经网络的脑肿瘤分割系统,包括存储器和处理器;所述存储器,用于存储计算机程序;所述处理器,用于当执行所述计算机程序时,其特征是,实现如权利要求1-6任一所述的一种基于多尺度空洞卷积神经网络的脑肿瘤分割方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911143349.XA CN110910405B (zh) | 2019-11-20 | 2019-11-20 | 基于多尺度空洞卷积神经网络的脑肿瘤分割方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911143349.XA CN110910405B (zh) | 2019-11-20 | 2019-11-20 | 基于多尺度空洞卷积神经网络的脑肿瘤分割方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110910405A CN110910405A (zh) | 2020-03-24 |
CN110910405B true CN110910405B (zh) | 2023-04-18 |
Family
ID=69818000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911143349.XA Active CN110910405B (zh) | 2019-11-20 | 2019-11-20 | 基于多尺度空洞卷积神经网络的脑肿瘤分割方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110910405B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111754520B (zh) * | 2020-06-09 | 2023-09-15 | 江苏师范大学 | 一种基于深度学习的脑血肿分割方法及系统 |
CN111915615B (zh) * | 2020-09-10 | 2024-09-06 | 中移(杭州)信息技术有限公司 | 图像分割方法、装置、电子设备及计算机可读存储介质 |
CN112529915B (zh) * | 2020-12-17 | 2022-11-01 | 山东大学 | 一种脑肿瘤图像分割方法及系统 |
CN114693698B (zh) * | 2020-12-30 | 2023-06-20 | 四川大学华西医院 | 一种基于神经网络的计算机辅助肺气道分割方法 |
CN112749799B (zh) * | 2020-12-31 | 2022-04-12 | 湖南师范大学 | 基于自适应ReLU的全频域卷积神经网络的硬件加速器、加速方法和图像分类方法 |
CN112712174B (zh) * | 2020-12-31 | 2022-04-08 | 湖南师范大学 | 全频域卷积神经网络的硬件加速器、加速方法和图像分类方法 |
CN113177938B (zh) * | 2021-05-25 | 2023-04-07 | 深圳大学 | 基于圆形卷积核的脑胶质瘤的分割方法、装置及相关组件 |
CN113687227B (zh) * | 2021-08-24 | 2023-03-24 | 桂林电子科技大学 | 一种基于感兴趣区域增强的电机磁瓦缺陷分类方法 |
CN113762476B (zh) * | 2021-09-08 | 2023-12-19 | 中科院成都信息技术股份有限公司 | 一种用于文字检测的神经网络模型及其文字检测方法 |
CN114119515B (zh) * | 2021-11-14 | 2024-08-02 | 北京工业大学 | 一种基于注意力机制和mri多模态融合的脑肿瘤检测方法 |
CN114119635B (zh) * | 2021-11-23 | 2024-05-24 | 电子科技大学成都学院 | 一种基于空洞卷积的脂肪肝ct图像分割方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107749061A (zh) * | 2017-09-11 | 2018-03-02 | 天津大学 | 基于改进的全卷积神经网络脑肿瘤图像分割方法及装置 |
CN108986124A (zh) * | 2018-06-20 | 2018-12-11 | 天津大学 | 结合多尺度特征卷积神经网络视网膜血管图像分割方法 |
CN109559320A (zh) * | 2018-09-18 | 2019-04-02 | 华东理工大学 | 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统 |
CN110232696A (zh) * | 2019-06-20 | 2019-09-13 | 腾讯科技(深圳)有限公司 | 一种图像区域分割的方法、模型训练的方法及装置 |
CN110378484A (zh) * | 2019-04-28 | 2019-10-25 | 清华大学 | 一种基于注意力机制的空洞卷积空间金字塔池化上下文学习方法 |
-
2019
- 2019-11-20 CN CN201911143349.XA patent/CN110910405B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107749061A (zh) * | 2017-09-11 | 2018-03-02 | 天津大学 | 基于改进的全卷积神经网络脑肿瘤图像分割方法及装置 |
CN108986124A (zh) * | 2018-06-20 | 2018-12-11 | 天津大学 | 结合多尺度特征卷积神经网络视网膜血管图像分割方法 |
CN109559320A (zh) * | 2018-09-18 | 2019-04-02 | 华东理工大学 | 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统 |
CN110378484A (zh) * | 2019-04-28 | 2019-10-25 | 清华大学 | 一种基于注意力机制的空洞卷积空间金字塔池化上下文学习方法 |
CN110232696A (zh) * | 2019-06-20 | 2019-09-13 | 腾讯科技(深圳)有限公司 | 一种图像区域分割的方法、模型训练的方法及装置 |
Non-Patent Citations (5)
Title |
---|
Yun Jiang,Ning Tan.Retinal Vessels Segmentation Based on Dilated Multi-Scale Convolutional Neural Network.IEEE Access.2019,全文. * |
刘金平(Jinping liu)).Texture Pattern Classification via Weibull Distribution-based Image Statistical Modeling.IEEE.2018,全文. * |
刘金平.基于模糊粗糙集属性约简与G...征学习的自适应网络入侵检测.控制与决策.2019,第34卷(第34期),全文. * |
曲长波 ; 姜思瑶 ; 吴德阳 ; .空洞卷积的多尺度语义分割网络.计算机工程与应用.(24),全文. * |
郑婷月,唐晨.基于全卷积神经网络的多尺度视网膜血管分割.光学学报.2019,第39卷(第39期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN110910405A (zh) | 2020-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110910405B (zh) | 基于多尺度空洞卷积神经网络的脑肿瘤分割方法及系统 | |
CN111709953B (zh) | Ct影像的肺叶段分割中的输出方法、装置 | |
US20190355117A1 (en) | Techniques for Segmentation of Lymph Nodes, Lung Lesions and Other Solid or Part-Solid Objects | |
EP3035287B1 (en) | Image processing apparatus, and image processing method | |
Elnakib et al. | Medical image segmentation: a brief survey | |
US7876938B2 (en) | System and method for whole body landmark detection, segmentation and change quantification in digital images | |
Lei et al. | Brain tumor segmentation in MR images using a sparse constrained level set algorithm | |
JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
Liu et al. | IOUC-3DSFCNN: Segmentation of brain tumors via IOU constraint 3D symmetric full convolution network with multimodal auto-context | |
CN110036408A (zh) | 活动性出血和血液外渗的自动ct检测和可视化 | |
CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
US20120093390A1 (en) | Quantitative perfusion analysis | |
Xu et al. | Mammographic mass segmentation using multichannel and multiscale fully convolutional networks | |
Jiang et al. | Segmentation of prostate ultrasound images: the state of the art and the future directions of segmentation algorithms | |
Li et al. | Automatic quantification of epicardial adipose tissue volume | |
WO2005017836A2 (en) | Method of analysis of local patterns of curvature distributions | |
Fiori et al. | A complete system for candidate polyps detection in virtual colonoscopy | |
Dong et al. | An improved supervoxel 3D region growing method based on PET/CT multimodal data for segmentation and reconstruction of GGNs | |
Astaraki et al. | Autopaint: A self-inpainting method for unsupervised anomaly detection | |
Moretti et al. | Phantom-based performance evaluation: Application to brain segmentation from magnetic resonance images | |
CN1836258B (zh) | 采用结构张量来检测肺结节和结肠息肉的方法和系统 | |
Rusu | Segmentation of bone structures in Magnetic Resonance Images (MRI) for human hand skeletal kinematics modelling | |
Bhadani et al. | Fuzzy volumetric delineation of brain tumor and survival prediction | |
Al-Murshidawy et al. | A review of deep learning models (U-Net architectures) for segmenting brain tumors | |
CN114445421B (zh) | 一种鼻咽癌淋巴结区域的识别分割方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |