CN115496771A - 一种基于脑部三维mri图像设计的脑肿瘤分割方法 - Google Patents
一种基于脑部三维mri图像设计的脑肿瘤分割方法 Download PDFInfo
- Publication number
- CN115496771A CN115496771A CN202211158867.0A CN202211158867A CN115496771A CN 115496771 A CN115496771 A CN 115496771A CN 202211158867 A CN202211158867 A CN 202211158867A CN 115496771 A CN115496771 A CN 115496771A
- Authority
- CN
- China
- Prior art keywords
- brain tumor
- mri
- brain
- image
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 155
- 230000011218 segmentation Effects 0.000 title claims abstract description 89
- 210000004556 brain Anatomy 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000013461 design Methods 0.000 title claims abstract description 23
- 238000003709 image segmentation Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 238000011156 evaluation Methods 0.000 claims abstract description 11
- 238000009412 basement excavation Methods 0.000 claims abstract description 3
- 206010028980 Neoplasm Diseases 0.000 claims description 56
- 230000006870 function Effects 0.000 claims description 30
- 238000001914 filtration Methods 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 22
- 230000007246 mechanism Effects 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000035945 sensitivity Effects 0.000 claims description 16
- 206010030113 Oedema Diseases 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 15
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 230000002146 bilateral effect Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 10
- 238000003745 diagnosis Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 210000005013 brain tissue Anatomy 0.000 claims description 4
- 238000000586 desensitisation Methods 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 210000003484 anatomy Anatomy 0.000 claims description 3
- 210000004884 grey matter Anatomy 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 210000004885 white matter Anatomy 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 2
- 238000011160 research Methods 0.000 abstract description 10
- 210000001519 tissue Anatomy 0.000 description 14
- 239000000523 sample Substances 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 230000008602 contraction Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 230000008034 disappearance Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 208000032612 Glial tumor Diseases 0.000 description 2
- 206010018338 Glioma Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 206010030124 Oedema peripheral Diseases 0.000 description 1
- 206010054094 Tumour necrosis Diseases 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001338 necrotic effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 239000013610 patient sample Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于脑部三维MRI图像设计的脑肿瘤分割方法，包括以下步骤：获取MRI脑肿瘤图像数据集并整理；进行预处理；将处理后的数据输入深度网络模型进行训练，利用模型提取特征并通过前向传播的方式不断对特征进行深度挖掘，训练卷积神经网络模型；利用MRI脑肿瘤图像数据集中的真值标签计算误差损失，并在不断的迭代过程中得到模型最优参数，形成脑肿瘤图像分割网络模型；利用脑肿瘤图像分割网络模型对MRI脑肿瘤图像进行分割，并依据预设的评判指标对模型的预测结果进行分割性能评估。本发明能够更准确地判断患者脑肿瘤的类型及良恶程度，为医生提供科研数据库，方便医生进行科研工作。
Description
技术领域
本发明涉及图像分割技术领域，具体来说，涉及一种基于脑部三维MRI图像设计的脑肿瘤分割方法。
背景技术
脑肿瘤又称脑胶质瘤、脑癌，是最具侵袭性的肿瘤之一，肿瘤形状不规则、体积不定、可能出现在大脑中的任何位置无论对患者的身体上还是心理上都威胁极大。磁共振成像MRI作为一种非入侵式技术，能够提供高分辨率高对比度且没有颅骨伪影的图像，成像质量高，且对人体没有伤害，因而被广泛地应用与临床医学的诊断和治疗上。
然而脑肿瘤图像十分复杂，在医学图像成像过程中存在噪声、场偏移效应、局部体积效应和组织运动等干扰，使得不同肿瘤亚区的边界具有一定的模糊性，这使得脑肿瘤分割工作变得非常困难。当前主要是依靠医生或专家手动进行分割，不但效率低，而且医生在长期高强度的工作下可能会导致分割精度的下降。
在学术领域，对医学图像处理方面的研究主要围绕在2D医学图像目标区域的识别、检测、分割等，这种传统的分割网络存在目标区域分割不精准，易受周围目标的干扰，以及推理速度较慢的情况的缺陷。同时，也存在需要消耗显存大而难以进行网络模型的训练，且训练的迭代周期较长，超参数较多，导致调整困难。此外，不能对复杂的边界进行很好的分割，且计算代价高，算法时间复杂度长，空间复杂度高。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于脑部三维MRI图像设计的脑肿瘤分割方法，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
一种基于脑部三维MRI图像设计的脑肿瘤分割方法，该脑肿瘤分割方法包括以下步骤：
S1、获取历史数据库中的MRI脑肿瘤图像数据集并进行整理；
S2、对MRI脑肿瘤图像数据集中的MRI脑肿瘤图像进行预处理；
S3、将处理后的MRI脑肿瘤图像数据输入深度网络模型进行训练，利用深度网络模型提取特征并通过前向传播的方式不断对特征进行深度挖掘，训练卷积神经网络模型；
S4、卷积神经网络模型利用MRI脑肿瘤图像数据集中的真值标签计算误差损失，并在不断的迭代过程中得到模型最优参数，形成脑肿瘤图像分割网络模型；
S5、利用脑肿瘤图像分割网络模型对MRI脑肿瘤图像进行分割，并依据预设的评判指标对模型的预测结果进行分割性能评估。
进一步的，所述MRI脑肿瘤图像数据集中的MRI脑肿瘤图像为Dicom格式，且所述Dicom格式的文件包括患者的MRI图像信息、患者的基本信息及MRI图像的权重信息。
进一步的，所述获取历史数据库中的MRI脑肿瘤图像数据集并进行整理还包括以下步骤：
利用MRI扫描仪通过调节不同参数得到四种不同模态的MRI脑肿瘤图像；
调用PyDicom库将Dicom格式的MRI脑肿瘤图像转换为JPG格式的MRI脑肿瘤图像，并进行脱敏处理，得到脱敏后的MRI脑肿瘤图像数据集；
将脱敏后的MRI脑肿瘤图像数据集按预设比例分为训练集、验证集和测试集。
进一步的，所述四种不同模态的MRI脑肿瘤图像包括T1模态图、T2模态图、Flair模态图及T1c模态图；
其中，所述T1模态图用于清晰地呈现出脑部各组织区域的解剖结构，在脑肿瘤分割中用来区分大脑的灰质和白质；
所述T2模态图用于清晰地呈现脑肿瘤以及肿瘤周围的水肿区域，明显地区分整个肿瘤区域与脑部正常组织结构；
所述Flair模态图用于区分水肿区域和正常组织区域，用来交叉检查水肿的扩展；
所述T1c模态图用于清晰地呈现大脑内的组织。
进一步的，所述对MRI脑肿瘤图像数据集中的MRI脑肿瘤图像进行预处理包括以下步骤：
S21、使用N4ITK算法对MRI脑肿瘤图像数据集中的MRI脑肿瘤图像进行偏置场校正；
S22、设置裁剪长度，将各维度的前margin行像素和后margin行像素裁进行剪掉，留下正中央的体素块，得到裁剪后的MRI脑肿瘤图像；
S23、对分辨率低于预设值的裁剪后的MRI脑肿瘤图像进行超分重建及透视变换处理；
S24、采用Z-Score算法对透视变换后的MRI脑肿瘤图像进行归一化处理，该Z-Score算法的公式如下：
式中，x′和x分别表示输出像素和输入像素的灰度值，μ和σ表示MRI脑肿瘤图像强度的均值与方差；
S25、使用双边滤波去噪法对归一化后的MRI脑肿瘤图像进行去躁处理。
进一步的，所述对分辨率低于预设值的裁剪后的MRI脑肿瘤图像进行超分重建及透视变换处理包括以下步骤：
S231、对SRGAN网络中放大倍数、学习率及迭代次数的运行参数进行设置，并导入分辨率低于预设值的裁剪后的MRI脑肿瘤图像；
S232、利用SRGAN网络中的三个卷积层对导入的MRI脑肿瘤图像进行处理，得到高分辨率的MRI脑肿瘤图像；
S233、调用OpenCV中的getPerspectiveTransform函数对剪裁后的MRI脑肿瘤图像进行处理，得到透视变换矩阵；
S234、调用OpenCV中的warpPerspective函数执行透视变换，得到透视变换后的MRI脑肿瘤图像。
进一步的，所述双边滤波去噪法中的双边滤波模板由空间距离决定的滤波器系数及像素差值决定的滤波器系数构成；
其中，所述空间距离的表达式如下：
式中，d为当前点距离滤波模板中心点的欧式距离，当前点为(xi,yi)，模板中心点为(xc,yc)，σ为标准差参数；
所述灰度距离的表达式如下：
式中，r为当前点距离滤波模板中心点的灰度的差值的绝对值，当前点为(xi,yi)，模板中心点为(xc,yc)，σ为标准差参数。
进一步的，所述卷积神经网络模型以3D U-Net神经网络为基础架构，引入空间注意力机制和通道注意力机制，最终得到双注意力机制3D U-Net网络，并在编码器部分使用组归一化来代替常用的批量归一化操作，在下采样模块后连接有叠加式残差模块，在损失函数部分使用混合损失函数替代传统Dice分割系数损失函数。
进一步的，所述脑肿瘤图像分割网络模型由卷积层、叠加式残差模块、下采样模块、上采样模块、融合模块和分割层组成。
进一步的，所述评判指标包括Dice系数、敏感性和特异性系数及Hausdorff距离；
其中，所述Dice系数是一种评估相似度的系数，通常用于计算两个样本的相似度或者重叠度，取值为[0,1]，越接近1，相似程度越高，效果越佳，所述Dice系数通过获得具有算法预测分布情况P∈{0,1}和真实标签分布情况T∈{0,1}的二元图计算得到，Dice系数的计算公式如下：
式中，P表示肿瘤分割算法所预测的脑部体素集合，T表示真实的脑部体素集合，∩表示逻辑与运算符，是集合的大小；
所述敏感性表示正样本中预测正确的个数占实际正样本的比例，即在患有肿瘤的所有人中，诊断正确的人有多少，取值为[0,1]，敏感性越高，漏诊概率越低，敏感性的计算公式如下：
式中，P1表示P＝1时体素的集合，为模型预测的肿瘤区域，T1代表T＝1时体素的集合，为真实的肿瘤区域；
所述特异性系数表示负样本中预测正确的个数占实际负样本的比例，即在未肿瘤症的所有人中，诊断正确的人有多少，取值为[0,1]，特异性越高，确诊概率越高，特异性系数的计算公式如下：
式中，P0表示P＝0时体素的集合，模型预测的脑部正常组织区域，T0代表T＝0时体素的集合，真实的脑部正常组织区域；
所述Hausdorff距离表示预测结果与真实标签最近点距离的最大值，值越小，代表两个集合的相似度越高，Hausdorff距离的计算公式如下：
式中，p表示肿瘤分割算法所预测的脑部体素集合中的脑部体素，t表示真实的脑部体素集合中的脑部体素，d(p,t)为两者之间的任何度量，即两者间的欧几里得距离。
本发明的有益效果为：本发明引入目前主流的图像分割技术，采用U-Net网络结构的脑肿瘤3D分割技术，并以其为基础架构，加入深度残差模块代替U-Net的编码器和解码器中原有的卷积层，其内部使用了“跳跃连接”或“捷径连接(Shortcut connection)”，解决网络训练过程中产生的梯度消失和网络退化问题，并引入位置注意力机制和通道注意力机制，提高网络对关键特征的关注，能够将患者脑部MRI中的脑肿瘤的轮廓进行描绘以及用边界信息敏感的混合损失函数替代传统Dice分割系数损失函数以提升分割精度，将本发明的分割结果与在相同测试集条件下临床专家分割结果对比得到，本发明的分割准确率达到91.10％，进而能够更准确地判断患者脑肿瘤的类型及良恶程度，同时为医生提供科研数据库，方便医生进行科研工作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于脑部三维MRI图像设计的脑肿瘤分割方法的流程图；
图2是根据本发明实施例的一种基于脑部三维MRI图像设计的脑肿瘤分割方法中四种权重的MRI图像；
图3是根据本发明实施例的一种基于脑部三维MRI图像设计的脑肿瘤分割方法中3D U-Net网络结构示意图；
图4是根据本发明实施例的一种基于脑部三维MRI图像设计的脑肿瘤分割方法中空间注意力模块示意图；
图5是根据本发明实施例的一种基于脑部三维MRI图像设计的脑肿瘤分割方法中通道注意力模块示意图；
图6是根据本发明实施例的一种基于脑部三维MRI图像设计的脑肿瘤分割方法中改进的3D U-Net网络模型示意图；
图7是根据本发明实施例的一种基于脑部三维MRI图像设计的脑肿瘤分割方法中叠加式残差模块示意图。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例，提供了一种基于脑部三维MRI图像设计的脑肿瘤分割方法。
现结合附图和具体实施方式对本发明进一步说明，如图1-7所示，根据本发明实施例的基于脑部三维MRI图像设计的脑肿瘤分割方法，该脑肿瘤分割方法包括以下步骤：
S1、获取历史数据库中的MRI脑肿瘤图像数据集并进行整理；
本实施例种与多家三甲医院合作，获取约4200位病人不同加权共21384张脑肿瘤的数据，获得的图像为Dicom格式，所谓Dicom格式(Digital Imaging and Communicationsin Medicine)，即医学数字成像和通信，是医学图像和相关信息的国际标准(ISO 12052)。它定义了质量能满足临床需要的可用于数据交换的医学图像格式。Dicom格式文件并不只是包括了患者的MRI图像信息，除了包括患者的姓名、年龄等患者的基本信息，还包括了MRI图像的权重等等图像的基本信息，为防止泄露患者信息以及用于后续图像分割，调用PyDicom库将原始Dicom数据格式转换为JPG格式图像，并进行脱敏，进而建立权威脱敏数据集，其中384张数据作为测试集，剩下的21000张数据按照8：2的比例分别作为训练集和验证集，用于训练和验证本发明的算法。
本发明使用的MRI图像中，MRI扫描仪通过调节不同参数获得Flair、T1、T1c和T2这四种模态。如图2所示，是同一病人在同一采集设备下，使用不同参数获得的多模态脑MRI图像。可以发现，在这四种模式中即便是相同区域的脑组织，它们呈现的状态也存在着差异，即不同模态的MRI图像，能够突出呈现患者脑中不同的肿瘤区域，比如脑肿瘤区域、周围水肿区域、其他坏死部分等。
如图2(T1)所示为脑MRI的T1模态图，该模态图像中各组织灰度较为相似，不能很好地突出肿瘤病变区域，但能够比较清晰地呈现出脑部各组织区域的解剖结构，在脑肿瘤分割中可以用来区分大脑的灰质和白质。
如图2(T2)所示为脑MRI的T2模态图，该模态对水肿区域比较敏感，所以在T2模态图像中，水肿区域会呈现为高信号，可以比较清晰地呈现脑肿瘤以及肿瘤周围的水肿区域，能够较为明显地区分整个肿瘤区域与脑部正常组织结构。
如图2(Flair)所示为脑MRI的Flair模态图，该模态利用水抑制技术成像，自由水信号较弱(浮肿状态)，肿瘤中的结合水信号较强(非水肿区)。Flair模态图像在展示脑部组织方面能力较弱，不够清晰，但该模态图像中水肿区域和正常组织区域容易被区分开，可以用来交叉检查水肿的扩展。
如图2(T1c)所示为脑MRI的T1c模态图，该模态可以清晰地呈现大脑内的组织，其中脑肿瘤增强区域和肿瘤坏死部分尤其突出，且前者相较于后者信号更强，在最终图像中更为明显。
图2脑肿瘤MRI图像(T1)T1模态、(T2)T2模态、(Flair)Flair模态、(T1c)T1c模态不同模态的脑MRI图像能够突出脑区域不同组织的特点，在对脑肿瘤进行分割的过程中往往结合这四种模态图像，互补信息进行综合分析，最大程度地提高分割的准确率。
在本实例中，水肿(属于整个肿瘤)主要是从T2图像中分割出来的，Flair图像用于交叉检查水肿的扩展，增强型肿瘤和肿瘤核心由T1c图像识别。本实施例中进行标注时，选择不同的模式进行分割不同的脑肿瘤亚结构。MRI成像技术能较好地分辨脑部软组织结构，且不同模式的MRI图像能获取不同的肿瘤特征信息，通过对比多模态图像信息可以更准确地定位出脑肿瘤。研究多模态MRI图像能够提高脑肿瘤诊治中定位和分析的准确率，融合多模MRI特征也是当前脑肿瘤分割研究领域的主要方式之一，因此也是本发明重点研究对象。
S2、对MRI脑肿瘤图像数据集中的MRI脑肿瘤图像进行预处理；
其中，数据预处理是为了保证图像的匹配值范围不会随着患者和模态的变化而改变，从而将网络的初始偏差尽可能地减小，其共分为偏置场校正、图像裁剪、超分重建、透视变换、归一化及使用双边滤波方法进行去噪六个步骤。
具体的，所述对MRI脑肿瘤图像数据集中的MRI脑肿瘤图像进行预处理包括以下步骤：
S21、使用N4ITK算法对MRI脑肿瘤图像数据集中的MRI脑肿瘤图像进行偏置场校正；
MRI图像偏置场不均匀主要由两个因素造成的，一是与MRI图像设备的特性相关，比如静态场不均匀性、由场梯度驱动的涡流传输和接收的不均匀性和数据的带宽过滤等特性。二是与成像目标本身相关，即与对象内部磁体的大小、方向和位置有关，比如大脑中胶质瘤的曲线结构，而本发明使用N4ITK算法可以进行偏置场校正，可以很好地解决偏置场不均匀问题。
因为脑结构一般位于完整的MRI图像中间，因此需要裁剪周围的部分背景，使用精准裁剪后的图像作为输入可以避免过多的背景因素影像分割效果，同时还能节约计算资源。具体包括以下步骤：
S22、在裁剪前设置裁剪长度(margin)，将各维度的前margin行像素和后margin行像素裁进行剪掉，只留下正中央的体素块，得到裁剪后的MRI脑肿瘤图像；
S23、对分辨率低于预设值的裁剪后的MRI脑肿瘤图像进行超分重建及透视变换处理；
具体的，所述对分辨率低于预设值的裁剪后的MRI脑肿瘤图像进行超分重建及透视变换处理包括以下步骤：
S231、对SRGAN网络中放大倍数、学习率及迭代次数的运行参数进行设置，并导入分辨率低于预设值的裁剪后的MRI脑肿瘤图像；
S232、利用SRGAN网络中的三个卷积层对导入的MRI脑肿瘤图像进行处理，得到高分辨率的MRI脑肿瘤图像；
首先利用第一卷积层抽取所述原始图像的特征点(feature maps)，然后通过第二卷积层对所述特征点进行非线性映射，实现对每个特征点缺失细节的预测，最后利用第三层卷积层组合映射后的图像，生成高分辨率的图像。
S233、调用OpenCV中的getPerspectiveTransform函数对剪裁后的MRI脑肿瘤图像进行处理，得到透视变换矩阵；
S234、调用OpenCV中的warpPerspective函数执行透视变换，得到透视变换后的MRI脑肿瘤图像。
由于脑部MRI图像存在着不同图像或不同模态强度不均匀且差异较大的现象，可能会导致神经网络对强度较大的特征产生偏好。为了加快模型收敛速度并且提升精度，有必要在对MRI图像进行分割前对其进行标准化处理，具体包括以下步骤：
S24、采用Z-Score算法对透视变换后的MRI脑肿瘤图像进行归一化处理，该Z-Score算法的公式如下：
式中，x′和x分别表示输出像素和输入像素的灰度值，μ和σ表示MRI脑肿瘤图像强度的均值与方差；
S25、使用双边滤波去噪法对归一化后的MRI脑肿瘤图像进行去躁处理。
其中，双边滤波是一种非线性滤波方法，是结合了图像的邻近度和像素值相似度的一种折中，在滤除噪声的同时可以保留原图的边缘信息。整个双边滤波的模板是由两个函数构成：一个函数是由空间距离决定的滤波器系数，另外一个是由像素差值决定的滤波器系数。整体权重系数为以上两个滤波器的乘积；
其中，所述空间距离表示当前点距离滤波模板中心点的欧式距离，表达式如下：
式中，d为当前点距离滤波模板中心点的欧式距离，当前点为(xi,yi)，模板中心点为(xc,yc)，σ为标准差参数；
所述灰度距离表示当前点距离滤波模板中心点的灰度的差值的绝对值，表达式如下：
式中，r为当前点距离滤波模板中心点的灰度的差值的绝对值，当前点为(xi,yi)，模板中心点为(xc,yc)，σ为标准差参数；
高斯滤波的滤波核的意义是，滤波后的像素值等于窗口内的像素值的加权平均值，权值系数是符合高斯分布，距离该点越近，权值越大。但是没有考虑像素值与当前点的差距。现在加上值域核，意义就在，滤波后当前点的像素值还会受到领域内像素值与自身的像素值差异的影响，不仅仅是距离来决定。这样，在平缓的区域里，由于像素值差异非常小，则值域的权重趋向于1，所以双边滤波就近似为高斯滤波；而在边缘区域中，由于像素值的差异比较大，则值域核趋向于0，权重下降，即当前像素受到领域内像素影响比较小，从而保留了边缘信息。
S3、将处理后的MRI脑肿瘤图像数据输入深度网络模型进行训练，利用深度网络模型提取特征并通过前向传播的方式不断对特征进行深度挖掘，训练卷积神经网络模型；
肿瘤特性因人而异这一特性要求网络模型需要能更加高效地提取特征，输入到网络分类层的特征要能尽可能地包含肿瘤的浅层信息。然而，传统的卷积神经网络在不断地进行卷积和池化后会让这些特征被丢失，虽然U-Net通过跳跃连接能够传递部分的浅层信息，但是无法提高编码器获取肿瘤浅层信息的能力，导致模型的泛化能力弱，测试集精度不高，因此对于三维脑肿瘤MRI图像分割急需一种方法去提高模型的性能，减轻医生的压力。
而本发明针对传统脑肿瘤分割方法存在的不足，以3D U-Net神经网络为基础架构，将处理后的数据输入深度网络模型进行训练，模型会进行提取特征并通过前向传播的方式不断对特征进行更深层次的挖掘，不断的做出改进，然后训练卷积神经网络，下面将具体的改进阐述如下：(1)在3D U-Net的基础上，引入空间注意力机制和通道注意力机制，最终得到双注意力机制3D U-Net，提高网络对关键特征的关注，获得更加精准的脑肿瘤图像的分割结果；在编码器部分，使用组归一化(GN)来代替常用的批量归一化(BN)操作，以减小batch size过小对网络准确性的影响，提升网络性能；(2)并且设计了一种叠加式残差块，在保留更多特征的同时，避免了深层网络无法收敛的问题。(3)同时，在损失函数部分，提出一种对边界信息敏感的混合损失函数替代传统Dice分割系数损失函数，通过引入焦点损失函数Loca，控制正负样本对损失的权重，同时降低易分类样本的权重，增加难分类样本的权重。增加脑肿瘤像素区域对总损失的贡献，提高稀疏分类错误对模型的惩罚，缓解数据类别不平衡问题。
下面将对上述所提的3D U-Net网络，空间注意力模块、通道注意力模块的解释如下(特此说明，注意力机制是对人类视觉注意力机制的仿生，本质上是一种资源分配机制，能够以高分辨率接收于图片上的某个区域，并且以低分辨率感知其周边区域，并且视点能够随着时间而改变，不是深度学习模型，属于神经网络中的一个模块；3D U-Net网络是深度学习模型，即卷积神经网络模型)：
1)3D U-Net网络：
3D U-Net网络结构如图3所示，与2D U-Net网络结构相似，3D U-Net网络也是由左半部分的编码层和右半部分的解码层组成的，不同的是3D U-Net网络的卷积运算、下采样层、反卷积运算及卷积核都是三维的；3D U-Net网络经过四次下采样进行图像特征的提取，经过四次上采样将图像还原到原图像的大小。从结构图可以看到，在左半部分的编码层，特征图经过两次卷积运算后通过ReLU激活函数处理，经过下采样进行图像的特征提取；在右半部分的解码层，特征图经过反卷积运算通过ReLU激活函数处理，经过上采样对特征图进行还原；在卷积和反卷积过程中，为了使输入图像大小和输出图像大小保持一致，使用了填充操作；该网络同样引入跳跃连接，将下采样部分的卷积结果拼接到右侧相对应上采样的输入部分进行特征融合，使得编码部分下采样提取的特征结果直接传给解码部分的上采样层，可以让网络获得更好的位置信息，从而提高了网络的分割精度。
2)空间注意力模块：
在肿瘤分割任务中，图像的位置信息起着至关重要的作用，位置特征可以通过像素间的上下文信息获取。在传统的医学图像分割网络中，通过特征提取网络生成的局部特征没有考虑相邻近像素的影响，可能会得到错误的分类。为了将图像的局部特征和图像的位置信息相关联，本发明将空间位置注意力机制添加到3D U-Net网络解码层和编码层之间。通过引入该机制，将肿瘤CT图像的大范围的上下文信息进行编码，进而增强其肿瘤的位置信息，增强了网络特征表达能力。
3)通道注意力模块：
对于二维图像的卷积，其特征包含图像的长度、宽度和通道；对于三维的图像，其特征包含图像的长度、宽度、高度和通道。通过增加通道注意力模块，整合所有通道图之间的关联特征，学习每个通道的权重，根据特征图中每个通道的比重进行特征重组，经过全局下采样、卷积运算和激活函数处理，通过对通道特征进行编码，得到通道注意力热图，将两次卷积后的特征图与通道注意力热图两种元素相乘，这样可以整合所有通道之间的依赖关系。
S4、卷积神经网络模型利用MRI脑肿瘤图像数据集中的真值标签计算误差损失，并在不断的迭代过程中得到模型最优参数，形成脑肿瘤图像分割网络模型；
具体的，模型利用数据集中的真值标签来计算误差损失，在多次迭代中引导模型朝最优状态的方向调节模型的参数，当模型满足训练预计的要求，将其本地保存，从而形成脑肿瘤图像分割网络；
实验结果表明，本发明提出的改进方法，与传统3D分割方法相比，在肿瘤整体和肿瘤核心上面，分割精度有了一定提升。
本发明利用了MRI影像不同模态的差异性进行信息互补，在模型的收缩路径上，为避免池化层带来的特征丢失问题，用卷积层代替池化层进行降维，使用3×3×3的卷积核，步长为2×2×2，每一个卷积层后，都连接着实例标准化层(Instance Normalization)和激活函数层(Leaky Re LU)，下采样模块后连接本发明设计的叠加式残差模块，解决网络训练过程中产生的梯度消失和网络退化问题，从而提升检测准确率；而深层网络在提高肿瘤分割精度的同时，也带来了巨大的计算量，本发明在现有网络模型的基础上，优化模型，利用可分离卷积压缩网络大小，降低计算量，减少训练时间，提升分割效率。将处理后的数据输入深度网络模型进行训练，模型进行提取特征并通过前向传播的方式不断对特征进行更深层次的挖掘。
本发明改进的3D U-Net模型如下：
U-Net11网络最早在2015年的MICCAI上提出，起初在医学图像分割上面取得了较好的成绩，后来成为医学影像语义分割任务的基准模型。U-Net网络模型分为两部分，分别是收缩路径和扩张路径，收缩路径相当于下采样，同时不断的卷积，进行网络特征的提取；扩张路径使用反卷积(转置卷积)，将经过特征提取的图像恢复到原图大小，每经过一次上采样，就将其结果与收缩路径得到的特征图相融合，最终在输出端得到分割结果。
本实施例中改进的3D U-Net模型如图6所示，输入为4种模态脑肿瘤MRI图像，图像尺寸为128×128×128，输出为一个肿瘤预测图像。模型主要由卷积层、叠加式残差模块、下采样模块、上采样模块、融合模块和分割层组成。在模型的收缩路径，为避免池化层带来的特征丢失问题，用卷积层代替池化层进行降维，使用3×3×3的卷积核，步长为2×2×2，每一个卷积层后，都连接着实例标准化层(Instance Normalization)和激活函数层(LeakyRe LU)。下采样模块后连接本文设计的叠加式残差模块，如图7所示。
此叠加式残差模块由三个卷积层组成，卷积过程中对图像进行填充，保证卷积前后图像大小相同，为减少深层网络带来的巨大参数量和计算量，中间卷积层采用1×1×1卷积过度，通过调整卷积核大小和卷积层通道数，可以在卷积神经网络稀疏连接和权值共享的基础上，进一步提高计算性能。同时增加了网络的非线性。另外，残差块对之前和本层的图像特征进行了融合，在进行前向传播时保留更多信息，在反向传播时模型学习输出和输入的残差而不是完整的输出，通过增加一个恒等映射的方式，缓解梯度消失，同时加快网络训练和收敛。叠加式残差模块中添加了Dropout，这使得每次训练的网络都不相同，神经元的权值更新不再依赖于固定的隐合节点，此方法可以避免在参数太多的情况下，长时间训练网络带来的过拟合问题，在一定程度上达到正则化效果，使网络学习的鲁棒性更优。
本发明通过改进3D U-Net模型，将下采样部分的卷积结果拼接到右侧相对应上采样的输入部分进行特征融合，这样可以使得编码部分下采样提取的特征结果直接传给解码部分的上采样层，可以让网络获得更好的位置信息，从而提高了网络的分割精度，能够清晰地描绘出脑肿瘤的轮廓，从而为医生提供科研数据库，方便医生更深入地了解脑肿瘤。
S5、利用脑肿瘤图像分割网络模型对MRI脑肿瘤图像进行分割，并依据预设的评判指标对模型的预测结果进行分割性能评估。
具体的，保存的模型能够对测试集进行肿瘤区域的分割预测，研究人员通过不同的评判指标对实验得到的预测结果进行分割性能的判断。图像分割的评价标准为：
对于给定的一个患者的脑部影像的体素集合，假设P表示肿瘤分割算法所预测的脑部体素集合，T表示真实的脑部体素集合。P1为模型预测的肿瘤区域，P0为模型预测的脑部正常组织区域。T1为真实的肿瘤区域，T0为真实的脑部正常组织区域。TP、TN、FP、FN分别表示真阳性(True Positive)、真阴性(True Negative)、假阳性(False Positive)、假阴性(False Negative)所对应的体素集合。
其中，所述评判指标包括Dice系数(Dice coefficient)、敏感性和特异性系数及Hausdorff距离；
所述Dice系数是一种评估相似度的系数，通常用于计算两个样本的相似度或者重叠度，取值为[0,1]，越接近1，相似程度越高，效果越佳，是常用的医学图像分割评价标准。所述Dice系数通过获得具有算法预测分布情况P∈{0,1}和真实标签分布情况T∈{0,1}的二元图计算得到，Dice系数的计算公式如下：
式中，P表示肿瘤分割算法所预测的脑部体素集合，T表示真实的脑部体素集合，∩表示逻辑与运算符，是集合的大小；
所述敏感性表示正样本中预测正确的个数占实际正样本的比例，即在患有肿瘤的所有人中，诊断正确的人有多少，取值为[0,1]，敏感性越高，漏诊概率越低，敏感性的计算公式如下：
式中，P1表示P＝1时体素的集合，T1代表T＝1时体素的集合；
所述特异性系数表示负样本中预测正确的个数占实际负样本的比例，即在未肿瘤症的所有人中，诊断正确的人有多少，取值为[0,1]，特异性越高，确诊概率越高，特异性系数的计算公式如下：
式中，P0表示P＝0时体素的集合，T0代表T＝0时体素的集合；
Dice系数、敏感性和特异性是分割区域体素重叠的度量。另外一个衡量分割性能指标是通过评估分割边界之间的距离(如表面距离)，比较常用的是Hausdorff距离，所述Hausdorff距离表示预测结果与真实标签最近点距离的最大值，值越小，代表两个集合的相似度越高，Hausdorff距离的计算公式如下：
式中，p表示肿瘤分割算法所预测的脑部体素集合中的脑部体素，t表示真实的脑部体素集合中的脑部体素，d(p,t)为两者之间的任何度量，即两者间的欧几里得距离。
为了验证本发明提出网络的有效性，本实施中选取经典3D U-Net与本发明提出的算法模型进行对比(如下表7所示)。对于每一个患者样本，均提供了4种不同模态(T1，T1c，T2，Flair)的大脑MRI图像以及相应的真实标签图像。不同样本的图像对齐到相同模板，插值为1mm3分辨率的图像。在评估阶段，分割性能按照如下三个肿瘤子区域分别计算：完整肿瘤(Whole Tumor，WT)、肿瘤核心(Tumor Core，TC)、以及增强肿瘤(ET)表显示了两种算法在本发明建立的验证数据集上的分割结果性能评估。
表7改进的算法与传统卷积神经网络在相同的数据集上的分割性能表现
从表7中可以看出，在Dice系数、敏感性均值和特异性均值上，本发明提出的算法对基础分割网络3D U-Net进一步改进，通过引入空间注意力机制和通道注意力机制、设计叠加式残差块以及用边界信息敏感的混合损失函数替代传统Dice分割系数损失函数以提升分割精度。由表中可得，本发明提出的算法在整个肿瘤，肿瘤核心和增强肿瘤的Dice系数分别为0.896、0.854和0.786，均高于传统算法，说明在引入双注意力机制、叠加式残差块以及混合损失函数后，有效减少了脑肿瘤信息提取中的特征丢失，提高了网络在细节处的分割精度，分割性能佳。
从表中可以看出，本发明提出的脑肿瘤分割算法在完整肿瘤、肿瘤核心以及增强肿瘤区域的Dice系数分别为0.896、0.854和0.786，敏感性均值分别为0.912、0.836、0.845，特异性均值分别为0.994、0.996、0.995，平均Hausdorff距离分别为5.004、6.572和4.433。在Dice系数、敏感性指标、特异性指标上有大幅度提高，平均Hausdorff距离明显减小，本发明提出的方法在肿瘤不同分割区域上均优于其它方法，整体分割性能较好。
综上所述，借助于本发明的上述技术方案，本发明引入目前主流的图像分割技术，采用U-Net网络结构的脑肿瘤3D分割技术，并以其为基础架构，加入深度残差模块代替U-Net的编码器和解码器中原有的卷积层，其内部使用了“跳跃连接”或“捷径连接(Shortcutconnection)”，解决网络训练过程中产生的梯度消失和网络退化问题，并引入位置注意力机制和通道注意力机制，提高网络对关键特征的关注，能够将患者脑部MRI中的脑肿瘤的轮廓进行描绘以及用边界信息敏感的混合损失函数替代传统Dice分割系数损失函数以提升分割精度，将本发明的分割结果与在相同测试集条件下临床专家分割结果对比得到，本发明的分割准确率达到91.10％，进而能够更准确地判断患者脑肿瘤的类型及良恶程度，同时为医生提供科研数据库，方便医生进行科研工作。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于脑部三维MRI图像设计的脑肿瘤分割方法，其特征在于，该脑肿瘤分割方法包括以下步骤：
S1、获取历史数据库中的MRI脑肿瘤图像数据集并进行整理；
S2、对MRI脑肿瘤图像数据集中的MRI脑肿瘤图像进行预处理；
S3、将处理后的MRI脑肿瘤图像数据输入深度网络模型进行训练，利用深度网络模型提取特征并通过前向传播的方式不断对特征进行深度挖掘，训练卷积神经网络模型；
S4、卷积神经网络模型利用MRI脑肿瘤图像数据集中的真值标签计算误差损失，并在不断的迭代过程中得到模型最优参数，形成脑肿瘤图像分割网络模型；
S5、利用脑肿瘤图像分割网络模型对MRI脑肿瘤图像进行分割，并依据预设的评判指标对模型的预测结果进行分割性能评估。
2.根据权利要求1所述的一种基于脑部三维MRI图像设计的脑肿瘤分割方法，其特征在于，所述MRI脑肿瘤图像数据集中的MRI脑肿瘤图像为Dicom格式，且所述Dicom格式的文件包括患者的MRI图像信息、患者的基本信息及MRI图像的权重信息。
3.根据权利要求2所述的一种基于脑部三维MRI图像设计的脑肿瘤分割方法，其特征在于，所述获取历史数据库中的MRI脑肿瘤图像数据集并进行整理还包括以下步骤：
利用MRI扫描仪通过调节不同参数得到四种不同模态的MRI脑肿瘤图像；
调用PyDicom库将Dicom格式的MRI脑肿瘤图像转换为JPG格式的MRI脑肿瘤图像，并进行脱敏处理，得到脱敏后的MRI脑肿瘤图像数据集；
将脱敏后的MRI脑肿瘤图像数据集按预设比例分为训练集、验证集和测试集。
4.根据权利要求3所述的一种基于脑部三维MRI图像设计的脑肿瘤分割方法，其特征在于，所述四种不同模态的MRI脑肿瘤图像包括T1模态图、T2模态图、Flair模态图及T1c模态图；
其中，所述T1模态图用于清晰地呈现出脑部各组织区域的解剖结构，在脑肿瘤分割中用来区分大脑的灰质和白质；
所述T2模态图用于清晰地呈现脑肿瘤以及肿瘤周围的水肿区域，明显地区分整个肿瘤区域与脑部正常组织结构；
所述Flair模态图用于区分水肿区域和正常组织区域，用来交叉检查水肿的扩展；
所述T1c模态图用于清晰地呈现大脑内的组织。
5.根据权利要求1所述的一种基于脑部三维MRI图像设计的脑肿瘤分割方法，其特征在于，所述对MRI脑肿瘤图像数据集中的MRI脑肿瘤图像进行预处理包括以下步骤：
S21、使用N4ITK算法对MRI脑肿瘤图像数据集中的MRI脑肿瘤图像进行偏置场校正；
S22、设置裁剪长度，将各维度的前margin行像素和后margin行像素裁进行剪掉，留下正中央的体素块，得到裁剪后的MRI脑肿瘤图像；
S23、对分辨率低于预设值的裁剪后的MRI脑肿瘤图像进行超分重建及透视变换处理；
S24、采用Z-Score算法对透视变换后的MRI脑肿瘤图像进行归一化处理，该Z-Score算法的公式如下：
式中，x′和x分别表示输出像素和输入像素的灰度值，μ和σ表示MRI脑肿瘤图像强度的均值与方差；
S25、使用双边滤波去噪法对归一化后的MRI脑肿瘤图像进行去躁处理。
6.根据权利要求5所述的一种基于脑部三维MRI图像设计的脑肿瘤分割方法，其特征在于，所述对分辨率低于预设值的裁剪后的MRI脑肿瘤图像进行超分重建及透视变换处理包括以下步骤：
S231、对SRGAN网络中放大倍数、学习率及迭代次数的运行参数进行设置，并导入分辨率低于预设值的裁剪后的MRI脑肿瘤图像；
S232、利用SRGAN网络中的三个卷积层对导入的MRI脑肿瘤图像进行处理，得到高分辨率的MRI脑肿瘤图像；
S233、调用OpenCV中的getPerspectiveTransform函数对剪裁后的MRI脑肿瘤图像进行处理，得到透视变换矩阵；
S234、调用OpenCV中的warpPerspective函数执行透视变换，得到透视变换后的MRI脑肿瘤图像。
7.根据权利要求5所述的一种基于脑部三维MRI图像设计的脑肿瘤分割方法，其特征在于，所述双边滤波去噪法中的双边滤波模板由空间距离决定的滤波器系数及像素差值决定的滤波器系数构成；
其中，所述空间距离的表达式如下：
式中，d为当前点距离滤波模板中心点的欧式距离，当前点为(xi,yi)，模板中心点为(xc,yc)，σ为标准差参数；
所述灰度距离的表达式如下：
式中，r为当前点距离滤波模板中心点的灰度的差值的绝对值，当前点为(xi,yi)，模板中心点为(xc,yc)，σ为标准差参数。
8.根据权利要求1所述的一种基于脑部三维MRI图像设计的脑肿瘤分割方法，其特征在于，所述卷积神经网络模型以3D U-Net神经网络为基础架构，引入空间注意力机制和通道注意力机制，最终得到双注意力机制3DU-Net网络，并在编码器部分使用组归一化来代替常用的批量归一化操作，在下采样模块后连接有叠加式残差模块，在损失函数部分使用混合损失函数替代传统Dice分割系数损失函数。
9.根据权利要求1所述的一种基于脑部三维MRI图像设计的脑肿瘤分割方法，其特征在于，所述脑肿瘤图像分割网络模型由卷积层、叠加式残差模块、下采样模块、上采样模块、融合模块和分割层组成。
10.根据权利要求1所述的一种基于脑部三维MRI图像设计的脑肿瘤分割方法，其特征在于，所述评判指标包括Dice系数、敏感性和特异性系数及Hausdorff距离；
其中，所述Dice系数是一种评估相似度的系数，通常用于计算两个样本的相似度或者重叠度，取值为[0,1]，越接近1，相似程度越高，效果越佳，所述Dice系数通过获得具有算法预测分布情况P∈{0,1}和真实标签分布情况T∈{0,1}的二元图计算得到，Dice系数的计算公式如下：
式中，P表示肿瘤分割算法所预测的脑部体素集合，T表示真实的脑部体素集合，∩表示逻辑与运算符，是集合的大小；
所述敏感性表示正样本中预测正确的个数占实际正样本的比例，即在患有肿瘤的所有人中，诊断正确的人有多少，取值为[0,1]，敏感性越高，漏诊概率越低，敏感性的计算公式如下：
式中，P1表示P＝1时体素的集合，为模型预测的肿瘤区域，T1代表T＝1时体素的集合，为真实的肿瘤区域；
所述特异性系数表示负样本中预测正确的个数占实际负样本的比例，即在未肿瘤症的所有人中，诊断正确的人有多少，取值为[0,1]，特异性越高，确诊概率越高，特异性系数的计算公式如下：
式中，P0表示P＝0时体素的集合，模型预测的脑部正常组织区域，T0代表T＝0时体素的集合，真实的脑部正常组织区域；
所述Hausdorff距离表示预测结果与真实标签最近点距离的最大值，值越小，代表两个集合的相似度越高，Hausdorff距离的计算公式如下：
式中，p表示肿瘤分割算法所预测的脑部体素集合中的脑部体素，t表示真实的脑部体素集合中的脑部体素，d(p,t)为两者之间的任何度量，即两者间的欧几里得距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211158867.0A CN115496771A (zh) | 2022-09-22 | 2022-09-22 | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211158867.0A CN115496771A (zh) | 2022-09-22 | 2022-09-22 | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115496771A true CN115496771A (zh) | 2022-12-20 |
Family
ID=84470295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211158867.0A Pending CN115496771A (zh) | 2022-09-22 | 2022-09-22 | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115496771A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115954106A (zh) * | 2023-03-15 | 2023-04-11 | 吉林华瑞基因科技有限公司 | 基于计算机辅助模拟的肿瘤模型优化系统 |
| CN116012385A (zh) * | 2023-03-28 | 2023-04-25 | 同心智医科技(北京)有限公司 | Mr灌注图像的脑缺血分割方法、装置及存储介质 |
| CN116563284A (zh) * | 2023-07-10 | 2023-08-08 | 南京信息工程大学 | 定量描述mri中脑胶质瘤特征边界变化评估指标的系统 |
| CN116740768A (zh) * | 2023-08-11 | 2023-09-12 | 南京诺源医疗器械有限公司 | 基于鼻颅镜的导航可视化方法、系统、设备及存储介质 |
| CN116758087A (zh) * | 2023-08-22 | 2023-09-15 | 邦世科技(南京)有限公司 | 一种腰椎ct骨窗侧隐窝间隙检测方法及装置 |
| CN117111013A (zh) * | 2023-08-22 | 2023-11-24 | 南京慧尔视智能科技有限公司 | 一种雷达目标跟踪航迹起始方法、装置、设备及介质 |
| CN117635952A (zh) * | 2024-01-25 | 2024-03-01 | 英瑞云医疗科技(烟台)有限公司 | 一种多模态脑瘤图像分割方法 |
| CN117671284A (zh) * | 2023-12-06 | 2024-03-08 | 广州科松医疗智能科技有限公司 | 侵入性胎盘植入影像特征ai智能提取系统 |
| CN117671284B (zh) * | 2023-12-06 | 2024-04-30 | 广州科松医疗智能科技有限公司 | 侵入性胎盘植入影像特征ai智能提取系统 |
-
2022
- 2022-09-22 CN CN202211158867.0A patent/CN115496771A/zh active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115954106A (zh) * | 2023-03-15 | 2023-04-11 | 吉林华瑞基因科技有限公司 | 基于计算机辅助模拟的肿瘤模型优化系统 |
| CN116012385A (zh) * | 2023-03-28 | 2023-04-25 | 同心智医科技(北京)有限公司 | Mr灌注图像的脑缺血分割方法、装置及存储介质 |
| CN116563284A (zh) * | 2023-07-10 | 2023-08-08 | 南京信息工程大学 | 定量描述mri中脑胶质瘤特征边界变化评估指标的系统 |
| CN116563284B (zh) * | 2023-07-10 | 2023-11-07 | 南京信息工程大学 | 定量描述mri中脑胶质瘤特征边界变化评估指标的系统 |
| CN116740768A (zh) * | 2023-08-11 | 2023-09-12 | 南京诺源医疗器械有限公司 | 基于鼻颅镜的导航可视化方法、系统、设备及存储介质 |
| CN116740768B (zh) * | 2023-08-11 | 2023-10-20 | 南京诺源医疗器械有限公司 | 基于鼻颅镜的导航可视化方法、系统、设备及存储介质 |
| CN116758087B (zh) * | 2023-08-22 | 2023-10-31 | 邦世科技(南京)有限公司 | 一种腰椎ct骨窗侧隐窝间隙检测方法及装置 |
| CN116758087A (zh) * | 2023-08-22 | 2023-09-15 | 邦世科技(南京)有限公司 | 一种腰椎ct骨窗侧隐窝间隙检测方法及装置 |
| CN117111013A (zh) * | 2023-08-22 | 2023-11-24 | 南京慧尔视智能科技有限公司 | 一种雷达目标跟踪航迹起始方法、装置、设备及介质 |
| CN117111013B (zh) * | 2023-08-22 | 2024-04-30 | 南京慧尔视智能科技有限公司 | 一种雷达目标跟踪航迹起始方法、装置、设备及介质 |
| CN117671284A (zh) * | 2023-12-06 | 2024-03-08 | 广州科松医疗智能科技有限公司 | 侵入性胎盘植入影像特征ai智能提取系统 |
| CN117671284B (zh) * | 2023-12-06 | 2024-04-30 | 广州科松医疗智能科技有限公司 | 侵入性胎盘植入影像特征ai智能提取系统 |
| CN117635952A (zh) * | 2024-01-25 | 2024-03-01 | 英瑞云医疗科技(烟台)有限公司 | 一种多模态脑瘤图像分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Al-Masni et al. | Skin lesion segmentation in dermoscopy images via deep full resolution convolutional networks | |
| CN110930416B (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
| CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
| CN110689543A (zh) | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 | |
| Chen et al. | 3D intracranial artery segmentation using a convolutional autoencoder | |
| CN112150428A (zh) | 一种基于深度学习的医学图像分割方法 | |
| US20230281809A1 (en) | Connected machine-learning models with joint training for lesion detection | |
| Khan et al. | Recent automatic segmentation algorithms of MRI prostate regions: a review | |
| CN110910405A (zh) | 基于多尺度空洞卷积神经网络的脑肿瘤分割方法及系统 | |
| CN112488976B (zh) | 一种基于darts网络的多模态医学图像融合方法 | |
| Wu et al. | BA-GCA net: boundary-aware grid contextual attention net in osteosarcoma MRI image segmentation | |
| CN114170244A (zh) | 一种基于级联神经网络结构的脑胶质瘤分割方法 | |
| Ye et al. | Medical image diagnosis of prostate tumor based on PSP-Net+ VGG16 deep learning network | |
| CN114972362A (zh) | 一种基于RMAU-Net网络的医学图像自动分割方法与系统 | |
| CN112991363A (zh) | 脑肿瘤图像分割方法、装置、电子设备及存储介质 | |
| Shan et al. | SCA-Net: A spatial and channel attention network for medical image segmentation | |
| Xu et al. | Mammographic mass segmentation using multichannel and multiscale fully convolutional networks | |
| CN112150564A (zh) | 基于深度卷积神经网络医学图像融合算法 | |
| Liu et al. | 3-D prostate MR and TRUS images detection and segmentation for puncture biopsy | |
| Hao et al. | Magnetic resonance image segmentation based on multi-scale convolutional neural network | |
| Banerjee et al. | A CADe system for gliomas in brain MRI using convolutional neural networks | |
| Honghan et al. | Rms-se-unet: A segmentation method for tumors in breast ultrasound images | |
| Lim et al. | Motion artifact correction in fetal MRI based on a Generative Adversarial network method | |
| Bnouni et al. | Boosting CNN learning by ensemble image preprocessing methods for cervical cancer segmentation | |
| Kumaraswamy et al. | Automatic prostate segmentation of magnetic resonance imaging using Res-Net |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |